JP2003189305A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像データの処理時間を短縮することがで
き、ＪＰＥＧ処理部の構成に変更を伴わない画像処理装
置を提供する。 【解決手段】 高速処理を行うために、画像圧縮処理手
段（６）で圧縮処理するときの基本データサイズである
ＭＣＵのサイズに対して垂直方向のデータサイズを整数
倍したものに周辺データ付加した垂直データサイズとし
た画像データを水平方向に連続的に順次画像処理手段へ
供給するデータ供給手段（２）と、画像処理手段により
得られた画像形成に係るデータを、高速処理を行い得る
順序で基本単位の画像形成に係るデータに分割して順次
画像圧縮処理手段へ供給する順序変更手段（８）と、デ
ータ供給手段により供給されるデータサイズに対応した
高速処理を行ない得るように画像処理手段及び順序変更
手段の処理動作を設定する設定手段（７）とを備えた画
像処理装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタルカメラ
等の電子的撮像装置に用いられる画像処理装置に関す
る。

【０００２】

【従来の技術】近年、デジタルカメラなどの撮像装置に
使用されている撮像素子の画素数は飛躍的に増大し、取
り扱われる画像データ量も非常に大きなものとなってき
ている。このため、画像データを取り扱う際の処理時間
が問題となってきており、処理時間の短縮化を図ること
のできる高速な画像処理装置が必要とされている。

【０００３】このような画像データ処理の高速化が図れ
る技術としては、特開２０００−３１２３２７号公報に
記載されたものが知られている。

【０００４】図９は従来の画像処理装置の構成を示すブ
ロック図である。

【０００５】この画像処理装置においては、バス１に接
続されたＣＰＵ２の制御により、ＣＣＤ撮像素子からの
撮像信号をプリプロセス回路部３で処理した信号は、バ
ス１を介してイメージプロセス処理部５に入力される。
イメージプロセス処理部５は初段イメージプロセス回路
部５ー１からｎ段目のイメージプロセス回路部５ーｎま
で直列に接続したパイプライン方式で画像処理を行な
い、その結果をＪＰＥＧ処理部６に送り出す。ＪＰＥＧ
処理部６ではＪＰＥＧ方式による圧縮処理を行った後、
その圧縮された画像形成に係るデータをバス１を介して
フレームメモリ４や図示していないメモリカードに記録
するように構成されている。

【０００６】このように構成することによって、バス１
を介したデータ転送は、フレームメモリ４から初段のイ
メージプロセス回路部５ー１への転送と、ＪＰＥＧ処理
部６からフレームメモリ４への転送のみで処理すること
ができ、フレームメモリ４と各イメージプロセス回路と
の間でデータの転送を繰り返していた従来方式と比較し
てデータ転送量はかなり低減されることになる。

【０００７】

【発明が解決しようとする課題】しかしながら、本画像
処理装置を用いて画像データ処理の高速化を図り、処理
時間を更に短縮しようとする要請は未だ強いものがあ
る。そして、この課題の解決を図る際には、考慮すべき
条件が存在する。

【０００８】標準の圧縮方式であるＪＰＥＧ方式ではＭ
ＣＵ（Minimum Coded Unit）と呼ばれるブロック単位で
圧縮などの処理が行われ、このＭＣＵの大きさは通常８
×８のブロック、あるいは８の整数倍のブロックが用い
られる。

【０００９】このため、イメージプロセス処理部５から
画像データをＪＰＥＧ処理部６に渡す際には、その画像
データを所定サイズのＭＣＵブロックに分割してＪＰＥ
Ｇ処理部６に受け渡す必要がある。この条件に加えて更
に、ＪＰＥＧ処理部６で圧縮されたデータを元の画像デ
ータとして復元できるようにするためには、イメージプ
ロセス処理部５は分割された画像データを所定の順序で
ＪＰＥＧ処理部６に受け渡さなければならない。

【００１０】従って、本画像処理装置において画像デー
タ処理時間の短縮を図ろうとする場合には、前述の制約
を充足しＪＰＥＧ処理部６の動作が保障できるような形
態での方策でなければならず、望ましくはＪＰＥＧ処理
部６の動作に変更が生じないような形態での方策が求め
られる。

【００１１】本発明は、かかる事情に鑑みてなされたも
のであって、画像データの処理時間を短縮することがで
き、ＪＰＥＧ処理部６の構成に変更を伴わない画像処理
装置を提供することにある。

【００１２】

【課題を解決するための手段】上記課題を達成するため
の本発明は、高速処理を行うために、画像圧縮処理手段
で圧縮処理するときの基本データサイズであるＭＣＵの
サイズに対して垂直方向のデータサイズを整数倍したも
のに周辺データ付加した垂直データサイズとした画像デ
ータを水平方向に連続的に順次画像処理手段へ供給する
データ供給手段と、画像処理手段により得られた画像形
成に係るデータを高速処理を行い得る順序で基本単位の
画像形成に係るデータに分割して順次画像圧縮処理手段
へ供給する順序変更手段と、データ供給手段により供給
されるデータサイズに対応した高速処理を行ない得るよ
うに画像処理手段及び順序変更手段の処理動作を設定す
る設定手段とを備えた画像処理装置である。

【００１３】また本発明は、上記記載の発明である画像
処理装置において、データ供給手段は、更に画像の再生
を可能となす前記高速処理よりも遅い通常処理を行うた
めに画像圧縮処理手段が圧縮処理するときの基本データ
サイズであるＭＣＵのサイズに周辺データを付加した垂
直データサイズとした画像データを水平方向に連続的に
順次画像処理手段へ供給可能になされるとともにこの通
常処理を行うための画像データと高速処理を行うための
画像データとを択一的に選択して供給するようになさ
れ、設定手段は、データ供給手段により選択されて供給
された画像データに対応して画像処理手段及び順序変更
手段の処理動作を設定するようになされた画像処理装置
である。

【００１４】また本発明は、上記記載の発明である画像
処理装置において、画像圧縮処理手段は、画像形成に係
るデータに対して複数回の圧縮処理を実行し、順序変更
手段は、初回の圧縮処理では画像形成に係るデータを高
速処理を行い得る順序で前記基本単位の画像形成に係る
データに分割し、以降の圧縮処理では画像形成に係るデ
ータを該画像の再生を可能となす通常処理を行ない得る
順序で基本単位の画像形成に係るデータに分割するよう
になされた画像処理装置である。

【００１５】また本発明は、上記記載の発明である画像
処理装置において、画像データは、撮像により得られ、
画像圧縮処理手段は、ＪＰＥＧ方式によって画像形成に
係るデータを圧縮する画像処理装置である。

【００１６】

【発明の実施の形態】発明者は、前述の課題を達成する
ためにイメージプロセス処理部５における処理時間の遅
延要因について調査を重ねるとともに粘り強く検討を続
け、ＪＰＥＧ処理部６に影響を及ぼさない対応策である
本発明に想到したものである。

【００１７】先ず、イメージプロセス処理部５における
処理時間を遅延させる一要因について説明する。

【００１８】図１は、イメージプロセス処理部５におい
て処理されるデータの容量を示す図である。

【００１９】データ量１１はフレームメモリ４から読み
出した画像データの容量を示している。この画像データ
は後述する理由によりＪＰＥＧ処理部６に入力するデー
タ量１４よりも大きなデータ容量である。そして、イメ
ージプロセス処理部５の初段イメージプロセス回路部５
ー１から最終段イメージプロセス回路部５ーｎ迄、順次
データ処理される間に画像データの容量はデータ量１
２、・・・、１３と減少する。

【００２０】このようにデータ容量が減少するのはイメ
ージ処理を行うために余分なデータが必要とされるため
である。例えば、イメージプロセス処理部５において空
間フィルタ処理をする場合には、処理すべきデータの周
囲の何点かのデータを用いて計算する必要があり、その
余分なデータはフィルタ処理後は不要なものとして除去
されるからである。

【００２１】図２は、メージプロセス処理部５における
画像データの入出力状態を説明する図である。

【００２２】前述のように、イメージプロセス処理部５
の入力データは、ＪＰＥＧ処理部６に渡すＭＣＵブロッ
クで構成されるデータ部分１５である８×８ｎの容量
に、データ処理にのみ必要とされる余分なデータ部分１
６であるα×８ｎ容量が付加されている。そして、この
データに続いてイメージプロセス処理部５に入力される
データも同様に、ＪＰＥＧ処理部６に渡すＭＣＵブロッ
クで構成されるデータ部分１７に余分なデータ部分１８
が付加されたものである。

【００２３】従って、イメージプロセス処理部５に入力
されるデータは常に重複した余分なデータを伴ってお
り、フレームメモリ４から画像データが読み出される回
数が多くなればそれだけ多くの余分なデータ転送が発生
していることになる。

【００２４】図３は、従来方式による画像データ２０の
転送順序を示す図である。

【００２５】図３の（１）は、画像データ２０をＭＣＵ
ブロックに分割した状態を示しており、縦方向に（Ｙ＋
α）ピクセルの大きさを単位として、図中に示した矢印
の順序、即ちＭＣＵ１、２、・・・、５、６、・・・、
９、１０、・・・の順序で読み出される。ここで、Ｙは
１つのＭＣＵブロックの縦方向のピクセルサイズを表し
ている。

【００２６】図３の（２）は、イメージプロセス処理部
５を流れる画像データのブロックの順序を示している。
ＪＰＥＧ処理部６はこの矢印で示される順序、即ちＭＣ
Ｕ１、２、３、・・・の順序で入力されるブロックを順
次受入れて圧縮処理した後に、フレームメモリ４に転送
する。

【００２７】以上のような現状の処理構成に対して、さ
らに高速な処理を実現する方法として、発明者は余分な
データ部分に着目した。

【００２８】ここで、オーバラップ量Ｌを式（１）で定
義する。

【００２９】 Ｌ ＝ α／（Ｙ＋α） ・・・（１） この式（１）は、データを処理すべき時間の内、余分な
データを処理するために費やされる時間の割合を表して
いる指標である。

【００３０】従って、このオーバラップ量Ｌを小さくす
ることができれば、無駄なデータ処理時間を減少して、
必要なデータのみの処理時間に近づかせることができる
ため処理の高速化を実現することができる。

【００３１】ここで、このオーバラップ量Ｌに用いられ
るαは、イメージプロセス処理部５において用いられる
処理方法が決まれば固定的に決まってしまう値である。
例えば、フィルタフィルタタップ数が６のＬＰＦ（ロー
パスフィルタ）処理が施される場合はαには５が加算さ
れることになり、フィルタタップ数が４のＬＰＦ（ロー
パスフィルタ）処理が施される場合はαには３が加算さ
れることになる。このため、フィルタタップ数の小さい
イメージプロセス回路を使用することで相対的にオーバ
ラップ量Ｌを小さくすることは可能であるが、それでは
本来必要とされる精度での処理機能が充足されない場合
も考えられ、対策として採用することはできない。

【００３２】そこで、縦方向のピクセル数であるＹを、
現状のように１つのＭＣＵブロックのサイズでなく複数
のＭＣＵサイズ即ち、ＭＣＵサイズの整数倍に設定して
Ｙを大きくすることで相対的にオーバラップ量Ｌを小さ
くする方式を採用する。

【００３３】図４は、本発明の方式による画像データ２
０の転送順序を示す図である。

【００３４】図４の（１）は、画像データ２０を複数の
ＭＣＵブロックにまとめて分割した状態を示しており、
従来の分割方法と比べて、縦方向には複数のＭＣＵのピ
クセル数に対応したサイズにＹを設定した点が異なって
いる。そして、このデータは縦方向に（Ｙ＋α）ピクセ
ルの大きさを単位として、図中に示した矢印の順序、即
ち（ＭＣＵ１、６、１１）、（ＭＣＵ２、７、１２）、
（ＭＣＵ３、８、１３）・・・の順序で読み出される。

【００３５】図４の（２）は、イメージプロセス処理部
５に入力される画像データのブロックの順序、即ち上記
と同じ（ＭＣＵ１、６、１１）、（ＭＣＵ２、７、１
２）、（ＭＣＵ３、８、１３）・・・の順序を示してい
る。図４の（３）は、イメージプロセス処理部５から出
力される画像データのＭＣＵブロックの順序、即ちＭＣ
Ｕ１、６、１１、２、７、１２、３、８、１３・・・の
順序を示している。ＪＰＥＧ処理部６はこの順序で入力
されるＭＣＵブロックを圧縮処理して、フレームメモリ
４に転送する。

【００３６】尚、図４の（３）の順序はこの実施形態に
限定されず、ＭＣＵ１、６、１１、１２、７、２、３、
８、１３・・・の順序でプロセス処理部５から出力する
ように構成しても良い。

【００３７】このように、複数ブロックを転送する方式
とすれば、オーバラップ量Ｌを小さくすることができ、
処理の高速化が実現できる。しかしながら、この方式を
採用するためには、次の２つの点を検討しなければなら
ない。

【００３８】第1の点は、イメージプロセス処理部５に
転送されるデータの容量が従来よりも増加することであ
る。この点に関しては、従来のイメージプロセス処理部
５の構成では、本程度のデータ容量の増加に対応できる
だけの十分な容量の内部バッファが備わっているため、
本方式を採用したとしてもハードウエアを大幅に改造す
ることなく小修正で処理することができる。

【００３９】第２の点は、転送されるＭＣＵブロックの
順序が変更になることである。転送順序が変更されるこ
とによって画像を組立てる順序が入れ替わることになる
ため、例えば従来のままの順序に従って組み立てた画像
をモニタに表示すると丁度ジグゾーパズルの破片が適当
な状態に納まっていないような画像が表示されてしまう
ことになる。

【００４０】この不具合を解決するためには、データの
転送順序をイメージプロセス処理の途中で変更させるこ
とが考えられるが、本発明では従来のハードウエアの構
成を変更することなく対応させることを目的とするた
め、ＪＰＥＧ処理部６において転送されるデータブロッ
クの順序が変更された場合にあっても圧縮処理が可能か
どうかを検討する。以下に、通常時におけるＪＰＥＧ処
理部６の所謂反復アプローチ法による圧縮動作について
説明する。

【００４１】図５は、ＪＰＥＧ処理部６の概略の動作を
示すフロー図である。

【００４２】先ずＪＰＥＧ処理部６は、この画像処理装
置の操作者が設定した圧縮率を読出し、それを圧縮率の
目標値とする（Ｓ１）。続いて、所定の初期値に設定さ
れた圧縮処理用のパラメータ（例えば、スケールファク
タ等）の下で、第1パス目のデータ圧縮を行う（Ｓ
２）。そして、圧縮した画像のデータ容量と原画像のデ
ータ容量との比を求め、この圧縮実績値に基づいて目標
とする圧縮率を達成するための２パス目のパラメータの
値を算出する（Ｓ３）。

【００４３】図６は、圧縮率とパラメータの関係を示す
図である。

【００４４】本図で縦軸は圧縮率を表し、横軸はパラメ
ータ値を表している。同じパラメータ値であっても画像
の複雑さによって圧縮される容量は異なり、図に示すよ
うに、その画像の複雑さによって特性曲線２２、２３、
２４はそれぞれ異なった特性の曲線となる。

【００４５】そこで、予め実験などで得た複数の特性曲
線を基準線として、１パスでの圧縮実績値とパラメータ
の初期値とからその画像に適合する特性曲線２３を特定
する。そして、その特性曲線２３に従って目標の圧縮率
を与えるパラメータの修正値を求める。

【００４６】そして、こうして算出したパラメータの修
正値を用いて、２パス目のデータ圧縮を行う（Ｓ４）。
２パス目の圧縮で目標とする圧縮率が達成できなかった
場合（Ｓ５）は、所定のアルゴリズムによるパラメータ
の微調整を行って、次パスのためのパラメータ値を決定
し（Ｓ６）、そのパラメータに基づいて次パスのデータ
圧縮を行う（Ｓ７）。このように、ＪＰＥＧ処理におい
て所望の圧縮率を得るためには少なくとも２回の圧縮処
理が必要とされている。

【００４７】発明者は、このＪＰＥＧ処理の動作におい
て、１パス目に処理される画像データは初期パラメータ
値の下での圧縮率算出用にのみ使用され、表示などの他
の用途に使用されていないことに着目した。そうとすれ
ば、前述の転送順序が変更されたデータであっても１パ
ス目のデータとして使用することが可能であることが結
論される。

【００４８】本発明は以上の検討と考察に基づいて創出
されたものであり、前記課題を達成するため次のように
構成されている。

【００４９】図７は本発明の実施形態に係る画像処理装
置の構成を示すブロック図である。本図において、図９
と同一の構成部分には同一の符号を付してその詳細な説
明は省略する。

【００５０】本実施の形態では図９に示した構成に対し
て、画像データをフレームメモリ４からイメージプロセ
ス処理部５に転送する方式を選択する手段である選択部
７と、イメージプロセス処理部５からＪＰＥＧ処理部６
に受け渡す画像データの順序を変更する順序変更部８と
を更に設けた点が異なっている。

【００５１】この構成の画像処理装置において高速にイ
メージプロセス処理を行う方法について説明する。

【００５２】図８は、画像処理装置の概略の手順を示す
フロー図である。

【００５３】画像を圧縮処理しようとする際には、選択
部７はＣＰＵ２からの指令に基づいてイメージプロセス
処理部５と順序変更部８に対して、前述の複数ＭＣＵブ
ロックを転送する方式（以下、「高速処理モード」とい
う）を行う旨の指示と、その高速処理モードを実行する
場合に必要となる各パラメータ値を設定する（Ｓ１
０）。

【００５４】このパラメータとしては、例えば、転送す
る複数ＭＣＵブロックの数、送信するピクセル数、イメ
ージプロセス回路のフィルタタップ数などがある。

【００５５】そして、ＣＰＵ２はフレームメモリ４から
複数ＭＣＵブロックを単位とする画像データを読み出
し、イメージデータ処理にのみ必要とされる余分なデー
タと共にイメージプロセス処理部５に転送する（Ｓ１
１）。

【００５６】各段のイメージプロセス回路部５ー１、・
・・、５−ｎでは転送された複数ＭＣＵブロックの画像
データを予めＣＰＵ２から指示されたパラメータ値に従
って処理する（Ｓ１２）。そして順序変更部８は、最終
段のイメージプロセス回路部５ーｎがイメージ処理した
画像データ中の複数ＭＣＵブロックを分割して単数のＭ
ＣＵブロックとし、ＭＣＵ単位に順次ＪＰＥＧ処理部６
に送り出す（Ｓ１３）。

【００５７】ＪＰＥＧ処理部６は、前述の圧縮手順に従
い１パス目の圧縮処理を行い（Ｓ１４）、その結果得ら
れる圧縮実績値に基づいて２パス目の圧縮のためのパラ
メータ値を算出する（Ｓ１５）。

【００５８】続いて、選択部７はＣＰＵ２の指令に基づ
いてイメージプロセス処理部５と順序変更部８に対し
て、単一のＭＣＵブロックを順次転送する方式（以下、
「通常処理モード」という）を行う旨の指示と、その通
常処理モードを実行する場合に必要となる各パラメータ
値を設定する（Ｓ１６）。

【００５９】そして、ＣＰＵ２はフレームメモリ４から
単一のＭＣＵブロックを含んだ画像データを読み出し、
イメージデータ処理のみに必要とされる余分なデータと
共にイメージプロセス処理部５に転送する（Ｓ１７）。

【００６０】各段のイメージプロセス回路部５ー１、・
・・、５−ｎでは転送された画像データを予め指示され
た通常処理モードのパラメータ値に従って処理し、順序
変更部８は最終段のイメージプロセス回路部５ーｎがイ
メージ処理した画像データの順序を変更せずにＪＰＥＧ
処理部６に送り出す（Ｓ１８）。

【００６１】ＪＰＥＧ処理部６は、前述の手順に従い２
パス目以降の圧縮処理を行い（Ｓ１９）、その圧縮デー
タをフレームメモリ４に転送する（Ｓ２０）。

【００６２】このようにして、通常１つのＭＣＵ単位に
処理されているイメージプロセス処理を、複数のＭＣＵ
をまとめて処理するように構成することにより、高速な
パイプライン方式によるイメージ処理を更に高速化する
ことができる。

【００６３】またＪＰＥＧ圧縮処理の１パス目にこのよ
うに構成した処理方式を適用させることにより、従来の
ハードウエアを大幅に改造することなく処理の高速化を
図ることができる。

【００６４】尚、実施例では本発明は撮像装置に適用し
て記載しているが、この例に限定されるものではなく空
間フィルタリング処理などのように余分なデータを用い
て処理を行う機能を備えた画像処理装置に広く適用する
ことが可能である。また、圧縮処理の例としてＪＰＥＧ
処理方式について記載したが、この例に限定されるもの
ではなく反復アプローチ方式を採用している圧縮方式に
広く適用することが可能である。

【００６５】

【発明の効果】以上説明したように、本発明によれば画
像データの処理時間をＪＰＥＧ処理部の構成に変更を伴
わずに短縮することができる。

【図面の簡単な説明】

【図１】イメージプロセス処理部において処理されるデ
ータの容量を示す図。

【図２】イメージプロセス処理部における画像データの
入出力状態を説明する図。

【図３】従来方式による画像データの転送順序を示す
図。

【図４】本発明の方式による画像データの転送順序を示
す図。

【図５】ＪＰＥＧ処理部の概略の動作を示すフロー図。

【図６】圧縮率とパラメータの関係を示す図。

【図７】本発明の実施形態に係る画像処理装置の構成を
示すブロック図。

【図８】画像処理装置の概略の手順を示すフロー図。

【図９】従来の画像処理装置の構成を示すブロック図。

【符号の説明】

１…バス ２…ＣＰＵ ４…フレームメモリ ５…イメージプロセス処理部 ６…ＪＰＥＧ処理部 １４…ＪＰＥＧ処理部に入力するデータ量 １５…ＭＣＵブロックで構成されるデータ部分 １６…データ処理にのみ必要とされるデータ部分 ２０…画像データ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 供給された画像データを処理するための
   直列に接続された画像処理手段と該画像処理手段により
   得られた画像形成に係るデータを圧縮処理する画像圧縮
   処理手段を有する画像処理装置であって、 高速処理を行うために、前記画像圧縮処理手段で圧縮処
   理するときの基本データサイズであるＭＣＵのサイズに
   対して垂直方向のデータサイズを整数倍したものに周辺
   データ付加した垂直データサイズとした画像データを水
   平方向に連続的に順次前記画像処理手段へ供給するデー
   タ供給手段と、 前記画像処理手段により得られた画像形成に係るデータ
   を、高速処理を行い得る順序で前記基本単位の画像形成
   に係るデータに分割して順次前記画像圧縮処理手段へ供
   給する順序変更手段と、 前記データ供給手段により供給されるデータサイズに対
   応した高速処理を行ない得るように前記画像処理手段及
   び前記順序変更手段の処理動作を設定する設定手段とを
   備えたことを特徴とする画像処理装置。
2. 【請求項２】 前記データ供給手段は、更に画像の再生
   を可能となす前記高速処理よりも遅い通常処理を行うた
   めに、前記画像圧縮処理手段が圧縮処理するときの基本
   データサイズであるＭＣＵのサイズに周辺データを付加
   した垂直データサイズとした画像データを水平方向に連
   続的に順次前記画像処理手段へ供給可能になされるとと
   もに、この通常処理を行うための画像データと前記高速
   処理を行うための画像データとを択一的に選択して供給
   するようになされ、 前記設定手段は、前記データ供給手段により選択されて
   供給された画像データに対応して前記画像処理手段及び
   前記順序変更手段の処理動作を設定するようになされた
   ことを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記画像圧縮処理手段は、前記画像形成
   に係るデータに対して複数回の圧縮処理を実行し、 前記順序変更手段は、初回の圧縮処理では、前記画像形
   成に係るデータを高速処理を行い得る順序で前記基本単
   位の画像形成に係るデータに分割し、以降の圧縮処理で
   は、前記画像形成に係るデータを該画像の再生を可能と
   なす通常処理を行ない得る順序で前記基本単位の画像形
   成に係るデータに分割するようになされたことを特徴と
   する請求項２に記載の画像処理装置。
4. 【請求項４】 前記画像データは、撮像により得られ、 前記画像圧縮処理手段は、ＪＰＥＧ方式によって画像形
   成に係るデータを圧縮することを特徴とする請求項１乃
   至請求項３のうち何れか１の請求項に記載の画像処理装
   置。