JP2007053491A - データ処理装置及びデータ処理方法 - Google Patents

Abstract

【課題】 複数種類の画像データを処理するにあたって遅延を最小限に抑えるとともに、回路規模の増大を回避する。
【解決手段】 第１〜第３のバッファメモリ１０５〜１０７は、互いに解像度又は画像サイズが異なる複数種類の画像データを保持し、第１のセレクタ１０９は、前記複数種類の画像データの解像度又は画像サイズに基づいて、第１〜第３のバッファメモリ１０５〜１０７からのデータ出力を前記複数種類の画像データ間で切り換え、フィルタ１０８は、第１〜第３のバッファメモリ１０５〜１０７から出力される画像データに対してフィルタ処理を実行する。
【選択図】 図１

Description

本発明は、複数種類の画像データに対して例えばフィルタ処理等の所定の処理を実行可能なデータ処理装置及びデータ処理方法に関するものである。

従来、画像の階調補正を行なうものでアルゴリズムとして複数の周波数成分の異なる画像を作り出し補正を行なうものがある。

また、画像処理タイミングに関するもので、画素データ遅延回路を持ち、データ遅延回路は、画像制御信号のブランキング期間に同期させて画素データの入力をホールドするように構成されており、ブランキング期間に同期して処理するものがある。

また、画像処理タイミングに関するもので、画像に関するデータ処理を行なう場合、１回のメモリアクセスにより読み出した処理すべきデータを同一の演算時間に重ならないように予めスケジューリングしてから並列処理するものがある。

特開平１０−２３２９２９号公報

しかしながら、上記従来例を処理遅延の少ない画像処理を行なうハードウェアとして実現しようとすると、画像処理回路の規模が増大するだけでなく回路規模の増大に伴う消費電力が増大する。

そこで、本発明の目的は、複数種類の画像データを処理するにあたって遅延を最小限に抑えるとともに、回路規模の増大を回避することにある。

本発明のデータ処理装置は、互いに画像サイズが異なる複数種類の画像データを保持するデータ保持手段と、前記複数種類の画像データの画像サイズに基づいて、前記データ保持手段からのデータ出力を前記複数種類の画像データ間で切り換える切換手段と、前記データ保持手段から出力される画像データに対して所定の処理を実行する処理手段とを有することを特徴とする。
本発明のデータ処理方法は、データ処理装置によるデータ処理方法であって、互いに画像サイズが異なる複数種類の画像データを保持するデータ保持手段からのデータ出力を、前記複数種類の画像データの画像サイズに基づいて前記複数種類の画像データ間で切り換える切換ステップと、前記データ保持手段から出力される画像データに対して所定の処理を実行する処理ステップとを含むことを特徴とする。

本発明によれば、画像データの画像サイズに基づいて、複数種類の画像データ間で処理対象を適宜切り換えるように構成した。そのため、複数種類の画像データを処理するにあたって最小限の遅延で済むとともに、処理手段を複数設けることないため、回路規模の増大を回避することが可能となる。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

−第１の実施形態−
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置を撮像装置に実装した際の構成を示すブロック図である。図２は、撮像装置の第２の画像処理部７の構成を詳細に示す図である。図３は、本実施形態における動作を示すタイミングチャートである。

図１において、撮像素子１は、レンズ２を介して入力された被写体光を光電変換するＣＣＤ或いはＣＭＯＳセンサのような光電変換素子である。は、Ａ／Ｄ変換部３は、撮像素子１であるＣＣＤ或いはＣＭＯＳセンサからのアナログ撮像データを所定の量子化ビットに対応してデジタル変換する。タイミングジェネレータ４は、撮像素子１とＡ／Ｄ変換部３のタイミングをコントロールする。第１の画像処理部５は、Ａ／Ｄ変換部３にてＡ／Ｄ変換されたデジタル撮像データの現像処理を行なう。メモリ６は、第１の画像処理部５にて画像処理する際に処理データと未処理データを一時的に記憶する（本実施形態ではＲＡＭであるが、これは一例である為アクセス速度が十分問題ないレベルの素子であればこの限りではない）。ＣＰＵ８は、図１の撮像装置を制御する。エンコード処理部９は、第２の画像処理部７にて画像処理されたデータを所定のフォーマットに応じて圧縮処理する（画像圧縮フォーマットはＪＰＥＧ、ＭＰＥＧ等規格に準拠したフォーマットである為特に限定はしないが、本実施形態ではＪＰＥＧエンコーダで説明する）。切り換え部１０は、エンコード処理部９で圧縮された動画データ及び静止画データを記録するかネットワーク上に通信するか否かを切り換える。ネットワーク通信部１１は、外部ネットワークからの通信コマンドの通信や或いは、画像を外部へ配信する。ストレージ部１２は、撮像装置内に動画像又は静止画像データを記憶する（図１ではストレージと記載しているが、その他データ書き込み可能な不揮発性メモリ、メディア、ハードディスク等データ記憶出来るもの全般を示し、取り替え可能な物でも可であり特に限定はしない）。キー入力部１３は、ユーザが外部から操作するための部材である。赤外線（ＩＲ）リモコン通信部１４は、外部からのリモコン制御コマンドを受け付ける。

次に、図２は、第２の画像処理部７の内部詳細構成を表す図である。輝度データ抽出部１０１は、第１の画像処理部５にて現像処理された画像データ（のうち、輝度データデータを抽出する。
第１〜第３の画像縮小処理部１０２、１０３、１０４は、それぞれ輝度データ抽出部１０１にてサンプリングした輝度データを第１の画像処理部５で現像処理された画像データのデータサイズに応じて縮小率（×１倍を含む）を可変する。バッファメモリ１０５は、第１の画像縮小処理部１０２で縮小された第１の縮小画像を一時的に蓄積する。バッファメモリ１０６は、第２の画像縮小処理部１０３にて縮小された第２の縮小画像を一時的に蓄積する。バッファメモリ１０７は、第３の画像縮小処理部１０４にて縮小された第３の縮小画像を一時的に蓄積する。

二次元フィルタ１０８は、第１〜第３の縮小画像に画像のノイズ除去を目的とした二次元平滑化フィルタリング処理を行なう。第１のセレクタ１０９は、コントローラ１１１（ＣＰＵ８）の指示に応じてフィルタ１０８に供給すべき画像を第１〜第３の画像縮小処理部１０２、１０３、１０４の出力画像から選択的に切り換える。バッファメモリ１１０は、第１の画像処理部５にて現像処理された画像データ（本実施の形態ではＹＣｂＣｒデータとする）を一時的にバッファする。

コントローラ１１１は、二次元フィルタ１０８と第１のセレクタ１０９をコントロールする。コントローラ１１１は、ＣＰＵ８によって実現される。第５のバッファメモリ１１２は、第１の縮小画像に二次元フィルタ１０８をかけた画像をバッファリングする。第６のバッファメモリ１１３は、第２の縮小画像に二次元フィルタ１０８をかけた画像をバッファリングする。第７のバッファメモリ１１４は、第３の縮小画像に二次元フィルタ１０８をかけた画像をバッファリングする。

第１の画像拡大処理部１１５は、第５のバッファメモリ１１２でメモリした画像を入力画像と同一サイズまで拡大する。第２の画像拡大処理部１１６は、第６のバッファメモリ１１３でメモリした画像を入力画像と同一サイズまで拡大する。画像拡大処理部１１７は、第７のバッファメモリ１１４でメモリした画像を入力画像と同一サイズまで拡大する。

第１のテーブル参照部１１８は、第１の画像拡大処理部１１５によって拡大された画像データの値に応じてテーブル（ＬＵＴ）１２１から補正量を参照選択する。第２のテーブル参照部１１９は、第２の画像拡大処理部１１６によって拡大された画像データの値に応じてテーブル１２１から補正量を参照選択する。第３のテーブル参照部１２０は、第３の画像拡大処理部１１７によって拡大された画像データの値に応じてテーブル１２１から補正量を参照選択する。ルックアップテーブル（ＬＵＴ）１２１は、輝度に応じた補正量をテーブルとして保持するＲＯＭである。

加算器１２２は、第１〜第３のテーブル参照部１１８、１１９、１２０で参照した補正量を加算する。色補正処理部１２３は、加算器１２２にて加算された補正量に応じて、第４のバッファメモリ１１０にバッファリングされた画像中の色情報のデータの補正を行なう。輝度補正処理部１２４は、加算器１２２により加算された補正量に応じて、第４のバッファメモリ１１０にバッファリングされた画像データ中の輝度データの補正を行なう。第２のセレクタ１２５は、色補正処理部１２３、輝度補正処理部１２４からの画像データを切り換えて出力する。

以下に、本実施形態の具体的な動作を図３、図４のタイミングチャートを用いて説明する。図３，４の横軸は時間軸である。図３において、「ＨＤ」は撮像素子からの１ラインの分の画像データを読み出すための水平同期信号であるＨＤ信号のタイミングチャートである。「Ａ／Ｄ出力」は、撮像素子１から得られるアナログ信号を所定の量子化ビットにデジタル変換するＡ／Ｄ変換器３によるＡ／Ｄ出力処理のタイミングチャートである。「第１の画像処理部」は、第１の画像処理部５にて現像処理する処理のタイミングチャートである。「Ｙサンプリング処理」は、輝度データ抽出部１０１で輝度データをサンプリングするＹサンプリング処理のタイミングチャートである。「第１の画像縮小処理」は、第１の画像縮小処理部１０２の縮小処理のタイミングチャートである。「第１のバッファ」は、第１のバッファメモリ１０５にて画像データをバッファリングするタイミングチャートである。「第２の画像縮小処理」は、第２の画像縮小処理部１０３の縮小処理のタイミングチャートである。「第２のバッファ」は、第２のバッファメモリ１０６にて画像データをバッファリングするタイミングチャートである。「第３の画像縮小処理」は、第３の画像縮小処理部１０４の縮小処理のタイミングチャートである。「第３のバッファ」は、第３のバッファメモリ１０７にて画像データをバッファリングするタイミングチャートである。

図３に示すグループａは、コントローラ１１１から各ブロックに出力しているＥＮ信号類のタイミングチャートを示している。「縮小処理ＥＮ」は、第１〜第３の画像縮小処理部１０２〜１０４の縮小処理を制御する縮小処理ＥＮ信号のタイミングチャートである。「バッファ１ＥＮ」は、第１のバッファメモリ１０５にバッファリングするタイミングを制御するバッファ１ＥＮ信号のタイミングチャートである。「バッファ２ＥＮ」は、第２のバッファメモリ１０６にバッファリングするタイミングをコントロールしているバッファ２ＥＮ信号のタイミングチャートである。「バッファ３ＥＮ」は、第３のバッファメモリ１０７にバッファリングするタイミングを制御するバッファ３ＥＮ信号のタイミングチャートである。「ＳＥＬ１ＥＮ」は、第１のセレクタ１０９に対して第１のバッファメモリ１０５からデータを流すタイミングを制御するＳＥＬ１ＥＮ信号のタイミングチャートである。「ＳＥＬ２ＥＮ」は、第１のセレクタ１０９に対して第２のバッファメモリ１０６からデータを流すタイミングを制御するＳＥＬ２ＥＮ信号のタイミングチャートである。「ＳＥＬ３ＥＮ」は、第１のセレクタ１０９に対して第３のバッファメモリ１０７からデータを流すタイミングを制御するＳＥＬ３ＥＮ信号のタイミングチャートである。「二次元フィルタ処理」は、フィルタ１０８の二次元フィルタ処理のタイミングチャートである。

図３に示すとおり、ＨＤ信号に同期してＡ／Ｄ変換されたデジタルデータが出力されている。なお、或る時点のＨＤ信号から次のＨＤ信号までの期間が動画像を構成する１ライン分に相当する。

Ａ／Ｄ変換部３を介して撮像素子１から出力される画像データをデータ読み出し順に第１の画像処理部５入力する。第１の画像処理部５では、ホワイトバランス、画像のフィルタリング処理、通常カメラに必要な、輝度、色差等の補正処理を施し最適な画像を作り出す処理を行なう（処理内容の詳細は公知技術であるため説明は省略する）。

輝度データ抽出部１０１は、第１の画像処理部５にて画像処理された画像データから輝度信号をサンプリングして抽出する。

次に、コントローラ１１１にて縮小処理ＥＮ信号を出力すると、その信号に応じて、第１の画像縮小処理部１０２は、輝度データ抽出部１０１でサンプリングした輝度データの画像サイズを予め設定された縮小率１で縮小処理する。

同一の縮小処理ＥＮ信号が出力される期間において、第１の画像縮小処理部１０２によって画像サイズが縮小された輝度データに対して、第２の画像縮小処理部１０３は、予め設定された縮小率２で縮小処理を施す。

更に、同一の縮小処理ＥＮ信号の出力されている期間において、第２の画像縮小処理部１０３によって画像サイズが縮小された輝度データに対して、第３の画像縮小処理部１０４は、予め設定された縮小率３で縮小処理を行う。

さらに、同一の縮小処理ＥＮ信号の出力されている期間において、第１，第２，第３の画像縮小処理部１０２，１０３，１０４から縮小された輝度データを、それぞれ第１〜第３のバッファメモリ１０５〜１０７に順次記憶していく。

第１〜第３のバッファメモリ１０５〜１０７にバッファする必要があるのは、フィルタ１０８で二次元フィルタ処理を行なう際に、二次元フィルタ係数から必要画素エリアを決定する必要がある。そのため、画素参照エリアに対応する輝度データをバッファリングする。

第１〜第３のバッファメモリ１０５〜１０７に輝度データをバッファリングするタイミングは、コントローラ１１１よりバッファ１ＥＮ信号〜バッファ３ＥＮ信号を出力したその期間である。縮小率１〜３のライン分毎にバッファする。

図３の縮小率１の例として×１倍を表している。×１倍の場合はライン毎にデータをバッファする。そして、画像サイズの縮小率が×１／２倍の場合は２ラインに１回データをバッファする、という具合に、ラインバッファの輝度データの蓄積タイミング間隔は縮小率が大きくなるにつれて長くなる。図３において、期間ｉは第２のバッファメモリ１０６に１ラインが一時記憶される期間を指している。また、期間ｊは第３のバッファメモリ１０７に１ラインが一時記憶される期間を指している。すなわち、画像サイズを１／ｎ倍にする場合にはｎライン単位でバッファメモリに一時記憶されることになる。

次に、二次元フィルタ１０８のフィルタリングのタイミングを説明する。コントローラ１１１は、二次元フィルタ１０８の二次元フィルタ処理に必要な輝度データ蓄積したタイミングでよ図３に示すＳＥＬ１ＥＮ信号を出力し、第１のセレクタ１０９のセレクタ切り換えにてまず第１の縮小画像の二次元フィルタリングを行なう。

撮像開始から二次元フィルタリング処理が開始されるまでの期間は、二次元フィルタの参照必要ブロックに依存する。図３では、ｂ期間分遅延してフィルタ処理を開始する。例えば、３×３のブロックの場合は３ライン分、４×４のブロックの場合は４ライン分の読出し期間が図３の期間ｂに対応する。すなわち、縮小率１の二次元フィルタ開始期間＝１／縮小率１×二次元ブロック数の関係に基づいて、二次元フィルタ開始期間が決定される。

すなわち、二次元フィルタ１０８の画素データ参照ブロックが少なければ二次元フィルタリング処理の遅延が小さくなり、二次元フィルタ１０８の画素データ参照ブロックが多ければ二次元フィルタリング処理の遅延が大きくなる。同様に、第２のバッファメモリ１０６に蓄積された縮小率２の画像データに対して、図３に示すｃ期間後に二次元フィルタ処理が開始可能となる。なお、縮小率２の二次元フィルタ開始期間＝１／縮小率２×二次元ブロック数の関係に基づいて、二次元フィルタ開始期間が決定される。

このｃ期間後に第１のバッファメモリ１０５から出力される縮小率１の画像サイズの画像データに対するフィルタ処理が終了する。このｃ期間後の非処理期間（図３−ｅの期間）において、コントローラ１１１は、第１のセレクタ１０９を切り換え、二次元フィルタ１０８に縮小率２の画像データの二次元フィルタ処理を実行させる。

また同様に、第３のバッファメモリ１０７に蓄積された縮小率３に縮小された画像データに対して、図３に示すｄ期間後に２次元フィルタ処理が可能となる。
なお、縮小率３の二次元フィルタ開始期間＝１／縮小率３×二次元ブロック数の関係に基づいて、二次元フィルタ開始期間が決定される。

このｄ期間後に第１のバッファメモリ１０５から出力される縮小率１の画像サイズの画像データに対するフィルタ処理が終了する。このｄ期間後の非処理期間（図３−ｆの期間）において、コントローラ１１１は、ＳＥＬ３ＥＮ信号を出力し、第１のセレクタ１０９を切り換え、二次元フィルタ１０８に縮小率３の画像データの二次元フィルタ処理を実行させる。

すなわち、二次元フィルタ処理は画像サイズの最も大きい画像データ（縮小率１）に対する処理を優先させる。そして、画像サイズの最も大きい画像データに対する処理が行われていない非処理期間に他の小さいサイズの画像データ（縮小率２，３）に対する処理を実行させる。

また、縮小率２と縮小率３の画像データに対する二次元フィルタ処理のタイミングが同一になる場合は画像サイズの大きい縮小率２の画像データに対する二次元フィルタ処理を優先的に行なう縮小率３の画像データに対する二次元フィルタ処理は、図４に示すようにｋ期間遅延させる。すなわち、コントローラ１１１は、ＳＥＬ２ＥＮ信号とＳＥＬ３ＥＮ信号出力タイミングを異ならせ、縮小率１画像データに対する二次元フィルタ処理が行われない非処理期間にＳＥＬ３ＥＮ信号を出力させる。

ここで、外部からの指示により画像サイズの変更を行う場合、それぞれのサイズに対応する二次元フィルタ処理の開始タイミングを再設定する。そして、二次元フィルタ処理を行う間隔を１／縮小率（水平走査期間）として、各画像サイズに対する二次元フィルタ処理タイミングの切り換えを実行する。

上記した二次元フィルタ１０８によって処理された画像データは、第５〜第７のバッファメモリ１１２〜１１４にパイプライン処理にて順次記憶される。次に、第７のバッファメモリ１１４に記憶される最小画像サイズの画像データが数ライン分蓄積された時点より第１〜第３の画像拡大処理部１１５〜１１７による第５〜第７のバッファメモリ１１２〜１１４に一時蓄積された画像データに対する拡大処理を実行する。この拡大処理では、第２の画像処理部７に入力される元の画像サイズと同じサイズに拡大する。

各第１〜第３の画像拡大処理部１１５〜１１７にて拡大された画像は、それぞれ元画像に異なる二次元フィルタをかけた画像となる。そして各々の画像の画素の輝度値（Ｙ値）により予め定めてあるルックアップテーブルに対応した補正量を第１〜第３のテーブル参照部１１８〜１２０で参照し、その補正量を加算器１２２にて加算する。

続いて、元の未補正画像を記憶した第４のバッファメモリ１１０より画素の輝度データと色差データを読み出す。色補正処理部１２３は、第４のバッファメモリ１１０より読み出された色差データに対して、加算器１２２から出力された補正量加算結果に応じた補正演算を行なう。同様に、輝度補正処理部１２４は、元画像の輝度データに対して、加算器１２２から出力された補正量加算結果に応じた補正演算を行なう。

第２のセレクタ１２５は、色補正処理部１２３の処理によって得られた補正色差データと輝度補正処理部１２５の処理によって得られた補正輝度データを１つのデータフォーマットに乗っ取ってエンコード処理部９へ伝送する。

次に、エンコード処理部９である画像圧縮処理部で、順次ＪＰＥＧ画像圧縮処理されＭｏｔｉｏｎＪＰＥＧ画像として構成する。

エンコード処理部９による圧縮処理後、ストレージ部１２に格納するか、ネットワーク通信部１１を介して圧縮画像を送信する。

本実施形態によれば、画像の暗い部分を明るく補正出来、且つ、画像の明るい部分と暗い部分との切換わり目付近も綺麗に補正することが可能となる。

また、二次元フィルタ処理ブロックを複数持つ必要がなく省スペース化と省電力化を実現することが出来る。

また、第１〜第３のバッファメモリ１０５〜１０７のバッファメモリが最適且つ最小限に設定することが出来、省メモリ化を実現することが出来る。

また、第４のバッファメモリ１１０を最小限に設定することが可能となり、省メモリ化を実現することが出来る。

−第２の実施形態−
次に、本発明の第２の実施形態について説明する。本実施形態における撮像装置及び画像処理装置の構成は、図１及び図２に示す構成と同様であるため、説明は省略する。図５は、本実施形態の動作を示すタイミングチャートである。本実施の形態では、１フレーム分の読み出し期間を単位として処理される形態を示している。

上記構成において、画像サイズの変更要求が発生した際の制御方法について図５のタイミングチャートを用いて説明する。図５の横軸は時間軸である。

図５において、「ＶＤ」は、動画像を構成する為の垂直同期信号であるＶＤ信号のタイミングチャートである。「Ａ／Ｄ出力」は、撮像素子１から得られるアナログ信号を所定の量子化ビットにデジタル変換するＡ／Ｄ変換器３によるＡ／Ｄ出力処理のタイミングチャートである。「第１画像処理」は、第１の画像処理部５にて画像処理する処理のタイミングチャートである。「Ｙサンプリング処理」は、輝度データ抽出部１０１で輝度データをサンプリングするＹサンプリング処理のタイミングチャートである。「第１の画像縮小処理」は、第１の画像縮小処理部１０２の画像縮小処理のタイミングチャートである。「第１バッファ」は、第１のバッファメモリ１０５にて画像データをバッファリングするタイミングチャートである。「第２の画像縮小処理」は、第２の画像縮小処理部１０３の画像縮小処理のタイミングチャートである。「第２バッファ」は、第２のバッファメモリ１０６にて画像データをバッファリングするタイミングチャートである。「第３の画像縮小処理」は、第３の画像縮小処理部１０４の画像縮小処理のタイミングチャートである。「第３バッファ」は、第３のバッファメモリ１０７にて画像データをバッファリングするタイミングチャートである。「二次元フィルタ処理」は、二次元フィルタ１０８の処理のタイミングチャートである。「第５バッファ」は、第５のバッファメモリ１１２にて画像データをバッファリングするタイミングチャートである。「第６バッファ」は、第６のバッファメモリ１１３にて画像データをバッファリングするタイミングチャートである。「第７バッファ」は、第７のバッファメモリ１１４にて画像データをバッファリングするタイミングチャートである。

図５に示すグループａ´には、コントローラ１１１から各ブロックに出力するＥＮ信号類のタイミングチャートを示している。「縮小処理ＥＮ」は、第１〜第３の画像縮小処理部１０２〜１０４の縮小処理をコントロールしている縮小処理ＥＮ信号のタイミングチャートである。「バッファ１ＥＮ」は、第１のバッファメモリ１０５にバッファリングするタイミングをコントロールしているバッファ１ＥＮ信号のタイミングチャートである。「バッファ２ＥＮ」は、第２のバッファメモリ１０６にバッファリングするタイミングをコントロールしているバッファ２ＥＮ信号のタイミングチャートである。「バッファ３ＥＮ」は、第３のバッファメモリ１０７にバッファリングするタイミングをコントロールしているバッファ３ＥＮ信号のタイミングチャートである。「ＳＥＬ１ＥＮ」は、第１のセレクタ１０９に対して第１のバッファメモリ１０５からデータを流すタイミングをコントロールしているＳＥＬ１ＥＮ信号のタイミングチャートである。「ＳＥＬ２ＥＮ」は、第１のセレクタ１０９に対して第２のバッファメモリ１０６からデータを流すタイミングをコントロールしているＳＥＬ２ＥＮ信号のタイミングチャートである。「ＳＥＬ３ＥＮ」は、第１のセレクタ１０９に対して第３のバッファメモリ１０７からデータを流すタイミングをコントロールしているＳＥＬ３ＥＮ信号のタイミングチャートである。

「拡大処理ＥＮ」は、第１〜第３の画像拡大処理部１１５〜１１７をコントローラ１１１でコントロールする為の制御信号である拡大処理ＥＮ信号のタイミングチャートである。「第１の画像拡大処理」は、第１の画像拡大処理部１１５の拡大処理のタイミングチャートである。「第２の画像拡大処理」は、第２の画像拡大処理部１１６の拡大処理のタイミングチャートである。「第３の画像拡大処理」は、第３の画像拡大処理部１１７の拡大処理のタイミングチャートである。「第２セレクタ」は、第２のセレクタ１２５からの出力信号のタイミングチャートを示している。

図５のフィルタ処理タイミングにて記載している通り、本実施の形態では、縮小画像１の二次元フィルタの非動作期間（図５の垂直ブランキング期間内のｍの期間、）に、コントローラ１１１にてＳＥＬ２ＥＮ信号を出力し、第２のバッファメモリにバッファされている縮小率２の画像データの二次元フィルタ処理を行う。

また、縮小率２の画像データの二次元フィルタ処理動作完了後、第３のバッファメモリ１０７にバッファされている縮小率３の画像データを縮小率１、縮小率２の画像データの二次元フィルタ処理の非処理期間（図５の垂直ブランキング期間内のｎの期間）に、コントローラ１１１にてＳＥＬ３ＥＮ信号を出力する。

以降の図２の１１８〜１２５の処理及び図１の９〜１２の処理は、第１の実施形態と同様であるため説明は省略する。

−第３の実施形態−
次に、本発明の第３の実施形態について説明する。図６は本実施形態に係る画像処理装置を撮像装置に実装した際の全体概要を表すブロック図である。図７は本実施形態の各種処理を示すタイミングチャートである。図６に示す構成は、図１の現像処理を施す第１の画像処理部５と第２の画像処理部７とを入れ替えたものである。

第２の画像処理部７にＡ／Ｄ変換部３からのＡ／Ｄ変換されたデータが入力される。これが図２に示す構成への入力となる。

入力データは、現像処理（ホワイトバランス、ＡＥ補正等、画像を形成する上での色々な処理）を行なう前のデータ（ＲＡＷデータ）である。本実施形態では、この入力データの処理をする場合の例として説明している。

図７に本実施形態のタイミングチャートに示す。横軸は時間軸である。「ＨＤ」は、動画像を構成する為の水平同期信号であるＨＤ信号のタイミングチャートである。「Ａ／Ｄ出力」は、撮像素子１から得られるアナログ信号を所定の量子化ビットにデジタル変換するＡ／Ｄ変換器３によるＡ／Ｄ出力処理のタイミングチャートである。「Ｙサンプリング処理」は、輝度データ抽出部１０１で輝度データをサンプリングする輝度抽出演算処理のタイミングチャートである。「第１の画像縮小処理」は、第１の画像縮小処理部１０２の縮小処理のタイミングチャートである。「第１のバッファ」は、第１のバッファメモリ１０５にてバッファリングするタイミングチャートである。「第２の画像縮小処理」は、第２の画像縮小処理部１０３の縮小処理のタイミングチャートである。「第２のバッファ」は、第２のバッファメモリ１０６にてバッファリングするタイミングチャートである。「第３の画像縮小処理」は、第３の画像縮小処理部１０４の縮小処理のタイミングチャートである。「第３のバッファ」は、第３のバッファメモリ１０７にてバッファリングするタイミングチャートである。

図７のグループａ´に、図２のコントローラ１１１から各ブロックに出力しているＥＮ信号類のタイミングチャートを示している。「縮小処理ＥＮ」は、第１〜第３の画像縮小処理部１０２〜１０４の縮小処理をコントロールしている縮小処理ＥＮ信号のタイミングチャートである。「バッファ１ＥＮ」は、第１のバッファメモリ１０５にバッファリングするタイミングをコントロールしているバッファ１ＥＮ信号のタイミングチャートである。「バッファ２ＥＮ」は、第２のバッファメモリ１０６にバッファリングするタイミングをコントロールしているバッファ２ＥＮ信号のタイミングチャートである。「バッファ３ＥＮ」は、第３のバッファメモリ１０７にバッファリングするタイミングをコントロールしているバッファ３ＥＮ信号のタイミングチャートである。「ＳＥＬ１ＥＮ」は、第１のセレクタ１０９に対して第１のバッファメモリ１０５からデータを流すタイミングをコントロールしているＳＥＬ１ＥＮ信号のタイミングチャートである。「ＳＥＬ２ＥＮ」は、第１のセレクタ１０９に対して第２のバッファメモリ１０６からデータを流すタイミングをコントロールしているＳＥＬ２ＥＮ信号のタイミングチャートである。「ＳＥＬ３ＥＮ」は、第１のセレクタ１０９に対して第３のバッファメモリ１０７からデータを流すタイミングをコントロールしているＳＥＬ３ＥＮ信号のタイミングチャートである。なお、「二次元フィルタ処理」は、二次元フィルタ１０８の二次元フィルタ処理タイミングチャートを表している。

図２のブロック図に示す順に、ＲＡＷデータが入力される。撮像素子１のセンサの画像フォーマット（センサタイプ、画像サイズ）に合わせて、輝度データ抽出部１０１は、予めＲＧＢあるいはＣＭＹのフィルタで撮像素子１よりサンプリングしたデータから輝度データを抽出すべく係数演算を行なう。この係数演算処理以降は第１の実施形態と処理内容及びタイミングも同一である。

出力された画像データを第１の画像処理部５において更に最適化する為、ホワイトバランス、画像のフィルタリング処理、通常カメラに必要な、輝度、色差等の補正処理を施し最適な画像を作り出す処理を行なう。なお、図６の８〜１４は、第１の実施形態における図１の８〜１４の構成及び機能が同一である。

以上、本実施形態によれば、ＲＡＷデータにて処理を行なうように構成しているため、上述した第１の実施形態の効果はもとより、更に画像を最適処理することが可能となる。

−第４の実施形態−
次に、本発明の第４の実施形態について説明する。図８は、本実施形態に係る画像処理装置を撮像装置に実装した際の全体構成を示すブロック図である。図９は、本実施形態における動作を示すタイミングチャートである。

図８の構成として、１１は、外部ネットワーク上からストリーミング配信されてくる画像データを通信するネットワーク通信部である。１２は、画像が記憶されるストレージ部（特にストレージの詳細は限定しないが、フラッシュＲＯＭ、ハードディスク、ＤＶＤ等のストレージメディア等）である。１０は１１と１２からの入力画像を切り換える切り換え部である。１５は切り換え部１０から流れて来たデータを予め設定して圧縮されている画像のフォーマットを解凍するデコード処理部である。５〜７、１３、１４は第１の実施形態と同一である。８はディスプレイの表示特性に合わせて画像の輝度、色差、彩度等の調整を行なうＣＰＵである。１６は、第２の画像処理部７で補正処理された画像をディスプレイに表示する為のコントローラであるところのディスプレイコントローラである。１７は得られた画像データを表示するディスプレイである。

なお、本実施形態における第２の画像処理部５の構成は、第１の実施形態の説明で用いた図２の構成と同一であるため説明は省略する。

本実施形態において第１〜第３の実施形態と異なる点は、第１〜第３の実施形態は撮像装置であるカメラ等に本発明を適用した場合の例であるが、本実施形態は、画像データを表示するディスプレイ側での処理の一例である。従って、図２の第２の画像処理部７にデータを入れるのは、デコード処理部１５で所定フォーマットにて圧縮された画像をデコードし、第１の画像処理部５にてディスプレイ１７に合わせた画像補正処理された画像を入力する。

ここで、図９のタイミングチャートを用いて本実施形態の動作を説明する。なお、横軸は時間軸である。「ＨＤ」は、画像の水平同期を行なう水平同期信号であるＨＤ信号のタイミングチャートである。「デコード処理」は、デコード処理部１５によるデコード処理のタイミングチャートである。「輝度データ抽出処理」は、輝度データ抽出部１０１の輝度データ抽出処理のタイミングチャートである。以下は、第１の実施形態の図３の第１の画像縮小処理〜二次元フィルタ処理までのタイミングチャートは同一順に示している。

デコード処理部１５によりデコードされたデータを１ライン単位で第１の画像処理部５へパイプラインでデータを流し各種補正処理する。その画像を階調補正する第２の画像処理部７へ出力する。

第２の画像処理部７は、前述した第１又は第２の実施形態における第２の画像処理部７と同じ処理タイミングで同様の処理を行う。

続いて、第２の画像処理部７で処理された画像データをディスプレイコントローラ１６の制御によりディスプレイ１７上に表示させる。

本実施形態によれば、前述した第１〜第３の実施形態のような階調補正処理を持たない撮像装置からの画像であっても、あらゆる画像サイズ或いは画像の解像度に対しても図２の階調補正処理をかけることが出来且つ、処理の遅延を低減することが可能となる。

なお、以上説明した第１〜第４の実施形態は本発明の適用例の一部に過ぎず、本発明の要旨を逸脱しない範囲で様々な適用例があることは勿論である。

上記実施形態によれば、画像サイズ或いは解像度に応じて二次元フィルタ処理を実行するタイミングを切り換えることで、様々な画像サイズに対応が可能となり、回路規模が増大することなく、最小限の遅延時間で処理が可能となる。

本発明の第１及び第２の実施形態に係る撮像装置の構成を示す図である。 本発明の第１乃至第４の十指形態に係る撮像装置内の画像処理部の構成を示す図である。 本発明の第１の実施形態におけるシステムタイミングを示すタイミングチャートである。 本発明の第１の実施形態におけるシステムタイミングを示すタイミングチャートである。 本発明の第２の実施形態におけるシステムタイミングを示すタイミングチャートである。 本発明の第３の実施形態に係る撮像装置の構成を示す図である。 本発明の第３の実施形態におけるシステムタイミングを示すタイミングチャートである。 本発明の第４の実施形態に係る撮像装置の構成を示す図である。 本発明の第４の実施形態におけるシステムタイミングを示すタイミングチャートである。

符号の説明

１ 撮像素子
２ レンズ
３ Ａ／Ｄ変換部
４ タイミングジェネレータ
５ 第１の画像処理部
６ メモリ
７ 第２の画像処理部
８ ＣＰＵ
９ エンコード処理部
１０ 切り換え部
１１ ネットワーク通信部
１２ ストレージ部
１３ キー入力部
１４ ＩＲリモコン通信部
１５ デコード処理部
１６ ディスプレイコントローラ
１７ ディスプレイ
１０１ 輝度データ抽出部
１０２ 第１の画像縮小処理部
１０３ 第２の画像縮小処理部
１０４ 第３の画像縮小処理部
１０５ 第１のバッファメモリ
１０６ 第２のバッファメモリ
１０７ 第３のバッファメモリ
１０８ フィルタ
１０９ 第１のセレクタ
１１０ 第４のバッファメモリ
１１１ コントローラ
１１２ 第５のバッファメモリ
１１３ 第６のバッファメモリ
１１４ 第７のバッファメモリ
１１５ 第１の画像拡大処理部
１１６ 第２の画像拡大処理部
１１７ 第３の画像拡大処理部
１１８ 第１のテーブル参照部
１１９ 第２のテーブル参照部
１２０ 第３のテーブル参照部
１２１ ルックアップテーブル
１２２ 加算器
１２３ 色補正処理部
１２４ 輝度補正処理部
１２５ 第２のセレクタ

Claims (5)

1. 互いに画像サイズが異なる複数種類の画像データを保持するデータ保持手段と、
   前記複数種類の画像データの画像サイズに基づいて、前記データ保持手段からのデータ出力を前記複数種類の画像データ間で切り換える切換手段と、
   前記データ保持手段から出力される画像データに対して所定の処理を実行する処理手段とを有することを特徴とするデータ処理装置。
2. 前記切換手段は、前記複数種類の画像データ夫々の前記データ保持手段からのデータ出力期間が互いに重複しないように切り換え処理を行うことを特徴とする請求項１に記載のデータ処理装置。
3. 前記切換手段は、前記複数種類の画像データ間において画像サイズが高い画像データから優先して前記データ保持手段から出力されるように切り換え処理を行うことを特徴とする請求項１又は２に記載のデータ処理装置。
4. 一つの画像データから画像サイズが互いに異なる前記複数種類の画像データを生成する画像データ生成手段を更に有し、
   前記処理手段は、前記所定の処理として画像データに対してフィルタ処理を行い、前記切換手段は、前記画像データ生成手段による前記複数種類の画像データの生成処理に係る情報と前記処理手段のフィルタ処理特性とに基づいて、前記複数種類の画像データ間におけるデータ出力の切り換え処理を行うことを特徴とする請求項３に記載のデータ処理装置。
5. データ処理装置によるデータ処理方法であって、
   互いに画像サイズが異なる複数種類の画像データを保持するデータ保持手段からのデータ出力を、前記複数種類の画像データの画像サイズに基づいて前記複数種類の画像データ間で切り換える切換ステップと、
   前記データ保持手段から出力される画像データに対して所定の処理を実行する処理ステップとを含むことを特徴とするデータ処理方法。

Images