JP2011059911A - 画像処理装置 - Google Patents

Abstract

【課題】画像処理の順序を変更するための回路の規模や消費電力を低減する。
【解決手段】それぞれ処理順番を変更可能な画像処理を行う複数の画像処理部を含む第１処理部（１２）と、処理順番が固定されている画像処理を行う画像処理部を含む第２処理部（１１，１３）と、上記第１処理部に属する複数の画像処理部間の入出力経路の切替を行うことで、上記第１処理部内での処理順番を変更可能な入出力切替部（１０４）を設ける。上記のように入出力切替部での入出力経路切替により処理順番の変更を行えるのが中間処理部に限定されているため、画像処理装置における全ての画像処理部における処理順番を入出力切替部で切替可能とするのに比べて、入出力切替部の回路規模を小さくすることができ、それにより、画像処理の順序を変更するための回路の規模や消費電力を低減することができる。
【選択図】図１

Description

本発明は、画像処理装置、さらには画像処理の順序を変更するための回路の規模や消費電力を低減するための技術に関する。

特許文献１には、１つの画像処理におけるデータの入出力先として画像メモリか他の画像処理のどちらかを選択することができる入出力選択手段を備え、入出力選択手段の設定を行うことにより画像処理の処理順を変更可能な構成とすることで、色空間変換、拡大・縮小、２値化等の複数の画像処理の処理順を変更可能にした技術が記載されている。

特開２００１−２６６１１１号公報

本願発明者は、上記背景技術について検討した結果、以下のような課題を見出した。

一般的に携帯電話・移動体端末向けの1セグメント部分受信サービスなどのＴＶ（Television）放送や、コンピュータグラフィックによる合成画像はそのフォーマットが決まっており、常に画像データ処理の処理順序が固定となるような画像処理が存在する。しかしながら、特許文献１では、すべての画像処理の処理順序を変更可能としているため、処理すべき画像処理の種類が増えるとその入出力選択手段の回路規模が増大し、その結果消費電力についても増大することが考えられる。

特許文献１ではメモリから画像データを読み出して画像処理を行い、再び画像データをメモリへ書き込むようにしている。そのため画像処理順序が自由に変更可能な画像処理装置で、例えばカメラやＬＣＤ（液晶ディスプレイ）装置など、画像データの入力元もしくは出力先の一方が外部デバイスであるような画像処理が困難であることが考えられる。

モバイル製品など消費電力の低減が求められるとき、その動作周波数を低減させたい場合がある。画像処理の演算量が同じで動作周波数を下げる場合、その同じ回路を複数持って平行に処理する必要がある。しかしながら特許文献１では、複数の同一回路による平行処理について言及されていない。

特許文献１では、画像処理の例として色空間変換、拡大縮小、２値化処理など画像入力として１入力の例しか示されていない。このため、画面ブレンド処理など複数の入力画像データを要求する画像処理が困難になることが考えられる。

本発明の目的は、画像処理装置において画像処理の順序を変更するための回路の規模や消費電力を低減するための技術を提供することにある。

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、それぞれ処理順番が変更される可能性がある画像処理を行う複数の画像処理部を含む第１処理部（１２）と、上記第１処理部とは異なり、処理順番が固定されている画像処理を行う画像処理部を含む第２処理部（１１，１３）と、上記第１処理部に属する複数の画像処理部間の入出力経路の切替を行うことで、上記第１処理部内での処理順番を変更可能な入出力切替部（１０４）とを設ける。

上記の構成によれば、上記のように入出力切替部での入出力経路切替により処理順番の変更を行えるのが中間処理部に限定されているため、画像処理装置における全ての画像処理部における処理順番を入出力切替部で切替可能とするのに比べて、入出力切替部の回路規模を小さくすることができる。このことが、画像処理の順序を変更するための回路の規模や消費電力の低減を達成する。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。

すなわち、画像処理装置において画像処理の順序を変更するための回路の規模や消費電力を低減するための技術を提供することができる。

本発明にかかる画像処理装置の構成例ブロック図である。 図１に示される画像処理装置を含む情報処理装置の構成例ブロック図である。 上記画像処理装置に含まれる入出力切替部の構成例ブロック図である。 上記画像処理装置の別の構成例ブロック図である。 上記画像処理装置の別の構成例ブロック図である。 上記画像処理装置の別の構成例ブロック図である。 上記画像処理装置の別の構成例ブロック図である。

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態に係る画像処理装置（２０３）は、それぞれ処理順番を変更可能な画像処理を行う複数の画像処理部を含む第１処理部（１２）と、上記第１処理部とは異なり、処理順番が固定されている画像処理を行う画像処理部を含む第２処理部（１１，１３）とを含む。また、画像処理装置（２０３）は、上記第１処理部に属する複数の画像処理部間の入出力経路の切替を行うことで、上記第１処理部内での処理順番を変更可能な入出力切替部（１０４）を含む。

〔２〕上記〔１〕において、上記第１処理部は、第１外部デバイス（２０１）から画像データを取り込むための画像入力部（２０２）と、上記第１処理部の処理結果を第２外部デバイス（２０４）へ出力可能な画像出力部（２０５）とを含んで構成することができる。

〔３〕上記〔１〕において、上記第２処理部は、入力された画像データを取り込んで、処理順番が固定されている画像処理を行い、その処理結果を上記第１処理部に送出する前処理部（１１）と、上記第１処理部の処理結果を取り込んで、処理順番が固定されている画像処理を行う後処理部（１３）とを含んで構成することができる。

〔４〕上記〔３〕において、上記前処理部は、それぞれ所定の画像処理アルゴリズムに従って入力画像データの画像処理を行う複数の画像処理部が互いに直列接続され、上記後処理部は、それぞれ所定の画像処理アルゴリズムに従って入力画像データの画像処理を行う複数の画像処理部が互いに直列接続される。

〔５〕上記〔３〕において、上記前処理部は、それぞれ所定の画像処理アルゴリズムに従って入力画像データの画像処理を行う複数の画像処理部が互いに直列接続されて成る画像処理部群を複数系統設けることができる。また、上記後処理部は、それぞれ所定の画像処理アルゴリズムに従って入力画像データの画像処理を行う複数の画像処理部が互いに直列接続されて成る画像処理部群を複数系統設けることができる。

〔６〕上記〔５〕において、上記第１処理部には、互いに独立して画像データを取り込むための複数系統の画像データ入力ポートを備えた画像処理部（１０２）を設けることができる。

〔７〕上記〔２〕において、上記第１外部デバイスをカメラ（２０１）とし、上記画像入力部は、上記カメラから画像データを取り込むためのカメラ入力制御部（２０２）とすることができる。また、上記第２外部デバイスを表示装置とし、上記画像出力部は、上記第１処理部の処理結果に基づいて上記表示装置（２０４）での画像表示を制御する表示制御部（２０５）とすることができる。

〔８〕上記〔１〕において、上記画像処理装置の外部に配置されたバス（２０６）に接続され、上記外部バスとの間で信号のやり取りを可能とするバスインターフェイス（１０９）と、上記バスインターフェイスに接続され、上記バス及び上記バスインターフェイスを介して制御情報の設定が可能とされるレジスタ（４１）とを設けることができる。このとき、上記入出力切替回路は、上記レジスタに設定された制御情報に従って上記入出力経路の切替を行う。

２．実施の形態の詳細
実施の形態について更に詳述する。

＜実施の形態１＞
図２には、本発明にかかる画像処理装置を含む情報処理装置が示される。

図２に示される情報処理装置２００は、特に制限されないが、カメラ２０１、カメラ入力制御部２０２、画像処理装置２０３、表示装置２０４、表示制御部２０５、ＣＰＵ（Central Processing Unit）２０７、メモリ制御部２０８、ユニファイドメモリ２０９、通信制御部２１０、通信装置２１１、外部記憶制御部２１２、及び外部記憶装置２１３を含む。上記カメラ入力制御部２０２、上記画像処理部２０３、表示制御部２０５、ＣＰＵ２０７、メモリ制御部２０８、通信制御部２１０、及び外部記憶制御部２１２は、各種情報の伝達を可能とするＣＰＵバス２０６に結合される。

上記カメラ入力制御部２０２は、ＣＣＤ（Charge Coupled Device）方式やＣＭＯＳ（Complementary Metal Oxide Semiconductor）方式等によるカメラ２０１で得られた画像データの取り込みを制御する。このカメラ入力制御部２０２によって取り込まれた画像データは、ＣＰＵバス２０６を介してメモリ制御部２０８に伝達され、このメモリ制御部２０８の制御によりユニファイドメモリ２０９に書き込まれる。ユニファイドメモリ２０９には、ＣＰＵ制御データ、画像処理のフレームデータ、グラフィックデータ、画像処理圧縮伸張データ、音声データなどが格納される。そのようなユニファイドメモリ２０９は、ＣＰＵ２０７及びその他のデバイスからのアクセスが可能とされる。上記画像処理装置２０３は、上記ユニファイドメモリ２０９からＣＰＵバス２０６を介して伝達された画像データを処理する。この処理結果は再びＣＰＵバス２０６を介して上記ユニファイドメモリ２０９に書き戻される。上記表示装置２０４は、画像表示を可能とする液晶ディスプレイ等とされる。上記表示制御装置２０５は、上記ユニファイドメモリ２０９からＣＰＵバス２０６を介して伝達された画像データに基づいて上記表示装置２０４への画像表示を制御する。ＣＰＵ２０７は、所定のプログラムに従って情報処理のための所定の演算処理を行う。上記通信制御部２１０は、所定のプロトコルに従って通信装置２１１で行われるデータ通信を制御する。上記通信装置２１１で行われるデータ通信により、ユニファイドメモリ２０９内の画像データを外部出力することができる。また、上記通信装置２１１で行われるデータ通信により取り込まれた画像データは、ＣＰＵバス２０６を介してユニファイドメモリ２０９に書き込まれる。上記外部記憶装置２１３は、フラッシュメモリや、ハードディスク装置とされ、外部記憶制御部２１３によって動作制御が行われる。上記外部記憶装置２１３に格納されている画像データは、ＣＰＵバス２０６を介して上記ユニファイドメモリ２０９へ書き込むことができ、また、上記ユニファイドメモリ２０９に格納されている画像データを上記外部記憶装置２１３に書き込むことができる。

ここで、上記画像処理装置２０３で行われる画像処理を列挙すると以下の通りである。

すなわち、拡大縮小処理、ノイズ除去処理、エッジ強調処理、超解像処理、色空間変換処理、色数変換処理、色補間処理、色間引き処理、データアライメント処理、ＦＩＲフィルタ処理、フレームレート変換処理、手ぶれ補正処理、デブロッキングフィルタ処理、階調補正処理、色補正処理、画面ブレンド処理、ラスター演算処理、カラーキー処理、回転処理、反転処理、歪み補正処理、色収差補正処理である。

上記「拡大縮小処理」は、拡大縮小処理は入力された画像を、縦横それぞれ任意の倍率で拡大もしくは縮小し、入力サイズに対しその倍率を乗じたサイズの画像を出力する処理である。

上記「ノイズ除去処理」は、カメラのセンサなどで発生した暗電流ショットノイズ、リセットノイズ、アンプノイズなどのランダム発生したノイズを除去する画像処理である。メディアンフィルタは、ある画素の周辺にある画素値をソートし、その中央値をとることによりノイズ除去をおこなうノイズ除去処理の１つである。

上記「エッジ強調処理」は、エッジ強調は入力された画像のエッジ部をその周辺の平坦部に比べて、輝度値変化の勾配を急峻にする、輝度値の変化量を大きくすることなどによりエッジ部を強調する画像処理である。

上記「超解像処理」は、入力された画像のナイキスト周波数より高い周波数成分を有する画像を復元する処理のことである。

上記「色空間変換処理」は、色の値をある座標系で指示した値から、別の座標系で指示した値に変換する処理である。例えばＲ，ＧおよびＢ座標から成るＲＧＢ色空間から、Ｙ，ＣｂおよびＣｒ座標から成るＹＣｂＣｒ色空間への変換などを挙げることができる。

上記「色数変換処理」は、ＲＧＢ色空間においてＲ，ＧもしくはＢ座標の色数を減少(減色)、増加(増色)させるなど、色空間の各座標に割り当てる色数を変更する処理である。尚、入力されたインデックス値を色空間の各座標の値に割り当てる処理についても色数変換とする。ディザ処理は色数を減少させる減色処理の方法の1つである。

上記「色補間処理」は、ＹＣｂＣｒ色空間において、Ｙ成分と比較して画素数が間引かれたＣｂおよびＣｒ成分をＹ成分と同じ画素数に補間する処理である。

上記「色間引き処理」は、ＹＣｂＣｒ色空間においてＣｂおよびＣｒ成分をＹ成分に比較してその画素数を間引く処理である。

上記「データアライメント処理」は、画像メモリ上に置かれたデータを画像処理装置で処理しやすいフォーマットに変換する処理である。例えばメモリ上にゼロデータ、Ｂデータ、ＧデータおよびＲデータの順で画素毎に格納されている場合、画像処理装置で処理するためゼロデータを取り除き、Ｒデータ、Ｇデータ及びBデータに並び替える処理などがある。
上記「ＦＩＲフィルタ処理」は、入力された画像に対して、有限インパルス応答特性を持つフィルタ演算をおこなう処理である。ＦＩＲフィルタによりローパス、ハイパスおよびバンドパスフィルタを構成でき、それぞれ低域、高域および特定帯域を通過させるフィルタである。

上記「フレームレート変換処理」は、動画像において、１秒あたりの画像枚数を変換する処理である。

上記「手ぶれ補正処理」は、カメラ撮影時にカメラを支えている身体が動くことなどによって撮影されたブレた画像を、ブレのない画像に補正する処理である。

上記「デブロッキングフィルタ処理」は、MPEGなど画像コーデックにより画像を圧縮伸張した時に発生するブロックノイズを除去するフィルタである。

上記「階調補正処理」は、入力画像の各画素値を、入力値に対し出力される値を定義したトーンカーブに従って出力画素値に変換する処理である。ガンマ補正はトーンカーブが指数型であらわされる階調補正の1つである。

上記「色補正処理」は、入力画像の色相、彩度もしくは色温度を、それぞれ別の色相、彩度もしくは色温度に変換する処理である。肌色補正は、人間の肌色をより綺麗な肌色に変換する色補正の一例である。

上記「画面ブレンド処理」は、ある画像の各画素に対して任意の透過係数を乗算し、また別の画像の各画素に対して任意の透過係数を乗算し、それら２つの乗算結果を加算することによって画面の重ね合わせを行う処理である。

上記「ラスター演算処理」は、ある画像の画素値と別の画像の画素値のビット演算をおこなう処理である。ビット演算にはＡＮＤ（アンド），ＯＲ（オア），ＸＯＲ（エクスクルージブオア）などがある。

上記「カラーキー処理」は、特定の色を別の色に置き換える、もしくは透過色に置き換える処理のことである。

上記「回転処理」は、入力された画像を任意の角度に回転し出力する処理である。

上記「反転処理」は、入力された画像を鏡に映し出された画像（鏡像）に変換する処理である。

上記「歪み補正処理」は、カメラのレンズで発生する、光学像の幾何学的な画像歪みを補正する処理である。

上記「色収差補正処理」とは、カメラのレンズで像を作る際に光の波長の違いにより像に生じたずれを補正する処理である。

上記前処理部（画像処理部１０５，１０６）で行われる処理としては、データアライメント処理、カラーキー処理、色数変換処理、色補間処理、色空間変換処理などを挙げることができる。また、上記後処理（画像処理部１０７，１０８）で行われる処理としては、色空間変換処理、色間引き処理、色数変換処理、カラーキー処理、データアライメント処理などを挙げることができる。上記前処理部（画像処理部１０５，１０６）での処理と、上記後処理（画像処理部１０７，１０８）での処理とは対応関係にある。例えば、画像処理部１０５でデータアライメント処理が行われ、画像処理部１０６でカラーキー処理が行われる場合、画像処理部１０７ではカラーキー処理が行われ、画像処理部１０８ではデータアライメント処理が行われる。また、画像処理部１０５で色数変換処理が行われ、画像処理部１０６で色補間処理が行われる場合、画像処理部１０７では、色間間引き処理が行われ、画像処理部１０８では色数変換処理が行われる。

上記中間処理部（画像処理部１０１，１０２，１０３）で行われる処理としては、拡大縮小処理、ノイズ除去処理、エッジ強調処理、超解像処理、ＦＩＲフィルタ処理、フレームレート変換処理、手ぶれ補正処理、デブロッキングフィルタ処理、階調補正処理や、色補正処理、画面ブレンド処理、ラスター演算処理などを挙げることができる。

図１には、上記画像処理装置２０３の構成例が示される。

上記画像処理装置２０３は、それぞれ所定の画像処理アルゴリズムに従って画像処理を行う画像処理部１０１，１０２，１０３，１０５，１０６，１０７，１０８、及びバスインターフェイス１０９を含む。

上記画像処理部１０１，１０２，１０３は、中間処理部１２とされ、ここでは処理順番が変更される可能性のある画像処理が行われる。上記入出力切替部１０４は、上記中間処理部に属する画像処理部１０１〜１０３間の入出力経路の切替を行うことで、中間処理部内での処理順番の変更を可能とする。

上記画像処理部１０５には、上記バスインターフェイス１０９を介して画像データが伝達される。上記画像処理部１０５での処理結果は後段の画像処理部１０６に伝達される。この画像処理部１０６での処理結果は入出力切替部１０４に伝達される。上記画像処理部１０５，１０６は、前処理部１１とされ、ここでは、処理順番が固定されている画像処理が行われる。前処理部１１では、中間処理部１２での処理よりも前に行うべき処理が割り当てられる。また、画像処理部１０５の処理結果が画像処理部１０６に伝達されるので、画像処理部１０５には、画像処理部１０６での処理よりも前に実行すべき処理が割り当てられる。

上記画像処理部１０７には、上記入出力切替部１０４を介して画像データが伝達される。上記画像処理部１０７での処理結果は、後段の画像処理部１０８に伝達される。この画像処理部１０８での処理結果はバスインターフェイス１０９を介してＣＰＵバス２０６に送出される。上記画像処理部１０７，１０８は、後処理部１３とされ、ここでは処理順番が固定されている画像処理が行われる。後処理部１３では、中間処理部１２での処理よりも後に行うべき処理が割り当てられる。また、画像処理部１０７の処理結果が画像処理部１０８に伝達されるので、画像処理部１０７には、画像処理部１０８での処理よりも前に実行すべき処理が割り当てられる。

図３には、上記入力出力切替部１０４の構成例が示される。

上記入出力切替部１０４は、図３に示されるように、４個の選択部３１，３２，３３，３４を含む。上記選択部３１は、画像処理部１０２，１０３，１０６の出力信号を選択的に画像処理部１０１に伝達する。上記選択部３２は、画像処理部１０１，１０３，１０６の出力信号を選択的に画像処理部１０２に伝達する。上記選択部３３は、画像処理部１０１，１０２，１０６の出力信号を選択的に画像処理部１０３に伝達する。上記選択部３４は、画像処理部１０１，１０２，１０３，１０６の出力信号を選択的に画像処理部１０７に伝達する。上記の構成によれば、選択部３１〜３４の選択動作により、画像処理部１０６の処理結果を画像処理部１０１に供給し、この画像処理部１０１の処理結果を画像処理部１０２に供給し、この画像処理部１０２の処理結果を画像処理部１０３に供給し、この画像処理部１０３の処理結果を画像処理部１０７に供給することができる。また、選択部３１〜３３の選択動作により、画像処理部１０１，１０２，１０３での処理の順番を変更することができる。例えば選択部３２により画像処理部１０６の出力信号を選択し、選択部３１により画像処理部１０２の出力信号を選択し、選択部３３により画像処理部１０１の出力信号を選択することにより、画像処理部１０６の出力データに対して画像処理部１０２，１０１，１０３の順に画像処理を施すことができる。そして、選択部３３により画像処理部１０６の出力信号を選択し、選択部３１により画像処理部１０３の出力信号を選択し、選択部３２により画像処理部１０１の出力信号を選択することにより、画像処理部１０６の出力データに対して画像処理部１０３，１０１，１０２の順に画像処理を施すことができる。

上記の構成によれば以下の作用効果が得られる。

（１）前処理部１１（画像処理部１０５，１０６）での処理と、後処理部１３（画像処理部１０７，１０８）での処理とは、処理の順番が固定されており、そこでの処理順番を変更することはできない。これに対して、中間処理部１２（画像処理部１０１，１０２，１０３）での処理順番は、中間処理部１２に属する画像処理部１０１，１０２，１０３間の入出力経路の切替を行うことでアプリケーションの仕様や要求に応じて任意に変更することができる。例えば画像処理部１０１で拡大縮小処理が行われ、画像処理部１０２でエッジ強調処理が行われる場合において、拡大処理、エッジ強調処理の順に処理を行うと、拡大後にエッジ強調が行われることで画質向上は図れるが処理すべき画素数が増えて処理に要する時間と消費電力が増えてしまう。これに対して、エッジ強調処理、拡大処理の順に処理を行うと、拡大後に比べて処理すべき画像サイズを小さくできるので、消費電力の低減が可能となる。

（２）上記のように入出力切替部１０４での入出力経路切替により処理順番の変更を行えるのが中間処理部１２に限定されているため、画像処理装置２０３における全ての画像処理部１０１，１０２，１０３，１０５，１０６，１０７，１０８における処理順番を入出力切替部１０４で切替可能とするのに比べて、入出力切替部１０４の回路規模を小さくすることができる。入出力切替部１０４の回路規模が小さいと、そこでの消費電力を低減することができる。

＜実施の形態２＞
図４には、上記画像処理装置２０３の別の構成例が示される。

図４に示される画像処理装置２０３が、図１に示されるのと大きく相違するのは、レジスタ部４１が設けられ、このレジスタ部４１に設定された情報に従って入出力切替部１０４の動作が制御される点である。レジスタ部４１は、ＣＰＵ２０７によって管理されるアドレス空間に配置され、ＣＰＵバス２０６、バスインターフェイス１０９を介してＣＰＵ２０７によって書き換え可能とされる。かかる構成によれば、ＣＰＵ２０７によってレジスタ部４１の設定情報を書き換えることで、中間処理部１２（画像処理部１０１，１０２，１０３）での処理順番を変更することができるので、情報処理装置２００の状態に応じて、あるいはアプリケーションに応じて中間処理部１２での処理順番を適宜に変更することができる。

＜実施の形態３＞
図５には、上記画像処理装置２０３の別の構成例が示される。

図５に示される画像処理装置２０３が、図１に示されるのと大きく相違するのは、画像処理装置２０３内にカメラ入力制御部２０２及び表示制御部２０５が配置されている点である。カメラ２０１は、画像処理装置２０３内のカメラ入力制御部２０２に結合され、表示装置２０４は、画像処理装置２０３内の表示制御部２０５に結合される。

上記の構成によれば、カメラ入力制御部２０２が入出力切替部１０４に結合されているため、カメラ入力制御部２０２から出力された画像データの出力先を切替ることができ、また、表示制御部２０５が入出力切替部１０４に結合されているため、表示制御部２０５への画像データの入力切替を行うことができる。これにより、以下の第１の処理順番と第２の処理順番とを実現することができる。

第１の処理順番では、カメラ入力制御部２０２から出力された画像データを画像処理部１０１に伝達し、そこで拡大縮小処理を行った後に入出力切替部１０４を介して後処理部１３に伝達し、そこで所定の後処理を行った後にバスインターフェイス１０９及びＣＰＵバス２０６を介してユニファイドメモリ２０９に書き込む。そして、このユニファイドメモリ２０９に書き込まれた画像データを、ＣＰＵバス２０６、及びバスインターフェイス１０９を介して前処理部１１に伝達し、ここで所定の前処理を行った後に、入力切替部１０４を介して表示制御部２０５に伝達して表示装置２０４に表示する。

第２の処理順番では、カメラ入力制御部２０２から出力された画像データを、入出力切替部１０４を介して後処理部１３に伝達し、そこで所定の後処理を行った後にバスインターフェイス１０９及びＣＰＵバス２０６を介してユニファイドメモリ２０９に書き込む。そして、このユニファイドメモリ２０９に書き込まれた画像データを、ＣＰＵバス２０６、及びバスインターフェイス１０９を介して前処理部１１に伝達し、ここで所定の前処理を行った後に、入力切替部１０４を介して画像処理１０１に伝達し、そこで拡大縮小処理を行った後に、入力切替部１０４を介して表示制御部２０５に伝達して表示装置２０４に表示する。

上記第１の処理順番によれば、カメラ２０１で得られた画像データを表示装置２０４で表示されるサイズに縮小し、その処理結果をユニファイドメモリ２０９に書き込むことになるので、第２の処理順番の場合に比べてユニファイドメモリ２０９に書き込まれる画像サイズが小さくなり、メモリバンド幅が小さくなるため、消費電力が小さくて済む。これに対して、第２の処理順番によれば、カメラ２０１によって得られた画像データが縮小されずにユニファイドメモリ２０９に書き込まれるため、当該画像データを表示装置２０４で可視化する以外にも利用し易くなる。例えばユニファイドメモリ２０９に書き込まれた画像データをＣＰＵ２０７で圧縮してから画像データの圧縮ファイルとして保存することが考えられる。

＜実施の形態４＞
図６には、上記画像処理装置２０３の別の構成例が示される。

図６に示される画像処理装置２０３が、図１に示されるのと大きく相違するのは、それぞれ前処理部１１及び後処理部１３において、二つの画像処理部が互いに直列接続されて成る画像処理部群が２系統設けられ、また、中間処理部１２において互いに同一処理を行う二つの画像処理部１０１Ａ，１０１Ｂが設けられている点である。前処理部１１では、画像処理部１０５Ａと画像処理部１０６Ａとが直列接続されて成る画像処理部群、及び画像処理部１０５Ｂと画像処理部１０６Ｂとが直列接続されて成る画像処理部群が設けられる。ここで、画像処理部１０５Ａ，１０５Ｂは互いに同一の画像処理アルゴリズムに従って画像処理を行う。同様に画像処理部１０６Ａ，１０６Ｂは互いに同一の画像処理アルゴリズムに従って画像処理を行う。また、画像処理部１０７Ａ，１０７Ｂは互いに同一の画像処理アルゴリズムに従って画像処理を行う。同様に画像処理部１０８Ａ，１０８Ｂは互いに同一の画像処理アルゴリズムに従って画像処理を行う。

上記の構成によれば、画像処理部１０５Ａ，１０６Ａでの処理と、画像処理部１０５Ｂ，１０６Ｂでの処理とを並行して行うことができ、画像処理部１０１Ａでの処理と画像処理部１０１Ｂでの処理とを並行して行うことができ、画像処理部１０７Ａ，１０８Ａでの処理と、画像処理部１０７Ｂ，１０８Ｂでの処理とを並行して行うことができる。このように同じ画像処理を行う画像処理部を２系統有するので、画像処理部が１系統の場合に比べて、同一処理を１／２の動作周波数で実行することができる。動作周波数が低くなれば、その分、消費電力を低減することができる。

また、中間処理部１２での処理が異なる場合にも処理の動作周波数を低減することができる。例えば前処理部１１での処理を行った後に画像処理部１０１Ａで階調補正処理を行い、その後、後処理部１３で処理を行う場合と、前処理部１１での処理を行った後に画像処理部１０２でノイズ除去処理を行い、その後、後処理部１３で処理を行う場合を考える。本例では、前処理部１１及び後処理部１３において、画像処理部群が２系統設けられ、そこで並行処理が行われるため、前処理部１１及び後処理部１３において画像処理部群が１系統の場合の処理に比べて、処理の動作周波数を低減することができる。

画像処理部１０１Ａで階調補正処理が行われ、画像処理部１０２でノイズ除去処理が行われる場合において、以下の第１の処理順番と第２の処理順番とを実現することができる。

第１の処理順番では、第１画像データに対して画像処理部１０５Ａ，１０６Ａで前処理を行い、画像処理部１０１Ａで階調補正処理を行った後に、画像処理部１０７Ａ，１０８Ａで後処理を行う。第２画像データに対して画像処理部１０５Ｂ，１０６Ｂで前処理を行い、画像処理部１０１Ｂで階調補正処理を行った後に、画像処理部１０７Ｂ，１０８Ｂで後処理を行う。

第２の処理順番では、第１画像データに対して画像処理部１０５Ａ，１０６Ａで前処理を行い、画像処理部１０１Ａで階調補正処理を行った後に、画像処理部１０７Ａ，１０８Ａで後処理を行う。第２画像データに対して画像処理部１０５Ｂ，１０６Ｂで前処理を行い、画像処理部１０２でノイズ除去処理を行った後に、画像処理部１０７Ｂ，１０８Ｂで後処理を行う。

上記第１の処理順番によれば、同一処理の並列動作が行われるため、階調補正の処理能力を２倍とすることができる。これに対して、上記第２の処理順番によれば、階調補正の処理能力は上記第１の処理順番で並列動作を行う場合の１／２となるが、別のノイズ除去処理が並列に行われる。例えば処理能力が優先される場合には上記第１の処理順番を選択し、ノイズ除去が必要な場合は、上記第２処理を選択するなど、アプリケーションに応じて最適な処理を選択することができる。

＜実施の形態５＞
図７に示される画像処理装置２０３が、図１に示されるのと大きく相違するのは、中間処理部１２における画像処理部１０２が複数系統の入力ポートを備え、前処理部１１では、画像処理部１０５Ａと画像処理部１０６Ａとが直列接続されて成る画像処理部群、及び画像処理部１０５Ｂと画像処理部１０６Ｂとが直列接続されて成る画像処理部群が設けられる点である。

画像処理部１０２は、第１入力ポートと第２入力ポートとを有するものとする。例えば入出力切替部１０４を介して画像処理部１０６Ａでの処理結果を画像処理部１０２における第１入力ポートに伝達し、画像処理部１０６Ｂでの処理結果を画像処理部１０２における第２入力ポートに伝達することができる。画像処理部１０２では、第１入力ポートを介して取り込まれた画像データと、第２入力ポートを介して取り込まれた画像データとが必要とされる画像処理、例えばブレンド処理を行う。

例えば画像処理部１０１で拡大縮小処理が行われ、画像処理部１０２で画面ブレンド処理が行われる場合において、以下の第１の処理順番と第２の処理順番とを実現することができる。

第１の処理順番では、第１画像データに対して画像処理部１０５Ａ，１０６Ａで前処理を行い、画像処理部１０１で拡大縮小処理を行い、画像処理部１０２で画面ブレンド処理を行い、画像処理部１０７，１０８で後処理を行う。また、第２画像データに対して画像処理部１０５Ｂ，１０６Ｂで前処理を行い、画像処理部１０２で画面ブレンド処理を行う。

第２の処理順番では、第１画像データに対して画像処理部１０５Ａ，１０６Ａで前処理を行い、画像処理部１０２で画面ブレンド処理を行い、画像処理部１０１で拡大縮小処理を行う。また、第２画像データに対して画像処理部１０５Ｂ，１０６Ｂで前処理を行い、画像処理部１０２で画面ブレンド処理を行う。

上記第１の処理順番では、画面ブレンド処理の複数ある入力画像データのうち一つの画像にのみ拡大縮小処理が可能とされるが、第２の処理順番では、複数ある画像を画面ブレンドした後に拡大縮小処理ができる。このとき、例えば画面ブレンド処理結果が表示装置２０４で表示するサイズに一致しない場合、画面ブレンド処理の出力を拡大縮小処理することで表示サイズに整合させることができる。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、前処理１１及び後処理１３の何れかをを省略することができる。また、前処理１１及び後処理１３において、互いに直列接続される画像処理部の数を３個以上とすることができる。

１１ 前処理部
１２ 中間処理部
１３ 後処理部
１０１，１０２，１０３，１０５，１０５Ａ，１０５Ｂ，１０６，１０６Ａ，１０６Ｂ，１０７，１０７Ａ，１０７Ｂ，１０８，１０８Ａ，１０８Ｂ 画像処理部
１０４ 入出力切替部
１０９ バスインターフェイス
２０３ 画像処理装置
２０６ ＣＰＵバス
２０７ ＣＰＵ
２０８ メモリ制御部
２０９ ユニファイドメモリ

Claims (8)

1. それぞれ処理順番を変更可能な画像処理を行う複数の画像処理部を含む第１処理部と、
   上記第１処理部とは異なり、処理順番が固定されている画像処理を行う画像処理部を含む第２処理部と、
   上記第１処理部に属する複数の画像処理部間の入出力経路の切替を行うことで、上記第１処理部内での処理順番を変更可能な入出力切替部と、を含むことを特徴とする画像処理装置。
2. 上記第１処理部は、第１外部デバイスから画像データを取り込むための画像入力部と、
   上記第１処理部の処理結果を第２外部デバイスへ出力可能な画像出力部と、を含んで成る請求項１記載の画像処理装置。
3. 上記第２処理部は、入力された画像データを取り込んで、処理順番が固定されている画像処理を行い、その処理結果を上記第１処理部に送出する前処理部と、
   上記第１処理部の処理結果を取り込んで、処理順番が固定されている画像処理を行う後処理部と、を含む請求項１記載の画像処理装置。
4. 上記前処理部は、それぞれ所定の画像処理アルゴリズムに従って入力画像データの画像処理を行う複数の画像処理部が互いに直列接続され、
   上記後処理部は、それぞれ所定の画像処理アルゴリズムに従って入力画像データの画像処理を行う複数の画像処理部が互いに直列接続されて成る請求項３記載の画像処理装置。
5. 上記前処理部は、それぞれ所定の画像処理アルゴリズムに従って入力画像データの画像処理を行う複数の画像処理部が互いに直列接続されて成る画像処理部群が複数系統設けられ、
   上記後処理部は、それぞれ所定の画像処理アルゴリズムに従って入力画像データの画像処理を行う複数の画像処理部が互いに直列接続されて成る画像処理部群が複数系統設けられた請求項３記載の画像処理装置。
6. 上記第１処理部は、互いに独立して画像データを取り込むための複数系統の画像データ入力ポートを備えた画像処理部を含む請求項５記載の画像処理装置。
7. 上記第１外部デバイスはカメラとされ、
   上記画像入力部は、上記カメラから画像データを取り込むためのカメラ入力制御部とされ、
   上記第２外部デバイスは表示装置とされ、
   上記画像出力部は、上記第１処理部の処理結果に基づいて上記表示装置での画像表示を制御する表示制御部とされる請求項２記載の画像処理装置。
8. 上記画像処理装置の外部に配置されたバスに接続され、上記外部バスとの間で信号のやり取りを可能とするバスインターフェイスと、
   上記バスインターフェイスに接続され、上記バス及び上記バスインターフェイスを介して制御情報の設定が可能とされるレジスタと、を含み、
   上記入出力切替回路は、上記レジスタに設定された制御情報に従って上記入出力経路の切替を行う請求項１記載の画像処理装置。

Images