JP2018164136A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】直列に接続した複数の画像処理プロセッサにより、低コストで高い処理能力を実現する撮像装置を提供する。【解決手段】撮像部と、カスケード接続された複数の画像処理プロセッサとを有し、画像処理プロセッサは、撮像部又は前段の画像処理プロセッサからの画像データをメモリを介さない第１の経路又はメモリへの書き込みを行う第２の経路に出力する経路選択部と、第２の経路を介してメモリに書き込まれた画像データに係る画像処理を行い、画像処理された画像データをメモリに書き込む画像処理部と、第１の経路とメモリから画像処理済みの画像データを読み出す第３の経路とを合流させ画像データを出力する合流部と、合流部から出力される画像データを次段の画像処理プロセッサに出力する出力部とを有し、後段の画像処理プロセッサで画像処理を行う画像データはメモリを介さない第１の経路を通して出力する。【選択図】図２

Description

本発明は、撮像装置及び画像処理方法に関する。

デジタルカメラ等の撮像装置において、撮像素子の多画素化や動画像の高フレームレート化等に伴い、画像処理プロセッサで処理するデータ量が増大している。処理するデータ量が増大すると、１つの画像処理プロセッサでは単位時間内に処理することができなくなる。そこで、複数の画像処理プロセッサを搭載し、複数の画像処理プロセッサで処理を分担して行う方法が提案されている（例えば、特許文献１参照。）。特許文献１では、複数の画像処理プロセッサを用い、画像の領域を分割して各々の画像処理プロセッサで分担して処理する装置が提案されている。

特開２０１３−３９８６号公報

特許文献１に記載の装置では、画像処理プロセッサへの配線が分岐して並列に配置されている。多量のデータを伝送する高速なデータ伝送において、配線を分岐させるとシグナルインテグリティに劣化が生じる。その解決策として、高速なデータ伝送を複数の部に分配するための専用の中継デバイスを設けたり、伝送先毎に専用の端子を設けたりする方法があるが、コストが高くなるという課題がある。本発明は、直列に接続した複数の画像処理プロセッサにより、低コストで高い処理能力を実現する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮像手段と、前記撮像手段から出力される画像データが初段の画像処理プロセッサに入力され、それぞれが次段の画像処理プロセッサに画像データを出力するように直列に接続された複数の画像処理プロセッサとを有し、前記画像処理プロセッサは、入力される前記撮像手段又は前段の前記画像処理プロセッサからの前記画像データを、メモリを介さない第１の経路又は前記メモリへの書き込みを行う第２の経路に出力する選択手段と、前記第２の経路を介して前記メモリに書き込まれた前記画像データに係る画像処理を行い、画像処理された画像データを前記メモリに書き込む画像処理手段と、前記第１の経路と前記メモリから画像処理済みの前記画像データを読み出す第３の経路とを合流させ画像データを出力する合流手段と、前記合流手段から出力される前記画像データを次段の前記画像処理プロセッサに出力する出力手段とを有することを特徴とする。

本発明によれば、複数の画像処理プロセッサを直列に接続した構成で、低コストで高い処理能力を有する撮像装置を提供することができる。

本実施形態における撮像装置の構成例を示す図である。 図１に示す画像処理プロセッサの構成例を示す図である。 本実施形態における画像分割の例を示す図である。 本実施形態における画像処理例を示すタイミングチャートである。 本実施形態における撮像装置の他の構成例を示す図である。 図５に示す画像処理プロセッサの構成例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態における撮像装置１Ａの構成例を示すブロック図である。撮像装置１Ａは、撮像部１０、複数の画像処理プロセッサ２０Ａ−１、２０Ａ−２、２０Ａ−３、複数のメモリ４０−１、４０−２、４０−３、表示部５０、及び記録媒体６０を有する。撮像部１０は、被写体像を撮像し、撮像によって得られた画像データＳＧ１０−１を画像処理プロセッサ２０Ａ−１に出力する。

画像処理プロセッサ２０Ａ−１、２０Ａ−２、２０Ａ−３は、カスケード接続で直列に接続されており、撮像部１０から出力される画像データＳＧ１０−１に係る画像処理を分担して行う。すなわち、撮像部１０から出力される画像データが初段の画像処理プロセッサ２０Ａ−１に入力され、画像処理プロセッサ２０Ａ−１、２０Ａ−２が次段の画像処理プロセッサ２０Ａ−２、２０Ａ−３に画像データを出力するように直列に接続されている。

画像処理プロセッサ２０Ａ−１と画像処理プロセッサ２０Ａ−２とは、片方向の通信信号ＳＧ１０−２及び双方向の通信信号ＳＧ３０−２により接続される。画像処理プロセッサ２０Ａ−２と画像処理プロセッサ２０Ａ−３とは、片方向の通信信号ＳＧ１０−３及び双方向の通信信号ＳＧ３０−３により接続される。また、画像処理プロセッサ２０Ａ−３と画像処理プロセッサ２０Ａ−１とは、双方向の通信信号ＳＧ３０−１により接続される。

メモリ４０−１は、画像処理プロセッサ２０Ａ−１と双方向のメモリインタフェース信号により接続されている。メモリ４０−２は、画像処理プロセッサ２０Ａ−２と双方向のメモリインタフェース信号により接続されている。メモリ４０−３は、画像処理プロセッサ２０Ａ−３と双方向のメモリインタフェース信号により接続されている。表示部５０は、例えば表示デバイスである液晶ディスプレイである。表示部５０は、最終段の画像処理プロセッサ２０Ａ−３に接続され、撮影モードでの確認画像の表示や再生モードでの確認画像の表示を行う。記録媒体６０は、最終段の画像処理プロセッサ２０Ａ−３に接続されている可搬メモリであり、撮像装置で記録用画像データを記録する。

なお、図１において、画像処理プロセッサ２０Ａ−ｉ及びそれが有する内部の構成要素には添え字ｉを付して示しているが、以下の説明において、特に区別しない場合には添え字ｉについては省略する。

次に、撮像装置１Ａが有する画像処理プロセッサ２０Ａについて説明する。図２は、画像処理プロセッサ２０Ａの構成例を示すブロック図である。画像処理プロセッサ２０Ａは、入力部２１Ａ、出力部２２Ａ、入出力部２３、２４、メモリ制御部２５、表示制御部２６、記録再生部２７、経路選択部２８、合流部２９、画像処理部３０、検出処理部３１を有する。

入力部２１Ａは、画像データＳＧ１０−ｉが入力され、入力された画像データＳＧ１１を経路選択部２８へ出力する。画像処理プロセッサ２０Ａ−１の入力部２１Ａ−１には、撮像部１０から出力された画像データＳＧ１０−１が入力される。また、画像処理プロセッサ２０Ａ−２、２０Ａ−３の入力部２１Ａ−２、２１Ａ−３には、前段の画像処理プロセッサ２０Ａ−１、２０Ａ−２から出力された画像データＳＧ１０−２、ＳＧ１０−３が入力される。

出力部２２Ａは、合流部２９から出力された画像データが入力され、入力された画像データＳＧ１０−（ｉ＋１）を次段の画像処理プロセッサ２０Ａに出力する。なお、最終段の画像処理プロセッサ２０Ａ−３の出力部２２Ａ−３は、後段の画像処理プロセッサが存在しないので未接続である。

入出力部２３、２４は、画像処理プロセッサ間の双方向通信を行い、他の画像処理プロセッサで使用する画像処理用の補正値や、画像処理プロセッサ間のフロー制御用の情報等を入出力する。初段の画像処理プロセッサ２０Ａ−１の入出力部２４−１は、最終段の画像処理プロセッサ２０Ａ−３の入出力部２３−３と通信信号ＳＧ３０−１により接続し、メモリ制御部２５を経由して画像処理プロセッサ間のフロー制御用の情報として通信を行っている。

また、画像処理プロセッサ２０Ａ−２の入出力部２４−２は、前段の画像処理プロセッサ２０Ａ−１の入出力部２３−１と通信信号ＳＧ３０−２により接続し、メモリ制御部２５を経由して画像処理プロセッサ間のフロー制御用の情報として通信を行っている。画像処理プロセッサ２０Ａ−３の入出力部２４−３は、前段の画像処理プロセッサ２０Ａ−２の入出力部２３−２と通信信号ＳＧ３０−３により接続し、メモリ制御部２５を経由して画像処理プロセッサ間のフロー制御用の情報として通信を行っている。

メモリ制御部２５は、メモリ４０に対してメモリインタフェース信号を介してデータの書き込みや読み出しを行う。表示制御部２６は、表示部５０での画像表示に係る制御を行う。なお、本実施形態では、最終段の画像処理プロセッサ２０Ａ−３の表示制御部２６−３が表示部５０と接続され、画像処理プロセッサ２０Ａ−１、２０Ａ−２の表示制御部２６−１、２６−２は未接続としている。表示制御部２６−３は、画像処理済みの画像データに係る画像を表示部５０に表示させるための表示用画像信号を生成し出力する。記録再生部２７は、画像データの記録媒体６０への記録と記録媒体６０からの再生を行う。なお、本実施形態では、最終段の画像処理プロセッサ２０Ａ−３の記録再生部２７−３が記録媒体６０と接続され、画像処理プロセッサ２０Ａ−１、２０Ａ−２の記録再生部２７−１、２７−２は未接続としている。

経路選択部２８は、入力部２１Ａからの画像データＳＧ１１が入力され、入力された画像データを、メモリ４０を介さない第１の経路又はメモリ４０への書き込みを行う第２の経路に出力する。経路選択部２８は、入力された画像データを、第１の経路を伝送する合流部２９へのオンフライ信号ＳＧ１２又は第２の経路を伝送する画像処理用信号ＳＧ１３として出力する。画像処理用信号ＳＧ１３は、画像処理部３０で画像処理される画像データを伝送する信号である。

経路選択部２８は、画像データＳＧ１１に含まれるヘッダー情報（ＩＤ）等から経路選択する信号を抽出して、オンフライ信号ＳＧ１２や画像処理用信号ＳＧ１３を出力する。経路選択部２８から画像処理用信号ＳＧ１３として出力された画像データは、一旦、メモリ制御部２５を介してメモリ４０へ出力される。また、経路選択部２８は、検出処理部３１へ画像データＳＧ１７を出力する。

合流部２９は、経路選択部２８からオンフライ信号ＳＧ１２として出力された画像データ、及びメモリ制御部２５を介してメモリ４０から読み出した画像処理済みの画像データＳＧ１６が入力され、入力された画像データを出力部２２Ａに出力する。すなわち、合流部２９は、前述した第１の経路とメモリ４０から画像処理済みの画像データを読み出す第３の経路とを合流させ、各経路から入力される画像データを出力する。この例では、合流部２９は、第１の経路から入力される画像データと第３の経路から入力される画像処理済みの画像データとを一つの伝送路で時分割に多重化して出力するものとする。

合流部２９は、経路選択部２８からのオンフライ信号ＳＧ１２として、メモリ４０を介さずに入力された、すなわち第１の経路で入力された画像データを優先して出力するように動作する。合流部２９は、オンフライ信号ＳＧ１２の入力が無い期間に、メモリ制御部２５に対して読み出し要求を行い、画像処理済みの画像データＳＧ１６を出力部２２Ａに出力する。このようにすることで、合流部２９は、メモリを介さずに後段の画像処理プロセッサ２０Ａに送るオンフライ信号ＳＧ１２の画像データと、メモリに一旦格納した画像処理済みの画像データＳＧ１６とを合流させて（時分割に多重化して）出力部２２Ａに出力する。

画像処理部３０は、メモリ４０からメモリ制御部２５を介して読み出した画像処理用信号ＳＧ１４が入力され、画像処理用信号ＳＧ１４に対して画像処理を行う。この画像処理の結果として得られた画像処理済みの画像データＳＧ１５は、メモリ制御部２５を介してメモリ４０へ出力される。つまり、画像処理部３０は、メモリ４０に書き込まれた画像データに係る画像処理を行い、画像処理済みの画像データをメモリ４０に書き込む。ここでの画像処理とは、ノイズリダクション処理や色変換処理、符号化処理等の各種処理である。

検出処理部３１は、画像全体のゲインやホワイトバランス係数を算出するための検出処理を行う。検出処理部３１で検出された画素毎の積分等の結果は、メモリ制御部２５を介してメモリ４０へ出力される。本実施形態では、初段の画像処理プロセッサ２０Ａ−１の検出処理部３１が検出処理を行い、後段の画像処理プロセッサ２０Ａ−２、２０Ａ−３の検出処理部３１は検出処理を行わない。

メモリ４０−１に格納された画像全体の積分結果やゲイン補正値は、メモリ制御部２５−１及び入出力部２３−１を介して、通信信号ＳＧ３０−２により接続されている次段の画像処理プロセッサ２０Ａ−２の入出力部２４−２へ出力される。画像処理プロセッサ２０Ａ−２の入出力部２４−２に入力された画像全体の積分結果やゲイン補正値は、メモリ制御部２５−２を介してメモリ４０−２に書き込まれる。

さらに、メモリ４０−２に書き込まれた画像全体の積分結果やゲイン補正値は、メモリ制御部２５−２及び入出力部２３−２を介して、通信信号ＳＧ３０−３により接続されている次段の画像処理プロセッサ２０Ａ−３の入出力部２４−３へ出力される。画像処理プロセッサ２０Ａ−３の入出力部２４−３に入力された画像全体の積分結果やゲイン補正値は、メモリ制御部２５−３を介してメモリ４０−３に書き込まれる。

次に、本実施形態における撮像装置１Ａで動画撮影を行う場合の動作例を、図３及び図４を参照して説明する。前述したように本実施形態においては、３つの画像処理プロセッサ２０Ａ−１、２０Ａ−２、２０Ａ−３をカスケード接続した構成である。以下では、３つの画像処理プロセッサ２０Ａ−１、２０Ａ−２、２０Ａ−３での処理の分担例として、動画撮影時に撮像されたフレーム画像の画像処理を分担する例で説明する。

例えば、図３に示すように、１フレームの画像を３つ（Ａ，Ｂ，Ｃ）に垂直分割して、分割した画像の各々をさらに３つ（例えばＡであれば、Ａ−１，Ａ−２，Ａ−３）に分割する。ここで、画像を垂直分割するのは、それぞれの画像処理プロセッサで認識するヘッダー情報を少なくするためである。画像を水平分割した場合、水平毎にヘッダー情報を持つことによってオーバーヘッドが多く生じることになるため、本実施形態では画像データを垂直分割している。言い換えれば、オーバーヘッドの増加を許容すれば、水平分割や２次元的な複数エリアへの分割も可能である。

この場合、例えば画像処理プロセッサ２０Ａ−１は、画像データ３０１（Ａ−１）、３０４（Ｂ−１）、３０７（Ｃ−１）の画像処理を行う。画像処理プロセッサ２０Ａ−２は、画像データ３０２（Ａ−２）、３０５（Ｂ−２）、３０８（Ｃ−２）の画像処理を行う。また、画像処理プロセッサ２０Ａ−３は、画像データ３０３（Ａ−３）、３０６（Ｂ−３）、３０９（Ｃ−３）の画像処理を行う。なお、画像処理プロセッサ２０Ａ−１、２０Ａ−２、２０Ａ−３は、例えば分割した画像データに付与されているＩＤ等の情報を判定して画像処理を行う画像データの取得を行う。

なお、撮像装置が、カスケード接続で直列に接続されたＮ個（Ｎは２以上の自然数）の画像処理プロセッサ２０Ａを有する場合には、次のようにして画像処理を分担して行う。撮像部１０から出力される画像データについて、画像における垂直方向にＭ分割（Ｍは自然数）し、さらにＭ分割した画像データを画像における垂直方向にＮ分割する。そして、Ｍ分割された画像データ毎に、Ｎ分割された画像データの内の互いに異なる１つの画像データの画像処理を各画像処理プロセッサ２０Ａが行うことで、Ｎ個の画像処理プロセッサ２０Ａで画像処理を分担して行えばよい。

図４は、本実施形態における撮像装置１Ａでの撮像動作及び画像処理の例を説明するタイミングチャートである。図４において、縦軸が信号（画像データ）の流れ、横軸が時間であり、各信号の時間方向の流れを示している。撮像部１０から画像処理プロセッサ２０Ａ−１へ撮像された画像データＳＧ１０−１が出力される。図４において、撮像された動画像の１フレームを分割した（本例では９つに垂直分割）画像データ４０１〜４０９（Ａ−１〜Ｃ−３）は、画像処理の未処理状態を示している。

まず、画像処理プロセッサ２０Ａ−１の処理を説明する。画像処理プロセッサ２０Ａ−１の入力部２１Ａ−１に、画像データＳＧ１０−１として画像データ４０１〜４０９が順次入力される。入力部２１Ａ−１に入力された画像データは、画像データＳＧ１１−１として経路選択部２８−１に出力される。

経路選択部２８−１は、未処理の画像データ４０１の画像処理を画像処理プロセッサ２０Ａ−１で行うため、第２の経路を伝送する画像処理用信号ＳＧ１３−１として画像データ４０１をメモリ制御部２５−１に出力する。画像処理用信号ＳＧ１３−１として出力された画像データ４０１は、メモリ制御部２５−１を介してメモリ４０−１に書き込まれる。メモリ４０−１に書き込まれた画像データ４０１は、メモリ制御部２５−１を経由して画像処理用信号ＳＧ１４−１として画像処理部３０−１へ出力される。

画像処理部３０−１は、画像データ４０１を画像処理して得られた画像データ４１１を、画像処理済みの画像データＳＧ１５−１としてメモリ制御部２５−１に出力する。画像処理済みの画像データＳＧ１５−１として出力された画像データ４１１は、メモリ制御部２５−１を介してメモリ４０−１に書き込まれる。メモリ４０−１に書き込まれた画像データ４１１は、メモリ制御部２５−１を経由して第３の経路を伝送する画像処理済みの画像データＳＧ１６−１として合流部２９−１へ出力される。

また、画像データ４０１に続いて順次入力される画像データ４０２〜４０９のうち、未処理の画像データ４０４、４０７も経路選択部２８−１により画像処理用信号ＳＧ１３−１として出力される。そして、同様の手順で画像処理が行われ、画像処理して得られた画像データ４１４、４１７が画像処理済みの画像データＳＧ１６−１として合流部２９−１へ出力される。

また、経路選択部２８−１に画像データＳＧ１１−１として入力される画像データ４０１〜４０９のうち、画像データ４０２、４０３、４０５、４０６、４０８、４０９は後段の画像処理プロセッサ２０Ａ−２、２０Ａ−３で画像処理を行う画像データである。そこで、経路選択部２８−１は、メモリ４０−１を介さない第１の経路を伝送するオンフライ信号ＳＧ１２−１として、画像データ４０２、４０３、４０５、４０６、４０８、４０９を合流部２９−１に出力する。

合流部２９−１は、経路選択部２８−１からのオンフライ信号ＳＧ１２−１を優先して受け取って出力部２２Ａ−１に出力する。画像処理済みの画像データＳＧ１６−１は、オンフライ信号ＳＧ１２−１の空きタイミングで合流部２９−１に入力される。合流部２９−１は、オンフライ信号ＳＧ１２−１の入力が無い期間に、メモリ制御部２５−１に対して読み出し要求を行い、画像処理済みの画像データＳＧ１６−１をメモリ４０−１から読み出して出力部２２Ａ−１に出力する。

このようにして、合流部２９−１は、オンフライ信号ＳＧ１２−１の画像データ４０２、４０３、４０５、４０６、４０８、４０９と、画像処理済みの画像データＳＧ１６−１の画像データ４１１、４１４、４１７とを合流させて出力部２２Ａ−１に出力する。出力部２２Ａ−１は、合流部２９−１から出力された画像データ４０２、４０３、４１１、４０５、４０６、４１４、４０８、４０９、４１７を、画像データＳＧ１０−２として後段の画像処理プロセッサ２０Ａ−２に出力する。

次に、画像処理プロセッサ２０Ａ−２の処理を説明する。画像処理プロセッサ２０Ａ−２の入力部２１Ａ−２に、画像データＳＧ１０−２として画像データ４０２、４０３、４１１、４０５、４０６、４１４、４０８、４０９、４１７が入力される。入力部２１Ａ−２に入力された画像データは、画像データＳＧ１１−２として経路選択部２８−２に出力される。

経路選択部２８−２は、未処理の画像データ４０２の画像処理を画像処理プロセッサ２０Ａ−２で行うため、第２の経路を伝送する画像処理用信号ＳＧ１３−２として画像データ４０２をメモリ制御部２５−２に出力する。画像処理用信号ＳＧ１３−２として出力された画像データ４０２は、メモリ制御部２５−２を介してメモリ４０−２に書き込まれる。メモリ４０−２に書き込まれた画像データ４０２は、メモリ制御部２５−２を経由して画像処理用信号ＳＧ１４−２として画像処理部３０−２へ出力される。

画像処理部３０−２は、画像データ４０２を画像処理して得られた画像データ４１２を、画像処理済みの画像データＳＧ１５−２としてメモリ制御部２５−２に出力する。画像処理済みの画像データＳＧ１５−２として出力された画像データ４１２は、メモリ制御部２５−２を介してメモリ４０−２に書き込まれる。メモリ４０−２に書き込まれた画像データ４１２は、メモリ制御部２５−２を経由して第３の経路を伝送する画像処理済みの画像データＳＧ１６−２として合流部２９−２へ出力される。

また、画像データ４０２に続いて順次入力される画像データ４０３、４１１、４０５、４０６、４１４、４０８、４０９、４１７のうち、未処理の画像データ４０５、４０８も経路選択部２８−２により画像処理用信号ＳＧ１３−２として出力される。そして、同様の手順で画像処理が行われ、画像処理して得られた画像データ４１５、４１８が画像処理済みの画像データＳＧ１６−２として合流部２９−２へ出力される。

また、経路選択部２８−２に画像データＳＧ１１−２として入力される画像データのうち、画像データ４０３、４０６、４０９は後段の画像処理プロセッサ２０Ａ−３で画像処理を行う画像データである。また、画像データ４１１、４１４、４１５は、前段の画像処理プロセッサ２０Ａ−１で画像処理済みの画像データである。そこで、経路選択部２８−２は、メモリ４０−２を介さない第１の経路を伝送するオンフライ信号ＳＧ１２−２として、画像データ４０３、４１１、４０６、４１４、４０９、４１７を合流部２９−２に出力する。

合流部２９−２は、経路選択部２８−２からのオンフライ信号ＳＧ１２−２を優先して受け取って出力部２２Ａ−２に出力する。また、合流部２９−２は、オンフライ信号ＳＧ１２−２の入力が無い期間に、メモリ４０−２から読み出した画像処理済みの画像データＳＧ１６−２を出力部２２Ａ−２に出力する。

このようにして、合流部２９−２は、オンフライ信号ＳＧ１２−２の画像データ４０３、４１１、４０６、４１４、４０９、４１７と、画像処理済みの画像データＳＧ１６−２の画像データ４１２、４１５、４１８とを合流させて出力部２２Ａ−２に出力する。出力部２２Ａ−２は、合流部２９−２から出力された画像データ４０３、４１１、４１２、４０６、４１４、４１５、４０９、４１７、４１８を、画像データＳＧ１０−３として後段の画像処理プロセッサ２０Ａ−３に出力する。

次に、画像処理プロセッサ２０Ａ−３の処理を説明する。画像処理プロセッサ２０Ａ−３の入力部２１Ａ−３に、画像データＳＧ１０−３として画像データ４０３、４１１、４１２、４０６、４１４、４１５、４０９、４１７、４１８が入力される。入力部２１Ａ−３に入力された画像データは、画像データＳＧ１１−３として経路選択部２８−３に出力される。

経路選択部２８−３は、未処理の画像データ４０３の画像処理を画像処理プロセッサ２０Ａ−３で行うため、第２の経路を伝送する画像処理用信号ＳＧ１３−３として画像データ４０３をメモリ制御部２５−３に出力する。画像処理用信号ＳＧ１３−３として出力された画像データ４０３は、メモリ制御部２５−３を介してメモリ４０−３に書き込まれる。メモリ４０−３に書き込まれた画像データ４０３は、メモリ制御部２５−３を経由して画像処理用信号ＳＧ１４−３として画像処理部３０−３へ出力される。

画像処理部３０−３は、画像データ４０３を画像処理して得られた画像データ４１３を、画像処理済みの画像データＳＧ１５−３としてメモリ制御部２５−３に出力する。画像処理済みの画像データＳＧ１５−３として出力された画像データ４１３は、メモリ制御部２５−３を介してメモリ４０−３に書き込まれる。

また、画像データ４０３に続いて順次入力される画像データ４１１、４１２、４０６、４１４、４１５、４０９、４１７、４１８のうち、未処理の画像データ４０６、４０９も経路選択部２８−３により画像処理用信号ＳＧ１３−３として出力される。そして、同様の手順で画像処理が行われ、画像処理して得られた画像データ４１５、４１８がメモリ制御部２５−３を介してメモリ４０−３に書き込まれる。

また、画像処理プロセッサ２０Ａ−３が表示部５０と接続されているため、経路選択部２８−３は、画像データＳＧ１１−３として入力される画像処理済みの画像データ４１１、４１２、４１４、４１５、４１７、４１８をメモリ制御部２５−３へ出力する。なお、画像処理プロセッサ２０Ａ−３は最終段であるため、後段の画像処理プロセッサで画像処理を行うことはないので、経路選択部２８−３からオンフライ信号ＳＧ１２−３として出力する画像データはない。また、画像処理プロセッサ２０Ａ−３が表示部５０と接続されているため、画像処理済みの画像データＳＧ１６−３として出力する画像データもない。

以上の処理により、画像処理済みの画像データ４１１〜４１９がメモリ４０−３に格納される。この画像処理済みの画像データ４１１〜４１９は、他の装置で再生可能なフォーマットへの変換処理を行った後、記録再生部２７−３を介して記録媒体６０に記録される。また、画像処理済みの画像データ４１１〜４１９は、表示部５０でライブビュー等の画像表示を行うために、メモリ制御部２５−３を介して表示制御部２６−３へ出力される。表示制御部２６−３は、表示デバイスに応じた解像度変換や色変換を行い、画像データ４１１〜４１９に基づく表示用画像信号を生成して表示部５０に画像を表示させる。

以上、説明したように画像処理プロセッサに、撮像部１０又は前段の画像処理プロセッサ２０Ａから入力される画像データを後段の画像処理プロセッサ２０Ａに出力する経路として、メモリ４０を介さないオンフライの第１の経路を設ける。そして、複数の画像処理プロセッサをカスケード接続した構成で、後段の画像処理プロセッサで画像処理を行う画像データはメモリを介さない第１の経路を通して出力する。これにより、後段の画像処理プロセッサに画像データが到達するまでの時間を短縮することができ、後段の画像処理プロセッサで処理を開始する遅延が少なくなり、低コストで高い処理能力を実現することができる。

また、撮像部１０によって得られた画像データを画像における垂直方向に分割して複数の画像処理プロセッサで画像処理を分担して行うため、画像データに係る画像を表示部５０に表示する際の表示遅延を小さくできる。また、記録媒体６０を最終段の画像処理プロセッサ２０Ａ−３の記録再生部２７−３と接続して画像データを記録するようにしたので不要なデータ転送をなくすことができる。

なお、前述した例に限らず、多種の変形が可能である。例えば、前述した実施形態では、合流部２９がオンフライ信号ＳＧ１２と画像処理済みの画像データＳＧ１６とを同じ伝送路で時分割に多重化して出力する例を示したが、これに限定されるものではない。例えば、図５及び図６に示すように、各画像処理プロセッサ間を接続する片方向の伝送路が２以上の複数レーンある場合、オンフライ信号ＳＧ１２と画像処理済みの画像データＳＧ１６とをレーン毎に割り当てるようにしても良い。この場合、Ｍレーンをオンフライ信号（ＳＧ５０−２、ＳＧ５０−３、ＳＧ５２、ＳＧ５４）に割り当て、Ｎレーンを画像処理済みの画像データ（ＳＧ５１−２、ＳＧ５１−３、ＳＧ５３、ＳＧ５５）に割り当てるようにしても良い。

図５及び図６は、画像処理プロセッサ間の片方向の伝送路が（Ｍ＋Ｎ）レーンある場合の撮像装置１Ｂ及び画像処理プロセッサ２０Ｂの構成例を示す図である。図５及び図６において、図１及び図２に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。

図５に示すように撮像装置１Ｂは、撮像部１０、複数の画像処理プロセッサ２０Ｂ−１、２０Ｂ−２、２０Ｂ−３、複数のメモリ４０−１、４０−２、４０−３、表示部５０、及び記録媒体６０を有する。画像処理プロセッサ２０Ｂ−１、２０Ｂ−２、２０Ｂ−３は、カスケード接続で直列に接続されており、撮像部１０から出力される画像データＳＧ１０−１に係る画像処理を分担して行う。

画像処理プロセッサ２０Ｂ−１、２０Ｂ−２、２０Ｂ−３が有する入力部２１Ｂ−１、２１Ｂ−２、２１Ｂ−３及び出力部２２Ｂ−１、２２Ｂ−２、２２Ｂ−３は、２以上の複数レーンでの画像データの入力及び出力が可能となっている。画像処理プロセッサ２０Ｂ−１の出力部２２Ｂ−１と画像処理プロセッサ２０Ｂ−２の入力部２１Ｂ−２とは、片方向の通信信号ＳＧ５０−２及びＳＧ５１−２により接続される。また、画像処理プロセッサ２０Ｂ−２の出力部２２Ｂ−２と画像処理プロセッサ２０Ｂ−３の入力部２１Ｂ−３とは、片方向の通信信号ＳＧ５０−３及びＳＧ５１−３により接続される。

また、図６に示すように画像処理プロセッサ２０Ｂは、入力部２１Ｂ、出力部２２Ｂ、入出力部２３、２４、メモリ制御部２５、表示制御部２６、記録再生部２７、経路選択部２８、合流部２９、画像処理部３０、検出処理部３１を有する。入力部２１Ｂは、画像データＳＧ５０−ｉ及びＳＧ５１−ｉが入力され、入力された画像データＳＧ５２及びＳＧ５３を経路選択部２８へ出力する。また、出力部２２Ｂは、合流部２９から出力された画像データＳＧ５４及びＳＧ５５が入力され、入力された画像データを画像データＳＧ５０−（ｉ＋１）及びＳＧ５１−（ｉ＋１）として次段の画像処理プロセッサ２０Ｂに出力する。

なお、前述した説明では、カスケード接続で直列に接続された３つの画像処理プロセッサを有する撮像装置を一例に説明したが、本発明はこれに限定されるものではなく、撮像装置が有する画像処理プロセッサの数は任意の複数である。また、本実施形態における撮像装置は、デジタルカメラやビデオカメラ等に限らず、例えば、スマートフォンやタブレット端末等の各種携帯機器、工業用カメラ、車載用カメラ、及び医療用カメラ等にも適用可能である。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１Ａ、１Ｂ：撮像装置 １０：撮像部 ２０Ａ、２０Ｂ：画像処理プロセッサ ２１Ａ、２１Ｂ：入力部 ２２Ａ、２２Ｂ：出力部 ２５：メモリ制御部 ２６：表示制御部 ２７：記録再生部 ４０：メモリ ５０：表示部 ６０：記録媒体 ２８：経路選択部 ２９：合流部 ３０：画像処理部

Claims (12)

1. 撮像手段と、
   前記撮像手段から出力される画像データが初段の画像処理プロセッサに入力され、それぞれが次段の画像処理プロセッサに画像データを出力するように直列に接続された複数の画像処理プロセッサとを有し、
   前記画像処理プロセッサは、
   入力される前記撮像手段又は前段の前記画像処理プロセッサからの前記画像データを、メモリを介さない第１の経路又は前記メモリへの書き込みを行う第２の経路に出力する選択手段と、
   前記第２の経路を介して前記メモリに書き込まれた前記画像データに係る画像処理を行い、画像処理された画像データを前記メモリに書き込む画像処理手段と、
   前記第１の経路と前記メモリから画像処理済みの前記画像データを読み出す第３の経路とを合流させ画像データを出力する合流手段と、
   前記合流手段から出力される前記画像データを次段の前記画像処理プロセッサに出力する出力手段とを有することを特徴とする撮像装置。
2. 前記選択手段は、入力される前記画像データの内から該選択手段が配された前記画像処理プロセッサで画像処理を行う画像データを選択して前記第２の経路に出力し、入力される前記画像データの内から前記選択した画像データを除いた他の前記画像データを前記第１の経路に出力することを特徴とする請求項１記載の撮像装置。
3. 最終段の前記画像処理プロセッサの前記選択手段は、入力される前記画像データのすべてを前記第２の経路に出力することを特徴とする請求項２記載の撮像装置。
4. 前記選択手段は、前記撮像手段によって得られた前記画像データの内の後段の前記画像処理プロセッサで画像処理を行う画像データを前記第１の経路に出力し、残りの前記画像データを前記第２の経路に出力することを特徴とする請求項１記載の撮像装置。
5. Ｎ個（Ｎは２以上の自然数）の前記画像処理プロセッサを有し、
   前記Ｎ個の画像処理プロセッサが、前記撮像手段から出力される画像データについて、Ｍ分割（Ｍは自然数）して得られるＭ分割された画像データ毎に、前記Ｍ分割された画像データをさらにＮ分割して画像処理を行うことを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記Ｎ個の画像処理プロセッサが有する前記選択手段の各々は、前記Ｎ分割された画像データの内の１つの互いに異なる画像データを選択して前記第２の経路に出力することを特徴とする請求項５記載の撮像装置。
7. 前記合流手段は、前記第１の経路から入力される前記画像データと前記第３の経路から入力される前記画像処理済みの画像データとを同一の伝送路で時分割に多重化して出力することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
8. 前記合流手段は、前記第１の経路から前記画像データが入力されていない期間に、前記第３の経路から入力される前記画像処理済みの画像データを出力することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
9. 前記画像処理プロセッサ間の伝送路が２以上の複数レーンからなり、
   前記合流手段は、第１の経路から入力される前記画像データを第１のレーンに出力し、前記第３の経路から入力される前記画像処理済みの画像データを前記第１のレーンとは異なる第２のレーンに出力することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
10. 前記画像処理プロセッサは、前記画像処理済みの画像データに係る画像を表示部に表示させる表示制御手段を有することを特徴とする請求項１〜９の何れか１項に記載の撮像装置。
11. 前記画像処理プロセッサは、前記画像処理済みの画像データを記録媒体に記録する記録手段を有することを特徴とする請求項１〜１０の何れか１項に記載の撮像装置。
12. 撮像手段から出力される画像データが初段の画像処理プロセッサに入力され、それぞれが次段の画像処理プロセッサに画像データを出力するように直列に接続された複数の画像処理プロセッサが行う画像処理方法であって、
    前記画像処理プロセッサの各々が、
    入力される前記撮像手段又は前段の前記画像処理プロセッサからの前記画像データを、メモリを介さない第１の経路又は前記メモリへの書き込みを行う第２の経路に出力する選択工程と、
    前記第２の経路を介して前記メモリに書き込まれた前記画像データに係る画像処理を行い、画像処理された画像データを前記メモリに書き込む画像処理工程と、
    前記第１の経路と前記メモリから画像処理済みの前記画像データを読み出す第３の経路とを合流させ、画像データを次段の前記画像処理プロセッサに出力する出力工程とを有することを特徴とする画像処理方法。

Images