JP2014216668A - 撮像装置 - Google Patents

Abstract

【課題】装置を小型化しつつ、複数の画像処理ユニットで画像処理を分散して行うことができる。
【解決手段】画像信号を出力する撮像素子２と、直列に接続され、同種の画像処理を行う複数段の画像処理回路１００，２００，３００，４００とを備え、複数段の画像処理回路１００，２００，３００，４００のうち、初段に撮像素子２の出力が入力され、複数段の画像処理回路１００，２００，３００，４００の各々は、画像信号の全ての領域のうち、一部の領域の画像処理を行い、画像処理が処理済みの領域の画像信号と、画像処理が未処理の領域の画像信号とを後段の画像処理回路に出力することで、画像信号の全ての領域の画像処理を完了する撮像装置。
【選択図】図１

Description

本発明は、撮像装置に関する。

従来より、一枚の画像データを複数領域に分割し、分割した各領域の画像データを複数の画像処理ユニット（例えば、ＡＳＩＣ）を用いて画像処理を分散して行う装置が知られている。例えば、複数のインタフェースを備えた撮像素子が、分割した各領域の画像データを各インタフェースから出力し、複数のＩＣブロックが各インタフェースから出力された各領域の画像データの画像処理を行うデジタルカメラが知られている（例えば、特許文献１参照）。また、撮像素子の出力を一旦受ける回路（フロントブロック）を備え、フロントブロックが画像データを複数領域に分割して複数のＩＣブロック（リアブロック）に対して出力し、複数のＩＣブロックがフロントブロックから出力された各領域の画像データの画像処理を行う撮像装置が知られている（例えば、特許文献２参照）。

特開２００９−１３５９６８号公報 特開２００５−１５９９９５号公報

しかしながら、特許文献１に記載の技術では、撮像素子のインタフェースが多くなるためパッケージが大きくなるという問題がある。

また、特許文献２に記載の技術では、汎用的な一系統出力の撮像素子を用いているが、撮像素子の出力を一旦受ける回路を用いている。そのため、回路の追加によりパッケージが大きくなるという問題がある。

本発明は、上記課題を解決するためになされたものであり、装置を小型化しつつ、複数の画像処理ユニットで画像処理を分散して行うことができる撮像装置を提供することを目的とする。

本発明は、画像信号を出力する撮像素子と、直列に接続され、同種の画像処理を行う複数段の画像処理回路と、を備え、前記複数段の画像処理回路のうち、初段に前記撮像素子の出力が入力され、前記複数段の画像処理回路の各々は、前記画像信号の全ての画素のうち、一部の領域の前記画像処理を行い、前記画像処理が処理済みの領域の画像信号と、前記画像処理が未処理の領域の画像信号とを後段の前記画像処理回路に出力することで、前記画像信号の全ての領域の前記画像処理を完了することを特徴とする撮像装置である。

本発明によれば、撮像素子は画像信号を出力する。また、複数段の画像処理回路は、直列に接続され、同一の画像処理を行う。また、複数段の画像処理回路のうち、初段に撮像素子の出力が入力され、複数段の画像処理回路の各々は、画像信号の全ての領域のうち、一部の領域の画像処理を行い、画像処理が完了した領域の画像信号と、画像処理が完了していない領域の画像信号とを後段の画像処理回路に出力することで、画像信号の全ての領域の画像処理を完了する。これにより、装置を小型化しつつ、複数の画像処理ユニットで画像処理を分散して行うことができる。

本発明の一実施形態における撮像装置の構成を示したブロック図である。 本実施形態における画像処理ブロックの構成を示したブロック図である。 本実施形態における画像処理ブロックの構成を示したブロック図である。 本実施形態における画像処理ブロックの構成を示したブロック図である。 本実施形態における画像処理ブロックの構成を示したブロック図である。 本実施形態における撮像素子が出力するＢａｙｅｒデータのフォーマットを示した概略図である。 本実施形態における画像処理ブロックが出力する画像データの概要を示した概略図である。 本実施形態における画像処理ブロックが出力する１フレーム目および２フレーム目の画像データを示した概略図である。 本実施形態における画像データの各ラインに含まれるデータと、ＶＳＹＮＣと、ＨＳＹＮＣとの関係例を示した概略図である。 本実施形態における画像データからＢａｙｅｒデータを取り出す回路の例を示したブロック図である。 本実施形態における画像データから処理済みデータを取り出す回路の例を示したブロック図である。 本実施形態において、縦横両方に４分割した場合での画像処理ブロックが出力する画像データの概要を示した概略図である。 本実施形態における画像処理ブロックの初期化処理手順を示したフローチャートである。 本実施形態における画像処理ブロックの設定パラメータ変更手順を示したフローチャートである。 本実施形態において、撮像素子の出力フォーマットとモニタの表示フォーマットとが一致していない場合、最後段の画像処理ブロックに設けるバッファの構成を示したブロック図である。 本実施形態において、画像処理に周辺画像が必要な場合での画像処理ブロックが出力する画像データの概要を示した概略図である。 本実施形態において、１６ｂｉｔの画像データに１２ｂｉｔのＢａｙｅｒデータを詰める場合の画像データとＢａｙｅｒデータとの位置関係を示した概略図である。 本実施形態において、処理領域２、処理領域３、処理領域１、処理領域４の順に画像処理を行う場合での画像処理ブロックが出力する画像データの概要を示した概略図である。 本実施形態において、Ｂａｙｅｒデータを垂直方向に詰めた場合の画像データとＢａｙｅｒデータとの位置関係を示した概略図である。 本実施形態において、画像データの垂直方向に詰めたＢａｙｅｒデータを、１ライン毎に分離するための回路を示したブロック図である。 本実施形態において、処理領域１に含まれる画像と、処理領域４に含まれる画像とを拡大表示する場合での画像処理ブロックが出力する画像データの概要を示した概略図である。 本実施形態において、画像データ中にＢａｙｅｒデータが配置される位置と、そのＢａｙｅｒデータから拡大／縮小画面として表示される位置とを示した概略図である。 本実施形態において、画像処理の処理順を入れ替える際に、画像処理ブロックが出力する画像データの概要を示した概略図である。 本実施形態におけるリサイズ部を備えた画像処理ブロックの構成を示したブロック図である。 本実施形態におけるリサイズ部の構成を示したブロック図である。 本実施形態において、撮像入力部の代わりに画像データ受信部を備えた画像処理ブロックの構成を示したブロック図である。 本実施形態におけるモニタの入力が２系統である場合の撮像装置の構成を示したブロック図である。

以下、本発明の一実施形態について図面を参照して説明する。図１は、本実施形態における撮像装置１０の構成を示したブロック図である。図示する例では、撮像装置１０は、レンズ１と、撮像素子２と、操作部４と、モニタ５と、画像処理ブロック１００，２００，３００，４００（画像処理回路）と、ＤＲＡＭ１０６，２０６，３０６，４０６とを備えている。また、図示する例では、撮像素子２、画像処理ブロック１００、画像処理ブロック２００、画像処理ブロック３００、画像処理ブロック４００、モニタ５の順にデータが入出力されるように、直列に接続されている。このように、撮像装置１０は、初段の画像処理ブロック１００と、２段目の画像処理ブロック２００と、３段目の画像処理ブロック３００と、最後段の画像処理ブロック４００との複数段の画像処理ブロックを備えている。

レンズ１は、被写体像を撮像素子２の撮像面に結像させるレンズである。撮像素子２は、撮像面に結像した光学像をデジタルデータであるＢａｙｅｒデータ（画像信号）に変換する。操作部４は、画像処理ブロック１００，２００，３００，４００のうちいずれか１つ、或いは複数に接続し、ユーザーから入力される処理変更の指示を伝える。図示する例では、操作部４は、画像処理ブロック１００に接続している。モニタ５は、例えば液晶ディスプレイであり、画像処理ブロック４００から入力される画像信号に基づいて映像を表示する。

画像処理ブロック１００，２００，３００，４００は撮像素子２が生成したＢａｙｅｒデータの画像処理を行う。画像処理ブロック１００，２００，３００，４００は、例えばＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）化した部品である。また、このＬＳＩは、例えば、デジタルカメラの全機能を１つで実現するシステムＬＳＩである。画像処理ブロック１００，２００，３００，４００の詳細な構成については後述する。

ＤＲＡＭ１０６，２０６，３０６，４０６は、入力されたＢａｙｅｒデータや、処理中や処理結果のデータを一時記録する。なお、図示する例では、ＤＲＡＭ１０６は、画像処理ブロック１００に接続されており、画像処理ブロック１００が用いるデータを一時記録する。また、ＤＲＡＭ２０６は、画像処理ブロック２００に接続されており、画像処理ブロック２００が用いるデータを一時記録する。また、ＤＲＡＭ３０６は、画像処理ブロック３００に接続されており、画像処理ブロック３００が用いるデータを一時記録する。また、ＤＲＡＭ４０６は、画像処理ブロック４００に接続されており、画像処理ブロック４００が用いるデータを一時記録する。

次に、画像処理ブロック１００の構成について説明する。図２は、本実施形態における画像処理ブロック１００の構成を示したブロック図である。図示する例では、画像処理ブロック１００は、撮像入力部１０１と、前段処理補正処理部１０２と、撮像用ＴＧ部１０３と、データ領域設定部１０４と、３板化画像処理部１０７と、圧縮伸縮部１０８と、記録部１０９と、表示画像出力部１１０と、送信データ抽出部１１１と、出力合成部１１２と、画像データ送信部１１３と、ＣＰＵ１１４と、通信部１１５とを備えている。

撮像入力部１０１は、撮像素子２が出力するＢａｙｅｒデータの入力を受け付ける。また、撮像入力部１０１は、受け付けたＢａｙｅｒデータを前段処理補正処理部１０２に対して出力する。なお、高解像度、高フレームレートの撮像素子２の出力では必要なデータレートが高いため、Ｂａｙｅｒデータをシリアル化している。これにより、撮像素子２から画像処理ブロック１００に対してＢａｙｅｒデータを送信するための信号線の配線数を減らすことができ、小型化することもできる。さらに、一定期間内で必ず信号が変化する様にコード化を行うことで、信号のＤＣ成分の変動を抑えて、非常に高い周波数でも安定してＢａｙｅｒデータを送信出来る工夫をする場合もある。この場合には、撮像入力部１０１がデコード化及びパラレル化を行い、元データに戻す。

前段処理補正処理部１０２は、撮像入力部１０１から入力されたＢａｙｅｒデータの画素欠陥補正や、シェーディング補正等を行う。また、前段処理補正処理部１０２は、補正したＢａｙｅｒデータをＤＲＡＭ１０６に記録させる。撮像用ＴＧ部１０３は、撮像素子２が被写体を撮像するタイミング、すなわち、撮像面に結像した光学像をデジタルデータであるＢａｙｅｒデータに変換して出力するタイミングを指定するための信号を撮像素子２に対して出力する。この信号に基づいて、撮像素子２はＢａｙｅｒデータを出力する。

データ領域設定部１０４は、外部から入力されたデータもしくは設定に応じて、画像処理用に取り込むデータ領域の指示および処理結果のデータ出力領域を設定する。この設定は、予め設定してあっても良く、操作部４からの指示に基づいて設定するようにしてもよい。また、設定情報を、シリアル通信で画像処理ブロック２００，３００，４００に対して送信するようにしてもよい。

３板化画像処理部１０７は、ＤＲＡＭ１０６に一時保存したＢａｙｅｒデータのうち、データ領域設定部１０４が設定した領域のＢａｙｅｒデータに対して画像処理を行う。なお、３板化画像処理部１０７が行う画像処理としては、例えば、データ領域設定部１０４が設定した領域のＢａｙｅｒデータをカラー化し、更に画質を向上させる処理である。画質を向上させる処理は、例えば、ノイズリダクション処理や輪郭強調処理である。

圧縮伸縮部１０８は、３板化画像処理部１０７が画像処理を行ったデータを圧縮し、圧縮データを生成する。また、圧縮伸縮部１０８は、圧縮データを伸張する。記録部１０９は、圧縮伸縮部１０８が圧縮した圧縮データを記録メディア（図示せず）に記録させる。また、記録部１０９は、記録メディアが記録している圧縮データを読み出して圧縮伸縮部１０８に対して出力する。

表示画像出力部１１０は、タイミングジェネレータを内蔵し、３板化画像処理部１０７が画像処理を行ったＢａｙｅｒデータを、データ領域設定部１０４が設定した領域に処理済みデータとして出力する。なお、このタイミングジェネレータに使われるクロックは、撮像素子２を駆動するクロックと同じ原振から必要に応じてＰＬＬ逓倍／分周したクロックである。また、表示画像出力部１１０は、タイミングジェネレータが生成したタイミング信号を出力合成部１１２に対して出力する。これにより、撮像素子２のフレームレートと、表示レートとを完全に一致させることができ、表示用信号の所定位置にＢａｙｅｒデータを常に出力出来る。すなわち、Ｂａｙｅｒデータの位置がずれていくことはない。

送信データ抽出部１１１は、表示画像出力部１１０が処理済みデータを出力するタイミングに合わせて、前段処理補正処理部１０２が補正してＤＲＡＭ１０６が記録しているＢａｙｅｒデータのうちデータ領域設定部１０４が設定した領域のＢａｙｅｒデータを、データ領域設定部１０４が設定した領域に未処理データとして出力する。

出力合成部１１２は、データ領域設定部１０４からの指示と、表示画像出力部１１０から入力されるタイミング信号とに基づいて、表示画像出力部１１０が出力した処理済みデータと、送信データ抽出部１１１が出力したＢａｙｅｒデータとを切り替えて出力する。画像データ送信部１１３は、出力合成部１１２が出力したデータを画像データとして次段（２段目）の画像処理ブロック２００に対して送信する。

ＣＰＵ１１４は、画像処理ブロック１００が備える各部の動作を制御する。また、ＣＰＵ１１４は、操作部４が受け付けた入力に基づいて処理を変更する。通信部１１５は、各画像処理ブロック１００，２００，３００，４００の制御を行っているＣＰＵ間で制御情報を送受信する。例えば、通信部１１５は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ、コントローラー・エリア・ネットワーク）の様なマルチマスター式のシリアル通信手段であり、予め自分のＩＤを定めておいても良いし、起動時にＩＤを自動的に割り振る機能を持たせても良い。また、１対１のマスタースレーブ式のシリアル通信をデイジーチェーンして情報を伝達させる様にしても良い。

次に、画像処理ブロック２００の構成について説明する。図３は、本実施形態における画像処理ブロック２００の構成を示したブロック図である。図示する例では、画像処理ブロック２００は、画像データ受信部２０３と、データ領域設定部２０４と、Ｂａｙｅｒ抽出部２０５と、３板化画像処理部２０７と、圧縮伸縮部２０８と、記録部２０９と、表示画像出力部２１０と、出力合成部２１２と、画像データ送信部２１３と、ＣＰＵ２１４と、通信部２１５とを備えている。

画像データ受信部２０３は、画像処理ブロック１００から送信された画像データを受信する。データ領域設定部２０４は、外部から入力されたデータもしくは設定に応じて、画像処理用に取り込むデータ領域の指示および処理結果のデータ出力領域を設定する。この設定は、予め設定してあっても良く、シリアル通信で画像処理ブロック１００から受信するようにしてもよい。Ｂａｙｅｒ抽出部２０５は、前段の画像処理ブロックである画像処理ブロック１００から画像データ受信部２０３が受信した画像データのうち、データ領域設定部２０４が設定した領域のＢａｙｅｒデータを抽出してＤＲＡＭ２０６に記録させる。

３板化画像処理部２０７は、Ｂａｙｅｒ抽出部２０５が抽出してＤＲＡＭ２０６に記録させたＢａｙｅｒデータに対して画像処理を行う。３板化画像処理部２０７が行う画像処理は、画像処理ブロック１００の３板化画像処理部１０７が行う画像処理と同様である。圧縮伸縮部２０８は、３板化画像処理部２０７が画像処理を行ったデータを圧縮し、圧縮データを生成する。また、圧縮伸縮部２０８は、圧縮データを伸張する。記録部２０９は、圧縮伸縮部２０８が圧縮した圧縮データを記録メディア（図示せず）に記録させる。また、記録部２０９は、記録メディアが記録している圧縮データを読み出して圧縮伸縮部２０８に対して出力する。

表示画像出力部２１０は、タイミングジェネレータを内蔵し、３板化画像処理部２０７が画像処理を行ったＢａｙｅｒデータを、データ領域設定部２０４が設定した領域に処理済みデータとして出力する。なお、前段である画像処理ブロック２００から入力される画像データに含まれている水平、垂直同期信号を基準にタイミングジェネレータを動作させることで、入力に合わせた表示位置にデータを出力することができる。

出力合成部２１２は、データ領域設定部２０４からの指示と、表示画像出力部２１０から入力されるタイミング信号とに基づいて、表示画像出力部２１０が出力した処理済みデータと、画像データ受信部２０３が受信した画像データとを切り替えて出力する。画像データ送信部２１３は、出力合成部２１２が出力したデータを画像データとして次段（３段目）の画像処理ブロック３００に対して送信する。

ＣＰＵ２１４は、画像処理ブロック２００が備える各部の動作を制御する。また、ＣＰＵ２１４は、操作部４が受け付けた入力に基づいて処理を変更する。通信部２１５は、各画像処理ブロック１００，２００，３００，４００の制御を行っているＣＰＵ間で制御情報を送受信する。

次に、画像処理ブロック３００の構成について説明する。図４は、本実施形態における画像処理ブロック３００の構成を示したブロック図である。図示する例では、画像処理ブロック３００は、画像データ受信部３０３と、データ領域設定部３０４と、Ｂａｙｅｒ抽出部３０５と、３板化画像処理部３０７と、圧縮伸縮部３０８と、記録部３０９と、表示画像出力部３１０と、出力合成部３１２と、画像データ送信部３１３と、ＣＰＵ３１４と、通信部３１５とを備えている。画像処理ブロック３００が備える各部は、画像処理ブロック２００が備える各部と同様である。

次に、画像処理ブロック４００の構成について説明する。図５は、本実施形態における画像処理ブロック４００の構成を示したブロック図である。図示する例では、画像処理ブロック４００は、画像データ受信部４０３と、データ領域設定部４０４と、Ｂａｙｅｒ抽出部４０５と、３板化画像処理部４０７と、圧縮伸縮部４０８と、記録部４０９と、表示画像出力部４１０と、出力合成部４１２と、画像データ送信部４１３と、ＣＰＵ４１４と、通信部４１５とを備えている。画像処理ブロック４００が備える各部は、画像処理ブロック２００が備える各部と同様である。

次に、画像データ送信部１１３、２１３，３１３，４１３の詳細について説明する。以下、説明を簡単にするために、撮像素子２の撮像フレームレートとモニタ５の表示フレームレートは同じで、有効画素数も同じ場合として説明する。本実施形態では、撮像素子２が出力したＢａｙｅｒデータを４つの領域に縦短冊状に分割し、画像処理ブロック１００，２００，３００，４００がそれぞれ異なる１つの領域の画像処理を行う。なお、画像処理ブロック１００，２００，３００，４００が行う画像処理は、出力する画素の周辺領域を不要とする画像処理を行う場合を例として説明する。

図６は、本実施形態における撮像素子２が出力するＢａｙｅｒデータのフォーマットを示した概略図である。図示する例では、撮像素子２が出力するＢａｙｅｒデータのフォーマットが、一般的なテレビ信号フォーマットと同じ場合の例である。このフォーマットでは、ＨＳＹＮＣ，ＶＳＹＮＣ，データ，クロックでデータを送信している。ＨＳＹＮＣは、水平方向のデータの開始を示している。ＶＳＹＮＣは垂直方向のデータの開始を示している。よって、ＨＳＹＮＣからのクロック数とＶＳＹＮＣからのライン数とをカウントすることで、有効領域を判別出来る。更に、図示するようにデータの有効を示すＤＥ信号を付加して送ってもよい。また、一般的にはＲＧＢを各８ｂｉｔのデータで送るシステムが多いが、ＹＣｂＣｒ４２２形式で転送する場合もある。また、このようなフォーマットの信号は、ＨＤＭＩ（登録商標）や、ＨＤＳＤＩや、Ｄｉｓｐｌａｙ Ｐｏｒｔや、Ｖ−ｂｙ−Ｏｎｅ（登録商標）等、シリアルデータとして送信する規格が有り、これを流用してもよい。

次に、画像処理ブロック１００，２００，３００，４００が出力する画像データについて説明する。図７は、本実施形態における画像処理ブロック１００，２００，３００，４００が出力する画像データの概要を示した概略図である。図７（Ａ）は、画像処理ブロック１００が出力する画像データを示している。図７（Ｂ）は、画像処理ブロック２００が出力する画像データを示している。図７（Ｃ）は、画像処理ブロック３００が出力する画像データを示している。図７（Ｄ）は、画像処理ブロック４００が出力する画像データを示している。画像処理ブロック４００が出力する画像データは、そのままモニタ５に入力されて表示される。

図中の波線は、各画像処理ブロック１００，２００，３００，４００で処理するＢａｙｅｒデータの境界を示している。また、斜線が引かれている領域はＢａｙｅｒデータ（未処理データ）を示している。また、斜線が引かれていない領域は処理済みデータを示している。

図示する例では、Ｂａｙｅｒデータを、縦短冊状に、処理領域１〜４の４つの領域に分割している。水平方向の画素数を０画素から４Ｎ−１画素とすると、処理領域１は、水平方向に０画素目からＮ−１画素目までの領域である。また、処理領域２は、水平方向にＮ画素目から２Ｎ−１画素目までの領域である。また、処理領域３は、水平方向に２Ｎ画素目から３Ｎ−１画素目までの領域である。また、処理領域４は、水平方向に３Ｎ画素目から４Ｎ−１画素目までの領域である。

また、図示する例では、初段の画像処理ブロック１００は、処理領域１の画像処理を行う。また、２段目の画像処理ブロック２００は、処理領域２の画像処理を行う。また、３段目の画像処理ブロック３００は、処理領域３の画像処理を行う。また、最後段の画像処理ブロック４００は、処理領域４の画像処理を行う。上述したとおり、各画像処理ブロック１００，２００，３００，４００が画像処理を行う領域は、データ領域設定部１０４，２０４，３０４，４０４が設定する。

図７（Ａ）を参照して、初段の画像処理ブロック１００が出力する画像データについて説明する。初段の画像処理ブロック１００は、撮像素子２が出力するＢａｙｅｒデータを一旦ＤＲＡＭ１０６に一時記録させ、担当エリアである処理領域１の画像処理を行い、処理結果を含んだ画像データを２段目の画像処理ブロック２００に対して送信する。これにより、画像処理ブロック１００は、処理領域１については画像処理後の処理済みデータを出力し、処理領域２〜４については画像処理を行っていないＢａｙｅｒデータを出力する。

また、このとき、画像処理ブロック１００は、処理領域２〜４のＢａｙｅｒデータについてはＤＲＡＭ１０６に一時記録させ、処理領域１の画像処理が完了する前に出力する。すなわち、画像処理ブロック１００は、撮像素子２から入力されるＢａｙｅｒデータのうち処理領域２〜４のＢａｙｅｒデータよりも、処理領域１の処理済みデータ（映像出力）のＶＳＹＮＣを所定期間遅らせて出力する。従って、処理領域２〜４のＢａｙｅｒデータは、映像出力である処理領域１のＶＳＹＮＣよりも早いタイミングで出力されることになる。なお、画像処理ブロック１００は、最初（１フレーム目）の画像データを出力する時には、処理領域２〜４のＢａｙｅｒデータとともに、処理領域１の処理済みデータとして、例えばブルーバックや、予め各処理領域に登録しておいた画像やロゴ等を出力する。

図８は、本実施形態における画像処理ブロック１００が出力する１フレーム目および２フレーム目の画像データを示した概略図である。図示する例では、画像処理ブロック１００は、１フレーム目の画像データを出力する際には、処理領域１の処理済みデータとしてブルーバック８０１を出力し、処理領域２〜４のＢａｙｅｒデータを出力している。また、画像処理ブロック１００は、２フレーム目の画像データを出力する際には、処理領域１の処理済みデータと、処理領域２〜４のＢａｙｅｒデータを出力している。

以下、図７の説明に戻る。Ｂａｙｅｒデータの領域を後段の画像処理ブロック２００，３００，４００に指示するために、本実施形態では、ＢＨＳＴＲｘ、ＢＨＥＮＤｘ、ＨＳＴＲｘ、ＶＨＥＮＤｘ、ＢＶＳＴＲｘ、ＢＶＥＮＤｘを用いている。ＢＨＳＴＲｘ、ＢＨＥＮＤｘは、画像処理ブロックｘでの、水平方向のＢａｙｅｒデータ入力位置を示している。なお、初段のみは、Ｂａｙｅｒデータ出力位置を示している。ＶＨＳＴＲｘ、ＶＨＥＮＤｘは、表示用画像の出力位置を示している。なお、いずれも、表示用のＨＳＹＮＣ、ＶＳＹＮＣを基準にしている。

ＢＶＳＴＲｘ、ＢＶＥＮＤｘは、Ｂａｙｅｒデータの垂直方向の入出力位置を示している。ＶＶＳＴＲｘ、ＶＶＥＮＤｘは、処理済みデータ（表示用データ）の垂直方向の出力位置を示している。また、本実施形態では、Ｂａｙｅｒデータを縦短冊状に分割しているため、垂直方向は全ブロック共通である。なお、Ｂａｙｅｒデータを縦横に分割している場合は、垂直方向も各ブロック個別に設定する。

次に、図７（Ｂ）を参照して、２段目の画像処理ブロック２００が出力する画像データについて説明する。２段目の画像処理ブロック２００は、初段の画像処理ブロック１００が送信する画像データを受信し、担当エリアである処理領域２の画像処理を行い、処理結果を含んだ画像データを３段目の画像処理ブロック３００に対して送信する。このとき、画像処理ブロック２００は、処理領域２については、画像処理後の処理済みデータを出力し、処理領域１，３，４については、画像処理ブロック１００から送信された画像データをそのまま出力する。これにより、画像処理ブロック２００は、処理領域１，２については処理済みデータを出力し、処理領域３，４については画像処理を行っていないＢａｙｅｒデータを出力する。

次に、図７（Ｃ）を参照して、３段目の画像処理ブロック３００が出力する画像データについて説明する。３段目の画像処理ブロック３００は、２段目の画像処理ブロック２００が送信する画像データを受信し、担当エリアである処理領域３の画像処理を行い、処理結果を含んだ画像データを４段目の画像処理ブロック４００に対して出力する。このとき、画像処理ブロック３００は、処理領域３については、画像処理後の処理済みデータを出力し、処理領域１，２，４については、画像処理ブロック２００から送信された画像データをそのまま出力する。これにより、画像処理ブロック３００は、処理領域１，２，３については処理済みデータを出力し、処理領域４についてはＢａｙｅｒデータを出力する。

次に、図７（Ｄ）を参照して、４段目の画像処理ブロック４００が出力する画像データについて説明する。４段目の画像処理ブロック４００は、３段目の画像処理ブロック３００が送信する画像データを受信し、担当エリアである処理領域４の画像処理を行い、処理結果を含んだ画像データをモニタ５に対して出力する。このとき、画像処理ブロック４００は、処理領域４については、画像処理後の処理済みデータを出力し、処理領域１〜３については、画像処理ブロック３００から送信された画像データをそのまま出力する。これにより、画像処理ブロック４００は、処理領域１〜４について処理済みデータを出力する。この結果、画像処理ブロック４００は、処理領域１〜４全ての画像データが同じフレームのＢａｙｅｒデータを画像処理した処理済みデータである画像データを出力する。また、モニタ５は、この画像データに基づいた映像を表示する。

上述したとおり、各画像処理ブロック１００，２００，３００，４００の画像処理は、Ｂａｙｅｒデータの入力から所定の期間遅れたタイミングで、表示用の同期信号に合わせて処理済みデータを出力する。この結果として、各画像処理ブロック１００，２００，３００，４００は、処理領域１〜４の画像処理を分散処理する場合においても、同期して処理を行うことができ、同一のフレームのＢａｙｅｒデータを画像処理して生成した画像データを出力することができる。

上述したとおり、本実施形態によれば、撮像装置１０は、直列に接続された複数の画像処理ブロック１００，２００，３００，４００を備えている。また、画像処理ブロック１００，２００，３００，４００は、撮像素子２から出力された画像信号における全ての領域のうち、一部の領域のＢａｙｅｒデータの画像処理を行い、先段から受信したデータと、自装置が画像処理を行ったデータとを後段に出力する。これにより、画像処理ブロック１００，２００，３００，４００を直列に接続した場合においても、複数の画像処理ブロック１００，２００，３００，４００で画像処理を分散して行うことができる。すなわち、複数のインタフェースを備えた専用の撮像素子を用いることなく、また、撮像素子２の出力を一旦受ける回路を用いることなく、複数の画像処理ブロック１００，２００，３００，４００で画像処理を分散して行うことができる。従って、装置を小型化しつつ、複数の画像処理ユニットで画像処理を分散して行うことができる。また、１つの画像処理ブロックでは画像処理を行うことができないサイズのＢａｙｅｒデータを、より容易に複数の画像処理ブロック１００，２００，３００，４００で並列にて画像処理を行い、モニタ５に表示させることができる。

なお、本実施形態によれば、複数のインタフェースを備えた専用の撮像素子と比較して、撮像素子の開発期間を短縮することができ、なおかつ、価格を安価にすることができる。また、本実施形態によれば、撮像素子の出力を一旦受ける回路は、高速信号線が集中するが、撮像素子の出力を一旦受ける回路が、不要となるため、設計の難易度も高くならず、撮像素子の開発期間を短縮できる。

また、上述した例では、Ｂａｙｅｒデータを４分割し、４つの画像処理ブロック１００，２００，３００，４００を用いて４並列にて画像処理を行っているが、これに限らず、画像処理ブロックの段数を増減させ、４並列以外の並列数にて画像処理を行うことも容易に行うことができる。すなわち、必要な処理能力に応じて、画像処理ブロックの数（段数）を容易に増やすことができる。

次に、画像データからＢａｙｅｒデータと処理済みデータとを取り出す方法について説明する。図９は、本実施形態における画像データの各ラインに含まれるデータと、ＶＳＹＮＣと、ＨＳＹＮＣとの関係例を示した概略図である。ＶＳＹＮＣは、垂直方向のデータの開始を示している。ＨＳＹＮＣは、水平方向のデータの開始を示している。Ｌｉｎｅは、画像データの行を示している。Ｂａｙｅｒは、Ｂａｙｅｒデータを示している。Ｖｉｄｅｏは、処理済みデータを示している。図示する例では、画像データの０〜２ライン目には、Ｂａｙｅｒデータのみが含まれており、画像データ３の３〜５ライン目には、Ｂａｙｅｒデータと処理済みデータとが含まれている。

図１０は、本実施形態における画像データからＢａｙｅｒデータを取り出す回路の例を示したブロック図である。図示するように、ＶＳＹＮＣと、ＨＳＹＮＣと、ＣＬＫと、ＢＨＳＴＲｘと、ＢＨＥＮＤｘと、ＢＶＳＴＲｘと、ＢＶＥＮＤｘとを用いることで、画像データからＢａｙｅｒデータを抽出することができる。図１１は、本実施形態における画像データから処理済みデータを取り出す回路の例を示したブロック図である。図示するように、ＶＳＹＮＣと、ＨＳＹＮＣと、ＣＬＫと、ＶＨＳＴＲｘと、ＶＨＥＮＤｘと、ＶＶＳＴＲｘと、ＶＶＥＮＤｘとを用いることで、画像データから処理済みデータを抽出することができる。

なお、これまでの説明では、Ｂａｙｅｒデータを縦短冊状に分割して並列にて画像処理を行っているが、これに限らず、横短冊状に分割してもよく、縦横両方に分割してもよい。図１２は、本実施形態において、縦横両方に４分割した場合での画像処理ブロック１００，２００，３００，４００が出力する画像データの概要を示した概略図である。

図１２（Ａ）は、画像処理ブロック１００が出力する画像データを示している。図１２（Ｂ）は、画像処理ブロック２００が出力する画像データを示している。図１２（Ｃ）は、画像処理ブロック３００が出力する画像データを示している。図１２（Ｄ）は、画像処理ブロック４００が出力する画像データを示している。画像処理ブロック４００が出力する画像データは、そのままモニタ５に入力されて表示される。縦横両方に分割する方法は、例えば、画像処理ブロック１００，２００，３００，４００の制約によって縦短冊状で分割処理出来ない場合や、分割記録したデータを単独でモニタ５に表示したい場合等のときに有効である。

なお、縦短冊状に分割したときは、Ｂａｙｅｒデータと処理済みデータとを縦方向にずらして画像データとして出力していたが、この例では、Ｂａｙｅｒデータと処理済みデータとを縦方向にずらすと、他の処理領域のデータを潰してしまうため、フレーム単位でずらす必要がある。図示する例では、画像処理ブロック１００，２００，３００は、処理済みデータと、１フレーム前の処理で入力されたＢａｙｅｒデータとを同時に出力している。

また、画像処理方法によっては、直後のフレームで処理済みデータを出力することが困難な場合がある。例えば、１フレーム全てのデータを受けてから処理を始める必要が有る場合等では、直後に処理済みデータを生成することができない。この場合は、２フレーム前の入力データから生成した処理済みデータと、現在の入力フレームのＢａｙｅｒデータとを同時に出力する。すなわち、処理済みデータは２フレーム遅延となる。

なお、図７に示したように、縦短冊状に分割したときに、各画像処理ブロック１００，２００，３００，４００の画像処理に時間がかかる場合には、縦にずらすことができるため、フレーム単位ではなくライン単位で遅延量を調整でき、表示までのレイテンシ（遅延時間）を最低限に抑えることができる。

次に、画像処理ブロック１００，２００，３００，４００が、画像処理を行う処理領域１〜４を設定する初期化手順について説明する。図１３は、本実施形態における画像処理ブロック１００，２００，３００，４００の初期化処理手順を示したフローチャートである。この初期化処理手順は、予め画像処理の分担が決まっている場合での処理手順である。なお、初段の画像処理ブロック１００をマスター側とし、２段目以降の画像処理ブロック２００，３００，４００をスレーブ側とする。

図１３（Ａ）は、マスター側の画像処理ブロック１００の初期化処理手順を示したフローチャートである。
（ステップＳ１０１）データ領域設定部１０４は、Ｂａｙｅｒデータの出力領域を設定する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）データ領域設定部１０４は、画像処理を行う処理領域を設定する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）データ領域設定部１０４は、Ｖｉｄｅｏ出力領域（処理済みデータを出力するタイミング）を設定する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）データ領域設定部１０４は、Ｖｉｄｅｏ出力乗せ換え領域（処理済みデータを出力する領域）を設定する。その後、処理を終了する。

図１３（Ｂ）は、スレーブ側の画像処理ブロック２００，３００，４００の初期化処理手順を示したフローチャートである。
（ステップＳ２０１）データ領域設定部２０４，３０４，４０４は、Ｂａｙｅｒデータの取り込み領域を設定する。その後、ステップＳ２０２の処理に進む。
（ステップＳ２０２）データ領域設定部２０４，３０４，４０４は、画像処理を行う処理領域を設定する。その後、ステップＳ２０３の処理に進む。
（ステップＳ２０３）データ領域設定部２０４，３０４，４０４は、Ｖｉｄｅｏ出力領域（処理済みデータを出力するタイミング）を設定する。その後、ステップＳ１０４の処理に進む。
（ステップＳ２０４）データ領域設定部２０４，３０４，４０４は、Ｖｉｄｅｏ出力乗せ換え領域（処理済みデータを出力する領域）を設定する。その後、処理を終了する。

次に、画像処理ブロック１００，２００，３００，４００が、設定パラメータを変更する設定パラメータ変更手順について説明する。なお、設定パラメータは、画像処理ブロック１００，２００，３００，４００に設定するＢａｙｅｒデータの出力領域またはＢａｙｅｒデータの取り込み領域と、画像処理を行う処理領域と、Ｖｉｄｅｏ出力領域と、Ｖｉｄｅｏ出力乗せ換え領域とである。

図１４は、本実施形態における画像処理ブロック１００，２００，３００，４００の設定パラメータ変更手順を示したフローチャートである。図１４（Ａ）は、マスター側の画像処理ブロック１００のパラメータの変更手順を示したフローチャートである。
（ステップＳ３０１）データ領域設定部１０４は、設定パラメータを算出する。その後、ステップＳ３０２の処理に進む。

（ステップＳ３０２）ＣＰＵ１１４は、データ領域設定部１０４が算出した設定パラメータを、通信部１１５を介してＣＰＵ間通信にて画像処理ブロック２００，３００，４００に対して送信する。その後、ステップＳ３０３の処理に進む。
（ステップＳ３０３）ＣＰＵ１１４は、ステップＳ３０２の処理で送信した設定パラメータの反映準備が完了したことを示す反映準備完了メッセージが、画像処理ブロック２００，３００，４００の全てから受信するまで待機する。画像処理ブロック２００，３００，４００の全てから反映準備完了メッセージを受信した場合、ステップＳ３０４の処理に進む。

（ステップＳ３０４）ＣＰＵ１１４は、ステップＳ３０１で算出した設定パラメータの反映タイミングまで待機する。設定パラメータの反映タイミングになった場合、ステップＳ３０５の処理に進む。なお、設定パラメータの反映タイミングとしては、例えば、１フレームのＢａｙｅｒデータの画像処理が完了したタイミングである。
（ステップＳ３０５）ＣＰＵ１１４は、設定パラメータの反映を開始する指示を示す反映指示メッセージを、通信部１１５を介してＣＰＵ間通信にて画像処理ブロック２００，３００，４００に対して送信する。その後、ステップＳ３０６の処理に進む。

（ステップＳ３０６）データ領域設定部１０４は、ステップＳ３０１の処理で算出した設定パラメータを反映する。なお、設定パラメータの反映手順は、図１３（Ａ）に示した初期化処理手順と同様である。その後、処理を終了する。

図１４（Ｂ）は、スレーブ側の画像処理ブロック２００，３００，４００のパラメータの変更手順を示したフローチャートである。
（ステップＳ４０１）ＣＰＵ２１４，３１４，４１４は、画像処理ブロック１００から送信された設定パラメータを、通信部２１５，３１５，４１５を介してＣＰＵ間通信にて受信する。その後、ステップＳ３０３の処理に進む。
（ステップＳ４０２）ＣＰＵ２１４，３１４，４１４は、ステップＳ４０１の処理で受信した設定パラメータの反映準備を行う。その後、ステップＳ４０３の処理に進む。

（ステップＳ４０３）ＣＰＵ２１４，３１４，４１４は、設定パラメータの反映準備が完了したことを示す反映準備完了メッセージを、通信部２１５，３１５，４１５を介して画像処理ブロック１００に対して送信する。その後、ステップＳ４０４の処理に進む。
（ステップＳ４０４）ＣＰＵ２１４，３１４，４１４は、画像処理ブロック１００から反映指示メッセージを受信するまで待機する。画像処理ブロック１００から反映指示メッセージを受信した場合、ステップＳ４０５の処理に進む。

（ステップＳ４０５）データ領域設定部２０４，３０４，４０４は、ステップＳ４０１の処理で受信した設定パラメータを反映する。なお、設定パラメータの反映手順は、図１３（Ｂ）に示した初期化処理手順と同様である。その後、処理を終了する。

上述したとおり、設定パラメータを変更する場合、マスター側の画像処理ブロック１００が設定パラメータを算出し、算出した設定パラメータをスレーブ側の画像処理ブロック２００，３００，４００に対してシリアル通信によって送信する。なお、画像処理ブロック１００は、設定パラメータを、画像処理ブロック２００，３００，４００に対して順に送信してもよく、画像処理ブロック２００，３００，４００全てに対して一斉に送信にしてもよい。

また、スレーブ側の画像処理ブロック２００，３００，４００は、設定パラメータを受信した場合、設定パラメータの反映準備を行い、反映準備完了メッセージを画像処理ブロック１００に対して送信する。画像処理ブロック２００，３００，４００は、反映指示メッセージをシリアル通信にて送信してもよく、各画像処理ブロック１００，２００，３００，４００に接続した専用のオープンドレインの信号ライン（全ての準備が整わないとＨｉｇｈとならない）を用いてもよい。

また、マスター側の画像処理ブロック１００は、全ての画像処理ブロック２００，３００，４００の反映準備が完了したことを確認した場合、反映タイミングであるか否か確認する。例えば、画像データ送信部１１３が出力する画像データのライン数に基づいて、新たな処理を開始するタイミングであるか確認し、新たな処理を開始するタイミングの場合、反映タイミングと判定する。

撮像素子２からＢａｙｅｒデータが入力された直後は、新しいフレームの処理を開始するタイミングのため、各画像処理ブロック１００，２００，３００，４００の応答や通信の遅延により各画像処理ブロック１００，２００，３００，４００での反映タイミングが乱れる可能性がある。そこで、本実施形態では、撮像素子２からＢａｙｅｒデータが入力されたタイミングの前後の所定の期間（予め定めた期間）以外のタイミングを待ち、画像処理ブロック１００は、その期間で画像処理ブロック２００，３００，４００に対して反映指示メッセージを送信する。なお、画像処理ブロック１００は、反映指示メッセージをシリアル通信にて送信してもよく、各画像処理ブロック１００，２００，３００，４００に接続した専用の信号ラインの信号レベルを変化させて送信してもよい。

これにより、画像処理ブロック２００，３００，４００は、反映指示メッセージを受信した場合、次のフレームの処理開始時に設定パラメータを反映させて画像処理を行う。また、画像処理ブロック１００も、反映指示メッセージを送信した場合、次のフレームの処理開始時に設定パラメータを反映させて画像処理を行う。

次に、モニタ５に対して画像データを出力する方法について説明する。最後段の画像処理ブロック４００からモニタ５に対する画像データの出力は、モニタ５のインタフェースに合わせた信号とする必要がある。しかしながら、画像処理ブロック１００，２００，３００，４００間での画像データの送受信においては、必ずしも標準的なＶｉｄｅｏ信号である必要はなく、モニタ５に対して画像データを出力するタイミングとモニタ５のインタフェースの入力タイミングとが、略一致できていればよい。

例えば、画像処理ブロック１００，２００，３００，４００間での画像データの送受信では、独自のシリアル通信や、撮像素子２のインタフェースで利用されているＬＶＤＳや、ＳＬＶＳや、ＭＩＰＩ等の信号を使ってもよい。これにより、撮像素子２を接続するインタフェースである撮像入力部１０１をデータ入力部と兼用することができ、回路の共有化により回路規模を削減することができる。但し、この場合、完全にモニタ５の表示フォーマットに一致した出力が出来ないため、最後段の画像処理ブロック４００にデータ転送効率のムラを吸収するバッファを設け、連続データとして出力するように構成する。

図１５は、本実施形態において、撮像素子２の出力フォーマットとモニタ５の表示フォーマットとが一致していない場合、最後段の画像処理ブロック４００に設けるバッファの構成を示したブロック図である。図示する例では、バッファ４２０は、ラインカウンタ４２０１，４２０２と、セレクタ４２０３，４２０４と、ラインメモリ４２０５，４２０６とを備えている。なお、バッファ４２０は、画像データ送信部４１３とモニタ５との間に構成される。

セレクタ４２０３は、画像データ送信部４１３が出力した画像データを、１ライン毎に、ラインメモリ４２０５とラインメモリ４２０６とに切り替えて記録させる。また、セレクタ４２０４は、ラインメモリ４２０５とラインメモリ４２０６とが記録している画像データを、モニタ５の表示フォーマットに合わせたタイミングで、モニタ５に対して出力する。

このように、バッファ４２０は、モニタ５に対して画像データを出力する直前に、不連続な画像データを一旦ラインメモリ４２０５，４２０６に記録させ、転送ムラの分、遅延させて画像データを出力することにより、連続した画像データを生成して出力することができる。例えば、バッファ４２０を設けることで、より多くのＢａｙｅｒデータを送信したい場合、初段から最後段までの画像処理ブロック１００，２００，３００，４００間の画像データの通信データレートを、モニタ５の表示データレートよりも速くすることができる。

次に、各画像処理ブロック１００，２００，３００，４００の記録部１０９，２０９，３０９，４０９が、記録メディアに記録させた圧縮データに基づいて、画像を再生する方法について説明する。上述したとおり、各画像処理ブロック１００，２００，３００，４００は、画像処理を行った処理済みデータを圧縮データとして記録している。なお、圧縮データは複数に分割（本実施形態では４分割）されて、各画像処理ブロック１００，２００，３００，４００に記録されている。そのため、１つの画像データとして復元してモニタ５に表示させるために、各画像処理ブロック１００，２００，３００，４００は、画像データを復元するために必要なファイル名や、再生する表示領域情報などを付加データとして圧縮データと一緒に記録させる。

また、画像処理ブロック１００，２００，３００は、画像処理時には、処理対象のＢａｙｅｒデータを後段の画像処理ブロック２００，３００，４００に対して送信していたが、再生時にはＢａｙｅｒデータは必要ないため、処理済みデータのみを後段の画像処理ブロック２００，３００，４００に対して送信する。本実施形態では、初段の画像処理ブロック１００がマスターとして動作し、スレーブ側の画像処理ブロック２００，３００，４００に再生の開始を指示する。

以下、画像データの再生時の処理手順について説明する。初めに、画像処理ブロック１００は、操作部４が入力を受け付けた指示に応じて、再生する処理済みデータを読み込む。このとき、画像処理ブロック１００は、付加データに基づいて、対応する各画像処理ブロック２００，３００，４００が記録している処理済みデータのファイル名を読み出し、各画像処理ブロック２００，３００，４００に対して、シリアル通信で当該ファイル名の処理済みデータの読み込み開始を指示する。このとき、対応する処理済みデータが削除されている場合や壊れている場合は、ユーザーにその情報を通知（例えばモニタ５や、図示せぬ操作パネルにメッセージを出力）する。

続いて、各画像処理ブロック１００，２００，３００，４００で画像データの再生準備ができた場合、初段の画像処理ブロック１００は、データ領域設定部１０４が指定した領域に処理済みデータを配置した画像データを２段目の画像処理ブロック２００に対して出力する。続いて、２段目の画像処理ブロック２００は、初段の画像処理ブロック１００から入力された画像データに対して、データ領域設定部２０４が指定した領域に処理済みデータを配置し、３段目の画像処理ブロック３００に対して出力する。

続いて３段目の画像処理ブロック３００は、２段目の画像処理ブロック２００から入力された画像データに対して、データ領域設定部３０４が指定した領域に処理済みデータを配置し、４段目の画像処理ブロック４００に対して出力する。続いて４段目の画像処理ブロック４００は、３段目の画像処理ブロック３００から入力された画像データに対して、データ領域設定部４０４が指定した領域に処理済みデータを配置し、モニタ５に対して出力する。これにより、各画像処理ブロック１００，２００，３００，４００が分散して記録している処理済みデータに基づいて、１枚の画像データをモニタ５に表示させることができる。

なお、スロー再生やコマ送り、早送り、巻き戻し、チャプタージャンプ等のトリックプレイは、例えば、映像表示（画像データ）のＶＳＹＮＣ直後に、何フレーム後にタイムコード幾つのデータを出力するという指示をシリアル通信で送信してもよいし、画像データ出力の所定の位置、例えばＶＳＹＮＣ直後などに、処理変更の指示と、反映タイミング情報を入れ込み、各画像処理ブロック１００，２００，３００，４００でそれを読んで処理を変更してもよい。これにより、同期した再生やトリックプレイを行うことができる。

次に、画像処理に周辺画像が必要な場合について説明する。上述した例では、画像処理ブロック１００，２００，３００，４００は、周辺画像が必要のない画像処理を行う例を用いて説明したが、これに限らず、周辺画像が必要な画像処理を行うようにしてもよい。例えば、Ｂａｙｅｒデータは通常１２ｂｉｔ程度であり、モニタ５の表示フォーマットは、ＲＧＢ各８ｂｉｔの２４ｂｉｔである。この場合、Ｂａｙｅｒデータを詰めれば、モニタ５の表示フォーマットでの１画素で、Ｂａｙｅｒデータの２画素のデータを送ることができる。すなわち、モニタ５の表示フォーマット上では、Ｂａｙｅｒデータは横に半分の領域に纏めて出力できる。

このＢａｙｅｒデータをモニタ５の表示フォーマット領域の右側に詰めて送ることで、より広い領域を後段に送ることができる上に、モニタ５の表示フォーマット領域の左側から順に処理結果を載せ替えて出力しても、必要なＢａｙｅｒデータを書き換えずに出力できる。

図１６は、本実施形態において、画像処理に周辺画像が必要な場合での画像処理ブロック１００，２００，３００，４００が出力する画像データの概要を示した概略図である。図１６（Ａ）は、画像処理ブロック１００が出力する画像データを示している。図１６（Ｂ）は、画像処理ブロック２００が出力する画像データを示している。図１６（Ｃ）は、画像処理ブロック３００が出力する画像データを示している。図１６（Ｄ）は、画像処理ブロック４００が出力する画像データを示している。画像処理ブロック４００が出力する画像データは、そのままモニタ５に入力されて表示される。

以下、縦短冊状に４分割しており、画像処理には左右の余分画素として、左右５０画素余分にＢａｙｅｒデータが必要で、撮像素子２からは画像処理用の余分領域として、上下左右各８画素余分に入力される場合について説明する。なお、余分画素を必用とする理由は、多くの画像処理が注目画素の周囲の画素データを利用して処理を行うためである。この場合において、左から順次画像処理を行う場合は、図１６（Ａ）に示すように、画像処理ブロック１００は、処理領域２〜４のＢａｙｅｒデータを右側に詰めて送信し、処理領域１の処理済みデータを左側に配置して送信する。

また、画像処理ブロック２００は、図１６（Ｂ）に示すように、処理領域３，４のＢａｙｅｒデータを右側に詰めて送信し、処理領域１，２の処理済みデータを左側に配置して送信する。また、画像処理ブロック３００は、図１６（Ｃ）に示すように、処理領域４のＢａｙｅｒデータを右側に詰めて送信し、処理領域１〜３の処理済みデータを左側に配置して送信する。また、画像処理ブロック４００は、図１６（Ｄ）に示すように、処理領域１〜４の処理済みデータを図７に示した例と同様に出力する。

以下、画像データの横幅が４Ｎ画素であり、Ｂａｙｅｒデータをその領域の右詰めで出力する場合の具体例について説明する。なお、通常は水平ブランキング期間が有るので、更に右側にデータを詰めることができるが、ここでは説明を簡単にするため、水平ブランキング期間を使用しないこととして説明する。

Ｂａｙｅｒデータを右に詰めた場合、Ｂａｙｅｒデータの水平方向０画素目は、画像データの２Ｎ画素目の位置に出力される。但し、実際に必要なＢａｙｅｒデータは、処理領域２以降で用いるＢａｙｅｒデータであるため、撮像素子２から入力されるＢａｙｅｒデータのうち、水平方向（Ｎ−５０）画素目から（４Ｎ−１）画素目のデータである。よって、画像処理ブロック１００は、撮像素子２から入力されるＢａｙｅｒデータのうち、水平方向（Ｎ−５０）画素目から（４Ｎ−１）画素目のデータを出力する。

また、画像処理ブロック１００がＢａｙｅｒデータを出力する位置は、画像データ上の［２Ｎ＋（Ｎ−５０）／２］画素目から［２Ｎ＋（４Ｎ−１）／２］画素目迄であり、処理済みデータを０画素目から（Ｎ−１）画素目迄に出力する。なお、０．５画素目とは、画像データ上の１画素にＢａｙｅｒデータ２画素分のデータを出力できるため、Ｂａｙｅｒデータ２画素のうち右側に割り当てられた位置を示す。

また、画像処理ブロック２００は、画像処理ブロック１００から入力された画像データ上の［２Ｎ＋（Ｎ−５０）／２］画素目から［２Ｎ＋（２Ｎ−１＋５０）／２］画素目迄のＢａｙｅｒデータを取り込み、処理済みデータをＮ画素目から２Ｎ−１画素目迄に出力する。同様に計算して、画像処理ブロック３００は、［２Ｎ＋（２Ｎ−５０）／２］画素目から［２Ｎ＋（３Ｎ−１＋５０）／２］画素目迄のＢａｙｅｒデータを取り込み、処理済みデータを２Ｎ画素目から３Ｎ−１画素目迄に出力する。また、画像処理ブロック４００は、［２Ｎ＋（３Ｎ−５０）／２］画素目から［２Ｎ＋（４Ｎ−１）／２］画素目迄のＢａｙｅｒデータを取り込み、処理済みデータを３Ｎ画素目から４Ｎ−１画素目迄に出力する。

なお、撮像素子２が、４Ｎ−１画素目よりも右側に画像処理に利用可能なＢａｙｅｒデータを出力する場合は、そのＢａｙｅｒデータも利用して画像処理を行ってもよい。このときは、この追加の画素の分Ｂａｙｅｒデータの出力位置を左側にずらして計算すればよい。また、垂直方向も、表示の垂直ブランキングの範囲で、画像処理用に広げてＢａｙｅｒデータを出力してもよい。また、上述した例は、縦短冊状の処理領域１〜４のうち左側から順に画像処理を行うためＢａｙｅｒデータを右側に詰めているが、縦短冊状の処理領域１〜４のうち右側から順に画像処理を行う場合にはＢａｙｅｒデータを左側に詰めて出力すればよい。

なお、上述した例では、２４ｂｉｔの画像データに１２ｂｉｔのＢａｙｅｒデータを詰める場合での例を用いて説明したが、これに限らない。例えば、１６ｂｉｔの画像データに１０ｂｉｔのＢａｙｅｒデータを詰める場合は、画像データ上の５画素中に８画素のＢａｙｅｒデータを入れ込むことができる。この場合、Ｂａｙｅｒデータを８画素単位で計算し、８画素単位の基準位置からのオフセット量を計算すればよい。

図１７は、本実施形態において、１６ｂｉｔの画像データに１２ｂｉｔのＢａｙｅｒデータを詰める場合の画像データとＢａｙｅｒデータとの位置関係を示した概略図である。図示する例では、画像データの０画素目から４画素目まで示されており、各画素はｂ０からｂ１５の１６ｂｉｔで示されている。また、画像データの０画素目には、Ｂａｙｅｒデータの０画素目の１０ｂｉｔと１画素目の６ｂｉｔとが含まれている。また、画像データの１画素目には、Ｂａｙｅｒデータの１画素目の４ｂｉｔと、Ｂａｙｅｒデータの２画素目の１０ｂｉｔと、Ｂａｙｅｒデータの３画素目の２ｂｉｔとが含まれている。画像データの２画素目から４画素目に含まれているＢａｙｅｒデータは、図示するとおりである。

このように、画像データの１画素のｂｉｔ数とＢａｙｅｒデータの１画素のｂｉｔ数が異なる場合においても、Ｂａｙｅｒデータの１画素のｂｉｔ数よりも画像データの１画素のｂｉｔ数が大きい場合には、Ｂａｙｅｒデータを詰めて出力することができる。

また、上述した例では、縦短冊状の処理領域１〜４のうち左側から順に画像処理を行う例について説明したが、これに限らず、どのような順に画像処理を行ってもよい。この場合、Ｂａｙｅｒデータは、各処理領域内にて詰めて出力する。

図１８は、本実施形態において、処理領域２、処理領域３、処理領域１、処理領域４の順に画像処理を行う場合での画像処理ブロック１００，２００，３００，４００が出力する画像データの概要を示した概略図である。この場合、初段の画像処理ブロック１００は、処理領域２の画像処理を行う。また、２段目の画像処理ブロック２００は、処理領域３の画像処理を行う。また、３段目の画像処理ブロック３００は、処理領域１の画像処理を行う。また、最後段の画像処理ブロック４００は、処理領域４の画像処理を行う。

処理領域１の画像処理を行うには、−８画素目から（Ｎ＋４９）画素目迄のＢａｙｅｒデータが必要であり、処理領域２の画像処理を行うには、（Ｎ−５０）画素目から（２Ｎ＋４９）画素目迄のＢａｙｅｒデータが必要であり、処理領域３の画像処理を行うには、（２Ｎ−５０）画素目から（３Ｎ＋４９）画素目迄のＢａｙｅｒデータが必要であり、処理領域４の画像処理を行うには、（３Ｎ−５０）画素目から（４Ｎ−１＋８）画素目迄のＢａｙｅｒデータが必要であるとする。

図１８（Ａ）は、画像処理ブロック１００が出力する画像データを示している。画像処理ブロック１００は、処理領域１の画像処理に必要なＢａｙｅｒデータを処理領域１内に左側から詰めて出力する。また、画像処理ブロック１００は、処理領域２の処理済みデータを、処理領域２に出力する。また、画像処理ブロック１００は、処理領域３の画像処理に必要なＢａｙｅｒデータを処理領域３内に左側から詰めて出力する。また、画像処理ブロック１００は、処理領域４の画像処理に必要なＢａｙｅｒデータを処理領域４内に左側から詰めて出力する。

図１８（Ｂ）は、画像処理ブロック２００が出力する画像データを示している。画像処理ブロック２００は、処理領域３のＢａｙｅｒデータを取り込み、処理済みデータを処理領域３に出力する。また、画像処理ブロック２００は、処理領域１，３，４については、画像処理ブロック１００から入力された画像データをそのまま出力する。

図１８（Ｃ）は、画像処理ブロック３００が出力する画像データを示している。画像処理ブロック３００は、処理領域１のＢａｙｅｒデータを取り込み、処理済みデータを処理領域１に出力する。また、画像処理ブロック３００は、処理領域２〜４については、画像処理ブロック２００から入力された画像データをそのまま出力する。

図１８（Ｄ）は、画像処理ブロック４００が出力する画像データを示している。画像処理ブロック４００は、処理領域４のＢａｙｅｒデータを取り込み、処理済みデータを処理領域４に出力する。また、画像処理ブロック４００は、処理領域１〜３については、画像処理ブロック３００から入力された画像データをそのまま出力する。

このように、処理領域１〜４の画像処理で必要なＢａｙｅｒデータを、当該処理領域１〜４内のみに詰めて出力する場合、画像処理の処理順序を変更しやすいというメリットがある。なお、図示する例では、水平方向に余裕が有り、右側を余らせてＢａｙｅｒデータを送っているが、垂直方向により広い範囲を取り込んで処理をしたい場合は、この余り部分も利用し、垂直方向にも詰めてＢａｙｅｒデータを出力してもよい。

図１９は、本実施形態において、Ｂａｙｅｒデータを垂直方向に詰めた場合の画像データとＢａｙｅｒデータとの位置関係を示した概略図である。図示する例では、画像データの垂直方向のラインが示されており、各ラインにはＢａｙｅｒデータが詰めて配置されている。例えば、画像データの上から１行目（一番上）のラインには、Ｂａｙｅｒデータの１ライン目と、２ライン目の一部が詰めて配置されている。また、画像データの上から２行目のラインには、Ｂａｙｅｒデータの２ライン目の一部と３ライン目の一部が詰めて配置されている。その他のラインに詰めて配置されているＢａｙｅｒデータについては図示するとおりである。このように、Ｂａｙｅｒデータを、画像データの垂直方向に詰めて出力することができる。なお、画像データの垂直方向に詰めたＢａｙｅｒデータは、例えば、図２０に示した回路を用いて１ライン毎に分離することができる。図２０は、本実施形態において、画像データの垂直方向に詰めたＢａｙｅｒデータを、１ライン毎に分離するための回路を示したブロック図である。

次に、画像データのうち一部分の画像を子画面表示する場合について説明する。これは、例えば画像データのうち左端の画像の一部をモニタ５の中央部にウィンドウを開いて拡大表示させたい場合に有用である。Ｂａｙｅｒデータが左端の領域である処理領域１内に有る場合、処理領域１の画像処理を担当する画像処理ブロック１００，２００，３００，４００で拡大処理して表示する方法が効率的である。本実施形態において撮像素子２が出力したＢａｙｅｒデータの画像処理を行っている最中では、各画像処理ブロック１００，２００，３００，４００は担当領域の画像処理を行う。この画像処理結果を利用して拡大／縮小処理をすることで、効率的に拡大／縮小画像を得ることができる。

しかしながら、この拡大／縮小画像の表示位置に後段で利用するＢａｙｅｒデータが存在する場合、Ｂａｙｅｒデータが上書きされるため後段の画像処理で必要なＢａｙｅｒデータを送ることができなくなってしまう。そこで、このように後段で利用するＢａｙｅｒデータが上書きされてしまう場合、上書きされるＢａｙｅｒデータを用いた画像処理を行った後に、拡大／縮小画像に用いる処理領域の画像処理を行うように処理の順番を入れ替える。

図２１は、本実施形態において、処理領域１に含まれる画像と、処理領域４に含まれる画像とを拡大表示する場合での画像処理ブロック１００，２００，３００，４００が出力する画像データの概要を示した概略図である。図示する例では、処理領域１に含まれる画像を処理領域１，２上に子画面表示し、処理領域４に含まれる画像を処理領域３，４上に子画面表示する例を示している。

この場合、処理領域２の画像処理を行う前に処理領域１の画像処理を行うと、処理領域２の画像処理に用いるＢａｙｅｒデータが上書きされてしまう。そのため、処理領域２の画像処理は、処理領域１の画像処理よりも先に行う。また、処理領域３の画像処理を行う前に処理領域４の画像処理を行うと、処理領域３の画像処理に用いるＢａｙｅｒデータが上書きされてしまう。そのため、処理領域３の画像処理は、処理領域４の画像処理よりも先に行う。従って、図示する例では、処理領域２、処理領域３、処理領域１、処理領域４の順に画像処理を行っている。

図２１（Ａ）は、画像処理ブロック１００が出力する画像データを示している。画像処理ブロック１００は、処理領域１の画像処理に必要なＢａｙｅｒデータを処理領域１内に左側から詰めて出力する。また、画像処理ブロック１００は、処理領域２の処理済みデータを、処理領域２に出力する。また、画像処理ブロック１００は、処理領域３の画像処理に必要なＢａｙｅｒデータを処理領域３内に左側から詰めて出力する。また、画像処理ブロック１００は、処理領域４の画像処理に必要なＢａｙｅｒデータを処理領域４内に左側から詰めて出力する。

図２１（Ｂ）は、画像処理ブロック２００が出力する画像データを示している。画像処理ブロック２００は、処理領域３のＢａｙｅｒデータを取り込み、処理済みデータを処理領域３に出力する。また、画像処理ブロック２００は、処理領域１，３，４については、画像処理ブロック１００から入力された画像データをそのまま出力する。

図２１（Ｃ）は、画像処理ブロック３００が出力する画像データを示している。画像処理ブロック３００は、処理領域１のＢａｙｅｒデータを取り込み、処理済みデータを処理領域１に出力する。また、画像処理ブロック３００は、処理領域２〜４については、画像処理ブロック２００から入力された画像データをそのまま出力する。また、画像処理ブロック３００は、処理領域１に含まれる一部の画像を拡大して、処理領域１，２上に子画面表示されるように、処理領域１，２の所定領域を子画面画像で上書きして出力する。

図２１（Ｄ）は、画像処理ブロック４００が出力する画像データを示している。画像処理ブロック４００は、処理領域４のＢａｙｅｒデータを取り込み、処理済みデータを処理領域４に出力する。また、画像処理ブロック４００は、処理領域１〜３については、画像処理ブロック３００から入力された画像データをそのまま出力する。また、画像処理ブロック３００は、処理領域４に含まれる一部の画像を拡大して、処理領域３，４上に子画面表示されるように、処理領域３，４の所定領域を子画面画像で上書きして出力する。

このように、処理領域１〜４の画像処理順を変更することで、画像処理に用いるＢａｙｅｒデータを上書きせず、効率的に拡大／縮小画像を子画面表示することができる。また、画像処理ブロック１００，２００，３００，４００は、子画面表示用の画像を生成する際にも通常の処理済みデータを生成できるため、子画面画像を表示しない表示画像用の処理済みデータを各自で記録することができる。すなわち、子画面表示を行う場合においても、全体画像を記録することができる。

次に、画像データのうち一部分の画像を子画面表示する場合での、画像処理の処理順を決定する方法について説明する。図２２は、本実施形態において、画像データ中にＢａｙｅｒデータが配置される位置と、そのＢａｙｅｒデータから拡大／縮小画面として表示される位置とを示した概略図である。

画像１３０１は、入力画像である。図２２（Ａ）は、一部の画像を拡大した画像と、全体画像の縮小画像とを子画面表示した例を示した概略図である。図示する例では、処理領域１，２，３上に、処理領域１，２の一部の画像を拡大した画像１３０２を子画面表示し、処理領域３，４上に、処理領域１〜４の全体画像の縮小画像１３０３を子画面表示している。

図２２（Ｂ）は、一部の画像を拡大した画像を子画面表示した例を示した概略図である。図示する例では、処理領域１，２上に、処理領域１，２の一部の画像を拡大した画像１３０４を子画面表示し、処理領域３，４上に、処理領域３，４の一部の画像を拡大した画像１３０５を子画面表示している。

図２２（Ｃ）は、一部の画像を拡大した画像を子画面表示した例を示した概略図である。図示する例では、処理領域１，２上に、処理領域１，２の一部の画像を拡大した画像１３０６を子画面表示し、処理領域３，４上に、処理領域２，３の一部の画像を拡大した画像１３０７を子画面表示している。

図２２（Ｄ）は、一部の画像を拡大した画像を子画面表示した例を示した概略図である。図示する例では、処理領域１，２上に、処理領域２，３の一部の画像を拡大した画像１３０８を子画面表示し、処理領域３，４上に、処理領域１，２の一部の画像を拡大した画像１３０９を子画面表示している。

このような表示を行う場合、マスター側の画像処理ブロック１００のデータ領域設定部１０４は、画像処理に必要なＢａｙｅｒデータの取り込み前に、Ｂａｙｅｒデータが書き換えられない順番を検索する。検索した結果、解が見つかれば、データ領域設定部１０４は、その解の通りに順番を入れ替えて処理を行うように設定パラメータを算出する。解が見つからない場合は、データ領域設定部１０４は、表示位置の変更や、操作者にメッセージを出力し変更を促す等の処理を行う。

次に、データ領域設定部１０４が画像処理順を検索する際に用いるアルゴリズムの例を説明する。検索時の画像処理の順番が、処理領域１、処理領域２、処理領域３、処理領域４の順番であるときには、左側の処理領域から順に後段のＢａｙｅｒデータに上書きするかを確認し、上書きする場合は上書きされる処理領域をその前に移動し、上書きしなければ、次の処理領域を処理した際に後段のＢａｙｅｒデータを上書きしないかを確認し、上書きするなら、そのＢａｙｅｒデータを前に移動する。以上を繰り返し、最後の領域にたどり着いたら、その順番で処理を行う。

なお、画像処理順を先に移動した場合は、移動したＢａｙｅｒデータを画像処理した時に、後段のＢａｙｅｒデータを上書きするかを確認し、上書きする場合はその画像処理の前に順番を移動する。このとき、以前評価したＢａｙｅｒデータが再度前に移動した場合は、移動の繰り返しになるので、解無しと判定し、ユーザーに修正を要求する、或いは表示の順番を入れ替える処理を行うことで対応する。

図２２（Ａ）に示した場合では、処理領域１を基準に処理領域２を見ると、Ｂａｙｅｒデータを上書きする。従って、処理領域２の画像処理を処理領域１の画像処理よりも先に行うように設定する。また、処理領域２を基準に処理領域１を見ると、Ｂａｙｅｒデータを上書きしない。続いて、処理領域２を基準に処理領域３を見ると、Ｂａｙｅｒデータを上書きする。従って、処理領域３の画像処理を処理領域２の画像処理よりも先に行うように設定する。また、処理領域３を基準に処理領域２，１を見るとＢａｙｅｒデータを上書きしない。また、処理領域３を基準に処理領域４を見ると、Ｂａｙｅｒデータを上書きする。従って、処理領域４の画像処理を処理領域３の画像処理よりも先に行うように設定する。また、処理領域４を基準に処理領域１〜３を見ると、Ｂａｙｅｒデータを上書きしない。また、処理領域３と処理領域１，２および処理領域２と処理領域１との関係は確認済みである。従って、この場合には、データ領域設定部１０４は、処理領域４、処理領域３、処理領域２、処理領域１の順番で画像処理を行うように処理順を設定する。

同様のアルゴリズムを用いると、図２２（Ｂ）に示した例では、処理領域２、処理領域１、処理領域３、処理領域４の順番で画像処理を行うように、データ領域設定部１０４は処理順を設定する。また、図２２（Ｃ）に示した例では、処理領域４、処理領域３、処理領域２、処理領域１の順番で画像処理を行うように、データ領域設定部１０４は処理順を設定する。

なお、図２２（Ｄ）に示した例では、処理領域１を基準に処理領域３を見るとＢａｙｅｒデータを上書きする。よって、処理領域３の処理を処理領域１よりも先に行うように設定する。また、処理領域３を基準に処理領域２を見るとＢａｙｅｒデータを上書きする。よって処理領域２の処理を処理領域３よりも先に行うように設定する。また、処理領域２を基準に処理領域１を見るとＢａｙｅｒデータを上書きする。よって、処理領域１の処理を処理領域２よりも先に行うように設定する。これは、以前基準とした処理領域１の処理順が先になったので矛盾し、画像処理を行うことができる順番が無いことが判明する。この原因は、元画像に対して子画面画像を左右逆に表示させているためである。この場合はユーザーにできないことを知らせ、修正を求めても良いし、あるいは、自動的に右左の子画面を入れ替えて表示を行う等の処理を行など、自動的に修正するようにしてもよい。

次に、画像処理の処理順を入れ替える際の処理手順について説明する。画像処理の処理順を入れ替える場合、順番の切換の瞬間は、各画像処理ブロック１００，２００，３００，４００の入力領域と表示領域が異なる。その為、切り替わり時は、Ｂａｙｅｒデータの出力位置、取り込み位置を入れ替え、入れ替え後の表示が開始されるタイミングでＢａｙｅｒデータの出力位置、取り込み位置を本来の位置に入れ替える。

図２３は、本実施形態において、画像処理の処理順を入れ替える際に、画像処理ブロック１００，２００，３００，４００が出力する画像データの概要を示した概略図である。図示する例では、処理領域１、処理領域２、処理領域３、処理領域４の順に画像処理を行っている際に、画像処理順を処理領域２、処理領域１、処理領域３、処理領域４の順に変更している。

図示する例では、画像処理の処理順の切り替わり時に、画像処理ブロック１００は、変更後の処理領域２に、処理領域１のＢａｙｅｒデータを出力している。また、処理済みデータの出力が完了した後、処理領域１のＢａｙｅｒデータを本来の位置である処理領域１に入れ替え、処理領域２の処理済みデータを本来の位置である処理領域２に入れ替えている。

なお、今までは、各画像処理ブロック１００，２００，３００，４００が画像処理を行う領域を等分する場合で説明していたが、必ずしも等分とする必要は無く、撮像素子２からの入力のフレームレートで画像処理を完了出来れば、それぞれ異なる分割比で処理を行っても良い。例えば、初段の画像処理ブロック１００は、操作部４を管理し、設定パラメータの計算をしている上に、撮像素子２からのデータを一旦ＤＲＡＭ１０６に保存している為、負荷が大きい。そこで、例えば各画像処理ブロック１００，２００，３００，４００で必要なＤＲＡＭ帯域を計算し、その帯域比に応じて画像の分割比を決めても良い。

また、撮像素子２が出力するＢａｙｅｒデータが画像データよりも大きい場合、水平・垂直のブランキング期間を利用してＢａｙｅｒデータを送っても良い。通常、数十ラインのブランキング期間があるので、その程度の差であれば、この領域を用いてＢａｙｅｒデータを送る事が出来る。

なお、Ｂａｙｅｒデータが、水平・垂直ブランキング期間を用いても送信することが出来ないくらい大きい場合、Ｂａｙｅｒデータをモニタ５の表示フォーマットに応じた解像度に変換してＤＲＡＭ１０６に記録させるようにしてもよい。解像度変換は、例えば間引き処理でも良いし、同色画素を用いての補間処理により縮小しても良い。或いは簡易的に３板化して縮小し、Ｂａｙｅｒデータに戻す処理をしても良い。或いは、画像送信フォーマットを拡大して送信し、最終段の画像処理ブロック４００で、画像フォーマットを変更してデータを送っても良い。

図２４は、本実施形態におけるリサイズ部を備えた画像処理ブロック５００の構成を示したブロック図である。図示する例では、画像処理ブロック５００は、撮像入力部１０１と、前段処理補正処理部１０２と、撮像用ＴＧ部１０３と、データ領域設定部１０４と、３板化画像処理部１０７と、圧縮伸縮部１０８と、記録部１０９と、表示画像出力部１１０と、送信データ抽出部１１１と、出力合成部１１２と、画像データ送信部１１３と、ＣＰＵ１１４と、通信部１１５と、リサイズ部５０１とを備えている。

撮像入力部１０１と、前段処理補正処理部１０２と、撮像用ＴＧ部１０３と、データ領域設定部１０４と、３板化画像処理部１０７と、圧縮伸縮部１０８と、記録部１０９と、表示画像出力部１１０と、送信データ抽出部１１１と、出力合成部１１２と、画像データ送信部１１３と、ＣＰＵ１１４と、通信部１１５と、画像処理ブロック１００が備える各部と同様である。リサイズ部５０１は、前段処理補正処理部１０２が補正したＢａｙｅｒデータのリサイズを行い、リサイズ後のＢａｙｅｒデータをＤＲＡＭ１０６に記録させる。

図２５は、本実施形態におけるリサイズ部５０１の構成を示したブロック図である。ＨＳＹＮＣは水平開始信号である。ＶＳＹＮＣは垂直開始信号である。ＣＯＬ＿ＩＮは入力色情報である。ＣＯＬ＿ＯＵＴは色情報（何色から出力を開始するか）である。縮小率は、例えば出力座標の間隔である。この場合、例えば１／２縮小であれば、縮小率として２を設定する。Ｄａｔａ＿ＩＮは入力データである。Ｄａｔａ＿ＯＵＴは縮小したデータである。ＤＥＮ＿ＯＵＴは縮小データ有効フラグである。Ｋ００〜Ｋ１１は画素補間する際の、各データの重み係数である。Ｋ００〜Ｋ１１は、ＨＳＹＮＣと、ＶＳＹＮＣと、ＣＯＬ＿ＩＮと、ＣＯＬ＿ＯＵＴと、縮小率とから、出力データ毎に求められる。

例えば、ＨＳＹＮＣとＶＳＹＮＣとを基準に、入力された座標をカウントする。出力する開始座標と、色情報（ＣＯＬ＿ＩＮ，ＣＯＬ＿ＯＵＴ）から、出力する色と同色の４色の内側に補間位置が有るかを比較し、内側に有れば、各画素から補間座標迄の距離に応じて重み係数を求め、重み付け加算をして、データを出力する。同時に、そのデータが有効である事を示す為のＤＥＮ＿ＯＵＴフラグを立てる。また、このとき、次の補間座標の縮小率を加算して求める。なお、ＶＳＹＮＣの入力で、水平／垂直補間座標の初期化をし、ＨＳＹＮＣの入力で、水平補間座標の初期化と、垂直補間座標の更新（縮小率分座標を加算）を行う。以上を繰り返して、リサイズ後のＢａｙｅｒデータ（縮小画像）を出力する。

上述した画像処理ブロック５００を、図１に示した撮像装置１０の画像処理ブロック１００と入れ替えることで、撮像素子２が出力するＢａｙｅｒデータがモニタ５の表示フォーマットよりも大きい場合においても、Ｂａｙｅｒデータの画像処理を行いモニタ５に表示させることができる。

また、図２に示した画像処理ブロック１００が備える撮像入力部１０１を、画像データ受信部２０３，３０３，４０３と同様の回路としてもよい。図２６は、本実施形態において、撮像入力部の代わりに画像データ受信部を備えた画像処理ブロックの構成を示したブロック図である。図示する例では、画像処理ブロック６００は、前段処理補正処理部１０２と、撮像用ＴＧ部１０３と、データ領域設定部１０４と、３板化画像処理部１０７と、圧縮伸縮部１０８と、記録部１０９と、表示画像出力部１１０と、送信データ抽出部１１１と、出力合成部１１２と、画像データ送信部１１３と、ＣＰＵ１１４と、通信部１１５と、画像データ受信部６０１とを備えている。

撮像入力部１０１と、前段処理補正処理部１０２と、撮像用ＴＧ部１０３と、データ領域設定部１０４と、３板化画像処理部１０７と、圧縮伸縮部１０８と、記録部１０９と、表示画像出力部１１０と、送信データ抽出部１１１と、出力合成部１１２と、画像データ送信部１１３と、ＣＰＵ１１４と、通信部１１５と、画像処理ブロック１００が備える各部と同様である。画像データ受信部６０１は、画像データ受信部２０３，３０３，４０３と同様である。図１に示した撮像装置１０の画像処理ブロック１００を画像処理ブロック６００に入れ替えることで、初段の画像処理ブロック６００は、撮像入力部とデータ受信部とを共用にした画像データ受信部６０１を用いて、撮像素子２からのＢａｙｅｒデータの入力を受け付けることができる。

また、上述した例では、モニタ５の入力が１系統である例を用いて説明したが、例えば、モニタ５が高解像度モニタである場合、入力が２系統の場合がある。図２７は、本実施形態におけるモニタ５の入力が２系統である場合の撮像装置２０の構成を示したブロック図である。図示する例では、撮像装置２０は、レンズ１と、撮像素子２と、操作部４と、モニタ５と、画像分割転送部６と、画像処理ブロック１００−１，２と、画像処理ブロック４００−１，２と、ＤＲＡＭ１０６−１，２と、ＤＲＡＭ４０６−１，２とを備えている。

レンズ１と、撮像素子２と、操作部４と、モニタ５とは、撮像装置１０が備える各部と同様である。画像処理ブロック１００−１，２は、撮像装置１０が備える画像処理ブロック１００と同様である。画像処理ブロック４００−１，２は、撮像装置１０が備える画像処理ブロック４００と同様である。画像分割転送部６は、入力されたデータを分割して出力する。なお、分割方法は、縦に２分割でも、横に２分割でもどちらでもよい。

図示する例では、撮像素子２が出力したＢａｙｅｒデータは、画像分割転送部６に入力される。また、画像分割転送部６は、撮像素子２から入力されたＢａｙｅｒデータを２つに分割し、一方を画像処理ブロック１００−１に入力し、他方を画像処理ブロック１００−２に入力する。また、画像処理ブロック１００−１と画像処理ブロック４００−１は、順にデータが入出力されるように直列に接続されている。また、画像処理ブロック１００−２と画像処理ブロック４００−２は、順にデータが入出力されるように直列に接続されている。画像処理ブロック４００−１，２が出力した画像データはモニタ５に入力される。モニタ５は、入力された画像データに基づいて映像を表示する。

この構成により、撮像素子２が出力したＢａｙｅｒデータを２系統で処理し、モニタ５に表示させることができる。例えば、左右オーバーラップ付きの領域等の画像処理に用いることができる。

以上、この発明の位置実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

なお、上述した実施形態における撮像装置１０、２０が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１・・・レンズ、２・・・撮像素子、４・・・操作部、５・・・モニタ、６・・・画像分割転送部、１０，２０・・・撮像装置、１００，２００，３００，４００，５００，６００・・・画像処理ブロック、１０１・・・撮像入力部、１０２・・・前段処理補正処理部、１０３・・・撮像用ＴＧ部、１０４，２０４，３０４，４０４・・・データ領域設定部、１０７，２０７，３０７，４０７・・・３板化画像処理部、１０８，２０８，３０８，４０８・・・圧縮伸縮部、１０９，２０９，３０９，４０９・・・記録部、１１０，２１０，３１０，４１０・・・表示画像出力部、１１１・・・送信データ抽出部、１１２，２１２，３１２，４１２・・・出力合成部、１１３，２１３，３１３，４１３，６０１・・・画像データ送信部、１１４，２１４，３１４，４１４・・・ＣＰＵ、１１５，２１５，３１５，４１５・・・通信部、２０３，３０３，４０３・・・画像データ受信部、２０５，３０５，４０５・・・Ｂａｙｅｒ抽出部、４２０・・・バッファ、５０１・・・リサイズ部、４２０１，４２０２・・・ラインカウンタ、４２０３，４２０４・・・セレクタ、４２０５，４２０６・・・ラインメモリ

Claims (7)

1. 画像信号を出力する撮像素子と、
   直列に接続され、同種の画像処理を行う複数段の画像処理回路と、
   を備え、
   前記複数段の画像処理回路のうち、初段に前記撮像素子の出力が入力され、
   前記複数段の画像処理回路の各々は、前記画像信号の全ての領域のうち、一部の領域の前記画像処理を行い、
   前記画像処理が処理済みの領域の画像信号と、前記画像処理が未処理の領域の画像信号と、を後段の前記画像処理回路に出力することで、前記画像信号の全ての領域の前記画像処理を完了する
   ことを特徴とする撮像装置。
2. 複数段の前記画像処理回路の各々は、前記画像信号のうち、互いに異なる領域毎に前記画像処理を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像信号の全ての領域のうち、一部の画像を拡大または縮小して、該画像信号の全ての領域に対して、重ねて表示する場合、
   前記画像処理回路は、前記一部の画像の表示位置に基づき、前記画像処理を行う領域を変更する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記画像処理回路は、前記一部の画像を拡大または縮小して重ねて表示する領域を含む前記一部の領域における前記画像処理を、他の前記一部の領域の前記画像処理よりも先に行う
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記画像処理回路の処理量に応じて、前記一部の領域の大きさを変更する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記画像処理回路は、前記画像処理が処理済みの領域が含まれる前記画像信号の次フレームの前記画像信号が入力されたときに、当該画像処理が処理済みの領域の前記画像信号と、前記次フレームの前記画像処理が未処理の領域の前記画像信号とを後段の前記画像処理回路に出力する
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記画像処理回路は、それぞれ同一の回路構成の受信部を備え、
   初段の前記画像処理回路は、前記受信部で前記撮像素子の出力を受信し、
   後段の前記画像処理回路は、前記受信部で前記前段の画像処理回路が出力した、前記画像処理が処理済みの領域の画像信号と前記画像処理が未処理の領域の画像信号とを受信する
   ことを特徴とする請求項１に記載の撮像装置。

Images