JP2008283331A - 撮像装置、撮像回路および画像処理回路 - Google Patents

Abstract

【課題】撮像装置における動作モードに応じてチャンネル数を変化させる。
【解決手段】撮像制御部２４０は動作モードに応じた動作チャンネル数Ｗを決定する。センサ部２１０は動作チャンネル数Ｗに従って各画素に対応する撮像信号を出力する。データ送信部２２０は撮像信号をシリアル変換して、動作チャンネル数Ｗに従ってＬＶＤＳ等の高速インターフェース（信号線２２９）によって画像処理部３００に転送する。データ受信部３１１は転送された各チャンネルのシリアル信号をＭビットずつにパラレル変換する。データ復元部５００はパラレル信号に埋め込まれた同期コードを検出して、データ窓を抽出し、データ窓からビット長ｎの撮像信号を復元して信号線３１９に供給する。クロックゲーティング回路３３０は、有効フラグ（信号線３１６）が有効であることを示している間のみクロックＣＬＫ３を信号線３３７に供給する。
【選択図】図２

Description

本発明は、撮像装置に関し、特に撮像信号を伝送する撮像装置、その撮像装置における撮像回路、画像処理回路、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、半導体技術の進歩により、撮像装置におけるイメージセンサの高速化が図られている。これに伴い、イメージセンサから信号処理部へのデータ転送速度を向上させるために、高速インターフェースが用いられるようになっている。このような撮像装置として、例えば、イメージセンサから信号処理部へのデータ転送にＬＶＤＳ（Low Voltage Differential Signaling：低電圧差動信号）伝送方式を採用したものが提案されている（例えば、特許文献１参照。）。このＬＶＤＳ伝送方式は、互いに相反する（極性の異なる）振幅の小さい差動信号を用いることにより、伝送速度の高速化および消費電力の低下を図るものである。
特開２００５−２４４７０９号公報（図１）

上述の従来技術では、差動増幅器を用いることにより、振幅の低い信号を高速に伝送することを可能にしている。

しかしながら、撮像装置においては様々な動作モードが存在し、低解像度の画像を撮像する動作モードのような転送速度を必要としない場合もある。そのような場合であっても、差動増幅器を駆動するためにはある程度の電力を消費することになる。したがって、差動増幅器の周波数を下げたとしても消費電力を低下させる効果は薄い。

一方、イメージセンサからの撮像信号には一定の順序があるため、動作モードに合わせて単純に差動増幅器の駆動数、すなわちチャンネル数を変化させてしまうと、撮像信号の欠落を生じるおそれがある。

本発明はこのような状況に鑑みてなされたものであり、撮像装置における動作モードに応じてチャンネル数を変化させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体からの光を光電変換する複数の撮像素子によって生成された撮像信号を出力する撮像手段と、上記複数の撮像素子の各々から生成された上記撮像信号をそれぞれシリアル信号に変換するシリアル変換手段と、上記シリアル信号への変換の前または後に上記撮像信号に関する同期コードを生成して上記シリアル信号に埋め込む同期コード生成手段と、上記シリアル信号を複数のチャンネルのうちの少なくとも１つの動作チャンネルによってそれぞれ転送する転送手段と、上記転送されたシリアル信号のそれぞれをパラレル変換して上記動作チャンネルの数のパラレル信号を出力するパラレル変換手段と、上記パラレル信号において埋め込まれた同期コードを検出してその同期コードのタイミングおよび上記動作チャンネルの数に応じて上記撮像信号を復元する復元手段と、上記転送手段における上記動作チャンネルの数を動作モードに応じて設定する制御手段とを具備することを特徴とする撮像装置である。これにより、撮像装置の動作モードに応じて転送手段における動作チャンネルの数を制御するという作用をもたらす。

また、本発明の第２の側面は、被写体からの光を光電変換してそれぞれｎビット（ｎは自然数）の撮像信号を生成する複数の撮像素子を含む撮像手段と、上記撮像信号に対して所定の信号処理を施す画像処理手段と、上記撮像手段から上記画像処理手段へ上記撮像信号を最大Ｌチャンネル（Ｌは自然数）によって転送する転送手段と、上記転送手段における上記Ｌチャンネルのうち転送に用いられるチャンネル数Ｗ（Ｗは自然数）を動作モードに応じて設定する制御手段とを具備する撮像装置であって、上記撮像手段は、上記複数の撮像素子の各々から生成されたＷ個の撮像信号をそれぞれシリアル信号に変換するシリアル変換手段と、上記シリアル信号への変換の前または後に上記撮像信号に関するｎビットの同期コードを生成して上記シリアル信号に埋め込む同期コード生成手段とを備え、上記転送手段は、上記撮像信号から変換された上記シリアル信号をＷチャンネルによりシリアル転送する手段を備え、上記画像処理手段は、上記転送されたＷチャンネルのシリアル信号のそれぞれをパラレル変換してＷ個のＭビット（Ｍは自然数）のパラレル信号を出力するパラレル変換手段と、上記パラレル信号において埋め込まれた同期コードを検出してその同期コードのタイミングに応じて上記ｎビットの撮像信号を復元する復元手段とを備えることを特徴とする撮像装置である。これにより、撮像手段から画像処理手段への転送手段における動作チャンネルの数を、撮像装置の動作モードに応じて制御するという作用をもたらす。

また、この第２の側面において、上記動作モードと上記動作モードに対応するチャンネル数とを関連付けて保持するチャンネル数保持手段をさらに具備し、上記制御手段が、上記チャンネル数保持手段に保持される上記動作モードに対応するチャンネル数を上記転送に用いられるチャンネル数Ｗとして設定するようにしてもよい。これにより、チャンネル数保持手段の内容に応じて転送手段における動作チャンネルの数を制御するという作用をもたらす。

また、この第２の側面において、上記転送手段は、互いに相反する（すなわち、極性の異なる）差動信号により上記シリアル転送を行ってもよい。この場合において、特に、ＬＶＤＳ伝送方式により上記シリアル転送を行ってもよい。

また、この第２の側面において、上記復元手段は、上記パラレル信号において埋め込まれた同期コードを検出してその同期コードのタイミングに応じてＷ個のＮビット（Ｎはｎ以上の自然数）のデータ窓を抽出するデータ窓抽出手段と、上記撮像信号のビット長ｎに応じて上記データ窓からＷ個の上記撮像信号を抽出する撮像信号抽出手段とを備えてもよい。これにより、同期コードのタイミングに応じてデータ窓を抽出して、そのデータ窓から撮像信号を抽出するという作用をもたらす。この場合において、上記復元手段は、上記Ｗ個の撮像信号を上記信号処理のために必要な形式に並び替える並替手段をさらに備えてもよい。また、上記復元手段は、上記Ｗ個の撮像信号の各々の所定のビット位置に乱数を付加して上記信号処理のために必要なビット長に揃えるビット長調整手段をさらに備えてもよい。また、上記画像処理手段は、上記同期コードのタイミングに応じて周期的にクロックを計数するカウンタと、上記カウンタによるカウント値に基づいて上記撮像信号の有無を示す有効フラグを生成する有効フラグ生成手段と、上記有効フラグに基づいて上記信号処理のためのクロックの発生を制御するクロック制御手段とをさらに備えてもよい。

また、本発明の第３の側面は、被写体からの光を光電変換してそれぞれｎビット（ｎは自然数）の撮像信号を生成する複数の撮像素子を含む撮像回路と、上記撮像信号に対して所定の信号処理を施す画像処理回路と、上記撮像回路から上記画像処理回路へ上記撮像信号を最大Ｌチャンネル（Ｌは自然数）によってシリアル転送する転送回路と、上記転送回路における上記Ｌチャンネルのうち転送に用いられるチャンネル数Ｗ（Ｗは自然数）を動作モードに応じて設定する制御回路とを具備する撮像装置における撮像回路であって、上記複数の撮像素子の各々から生成されたＷ個の撮像信号をそれぞれシリアル信号に変換するシリアル変換手段と、上記シリアル信号への変換の前または後に上記撮像信号に関するｎビットの同期コードを生成して上記シリアル信号に埋め込む同期コード生成手段とを備えることを特徴とする撮像回路である。これにより、撮像回路から画像処理回路への転送回路における動作チャンネルの数を可変にして、画像処理回路における撮像信号の抽出を容易にするという作用をもたらす。

また、本発明の第４の側面は、被写体からの光を光電変換してそれぞれｎビット（ｎは自然数）の撮像信号を生成する複数の撮像素子を含む撮像回路と、上記撮像信号に対して所定の信号処理を施す画像処理回路と、上記撮像回路から上記画像処理回路へ上記撮像信号を最大Ｌチャンネル（Ｌは自然数）によってシリアル転送する転送回路と、上記転送回路における上記Ｌチャンネルのうち転送に用いられるチャンネル数Ｗ（Ｗは自然数）を動作モードに応じて設定する制御回路とを具備する撮像装置における画像処理回路であって、上記転送されたＷチャンネルのシリアル信号のそれぞれをパラレル変換してＷ個のＭビット（Ｍは自然数）のパラレル信号を出力するパラレル変換手段と、上記パラレル信号において埋め込まれた同期コードを検出してその同期コードのタイミングに応じて上記ｎビットの撮像信号を復元する復元手段とを備えることを特徴とする画像処理回路である。これにより、撮像回路から画像処理回路への転送回路における動作チャンネルの数に合わせて有効な撮像信号の抽出を行うという作用をもたらす。

本発明によれば、撮像装置における動作モードに応じてチャンネル数を変化させることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置の全体構成例を示す図である。この撮像撮像装置は、レンズユニット１００と、撮像部２００と、画像処理部３００と、メモリ４００と、表示部６１０と、記録部６２０と、システム制御部７００とを備えている。

レンズユニット１００は、被写体からの光を撮像部２００の受光面に導くための光学系ユニットであり、フォーカスレンズやズームレンズ等のレンズ群、絞り（アイリス）、および、これらレンズ等を駆動する駆動部を備えている。駆動部は、信号線７０１によるシステム制御部７００からの指示に応じてレンズ群や絞りを駆動させながら、光路２０９により被写体像を撮像部２００の受光面に結像させる。

撮像部２００は、レンズユニット１００から供給された光を光電変換して、撮像信号として画像処理部３００に信号線２２９を介して転送するユニットである。撮像部２００は、信号線７０２によるシステム制御部７００からの指示に従って、シャッタスピードなどの露光パラメータ、および、信号線２２９のチャンネル数やデータビット長などの動作モードを変化させる。この撮像部２００には信号線２０７により基準クロック（ＣＬＫ０）が供給されており、内部のＰＬＬ（Phase Locked Loop）回路により周波数逓倍され、高速クロック（ＣＬＫ１）に変換される。この高速クロックは信号線２２７により画像処理部３００に供給される。

画像処理部３００は、撮像部２００から転送された撮像信号を受け取り、所定の信号処理を施すユニットである。この画像処理部３００は、撮像信号を受け取るためのインターフェース部３１０や、信号処理を施すための信号処理部３２０などを備えている。画像処理部３００は、信号線７０３によるシステム制御部７００からの指示に従って、信号線２２９のチャンネル数やデータビット長などの動作モードを変化させる。

メモリ４００は、画像処理部３００の動作に用いられる作業領域であり、主に信号処理部３２０におけるデジタルクランプ、欠陥補正、ホワイトバランス、ガンマ補正、ＹＣ処理などに利用される。

表示部６１０は、画像処理部３００から出力された画像を表示するものであり、例えばＬＣＤ（Liquid Crystal Display）などにより実現される。記録部６２０は、画像処理部３００から出力された画像を記録する記録媒体であり、例えばハードディスクやフラッシュメモリなどにより実現される。

システム制御部７００は、撮像装置全体の制御を司るものである。すなわち、上述のように、信号線７０１によりレンズユニット１００のレンズ群や絞りを駆動させ、信号線７０２により撮像部２００のシャッタスピードなどの露光パラメータを変化させ、信号線７０２および７０３により信号線２２９のチャンネル数やデータビット長などの動作モードを変化させる。

図２は、本発明の実施の形態における撮像装置の要部の構成例を示す図である。上述の撮像部２００は、センサ部２１０と、データ送信部２２０と、ＰＬＬ回路２３０と、撮像制御部２４０とを備えている。また、上述の画像処理部３００は、インターフェース部３１０と、信号処理部３２０と、クロックゲーティング回路３３０と、タイミング生成回路３４０とを備えている。さらに、インターフェース部３１０は、データ受信部３１１とデータ復元部５００とを備えている。

センサ部２１０は、光路２０９によって受光面に結像された光を光電変換して電気信号を出力する半導体デバイスである。この撮像部２００は、その受光面にＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子（イメージセンサ）を二次元状に配置している。センサ部２１０によって電気信号に変換された撮像信号は、信号線２１９によりデータ送信部２２０へ供給される。信号線２１９は、１チャンネル当たりＮビット（Ｎは自然数）からなる、計Ｌチャンネル（Ｌは自然数）の信号線である。

データ送信部２２０は、センサ部２１０から信号線２１９を介して供給された撮像信号をシリアル変換して、信号線２２９により画像処理部３００へ送信するものである。信号線２２９は、Ｌチャンネルのシリアル信号線である。各チャンネルは、例えばＬＶＤＳ伝送方式による差動信号を高速に伝送できるように、複数本の物理的信号線を有している。

ＰＬＬ回路２３０は、クロック信号の位相を同期させるための回路である。このＰＬＬ回路２３０は、信号線２０７から供給された基準クロック（ＣＬＫ０）に基づいて、信号線２３５にＣＬＫ０と同相のクロックを供給するとともに、信号線２３６に高速クロック（ＣＬＫ１）を供給する。この高速クロックは、データ送信部２２０において差動信号に変換されて、信号線２２７により画像処理部３００に供給される。

撮像制御部２４０は、撮像部２００における撮像処理を制御するものである。この撮像制御部２４０は、システム制御部７００から信号線７０２により指示された動作モードに対して、その動作モードに合致したチャンネル数を決定する。そして、撮像制御部２４０は、この決定されたチャンネル数に従って何れのチャンネルを動作させるかを、信号線２４９を介してデータ送信部２２０に指示する。また、撮像制御部２４０は、この決定されたチャンネル数に従って何れの画素を何れのチャンネルによって送信するかを、信号線２４８を介してセンサ部２１０に指示する。このチャンネル数を決定するにあたって、撮像制御部２４０は、内部または外部にチャンネル数テーブル２４１を備えており、このチャンネル数テーブル２４１を参照することにより最適なチャンネル数を決定することができる。

データ受信部３１１は、シリアル伝送された撮像信号を受信し、パラレル信号にパラレル変換して信号線３１８によりデータ復元部５００に供給するものである。信号線３１８は、１チャンネル当たりＭビット（Ｍは自然数）からなる、計Ｌチャンネルの信号線である。また、データ受信部３１１は、ＰＬＬ回路３１２を有しており、撮像部２００から供給された差動信号による高速クロックを単一の（差動信号ではない）高速クロック信号（ＣＬＫ１）およびＣＬＫ０と同相のクロック（ＣＬＫ２）に変換する。ＣＬＫ２は信号線３１７によりデータ復元部５００およびクロックゲーティング回路３３０に供給される。

データ復元部５００は、データ受信部３１１から供給されたパラレル信号から撮像信号を復元して、信号線３１９により信号処理部３２０に供給するものである。信号線３１９は、１チャンネル当たりＮ'（Ｎ'はＮ以上の自然数）ビットからなる、計Ｋチャンネル（ＫはＬ以下の自然数）の信号線である。また、データ復元部５００は、撮像信号の有無を示す有効フラグを信号線３１６に、撮像信号に対する垂直方向または水平方向の同期信号を信号線３１５にそれぞれ供給する。

信号処理部３２０は、データ復元部５００から供給された撮像信号に対して信号処理を施すものである。この信号処理の内容は通常の撮像装置におけるものと同様である。

クロックゲーティング回路３３０は、データ復元部５００から供給された有効フラグに基づいて、ＰＬＬ回路３１２から供給されたＣＬＫ２をマスクする回路である。このマスクされたクロックＣＬＫ３は、信号線３３７により信号処理部３２０に供給される。

タイミング生成回路３４０は、データ復元部５００から供給された同期信号を基準として信号処理部３２０にタイミング信号を供給する回路である。このタイミング信号は、信号線３４８により信号処理部３２０に供給される。

図３は、本発明の実施の形態におけるチャンネル数テーブル２４１の構成例を示す図である。このチャンネル数テーブル２４１は、動作モード２４２と動作モード２４２に対応するチャンネル数２４３とを関連付けて保持するテーブルである。このチャンネル数テーブル２４１は、例えばＲＯＭ（Read Only Memory）により実現される。

動作モード２４２は、撮像処理の動作モードを保持するフィールドである。この動作モード２４２としては、例えば、静止画を記録するための静止画記録モード、動画を記録するための動画記録モード、撮像信号を記録していないスタンバイ状態のためのモニタリングモード、画素数を間引いて高速に撮像を行うための高速撮像モード、ストロボのプリ発光のためのストロボモード、動画の記録周波数を高速化させるための高速撮像モードなどが考えられる。

チャンネル数２４３は、各動作モードに最適な信号線２２９の動作チャンネル数を保持するフィールドである。この例では、読出しビットレートの高速なものから順番に並べられており、チャンネル数テーブル２４１の上位に保持されているもの程、動作チャンネル数が多くなっている。すなわち、モード１の場合には信号線２２９の最大チャンネル数である「Ｌ」が保持されているが、モード２、モード３となるにつれて、チャンネル数は「Ｌ−１」、「Ｌ−２」と減少している。具体的なチャンネル数は、撮像装置の実際のデータレートにより異なるが、一例として概ね以下のような対応付けが想定される。すなわち、モード１には、プログレッシブ・ハイビジョン（１０８０ｐ等）対応の動画および静止画記録モードが対応する。プログレッシブ方式が採用され、しかも１秒当り３０または６０フレームを転送する必要があるため、高いデータレートが要求されるからである。また、モード２には、標準画質対応の動画および静止画記録モードが対応する。この場合、画角が狭くなるため、モード１の場合よりはデータレートは下がるからである。また、モード３には、モニタリングモードや高速撮像モードが対応する。モニタリングモードではフレームが間引かれ、または、フレームレートが遅いため、データレートが下がるからであり、高速撮像モードではフレームレートは早いが、画素数が間引かれるため、データレートが下がるからである。また、モード４には、プリ発光用ストロボモードが対応する。この場合、撮像信号の細部は必要ではないため、データを多く間引いても問題ないからである。

撮像制御部２４０は、システム制御部７００から指示された動作モードに基づいて、チャンネル数テーブル２４１の動作モード２４２を索引し、対応するチャンネル数２４３を信号線２２９の動作チャンネルの数として決定する。

このようにして決定されたチャンネル数は、信号線２４８および２４９を介して、センサ部２１０およびデータ送信部２２０にそれぞれ供給される。また、撮像制御部２４０は、決定されたチャンネル数を、信号線７０２を介してシステム制御部７００に供給するようにしてもよい。

図４は、本発明の実施の形態におけるセンサ部２１０の一構成例を示す図である。このでは、センサ部２１０は、ｉ行×ｊ列（ｉおよびｊは自然数）の二次元平面上に配置された撮像素子２１１と、ｉ本の垂直アドレス選択線２１２と、ｊ本の読出し信号線２１３と、垂直アドレス指定部２１４と、水平アドレス指定部２１５と、出力選択スイッチ２１６と、Ｌ個のバッファ２１７と、Ｌ個のＡ／Ｄ（アナログ／デジタル）変換器２１８とを備えている。

撮像制御部２４０からの指示に基づいて、垂直アドレス指定部２１４によって特定の垂直アドレス選択線２１２のみが選択される。選択された垂直アドレス選択線２１２に接続する撮像素子２１１の各々からは、各画素に対応するアナログの撮像信号が読出し信号線２１３に出力される。

出力選択スイッチ２１６は、読出し信号線２１３がＬ本ずつ異なるバッファ２１７に接続されるように配線されている。すなわち、第１番目の読出し信号線２１３が第１番目のバッファ２１７に接続されるように配線され、第Ｌ番目の読出し信号線２１３が第Ｌ番目のバッファ２１７に接続されるように配線される。そして、第Ｌ＋１番目の読出し信号線２１３は第１番目のバッファ２１７に接続されるように配線される。以下、同様の要領で、順番に配線される。出力選択スイッチ２１６は、（ｊ／Ｌ）個（但し、小数点以下は切り上げ）のグループに分かれており、各グループに１本ずつのグループアドレス選択線が水平アドレス指定部２１５から分配される。これにより、何れかのグループに属するＬ個の撮像信号がＬ個のバッファ２１７に供給される。

Ｌ個のバッファ２１７の出力はそれぞれＬ個のＡ／Ｄ変換器２１８によってデジタル信号に変換される。デジタル変換された撮像信号は、Ｌチャンネルの信号線２１９に出力される。信号線２１９の各チャンネルのビット幅はＮビットであるが、撮像信号のビット長ｎがＮよりも短い場合もある。

図５は、本発明の実施の形態におけるセンサ部２１０の他の構成例を示す図である。この構成例では、図４のＬ個のＡ／Ｄ変換器２１８に代えて、ｊ個のＡ／Ｄ変換器２１８'が読出し信号線２１３の各々に設けられている。すなわち、Ａ／Ｄ変換器の接続位置が異なるだけで、信号線２１９に得られる撮像信号は等価である。

なお、図４および図５の何れの構成例においても、センサ部２１０は、信号線２３５から供給された基準クロック（ＣＬＫ０）と同相のクロックに従って、撮像信号の出力を行う。また、センサ部２１０は、動作モードによって変わる読出しビットレートに応じて出力すべきチャンネル数を変えることができる。例えば、画素を間引いて読み出すような場合は読み出すデータ量が大幅に減るため、必ずしもＬチャンネル全てを使って出力する必要はない。このようなモードでは、垂直アドレス指定部２１４および水平アドレス指定部２１５を制御して、必要な画素のみにアクセスし、読み出した撮像信号を必要最低限のチャンネルを使って出力することができる。また、画素情報を加算して平滑化することによって実質的に読出しデータ数を減らすような動作モードにおいては、平滑化後の撮像信号のみを適宜選択して最低限必要なチャンネルに振り分けて出力することができる。

図６は、本発明の実施の形態におけるデータ送信部２２０の構成例を示す図である。このデータ送信部２２０は、出力チャンネル選択部２２１と、同期コード埋込部２２２と、ＰＳ（パラレル／シリアル）変換部２２３と、インターフェース部２２５と、差動変換器２２６とを備えている。

出力チャンネル選択部２２１は、撮像制御部２４０からの信号線２４９による指示に従って出力すべきチャンネルを選択するものである。なお、この出力チャンネル選択部２２１は、センサ部２１０に設けてもよく、また、同期コード埋込部２２２やＰＳ変換部２２３より後段に設けてもよい。

同期コード埋込部２２２は、撮像信号の区切りとして同期コードを埋め込むものである。この同期コードは、撮像信号として有効なデータの開始および終了を示すものである。なお、この同期コード埋込部２２２は、ＰＳ変換部２２３の後段に配置するようにしてもよい。

ＰＳ変換部２２３は、Ｌチャンネルの各チャンネルのＮビットの信号線におけるｎビットのパラレル信号を１ビットになるようシリアル変換するものである。このシリアル変換結果は信号線２２４に出力される。信号線２２４は、チャンネル当たり１ビットの計Ｌチャンネルにより構成される。

インターフェース部２２５は、信号線２２４におけるチャンネル当たり１ビットの信号を差動信号に変換して信号線２２９に出力するものである。信号線２２９は、上述のように、例えばＬＶＤＳ伝送方式による差動信号を伝送する高速インターフェースである。また、インターフェース部２２５には、撮像制御部２４０からの信号線２４９が供給されており、インターフェース部２２５内の回路のうち必要なチャンネル以外に関する回路には電力を供給しないように制御される。これにより、チャンネル数を減らして動作する際には消費電力を低減することができる。

差動変換器２２６は、高速クロックＣＬＫ１を差動信号に変換して信号線２２７に出力するものである。

このデータ送信部２２０において、出力チャンネル選択部２２１および同期コード埋込部２２２は基準クロックＣＬＫ０により動作し、ＰＳ変換部２２３は基準クロックＣＬＫ０および高速クロックＣＬＫ１の両者により動作し、インターフェース部２２５は高速クロックＣＬＫ１により動作する。

図７は、本発明の実施の形態における撮像信号のフォーマット例を示す図である。図７（ａ）に示すように、水平方向の１ライン分の撮像信号は、水平ブランキング、同期コード（開始）、データ、同期コード（終了）、水平ブランキングの順に並んでいるものとする。水平ブランキングは、有効なデータの含まれない期間を示すコードである。同期コードは、１ライン分のデータの開始および終了を示すコードである。

図７（ｂ）および（ｃ）に示すように、水平ブランキング、同期コードおよびデータは、それぞれｎビットを単位として配置される。特に、同期コードは、データ開始の際に４つのｎビットのコード（ＳＡＶ（Start of Active Video）１乃至ＳＡＶ４）を示し、データ終了の際に４つのｎビットのコード（ＥＡＶ（End of Active Video）１乃至ＥＡＶ４）を示す。

また、図７（ｄ）に示すように、各データは、ＭＳＢ（Most Significant Bit）側から送信されるものとしている。但し、予め送受信間で取り決めておけば、ＬＳＢ（Least Significant Bit）側から送信するようにしてもよい。

図８は、本発明の実施の形態における同期コードのフォーマット例を示す図である。ここでは、同期コードとしてＩＴＵ（International Telecommunication Union）による規格（BT.656、BT.601）に準じたコードを利用するものとし、ビット長ｎが１２ビットの場合について説明する。

この同期コードは、４つの１２ビットコードからなる。第１番目のコードは１２ビットの全てが「１」を示す。第２番目および第３番目のコードは１２ビットの全てが「０」を示す。そして、第４番目のコードは、図８（ａ）に示すように、ＭＳＢ側から、「１」、Ｆ、Ｖ、Ｈ、Ｐ３、Ｐ２、Ｐ１、Ｐ０、「０」、「０」、「０」、「０」の各ビットを示す。

ビットＦは、フィールドを種別するためのビットであり、「０」であれば奇数フィールド（フィールド１）を示し、「１」であれば偶数フィールド（フィールド２）を示す。

ビットＶは、垂直方向のタイミングを示すビットであり、「０」であれば垂直ブランキング以外の有効映像領域と示し、「１」であれば垂直ブランキング期間を示す。

ビットＨは、水平方向のタイミングを示すビットであり、「０」であればデータ開始の同期コードであることを示し、「１」であればデータ終了の同期コードであることを示す。

ビットＰ０乃至Ｐ３はプロテクションビットであり、図８（ｂ）に示すように、ビットＦ、Ｖ、Ｈの各値に対応するＣＲＣ（Cyclic Redundancy Check）コードを保持する。

図９は、本発明の実施の形態における動作チャンネルと画素との対応関係の一例を示す図である。ここでは、信号線２２９の動作チャンネル数Ｗ（Ｗは自然数）を「４」乃至「１」に変化させて、ベイヤー配列の各画素を転送する例について説明する。

動作チャンネル数Ｗが「４」の場合、図９（ａ）に示すように、第１ラインでは、画素Ｒ１の撮像信号が第１チャンネルに、画素Ｇｒ１の撮像信号が第２チャンネルに、画素Ｒ２の撮像信号が第３チャンネルに、画素Ｇｒ２の撮像信号が第４チャンネルに、それぞれ出力される。続いて、画素Ｒ３の撮像信号が第１チャンネルに、画素Ｇｒ３の撮像信号が第２チャンネルに、画素Ｒ４の撮像信号が第３チャンネルに、画素Ｇｒ４の撮像信号が第４チャンネルに、それぞれ出力されていく。その後、第２ラインでは、画素Ｇｂ１の撮像信号が第１チャンネルに、画素Ｂ１の撮像信号が第２チャンネルに、画素Ｇｂ２の撮像信号が第３チャンネルに、画素Ｂ２の撮像信号が第４チャンネルに、それぞれ出力される。続いて、画素Ｇｂ３の撮像信号が第１チャンネルに、画素Ｂ３の撮像信号が第２チャンネルに、画素Ｇｂ４の撮像信号が第３チャンネルに、画素Ｂ４の撮像信号が第４チャンネルに、それぞれ出力されていく。

動作チャンネル数Ｗが「３」の場合、図９（ｂ）に示すように、第１ラインでは、画素Ｒ１の撮像信号が第１チャンネルに、画素Ｇｒ１の撮像信号が第２チャンネルに、画素Ｒ２の撮像信号が第３チャンネルに、それぞれ出力される。続いて、画素Ｇｒ２の撮像信号が第１チャンネルに、画素Ｒ３の撮像信号が第２チャンネルに、画素Ｇｒ３の撮像信号が第３チャンネルに、それぞれ出力されていく。その後、第２ラインでは、画素Ｇｂ１の撮像信号が第１チャンネルに、画素Ｂ１の撮像信号が第２チャンネルに、画素Ｇｂ２の撮像信号が第３チャンネルに、それぞれ出力される。続いて、画素Ｂ２撮像信号が第１チャンネルに、画素Ｇｂ３の撮像信号が第２チャンネルに、画素Ｂ３の撮像信号が第３チャンネルに、それぞれ出力されていく。

動作チャンネル数Ｗが「２」の場合、図９（ｃ）に示すように、第１ラインでは、画素Ｒ１の撮像信号が第１チャンネルに、画素Ｇｒ１の撮像信号が第２チャンネルに、それぞれ出力される。続いて、画素Ｒ２の撮像信号が第１チャンネルに、画素Ｇｒ２の撮像信号が第２チャンネルに、それぞれ出力されていく。その後、第２ラインでは、画素Ｇｂ１の撮像信号が第１チャンネルに、画素Ｂ１の撮像信号が第２チャンネルに、それぞれ出力される。続いて、画素Ｇｂ２の撮像信号が第１チャンネルに、画素Ｂ２の撮像信号が第２チャンネルに、それぞれ出力されていく。

動作チャンネル数Ｗが「１」の場合、図９（ｄ）に示すように、第１ラインでは、画素Ｒ１、Ｇｒ１、Ｒ２、Ｇｒ２の順に第１チャンネルに出力されていく。その後、第２ラインでは、画素Ｇｂ１、Ｂ１、Ｇｂ２、Ｂ２の順に第１チャンネルに出力されていく。

このように、動作チャンネル数が変化すると、各画素の出力されるチャンネルも適宜変化することになる。

図１０は、本発明の実施の形態における動作チャンネルと撮像信号のビット配列との対応関係の一例を示す図である。この図では、データのビット長ｎが１０ビットの場合にインターフェース部２２５から出力される撮像信号のビット配列の例を示している。

動作チャンネル数Ｗが「４」の場合、図１０（ａ）に示すように、第１ラインでは、第１チャンネルには画素Ｒ１、第２チャンネルには画素Ｇｒ１、第３チャンネルには画素Ｒ２、第４チャンネルには画素Ｇｒ２、の各撮像信号がそれぞれＭＳＢ側から順に出力される。続いて、第１チャンネルには画素Ｒ３、第２チャンネルには画素Ｇｒ３、第３チャンネルには画素Ｒ４、第４チャンネルには画素Ｇｒ４、の各撮像信号がそれぞれＭＳＢ側から順に出力されていく。その後、第２ラインでは、第１チャンネルには画素Ｇｂ１、第２チャンネルには画素Ｂ１、第３チャンネルには画素Ｇｂ２、第４チャンネルには画素Ｂ２、の各撮像信号がそれぞれＭＳＢ側から順に出力される。続いて、第１チャンネルには画素Ｒ１、第２チャンネルには画素Ｇｒ１、第３チャンネルには画素Ｒ２、第４チャンネルには画素Ｇｒ２、の各撮像信号がそれぞれＭＳＢ側から順に出力される。続いて、第１チャンネルには画素Ｇｂ３、第２チャンネルには画素Ｂ３、第３チャンネルには画素Ｇｂ４、第４チャンネルには画素Ｂ４、の各撮像信号がそれぞれＭＳＢ側から順に出力されていく。

動作チャンネル数Ｗが「３」の場合、図１０（ｂ）に示すように、第１ラインでは、第１チャンネルには画素Ｒ１、第２チャンネルには画素Ｇｒ１、第３チャンネルには画素Ｒ２、の各撮像信号がそれぞれＭＳＢ側から順に出力される。続いて、第１チャンネルには画素Ｇｒ２、第２チャンネルには画素Ｒ３、第３チャンネルには画素Ｇｒ３、の各撮像信号がそれぞれＭＳＢ側から順に出力されていく。その後、第２ラインでは、第１チャンネルには画素Ｇｂ１、第２チャンネルには画素Ｂ１、第３チャンネルには画素Ｇｂ２、の各撮像信号がそれぞれＭＳＢ側から順に出力される。続いて、第１チャンネルには画素Ｂ１、第２チャンネルには画素Ｇｂ３、第３チャンネルには画素Ｂ３、の各撮像信号がそれぞれＭＳＢ側から順に出力されていく。

動作チャンネル数Ｗが「２」の場合、図１０（ｃ）に示すように、第１ラインでは、第１チャンネルには画素Ｒ１、第２チャンネルには画素Ｇｒ１、の各撮像信号がそれぞれＭＳＢ側から順に出力される。続いて、第１チャンネルには画素Ｒ２、第２チャンネルには画素Ｇｒ２、の各撮像信号がそれぞれＭＳＢ側から順に出力されていく。その後、第２ラインでは、第１チャンネルには画素Ｇｂ１、第２チャンネルには画素Ｂ１、の各撮像信号がそれぞれＭＳＢ側から順に出力される。続いて、第１チャンネルには画素Ｇｂ２、第２チャンネルには画素Ｂ２、の各撮像信号がそれぞれＭＳＢ側から順に出力されていく。

動作チャンネル数Ｗが「１」の場合、図１０（ｄ）に示すように、第１ラインでは、画素Ｒ１、Ｇｒ１の順に、各撮像信号がそれぞれＭＳＢ側から出力されていく。その後、第２ラインでは、画素Ｇｂ１、Ｂ１の順に、各撮像信号がそれぞれＭＳＢ側から出力されていく。

図１１は、本発明の実施の形態における動作チャンネルと撮像信号のビット配列との対応関係の他の例を示す図である。この図では、データのビット長ｎが１２ビットの場合にインターフェース部２２５から出力される撮像信号のビット配列の例を示しているが、図１０とビット長ｎが異なるだけで基本的な配列は同様であるため、説明は省略する。

図１２は、本発明の実施の形態におけるデータ受信部３１１の構成例を示す図である。このデータ受信部３１１は、ＰＬＬ回路３１２と、インターフェース部３１１１と、ＳＰ（シリアル／パラレル）変換部３１１３とを備えている。

ＰＬＬ回路３１２は、信号線２２７によって供給された差動信号の高速クロックを差動信号ではない高速クロックＣＬＫ１および通常のクロックＣＬＫ２に変換するものである。クロックＣＬＫ２は、通常の論理回路で処理できる周波数帯域であって、後段の画像処理速度としては十分な速度を有するクロックである。高速クロックＣＬＫ１は信号線３１４によりインターフェース部３１１１およびＳＰ変換部３１１３に供給され、クロックＣＬＫ２は信号線３１７によりＳＰ変換部３１１３、データ復元部５００およびクロックゲーティング回路３３０に供給される。

インターフェース部３１１１は、信号線２２９を介して送信された差動信号による撮像信号を、差動信号ではないシリアル信号に変換するものである。このインターフェース部３１１１による変換結果は信号線３１１２に出力される。このインターフェース部３１１１は、高速クロックＣＬＫ１で駆動される。

また、インターフェース部３１１１には、システム制御部７００からの信号線７０３が供給されており、インターフェース部３１１１内の回路のうち必要なチャンネル以外に関する回路には電力を供給しないように制御される。これにより、チャンネル数を減らして動作する際には消費電力を低減することができる。

ＳＰ変換部３１１３は、信号線３１１２に出力されたシリアル信号をパラレル変換するものである。このＳＰ変換部３１１３は、高速クロックＣＬＫ１によりパラレル変換を行うため、通常の論理回路ではなく、アナログマクロ構成で実装されることが想定される。そのため、このＳＰ変換部３１１３は、同期コードを認識することなく、一旦Ｍビットずつのデータにパラレル変換する。パラレル変換後のビット幅Ｍは、撮像信号のビット長ｎに一致していなくてもよい。このパラレル変換後のデータは、クロックＣＬＫ２により信号線３１８を介してデータ復元部５００に供給される。すなわち、このＳＰ変換部３１１３によって、パラレル変換されたデータは、通常の論理回路で扱うことのできる周波数帯域に落とされる。

図１３は、本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第１の例を示す図である。この例は、撮像信号のビット長ｎを１０ビット、動作チャンネル数Ｗを４とした場合の例である。パラレル変換後のビット幅Ｍは４ビットとしている。

この例では、先頭から第４番目のクロックで、第１チャンネルに画素Ｒ１、第２チャンネルに画素Ｇｒ１、第３チャンネルに画素Ｒ２、第４チャンネルに画素Ｇｒ２、のそれぞれの撮像信号が出力される。また、第６番目のクロックで、第１チャンネルに画素Ｒ３、第２チャンネルに画素Ｇｒ３、第３チャンネルに画素Ｒ４、第４チャンネルに画素Ｇｒ４、のそれぞれの撮像信号が出力される。また、第９番目のクロックで、第１チャンネルに画素Ｒ５、第２チャンネルに画素Ｇｒ５、第３チャンネルに画素Ｒ６、第４チャンネルに画素Ｇｒ６、のそれぞれの撮像信号が出力される。また、第１１番目のクロックで、第１チャンネルに画素Ｒ７、第２チャンネルに画素Ｇｒ７、第３チャンネルに画素Ｒ８、第４チャンネルに画素Ｇｒ８、のそれぞれの撮像信号が出力される。

図１４は、本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第２の例を示す図である。この例は、撮像信号のビット長ｎを１０ビット、動作チャンネル数Ｗを３とした場合の例である。パラレル変換後のビット幅Ｍは４ビットとしている。

この例では、先頭から第４番目のクロックで、第１チャンネルに画素Ｒ１、第２チャンネルに画素Ｇｒ１、第３チャンネルに画素Ｒ２、のそれぞれの撮像信号が出力される。また、第６番目のクロックで、第１チャンネルに画素Ｇｒ２、第２チャンネルに画素Ｒ３、第３チャンネルに画素Ｇｒ３、のそれぞれの撮像信号が出力される。また、第９番目のクロックで、第１チャンネルに画素Ｒ４、第２チャンネルに画素Ｇｒ４、第３チャンネルに画素Ｒ５、のそれぞれの撮像信号が出力される。また、第１１番目のクロックで、第１チャンネルに画素Ｇｒ５、第２チャンネルに画素Ｒ６、第３チャンネルに画素Ｇｒ６、のそれぞれの撮像信号が出力される。

図１５は、本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第３の例を示す図である。この例は、撮像信号のビット長ｎを１０ビット、動作チャンネル数Ｗを２とした場合の例である。パラレル変換後のビット幅Ｍは４ビットとしている。

この例では、先頭から第４番目のクロックで、第１チャンネルに画素Ｒ１、第２チャンネルに画素Ｇｒ１、のそれぞれの撮像信号が出力される。また、第６番目のクロックで、第１チャンネルに画素Ｒ２、第２チャンネルに画素Ｇｒ２、のそれぞれの撮像信号が出力される。また、第９番目のクロックで、第１チャンネルに画素Ｒ３、第２チャンネルに画素Ｇｒ３、のそれぞれの撮像信号が出力される。また、第１１番目のクロックで、第１チャンネルに画素Ｒ４、第２チャンネルに画素Ｇｒ４、のそれぞれの撮像信号が出力される。

図１６は、本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第４の例を示す図である。この例は、撮像信号のビット長ｎを１０ビット、動作チャンネル数Ｗを１とした場合の例である。パラレル変換後のビット幅Ｍは４ビットとしている。

この例では、先頭から第４番目のクロックで、第１チャンネルに画素Ｒ１の撮像信号が出力される。また、第６番目のクロックで、第１チャンネルに画素Ｇｒ１の撮像信号が出力される。また、第９番目のクロックで、第１チャンネルに画素Ｒ２の撮像信号が出力される。また、第１１番目のクロックで、第１チャンネルに画素Ｇｒ２の撮像信号が出力される。

図１７は、本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第５の例を示す図である。この例は、撮像信号のビット長ｎを１２ビット、動作チャンネル数Ｗを４とした場合の例である。パラレル変換後のビット幅Ｍは４ビットとしている。

この例では、先頭から第４番目のクロックで、第１チャンネルに画素Ｒ１、第２チャンネルに画素Ｇｒ１、第３チャンネルに画素Ｒ２、第４チャンネルに画素Ｇｒ２、のそれぞれの撮像信号が出力される。また、第７番目のクロックで、第１チャンネルに画素Ｒ３、第２チャンネルに画素Ｇｒ３、第３チャンネルに画素Ｒ４、第４チャンネルに画素Ｇｒ４、のそれぞれの撮像信号が出力される。また、第１０番目のクロックで、第１チャンネルに画素Ｒ５、第２チャンネルに画素Ｇｒ５、第３チャンネルに画素Ｒ６、第４チャンネルに画素Ｇｒ６、のそれぞれの撮像信号が出力される。また、第１３番目のクロックで、第１チャンネルに画素Ｒ７、第２チャンネルに画素Ｇｒ７、第３チャンネルに画素Ｒ８、第４チャンネルに画素Ｇｒ８、のそれぞれの撮像信号が出力される。

図１８は、本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第６の例を示す図である。この例は、撮像信号のビット長ｎを１２ビット、動作チャンネル数Ｗを３とした場合の例である。パラレル変換後のビット幅Ｍは４ビットとしている。

この例では、先頭から第４番目のクロックで、第１チャンネルに画素Ｒ１、第２チャンネルに画素Ｇｒ１、第３チャンネルに画素Ｒ２、のそれぞれの撮像信号が出力される。また、第７番目のクロックで、第１チャンネルに画素Ｇｒ２、第２チャンネルに画素Ｒ３、第３チャンネルに画素Ｇｒ３、のそれぞれの撮像信号が出力される。また、第１０番目のクロックで、第１チャンネルに画素Ｒ４、第２チャンネルに画素Ｇｒ４、第３チャンネルに画素Ｒ５、のそれぞれの撮像信号が出力される。また、第１３番目のクロックで、第１チャンネルに画素Ｇｒ５、第２チャンネルに画素Ｒ６、第３チャンネルに画素Ｇｒ６、のそれぞれの撮像信号が出力される。

図１９は、本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第７の例を示す図である。この例は、撮像信号のビット長ｎを１２ビット、動作チャンネル数Ｗを２とした場合の例である。パラレル変換後のビット幅Ｍは４ビットとしている。

この例では、先頭から第４番目のクロックで、第１チャンネルに画素Ｒ１、第２チャンネルに画素Ｇｒ１、のそれぞれの撮像信号が出力される。また、第７番目のクロックで、第１チャンネルに画素Ｒ２、第２チャンネルに画素Ｇｒ２、のそれぞれの撮像信号が出力される。また、第１０番目のクロックで、第１チャンネルに画素Ｒ３、第２チャンネルに画素Ｇｒ３、のそれぞれの撮像信号が出力される。また、第１３番目のクロックで、第１チャンネルに画素Ｒ４、第２チャンネルに画素Ｇｒ４、のそれぞれの撮像信号が出力される。

図２０は、本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第８の例を示す図である。この例は、撮像信号のビット長ｎを１２ビット、動作チャンネル数Ｗを１とした場合の例である。パラレル変換後のビット幅Ｍは４ビットとしている。

この例では、先頭から第４番目のクロックで、第１チャンネルに画素Ｒ１の撮像信号が出力される。また、第７番目のクロックで、第１チャンネルに画素Ｇｒ１の撮像信号が出力される。また、第１０番目のクロックで、第１チャンネルに画素Ｒ２の撮像信号が出力される。また、第１３番目のクロックで、第１チャンネルに画素Ｇｒ２の撮像信号が出力される。

これらの図１３乃至図２０の例から分かるように、ビット長ｎの撮像信号をビット幅Ｍにパラレル変換する場合、ｎ／Ｍクロック毎に各画素の撮像信号が揃う。すなわち、上述の例では、ビット長ｎが１０ビットで、ビット幅Ｍが４ビットであれば、１０／４＝２．５クロック毎のタイミングで出力が得られており（図１３乃至図１６）、ビット長ｎが１２ビットで、ビット幅Ｍが４ビットであれば、１２／４＝３クロック毎のタイミングで出力が得られている（図１７乃至図２０）。したがって、ＳＰ変換部３１１３で一気にｎビットに復元しなくても、後段でこのタイミングに沿って規則的にデータをラッチしてつなげていくことにより、元のデータを復元できることになる。

図２１は、本発明の実施の形態におけるデータ復元部５００の構成例を示す図である。このデータ復元部５００は、ビット連接部５１０と、ビットデコード部５３０と、並替え部５５０と、ディザ処理部５７０とを備えている。

ビット連接部５１０は、データ受信部３１１から供給されたＷ個のビット幅Ｍのパラレル信号から同期コードを検出して、その同期コードのタイミングに応じてＷ個のＮビットのデータ窓を抽出するものである。データ窓とは、パラレル信号をつなげた（連接した）ビット列において、有効な撮像信号を含む可能性のある部分を意味する。このデータ窓は、信号線５２９を介してビットデコード部５３０に供給される。また、同期コードのタイミングは、信号線５２８を介してビットデコード部５３０に供給される。

ビットデコード部５３０は、ビット連接部５１０から供給されたデータ窓において、撮像信号のビット長ｎに応じてＷ個の撮像信号を抽出するものである。この抽出された撮像信号は、信号線５４９を介して並替え部５５０に供給される。また、ビットデコード部５３０は、ビット連接部５１０から供給された同期コードのタイミングに基づいて同期信号を生成する。この生成された同期信号は、信号線５４５を介して並替え部５５０に供給される。また、ビットデコード部５３０は、ビット連接部５１０から供給された同期コードのタイミングに基づいてリセットされるカウンタを有し、撮像信号のビット長ｎに応じてそのカウンタの値を出力する。このカウンタの値は、信号線５４４を介して並替え部５５０に供給される。

並替え部５５０は、ビットデコード部５３０から供給されたＷ個の撮像信号を信号処理部３２０における処理のために必要な形式に並び替えるものである。ここにいう形式としては、例えば、チャンネル数や、色の並び順（色シーケンス）等がある。並び替え後の新たなチャンネル数をＫとして表すと、この並び替えられたＫ個の撮像信号は信号線５６９を介してディザ処理部５７０に供給される。このように、並替え部５５０は、本発明により復元された撮像信号と、既存の信号処理のチャンネルおよび色シーケンス等とをインターフェースする役割を有する。

また、並替え部５５０は、有効な撮像信号が信号線５６９に供給されている間は、信号線５６６に有効フラグを出力する。なお、ビットデコード部５３０から並替え部５５０に供給された同期信号は、信号線５６５を介してディザ処理部５７０に供給される。

ディザ処理部５７０は、並替え部５５０から供給されたＫ個の撮像信号の各々について、信号処理部３２０における処理に必要なビット長にするために、ディザ処理を施すものである。具体的には、撮像信号の各々の所定のビット位置に乱数を付加することにより、ビット長を調整する。このディザ処理の施された撮像信号は、信号線３１９を介して信号処理部３２０に供給される。なお、並替え部５５０からディザ処理部５７０に供給された同期信号は、信号線３１５を介してタイミング生成回路３４０に供給される。また、並替え部５５０からディザ処理部５７０に供給された有効フラグは、信号線３１６を介してクロックゲーティング回路３３０に供給される。

なお、このデータ復元部５００についても、データ送信部２２０やデータ受信部３１１と同様に、必要なチャンネル以外に関する回路には電力を供給しないように制御することができる。

図２２は、本発明の実施の形態におけるビット連接部５１０の構成例を示す図である。このビット連接部５１０は、前処理部５１１と、シフトレジスタ５１２と、同期コード一致検出部５１３と、選択部５１４とを備えている。

前処理部５１１は、データ受信部３１１からの入力チャンネルを任意のチャンネルにつなぎ替える処理を行うものである。これにより、信号線２２９において自由なチャンネル配置で高速伝送を行うことができる。また、前処理部５１１は、動作モードによって動作しないチャンネルの信号を強制的にゼロ等の固定値に落とす機能を有する。これにより、動作しないチャンネルの扱いを撮像部２００やデータ受信部３１１において考慮しなくて済むようになる。この前処理部５１１によって前処理の施された撮像信号は、信号線５１７を介してシフトレジスタ５１２に供給される。

シフトレジスタ５１２は、前処理部５１１から供給された各チャンネルの撮像信号を順次シフトしながら保持するものである。このシフトレジスタ５１２は、各チャンネルに対してＳビット（Ｓは自然数）のデータを保持するものとする。このシフトレジスタ５１２の保持内容は、信号線５１９を介して同期コード一致検出部５１３および選択部５１４に供給される。

同期コード一致検出部５１３は、シフトレジスタ５１２の保持内容において同期コードとの一致を検出するものである。同期コード一致検出部５１３は、動作チャンネルのうち何れかのチャンネルで同期コードを検出すると、信号線５１８を介して選択部５１４に選択信号を供給するとともに、信号線５２８を介してビットデコード部５３０に同期コードのタイミングを供給する。

選択部５１４は、同期コード一致検出部５１３から供給された選択信号に基づいて、シフトレジスタ５１２の保持内容からデータ窓を抽出するものである。この抽出されたデータ窓は、信号線５２９を介してビットデコード部５３０に供給される。

図２３は、本発明の実施の形態におけるデータ受信タイミングの一例を示す図である。この例は、撮像信号のビット長ｎを１０ビットとした場合の例である。

ここでは、パラレル変換後のビット幅Ｍを４ビットと想定しているため、タイミングのパターンは図２３のケース１乃至４の４通りが考えられる。したがって、これら４つのケースに対応するように同期コードの一致を検出すればよいことが分かる。

図２４は、図２３のケース１に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。この場合、シフトレジスタ５１２のＬＳＢ側から「０」で始まる番地を付与したとすると、３８番地から８番地において同期コードの先頭３１ビット分を検出した次のクロックで、１２番地から３番地に同期コードの４番目のコードが得られる。

また、その３クロック後には、１４番地から５番地に最初の画素Ｒ１の撮像信号が得られる。そして、さらに２クロック後には、１２番地から３番地に次の画素Ｒ５の撮像信号が得られる。但し、動作チャンネル数Ｗは４であることを想定している。

図２５は、図２３のケース２に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。この場合、３７番地から７番地において同期コードの先頭３１ビット分を検出した次のクロックで、１１番地から２番地に同期コードの４番目のコードが得られる。

また、その３クロック後には、１３番地から４番地に最初の画素Ｒ１の撮像信号が得られる。そして、さらに２クロック後には、１１番地から２番地に次の画素Ｒ５の撮像信号が得られる。但し、この場合も動作チャンネル数Ｗは４であることを想定している。

図２６は、図２３のケース３に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。この場合、３６番地から６番地において同期コードの先頭３１ビット分を検出した次のクロックで、１０番地から１番地に同期コードの４番目のコードが得られる。

また、その３クロック後には、１２番地から３番地に最初の画素Ｒ１の撮像信号が得られる。そして、さらに２クロック後には、１０番地から１番地に次の画素Ｒ５の撮像信号が得られる。但し、この場合も動作チャンネル数Ｗは４であることを想定している。

図２７は、図２３のケース４に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。この場合、３９番地から９番地において同期コードの先頭３１ビット分を検出した次のクロックで、１３番地から４番地に同期コードの４番目のコードが得られる。

また、その３クロック後には、１５番地から６番地に最初の画素Ｒ１の撮像信号が得られる。そして、さらに２クロック後には、１３番地から４番地に次の画素Ｒ５の撮像信号が得られる。但し、この場合も動作チャンネル数Ｗは４であることを想定している。

これら図２４乃至図２７の例より、撮像信号のビット長ｎを１０ビットと想定すると、シフトレジスタ５１２の３８番地から８番地において同期コードの先頭３１ビット分が検出された場合にはデータ窓は１４番地から３番地であり、３７番地から７番地において同期コードの先頭３１ビット分が検出された場合にはデータ窓は１３番地から２番地であり、３６番地から６番地において同期コードの先頭３１ビット分が検出された場合にはデータ窓は１２番地から１番地であり、３９番地から９番地において同期コードの先頭３１ビット分が検出された場合にはデータ窓は１５番地から４番地であることが分かる。

図２８は、本発明の実施の形態におけるデータ受信タイミングの他の例を示す図である。この例は、撮像信号のビット長ｎを１２ビットとした場合の例である。

ここでは、パラレル変換後のビット幅Ｍを４ビットと想定しているため、タイミングのパターンは図２８のケース１乃至４の４通りが考えられる。したがって、これら４つのケースに対応するように同期コードの一致を検出すればよいことが分かる。

図２９は、図２８のケース１に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。この場合、シフトレジスタ５１２のＬＳＢ側から「０」で始まる番地を付与したとすると、４６番地から１０番地において同期コードの先頭３７ビット分を検出した次のクロックで、１４番地から３番地に同期コードの４番目のコードが得られる。

また、その３クロック後には、１４番地から３番地に最初の画素Ｒ１の撮像信号が得られる。そして、さらに３クロック後には、１４番地から３番地に次の画素Ｒ５の撮像信号が得られる。但し、動作チャンネル数Ｗは４であることを想定している。

図３０は、図２８のケース２に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。この場合、４５番地から９番地において同期コードの先頭３７ビット分を検出した次のクロックで、１３番地から２番地に同期コードの４番目のコードが得られる。

また、その３クロック後には、１３番地から２番地に最初の画素Ｒ１の撮像信号が得られる。そして、さらに３クロック後には、１３番地から２番地に次の画素Ｒ５の撮像信号が得られる。但し、この場合も動作チャンネル数Ｗは４であることを想定している。

図３１は、図２８のケース３に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。この場合、４４番地から８番地において同期コードの先頭３７ビット分を検出した次のクロックで、１２番地から１番地に同期コードの４番目のコードが得られる。

また、その３クロック後には、１２番地から１番地に最初の画素Ｒ１の撮像信号が得られる。そして、さらに３クロック後には、１２番地から１番地に次の画素Ｒ５の撮像信号が得られる。但し、この場合も動作チャンネル数Ｗは４であることを想定している。

図３２は、図２８のケース４に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。この場合、４７番地から１１番地において同期コードの先頭３７ビット分を検出した次のクロックで、１５番地から４番地に同期コードの４番目のコードが得られる。

また、その３クロック後には、１５番地から４番地に最初の画素Ｒ１の撮像信号が得られる。そして、さらに３クロック後には、１５番地から４番地に次の画素Ｒ５の撮像信号が得られる。但し、この場合も動作チャンネル数Ｗは４であることを想定している。

これら図２９乃至図３２の例より、撮像信号のビット長ｎを１２ビットと想定すると、シフトレジスタ５１２の４６番地から１０番地において同期コードの先頭３７ビット分が検出された場合にはデータ窓は１４番地から３番地であり、４５番地から９番地において同期コードの先頭３７ビット分が検出された場合にはデータ窓は１３番地から２番地であり、４４番地から８番地において同期コードの先頭３７ビット分が検出された場合にはデータ窓は１２番地から１番地であり、４７番地から１１番地において同期コードの先頭３７ビット分が検出された場合にはデータ窓は１５番地から４番地であることが分かる。

図３３は、本発明の実施の形態における信号線５２９のデータ窓の例を示す図である。図３３（ａ）は、ビット長ｎが１０ビットの場合のデータ窓の例である。この場合、５クロックを１サイクルとして有効なデータが得られる。すなわち、４番目の同期コードによりリセットされるカウンタを想定すると、先頭のデータが「３」、次のデータが「０」という具合に、規則的に有効なデータが得られる。また、カウンタの値が「３」の場合にはＭＳＢ側の１０ビット、カウンタの値が「０」の場合にはＬＳＢ側の１０ビットが有効なデータであることが分かる。

図３３（ｂ）は、ビット長ｎが１２ビットの場合のデータ窓の例である。この場合、６クロックを１サイクルとして有効なデータが得られる。すなわち、４番目の同期コードによりリセットされるカウンタを想定すると、先頭のデータが「３」、次のデータが「０」という具合に、規則的に有効なデータが得られる。また、カウンタの値が「０」および「３」の何れの場合にもデータ窓の１２ビット全部が有効なデータであることが分かる。

図３４は、本発明の実施の形態におけるビットデコード部５３０の構成例を示す図である。このビットデコード部５３０は、Ｌ個のＤラッチ５３１と、Ｌ個の選択器５３２と、Ｌ個の選択器５３３と、論理和（ＯＲ）回路５３４と、Ａカウンタ５３５と、Ｂカウンタ５３６と、選択器５３７と、Ｌ個の同期信号生成回路５４１と、論理和回路５４２および５４３とを備えている。

Ｄラッチ５３１は、ビット連接部５１０から供給されたデータ窓をパルス生成器５３８からのパルスのタイミングに従って保持して出力するものである。パルス生成器５３８は、選択器５３７の出力が「０」または「３」になると、パルスを生成するものである。したがって、Ｄラッチ５３１は、選択器５３７の出力が「０」または「３」になると、ビット連接部５１０から供給されたデータ窓を保持して出力することになる。

選択器５３２は、撮像信号のビット長ｎが１０ビットの場合に、データ窓から１０ビット分のデータを選択するものである。すなわち、選択器５３２は、選択器５３７の出力が「０」の場合にはデータ窓の第９ビットから第０ビットの１０ビットを、選択器５３７の出力が「３」の場合にはデータ窓の第１１ビットから第２ビットの１０ビットを、それ以外の場合には１０ビットの「０」をそれぞれ出力する。この選択器５３２から出力された１０ビットは、下位に２ビットの「０」が付加されて、シフトアップされる。そして、このシフトアップされた１２ビットのデータは、選択器５３３の一方の入力データとなる。

選択器５３３は、システム制御部７００からの信号線７０３に示されるビット長ｎに従って、Ｄラッチ５３１の出力または選択器５３２の出力を選択するものである。すなわち、選択器５３３は、ビット長ｎが１２ビットであればＤラッチ５３１の出力を選択し、ビット長ｎが１０ビットであれば選択器５３２の出力を選択する。この選択器５３３によって選択された１２ビットのデータは、信号線５４９に出力されるとともに、同期信号生成回路５４１の入力となる。

論理和回路５３４は、ビット連接部５１０から供給された同期コードのタイミングの論理和を生成するものである。すなわち、論理和回路５３４は、何れかのチャンネルにおいて同期コードが検出された場合、その旨を信号線５４８に出力する。

Ａカウンタ５３５は、クロックＣＬＫ２に同期して、「０」から「５」までの６クロック分を１サイクルとして順次カウントするカウンタである。Ｂカウンタ５３６は、クロックＣＬＫ２に同期して、「０」から「４」までの５クロック分を１サイクルとして順次カウントするカウンタである。Ａカウンタ５３５はビット長ｎが１２ビットの場合に対応するカウンタであり、Ｂカウンタ５３６はビット長ｎが１０ビットの場合に対応するカウンタである。これらＡカウンタ５３５およびＢカウンタ５３６のリセット端子は信号線５４８に接続されており、何れかのチャンネルにおいて同期コードが検出されると「０」にリセットされる。

選択器５３７は、システム制御部７００からの信号線７０３に示されるビット長ｎに従って、Ａカウンタ５３５およびＢカウンタ５３６の何れか一方の出力を選択するものである。すなわち、この選択器５３７は、ビット長ｎが１２ビットであればＡカウンタ５３５の出力を選択し、ビット長ｎが１０ビットであればＢカウンタ５３６の出力を選択する。この選択器５３７の選択結果は、信号線５４４に出力されるとともに、パルス生成器５３８および選択器５３２に供給される。

同期信号生成回路５４１は、論理和回路５３４から信号線５４８に出力されたタイミングに従って、選択器５３３の対応するチャンネルの同期コードから同期信号を生成するものである。Ｌ個の同期信号生成回路５４１の各々は、垂直同期信号を信号線５４１７に出力し、水平同期信号を信号線５４１８に出力する。

論理和回路５４２は、Ｌ個の同期信号生成回路５４１の垂直同期信号の論理和を生成する回路である。また、論理和回路５４３は、Ｌ個の同期信号生成回路５４１の水平同期信号の論理和を生成する回路である。これら論理和回路５４２および５４３によってそれぞれ論理和の生成された垂直同期信号および水平同期信号は、信号線５４５に出力される。なお、論理和回路５４２および５４３については、例えば伝送線路にノイズが入ることを考慮して、多数決回路に置き換えても構わない。

図３５は、本発明の実施の形態における同期信号生成回路５４１の構成例を示す図である。この同期信号生成回路５４１は、Ｄラッチ５４１１および５４１２と、Ｄフリップフロップ５４１３および５４１４と、論理積（ＡＮＤ）回路５４１５および５４１６とを備えている。

Ｄラッチ５４１１は、選択器５３３から供給されたＮビットの第９ビット、すなわち垂直方向のタイミングを示すビットＶを、論理和回路５３４から信号線５４８に出力されたタイミングに従って保持して出力するものである。Ｄフリップフロップ５４１３は、Ｄラッチ５４１１の前回の出力を保持するものである。論理積回路５４１５は、Ｄラッチ５４１１の出力が「０」で、且つ、Ｄフリップフロップ５４１３の出力が「１」であることを検出するものである。すなわち、論理積回路５４１５は、ビットＶが「１」から「０」に変化したエッジを垂直同期タイミングとして検出する。

Ｄラッチ５４１２は、選択器５３３から供給されたＮビットの第８ビット、すなわち水平方向のタイミングを示すビットＨを、論理和回路５３４から信号線５４８に出力されたタイミングに従って保持して出力するものである。Ｄフリップフロップ５４１４は、Ｄラッチ５４１２の前回の出力を保持するものである。論理積回路５４１６は、Ｄラッチ５４１２の出力が「０」で、且つ、Ｄフリップフロップ５４１４の出力が「１」であることを検出するものである。すなわち、論理積回路５４１６は、ビットＨが「１」から「０」に変化したエッジを水平同期タイミングとして検出する。

図３６は、本発明の実施の形態におけるデータ窓と同期コードとの関係の一例を示す図である。この例では、ビット長ｎが１０ビットであることを想定している。

４番目の同期コードが検出された場合、それが有効映像領域の開始を示しているときには、すなわちビットＶが「１」から「０」に遷移したときには、当該クロックにおいて垂直同期信号Ｖｓｙｎｃがアクティブになる。また、その同期コードが水平ラインにおけるデータの開始を示しているときには、すなわちビットＨが「１」から「０」（すなわち、ＳＡＶ）に遷移したときには、当該クロックにおいて水平同期信号Ｈｓｙｎｃがアクティブになる。

その後、Ｂカウンタ５３６は「０」乃至「４」をクロックに同期して出力し、その値が「０」または「３」を示すタイミングで有効なデータが取得される。そして、次に４番目の同期コードが検出された場合、その同期コードが水平ラインにおけるデータの終了を示すと、すなわちビットＨが「０」から「１」（すなわち、ＥＡＶ）に遷移すると、次の水平ラインにおけるデータの開始（ＳＡＶ）を待機する状態になる。

図３７は、本発明の実施の形態におけるデータ窓と同期コードとの関係の他の例を示す図である。この例では、ビット長ｎが１２ビットであることを想定している。

４番目の同期コードが検出された場合、それが有効映像領域の開始を示しているときには、すなわちビットＶが「１」から「０」に遷移したときには、当該クロックにおいて垂直同期信号Ｖｓｙｎｃがアクティブになる。また、その同期コードが水平ラインにおけるデータの開始を示しているときには、すなわちビットＨが「１」から「０」（すなわち、ＳＡＶ）に遷移したときには、当該クロックにおいて水平同期信号Ｈｓｙｎｃがアクティブになる。

その後、Ａカウンタ５３５は「０」乃至「５」をクロックに同期して出力し、その値が「０」または「３」を示すタイミングで有効なデータが取得される。そして、次に４番目の同期コードが検出された場合、その同期コードが水平ラインにおけるデータの終了を示すと、すなわちビットＨが「０」から「１」（すなわち、ＥＡＶ）に遷移すると、次の水平ラインにおけるデータの開始（ＳＡＶ）を待機する状態になる。

図３８は、本発明の実施の形態におけるビットデコード部５３０の出力と動作チャンネル数との関係の一例を示す図である。この例では、ビット長ｎが１０ビットであることを想定している。

図３８（ａ）は動作チャンネル数Ｗが４の場合を、図３８（ｂ）は動作チャンネル数Ｗが３の場合を、図３８（ｃ）は動作チャンネル数Ｗが２の場合を、図３８（ｄ）は動作チャンネル数Ｗが１の場合を、それぞれ示している。何れの場合においても、Ｂカウンタ５３６が「０」または「３」となるタイミングで、新たな画素の撮像信号が信号線５４９に出力される様子が分かる。また、各画素の順番は、元のベイヤー配列の順番を維持していることが分かる。

図３９は、本発明の実施の形態におけるビットデコード部５３０の出力と動作チャンネル数との関係の他の例を示す図である。この例では、ビット長ｎが１２ビットであることを想定している。

図３９（ａ）は動作チャンネル数Ｗが４の場合を、図３９（ｂ）は動作チャンネル数Ｗが３の場合を、図３９（ｃ）は動作チャンネル数Ｗが２の場合を、図３９（ｄ）は動作チャンネル数Ｗが１の場合を、それぞれ示している。何れの場合においても、Ａカウンタ５３５が「０」または「３」となるタイミングで、新たな画素の撮像信号が信号線５４９に出力される様子が分かる。また、各画素の順番は、元のベイヤー配列の順番を維持していることが分かる。

図４０は、本発明の実施の形態における並替え部５５０の構成例を示す図である。この並替え部５５０は、選択処理部５５１と、タイミング調整部５６０と、処理遅延調整部５５２とを備えている。

選択処理部５５１は、ビットデコード部５３０からＬチャンネルの信号線５４９により供給された動作チャンネル数Ｗの撮像信号を、信号処理部３２０における処理対象となるＫチャンネルに振り分けるものである。

タイミング調整部５６０は、選択処理部５５１によってＫチャンネルに振り分けられた撮像信号のタイミングを調整するものである。また、このタイミング調整部５６０は、タイミング調整された撮像信号の有無を示す有効フラグを供給する。

処理遅延調整部５５２は、選択処理部５５１およびタイミング調整部５６０における処理によって生じる遅延に合わせて、信号線５４５の同期信号の遅延時間を調整して信号線５６５に出力するものである。

図４１は、本発明の実施の形態における選択処理部５５１の構成例を示す図である。ここでは、信号線５４９のチャンネル数Ｌを４、信号線５５９のチャンネル数Ｋを２としている。この選択処理部５５１は、選択信号発生器５５５および５５６と、選択器５５７および５５８とを備えている。

選択器５５７および５５８は、ビットデコード部５３０からＬチャンネルの信号線５４９により供給された動作チャンネル数Ｗの撮像信号のうち、それぞれ何れか１つを選択するものである。この例ではチャンネル数Ｋを２としているため、選択器５５７および５５８の計２つが設けられている。

選択信号発生器５５５および５５６は、それぞれ選択器５５７および５５８に選択信号を供給するものである。選択処理部５５１には、システム制御部７００から動作チャンネル数Ｗおよびビット長ｎに関する情報を含む信号線７０３が供給され、ビットデコード部５３０からＡカウンタ５３５またはＢカウンタ５３６の値を示す信号線５４４が供給されている。選択信号発生器５５５および５５６は、これらを利用して選択信号を発生する。

なお、システム制御部７００からの信号線７０３の値、および、ビットデコード部５３０からの信号線５４４の値は、それぞれ信号線５５３および５５４によりタイミング調整部５６０に供給される。

図４２は、本発明の実施の形態における選択信号発生器５５５による選択信号の発生例を示す図である。図４２（ａ）はビット長ｎが１０ビットの場合を示し、図４２（ｂ）はビット長ｎが１２ビットの場合を示している。この例では、図４１と同様に、信号線５４９のチャンネル数Ｌを４としており、動作チャンネル数Ｗは１から４の何れかの値となる。

選択信号は動作チャンネル数Ｗによって異なり、また、カウンタの値に従って選択信号は変化する。ここにいうカウンタは、図４２（ａ）ではＢカウンタ５３６であり、図４２（ｂ）ではＡカウンタ５３５である。

図中、数字は信号線５４９のチャンネル番号（１乃至４）を示す。例えば、図４２（ａ）で動作チャンネル数Ｗが４の場合、Ｂカウンタ５３６の値が「０」のときは信号線５４９の第１番目のチャンネルが選択され、Ｂカウンタ５３６の値が「１」のときは信号線５４９の第３番目のチャンネルが選択され、Ｂカウンタ５３６の値が「２」のときは信号線５４９の第１番目のチャンネルが選択され、Ｂカウンタ５３６の値が「３」のときは信号線５４９の第３番目のチャンネルが選択される。また、「＊」は任意の値を意味するため、Ｂカウンタ５３６の値が「４」のときは信号線５４９の何れかのチャンネルが選択される。

図４３は、本発明の実施の形態における選択信号発生器５５６による選択信号の発生例を示す図である。図４３（ａ）はビット長ｎが１０ビットの場合を示し、図４３（ｂ）はビット長ｎが１２ビットの場合を示している。この例でも、図４２と同様に、信号線５４９のチャンネル数Ｌを４としている。選択信号の内容についても、図４２と同様である。

図４４は、本発明の実施の形態における選択処理部５５１の出力の一例を示す図である。この例では、ビット長ｎが１０ビットであることを想定している。

図４４（ａ）は動作チャンネル数Ｗが４の場合を、図４４（ｂ）は動作チャンネル数Ｗが３の場合を、図４４（ｃ）は動作チャンネル数Ｗが２の場合を、図４４（ｄ）は動作チャンネル数Ｗが１の場合を、それぞれ示している。対応する図３８の例と比較すると、ビットデコード部５３０のチャンネル数４の出力（信号線５４９）からチャンネル数２に変換されている様子が分かる。

図４５は、本発明の実施の形態における選択処理部５５１の出力の他の例を示す図である。この例では、ビット長ｎが１２ビットであることを想定している。

図４５（ａ）は動作チャンネル数Ｗが４の場合を、図４５（ｂ）は動作チャンネル数Ｗが３の場合を、図４５（ｃ）は動作チャンネル数Ｗが２の場合を、図４５（ｄ）は動作チャンネル数Ｗが１の場合を、それぞれ示している。対応する図３９の例と比較すると、ビットデコード部５３０のチャンネル数４の出力からチャンネル数２に変換されている様子が分かる。

図４６は、本発明の実施の形態におけるタイミング調整部５６０の構成例を示す図である。ここでは、信号線５５９のチャンネル数Ｋを２としている。このタイミング調整部５６０は、遅延回路５６１乃至５６３と、選択信号発生器５６４と、有効フラグ発生器５６７と、選択器５６８とを備えている。

遅延回路５６１は、信号線５５９の１番目のチャンネルの値を１クロック分遅延させるものである。同様に、遅延回路５６２は信号線５５９の１番目のチャンネルの値を２クロック分遅延させるものであり、遅延回路５６３は信号線５５９の１番目のチャンネルの値を３クロック分遅延させるものである。

選択器５６８は、信号線５５９の１番目のチャンネルの値、および、遅延回路５６１乃至５６３の出力の中から１つの信号を選択して、信号線５６９の１番目のチャンネルの値として出力するものである。なお、信号線５５９の２番目のチャンネルの値はそのまま信号線５６９に出力される。

選択信号発生器５６４は、選択器５６８に選択信号を供給するものである。タイミング調整部５６０には、動作チャンネル数Ｗおよびビット長ｎに関する情報を含む信号線５５３、および、Ａカウンタ５３５またはＢカウンタ５３６の値を示す信号線５５４が、選択処理部５５１から供給されている。選択信号発生器５６４は、これらを利用して選択信号を発生する。

有効フラグ発生器５６７は、選択処理部５５１から供給されている信号線５５３および信号線５５４の内容から、信号線５６９に有効な撮像信号が出力されている旨を示す有効フラグを発生するものである。この有効フラグ発生器５６７が発生した有効フラグは、信号線５６６に供給される。

図４７は、本発明の実施の形態における選択信号発生器５６４による選択信号の発生例を示す図である。図４７（ａ）はビット長ｎが１０ビットの場合を示し、図４７（ｂ）はビット長ｎが１２ビットの場合を示している。この例では、信号線５４９のチャンネル数Ｌを４としており、動作チャンネル数Ｗは１から４の何れかの値となる。

選択信号は動作チャンネル数Ｗによって異なり、また、カウンタの値に従って選択信号は変化する。ここにいうカウンタは、図４７（ａ）ではＢカウンタ５３６であり、図４７（ｂ）ではＡカウンタ５３５である。

図中、数字は選択器５６８の入力番号（１乃至４）を示す。例えば、図４７（ａ）で動作チャンネル数Ｗが３の場合、Ｂカウンタ５３６の値が「０」のときは第１番目の入力（信号線５６９の１番目のチャンネルの値）が選択され、Ｂカウンタ５３６の値が「２」または「３」のときは第２番目の入力（遅延回路５６１の出力）が選択される。また、「＊」は任意の値を意味するため、Ｂカウンタ５３６の値が「１」または「４」のときは何れかの入力が選択される。

図４８は、本発明の実施の形態におけるタイミング調整部５６０の出力の一例を示す図である。この例では、ビット長ｎが１０ビットであることを想定している。

図４８（ａ）は動作チャンネル数Ｗが４の場合を、図４８（ｂ）は動作チャンネル数Ｗが３の場合を、図４８（ｃ）は動作チャンネル数Ｗが２の場合を、図４８（ｄ）は動作チャンネル数Ｗが１の場合を、それぞれ示している。対応する図４４の例と比較すると、第１チャンネルのタイミングが、第２チャンネルのタイミング合うように調整されていることが分かる。また、有効な撮像信号が出力されているタイミングに合わせて有効フラグが出力されていることが分かる。

図４９は、本発明の実施の形態におけるタイミング調整部５６０の出力の他の例を示す図である。この例では、ビット長ｎが１２ビットであることを想定している。

図４９（ａ）は動作チャンネル数Ｗが４の場合を、図４９（ｂ）は動作チャンネル数Ｗが３の場合を、図４９（ｃ）は動作チャンネル数Ｗが２の場合を、図４９（ｄ）は動作チャンネル数Ｗが１の場合を、それぞれ示している。対応する図４５の例と比較すると、第１チャンネルのタイミングが、第２チャンネルのタイミング合うように調整されていることが分かる。また、有効な撮像信号が出力されているタイミングに合わせて有効フラグが出力されていることが分かる。

図５０は、本発明の実施の形態におけるディザ処理部５７０の構成例を示す図である。ここでは、信号線５６９のチャンネル数Ｋを２としている。このディザ処理部５７０は、Ｍ系列発生器５７１および５７２と、ディザ付加処理部５７３および５７４と、選択器５７５および５７６とを備えている。

Ｍ系列発生器５７１および５７２は、Ｍ系例による乱数を発生するものである。Ｍ系例とは、次式の線形漸化式により得られる数列である。ここでは、Ｍ系列発生器５７１および５７２からそれぞれ２ビットの乱数が出力されるものとする。但し、次式において、記号＋は排他的論理和演算（ＸＯＲ）を表す。
Ｘ_ｎ＝Ｘ_ｎ−ｐ＋Ｘ_ｎ−ｑ （ｐ＞ｑ）

なお、Ｍ系列発生器５７１および５７２の初期値は、各チャンネルの系列が一致しないように、互いに異なる値を設定しておくことが望ましい。

ディザ付加処理部５７３および５７４は、Ｍ系列発生器５７１および５７２の発生した乱数を信号線５６９からの撮像信号に付加するものである。具体的には、ディザ付加処理部５７３および５７４は、Ｍ系列発生器５７１および５７２の発生した２ビットの乱数によって、信号線５６９の１２ビットのＬＳＢ側の２ビットを置換して、１２ビットのディザ処理後の撮像信号を出力する。

なお、一般に、単純にＬＳＢ側のビットを置換するだけでは平均レベルが上がってしまうため（例えば、２ビットであれば０．３７５）、その分を差し引いた値とすることが望ましい。また、このディザ処理の結果、チャンネルのビット幅Ｎ'（Ｎ'は自然数）は、信号線５６９の各チャンネルのビット幅Ｎと異なるものとなってもよい。

選択器５７５および５７６は、システム制御部７００から供給された信号線７０３に含まれるビット長ｎに応じて、撮像信号を選択するものである。具体的には、選択器５７５および５７６は、ビット長ｎが１２ビットの場合には信号線５６９からの撮像信号を選択し、ビット長ｎが１０ビットの場合にはディザ付加処理部５７３または５７４からの撮像信号を選択する。選択器５７５および５７６によって選択された撮像信号は、信号線３１９に出力される。

なお、ディザ処理部５７０には並替え部５５０から信号線５６５によって同期信号が供給されているが、ディザ処理部５７０における処理遅延に相当する分、同期信号は遅延される。この同期信号は信号線３１５を介してタイミング生成回路３４０に供給される。

図５１は、本発明の実施の形態におけるクロックゲーティング回路３３０の構成例を示す図である。このクロックゲーティング回路３３０は、Ｄフリップフロップ３３１と、論理積回路３３２とを備えている。このクロックゲーティング回路３３０には、データ復元部５００から信号線３１６を介して有効フラグが供給され、ＰＬＬ回路３１２から信号線３１７を介してＣＬＫ２が供給されている。

Ｄフリップフロップ３３１は、ＣＬＫ２のタイミングに従って有効フラグを保持して出力する回路である。また、論理積回路３３２は、Ｄフリップフロップ３３１の出力およびＣＬＫ２の論理積を生成する回路である。これにより、クロックゲーティング回路３３０は、有効フラグがアクティブな期間のみクロックＣＬＫ３を出力する。このクロックＣＬＫ３は、信号線３３７を介して信号処理部３２０に供給される。

すなわち、クロックＣＬＫ３の周波数は基本的にクロックＣＬＫ２と同じになるが、データの出力タイミングに応じて間欠的に発生するように制御されるため、信号処理部３２０における消費電力の最適化を適応的に行うことができる。

図５２は、本発明の実施の形態における信号処理部３２０の入力の一例を示す図である。この例では、ビット長ｎが１０ビットであることを想定している。

図５２（ａ）は動作チャンネル数Ｗが４の場合を、図５２（ｂ）は動作チャンネル数Ｗが３の場合を、図５２（ｃ）は動作チャンネル数Ｗが２の場合を、図５２（ｄ）は動作チャンネル数Ｗが１の場合を、それぞれ示している。各撮像信号のタイミングは図４８の例と同様であるが、クロックゲーティング回路３３０の出力するクロックＣＬＫ３が併せて示されている。すなわち、有効フラグが有効を示している間のみクロックＣＬＫ３が供給されるようになっている。

図５３は、本発明の実施の形態における信号処理部３２０の入力の他の例を示す図である。この例では、ビット長ｎが１２ビットであることを想定している。

図５３（ａ）は動作チャンネル数Ｗが４の場合を、図５３（ｂ）は動作チャンネル数Ｗが３の場合を、図５３（ｃ）は動作チャンネル数Ｗが２の場合を、図５３（ｄ）は動作チャンネル数Ｗが１の場合を、それぞれ示している。各撮像信号のタイミングは図４９の例と同様であるが、図５２と同様に、クロックゲーティング回路３３０の出力するクロックＣＬＫ３が併せて示されている。

このように、本発明の実施の形態によれば、撮像部２００と画像処理部３００との間のインターフェース（信号線２２９）のチャンネルの動作チャンネル数Ｗを、動作モードに応じて可変にすることができる。これにより、動作していないチャンネルについては電力供給を停止することができるため、消費電力を低減することができる。また、チャンネル単位で電力供給を停止することができるため、動作チャンネルについては常時同一のクロックにより動作させることができる。また、各画素の撮像信号を同一のチャンネルに配置することができるため、動作モードによってビット長ｎがダイナミックに変化する場合にも容易に対応することができる。

また、本発明の実施の形態によれば、データ送信部２２０で同期コードを埋め込んでおくことにより、データ受信部３１１において一旦Ｍビットの単位にパラレル変換した上で同期コードを検出することが可能となり、高速なインターフェースの動作周波数に影響を受けることなくビット長ｎの撮像信号を抽出することができる。

また、本発明の実施の形態によれば、有効フラグが有効を示している間のみクロックＣＬＫ３を信号処理部３２０に供給することにより、不必要な電力消費を防ぐことができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、撮像手段は例えば撮像部２００に対応する。また、シリアル変換手段は例えばＰＳ変換部２２３に対応する。また、同期コード生成手段は例えば同期コード埋込部２２２に対応する。また、転送手段は例えばインターフェース部２２５および３１０に対応する。また、パラレル変換手段は例えばＳＰ変換部３１１３に対応する。また、復元手段は例えばデータ復元部５００に対応する。また、制御手段は例えば撮像制御部２４０に対応する。

また、請求項２において、撮像手段は例えば撮像部２００に対応する。また、画像処理手段は例えば画像処理部３００に対応する。また、転送手段は例えばインターフェース部２２５および３１０に対応する。また、制御手段は例えば撮像制御部２４０に対応する。また、シリアル変換手段は例えばＰＳ変換部２２３に対応する。また、同期コード生成手段は例えば同期コード埋込部２２２に対応する。また、パラレル変換手段は例えばＳＰ変換部３１１３に対応する。また、復元手段は例えばデータ復元部５００に対応する。

また、請求項３において、チャンネル数保持手段は例えばチャンネル数テーブル２４１に対応する。

また、請求項６において、データ窓抽出手段は例えばビット連接部５１０に対応する。また、撮像信号抽出手段は例えばビットデコード部５３０に対応する。

また、請求項７において、並替手段は例えば並替え部５５０に対応する。

また、請求項８において、ビット長調整手段は例えばディザ処理部５７０に対応する。

また、請求項９において、カウンタは例えばＡカウンタ５３５またはＢカウンタ５３６に対応する。また、有効フラグ生成手段は例えば有効フラグ発生器５６７に対応する。また、クロック制御手段は例えばクロックゲーティング回路３３０に対応する。

また、請求項１０において、撮像回路は例えば撮像部２００に対応する。また、画像処理回路は例えば画像処理部３００に対応する。また、転送回路は例えばインターフェース部２２５および３１０に対応する。また、制御回路は例えば撮像制御部２４０に対応する。また、シリアル変換手段は例えばＰＳ変換部２２３に対応する。また、同期コード生成手段は例えば同期コード埋込部２２２に対応する。

また、請求項１１において、撮像回路は例えば撮像部２００に対応する。また、画像処理回路は例えば画像処理部３００に対応する。また、転送回路は例えばインターフェース部２２５および３１０に対応する。また、制御回路は例えば撮像制御部２４０に対応する。また、パラレル変換手段は例えばＳＰ変換部３１１３に対応する。また、復元手段は例えばデータ復元部５００に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置の全体構成例を示す図である。 本発明の実施の形態における撮像装置の要部の構成例を示す図である。 本発明の実施の形態におけるチャンネル数テーブル２４１の構成例を示す図である。 本発明の実施の形態におけるセンサ部２１０の一構成例を示す図である。 本発明の実施の形態におけるセンサ部２１０の他の構成例を示す図である。 本発明の実施の形態におけるデータ送信部２２０の構成例を示す図である。 本発明の実施の形態における撮像信号のフォーマット例を示す図である。 本発明の実施の形態における同期コードのフォーマット例を示す図である。 本発明の実施の形態における動作チャンネルと画素との対応関係の一例を示す図である。 本発明の実施の形態における動作チャンネルと撮像信号のビット配列との対応関係の一例を示す図である。 本発明の実施の形態における動作チャンネルと撮像信号のビット配列との対応関係の他の例を示す図である。 本発明の実施の形態におけるデータ受信部３１１の構成例を示す図である。 本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第１の例を示す図である。 本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第２の例を示す図である。 本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第３の例を示す図である。 本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第４の例を示す図である。 本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第５の例を示す図である。 本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第６の例を示す図である。 本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第７の例を示す図である。 本発明の実施の形態におけるデータ受信時の撮像信号のタイミングの第８の例を示す図である。 本発明の実施の形態におけるデータ復元部５００の構成例を示す図である。 本発明の実施の形態におけるビット連接部５１０の構成例を示す図である。 本発明の実施の形態におけるデータ受信タイミングの一例を示す図である。 図２３のケース１に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。 図２３のケース２に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。 図２３のケース３に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。 図２３のケース４に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。 本発明の実施の形態におけるデータ受信タイミングの他の例を示す図である。 図２８のケース１に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。 図２８のケース２に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。 図２８のケース３に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。 図２８のケース４に相当するタイミングでシフトレジスタ５１２にパラレル信号が保持された場合の例を示す図である。 本発明の実施の形態における信号線５２９のデータ窓の例を示す図である。 本発明の実施の形態におけるビットデコード部５３０の構成例を示す図である。 本発明の実施の形態における同期信号生成回路５４１の構成例を示す図である。 本発明の実施の形態におけるデータ窓と同期コードとの関係の一例を示す図である。 本発明の実施の形態におけるデータ窓と同期コードとの関係の他の例を示す図である。 本発明の実施の形態におけるビットデコード部５３０の出力と動作チャンネル数との関係の一例を示す図である。 本発明の実施の形態におけるビットデコード部５３０の出力と動作チャンネル数との関係の他の例を示す図である。 本発明の実施の形態における並替え部５５０の構成例を示す図である。 本発明の実施の形態における選択処理部５５１の構成例を示す図である。 本発明の実施の形態における選択信号発生器５５５による選択信号の発生例を示す図である。 本発明の実施の形態における選択信号発生器５５６による選択信号の発生例を示す図である。 本発明の実施の形態における選択処理部５５１の出力の一例を示す図である。 本発明の実施の形態における選択処理部５５１の出力の他の例を示す図である。 本発明の実施の形態におけるタイミング調整部５６０の構成例を示す図である。 本発明の実施の形態における選択信号発生器５６４による選択信号の発生例を示す図である。 本発明の実施の形態におけるタイミング調整部５６０の出力の一例を示す図である。 本発明の実施の形態におけるタイミング調整部５６０の出力の他の例を示す図である。 本発明の実施の形態におけるディザ処理部５７０の構成例を示す図である。 本発明の実施の形態におけるクロックゲーティング回路３３０の構成例を示す図である。 本発明の実施の形態における信号処理部３２０の入力の一例を示す図である。 本発明の実施の形態における信号処理部３２０の入力の他の例を示す図である。

符号の説明

１００ レンズユニット
２００ 撮像部
２１０ センサ部
２２０ データ送信部
２２１ 出力チャンネル選択部
２２２ 同期コード埋込部
２２３ ＰＳ変換部
２２５ インターフェース部
２２６ 差動変換器
２３０ ＰＬＬ回路
２４０ 撮像制御部
２４１ チャンネル数テーブル
３００ 画像処理部
３１０ インターフェース部
３１１ データ受信部
３１２ ＰＬＬ回路
３２０ 信号処理部
３３０ クロックゲーティング回路
３４０ タイミング生成回路
４００ メモリ
５００ データ復元部
５１０ ビット連接部
５３０ ビットデコード部
５５０ 並替え部
５７０ ディザ処理部
６１０ 表示部
６２０ 記録部
７００ システム制御部
３１１１ インターフェース部
３１１３ ＳＰ変換部

Claims (11)

1. 被写体からの光を光電変換する複数の撮像素子によって生成された撮像信号を出力する撮像手段と、
   前記複数の撮像素子の各々から生成された前記撮像信号をそれぞれシリアル信号に変換するシリアル変換手段と、
   前記シリアル信号への変換の前または後に前記撮像信号に関する同期コードを生成して前記シリアル信号に埋め込む同期コード生成手段と、
   前記シリアル信号を複数のチャンネルのうちの少なくとも１つの動作チャンネルによってそれぞれ転送する転送手段と、
   前記転送されたシリアル信号のそれぞれをパラレル変換して前記動作チャンネルの数のパラレル信号を出力するパラレル変換手段と、
   前記パラレル信号において埋め込まれた同期コードを検出してその同期コードのタイミングおよび前記動作チャンネルの数に応じて前記撮像信号を復元する復元手段と、
   前記転送手段における前記動作チャンネルの数を動作モードに応じて設定する制御手段と
   を具備することを特徴とする撮像装置。
2. 被写体からの光を光電変換してそれぞれｎビット（ｎは自然数）の撮像信号を生成する複数の撮像素子を含む撮像手段と、前記撮像信号に対して所定の信号処理を施す画像処理手段と、前記撮像手段から前記画像処理手段へ前記撮像信号を最大Ｌチャンネル（Ｌは自然数）によって転送する転送手段と、前記転送手段における前記Ｌチャンネルのうち転送に用いられるチャンネル数Ｗ（Ｗは自然数）を動作モードに応じて設定する制御手段とを具備する撮像装置であって、
   前記撮像手段は、前記複数の撮像素子の各々から生成されたＷ個の撮像信号をそれぞれシリアル信号に変換するシリアル変換手段と、前記シリアル信号への変換の前または後に前記撮像信号に関するｎビットの同期コードを生成して前記シリアル信号に埋め込む同期コード生成手段とを備え、
   前記転送手段は、前記撮像信号から変換された前記シリアル信号をＷチャンネルによりシリアル転送する手段を備え、
   前記画像処理手段は、前記転送されたＷチャンネルのシリアル信号のそれぞれをパラレル変換してＷ個のＭビット（Ｍは自然数）のパラレル信号を出力するパラレル変換手段と、前記パラレル信号において埋め込まれた同期コードを検出してその同期コードのタイミングに応じて前記ｎビットの撮像信号を復元する復元手段とを備える
   ことを特徴とする撮像装置。
3. 前記動作モードと前記動作モードに対応するチャンネル数とを関連付けて保持するチャンネル数保持手段をさらに具備し、
   前記制御手段は、前記チャンネル数保持手段に保持される前記動作モードに対応するチャンネル数を前記転送に用いられるチャンネル数Ｗとして設定することを特徴とする請求項２記載の撮像装置。
4. 前記転送手段は、互いに相反する差動信号により前記シリアル転送を行うことを特徴とする請求項２記載の撮像装置。
5. 前記転送手段は、ＬＶＤＳ伝送方式により前記シリアル転送を行うことを特徴とする請求項４記載の撮像装置。
6. 前記復元手段は、
   前記パラレル信号において埋め込まれた同期コードを検出してその同期コードのタイミングに応じてＷ個のＮビット（Ｎはｎ以上の自然数）のデータ窓を抽出するデータ窓抽出手段と、
   前記撮像信号のビット長ｎに応じて前記データ窓からＷ個の前記撮像信号を抽出する撮像信号抽出手段と
   を備えることを特徴とする請求項２記載の撮像装置。
7. 前記復元手段は、前記Ｗ個の撮像信号を前記信号処理のために必要な形式に並び替える並替手段をさらに備えることを特徴とする請求項６記載の撮像装置。
8. 前記復元手段は、前記Ｗ個の撮像信号の各々の所定のビット位置に乱数を付加して前記信号処理のために必要なビット長に揃えるビット長調整手段をさらに備えることを特徴とする請求項６記載の撮像装置。
9. 前記画像処理手段は、
   前記同期コードのタイミングに応じて周期的にクロックを計数するカウンタと、
   前記カウンタによるカウント値に基づいて前記撮像信号の有無を示す有効フラグを生成する有効フラグ生成手段と、
   前記有効フラグに基づいて前記信号処理のためのクロックの発生を制御するクロック制御手段と
   をさらに備えることを特徴とする請求項６記載の撮像装置。
10. 被写体からの光を光電変換してそれぞれｎビット（ｎは自然数）の撮像信号を生成する複数の撮像素子を含む撮像回路と、前記撮像信号に対して所定の信号処理を施す画像処理回路と、前記撮像回路から前記画像処理回路へ前記撮像信号を最大Ｌチャンネル（Ｌは自然数）によってシリアル転送する転送回路と、前記転送回路における前記Ｌチャンネルのうち転送に用いられるチャンネル数Ｗ（Ｗは自然数）を動作モードに応じて設定する制御回路とを具備する撮像装置における撮像回路であって、
    前記複数の撮像素子の各々から生成されたＷ個の撮像信号をそれぞれシリアル信号に変換するシリアル変換手段と、
    前記シリアル信号への変換の前または後に前記撮像信号に関するｎビットの同期コードを生成して前記シリアル信号に埋め込む同期コード生成手段と
    を備えることを特徴とする撮像回路。
11. 被写体からの光を光電変換してそれぞれｎビット（ｎは自然数）の撮像信号を生成する複数の撮像素子を含む撮像回路と、前記撮像信号に対して所定の信号処理を施す画像処理回路と、前記撮像回路から前記画像処理回路へ前記撮像信号を最大Ｌチャンネル（Ｌは自然数）によってシリアル転送する転送回路と、前記転送回路における前記Ｌチャンネルのうち転送に用いられるチャンネル数Ｗ（Ｗは自然数）を動作モードに応じて設定する制御回路とを具備する撮像装置における画像処理回路であって、
    前記転送されたＷチャンネルのシリアル信号のそれぞれをパラレル変換してＷ個のＭビット（Ｍは自然数）のパラレル信号を出力するパラレル変換手段と、
    前記パラレル信号において埋め込まれた同期コードを検出してその同期コードのタイミングに応じて前記ｎビットの撮像信号を復元する復元手段と
    を備えることを特徴とする画像処理回路。

Images