以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
図1に示す内視鏡システム2は、電子内視鏡10、プロセッサ装置11、光源装置12などから構成されている。
電子内視鏡10は、体腔内に挿入される可撓性の挿入部14と、挿入部14の基端部分に連設された操作部15と、プロセッサ装置11及び光源装置12に接続されるユニバーサルコード16とを備えている。
挿入部14の先端には、体腔内撮影用の撮像チップ(撮像装置)42(図3参照)などが内蔵された先端部17が連設されている。先端部17の後方には、複数の湾曲駒を連結した湾曲部18が設けられている。湾曲部18は、操作部15に設けられたアングルノブ19が操作されて、挿入部14内に挿設されたワイヤが押し引きされることにより、上下左右方向に湾曲動作する。これにより、先端部17が体腔内の所望の方向に向けられる。
ユニバーサルコード16の基端は、コネクタ20に連結されている。コネクタ20は、複合タイプのものであり、コネクタ20にはプロセッサ装置11が接続される他、光源装置12が接続される。
プロセッサ装置11は、ユニバーサルコード16内に挿通されたケーブル50(図3参照)を介して電子内視鏡10に給電を行い、撮像チップ42の駆動を制御するとともに、撮像チップ42からケーブル50を介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。プロセッサ装置11で変換された画像データは、プロセッサ装置11にケーブル接続されたモニタ21に内視鏡画像として表示される。また、プロセッサ装置11は、コネクタ20を介して光源装置12と電気的に接続され、内視鏡システム2の動作を統括的に制御する。
図2において、先端部17の前面17aには、観察窓30、照明窓31、鉗子出口32、及び送気・送水用ノズル33が設けられている。観察窓30は、先端部17の片側中央に配置されている。照明窓31は、観察窓30に関して対称な位置に2個配され、体腔内の被観察部位に光源装置12からの照明光を照射する。鉗子出口32は、挿入部14内に配設された鉗子チャンネル51(図3参照)に接続され、操作部15に設けられた鉗子口22(図1参照)に連通している。鉗子口22には、注射針や高周波メスなどが先端に配された各種処置具が挿通され、各種処置具の先端が鉗子出口32から露呈される。送気・送水用ノズル33は、操作部15に設けられた送気・送水ボタン23(図1参照)の操作に応じて、光源装置12に内蔵された送気・送水装置から供給される洗浄水や空気を、観察窓30や体腔内に向けて噴射する。
図3において、観察窓30の奥には、体腔内の被観察部位の像光を取り込むための対物光学系40を保持する鏡筒41が配設されている。鏡筒41は、挿入部14の中心軸に対物光学系40の光軸が平行となるように取り付けられている。鏡筒41の後端には、対物光学系40を経由した被観察部位の像光を、略直角に曲げて撮像チップ42に向けて導光するプリズム43が接続されている。
撮像チップ42は、CMOS型の固体撮像素子44と、固体撮像素子44の駆動及び信号の入出力を行う周辺回路45とが一体形成されたモノリシック半導体(いわゆるCMOSセンサチップ)であり、支持基板46上に実装されている。固体撮像素子44の撮像面44aは、プリズム43の出射面と対向するように配置されている。撮像面44a上には、矩形枠状のスペーサ47を介して矩形板状のカバーガラス48が取り付けられている。撮像チップ42、スペーサ47、及びカバーガラス48は、接着剤を介して組み付けられている。これにより、塵埃などの侵入から撮像面44aが保護されている。
挿入部14の後端に向けて延設された支持基板46の後端部には、複数の入出力端子46aが支持基板46の幅方向に並べて設けられている。入出力端子46aには、ユニバーサルコード16を介してプロセッサ装置11との各種信号の遣り取りを媒介するための信号線49(図5の信号線49a〜49e)が接合されており、入出力端子46aは、支持基板46に形成された配線やボンディングパッド等(図示せず)を介して撮像チップ42内の周辺回路45と電気的に接続されている。信号線49は、可撓性の管状のケーブル50内にまとめて挿通されている。ケーブル50は、挿入部14、操作部15、及びユニバーサルコード16の各内部を挿通し、コネクタ20に接続されている。
また、図示は省略したが、照明窓31の奥には、照明部が設けられている。照明部には、光源装置12からの照明光を導くライトガイドの出射端が配されている。ライトガイドは、ケーブル50と同様に、挿入部14、操作部15、及びユニバーサルコード16の各内部を挿通し、コネクタ20に入射端が接続されている。
図4において、固体撮像素子44は、単位画素60がマトリクス状に配置された画素部61と、画素部61からの出力信号(画素データ)の処理(ノイズ抑制処理)を行なう相関二重サンプリング(CDS)回路62と、画素部61の垂直方向の走査を制御するとともに画素部61のリセット動作を制御する垂直走査回路63と、水平方向の走査を制御する水平走査回路64と、画素データの出力を行う出力回路65と、各回路62〜64に制御信号を与え、垂直・水平走査及びサンプリングのためのタイミング等を制御する制御回路66とから構成されている。
単位画素60は、1個のフォトダイオードD1、リセット用トランジスタM1、ドライブ用(増幅用)トランジスタM2、及び画素選択用トランジスタM3とからなる。各単位画素60は、垂直走査線(行選択線)L1及び水平走査線(列信号線)L2に接続されており、垂直走査回路63と水平走査回路64によって順次に走査される。
制御回路66は、画素部61の行及び列を走査するために垂直走査回路63及び水平走査回路64に入力する制御信号、フォトダイオードD1に蓄積された信号電荷をリセットするために垂直走査回路63に入力する制御信号、及び画素部61とCDS回路62との接続を制御するためにCDS回路62に入力する制御信号をそれぞれ生成する。
CDS回路62は、列信号線L2ごとに区分して設けられており、垂直走査回路63によって選択された行選択線L1に接続された各単位画素60の画素データを、水平走査回路64が出力する水平走査信号に従って順次に出力する。水平走査回路64は、CDS回路62と、出力回路65に接続された出力バスラインL3との間に設けられた列選択用トランジスタM4のオン/オフを水平走査信号により制御する。出力回路65は、CDS回路62から出力バスラインL3に順次に転送される画素データを増幅して出力する。以下では、出力回路65から出力される一連の画素データをまとめて撮像信号と称する。
なお、図示は省略するが、固体撮像素子44は、複数の色セグメントからなるカラーフィルタ(例えば、ベイヤー配列の原色カラーフィルタ)を備えた単板カラー撮像方式の固体撮像素子である。
図5において、撮像チップ42内の周辺回路45は、内部クロック信号を生成するPLL(Phase-Locked Loop)回路70と、固体撮像素子44に制御データを設定するレジスタ71と、固体撮像素子44から出力された撮像信号をデジタル化するアナログ/デジタル(A/D)変換器72と、デジタル化された撮像信号に対して8B10B方式のエンコードを行う8B10Bエンコーダ73と、内部クロック信号の周波数を逓倍し、シリアル伝送用のクロック信号を生成するPLL回路74と、エンコードされた撮像信号をシリアル信号に変換して出力するパラレル/シリアル(P/S)変換器75とから構成されている。
PLL回路70は、位相比較器、ループフィルタ、電圧制御発信器、及び分周器を備える位相同期回路であり、プロセッサ装置11から入力される安定した基準クロック信号BCLKと同期し、かつ基準クロック信号BCLKの周波数と所定の比例関係にある周波数(逓倍された周波数)を持つ内部クロック信号ICLKを生成する。この内部クロック信号ICLKは、周辺回路45内の各部、及び固体撮像素子44の制御回路66(図4参照)に供給される。
レジスタ71は、プロセッサ装置11から入力される、固体撮像素子44を駆動するための制御データCTLDを保持し、固体撮像素子44の制御回路66(図4参照)に入力する。レジスタ71は、シリアル/パラレル変換を行うシフトレジスタであり、シリアル信号形式で入力される制御データCTLDを、パラレル信号に変換して制御回路66に入力する。この制御データCTLDとしては、画素の走査方式(全画素走査/インターレース走査)、走査する画素領域(走査開始・終了する単位画素60の位置)、シャッタ速度(露光時間)などが入力される。制御回路66は、制御データCTLD及び内部クロック信号ICLKに基づいて、固体撮像素子44内の上記各回路62〜64を制御する。
A/D変換器72は、固体撮像素子44から出力される撮像信号について、アナログ信号である各画素データを量子化して8ビット(256階調)のデジタル信号に変換し、変換した8ビットのデジタル信号を、8本の配線を用いて、8B10Bエンコーダ73にパラレルに入力する。
8B10Bエンコーダ73は、A/D変換器72から入力された8ビットの画素データに対し、冗長な2ビットのデータを付加して10ビットの画素データに変換(符号化)する8B10B方式のエンコーダであり、8ビットから10ビットへの変換は、規格で定められた変換表を用いて行う。このとき、10ビットのデータ量を1ワードとして8ビットの画素データごとに変換される10ビットのデータをワードデータというものとする。この変換は、後述するシリアル伝送の際に同じ信号レベル("0"または"1")が所定期間以上連続しないようにするためのものであり、例えば、元の8ビットの画素データが"00000000"のときは"1001110100"の10ビットデータ(1ワードのワードデータ)への変換を行い、元の8ビットの画素データが"00001111"のときは"0101110100"のワードデータへの変換を行う。
PLL回路74は、前述のPLL回路70と同様な構成であり、内部クロック信号ICLKの周波数を例えば10倍に逓倍したシリアル伝送用クロック信号TCLKを生成し、P/S変換器75に供給する。
P/S変換器75は、PLL回路74が生成したシリアル伝送用クロック信号TCLKに応じて、図6に示すように、8B10Bエンコーダ73から順次入力される画素データ(ワードデータ)をパラレル信号(パラレルデータ)からシリアル信号(シリアルデータ)に変換する。このとき、PLL回路74の作用により、変換後のシリアルデータの周波数は、変換前のパラレルデータの周波数の10倍となる。P/S変換器75により生成されたシリアルデータは、撮像信号SDTとしてケーブル50内の信号線49aを介してプロセッサ装置11に伝送される。
プロセッサ装置11は、図5に示すように装置全体の制御を行う主制御回路(CPU)76と、電源電圧VDD及び接地電圧VSSを生成する電源回路77と、基準クロック信号BCLKを生成する基準クロック発生器78と、撮像チップ42から撮像信号SDTを受信し、撮像信号SDTからクロック信号及びデータ信号を再生するクロックデータリカバリ(Clock & Data Recovery:CDR)回路79と、CDR回路79により生成されたクロック信号の周波数を逓倍し、撮像チップ42内の内部クロック信号ICLKと同一の周波数を有する信号処理用のクロック信号を生成するPLL回路80と、CDR回路79により生成されたデータ信号(ワードデータ)をシリアルデータからパラレルデータへと変換するシリアル/パラレル(S/P)変換器81と、S/P変換器81からのワードデータに対して8B10B方式のデコード(復号化)を行いエンコードされる前の8ビットの画素データからなる撮像信号を生成する8B10Bデコーダ82と、デコードされた撮像信号に対して画像処理を施し、モニタ21に表示するための画像データを生成する画像処理回路83とから構成されている。
電源回路77は、電源電圧VDD及び接地電圧VSSを、プロセッサ装置11内の各部に供給するとともに、信号線49b,49cを介して撮像チップ42内の各部に供給する。基準クロック発生器78は、周波数が安定した基準クロック信号BCLKを生成し、信号線49dを介して、撮像チップ42内のPLL回路70に入力する。
CPU76は、プロセッサ装置11内の各部を制御するとともに、前述の制御データCTLDを生成し、信号線49eを介して、撮像チップ42内のレジスタ71に入力する。
CDR回路79は、撮像チップ42からシリアル伝送される撮像信号SDTの位相を検出して、この撮像信号SDTの周波数に同期した抽出クロック信号RCLKを発生し、この抽出クロック信号RCLKにより撮像信号SDTをサンプリングすることで、撮像信号SDTを抽出クロック信号RCLKによりリタイミングしたデータ(リタイミングデータ:撮像信号RSDT)を生成する。
具体的には、CDR回路79は、図7に示すように、位相比較器(PD)90と、ループフィルタ(LPF)91と、電圧制御発信器(VCO)92と、D型フリップフロップ93とから構成されている。PD90には、撮像信号SDTと、VCO92により発生される抽出クロック信号RCLKとが入力され、PD90の出力は、LPF91を介してVCO92に入力される。D型フリップフロップ93は、データ入力端子Dに撮像信号SDTが入力され、クロック入力端子に抽出クロック信号RCLKが入力される。
PD90は、撮像信号SDTと抽出クロック信号RCLKとの各立ち上がりエッジを比較することで位相差を検出し、その検出信号を、LPF91を介してVCO92に入力する。VCO92は、入力された検出信号に応じて抽出クロック信号RCLKの周波数を変更する。その結果、VCO92からは、図8に示すように、撮像信号SDTの周波数に同期した抽出クロック信号RCLKが出力される。
D型フリップフロップ93は、撮像信号SDTを、抽出クロック信号RCLKの立ち上がりエッジでサンプリングしてデータ保持を行うものであり、抽出クロック信号RCLKに位相同期したリタイミングデータとして撮像信号RSDTを再生し、データ出力端子Qから出力する。CDR回路79により生成された抽出クロック信号RCLKは、PLL回路80に入力され、再生された撮像信号RSDTは、S/P変換器81に入力される。
図5に戻り、PLL回路80は、前述のPLL回路70と同様な構成であり、抽出クロック信号RCLKの周波数を1/10倍に逓倍し、内部クロック信号ICLKと同一の周波数を有する信号処理用のクロック信号SCLKを生成し、S/P変換器81、8B10Bデコーダ82、及び画像処理回路83に供給する。
S/P変換器81は、PLL回路80が生成したクロック信号SCLKに応じて、CDR回路79から入力される撮像信号RSDTに対し、図6に示したパラレル/シリアル変換の逆変換に相当するシリアル/パラレル変換を行い、順次入力されるワードデータをシリアルデータからパラレルデータへと変換する。S/P変換器81によりワードデータごとにシリアルデータからパラレルデータに変換された撮像信号RSDTは、8B10Bデコーダ82に入力される。
8B10Bデコーダ82は、8B10B方式の規格で定められた変換表を用い、前述の8B10Bエンコーダ73とは逆の変換(復号化)を行い、順次入力される撮像信号RSDTを10ビットのパラレルデータ(ワードデータ)から元の8ビットのパラレルデータ(画素データ)へと復元する。これにより、8B10Bエンコーダ73による符号化を行う前の画素データが得られる。そして、8B10Bデコーダ82により復元された画素データからなる撮像信号は、画像処理回路83に入力される。
画像処理回路83は、クロック信号SCLKに基づいて、撮像信号に含まれる各画素データを検出し、内蔵メモリ112へ記録を行うとともに、ホワイトバランス調整、ゲイン補正、色補間、輪郭強調、ガンマ補正、カラーマトリックス演算等の画像処理を行い画像データを生成する。また、画像処理回路83は、画像データをモニタ21に表示するための信号形式に変換し、モニタ21に画像表示を行う。
上記のように構成された内視鏡システム2で体腔内を観察する際には、電子内視鏡10、プロセッサ装置11、光源装置12、及びモニタ21の電源をオンにして、電子内視鏡10の挿入部14を体腔内に挿入し、光源装置12からの照明光で体腔内を照明しながら、固体撮像素子44により撮像される体腔内の画像をモニタ21で観察する。
固体撮像素子44により生成された撮像信号は、A/D変換器72により8ビットのパラレルデータに変換され、8B10Bエンコーダ73で10ビットのパラレルデータに符号化される。この10ビットのパラレルデータからなる撮像信号は、P/S変換器75によりシリアルデータに変換された後、信号線49aを介してプロセッサ装置11に伝送される。
プロセッサ装置11は、シリアル伝送された撮像信号をCDR回路79で受け、CDR回路79により、クロック信号(抽出クロック信号RCLK)と、このクロック信号に位相同期したデータ信号(リタイミングデータRSDT)とを生成する。CDR回路79によりリタイミングデータとして生成された撮像信号RSDTは、抽出クロック信号RCLKに基づき、S/P変換器81及び8B10Bデコーダ82により変換が行われ、元の8ビットのパラレルデータに復元される。この8ビットのパラレルデータからなる撮像信号は、画像処理回路83により画像データに変換され、モニタ21に画像表示が行われる。
次に上記の内視鏡システム2において撮像チップ4からプロセッサ装置11への撮像信号の伝送に関して説明する。
図9は、撮像チップ42からプロセッサ装置11に画素データを伝送する図5に示した8B10Bエンコーダ73以降の撮像信号の伝送系回路を抽出して示した構成図である。
上述のように撮像チップ42では、A/D変換器72から8B10Bエンコーダ73に撮像信号として順次入力される8ビットのパラレルデータである画素データが、8B10Bエンコーダ73により10ビットのパラレルデータ(10ビットを1ワードとするワードデータ)に変換された後、P/S変換器75に入力される。P/S変換器75に順次入力される画素データは、P/S変換器75によりパラレルデータからシリアルデータへと変換されて撮像信号SDTとしてプロセッサ装置11へと送信される。
このような撮像チップ42における撮像信号SDTの送信に際して、撮像信号SDTには、所定間隔(所定時間間隔又は所定ビット数間隔)でワード同期のためのワード同期データが挿入されるようになっている。
ワード同期データは、撮像チップ42から送信される撮像信号SDTとしてシリアルデータを受信したプロセッサ装置11において、シリアルデータを1ワードずつのワードデータに区切るタイミングが画素データごとに区切るタイミングとして適切な状態であること、即ち、本実施の形態においては、撮像チップ42の8B10Bエンコーダ73から順次出力されたワードデータと、シリアルデータ(撮像信号SDT)を受信したプロセッサ装置11においてそのシリアルデータから順次取得されるワードデータとが一致(ワード同期)していることを確認し、また、ワード同期していない場合にはワード同期を復旧させるために使用されるデータである。
このワード同期データとして8B10Bエンコーダ73の出力データとしては存在しないビットパターンのワードデータが用いられる。例えば、カンマデータ(コンマデータ)と称される“0101111100”がワード同期データとして用いられる。なお、ワード同期データは他のビットパターンであってもよい。
撮像信号SDTへのワード同期データの挿入は、例えば、撮像チップ42のP/S変換器75において行われる。図9に示すようにP/S変換器75は、同期データ挿入処理部100とP/S変換処理部102とを備えている。
同期データ挿入処理部100は、図10(A)に示すように8B10Bエンコーダ73から撮像信号として順次入力される10ビット(1ワード)のワードデータ(画素データ)を後段のP/S変換処理部102に通過させると共に、所定のタイミングで1ワード分のワード同期データを画素データを示すワードデータの間に挿入し、P/S変換処理部102に出力する。なお、図5に示した固体撮像素子44からA/D変換器72を介して8B10Bエンコーダ73に入力される撮像信号が各画素の画素データ以外のデータを含む場合でもそのデータには言及せず以下においては画素データのみが撮像信号として入力されるものとして説明する。
ワード同期データを挿入するタイミングとしては、固体撮像素子44での画素データの読み出しがインターレース方式やプログレッシブ方式で知られる走査方式とする場合に、例えば、図10(B)のように1本の水平走査線分の画素データ(ワードデータ)が同期データ挿入処理部100を通過するごとに(即ち、1水平走査期間ごとに)、1つのワード同期データを挿入する。この場合に、同期データ挿入処理部100は、通過させるワードデータのワード数をカウントし、1水平走査線分のワード数(画素数)のワードデータが通過するごとにワード同期データを挿入するようにしてもよいし、固体撮像素子44の制御回路66から現在の画素データの読み出し位置の情報を取得して、その情報に基づいてワード同期データを挿入するようにしてもよい。また、ワード同期データを挿入する位置として、各水平走査線の開始画素のワードデータの前、又は、各水平走査線の終了画素のワードデータの後、即ち、通過させるワードデータの水平走査線(水平走査線の番号)が切り替わる位置(水平帰線期間に相当する位置)のように特定画素のワードデータに隣接する位置にワード同期データを挿入することも可能である。
なお、ワード同期データを挿入するタイミングは、必ずしも上記のように1水平走査線ごとである必要はない。
P/S変換処理部102は、上記のようにワード同期データが挿入されて同期データ挿入処理部100から撮像信号として順次出力されるワードデータを図6に示したようにパラレルデータからシリアルデータへと変換する。これによって、画素データを示すワードデータに対して所定間隔でワード同期データが挿入されたワードデータが図11(A)のようなパラレルデータから図11(B)のようなシリアルデータに変換され、そのワード同期データが挿入されたシリアルデータが、撮像信号SDTとして撮像チップ42からプロセッサ装置11に送信される。
なお、P/S変換器75は、図12のように所定ビット数のデータを最小の伝送単位(フレームという)として、撮像信号SDTをフレーム単位で送信しており、各フレームごとにフレームの開始を示すスタートビット(例えば“0”)とフレームの終了を示すエンドビット(例えば“1”)を付加している。また、1フレームのデータ量は固体撮像素子44において例えば1画面分(画素データの読み出し方式がインターレース方式の場合には1フィールド分、プログレッシブ方式の場合には1フレーム分)の画素データ(ワード同期データ等を含む)を伝送する際のデータ量としても良いし、1水平走査線分の画素データを伝送する際のデータ量としても良く、任意のデータ量とすることができる。
また、ワード同期データの挿入は、P/S変換器75ではなく、8B10Bエンコーダ73で行うようにすることも可能であるし、8B10Bエンコーダ73やP/S変換器75とは別の処理部で行うことも可能である。
一方、上述のようにプロセッサ装置11では、撮像チップ42から伝送された撮像信号SDTが、CDR回路79によりリタイミングされた後、S/P変換器81により10ビットのパラレルデータ(ワードデータ)に変換されて、8B10Bデコーダ82に入力される。8B10Bデコーダ82に順次入力されるワードデータは、S/P変換器81により元の8ビットの画素データに復号された後、画像処理回路83に入力される。
まず、このようなプロセッサ装置11における撮像信号SDTの受信に際してのワード同期データに基づくワード同期処理について説明する。プロセッサ装置11では、ワード同期データに基づいて、ワード同期していることを確認するワード同期の確認と、ワード同期していない場合にはワード同期を復旧させるワード同期の復旧の処理が行われる。
ワード同期は、撮像信号SDTとして撮像チップ42から送信されるシリアルデータを受信したプロセッサ装置11において、シリアルデータを1ワードずつのワードデータに区切るタイミングを、画素データごとに区切るタイミングとして適切な状態にすること、即ち、本実施の形態では、撮像チップ42の8B10Bエンコーダ73から順次出力されたワードデータと、プロセッサ装置11の8B10Bデコーダ82に順次入力されるワードデータとを一致させることを意味する。撮像チップ42からプロセッサ装置11への撮像信号SDTの伝送がデータ破損(ビット挿入やビット欠落等)なく正常に行われている場合には、S/P変換器81が撮像信号としてフレーム単位で伝送されるシリアルデータのスタートビットを検出し、それに続くビットデータ列を1ワード(10ビット)ごとにパラレルデータに変換することでワード同期した状態となっている。
一方、撮像信号の伝送中、特に撮像チップ42からプロセッサ装置11への撮像信号SDTの伝送中にノイズ等の影響によりビット挿入やビット欠落等のデータ破損が発生することがあり、ワード同期のタイミングにずれが生じ、ワード同期していない状態となる場合がある。その場合には、ワード同期の確認によりワード同期していない状態であることが検出され、ワード同期の復旧によりワード同期している状態に復旧するようになっている。
ワード同期データに基づくワード同期の確認と復旧に関する処理は、例えば、プロセッサ装置11のS/P変換器81において行われる。図9に示すようにS/P変換器81は、同期データ検出処理部104、S/P変換処理部106、ワード同期処理部108とを備えている。
同期データ検出処理部104は、CDR回路79から撮像信号(リタイミングされた撮像信号RSDT)として順次入力されるシリアルデータのうちからワード同期データを示すビットパターンを検出すると共に、それによってワード同期データを検出した場合にはワード同期データを検出したことを示す検出信号をワード同期処理部108に与える。また、ワード同期データ以外のワードデータを後段のS/P変換処理部106に通過させ、ワード同期データを撮像信号から取り除く。なお、ワード同期データを撮像信号から取り除く処理は、後段の8B10Bデコーダ82や画像処理回路83において行うようにしてもよい。
S/P変換処理部106は、同期データ検出処理部104を通過したワードデータを1ワード(10ビット)ずつに区切ってシリアルデータから10ビットのパラレルデータへと変換する。
ワード同期処理部108は、CDR回路79からS/P変換器81に撮像信号として入力される図13のようなシリアルデータに対して、同期データ検出処理部104からワード同期データを検出したことを示す検出信号が与えられると、S/P変換処理部106に対して、そのワード同期データに続くビットデータ列を10ビットずつに区切るタイミングで10ビットのビットデータ列としてパラレル伝送する10ビットのパラレルデータに変換させる。
即ち、S/P変換処理部106が、ワード同期データに続くビットデータ列を10ビットずつに区切るタイミングで(ワード同期データに続くビットデータ列を10ビットずつに区切る位置をワードデータの境界(ワード区切り位置)として)10ビットのビットデータ列を10ビットのパラレルデータに変換することによってワード同期している状態となるが、ワード同期処理部108は、ワード同期データの検出(同期データ検出処理部104からの検出信号)に基づいて、そのようにワード同期している状態となるようにS/P変換処理部106がシリアルデータ(ビットデータ列)をパラレルデータに変換するS/P変換のタイミングを調整する。
ワード同期処理部108に同期データ検出処理部104からの検出信号が与えられた際にワード同期している状態が確保されている場合には、S/P変換処理部106のS/P変換のタイミングの調整を行っても状態は何も変化せず、実質的にワード同期していることの確認のみが行われたことになる。
これに対して、ワード同期処理部108に同期データ検出処理部104からの検出信号が与えられた際にワード同期していない状態となっていた場合には、上記のようにワード同期処理部108がワード同期データの検出に基づいてS/P変換処理部106のS/P変換のタイミングを調整することでワード同期の復旧が行われたことになる。
このようにワード同期処理部108によるワード同期の確認及び復旧の処理(ワード同期処理)により、S/P変換処理部106によりパラレルデータに変換された撮像信号は、図10(A)に示したワード同期データ挿入前の撮像信号と一致したワードデータ(画素データ)により構成されたものとなる。即ち、S/P変換器81によりシリアルデータからパラレルデータへと変換されて後段の8B10Bデコーダ82に入力されるワードデータが8B10Bエンコーダ73により符号化された後のワードデータに一致するようにワード同期(アライメント)がなされる。また、撮像信号の伝送中において、ノイズ等の影響でデータ破損が生じてワード同期にずれが生じてしまった場合でもワード同期データに基づくワード同期処理部108でのワード同期処理によりワード同期が適正な状態に復旧するようになっている。
ここで、撮像信号の伝送中等にデータ破損が生じた場合に、ワード同期データ以外のデータがワード同期データのビットパターンと一致する可能性がある。このとき、同期データ検出処理部104では、そのワード同期データ以外のデータをワード同期データと誤検出することになり、誤検出されたワード同期データに基づいてワード同期処理部108が上記のワード同期処理を実施してしまうとワード同期していない状態になるという不具合が生じる。
そこで、そのような不具合を防止するため、所定回数(2回以上の回数であって例えば3回)のワード同期データの検出に基づいて上記のワード同期処理(ワード同期の確認と復旧の処理)を実行すると好適である。即ち、ワード同期データを適切な間隔(P/S変換器75においてワード同期データが挿入される予め決められた時間間隔又はビット数間隔)となるタイミング、即ち、P/S変換器75により挿入されたワード同期データが検出されるべきタイミングで複数回検出した場合に、それらのワード同期データを適正なワード同期データと判断し、上記のワード同期処理(ワード同期の確認と復旧の処理)を実行すると好適である。
具体的な態様として、所定回数(2回以上の回数であって例えば3回)のワード同期データが連続して適切な間隔で検出された場合に、それらのワード同期データを適正なワード同期データと判断し、上記のワード同期処理(ワード同期の確認と復旧の処理)を実行するようにする。
即ち、同期データ検出処理部104からワード同期処理部108にワード同期データが検出されたことを示す検出信号が、所定回数連続して適切な間隔で与えられた場合に、ワード同期処理部108がそれらを適正なワード同期データの検出と判断する。そして、適正なワード同期データの検出と判断した場合に、それらのうちの最後に検出された最新のワード同期データの検出信号に基づいてワード同期処理を実行する。
図14は、ワード同期処理部108においてワード同期データに基づくワード同期処理を実行する際の判断処理の処理手順を示したフローチャートである。
ステップS10では、ワード同期データが検出されたか否かを判定する。即ち、S/P変換器81に撮像信号として入力されたシリアルデータにおいてワード同期データと一致するビットパターンが検出され、同期データ検出処理部104から検出信号が与えられたか否かを判定する。このステップS10の判定処理においてNOと判定している間は、ステップS10の処理を繰り返す。一方、YESと判定した場合にはステップS12に移行する。
ステップS12では、3回連続して適切な時間間隔でワード同期データが検出されたか否かを判定する。即ち、P/S変換器75においてワード同期データが挿入される時間間隔Ti(適正なワード同期データが検出される時間間隔)が予め決められており、ステップS12においてワード同期データを検出した時刻T0に対して時間間隔TIの1回分を過去に遡る時刻T0−Tiと、2回分を過去に遡る時刻T0−2×Tiにおいてワード同期データを検出したか否かを判定する。このステップS12の判定処理においてNOと判定した場合には、ステップS10の処理に戻り、YESと判定した場合にはステップS14に移行する。なお、本処理において、ワード同期データが連続する回数を3回としたが、3回でなくても2回以上の回数であれば良い。また、適切な時間間隔ではなく、適切なビット数間隔(適正なワード同期データが検出されるビット数間隔、即ち、2つの適正なワード同期データの間に送られるワードデータのビット数)で所定回数連続してワード同期データを検出したか否かを判定してもよい。
ステップS14では、ステップS10において検出した最新のワード同期データに基づいてワード同期処理を実行する。即ち、最新のワード同期データに続くビットデータ列を10ビットずつに区切るタイミングでS/P変換処理部106にS/P変換を実行させる。この処理が終了すると本フローチャートの処理を終了する。なお、本フローチャートの処理は繰り返し実行される。
これによれば、ワード同期データ以外のデータをワード同期データと誤検出した場合であってもその検出はワード同期処理の実行に対しては無効となるため、不適切なワード同期処理が実施されないようになる。
また、他の具体的態様として、上記のように所定回数の適正なワード同期データを連続して検出した場合でなくても、所定時間の期間内において適切な間隔で検出されるべき複数のワード同期データのうちのいずれか複数のワード同期データを検出した場合にそれらのワード同期データを適正なワード同期データと判断し、ワード同期処理を実行するようにしてもよい。即ち、同期データ検出処理部104からワード同期処理部108にワード同期データが検出されたことを示す検出信号が、所定時間の期間内に適切な間隔のタイミングに合致して所定回数以上与えられた場合に、ワード同期処理部108がそれらを適正なワード同期データの検出と判断する。そして、適正なワード同期データの検出と判断した場合に、それらのうちの最後に検出されたワード同期データの検出信号に基づいてワード同期処理を実行すればよい。
なお、上記のようなワード同期データの検出やワード同期データに基づくワード同期の確認、復旧の処理はS/P変換器81において行うのではなく、8B10Bデコーダ82で行うようにすることも可能であるし、S/P変換器81や8B10Bデコーダ82以外の処理部で行うようにすることも可能である。即ち、上記実施の形態では、S/P変換器81のS/P変換処理部106に入力される前(S/P変換の前)のシリアルデータからワード同期データを検出し、検出したワード同期データに基づいてS/P変換のタイミングを調整することによってシリアルデータを10ビットずつのワードデータに区切るタイミングを調整してワード同期の復旧を行うようにしている。一方、ワード同期データの検出は、8B10Bデコーダ82に入力する前のパラレルデータから検出することも可能であり、また、ワード同期データに基づくワード同期の確認や復旧に関しても8B10Bデコーダ82による復号化を行う前のパラレルデータを複数ワード分蓄積して、シリアルデータをワードデータとして区切るタイミングを調整したパラレルデータを作り直して8B10Bデコーダ82による復号化を行うことで実施することができる。
次に、プロセッサ装置11における撮像信号SDTの受信に際しての復号エラーに基づくワード同期処理について説明する。プロセッサ装置11では、8B10Bデコーダ82における復号エラーに基づいてワード同期処理(ワード同期を復旧させる処理)が行われるようになっている。
復元エラーとしては、例えば、8B10Bデコーダ82に入力したワードデータが破損しているために変換表に存在しないデータとなっている場合(テーブルエラー)や、ランニングディスパリティが適正でない場合(ディスパリティエラー)がある。
このような復号エラーに基づくワード同期の復旧に関する処理は、例えば、S/P変換器81と8B10Bデコーダ82と間で行われる。
8B10Bデコーダ82は、図9のように、復元エラーが発生した場合にエラー信号を出力するエラー出力部110を備えている。8B10Bデコーダ82において、S/P変換器81から入力される撮像信号を10ビットのパラレルデータ(ワードデータ)から元の8ビットのパラレルデータ(画素データ)へと復号する際に復号エラーが生じた場合には、エラー出力部110がその復号エラーが発生したことを検出してエラー信号を出力する。そのエラー信号は、上記のS/P変換器81のワード同期処理部108に入力される。
ワード同期処理部108は、エラー出力部110からのエラー信号が入力されると、S/P変換処理部106におけるS/P変換のタイミングを1ビット分シフトさせる。即ち、S/P変換処理部106がシリアルデータ(ビットデータ列)をパラレルデータに変換するタイミングを1ビットデータ分シフトさせて(遅らせるか、又は、早くする)、シリアルデータとして入力されるビットデータ列をワードデータに区切る位置(図13に示すワード区切り位置)を1ビット分ずらず。そして、この処理をエラー出力部110からのエラー信号が入力されなくなるまで繰り替えし実行し、エラー信号が入力されなくなった場合に上記処理を停止する。
図15は、ワード同期処理部108において8B10Bデコーダ82の復号エラーに基づくワード同期処理を実行する際の処理手順を示したフローチャートである。
ステップS20では、8B10Bデコーダ82において復号エラーが発生したか否かを判定する。即ち、8B10Bデコーダ82において復号エラーが発生して8B10Bデコーダ82のえら出力部からエラー信号が与えられたか否かを判定する。このステップS20の判定処理においてNOと判定した場合には、このフローチャートの処理を終了する。一方、YESと判定した場合にはステップS22に移行する。なお、このフローチャートの処理は繰り返し実行されるためステップS20の判定処理が繰り返し実行される。
ステップS22では、S/P変換器81のS/P変換処理部106におけるS/P変換のタイミングを1ビット分シフトさせる。即ち、S/P変換処理部106がシリアルデータ(ビットデータ列)をパラレルデータに変換するタイミングを1ビットデータ分だけ、現在のタイミングよりも遅いタイミング又は早いタイミングのいずれかにシフトさせる。この処理が終了すると本フローチャートの処理を終了する。
以上のフローチャートの処理によれば、復号エラーが発生した場合に復号エラーが発生しなくなくなるまでステップS22の処理が繰り返されて、S/P変換のタイミングが1ビットデータ分ずつシフトする。復号エラーが発生しなくなった状態ではワード同期している状態と考えられるため、ワード同期にずれが生じた場合に上記フローチャートの処理によりワード同期の復旧が行われることになる。
これにより、撮像信号の伝送中にノイズ等の影響でデータ破損等が生じてワード同期にずれが生じてしまった場合でも復号エラーに基づくワード同期処理部108での上記のワード同期処理によりワード同期が適正な状態に復旧するようになっている。また、ワード同期データに基づくワード同期処理によるワード同期の復旧よりも短時間で復旧することが可能となり、早急に復旧することができる。
なお、上記のような復号エラーに基づくワード同期の復旧の処理はS/P変換器81において行うのではなく、8B10Bデコーダ82で行うようにすることも可能であるし、S/P変換器81や8B10Bデコーダ82以外の処理部で行うようにすることも可能である。即ち、上記実施の形態では、S/P変換器81のS/P変換処理部106におけるS/P変換のタイミングを変更(1ビットずつシフト)することによってシリアルデータを10ビットずつのワードデータに区切るタイミングを変更してワード同期の復旧を行うようにしている。一方、8B10Bデコーダ82による復号化を行う前のパラレルデータを複数ワード分蓄積して、シリアルデータをワードデータとして区切るタイミングを変更(1ビットずつシフト)したパラレルデータを作り直して8B10Bデコーダ82による復号化を行うことによっても上記実施の形態と同様に復号エラーに基づくワード同期の復旧を行うことができる。
次に、プロセッサ装置11における撮像信号SDTの受信に際しての画像データの補間処理について説明する。プロセッサ装置11では、8B10Bデコーダ82において復号エラーが発生した場合に、そのときの画素データを周辺部の画素の画素データに基づいて生成された画素データ(補間データ)で補間する補間処理が行われるようになっている。
補間処理は、例えば、8B10Bデコーダ82と画像処理回路83との間で行われる。
画像処理回路83は、図9に示すように内蔵メモリ(バッファメモリ)112を備えており、その内蔵メモリ112には、8B10Bデコーダ82から撮像信号として画像処理回路83に入力される所定データ量(例えば所定数の画面分の画素データのデータ量)の画素データが蓄積されると共に、内蔵メモリ112のメモリ容量分の画素データが蓄積されると新しく入力された画素データが最も古い画素データに置き換えられて記憶がされるようになっている。
また、画像処理回路83に対しても、上記の8B10Bデコーダ82のエラー出力部110からのエラー信号が与えられるようになっており、画像処理回路83では、図16に示すように、8B10Bデコーダ82から撮像信号として順次フレーム単位で入力される画素データを内蔵メモリ112に記憶する。そして、エラー出力部110からエラー信号が与えられた場合には、そのときに8B10Bデコーダ82から出力された画素(エラー画素)の画素データを内蔵メモリ112に記憶させず、そのエラー画素の画素データが記憶されるべき内蔵メモリ112のメモリ領域に、エラー画素の周辺部の画素の画素データから生成された補間データを記憶させて、エラー画素の画素データを補間データで補間するようにしている。
エラー画素に対して周辺部となる画素の画素データとして、エラー画素に対して空間的に近傍となる画素の画素データの他に、時間的に近傍となる画素の画素データも含まれており、エラー画素に対して空間的に近傍となる画素の画素データとしては、エラー画素に対して同一画像上の所定距離範囲以内の画素の画素データが該当する。このうち、補間データの生成に使用する画素データとしては、例えば、エラー画素に対して上下方向又は左右方向の所定距離範囲以内の画素の画素データに限定してもよいし、エラー画素に対して隣接する画素の画素データに限定してもよい。
エラー画素に対して時間的に近傍となる画素としては、エラー画素が得られた時間に対して所定時間範囲以内の時間に得られた画像上のエラー画素と同一位置の画素の画素データが該当する。このうち、補間データの生成に使用する画素データとしては、例えば、1画面分前又は1画面分後に得られた画像上の画素データに限定してもよい。
一方、エラー画素の画素データを補間する補間データは、上記のようにエラー画素に対して周辺部となる画素のうちの複数の画素の画素データに基づいて所定の演算処理により生成したものであってもよいし、エラー画素に対して周辺部となる画素のうちのいずれか1つの画素の画素データをそのまま使用したものであってもよい。
前者の場合に、例えば、エラー画素に対して周辺部となる画素のうち、補間データの生成に使用する複数の画素が予め決められておき、それらの画素の画素データの平均値を求めて、その平均値を補間データとする態様が考えられる。このとき、補間データの生成に使用する画素の画素データを正常な画素データ(エラー画素以外の画素データ)のみに限定してもよい。なお、複数の画素データに基づいて補間データを生成するための演算処理は平均を求める処理に限らず、他の処理によって補間データを生成してもよい。
後者の場合には、例えば、エラー画素に対して周辺部となる画素のうち、補間データの生成に使用する1つの画素を予め決められておき、その画素の画素データを補間データとする態様が考えられる。また、この場合には、補間データとする画素データを正常な画素データであることが望ましいため、例えば、エラー画素に対して周辺部となる画素のうち、補間データの生成に使用する画素として複数の画素を優先順位を付けて決めておき、それらの画素のうち、正常な画素データが得られた画素の中から優先順位が最も高い画素の画素データを選出して、その画素データを補間データとすると好適である。
画像処理回路83は、8B10Bデコーダ82のエラー出力部110からのエラー信号が与えられた場合には、このようにして生成した補間データをエラー画素の画素データの代わりに内蔵メモリ112に記憶させ、内蔵メモリ112に記憶させた複数の画素データからなる画像データに所要の画像処理を施してその画像をモニタ21に表示させるようにしている。したがって、撮像信号の伝送中にノイズ等の影響でデータ破損が生じた場合であっても、モニタ21に表示される画像の乱れを最小限に抑えることができる。
なお、画像処理回路83の内蔵メモリ112を使用して補間処理を行う場合に限らず、8B10Bデコーダ82と画像処理回路83との間に設けたバッファメモリにおいて補間処理を行うことも可能であり、例えば、撮像信号の伝送単位である1フレーム分の画素データを記憶するバッファメモリを1又は複数設けるようにしてもよい。この場合に、8B10Bデコーダ82から出力された画素データをフレーム単位でバッファメモリに一時的に記憶させるようにし、全てのバッファメモリに画素データが蓄積されると、最も古いフレームの画素データをバッファメモリから画像処理回路83に出力させると共に、そのバッファメモリに8B10Bデコーダ82からの新たなフレームの画素データを記憶させるようにする。複数のバッファメモリを備える場合には、8B10Bデコーダ82から順次出力された画素データをフレーム単位で複数のバッファメモリに巡回的に記憶させるようにする。この場合において、バッファメモリの数は、エラー画素の補間データを記憶させるメモリ領域がバッファメモリに存在している状態において、そのエラー画素に対して補間データの生成に使用する画素の画素データをバッファメモリに記憶させることができる容量分を満たす数であればよい。また、この場合にバッファメモリから補間データの生成に使用する画素データを読み出して補間データを生成する処理を、画像処理回路83で行ってもよいし、他の処理部、又は専用に設けた処理部で行うようにしてもよい。
以上、上記実施の形態では、固体撮像素子44をCMOS型の固体撮像素子としているが、本発明はこれに限定されず、固体撮像素子44をCCD型の固体撮像素子としても良い。
また、上記実施形態では、A/D変換器72により生成された8ビットの画素データを8B10Bエンコーダ73により10ビットの画素データに変換するとしているが、本発明はこれに限定されず、変換前後のビット数は適宜変更しても良い。