JP2006149483A - 電子内視鏡装置及び色ずれ補正装置 - Google Patents

Abstract

【課題】色画像の属性情報に基づいて色ずれの判定に用いる閾値を調整することで色ずれの誤検出を防止し、各色画像間のぶれを適正に補正することができる電子内視鏡装置及び色ずれ補正装置を提供する。
【解決手段】ＣＣＤ１２から出力される面順次の色信号を、それぞれを合成することで１つの画像を形成する色画像を生成する色信号別に記憶する同時化メモリ２３と、色ずれによる色画像のぶれを補正するぶれ補正処理回路２８を備えた静止画処理回路２４とを備えている。ぶれ補正処理回路２８では、色画像を構成する画素について隣接画素との間で算出した差分値が、閾値調整手段によって調整された色ずれの検出基準となる閾値以上である場合に色ずれを検出し、色画像における色ずれ量を算出する。更に、一の色画像を他の色画像に対してシフトさせて色ずれ量が最小となる画像を特定し、静止画像として出力する。
【選択図】図１

Description

本発明は、異なる波長の複数の照明光で順次照明された被写体を撮像手段によって面順次撮像し、撮像手段から出力される各色の画像信号間に生ずる色ずれを検出して補正することによって、色ずれの少ない画像を表示することができる電子内視鏡装置及び色ずれ補正装置に関する。

近年、医療分野で内視鏡が広く用いられるようになっている。最近では、光学式内視鏡の接眼部に撮像手段を備えたテレビカメラを装着したテレビカメラ外付け内視鏡や、先端部に固体撮像素子等の撮像手段を内蔵した電子内視鏡などによって撮像された、被写体の画像をモニタに表示する電子内視鏡装置も普及しつつある。例えば、モニタと組み合わされた電子内視鏡装置を用いると、検査を開始してから速やかに、体腔内の内視鏡画像をモニタに映し出して観察することが可能となるため、検査しながらにして病変部位などを早期に発見し、迅速に処置することができる。

電子内視鏡装置は、光源装置から発生される照明光が、電子内視鏡内のライトガイドを介して電子内視鏡先端から射出されて、被写体となる体腔内の病変部を照明する。照明された被写体の像は、電子内視鏡の先端部に内蔵されている電荷結合素子（以下、ＣＣＤという）などの固体撮像素子によって撮像される。被写体の像が撮像されて生成された撮像信号は、電子内視鏡に接続されるビデオプロセッサなどの画像処理装置において信号処理され、ＮＴＳＣやＰＡＬといった標準ＴＶ方式の映像信号に変換されてモニタに出力される。

被写体像をカラーで表示する電子内視鏡装置の照明方式として、面順次方式と同時方式がある。面順次方式の照明方式を用いた場合、画素数が少ない場合にも解像度が比較的高くて色再現性に優れているため、微妙な色の変化を観察する必要がある医療分野では、面順次方式の電子内視鏡装置が広く用いられている。面順次方式の電子内視鏡装置では、光源装置内のランプから射出された照明光の光路上に、例えば赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）と、それぞれ異なる色波長域の光を透過させる三つの色透過フィルタが配置されている開口部を有し、開口部以外は遮光部となっている回転フィルタが挿入されており、回転フィルタが回転されることで、照明光が間欠的に遮断されて各色光が順次に被写体に照射される。そして、電子内視鏡先端に配置されたＣＣＤで、各色毎に得られた被写体の像が時系列的に撮像される。このときＣＣＤでは、回転フィルタの回転タイミングにあわせて露光と遮光とが行われる。ＣＣＤの露光期間中にＣＣＤの全ての画素に新たな電荷が蓄えられ、照明光の遮断時であるＣＣＤの遮光期間中に、蓄えられた全ての電荷が読み出される。この電荷の蓄積と読み出しの動作が繰り返されて、ＣＣＤで撮像されて生成された撮像信号がビデオプロセッサ内の患者回路に入力される。

患者回路へ入力された撮像信号は、プリアンプ回路を経てＣＤＳ回路に入力され、ノイズが除去されてベースバンド化された後、Ａ／Ｄ変換回路でアナログ信号からデジタル信号へと変換される。撮像信号から変換され、デジタル化された映像信号は、フォトカプラなどの絶縁回路を通して二次回路へ出力され、ＯＢクランプ処理、ホワイトバランス処理、γ補正処理などの前処理が施される。これらの前処理に引き続いて、拡大処理、強調処理、及び同時化処理といった各種の信号処理が施された後、Ｄ／Ａ変換回路でアナログ信号に変換される。アナログ化された映像信号は、後処理部に出力されてゲイン調整などが施された後に、７５Ωドライブ回路によってモニタ等の外部接続機器へ出力される。

上述のように、面順次の照明方式によって被写体像をカラー表示する電子内視鏡装置においては、例えばＲ、Ｇ及びＢの三つの色透過フィルタが配置された回転フィルタを回転させて、Ｒ、Ｇ及びＢの各色光を順次に被写体に照射し、各色毎の被写体の像をＣＣＤにおいて時系列に撮像している。このため、従来は、面順次方式でＣＣＤを駆動する場合においては、Ｒ、Ｇ及びＢの各色の画像信号は時系列的に取り込まれることから、被写体と撮像側とのいずれか一方、又は双方が撮影中に動くと、これらの各色の画像信号を重ね合わせた時に静止画として表示する場合には色ずれが発生してしまう。

色ずれなどの画像劣化の少ない静止画を得るために、被写体や撮像側の動きを検出する回路（例えば、特許文献１参照）や、色ずれを検出する装置（例えば、特許文献２参照）が提案されている。特許文献１に記載された提案は、面順次に撮像された各画像について、各画像の範囲内で特定の領域を設定し、設定された領域に基づいて静止画メモリに記憶された各色画像間の色ずれ情報を得ることで、被写体や撮像側の動きを検出するものである。また、特許文献２に記載された提案は、面順次に撮像された各画像について、各画像の範囲内で特定の領域を設定し、設定された領域に基づいて静止画メモリに記憶された各色画像間の色ずれ情報を得ることで、同時化メモリから出力される各色画像を上下左右方向へ移動させて、静止された画像間の色ずれ量を最小とするようにぶれ補正を行うものであり、特に、ＣＣＤの画素数の違いや静止画時の拡大率の違いによる色ずれや、被写体が一定の明るさ以上の場合の色ずれを適正に補正するものである。
特許第２８２８１０５号公報（図１） 特開２００１−１６９３００号公報（図１）

しかしながら、これらの提案においては、Ｇ画像の信号波形の輝度レベルと、Ｒ画像（またはＢ画像）の信号波形の輝度レベルとの差分値を算出し、差分値に応じて色ずれ度数を積算しており、例えば映像信号レベルを１０ｂｉｔとした場合に、Ｇ画像とＲ画像（またはＢ画像）との差分がわずか１ｂｉｔしかなくとも色ずれであると判定するため、ＣＣＤで撮像する際に各画像に生ずるノイズ成分も色ずれと検出してしまう。従って、多少のノイズはあるが色ずれはない画像も、色ずれがあるものとして検出されてしまうという問題があった。また、画像が明るくなると、各色画像間の差分が大きくなる傾向があり、かつ、ノイズ成分が多く含まれるようになるため、画像が明るくなればなるほど、本来色ずれではない画像を色ずれが生じていると誤検出する確率が高くなってしまうという問題があった。

そこで、本発明においては、色画像の属性情報に基づいて色ずれの判定に用いる閾値を調整することで色ずれの誤検出を防止し、各色画像間のぶれを適正に補正することができる電子内視鏡装置及び色ずれ補正装置を提供することを目的とする。

本発明の内視鏡用画像処理装置は、被写体の体腔内を面順次に撮像して撮像信号を生成する撮像手段を備えた電子内視鏡と、前記電子内視鏡に着脱自在に接続されて前記撮像信号を映像信号に変換処理する信号処理装置と、前記信号処理装置と着脱自在に接続されて前記映像信号を表示する映像表示装置とを備えた電子内視鏡装置において、前記信号処理装置は、前記面順次の撮像信号を、それぞれを合成することで１つの画像を形成するための複数の色画像を色信号別に記憶する記憶手段と、前記複数の色画像間の色ずれの検出基準となる閾値を調整する閾値調整手段と、前記複数の色画像のそれぞれに対し、前記色画像を構成する複数の画素における隣接画素との差分値を算出し、前記差分値と前記閾値とを比較して差分値を調整する差分値算出調整手段と、前記調整された差分値から前記複数の色画像間の色ずれ量を算出する色ずれ算出手段と、前記色ずれ量が最小となるように、前記複数の色画像の中の少なくとも１の色画像を他の色画像に対して上下左右方向にシフトさせる画像移動手段とを備えている。

色画像の属性情報に基づいて色ずれの判定に用いる閾値を調整することで色ずれの誤検出を防止し、各色画像間のぶれを適正に補正することができる電子内視鏡装置及び色ずれ補正装置を実現することができる。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
まず、図１に基づき、本発明の第１の実施の形態に係わる電子内視鏡装置１の全体構成について説明する。図１は、本実施の形態に係わる電子内視鏡装置１の全体構成を説明するブロック図である。図１に示すように、本実施の形態の電子内視鏡装置１は、撮像手段を備えた電子内視鏡２と、信号処理装置としてのビデオプロセッサ３と、電子内視鏡２に照明光を供給する光源装置４と、ビデオプロセッサ３から出力される映像信号を表示する、映像表示装置としてのモニタ５とから構成されている。

電子内視鏡２の本体は、操作部６と、操作部６の先端側に連設された細長で例えば可動性を有する挿入部7と、操作部６の側部から延出し、基端側が二股に分岐した、可撓性を有するケーブル８とから構成されており、この本体に内視鏡の機能が組み込まれている。ケーブル８の分岐した基端部にはそれぞれコネクタ９、１０が設けられており、ケーブル８は、コネクタ９を介してビデオプロセッサ３と、コネクタ１０を介して光源装置４と接続されている。挿入部７の先端には、対物レンズ１１と、固体撮像素子としてのＣＣＤ１２とが取り付けられており、ＣＣＤ１２は対物レンズ１１の結像位置に配置されている。ＣＣＤ１２の基端側から駆動信号線１３と出力信号線１４とが延出し、この駆動信号線１３と出力信号線１４とは、挿入部７、操作部６、ケーブル８内を挿通し、コネクタ９を介してビデオプロセッサ３に接続されている。また、電子内視鏡２には、挿入部７の先端まで照明光を伝達するガラスファイバ束であるライトガイド１５が配置され、このライトガイド１５は、挿入部７、操作部６、ケーブル８内を挿通し、コネクタ１０を介して光源装置４に接続されている。光源装置４から出射される照明光が、ライトガイド１５の入射端に入射されるようになっている。

光源装置４は、白色光を発生する光源ランプ１６と、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の三原色の色透過フィルタを有し、モータ１７によって駆動される回転フィルタ１８とを備えている。光源ランプ１６から射出された白色光は、その光路中に配置された回転フィルタ１８を透過して、順次、Ｒ、Ｇ及びＢの各波長の照明光になされた後、集光レンズ１９によって集光され、ライトガイド１５の入射端に入射される。ライトガイド１５の先端より出射されたＲ、Ｇ及びＢの各照明光により被写体から反射した光は、対物レンズ１１を透過してＣＣＤ１２の撮像面に結像され、光電変換されて光学像から撮像信号へ変換される。回転フィルタ１８は、回転フィルタ駆動回路２０によって駆動され、通常は２０Ｈｚで回転している。ＣＣＤ１２での露光と遮光とは回転フィルタ１８の回転に合わせて行われるよう制御されており、例えば上述のように、回転フィルタ１８が２０Ｈｚで回転している場合、各色毎に１／６０Ｈｚのタイミングで露光と遮光とが繰り返されている。

色ずれ補正装置としてのビデオプロセッサ３には、ＣＣＤ１２に対して駆動信号を出力する駆動回路２１が設けられている。また、ビデオプロセッサ３には、ＣＣＤ１２で撮像された信号を処理する各種処理機構として、前処理回路２２と、同時化メモリ２３、２７と、静止画処理回路２４と、拡大縮小回路２５と、強調回路２６とが設けられている。ＣＣＤ１２で撮像された撮像信号は、コネクタ９を経由して前処理回路２２へ出力される。前処理回路２２は、プリアンプ回路、ＣＤＳ回路、Ａ／Ｄ変換回路、絶縁回路、ＯＢクランプ回路、オートゲインコントロール（ＡＧＣ）回路、ホワイトバランス処理回路の図示しない各回路を有している。前処理回路２２に入力された撮像信号は、プリアンプ回路を経て、ＣＤＳ回路で相関二重サンプリングを行いノイズが除去されてベースバンド化された後、Ａ／Ｄ変換回路でアナログ信号からデジタル信号へと変換される。撮像信号から変換されてデジタル化された映像信号は、フォトカプラなどの絶縁回路を通してＯＢクランプ回路へ出力され、オプティカルブラック（ＯＢ）部がクランプ処理された後、ＡＧＣ回路で信号のレベルが適正なレベルになるようにゲインが自動制御され、ホワイトバランス回路に出力される。ホワイトバランス回路に入力された信号は、ホワイトバランス調整、すなわち、光学系の透過特性などの機材ばらつき（機種による差や個体差を含む）から生じた色調のばらつきを補正するために、基準となる白の被写体を撮像した場合にＲ、Ｇ及びＢの各色信号のレベルが等しくなるように、各色信号に対してゲイン調整がなされ、前処理回路２２での各種処理を終了する。前処理回路２２での処理によって、変換及び調整された、Ｒ、Ｇ及びＢの各色成分の面順次デジタル映像信号は、時系列的に記憶手段としての同時化メモリ２３へ書き込まれ、読み出されるときに同時化される。

Ｒ、Ｇ及びＢのそれぞれの信号に対して静止画指示がなされている場合、同時化メモリ２３から静止画処理回路２４へ、同時化された映像信号が出力される。静止画像生成手段としての静止画処理回路２４は、同時化メモリ２３から出力された映像信号を静止画処理する回路であり、Ｒ、Ｇ及びＢの各色画像間の色ずれを軽減させる、ぶれ補正処理回路２８を備えている。ぶれ補正処理回路２８は、事前に設定された条件に従って機能するように制御されている。同時化メモリ２３から出力された映像信号、もしくは静止画処理回路２４で静止画処理された映像信号は、図示しない面順次回路によって再度面順次化され、後段の図示しない色調調整回路で色調が調整された後に、図示しないγ補正回路でγ補正される。γ補正された映像信号は、拡大縮小回路２５に出力されて、表示される画像の大きさを観察者の任意の大きさに調整すべく、電子拡大もしくは電子縮小処理が行われ、強調回路２６へ出力される。強調回路２６では、映像信号に対して構造強調や輪郭強調などの強調処理が行われる。強調回路２６から出力されたＲ、Ｇ及びＢの各色成分の面順次デジタル映像信号は、時系列的に同時化メモリ２７へ書き込まれ、読み出されるときに同時化される。

同時化メモリ２７から出力された同時化された映像信号は、セレクタ回路２９に入力される。セレクタ回路２９では、ＣＰＵ３０で生成された文字や画像マスク信号を映像信号に重畳してＤ／Ａ変換回路３１へ出力する。また、セレクタ回路２９では、Ｄ／Ａ変換回路３１へ出力する信号を、映像信号から、ＣＰＵ３０より出力されるメニュー画面やカラーバーなどのテスト画面の信号へ切り替える操作も行われる。Ｄ／Ａ変換回路３１では、デジタルの映像信号がアナログのＲ、Ｇ及びＢ信号に変換されて後処理回路３２へ出力される。後処理回路３２の図示しない回路において、Ｒ、Ｇ及びＢ信号は、例えば、内視鏡形状検出装置から入力される画像と合成されたり、ファイリング装置の画像と切り替えられたりといった、図示しない外部機器からの入力画像との合成や切り替え処理がなされる。処理されたＲ、Ｇ及びＢ信号は、引き続きゲイン調整などが行われた後、図示しない７５Ωドライブ回路を通して、モニタ５や図示しない外部記録機器などに出力される。

ＣＰＵ３０は、ビデオプロセッサ３内の各回路と制御線で電気的に接続されており、図示しないキーボードを操作することによって、セレクタ回路２９において映像信号に重畳される、文字や画像マスク信号を生成したり、メニュー画面やテスト画面への切り替えを行ったりする。ＣＰＵ３０は、セレクタ回路２９を制御する他にも、前処理回路２２を制御して上述した処理を実行させたり、同期信号発生回路（ＳＳＧ回路）３３やＤ／Ａ変換回路３１に対して制御信号を出力して同期信号や映像信号の出力を制御したりしている。

ＳＳＧ回路３３は、前処理回路２２や同時化メモリ２３、２７において適切な信号処理が行われるように、これらに対してクロック信号（ＣＬＫ信号）や内部同期信号を出力している。また、ＳＳＧ回路３３は、標準ＴＶ方式に則った外部同期信号を生成して、同時化メモリ２７やセレクタ回路２９の信号処理等も行っている。尚、本実施の形態においては、フィールド周波数５９．９４Ｈｚ（もしくは６０Ｈｚ）で走査線数が５２５本のインターレース方式であるＮＴＳＣ方式、あるいはフィールド周波数５０Ｈｚで走査線数が６２５本のインターレース方式であるＰＡＬ方式のいずれかの方式に則った外部同期信号がＳＳＧ回路３３から出力されている。更に、ＳＳＧ回路３３は、回転フィルタ１８の回転周期に同期してＣＣＤ１２の露光と遮光とが繰り返し行われるように、ＣＣＤ１２を駆動させる駆動回路２１と、回転フィルタ駆動回路２０とに対して同期信号を出力している。ＳＳＧ回路３３から出力される同期信号に従って、回転フィルタ１８が遮光されるタイミングに合わせて、画素データである撮像信号がＣＣＤ１２から読み出される。

光源ランプ１６から出射された照明光の光路上に挿入された回転フィルタ１８が、回転フィルタ駆動回路２０によって回転させられることにより、照明光が間欠的に遮断される。回転フィルタ１８を照明光が透過するタイミングで被写体が照射され、ＣＣＤ１２は露光状態になされる。また、回転フィルタ１８で照明光が遮断されるタイミングで、ＣＣＤ１２は遮光状態になされる。ＣＣＤ１２では、露光状態にあるときに画素に電荷が蓄積され、遮光状態にあるときに蓄積された全ての電荷が読み出される。すなわち、ＳＳＧ回路３３から出力される同期信号により、この電荷の蓄積と読み出しの動作が回転フィルタ１８の回転タイミングに合わせて繰り返し行われ、ＣＣＤ１２で撮像された撮像信号がビデオプロセッサ３に出力されて画像処理される。

次に、静止画処理回路２４に設けられた、Ｒ、Ｇ及びＢの各色画像間の色ずれを軽減させるぶれ補正処理回路２８の構成について、図２を用いて説明する。図２は、ぶれ補正処理回路２８の構成を説明するブロック図である。Ｒ、Ｇ及びＢの各色画像間の色ずれは、水平（Ｈ）方向に色ずれする場合と、垂直（Ｖ）方向に色ずれする場合とがあるが、ここではまず、水平（方向）の色ずれを検出する場合を例にあげて説明する。尚、本実施の形態においては、ぶれ補正処理回路２８に入力される映像信号は１０ｂｉｔ階調で処理される。

同時化メモリ２３から出力されたＲ、Ｇ及びＢ信号は、それぞれ入力端子４１、４２、４３に入力される。入力端子４１に入力されたＲ信号は、そのまま比較回路４４に出力されると共に、１クロック（１ＣＫ）遅延回路４５にも出力される。１ＣＫ遅延回路４５では、入力されたＲ信号が１クロック遅延されて、比較回路４４へ出力される。比較回路４４では、入力端子４１から入力された信号と、１ＣＫ遅延回路４５から入力された信号との差分であるΔＲが算出される。比較回路４４への入力信号をＲ、Ｒ´とすると、これらの比較結果であるΔＲを、Ｒ＞Ｒ´、Ｒ＝Ｒ´、Ｒ＜Ｒ´の３通りの何れかに分類する３値処理が行われて、３値化信号として出力される。

ここで、ぶれ補正処理回路２８には、Ｇ画像における個々の画素の輝度レベルを検出する、閾値調整手段としての輝度レベル検出回路２８ａが設けられている。輝度レベル検出回路２８ａでは、ビデオプロセッサ３に接続される電子内視鏡２に応じて設定された、ぶれ補正領域内の画素についてその属性値である輝度レベルが検出され、検出結果に基づいて、差分値算出調整手段としての比較回路４４、４６、４８における差分演算に用いる閾値が設定される。閾値は、例えば図３に示すように、画素の輝度レベルに応じて５段階に設定されている。図３は、輝度レベルと閾値との関係を説明する図である。ぶれ補正処理回路２８に入力される映像信号が１０ｂｉｔ階調で処理される場合、画素の輝度レベルは０〜１０２３のいずれかの値をとる。輝度レベルを図３に示すように、０〜６３、６４〜１２７、１２８〜２５５、２５６〜５１１、５１２〜１０２３の５段階に区分し、検出対象画素の輝度レベルが０〜６３場合は閾値が２に、６４〜１２７の場合は閾値が４に、１２８〜２５５の場合は閾値が８に、２５６〜５１１の場合は閾値が１６に、５１２〜１０２３の場合は閾値が３２に設定される。尚、輝度レベルの区分は、図３に示す５段階に限定されるものではなく、例えば接続される電子内視鏡２に応じて異なる区分を設定してもよい。

すなわち、輝度レベル検出回路２８ａでは、比較回路４４、４６、４８において差分演算が行われる前に、差分演算の対象である隣接する二つの画素の輝度レベルを検出し、差分演算の閾値を設定する。比較回路４４、４６、４８では、差分演算を行った後に、算出された差分値と輝度レベル検出回路２８ａによって設定された閾値とを比較し、差分値が閾値未満である場合には、差分値がない、すなわちＲ＝Ｒ´であるものとして３値化処理を行う。言い換えると、比較回路４４、４６、４８は、差分値が閾値を超えている場合に差分値を差が有りとし、差分値が閾値を超えていない場合に差分値を差が無しとして調整するように３値化処理を行う。

比較回路４４での３値化処理によって、例えば、Ｒ＞Ｒ´の場合は＋が、Ｒ＝Ｒ´の場合は０が、Ｒ＜Ｒ´の場合は−が出力される。入力端子４２に入力されたＧ信号、及び入力端子４３に入力されたＢ信号も、Ｒ信号と同様に、１クロック遅延された信号との差分であるΔＧ、ΔＢが算出され、それぞれ３値化信号として出力される。すなわち、入力端子４２に入力されたＧ信号は、そのまま比較回路４６へ出力されると共に１ＣＫ遅延回路４７にも出力される。１ＣＫ遅延回路４７では、入力されたＧ信号が１クロック遅延されて、比較回路４６へ出力される。比較回路４６では、入力端子４２から入力された信号と、１ＣＫ遅延回路４７から入力された信号との差分であるΔＧが算出され、輝度レベル検出回路２８ａによって設定された閾値との比較が行われた後に３値化処理が施され、３値化信号として出力される。また、入力端子４３に入力されたＢ信号は、そのまま比較回路４８へ出力されると共に１ＣＫ遅延回路４９にも出力される。１ＣＫ遅延回路４９では、入力されたＢ信号が１クロック遅延されて、比較回路４８へ出力される。比較回路４８では、入力端子４３から入力された信号と、１ＣＫ遅延回路４９から入力された信号との差分であるΔＢが算出され、輝度レベル検出回路２８ａによって設定された閾値との比較が行われた後に３値化処理が施され、３値化信号として出力される。

比較回路４４から出力された差分信号ΔＲと、比較回路４６から出力された差分信号ΔＧとは、不一致回路５０へ入力されて、ΔＧに対するΔＲの一致、不一致が検出される。また、比較回路４６から出力された差分信号ΔＧと、比較回路４８から出力された差分信号ΔＢとは、不一致回路５１へ入力されて、ΔＧに対するΔＢの一致、不一致が検出される。不一致回路５０から出力された検出信号ＦＬ１と、不一致回路５１から出力された検出信号ＦＬ２とは、２入力のオア回路５２に入力されて論理和がとられ、Ｒ、Ｇ及びＢの各信号間の相関が求められて、色ずれ度数ＦＬ３として出力される。色ずれ算出手段としての色ずれ度数算出回路５３は、オア回路５２から入力された色ずれ度数ＦＬ３を、色ずれ検索領域内の画素について積算し、積算した色ずれ度数を色ずれ最小画像算出回路５４へ出力する。尚、色ずれ度数の積算は、Ｒ、Ｇ及びＢの各色画像が同時化された１画像フレーム単位、すなわち、１画面単位で行われる。色ずれ最小画像算出回路５４では、色ずれ探索領域内で、Ｇ画像を基準としてＲ画像及びＢ画像の各領域を、水平（Ｈ）方向にシフトさせて積算したＲ（又はＢ）信号の色ずれ度数の中で、最小の色ずれ度数が求められる。

次に、ぶれ補正処理回路２８における色ずれの検出方法を、図４を用いて説明する。図４は、ぶれ補正処理回路２８における色ずれの検出方法の一例を説明する図である。図４における符号Ｒ、Ｇ、Ｂ、ΔＲ、ΔＧ、ΔＢ、ＦＬ１、ＦＬ２、ＦＬ３は、図２に示した符号と同じ信号を表している。図４において、横軸に示す時間に対し、縦軸に示す映像信号Ｒ、Ｇ及びＢの各レベルが時間的に変化する。つまり、時間軸に対してＲ、Ｇ及びＢの各レベルに変動が生じると、所定のサンプル間隔における各差分信号（ΔＲ、ΔＧ、ΔＢ）に変化（＋、０、−）が生じる。尚、一般的には、Ｒ信号、Ｇ信号及びＢ信号は互いに複数のサンプル間隔（複数クロック時間）ずれているが、図４に示すサンプル間隔は、回転フィルタ１８を構成するＲ、Ｇ及びＢの色フィルタ毎の回転時間差に相当した撮像信号遅延時間（１クロック遅延時間）に対応している。色ずれ検出領域において、Ｒ信号とＧ信号との間、及びＧ信号とＢ信号との間には、１サンプル間隔のずれがあるため、Ｒ信号及びＢ信号を、Ｇ信号を基準（中心）にして１サンプル間隔ずらすとＲ、Ｇ及びＢ画像を一致させることができ、すなわち色ずれを最小とすることができる。ΔＲとΔＧとの排他的論理和（ＥＸ−ＯＲ）出力ＦＬ１は、Ｒ画像とＧ画像との色ずれ状態を表しており、ΔＧとΔＢとの排他的論理和（ＥＸ−ＯＲ）出力ＦＬ２は、Ｇ画像とＢ画像との色ずれ状態を表している。従って、ＦＬ１とＦＬ２との論理和（ＯＲ）出力ＦＬ３が、Ｒ画像、Ｇ画像及びＢ画像のトータルの色ずれ状態を表す情報として出力される。

垂直（Ｖ）方向の色ずれについては、同時化メモリ２３から出力されたＲ、Ｇ及びＢ信号を、図示しないラインメモリによってシフトし、シフト後のＲ、Ｇ及びＢ信号がそれぞれラインメモリから入力端子４１、４２、４３に入力される。入力端子４１、４２、４３に入力された信号を用い、Ｒ画像及びＢ画像における色ずれ検出対象領域内の画素について、水平（Ｈ）方向の色ずれ検出方法と同様にして色ずれを検出し、積算した色ずれ度数データの中で色ずれが最小となる色ずれ度数最小値を選択する。上述のようにして得られた、水平（Ｈ）方向の色ずれ度数最小値と、垂直（Ｖ）方向の色ずれ度数最小値とを更に比較し、その結果に基づいて色ずれが最小となるように画像のぶれを補正し、補正した静止画像を後段の回路へ出力する。

つまり、ぶれ補正処理回路２８では、Ｇ画像の信号波形とＲ画像（またはＢ画像）との差を演算し、Ｇ画像に対してＲ画像（またはＢ画像）が遅れていたり、進んでいたりした場合に、その差分（すなわちＲとＧとの差分、ＧとＢとの差分）に応じて色ずれ度数が積算されていく。但し、差分値が、画素の輝度レベルに応じて設定された閾値未満である場合は、たとえ差分値が０でないとしても色ずれとしては検知せず、色ずれ度数が加算されない。差分値が閾値以上である場合に、色ずれがあるものとして検知し、差分に応じて色ずれ度数が加算される。そして、色ずれ探索領域内で、Ｇ画像を基準にＲ画像、Ｂ画像の各領域が水平（Ｈ）方向及び垂直（Ｖ）方向にシフトされ、シフトされたＲ、Ｂ画像毎に色ずれが検出されて積算された色ずれ度数データから、最小の色ずれ度数が選択される。更に、最小の色ずれ度数に従って画像のぶれが補正され、補正後の静止画像が後段の回路へと出力される。

尚、本実施の形態においては、図示しないメニュー画面において、Ｇ画像を基準としてＲ画像またはＢ画像の位置を上下左右にシフトさせる際の画像のシフト量を、０画素、２画素、４画素、８画素の４パターンから選択することができる。シフト量が複数用意されていることで、観察部位の色ずれの多少に応じて適切なシフト量を設定することができる。例えば食道観察時において、拍動の激しい箇所では色ずれが多いためにシフト量を８画素に設定し、画像の動きの少ないその他の箇所では色ずれが少ないためにシフト量を２画素もしくは４画素に設定して、観察を行うことができる。シフト量が０画素の場合は、画像をシフトさせてぶれ補正を行うことはせず、次のように色ずれ補正処理を行う。すなわち、静止画像表示が選択された後、所定時間内で一番色ずれの少ない画像を選択し、出力する。具体的には、図２から図４を用いて説明した上述の色ずれ検出方法を用い、Ｒ画像またはＢ画像をシフトさせない状態で、静止画のＧ画像とＲ画像またはＢ画像との差分を算出して積算し、１画面分の色ずれ度数を算出する。この場合も、設定された閾値以上の差分のみを色ずれとして検出する。算出された色ずれ度数は図示しないメモリに格納されて、静止画像表示が選択されてから所定時間までの間に算出され、同じくメモリに格納されている他の静止画像の色ずれ度数と比較される。比較の結果、色ずれ度数が最小である静止画像が出力される。

上述のように構成された電子内視鏡装置１の作用について、図５を用いて説明する。図５は、ぶれ補正処理回路２８におけるぶれ補正処理を説明するフローチャートである。電子内視鏡装置１の電源を投入して動作状態にすると通常の観察が開始され、ステップＳ１においてモニタ５に内視鏡画像が動画で表示される。続いて、ステップＳ２において、ぶれ補正処理回路２８の輝度レベル検出回路２８ａに入力されたＧ信号の輝度レベルから、色ずれ検出基準となる閾値が設定される。次に、ステップＳ３において、比較回路４４、４６、４８は、それぞれＲ、Ｇ、Ｂの各色信号についての差分値ΔＲ、ΔＧ、ΔＢを算出し、引き続きステップＳ４において、算出された差分値と、ステップＳ２において設定された閾値とを比較する。差分値が閾値以上である場合は、ステップＳ５に進んで色ずれがあると判定する。すなわち、ステップＳ５において、比較回路４４、４６、４８は算出した差分値ΔＲ、ΔＧ、ΔＢをそのまま用いて３値化処理を行い、３値化された信号を不一致回路５０、５１へ出力し、ステップＳ７へ進む。ステップＳ４において差分値が閾値未満である場合は、ステップＳ６へ進んで色ずれがないと判定する。すなわち、ステップＳ６において、比較回路４４、４６、４８は算出した差分値ΔＲ、ΔＧ、ΔＢを０とみなして３値化処理を行い、３値化された信号を不一致回路５０、５１へ出力し、ステップＳ７へ進む。

ステップＳ７においては、ステップＳ５もしくはステップＳ６からの色ずれ情報を用いて、１画面分の色ずれ度数を算出する。すなわち、ステップＳ７において、不一致回路５０、５１は入力された差分信号の一致、不一致を検出して、検出信号ＦＬ１、ＦＬ２をオア回路５２へ出力する。オア回路５２は入力された検出信号ＦＬ１、ＦＬ２との論理和をとることでＲ、Ｇ、Ｂの信号間の相関を求め、色ずれ度数ＦＬ３として色ずれ度数算出回路５３へ出力する。色ずれ度数算出回路５３は、オア回路５２から入力された色ずれ度数ＦＬ３を色ずれ検索領域内の画素について積算し、１画面分の色ずれ度数を算出する。続いて、ステップＳ８において、事前に設定された画面数分の、ステップＳ７において算出された色ずれ度数の中から、１画面分の色ずれ度数が最小のものを特定する。

次に、ステップＳ９において、図示しないキーボードや、電子内視鏡２に設けられた操作スイッチなどから、静止画像表示の指示が入力されたか否かを判定する。静止画像表示の指示が入力されていないと判定した場合はステップＳ１に戻り上述の処理を繰り返し行う。静止画像表示の指示が入力されたと判定した場合はステップＳ１０に進み、Ｇ画像を基準として、Ｒ画像またはＢ画像を、メニュー画面から選択されて事前に設定されている画素数分、上下左右の何れかの方向にシフトさせる。次に、ステップＳ１１において、シフト後の画像について、１画面分の色ずれ度数を算出する。尚、ステップＳ１１における色ずれ度数の算出は、ステップＳ３からステップＳ７の処理と同一である。続いて、ステップＳ１２において、Ｒ画像またはＢ画像を上下左右の全方向にシフトさせて色ずれ度数を算出したか否かを判定する。全方向へのシフトが終了していない場合、ステップＳ１０に戻り、シフトしていない方向にＲ画像またはＢ画像をシフトさせて、色ずれ度数を算出する。上下左右の４方向ともシフトが終了し、それぞれの色ずれ度数を算出している場合、ステップＳ１３へ進み、色ずれ度数が最小になるシフト方向と、その方向へ画像をシフトした場合の色ずれ度数とを特定する。

続いて、ステップＳ１４において、画像シフト前の最小色ずれ度数、すなわちステップＳ８において特定された色ずれ度数と、画像シフト後の最小色ずれ度数、すなわちステップＳ１３において特定された色ずれ度数とを比較する。ステップＳ８において特定された色ずれ度数のほうが、ステップＳ１３において特定された色ずれ度数よりも小さい場合、ステップＳ１５に進み、そうでない場合はステップＳ１６へ進む。ステップＳ１５においては、ステップＳ８で特定された色ずれ度数が算出された、ぶれ補正を行っていない画像を静止画像としてモニタ５に表示する。ステップＳ１６においては、ステップＳ１３で特定された色ずれ度数が算出された画像、すなわち、Ｒ画像またはＢ画像をＧ画像に対して設定された画素数だけシフトさせてぶれ補正処理を行った画像を、静止画像としてモニタ５に表示する。尚、ステップＳ１０において、シフト量として０画素が設定されている場合、ステップＳ１１からステップＳ１４の処理をスキップしてステップＳ１５の処理が実行される。

このように、本実施の形態の電子内視鏡装置では、Ｇ画像信号の輝度レベルが低く画像が暗い部分には、わずかな色ずれも検出できるように色ずれの判定に用いる閾値を小さく設定し、輝度レベルが高く画像が明るい部分には、肉眼では確認されないような色ずれや撮像時に生じたノイズを色ずれと判定しないように、色ずれの判定に用いる閾値を大きく設定することで、色ずれの誤検出を防止し、各色画像間のぶれを適正に補正することができる。従って、静止画像には画像の暗い部分と明るい部分とが混在するが、画像が暗い部分、例えばＧ画像信号の輝度レベルが１０ｂｉｔ階調で１２７以下の場合は閾値を２とし、画像が明るい部分、例えばＧ画像信号の輝度レベルが１０ｂｉｔ階調で５１２以上の部分では閾値を３２とするなど、それぞれの輝度に応じて閾値を調整することで、適切に画像のぶれを補正することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本実施の形態における電子内視鏡装置１の構成は、ぶれ補正処理回路２８に設けられたＧ画像の個々の画素の輝度レベルを検出する輝度レベル検出回路２８ａを、Ｇ画像の複数の画素の輝度レベルの平均値である平均輝度レベルを算出する平均輝度レベル検出回路２８ｂに置き換えれば、第１の実施の形態の電子内視鏡装置１と同様の構成であるので、同じ構成については同じ符号を付して説明は省略する。ここでは特徴となる、平均輝度レベル検出回路２８ｂについて説明する。

平均輝度レベル検出回路２８ｂでは、ビデオプロセッサ３に接続される電子内視鏡２に応じて設定された、ぶれ補正領域内の画素について平均輝度レベルが検出され、検出結果に基づいて、比較回路４４、４６、４８での差分演算に用いる閾値が設定される。閾値は、例えば図６に示すように、色画像の一つであるＧ画像の平均輝度レベルと比例関係になるように設定されており、平均輝度レベルが高くなると閾値も高い値が設定されるようになっている。図６は、第２の実施の形態における平均輝度レベルと閾値との関係を説明する図である。図６に示す平均輝度レベルと閾値との関係は、ルックアップテーブルとして登録されており、検出された平均輝度レベルをこのルックアップテーブルに照らし合わせることで閾値が設定される。尚、閾値を、平均輝度レベルと比例関係になるように設定するのではなく、図７に示すように、平均輝度レベルが高くなるとこれに応じて閾値は指数的に高くなるように設定してもよい。図７は、第２の実施の形態における平均輝度レベルと閾値との別の関係を説明する図である。また、接続される電子内視鏡２に応じて、平均輝度レベルと閾値の対応関係が変更されるようにしてもよい。更には、第一の実施の形態における輝度レベルの区分と同様に、平均輝度レベルを５段階に区分して、区分毎に対応する閾値を設定しておき、算出された平均輝度レベルがどの区分に属するかによって閾値を設定するようにしてもよい。尚、ルックアップテーブルは、各種信号処理を行っているＦＰＧＡ（Field Programmable Gate Array）の内部メモリを使用して構成されているが、ＦＰＧＡの内部メモリの代わりに外部に接続されるフラッシュメモリを使用して構成してもよい。

本実施の形態における電子内視鏡装置１のぶれ補正処理は、図５のステップＳ２における、Ｇ画像の個々の画素の輝度レベルから色ずれ検出基準となる閾値を設定する処理を、Ｇ画像のぶれ補正領域内の画素の平均輝度レベルから閾値を設定する処理に置き換えれば、第一の実施の形態のぶれ補正処理と同様であるので、説明を省略する。

このように、本実施の形態の電子内視鏡装置では、Ｇ画像信号の輝度レベルが低く全体的に画像が暗い場合には、わずかな色ずれも検出できるように色ずれの判定に用いる閾値を小さく設定し、輝度レベルが高く全体的に画像が明るい場合には、肉眼では確認されないような色ずれや撮像時に生じたノイズを色ずれと判定しないように、色ずれの判定に用いる閾値を大きく設定することで、色ずれの誤検出を防止し、各色画像間のぶれを適正に補正することができる。また、全ての画素について閾値を算出するのではなく、１画面分につき閾値を１つ算出すればよいので、処理の高速化を図ることができる。

以上の実施の形態から、次の付記項に記載の点に特徴がある。

（付記項１）被写体を光電変換して撮像信号を出力する撮像手段を備えた電子内視鏡と、前記電子内視鏡が着脱自在に接続され、前記撮像手段で得られた前記撮像信号に対する信号処理を行い映像信号を生成する信号処理装置と、前記信号処理装置と接続され前記映像信号を表示する映像表示装置とを備えた電子内視鏡装置において、
撮像された面順次画像を各ＲＧＢの色画像別にメモリへ書き込んで同時化する同時化手段と、
前記同時化手段で静止画像を生成させる静止画像生成手段と、
前記各色画像に対して隣接画素との差分値を求める差分値算出手段と、
前記差分値がある閾値を超えた場合に前記各色画像間の色ずれ量を算出する色ずれ算出手段と、
前記閾値を前記各色画像の属性値に応じて調整する閾値調整手段と、
算出された前記色ずれ量が最小となるように前記各色画像を上下左右に移動させる画像移動手段と
を設けたことを特徴とする電子内視鏡装置。

（付記項２）前記属性値が、差分値を取る画素の輝度レベルとすることを特徴とする、付記項１に記載の電子内視鏡装置。

（付記項３）前記属性値が、前記各色画像の平均値とすることを特徴とする、付記項１に記載の電子内視鏡装置。

（付記項４）前記画像移動手段が、Ｇ画像に対してＲ画像及びＢ画像を移動させることを特徴とする、付記項１ないし付記項３のいずれかに記載の電子内視鏡装置。

本実施の形態に係わる電子内視鏡装置１の全体構成を説明するブロック図である。 ぶれ補正処理回路２８の構成を説明するブロック図である。 輝度レベルと閾値との関係を説明する図である。 ぶれ補正処理回路２８における色ずれの検出方法の一例を説明する図である。 ぶれ補正処理回路２８における、ぶれ補正処理を説明するフローチャートである。 第２の実施の形態における平均輝度レベルと閾値との関係を説明する図である。 第２の実施の形態における平均輝度レベルと閾値との別の関係を説明する図である。

符号の説明

１ 電子内視鏡装置、 ２ 電子内視鏡、 ３ ビデオプロセッサ、 ４ 光源装置、 ５ モニタ、 ６ 操作部、 ７ 挿入部、 ８ ケーブル、 ９、１０ コネクタ、 １１ 対物レンズ、 １２ ＣＣＤ、 １３ 駆動信号線、 １４ 出力信号線、 １５ ライトガイド、 １６ 光源ランプ、 １７ モータ、 １８ 回転フィルタ、 １９ 集光レンズ、 ２０ 回転フィルタ駆動回路、 ２１ 駆動回路、 ２２ 前処理回路、 ２３、２７ 同時化メモリ、 ２４ 静止画処理回路、 ２５ 拡大縮小回路、 ２６ 強調回路、 ２８ ぶれ補正処理回路、 ２８ａ 輝度レベル検出回路、 ２９ セレクタ回路、 ３０ ＣＰＵ、 ３１ Ｄ／Ａコンバータ、 ３２ 後処理回路、 ３３ 同期信号発生回路（ＳＳＧ回路）
代理人 弁理士 伊 藤 進

Claims (6)

1. 被写体の体腔内を面順次に撮像して撮像信号を生成する撮像手段を備えた電子内視鏡と、前記電子内視鏡に着脱自在に接続されて前記撮像信号を映像信号に変換処理する信号処理装置と、前記信号処理装置と着脱自在に接続されて前記映像信号を表示する映像表示装置とを備えた電子内視鏡装置において、
   前記信号処理装置は、
   前記面順次の撮像信号を、それぞれを合成することで１つの画像を形成するための複数の色画像を色信号別に記憶する記憶手段と、
   前記複数の色画像間の色ずれの検出基準となる閾値を調整する閾値調整手段と、
   前記複数の色画像のそれぞれに対し、前記色画像を構成する複数の画素における隣接画素との差分値を算出し、前記差分値と前記閾値とを比較して差分値を調整する差分値算出調整手段と、
   前記調整された差分値から前記複数の色画像間の色ずれ量を算出する色ずれ算出手段と、
   前記色ずれ量が最小となるように、前記複数の色画像の中の少なくとも１の色画像を他の色画像に対して上下左右方向にシフトさせる画像移動手段と、
   を備えたことを特徴とする電子内視鏡装置。
2. 前記差分値算出調整手段は、前記差分値が前記閾値を超えている場合に前記差分値を差が有りとし、前記差分値が前記閾値を超えていない場合に前記差分値を差が無しとして調整することを特徴とする請求項１に記載の電子内視鏡装置。
3. 前記閾値調整手段は、前記閾値を前記複数の色画像の属性値に応じて調整することを特徴とする請求項１又は請求項２に記載の電子内視鏡装置。
4. 前記属性値は、差分値を算出する前記複数の画素の輝度レベルであることを特徴とする請求項３に記載の電子内視鏡装置。
5. 前記輝度レベルは、前記複数の色画像を構成する前記複数の画素の輝度レベルの平均値であることを特徴とする請求項４に記載の電子内視鏡装置。
6. 被写体の体腔内を面順次に撮像して得られた複数の色画像間の色ずれの検出基準となる閾値を調整する閾値調整手段と、
   前記複数の色画像のそれぞれに対し、前記色画像を構成する複数の画素における隣接画素との差分値を算出し、前記差分値と前記閾値とを比較して差分値を調整する差分値算出調整手段と、
   前記調整された差分値から前記複数の色画像間の色ずれ量を算出する色ずれ算出手段と、
   前記色ずれ量が最小となるように、前記複数の色画像の中の少なくとも１の色画像を他の色画像に対して上下左右方向にシフトさせる画像移動手段と、
   を備えたことを特徴とする色ずれ補正装置。
   
   

Images