JP2009284959A - 内視鏡装置 - Google Patents

Abstract

【課題】簡易な構成によって同時式、面順次式両方に基づくカラー画像を生成することができ、像ブレ発生を防ぎながら色再現性の優れたカラー画像を得る。
【解決手段】Ｒ，Ｇ，Ｂの光を順に発光する面順次発光と、Ｒ，Ｇ，Ｂの光を同時発光可能なＬＥＤランプをスコープ先端部に設け、Ｒ，Ｇ，Ｂカラーフィルタ１５を備えた同時式ＣＣＤ１４から画素信号を読み出す。面順次発光の場合、画像信号処理回路２２において、Ｒ，Ｇ，Ｂの画像信号を抽出する。そして、像ブレが生じる場合、面順次式から同時期式へ発光方式を切り替える。
【選択図】図１

Description

本発明は、撮像素子を有するビデオスコープを備えた内視鏡装置に関し、特に、撮像方式に基づいた画像信号処理に関する。

内視鏡装置では、プロセッサ内部に光源、あるいは独自に光源装置を設ける代わりに、ＬＥＤをビデオスコープ先端部に設けることができる（例えば、特許文献１参照）。スコープ先端部には、赤（Ｒ），青（Ｇ），緑（Ｂ）の色をそれぞれ放射する複数のＬＥＤが配置され、スコープ先端部から赤色、青色、緑色の照明光を放射する。

撮像方式が面順次式のビデオスコープである場合、カラーフィルタの配設されていない撮像素子がスコープ先端部に配置される。そして面順次方式に従い、Ｒ，Ｇ，ＢのＬＥＤが順番に発光する。一方、同時式のビデオスコープの場合、カラーフィルタを配設した撮像素子が配置され、Ｒ，Ｇ，ＢのＬＥＤを同時発光させて白色光を放射する。

面順次式の場合、同時式に比べて色再現性および解像度の点で優れる。しかしながら、内視鏡装置の構成が複雑になるとともに、被写体像の動きに対してブレが生じる。この問題を解決するため、面順次式ビデオスコープ、同時式ビデオスコープの両方と接続可能であって、撮像方式に従った画像信号処理を行う内視鏡装置のプロセッサが知られている（特許文献２、特許文献３参照）。そこでは、同時式用の画像信号処理回路と面順次式の画像用信号処理回路を設け、ビデオスコープが接続されると、そのビデオスコープの撮像方式に合った画像信号処理回路を動作させる。
特開平１１−２６７０９９号公報 特開２００２−２０９８３９号公報 特公平７−３８８４４号公報

しかしながら、特許文献２、３に示す内視鏡装置では、同時式ビデオスコープと面順次式ビデオスコープ両方を用意しなければならない。また、プロセッサにも、同時式画像信号処理回路と面順次式画像信号処理回路を実装しなければならず、回路構成を簡易化できない。

本発明の内視鏡装置は、同時式ビデオスコープを使用しながら面順次式照明に基づく画像信号処理を実行可能であって、像ブレ、色ずれを抑えながら色再現性の優れた観察画像を得ることができる内視鏡装置である。

本発明の内視鏡装置は、カラーフィルタを設けた同時式撮像素子を有するビデオスコープがプロセッサに接続可能であって、Ｒ，Ｇ，Ｂに応じた照明光を同時発光もしくは面順次発光可能な光源を備える。カラーフィルタは、それぞれＲ，Ｇ，Ｂの照明光を透過し、それぞれ異なる色の波長領域で相対的に大きなスペクトルをもつ複数の色要素から構成すればよい。例えば、Ｒ，Ｇ，Ｂをモザイク配列したカラーフィルタが用いられる。

本発明の内視鏡装置は、同時発光において、前記同時式撮像素子から読み出される画素信号に基づいてカラー画像信号を生成する画像信号処理手段と、被写体像の動きを検出する動き検出手段と、観察に支障のある動きが生じている場合、面順次発光から同時発光に切り替える発光制御手段とを備え、前記画像信号処理手段が、面順次発光の場合、Ｒ，Ｇ，Ｂの各照明光に応じた色画素値を画素ごとに抽出し、カラーバランス調整しながら面順次式と同様のカラー画像信号を得ることを特徴とする。色再現性のよい観察画像を表示する場合、Ｒ，Ｇ，Ｂの面順次発光によって、面順次撮影と同様のＲ，Ｇ，Ｂの画像信号が得られる。そして、被写体像の動き、あるいはスコープ先端部の動きによって被写体像にブレが生じる場合、自動的に同時式発光に切り替えられ、同時式に応じた画像信号処理が実行される。

カラーフィルタの各色要素は、対応する色の光だけでなく、それ以外の光についても透過する性質がある。同時式では抽出されない各画素の色信号を抽出することにより、面順次式と同様、画素ごとにＲ，Ｇ，Ｂの画像信号が生成される。また、観察画像にブレが生じるときには同時発光に切り替えられ、観察状況に適した観察画像が常に表示される。カラーバランス調整としては、白色被写体のときにＲ：Ｇ：Ｂが１：１：１となるように係数を求め、対応していない色の照明光によって得られる画素値に係数を乗じればよい。

色ずれを生じないようにするため、被写体像の色ずれを検出する色ずれ検出手段を設けるのがよい。この場合、前記発光制御手段は、前記動き検出手段により許容以上の動きをする被写体像が検出され、かつ前記色ずれ検出手段により所定値以上の色ずれが検出されると、前記観察に支障がある動きが生じているものと判断して、面順次発光を同時発光に切り替えるのが望ましい。

本発明の内視鏡用画像信号処理装置は、Ｒ，Ｇ，Ｂに応じた照明光を面順次発光と同時発光との間で切り替え可能な発光制御手段と、カラーフィルタを設けた同時式撮像素子から画素信号を読み出す信号読み出し手段と、面順次発光において、Ｒ，Ｇ，Ｂの各照明光に応じた色画素値を画素ごとに抽出し、カラーバランス調整しながら面順次式と同様のカラー画像信号を得る画像信号処理手段と、被写体像の動きを検出する動き検出手段とを備え、前記発光制御手段が、観察に支障のある動きが生じている場合、面順次発光から同時発光に切り替える発光制御手段とを備えたことを特徴とする。

本発明の内視鏡用画像信号処理方法は、Ｒ，Ｇ，Ｂに応じた照明光を面順次発光させ、カラーフィルタを設けた同時式撮像素子から画素信号を読み出し、面順次発光において、Ｒ，Ｇ，Ｂの各照明光に応じた色画素値を画素ごとに抽出し、カラーバランス調整しながら面順次式と同様のカラー画像信号を取得し、被写体像の動きを検出し、観察に支障のある動きが生じている場合、面順次発光から同時発光に切り替えることを特徴とする。

本発明によれば、簡易な構成によって同時式、面順次式両方に基づくカラー画像を生成することができ、像ブレ発生を防ぎながら色再現性の優れたカラー画像を得ることができる。

以下では、図面を参照して本発明の実施形態について説明する。

図１は、本実施形態である電子内視鏡装置のブロック図である。図２は、スコープ先端面の正面図である。

電子内視鏡装置は、ビデオスコープ１０とプロセッサ２０とを備え、プロセッサ２０には、モニタ４０が接続される。撮像方式として同時式に基づくビデオスコープ１０が着脱自在にプロセッサ２０へ接続可能であり、接続されるとプロセッサ２０からビデオスコープ１０へ電源が供給される。ビデオスコープ１０の先端部１０Ｔに設けられたＣＣＤ１４には、カラーフィルタ１５が受光面上に設けられる。

ビデオスコープ１０の先端部１０Ｔには、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の光をそれぞれ放射するＬＥＤ１２Ａ、１２Ｂ、１２Ｃから成るＬＥＤランプ１２が設けられている。光源駆動部１３は、ＬＥＤ１２Ａ、１２Ｂ、１２Ｃを発光制御し、同時発光もしくは面順次発光が可能である。

同時発光の場合、Ｒ，Ｇ，Ｂの三原色が合成されて白色光が観察部位へ照射される。一方、面順次発光の場合、ＬＥＤ１２Ａ、ＬＥＤ１２Ｂ、ＬＥＤ１２Ｃが順番に繰り返し発光され、Ｒ（赤色）,Ｇ（緑色）,Ｂ（青色）に応じた照明光が順番に観察部位へ照射される。図２に示すように、ＬＥＤ１２Ａ、ＬＥＤ１２Ｂ、ＬＥＤ１２Ｃは、カラーバランスを向上させるため、対物レンズ１３を中心として等距離間隔で配置されている。

観察部位において反射した光は、対物レンズ１３を通り、対物レンズ１３の後方に位置するＣＣＤ１４の受光面に到達する。その結果、被写体像がＣＣＤ１４に形成され、被写体像に応じたアナログの一連の画素信号が生成される。カラーフィルタ１５は、Ｒ，Ｇ，Ｂにそれぞれ応じた色要素（以下、ＣＲ、ＣＧ、ＣＢと表す）をモザイク状に配列させた原色カラーフィルタであり、色要素が対応画素と向かい合うように配列している。ここでは、カラーフィルタ１５は、いわゆるベイヤー配列となっていて、互いに隣接する４つの色要素（ＣＲ、ＣＧ、ＣＢ、ＣＧ）を基本ブロックとしてカラーフィルタ１５が構成されている。

生成された一連の画素信号は、ＣＣＤドライバ１８からの駆動信号により、所定時間間隔でＣＣＤ１４から読み出される。読み出されたアナログ画素信号は、初期回路１５においてデジタル画像信号に変換され、プロセッサ２０へ送られる。ここでは、ＮＴＳＣ（あるいはＰＡＬ）方式に従って画素信号が読み出される。ここでは、ＮＴＳＣ（あるいはＰＡＬ）方式に従って画素信号が読み出され、同時式、面順次式に応じて駆動信号が切り替えられる。具体的には、１／６０秒間隔で読み出される。

プロセッサ２０の画像信号処理回路２２では、ホワイトバランス処理、ガンマ補正、マトリクス変換などの様々な処理がデジタル画素信号に対して施される。これにより、Ｒ，Ｇ，Ｂのカラー画像信号が生成される。Ｒ，Ｇ，Ｂのカラー画像信号はそのままモニタ４０へ出力され、あるいは輝度、色差信号Ｙ，Ｃｂ，Ｃｒに変換される。

ＣＰＵ、ＲＯＭ、ＲＡＭを含むシステムコントロール回路３２は、プロセッサ２０の動作を制御し、ＤＳＰ（Digital Signal Processor）によって構成される画像信号処理回路２２、光源駆動部１３など各回路へ制御信号を出力する。タイミングジェネレータ３４は、画像信号の読み出しタイミング、処理タイミングに合わせてクロックパルス信号を各回路へ出力する。システムコントロール回路３２のＲＯＭには、動作制御に関するプログラムが格納されている。

本実施形態では、撮像方式として面順次式、同時式を選択的に設定可能であり、オペレータは撮像方式ボタン３６の操作によって撮像方式を切り替え可能である。同時式が選択されると、ＬＥＤ１２Ａ〜１２Ｃが同時発光するように、光源駆動部１３が制御される。そして、画像信号処理回路２８では、同時式に応じた画像信号処理が施される。すなわち、画素混合方式に従って画素信号が処理され、色補間処理によってＲ，Ｇ，Ｂの画像信号が生成される。

一方、面順次式が撮像方式として選択された場合、ＬＥＤ１２Ａ〜１２Ｂが面順次発光するように、光源駆動部１３が制御される。そして、面順次式に従った駆動信号がＣＣＤ１４出力され、面順次式に合わせてタイミングジェネレータ３４からクロックパルスが出力される。そして、後述する画像信号処理によって、面順次式内視鏡装置によって得られるＲ，Ｇ，Ｂ画像信号と同様の画像信号が生成される。

さらに、面順次発光による撮影中、被写体の動き、あるいはスコープ先端部Ｔの動きによって観察画像に像ブレ、色ずれが生じると、面順次発光から同時発光へ自動的に切り替えられる。それに合わせて、ＣＣＤ１４への駆動信号が面順次式から同時式に切り替えられ、画像信号処理回路２２においても同時式に応じた信号処理が実行される。

図３は、カラーフィルタ１５の分光透過特性を示した図であり、図４は、ＬＥＤ１２Ａ〜１２Ｃの分光分布特性を示した図である。そして、図５は、面順次発光におけるカラー画像信号算出を示した図である。図２〜図４を用いて、面順次照明を行ったときの画素値算出方法を説明する。

図４に示すように、ＬＥＤ１２Ａ〜１２Ｃの分光分布特性は、それぞれ赤色、緑色、青色の波長領域を中心とする狭帯域のスペクトル分布Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂをもつ。一方、図３に示すように、カラーフィルタの色要素ＣＲ、ＣＧ、ＣＢの分光透過特性は、それぞれ短波長〜長波長までの広域帯域のスペクトル分布Ｔ_Ｒ、Ｔ_Ｂ、Ｔ_Ｇをもち、対応する色の波長領域で相対的に大きなスペクトル（透過率）をもっている。

このようにカラーフィルタ１５は、Ｒ，Ｇ，Ｂいずれかの波長領域の光だけでなく、それ以外の色の波長領域においても感度をもち、Ｒ，Ｇ，Ｂいずれの照明光に対しても電荷信号が出力される。例えば、ＬＥＤ１２Ａによって赤色光を発光させた場合、色要素ＣＲに応じた画素だけでなく、色要素ＣＧ、ＣＢに応じた画素からも電荷信号が検出される。

図５では、カラーフィルタ１５の任意のブロックＢに応じた隣接する４つの画素（Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４）を、具体的説明のために抽出している。面順次発光の場合、ＬＥＤ１２Ａ、１２Ｂ、１２Ｃが順にＲ、Ｇ、Ｂの光を発光する。その結果、各色に応じて画素値が得られる。ここでは、Ｒの光の画素値をＰ_ｉＲ、Ｇの光の画素値をＰ_ｉＧ、Ｂの光の画素値をＰ_ｉＢと表す（ｉ＝１〜４）。

上述したように、Ｒの光を発光させた場合、色要素ＣＲに応じた画素信号から画素値Ｐ_１Ｒが検出される一方、それ以外の画素Ｐ_２〜Ｐ_４からもＲの光によって画素値Ｐ_２Ｒ〜Ｐ_４Ｒが検出される。同様に、Ｇの光を発光したときも、画素値Ｐ_２Ｇ、Ｐ_３Ｇだけでなく色要素ＣＧに応じた画素Ｐ_２、Ｐ_３以外の画素Ｐ_１、Ｐ_４から画素値Ｐ_１Ｇ、Ｐ_４Ｇが検出され、Ｂの光を発光したときには、画素値Ｐ_４Ｂだけでなく色要素ＣＢに応じた画素Ｐ_４以外の画素Ｐ_１〜Ｐ_３から画素値Ｐ_１Ｂ〜Ｐ_３Ｂが検出される。

本実施形態では、Ｒ，Ｇ，Ｂ各色の照明光によってＲ，Ｇ，Ｂそれぞれの画素値を抽出する。そのため、画素Ｐ_１〜Ｐ_４には、Ｒ，Ｇ，Ｂに応じた３つの画素値が生成される。画素Ｐ_１〜Ｐ_４の画素値Ｍｉ（ｉ＝１〜４）は以下の式によって求められる。

Ｍ１＝Ｐ_１Ｒ＋αＰ_１Ｇ＋βＰ_１Ｂ
Ｍ２＝γＰ_２Ｒ＋Ｐ_２Ｇ＋δＰ_２Ｂ
Ｍ３＝εＰ_３Ｒ＋Ｐ_３Ｇ＋ζＰ_３Ｂ
Ｍ４＝ηＰ_４Ｒ＋θＰ_４Ｇ＋Ｐ_４Ｂ ・・・・・・・（１）

ただし、係数α〜θは、ゲイン値を表す。

係数α〜θは、Ｍ１〜Ｍ４が白色被写体を撮影したときに白色の画素値が得られる、すなわちＰ_ｉＲ、Ｐ_ｉＧ、Ｐ_ｉＢが１：１：１となるように定められる。係数α〜θは、ホワイトバランス調整時に以下の式によって算出される。これにより、ＲＧＢの原色カラーフィルタが載置された撮像素子に対して、面順次でＲＧＢ各色照明光による撮像を行わせても、適切なホワイトバランスとなった画像を得ることができる。

α＝Ｐ_１Ｒ／Ｐ_１Ｇ
β＝Ｐ_１Ｒ／Ｐ_１Ｂ
γ＝Ｐ_２Ｇ／Ｐ_２Ｒ
δ＝Ｐ_２Ｇ／Ｐ_２Ｂ
ε＝Ｐ_３Ｇ／Ｐ_３Ｒ
ζ＝Ｐ_３Ｇ／Ｐ_３Ｂ
η＝Ｐ_４Ｂ／Ｐ_４Ｒ
θ＝Ｐ_４Ｂ／Ｐ_４Ｇ ・・・・・・・（２）

図６は、システムコントロール回路３２によって実行される発光制御処理を示したフローチャートである。図示しないメインルーチンに所定時間間隔で割り込んで処理される。撮像方式ボタン３６によって面順次発光が選択されると、処理が開始される。

ステップＳ１０１では、被写体像の動きベクトルが検出され、観察画像の動きが検出される。動きベクトル検出は従来公知の方法で検出すればよく、１フィールド分遅延させた画像信号と次の１フィールド分の画像信号との差に基づいて動きを検出する。

ステップＳ１０２では、色ずれ（色飽和度）が検出される。色ずれ検出も従来の方法で検出すればよく、Ｒ，Ｇ，Ｂの画像信号から色彩度レベルを検出する。

ステップＳ１０３では、被写体の動きが所定値以上の速度であり、かつ検出された色彩度レベルと所定の閾値とを比較して、色ずれが許容を超える色ずれであるか否かが判断される。ここでは、前後の被写体画像の相関関係が弱いために動き速度が所定値以上であり、かつ色飽和度が所定レベルを超えている画素の数が所定数以上ある場合、観察に支障が生じるものと判断し、面順次発光から同時発光へ切り替える（Ｓ１０４）。そして、発光方式の切り替えに従い、画像信号処理回路２２では、面順次方式に応じたＲ，Ｇ，Ｂの画像信号が生成される。

一方、被写体の動きが大きくなく、あるいは色ずれが大きくないと判断すると、そのまま面順次式による発光が続けられる（Ｓ１０５）。

このように本実施形態によれば、Ｒ，Ｇ，Ｂの光を順に発光する面順次発光と、Ｒ，Ｇ，Ｂの光を同時発光可能なＬＥＤランプ２４がスコープ先端部に設けられ、Ｒ，Ｇ，Ｂカラーフィルタ１５を備えた同時式撮像素子１４から画素信号が読み出される。面順次発光の場合、画像信号処理回路２２において、Ｒ，Ｇ，Ｂの画像信号を画素ごとに抽出する。

同時式撮像素子を設けた内視鏡装置においても、面順次式と同様のカラー画像信号を得ることができる。したがって、同時式発光によってブレの生じない観察画像を表示することができるととともに、面順次発光によって色再現性の優れた観察画像を表示することができる。

さらに、観察対象の動きが大きく、観察画像に色ずれが生じている場合、面順次式から同時期式へ発光方式が切り替えられる。これにより、観察状況が変化しても、ぶれを抑えた鮮明な適切なカラー画像を常に表示することができる。

なお、Ｒ，Ｇ，Ｂ以外の色要素から構成されるフィルタ（補色フィルタ）を用いてもよい。また、ＬＥＤ以外の光源を使用する内視鏡装置に適用してもよい。

本実施形態では、一眼式ビデオスコープを使用しているが、同時式撮像素子と、カラーフィルタ無しの面順次式撮像素子を設けた二眼式ビデオスコープを用いて、同時式発光、面順次式発光を切り替え制御する構成にしてもよい。この場合、同時式撮像素子、面順次式撮像素子から同時に２つの画像信号を生成し、動きが検出されると、同時式撮像素子から読み出される画像信号を用いる。

また、ビデオスコープ１０がキセノンランプなどを備えた従来のプロセッサに接続された場合、ＬＥＤランプの発光をＯＦＦに設定する構成にしてもよい。

本実施形態である電子内視鏡装置のブロック図である。 スコープ先端面の正面図である。 カラーフィルタの分光透過特性を示した図である。 ＬＥＤの分光分布特性を示した図である。 面順次発光におけるカラー画像信号算出を示した図である。 システムコントロール回路によって実行される発光制御処理を示したフローチャートである。

符号の説明

１０ ビデオスコープ
１４ ＣＣＤ（撮像素子）
１５ カラーフィルタ
２０ プロセッサ
２２ 画像信号処理回路
２４ ＬＥＤランプ

Claims (5)

1. カラーフィルタを設けた同時式撮像素子を有するビデオスコープがプロセッサに接続可能であって、
   Ｒ，Ｇ，Ｂに応じた照明光を同時発光もしくは面順次発光可能な光源と、
   同時発光において、前記同時式撮像素子から読み出される画素信号に基づいてカラー画像信号を生成する画像信号処理手段と、
   被写体像の動きを検出する動き検出手段と、
   観察に支障のある動きが生じている場合、面順次発光から同時発光に切り替える発光制御手段とを備え、
   前記画像信号処理手段が、面順次発光の場合、Ｒ，Ｇ，Ｂの各照明光に応じた色画素値を画素ごとに抽出し、カラーバランス調整しながら面順次式と同様のカラー画像信号を得ることを特徴とする内視鏡装置。
2. 前記カラーフィルタが、Ｒ，Ｇ，Ｂの照明光を透過し、それぞれ異なる色の波長領域で相対的に大きなスペクトルをもつ複数の色要素によって構成されることを特徴とする請求項１に記載の内視鏡装置。
3. 被写体像の色ずれを検出する色ずれ検出手段をさらに有し、
   前記発光制御手段が、前記動き検出手段により許容以上の動きをする被写体像が検出され、かつ前記色ずれ検出手段により所定値以上の色ずれが検出されると、前記観察に支障がある動きが生じているものと判断して、面順次発光を同時発光に切り替えることを特徴とする請求項１に記載の内視鏡装置。
4. Ｒ，Ｇ，Ｂに応じた照明光を面順次発光と同時発光との間で切り替え可能な発光制御手段と、
   カラーフィルタを設けた同時式撮像素子から画素信号を読み出す信号読み出し手段と、
   面順次発光において、Ｒ，Ｇ，Ｂの各照明光に応じた色画素値を画素ごとに抽出し、カラーバランス調整しながら面順次式と同様のカラー画像信号を得る画像信号処理手段と、
   被写体像の動きを検出する動き検出手段とを備え、
   前記発光制御手段が、観察に支障のある動きが生じている場合、面順次発光から同時発光に切り替える発光制御手段と
   を備えたことを特徴とする内視鏡用画像信号処理装置。
5. Ｒ，Ｇ，Ｂに応じた照明光を面順次発光させ、
   カラーフィルタを設けた同時式撮像素子から画素信号を読み出し、
   面順次発光において、Ｒ，Ｇ，Ｂの各照明光に応じた色画素値を画素ごとに抽出し、カラーバランス調整しながら面順次式と同様のカラー画像信号を取得し、
   被写体像の動きを検出し、
   観察に支障のある動きが生じている場合、面順次発光から同時発光に切り替えることを特徴とする内視鏡用画像信号処理方法。
   
   
   

Images