JP2016202627A - 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】装置を大型化することなく、ＣＭＯＳイメージセンサの受光面に配置された透光性保護基板の曇りを解消することができる内視鏡診断装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】曇り検出部が、内視鏡スコープの先端部に配置されたＣＭＯＳイメージセンサにより撮像された内視鏡画像の画像解析を行って、ＣＭＯＳイメージセンサの受光面を保護する透光性保護基板に曇りが生じているか否かを検出する。透光性保護基板に曇りが生じていることが検出された場合に、動作モード設定部が、発熱モードに切り替える。制御部が、ｎを２以上の整数とすると、発熱モードの場合に、ＣＭＯＳイメージセンサが動作する際のフレームレートを通常モードの場合のｎ倍とし、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／ｎ倍として、１フレーム時間に２枚以上、ｎ枚以下のフレーム画像を撮像部に撮像させる。【選択図】図２

Description

本発明は、内視鏡スコープの先端部に配置された撮像素子の受光面を保護する透光性保護基板の曇りを除去する機能を備える内視鏡診断装置、画像処理方法、プログラムおよび記録媒体に関するものである。

被検体内を観察するために、内視鏡診断装置が用いられている。被検体内の観察を行う場合、内視鏡スコープが被検体の体腔内に挿入されて、その先端部から、例えば、白色光が被観察領域に照射され、その反射光をＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）イメージセンサ等の撮像素子で受光して内視鏡画像が撮像される。撮像された内視鏡画像は表示部に表示され、内視鏡診断装置の操作者により、内視鏡画像の観察が行われる。

撮像素子は、内視鏡スコープの先端部に配置され、その受光面には、受光面を保護するためのカバーガラス（透光性保護基板）が配置されている。内視鏡スコープが被検体内に挿入されると、被検体内とカバーガラスとの温度差により、カバーガラスの受光面側に曇りが発生することが知られている。また、内視鏡診断装置が起動された直後は、撮像素子が急速に暖まるのに対して、カバーガラスはすぐに暖まらないため、両者の温度差によりカバーガラスに曇りが発生しやすい。

これに対し、特許文献１には、電源立上げから所定時間の間、基準電圧よりも低い抑制電圧をＣＣＤに与えてその発熱を抑制し、その後に基準電圧をＣＣＤに供給することにより、電源立上げ時にＣＣＤとカバーガラスとの温度差を小さくして結露等を防止することが記載されている。また、同文献には、カバーガラスの近傍に周辺回路を配置したり、ヒータで熱を与えて温度差を低減したりすることが記載されている。

また、特許文献２には、内視鏡挿入部の先端部の内部にヒータを配置し、温度センサにより先端部の内部の熱量情報を計測して、熱量情報を基に、制御ユニットによりヒータの駆動を制御することが記載されている。

また、特許文献３には、内視鏡観察時に、曇り検出手段によって画像処理を用いて内視鏡の挿入部先端のカバーガラスに発生した曇りを検出し、その検出結果に応じて内視鏡の曇り除去制御手段によって気腹装置を制御し、腹腔内の二酸化炭素ガスなどの気体を入れ換えて内視鏡の曇りを除去することが記載されている。

また、本発明に関連性のある先行技術文献として、水平または垂直ブランキング期間に低電力駆動を行うことを記載する特許文献４および特許文献５、撮像素子を、電源の投入とともに通電して、撮像素子の受光部に実装されたガラス基板を加熱することにより、撮像素子の受光部を覆うカバーの結露を効果的に防止することを記載する特許文献６、撮像素子を冷却して被検体像の曇りの発生を防止することを記載する特許文献７がある。

特開２００７−２６０１９０号公報 特開２０１４−１３１５３０号公報 特開平１１−３１８８１０号公報 特開２００２−３００４７９号公報 特開２００９−１５９２０５号公報 特開２００８−１４１０３７号公報 特開平５−３４６０５号公報

しかし、特許文献１，２ではヒータを使用するため、内視鏡スコープの先端部のサイズが大きくなる。また、特許文献１では、ＣＣＤに供給する電圧を変更してその発熱量を変化させる方法を採用しているが、ＣＣＤの特性変動を伴う可能性がある。なお、特許文献１には、ＣＭＯＳイメージセンサへの言及はない。特許文献３では、内視鏡の曇り検出方法が提案されているが、曇りの防止にガスを用いる必要がある。

本発明の目的は、従来技術の問題点を解消し、装置を大型化することなく、ＣＭＯＳイメージセンサの受光面に配置された透光性保護基板の曇りを解消することができる内視鏡診断装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、内視鏡スコープの内視鏡挿入部の先端面から照明光を出射する照明部と、
内視鏡スコープの先端部に配置されたＣＭＯＳイメージセンサにより照明光が照射された被検体の内視鏡画像を撮像する撮像部と、
内視鏡画像の画像解析を行って、ＣＭＯＳイメージセンサの受光面を保護する透光性保護基板に曇りが生じているか否かを検出する曇り検出部と、
透光性保護基板に曇りが生じていることが検出された場合に、通常モードから発熱モードに切り替える動作モード設定部と、
ｎを２以上の整数とすると、発熱モードの場合に、ＣＭＯＳイメージセンサが動作する際のフレームレートを通常モードの場合のｎ倍とし、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／ｎ倍として、１フレーム時間に２枚以上、ｎ枚以下のフレーム画像を撮像部に撮像させる制御部とを備えることを特徴とする内視鏡診断装置を提供するものである。

ここで、ｍを２以上、ｎ以下の整数とすると、発熱モードの場合に、１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚のフレーム画像のデータを画素毎に加算することにより、発熱モードのフレーム画像を生成するフレーム画像合成部を備えることが好ましい。

また、ｍを２以上、ｎ以下の整数とすると、発熱モードの場合に、１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚のフレーム画像のデータを画素毎に加算平均しｍ倍して合成することにより、通常モードのフレーム画像に相当する輝度を有する発熱モードのフレーム画像を生成するフレーム画像合成部を備えることが好ましい。

また、制御部は、フレーム画像を撮像する際の照明光の光量が一定値を超える場合、通常モードの場合に、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／ｎ倍よりも短くし、発熱モードの場合に、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を通常モードの場合と同じ露光時間とすることが好ましい。

また、ｍを２以上、ｎ以下の整数とすると、発熱モードの場合に、１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚のフレーム画像のデータを画素毎に加算平均することにより、通常モードのフレーム画像に相当する輝度を有する発熱モードのフレーム画像を生成するフレーム画像合成部を備えることが好ましい。

また、制御部は、通常モードの場合、１フレーム時間のうちのデータ読み出し期間中に、ＣＭＯＳイメージセンサから内視鏡画像に対応するデータを読み出し、１フレーム時間のうちの残りのブランキング期間中に、ＣＭＯＳイメージセンサからデータを読み出さず、発熱モードの場合、データ読み出し期間中に、データを読み出し、ブランキング期間中に、ＣＭＯＳイメージセンサからダミーのデータを読み出すことが好ましい。

また、制御部は、発熱モードの場合に、照明光の光量を通常モードの場合よりも大きくさせ、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光量が、通常モードの場合と発熱モードの場合とで同じにするように、ＣＭＯＳイメージセンサの露光時間を短くさせることが好ましい。

また、曇り検出部は、内視鏡画像の空間周波数を算出し、空間周波数の低周波成分が一定値よりも大きい場合に、透光性保護基板に曇りが生じていることを検出することが好ましい。

また、さらに、ユーザにより入力される指示を受け取る指示入力部を備え、
動作モード設定部は、発熱モードに切り替える指示が指示入力部から入力された場合に、通常モードから発熱モードに切り替えることが好ましい。

また、動作モード設定部は、さらに、内視鏡診断装置が起動された直後に、発熱モードに設定することが好ましい。

また、動作モード設定部は、発熱モードとされてから一定の時間が経過した後、発熱モードから通常モードに切り替えることが好ましい。

また、動作モード設定部は、発熱モードとされた後、透光性保護基板に曇りが生じていることが検出されなくなった場合に、発熱モードから通常モードに切り替えることが好ましい。

また、本発明は、曇り検出部が、内視鏡スコープの先端部に配置された撮像部のＣＭＯＳイメージセンサにより撮像された、照明部により内視鏡スコープの内視鏡挿入部の先端面から出射された照明光が照射された被検体の内視鏡画像の画像解析を行って、ＣＭＯＳイメージセンサの受光面を保護する透光性保護基板に曇りが生じているか否かを検出するステップと、
動作モード設定部が、透光性保護基板に曇りが生じていることが検出された場合に、通常モードから発熱モードに切り替えるステップと、
制御部が、ｎを２以上の整数とすると、発熱モードの場合に、ＣＭＯＳイメージセンサが動作する際のフレームレートを通常モードの場合のｎ倍とし、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／ｎ倍として、１フレーム時間に２枚以上、ｎ枚以下のフレーム画像を撮像部に撮像させるステップとを含むことを特徴とする画像処理方法を提供する。

ここで、制御部は、フレーム画像を撮像する際の照明光の光量が一定値を超える場合、通常モードの場合に、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／ｎ倍よりも短くし、発熱モードの場合に、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を通常モードの場合と同じ露光時間とすることが好ましい。

また、さらに、制御部が、通常モードの場合、１フレーム時間のうちのデータ読み出し期間中に、ＣＭＯＳイメージセンサから内視鏡画像に対応するデータを読み出し、１フレーム時間のうちの残りのブランキング期間中に、ＣＭＯＳイメージセンサからデータを読み出さず、発熱モードの場合、データ読み出し期間中に、データを読み出し、ブランキング期間中に、ＣＭＯＳイメージセンサからダミーのデータを読み出すステップを含むことが好ましい。

また、さらに、制御部が、発熱モードの場合に、照明光の光量を通常モードの場合よりも大きくさせ、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光量が、通常モードの場合と発熱モードの場合とで同じにするように、ＣＭＯＳイメージセンサの露光時間を短くさせるステップを含むことが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、ＣＭＯＳイメージセンサの透光性保護基板に曇りが発生した場合に、ＣＭＯＳイメージセンサ自身の発熱量を増大させることにより、透光性保護基板の温度が上昇する時間を短縮し、透光性保護基板の曇りを短時間で解消することができる。また、本発明では、ＣＭＯＳイメージセンサ自身の動作を制御して発熱量を増大させるため、透光性保護基板の曇りを解消するためのヒータやガス等は不要であり、装置が大型化することもない。

本発明の内視鏡診断装置の構成を表す一実施形態の外観図である。 図１に示す内視鏡診断装置の内部構成を表すブロック図である。 内視鏡スコープの先端部の構成を表す概念図である。 青色レーザ光源からの青色レーザ光及び青色レーザ光が蛍光体により波長変換された発光スペクトルを示すグラフである。 カバーガラスの曇りを解消する場合の内視鏡診断装置の動作を表す一例のフローチャートである。 通常モードおよび発熱モードにおけるＣＭＯＳイメージセンサの露光時間を表す一例の概念図である。 オーバ露光となる場合のＣＭＯＳイメージセンサの露光時間を表す一例の概念図である。 ブランキング期間中にデータの読み出しを行う場合のＣＭＯＳイメージセンサの露光時間を表す一例の概念図である。 照明光の光量を大きくする場合のＣＭＯＳイメージセンサの露光時間を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の内視鏡診断装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の内視鏡診断装置の構成を表す一実施形態の外観図、図２は、その内部構成を表すブロック図である。これらの図に示す内視鏡診断装置１０は、光源装置１２と、光源装置１２から発せられる光を用いて被検体の被観察領域の内視鏡画像を撮像する内視鏡スコープ１４と、内視鏡スコープ１４で撮像された内視鏡画像を画像処理するプロセッサ装置１６と、プロセッサ装置１６から出力される画像処理後の内視鏡画像を表示する表示装置１８と、入力操作を受け付ける入力装置２０とによって構成されている。

まず、光源装置１２は、光源制御部２２と、レーザ光源ＬＤ２４と、カプラ（分波器）２６とによって構成されている。

本実施形態において、レーザ光源ＬＤ２４からは、中心波長が４４５ｎｍである、青色の一定の波長範囲（例えば、中心波長±１０ｎｍ）の狭帯域光が発せられる。レーザ光源ＬＤ２４は、照明光として、後述する蛍光体から白色光（疑似白色光）を発生させるための励起光を発する光源であって、後述するプロセッサ装置１６の制御部によって制御される光源制御部２２によりオンオフ（点灯消灯）制御および光量制御が行われる。

レーザ光源ＬＤ２４としては、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオード等を用いることもできる。

なお、白色光を発生するための白色光光源は、励起光および蛍光体の組合せに限定されず、白色光を発するものであればよく、例えば、キセノンランプ、ハロゲンランプ、白色ＬＥＤ（発光ダイオード）などを利用することもできる。また、レーザ光源ＬＤ２４から発せられるレーザ光の波長は上記例に限定されず、同様の役割を果たす波長のレーザ光を適宜選択することができる。

レーザ光源ＬＤ２４から発せられるレーザ光は、集光レンズ（図示略）を介して光ファイバに入力され、カプラ２６により２系統の光に分波されてコネクタ部３２Ａに伝送される。カプラ２６は、ハーフミラー、反射ミラー等によって構成される。

続いて、内視鏡スコープ１４は、被検体内に挿入される内視鏡挿入部の先端面から２系統（２灯）の照明光を出射する照明光学系と、被観察領域の内視鏡画像を撮像する１系統（１眼）の撮像光学系とを有する、電子内視鏡である。内視鏡スコープ１４は、内視鏡挿入部２８と、内視鏡挿入部２８の先端の湾曲操作や観察のための操作を行う操作部３０と、内視鏡スコープ１４を光源装置１２およびプロセッサ装置１６に着脱自在に接続するコネクタ部３２Ａ，３２Ｂとを備えている。

内視鏡挿入部２８は、可撓性を持つ軟性部３４と、湾曲部３６と、先端部（以降、内視鏡先端部とも呼称する）３８とから構成されている。

湾曲部３６は、軟性部３４と先端部３８との間に設けられ、操作部３０に配置されたアングルノブ４０の回動操作により湾曲自在に構成されている。この湾曲部３６は、内視鏡スコープ１４が使用される被検体の部位等に応じて、任意の方向、任意の角度に湾曲でき、内視鏡先端部３８を、所望の観察部位に向けることができる。

図３に示すように、内視鏡挿入部２８の先端面４６には、被観察領域へ光を照射する２系統の照明窓４２Ａ，４２Ｂ、被観察領域からの反射光を撮像する１系統の観察窓４４、内視鏡挿入部２８の内部に設けられている鉗子チャンネルに挿入される、処置具等の出口となる鉗子口７４、同じく送気・送水チャンネルの出口となる送気・送水口７６等が配置されている。

観察窓４４、鉗子口７４、送気・送水口７６は、先端面４６の中央部に配置されている。照明窓４２Ａ，４２Ｂは、観察窓４４を挟んでその両脇側に配置されている。

照明窓４２Ａの奥には、光ファイバ４８Ａが収納されている。光ファイバ４８Ａは、光源装置１２からコネクタ部３２Ａを介して内視鏡先端部３８まで敷設されている。光ファイバ４８Ａの先端部（照明窓４２Ａ側）の先には蛍光体５４Ａが配置され、さらに蛍光体５４Ａの先にレンズ５２Ａ等の光学系が取り付けられている。同様に、照明窓４２Ｂの奥には、先端部に蛍光体５４Ｂおよびレンズ５２Ｂ等の光学系を有する光ファイバ４８Ｂが収納されている。

蛍光体５４Ａ，５４Ｂは、レーザ光源ＬＤ２４からの青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光物質（例えばＹＡＧ系蛍光物質、或いはＢＡＭ（ＢａＭｇＡｌ₁₀Ｏ₁₇）等の蛍光物質）を含んで構成される。白色光観察用の励起光が蛍光体５４Ａ，５４Ｂに照射されると、蛍光体５４Ａ，５４Ｂから発せられる緑色〜黄色の励起発光光（蛍光）と、蛍光体５４Ａ，５４Ｂにより吸収されず透過した青色レーザ光とが合わされて、白色光（疑似白色光）が生成される。

図４は、青色レーザ光源からの青色レーザ光及び青色レーザ光が蛍光体により波長変換された発光スペクトルを示すグラフである。レーザ光源ＬＤ２４から発せられる青色レーザ光は、中心波長４４５ｎｍの輝線で表され、青色レーザ光による蛍光体５４Ａ，５４Ｂからの励起発光光は、概ね４５０ｎｍ〜７００ｎｍの波長範囲で発光強度が増大する分光強度分布となる。この励起発光光と青色レーザ光との合波光によって、上述した疑似白色光が形成される。

ここで、本発明でいう白色光とは、厳密に可視光の全ての波長成分を含むものに限らず、例えば、上述した疑似白色光を始めとして、基準色であるＲ（赤）、Ｇ（緑）、Ｂ（青）等、特定の波長帯の光を含むものであればよい。つまり、本発明のいう白色光には、例えば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光等も広義に含まれるものとする。

照明窓４２Ａ側および照明窓４２Ｂ側の照明光学系は同等の構成および作用のものであって、照明窓４２Ａ，４２Ｂからは、基本的に同時に同等の照明光が照射される。照明光学系は、内視鏡スコープ１４の内視鏡挿入部２８の先端面４６から照明光を出射するする本発明の照明部に相当する。なお、照明窓４２Ａ，４２Ｂからそれぞれ異なる照明光を照射させることもできる。また、２系統の照明光を出射する照明光学系を有することは必須ではなく、例えば、１系統や４系統の照明光を出射する照明光学系でも同等の機能を実現することができる。

観察窓４４の奥には、被検体の被観察領域の像光を取り込むための対物レンズユニット５６等の光学系が取り付けられ、さらに対物レンズユニット５６の奥には、被観察領域の画像情報を取得するＣＭＯＳイメージセンサ等の撮像素子５８が取り付けられている。撮像素子５８は、内視鏡スコープ１４の先端部に配置されたＣＭＯＳイメージセンサにより照明光が照射された被検体の内視鏡画像を撮像する本発明の撮像部に相当する。

撮像素子５８は、対物レンズユニット５６からの光を受光面（撮像面）で受光し、受光した光を光電変換して画像信号（デジタル信号）を出力する。撮像素子５８の受光面には、可視光の約３７０〜７２０ｎｍの波長範囲を３分割する分光透過率を有する、Ｒ色（約５８０ｎｍ〜７６０ｎｍ）、Ｇ色（約４５０ｎｍ〜６３０ｎｍ）、Ｂ色（約３８０ｎｍ〜５１０ｎｍ）のカラーフィルタが設けられ、Ｒ画素、Ｇ画素、Ｂ画素の３色の画素を１組として、複数組の画素がマトリクス状に配列されている。
また、撮像素子５８の受光面には、受光面を保護するためのカバーガラスが配置されている。なお、カバーガラスは、被検体の像光に対して透光性のある保護基板であればよく、ガラス材に限らず透明樹脂等の他の材料であってもよい。

光源装置１２から光ファイバ４８Ａ，４８Ｂによって導光された光は、内視鏡先端部３８から被検体の被観察領域に向けて照射される。そして、照明光が照射された被観察領域の様子が対物レンズユニット５６により撮像素子５８の受光面上に結像され、撮像素子５８により光電変換されて撮像される。撮像素子５８からは、撮像された被検体の被観察領域の内視鏡画像の画像信号（デジタル信号）が出力される。

撮像素子５８から出力される内視鏡画像の画像信号（デジタル信号）は、スコープケーブル６２およびコネクタ部３２Ｂを介してプロセッサ装置１６の画像処理部に入力される。

続いて、プロセッサ装置１６は、画像処理部７０と、曇り検出部７８と、動作モード設定部８０と、フレーム画像合成部８２と、制御部６８と、記憶部７２とを備えている。また、制御部６８には、表示装置１８および入力装置２０が接続されている。入力装置２０は、ユーザにより入力される指示を受け取る本発明の指示入力部に相当する。プロセッサ装置１６は、内視鏡スコープ１４から入力される内視鏡画像の画像信号を画像処理するとともに、光源装置１２の光源制御部２２、撮像素子５８であるＣＭＯＳイメージセンサ等の動作を制御する。

画像処理部７０は、内視鏡スコープ１４から入力される内視鏡画像の画像信号に対してあらかじめ設定された各種の画像処理を施し、画像処理後の内視鏡画像の画像信号を出力する。画像処理後の内視鏡画像の画像信号は、制御部６８に送られる。

制御部６８は、画像処理後の内視鏡画像を表示装置１８に表示させる。また、制御部６８は、内視鏡スコープ１４の撮像スイッチ６６や入力装置２０から入力される指示に基づいて、光源装置１２の光源制御部２２の動作を制御したり、例えば、１枚（１フレーム）の内視鏡画像を単位として記憶部７２に記憶させたり、撮像素子５８であるＣＭＯＳイメージセンサのカバーガラスの曇りを解消するために、ＣＭＯＳイメージセンサの動作を制御したりする。

曇り検出部７８は、画像処理部７０による画像処理後の内視鏡画像の画像解析を行って、撮像素子５８であるＣＭＯＳイメージセンサの受光面を保護するカバーガラスに曇りが生じているか否かを検出するものである。

曇り検出部７８が内視鏡画像からカバーガラスの曇りを検出する方法は何ら限定されないが、例えば、特許文献３に記載されている検出方法を利用することができる。
すなわち、内視鏡画像の空間周波数を高速フーリエ変換して算出し、空間周波数の低周波成分の値を、あらかじめ設定された一定値と比較する。カバーガラスが曇ると内視鏡画像にボケが生じる、すなわち、内視鏡画像全体における空間周波数の低周波成分が増大する。従って、比較の結果、空間周波数の低周波成分が一定値よりも大きい場合は、カバーガラスに曇りが生じていると判断することができる。

動作モード設定部８０は、曇り検出部７８によりカバーガラスに曇りが生じていることが検出された場合に、内視鏡診断装置１０の動作モードを、通常モードから発熱モードに切り替えるものである。

ここで、通常モードは、内視鏡画像を撮像するための通常の動作を行う動作モードであり、発熱モードは、カバーガラスの曇りを解消するために、カバーガラスの温度が上昇する時間を短縮させるための動作を行う動作モードである。

フレーム画像合成部８２は、発熱モードの場合に、画像処理部７０による画像処理後の内視鏡画像である、１フレーム時間に撮像される複数のフレーム画像を合成して、通常モードのフレーム画像に相当する輝度を有する発熱モードのフレーム画像を生成するものである。

次に、内視鏡診断装置１０の動作を説明する。
まず、内視鏡画像を撮像する場合の動作を説明する。

内視鏡画像の撮像時には、光源制御部２２の制御により、レーザ光源ＬＤ２４があらかじめ設定された一定の発光量で点灯される。レーザ光源ＬＤ２４から発せられる中心波長４４５ｎｍのレーザ光が蛍光体５４Ａ，５４Ｂに照射され、蛍光体５４Ａ，５４Ｂから白色光が発せられる。蛍光体５４Ａ，５４Ｂから発せられる白色光は被検体に照射され、その反射光が撮像素子５８で受光されて被検体の被観察領域の内視鏡画像が撮像される。

撮像素子５８から出力される内視鏡画像の画像信号（デジタル信号）は、画像処理部７０により各種の画像処理が施され、画像処理後の内視鏡画像の画像信号が出力される。そして、制御部６８により、画像処理後の内視鏡画像の画像信号に対応する内視鏡画像が表示装置１８上に表示され、必要に応じて、内視鏡画像の画像信号が記憶部７２に記憶される。

続いて、図５のフローチャートを参照して、撮像素子５８であるＣＭＯＳイメージセンサのカバーガラスの曇りを解消する場合の動作を説明する。

内視鏡診断装置１０が起動されると（ステップＳ１）、動作モード設定部８０により、内視鏡診断装置１０の動作モードが通常モードに設定される（ステップＳ２）。通常モードの場合、画像処理部７０により画像処理が施された内視鏡画像が、制御部６８の制御により表示装置１８に表示される。

続いて、曇り検出部７８により、画像処理部７０による画像処理後の内視鏡画像の画像解析が行われて、ＣＭＯＳイメージセンサのカバーガラスに曇りが生じているか否かの検出が行われる（ステップＳ３）。

その結果、カバーガラスに曇りが生じていることが検出された場合には（ステップＳ４でＹｅｓ）、動作モード設定部８０により、動作モードが通常モードから発熱モードに切り替えられる（ステップＳ５）。

内視鏡診断装置１０の動作モードが発熱モードに設定されると、制御部６８の制御により、ＣＭＯＳイメージセンサが動作する際のフレームレートが通常モードの場合のｎ倍（ｎは２以上の整数）とされ、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間が１フレーム時間の１／ｎ倍とされる。そして、ＣＭＯＳイメージセンサにより、１フレーム時間に２枚以上、ｎ枚以下のフレーム画像が撮像される。

また、発熱モードの場合、フレーム画像合成部８２により、画像処理部７０による画像処理後の内視鏡画像である、１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚（ｍは２以上、ｎ以下の整数）のフレーム画像のデータが画素毎に加算される。これにより、通常モードのフレーム画像に相当する輝度を有する発熱モードのフレーム画像が生成される。発熱モードの場合、発熱モードのフレーム画像が、制御部６８の制御により表示装置１８に表示される。

図６は、通常モードおよび発熱モードにおけるＣＭＯＳイメージセンサの露光時間を表す一例の概念図である。同図の縦方向は、通常モードおよび発熱モードの露光時間、右方向は、左側から右側へ向かってフレーム時間の経過を表す。１フレーム時間は１／３０秒であり、同図には、２フレーム時間が表示されている。通常モードのフレームレートは３０フレーム／秒であり、発熱モードのフレームレートは６０フレーム／秒である。

この例では、発熱モードの場合に、制御部６８により、ＣＭＯＳイメージセンサが動作する際のフレームレートが通常モードの場合の３０フレーム／秒の２倍の６０フレーム／秒とされ、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間が通常モードの場合の１／３０秒の１／２倍の１／６０秒とされる。そして、１フレーム時間である１／３０秒の間に２枚のフレーム画像が撮像される。

例えば、ＣＭＯＳイメージセンサの内部クロックの周波数をＰＬＬ回路（位相同期回路）等で通常モードの場合の２倍に引き上げることにより、フレームレートを、通常モードの場合の３０フレーム／秒から６０フレーム／秒とすることができる。発熱モードの場合に、ＣＭＯＳイメージセンサのクロック周波数を上げると、通常モードの場合よりも発熱量が多くなるため、カバーガラスの温度が上昇する時間を短縮することができ、カバーガラスの曇りを短時間で解消することができる。

また、フレーム画像合成部８２により、１フレーム時間に撮像される２枚のフレーム画像のデータが画素毎に単純加算して合成され、通常モードのフレーム画像に相当する輝度を有する発熱モードのフレーム画像が生成される。

発熱モードのフレーム画像は、通常モードのフレーム画像と比べて、フレームレートが２倍であるため、映像は通常モードの場合よりもなめらかであるが、露光時間が半分であるため、輝度は通常モードの場合の１／２倍になる。従って、通常モードから発熱モードに切り替えられると、輝度が大きく変化するため違和感がある。発熱モードの場合は、カバーガラスに曇りが発生している状態であるため、画質を向上させるよりも、輝度が変化することによる違和感がない方が望ましい。

そこで、発熱モードの場合、前述のように、１フレーム時間に撮像される２枚のフレーム画像のデータを画素毎に合成し、通常モードのフレーム画像に相当する輝度を有する発熱モードのフレーム画像を生成することにより、違和感をなくすことができる。

続いて、動作モードが発熱モードとされてから一定の時間が経過した後、ステップＳ２へ戻り、動作モード設定部８０により、動作モードが発熱モードから通常モードに切り替えられる。発熱モードに設定される一定の時間は、カバーガラスの曇りを解消することができる時間を、あらかじめ測定しておくことにより決定することができる。また、カバーガラスの曇りの解消後、通常モードに戻すことにより、カバーガラスに曇りが無い時は消費電力を低減したり、撮像素子５８の発熱を抑えたりすることができる。
これ以後の動作は上記の繰り返しである。

一方、カバーガラスに曇りが生じていることが検出されなかった場合には（ステップＳ４でＮｏ）、続いて、内視鏡診断装置１０の動作が終了したか否かの判定が行われる（ステップＳ６）。

その結果、内視鏡診断装置１０の動作が終了していない場合には（ステップＳ６でＮｏ）、ステップＳ２へ戻り、上記動作が繰り返される。一方、内視鏡診断装置１０の動作が終了している場合には（ステップＳ６でＹｅｓ）、処理を終了する。

上記のように、内視鏡診断装置１０では、ＣＭＯＳイメージセンサのカバーガラスに曇りが発生した場合に、ＣＭＯＳイメージセンサ自身の発熱量を増大させることにより、カバーガラスの温度が上昇する時間を短縮し、カバーガラスの曇りを短時間で解消することができる。また、内視鏡診断装置１０では、ＣＭＯＳイメージセンサ自身の動作を制御して発熱量を増大させるため、カバーガラスの曇りを解消するためのヒータやガス等は不要であり、装置が大型化することもない。

なお、内視鏡画像の画像解析を行って、カバーガラスの曇りを検出することに加えて、ユーザにより発熱モードに切り替える指示が入力装置２０を介して入力された場合に、動作モードを通常モードから発熱モードに切り替えてもよい。これにより、ユーザが、カバーガラスの曇りを視認した場合に、任意のタイミングで動作モードを通常モードから発熱モードに切り替えることができ、カバーガラスの曇りを即座に解消することができる。

また、発熱モードの場合に、ｍ枚のフレーム画像のデータを画素毎に単純加算して合成する代わりに、１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚のフレーム画像のデータを画素毎に加算平均しｍ倍して合成してもよい。これにより、単純加算の場合よりも画質を向上させることができる。また、画質が向上されるため、カバーガラスの曇りの検出精度を向上させることができる。

なお、通常モードのフレーム画像に相当する輝度を有する発熱モードのフレーム画像を合成することができるのであれば、フレーム画像の合成方法は何ら限定されない。

また、前述のように、内視鏡診断装置１０が起動された直後は、ＣＭＯＳイメージセンサが急速に暖まるのに対して、カバーガラスはすぐに暖まらないため、温度差によりカバーガラスに曇りが発生しやすい。そのため、内視鏡診断装置１０が起動された直後に、発熱モードに設定し、発熱モードとされてから一定の時間が経過した後、発熱モードから通常モードに切り替えてもよい。これにより、カバーガラスに曇りが発生するのを未然に防止、ないし、カバーガラスの曇りを短時間で解消することができる。

また、発熱モードとされてから一定の時間が経過した後、発熱モードから通常モードに切り替える代わりに、発熱モードとされた後、カバーガラスに曇りが生じていることが検出されなくなった場合に、発熱モードから通常モードに切り替えてもよい。これにより、カバーガラスの曇りを確実に解消することができる。

また、フレーム画像を撮像する際の照明光の光量が、あらかじめ設定された一定値を超える場合、露光時間を１フレーム時間にすると、オーバ露光となる場合がある。この場合、オーバ露光とならないように、通常モードの場合に、電子シャッタ等を用いて、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／ｎ倍よりも短くし、発熱モードの場合に、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間を通常モードの場合と同じ露光時間としてもよい。

この場合、通常モードの場合と発熱モードの場合の照明光の光量および露光時間は同じであり、両方のフレーム画像の輝度は同じであるから、発熱モードのフレーム画像を合成する必要はない。その一方で、１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚のフレーム画像のデータを画素毎に加算平均することにより、通常モードのフレーム画像に相当する輝度を有する発熱モードのフレーム画像を生成してもよい。これにより、発熱モードのフレーム画像の画質を向上させることができる。

図７に示すように、例えば、通常モードの１フレーム時間が１／３０秒である場合に、オーバ露光とならないように、通常モードの場合のＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／２倍の１／６０秒にする場合を考える。この場合、発熱モードの場合のＣＭＯＳイメージセンサの露光時間も通常モードの場合と同じ１／６０秒の露光時間とする。

通常モードの場合、１フレーム時間に１枚のフレーム画像が撮像され、１フレーム時間の残りの１／６０秒の期間において、ＣＭＯＳイメージセンサの露光は行われない。一方、発熱モードの場合、１フレーム時間の残りの１／６０秒の期間においてもダミーの撮像が行われ、１フレーム時間に２枚のフレーム画像が撮像される。これにより、発熱モードの場合に、ＣＭＯＳイメージセンサの発熱量が多くなり、カバーガラスの曇りを短時間で解消することができる。

また、図８に示すように、通常モードの場合、１フレーム時間のうちのデータ読み出し期間中に、ＣＭＯＳイメージセンサから内視鏡画像に対応するデータが読み出される（通常駆動）。一方、１フレーム時間のうちの残りのブランキング期間中に、ＣＭＯＳイメージセンサからデータは読み出されない（低電力駆動）。ブランキング期間では、ＣＭＯＳイメージセンサの内部電圧を下げたり、クロックを停止して露光やデータの読み出しを行わないことにより、通常モード時の消費電力を低減することが行われる。

これに対し、発熱モードの場合、１フレーム時間のうちのデータ読み出し期間中に、通常モードの場合と同じように、ＣＭＯＳイメージセンサから内視鏡画像に対応するデータが読み出され、１フレーム時間のうちの残りのブランキング期間中にも、ＣＭＯＳイメージセンサからダミーのデータが読み出されるようにしてもよい（通常駆動）。これにより、ＣＭＯＳイメージセンサの発熱量が増大し、カバーガラスの曇りの解消を早めることができる。

また、図９に示すように、発熱モードの場合に、フレーム画像を撮像する際の照明光の光量を通常モードの場合よりも大きくさせ、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光量が、通常モードの場合と発熱モードの場合とで同じにするように、ＣＭＯＳイメージセンサの露光時間を短くさせてもよい。

この例では、発熱モードの場合に、制御部６８により、照明光の光量が通常モードの場合の４倍の光量とされ、かつ、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光時間が通常モードの場合の１／４倍の１／１２０秒とされる。これにより、１枚のフレーム画像を撮像する際のＣＭＯＳイメージセンサの露光量は、通常モードの場合と発熱モードの場合とで同じになる。

このように、発熱モードの場合に、通常モードの場合よりも照明光の光量を大きくすることにより、ＣＭＯＳイメージセンサの発熱量を増加させることができ、カバーガラスの曇りの解消を早めることができる。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 内視鏡診断装置
１２ 光源装置
１４ 内視鏡スコープ
１６ プロセッサ装置
１８ 表示装置
２０ 入力装置
２２ 光源制御部
２６ カプラ（分波器）
２８ 内視鏡挿入部
３０ 操作部
３２Ａ、３２Ｂ コネクタ部
３４ 軟性部
３６ 湾曲部
３８ 先端部
４０ アングルノブ
４２Ａ、４２Ｂ 照明窓
４４ 観察窓
４６ 先端面
４８Ａ、４８Ｂ 光ファイバ
５２Ａ、５２Ｂ レンズ
５４Ａ、５４Ｂ 蛍光体
５６ 対物レンズユニット
５８ 撮像素子
６２ スコープケーブル
６６ 撮像スイッチ
６８ 制御部
７０ 画像処理部
７２ 記憶部
７４ 鉗子口
７６ 送気・送水口
７８ 曇り検出部
８０ 動作モード設定部
８２ フレーム画像合成部
２４ レーザ光源ＬＤ

Claims (18)

1. 内視鏡スコープの内視鏡挿入部の先端面から照明光を出射する照明部と、
   前記内視鏡スコープの先端部に配置されたＣＭＯＳイメージセンサにより前記照明光が照射された被検体の内視鏡画像を撮像する撮像部と、
   前記内視鏡画像の画像解析を行って、前記ＣＭＯＳイメージセンサの受光面を保護する透光性保護基板に曇りが生じているか否かを検出する曇り検出部と、
   前記透光性保護基板に曇りが生じていることが検出された場合に、通常モードから発熱モードに切り替える動作モード設定部と、
   ｎを２以上の整数とすると、前記発熱モードの場合に、前記ＣＭＯＳイメージセンサが動作する際のフレームレートを前記通常モードの場合のｎ倍とし、かつ、１枚のフレーム画像を撮像する際の前記ＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／ｎ倍として、前記１フレーム時間に２枚以上、ｎ枚以下のフレーム画像を前記撮像部に撮像させる制御部とを備えることを特徴とする内視鏡診断装置。
2. ｍを２以上、ｎ以下の整数とすると、前記発熱モードの場合に、前記１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚のフレーム画像のデータを画素毎に加算することにより、前記発熱モードのフレーム画像を生成するフレーム画像合成部を備える請求項１に記載の内視鏡診断装置。
3. ｍを２以上、ｎ以下の整数とすると、前記発熱モードの場合に、前記１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚のフレーム画像のデータを画素毎に加算平均しｍ倍して合成することにより、前記通常モードのフレーム画像に相当する輝度を有する前記発熱モードのフレーム画像を生成するフレーム画像合成部を備える請求項１に記載の内視鏡診断装置。
4. 前記制御部は、前記フレーム画像を撮像する際の照明光の光量が一定値を超える場合、前記通常モードの場合に、前記１枚のフレーム画像を撮像する際の前記ＣＭＯＳイメージセンサの露光時間を前記１フレーム時間の１／ｎ倍よりも短くし、前記発熱モードの場合に、前記１枚のフレーム画像を撮像する際の前記ＣＭＯＳイメージセンサの露光時間を前記通常モードの場合と同じ露光時間とする請求項１〜３のいずれか１項に記載の内視鏡診断装置。
5. ｍを２以上、ｎ以下の整数とすると、前記発熱モードの場合に、前記１フレーム時間に撮像される２枚以上、ｎ枚以下のフレーム画像のうちのｍ枚のフレーム画像のデータを画素毎に加算平均することにより、前記通常モードのフレーム画像に相当する輝度を有する前記発熱モードのフレーム画像を生成するフレーム画像合成部を備える請求項４に記載の内視鏡診断装置。
6. 前記制御部は、前記通常モードの場合、前記１フレーム時間のうちのデータ読み出し期間中に、前記ＣＭＯＳイメージセンサから前記内視鏡画像に対応するデータを読み出し、前記１フレーム時間のうちの残りのブランキング期間中に、前記ＣＭＯＳイメージセンサからデータを読み出さず、前記発熱モードの場合、前記データ読み出し期間中に、前記データを読み出し、前記ブランキング期間中に、前記ＣＭＯＳイメージセンサからダミーのデータを読み出す請求項１〜５のいずれか１項に記載の内視鏡診断装置。
7. 前記制御部は、前記発熱モードの場合に、前記フレーム画像を撮像する際の照明光の光量を前記通常モードの場合よりも大きくさせ、かつ、前記１枚のフレーム画像を撮像する際の前記ＣＭＯＳイメージセンサの露光量が、前記通常モードの場合と前記発熱モードの場合とで同じにするように、前記ＣＭＯＳイメージセンサの露光時間を短くさせる請求項１〜６のいずれか１項に記載の内視鏡診断装置。
8. 前記曇り検出部は、前記内視鏡画像の空間周波数を算出し、前記空間周波数の低周波成分が一定値よりも大きい場合に、前記透光性保護基板に曇りが生じていることを検出する請求項１〜７のいずれか１項に記載の内視鏡診断装置。
9. さらに、ユーザにより入力される指示を受け取る指示入力部を備え、
   前記動作モード設定部は、前記発熱モードに切り替える指示が指示入力部から入力された場合に、前記通常モードから前記発熱モードに切り替える請求項１〜８のいずれか１項に記載の内視鏡診断装置。
10. 前記動作モード設定部は、さらに、前記内視鏡診断装置が起動された直後に、前記発熱モードに設定する請求項１〜９のいずれか１項に記載の内視鏡診断装置。
11. 前記動作モード設定部は、前記発熱モードとされてから一定の時間が経過した後、前記発熱モードから前記通常モードに切り替える請求項１〜１０のいずれか１項に記載の内視鏡診断装置。
12. 前記動作モード設定部は、前記発熱モードとされた後、前記透光性保護基板に曇りが生じていることが検出されなくなった場合に、前記発熱モードから前記通常モードに切り替える請求項１〜１０のいずれか１項に記載の内視鏡診断装置。
13. 曇り検出部が、内視鏡スコープの先端部に配置された撮像部のＣＭＯＳイメージセンサにより撮像された、照明部により前記内視鏡スコープの内視鏡挿入部の先端面から出射された照明光が照射された被検体の内視鏡画像の画像解析を行って、前記ＣＭＯＳイメージセンサの受光面を保護する透光性保護基板に曇りが生じているか否かを検出するステップと、
    動作モード設定部が、前記透光性保護基板に曇りが生じていることが検出された場合に、通常モードから発熱モードに切り替えるステップと、
    制御部が、ｎを２以上の整数とすると、前記発熱モードの場合に、前記ＣＭＯＳイメージセンサが動作する際のフレームレートを前記通常モードの場合のｎ倍とし、かつ、１枚のフレーム画像を撮像する際の前記ＣＭＯＳイメージセンサの露光時間を１フレーム時間の１／ｎ倍として、前記１フレーム時間に２枚以上、ｎ枚以下のフレーム画像を前記撮像部に撮像させるステップとを含むことを特徴とする画像処理方法。
14. 前記制御部は、前記フレーム画像を撮像する際の照明光の光量が一定値を超える場合、前記通常モードの場合に、前記１枚のフレーム画像を撮像する際の前記ＣＭＯＳイメージセンサの露光時間を前記１フレーム時間の１／ｎ倍よりも短くし、前記発熱モードの場合に、前記１枚のフレーム画像を撮像する際の前記ＣＭＯＳイメージセンサの露光時間を前記通常モードの場合と同じ露光時間とする請求項１３に記載の画像処理方法。
15. さらに、前記制御部が、前記通常モードの場合、前記１フレーム時間のうちのデータ読み出し期間中に、前記ＣＭＯＳイメージセンサから前記内視鏡画像に対応するデータを読み出し、前記１フレーム時間のうちの残りのブランキング期間中に、前記ＣＭＯＳイメージセンサからデータを読み出さず、前記発熱モードの場合、前記データ読み出し期間中に、前記データを読み出し、前記ブランキング期間中に、前記ＣＭＯＳイメージセンサからダミーのデータを読み出すステップを含む請求項１３または１４に記載の画像処理方法。
16. さらに、前記制御部が、前記発熱モードの場合に、前記フレーム画像を撮像する際の照明光の光量を前記通常モードの場合よりも大きくさせ、かつ、前記１枚のフレーム画像を撮像する際の前記ＣＭＯＳイメージセンサの露光量が、前記通常モードの場合と前記発熱モードの場合とで同じにするように、前記ＣＭＯＳイメージセンサの露光時間を短くさせるステップを含む請求項１３〜１５のいずれか１項に記載の画像処理方法。
17. 請求項１３〜１６のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
18. 請求項１３〜１６のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images