JP2009165553A - 医療用画像処理装置及び医療用撮像システム - Google Patents

Abstract

【課題】面順次式の構成において、適切に画像補正処理を行うことが可能な医療用画像処理装置等を提供する。
【解決手段】本発明の医療用画像処理装置は、面順次により撮像された各被写体の像に相当する複数の色成分が周期性を有しつつ時系列的に入力される医療用画像処理装置であって、一のタイミングにおいて医療用画像処理装置に入力された第１の色成分と、該一のタイミングの１周期分以上前のタイミングにおいて医療用画像処理装置に入力された、第１の色成分と同一の波長帯域の成分である第２の色成分と、を格納可能な色成分格納部と、色成分格納部に格納された第１の色成分及び第２の色成分を同時に読み出して画像補正処理を行う画像補正処理部と、を有する。
【選択図】図１

Description

本発明は、医療用画像処理装置及び医療用撮像システムに関し、特に、対象物の色成分を面順次により取得可能な医療用画像処理装置及び医療用撮像システムに関するものである。

内視鏡及び医療用画像処理装置等を有して構成される医療用システムは、従来より、術者等が被検体としての生体内の観察等を行うという用途において主に用いられている。そして、前述した用途において用いられる内視鏡システムとしては、例えば、特許文献１に提案されている電子内視鏡装置がある。

特許文献１の電子内視鏡装置は、いわゆる面順次撮像方式（以降、面順次式と称する）の構成を有するものであり、具体的には、波長帯域の異なる複数の照明光により被写体を時系列的に照明する照明手段と、該照明手段からの照明光によって照明された該被写体の像を撮像する固体撮像素子と、該固体撮像素子をインターレース走査によって、奇数フィールドの情報と偶数フィールドの情報とに分けて交互に読み出す読み出し手段と、を有して構成されている。
特開平５−２３７０５９号公報

例えば特許文献１の電子内視鏡装置のような面順次式の構成においては、１回の露光及び読み出しにより、奇数フィールドの情報または偶数フィールドの情報を１つの色成分についてのみしか得ることができない。

そのため、面順次式の構成に対し、例えばフレーム単位（２フィールド単位）の画像補正処理を単に適用した場合、補正が施されない色成分が生じてしまうことにより、該画像補正処理を適切に行うことができない、という問題が生じる。

本発明は、前述した事情に鑑みてなされたものであり、面順次式の構成において、適切に画像補正処理を行うことが可能な医療用画像処理装置及び医療用撮像システムを提供することを目的としている。

本発明における医療用画像処理装置は、面順次により撮像された各被写体の像に相当する複数の色成分が周期性を有しつつ時系列的に入力される医療用画像処理装置であって、一のタイミングにおいて前記医療用画像処理装置に入力された第１の色成分と、該一のタイミングの１周期分以上前のタイミングにおいて前記医療用画像処理装置に入力された、該第１の色成分と同一の波長帯域の成分である第２の色成分と、を格納可能な色成分格納部と、前記色成分格納部に格納された前記第１の色成分及び前記第２の色成分を同時に読み出して画像補正処理を行う画像補正処理部と、を有することを特徴とする。

本発明における医療用撮像システムは、相互に異なる波長帯域を有する複数の照明光を時系列的に順次出射する光源部と、前記照明光により照明された対象物からの戻り光を受光可能であるとともに、該戻り光に応じた該対象物の色成分を取得する色成分取得部と、前記光源部から同一の波長帯域の光が出射される周期に応じた一のタイミングにおいて取得された第１の色成分と、該一のタイミングの１周期分以上前のタイミングにおいて取得された、該第１の色成分と同一の波長帯域の成分である第２の色成分と、を格納可能な色成分格納部と、前記色成分格納部に格納された前記第１の色成分及び前記第２の色成分を同時に読み出して画像補正処理を行う画像補正処理部と、を有することを特徴とする。

本発明における医療用画像処理装置及び医療用撮像システムによると、面順次式の構成において、適切に画像補正処理を行うことが可能である。

以下、図面を参照して本発明の実施形態を説明する。

図１から図７は、本発明の実施形態に係るものである。図１は、本実施形態の医療用画像処理装置が用いられる医療用撮像システムとしての、内視鏡装置の要部の構成の一例を示す図である。図２は、図１の内視鏡装置における回転フィルタの構成の一例を示す図である。図３は、図２の回転フィルタが有する各フィルタの透過特性の一例を示す図である。図４は、本実施形態における色成分格納回路の構成の一例を示す図である。図５は、図４の色成分格納回路における各色成分の書き込みタイミング及び読み出しタイミングを説明するための図である。図６は、本実施形態における色成分格納回路の構成の、図４とは異なる例を示す図である。図７は、図６の色成分格納回路における各色成分の書き込みタイミング及び読み出しタイミングを説明するための図である。

本実施形態の医療用撮像システムとしての内視鏡装置１は、図１に示すように、生体内に挿入可能であり、該生体内に存在する生体組織等の被写体の像を撮像するとともに、該生体組織の像を撮像信号として出力する内視鏡２と、内視鏡２に挿通されたライトガイド６を介し、被写体を照明するための照明光を内視鏡２に供給する光源装置３と、内視鏡２から出力される撮像信号に応じた信号処理を行い、該信号処理を行った後の撮像信号を映像信号として出力するビデオプロセッサ４と、ビデオプロセッサ４から出力される映像信号に基づき、内視鏡２が撮像した被写体の像を画像表示するモニタ５とを要部として有して構成されている。

内視鏡２は、光源装置３から供給され、ライトガイド６により伝送された照明光を出射する照明光学系２１と、照明光学系２１から出射される照明光により照明された被写体の像を結像する対物光学系２２と、対物光学系２２の結像位置に配置されるＣＣＤ（電荷結合素子）２３と、を有して構成されている。

プログレッシブ走査型（ノンインターレース走査型）のＣＣＤ２３は、照明光学系２１から時系列的に順次出射される照明光により照明された被写体の像を各々撮像し、該被写体の像を撮像信号として出力する。これにより、撮像素子としてのＣＣＤ２３は、１回の露光期間において取得した、１つの色成分の奇数フィールドの情報及び偶数フィールドの情報を、該露光期間後の読み出し期間中に撮像信号として出力する。

すなわち、ＣＣＤ２３は、照明光学系２１から時系列的に順次出射される照明光により照明された対象物（被写体）からの戻り光を受光可能であるとともに、該戻り光に応じた該対象物（被写体）の色成分を取得する、色成分取得部としての機能を有している。

光源部としての光源装置３は、ランプ３１と、ランプ３１が発した白色光の熱線を遮断する熱線カットフィルタ３２と、絞り装置３３と、絞り装置３３を通過した白色光を面順次の照明光にする回転フィルタ３４と、回転フィルタ３４を透過した面順次の照明光を集光してライトガイド６へ出射する集光光学系３５と、回転フィルタ３４を回転駆動させる回転フィルタモータ３６と、回転フィルタ制御回路３７と、を有している。

ランプ３１は、白色光を発することが可能な光源である、例えばキセノンランプ等により構成されている。

絞り装置３３は、ビデオプロセッサ４から出力される絞り制御信号に基づき、熱線カットフィルタ３２を通過した白色光の光量を調整する。

回転フィルタ３４は、図２に示すように、中心を回転軸とした円盤状に構成されている。また、回転フィルタ３４は、図２に示すように、各々が外周側の周方向に沿って設けられた、赤色域の波長帯域の光を透過させるＲフィルタ３４ｒと、緑色域の波長帯域の光を透過させるＧフィルタ３４ｇと、青色域の波長帯域の光を透過させるＢフィルタ３４ｂとを有して構成されている。

Ｒフィルタ３４ｒは、赤色領域の波長帯域の光として、例えば図３に示すように、６００ｎｍから７００ｎｍまでの光を透過させるような構成を有している。

Ｇフィルタ３４ｇは、緑色領域の波長帯域の光として、例えば図３に示すように、５００ｎｍから６００ｎｍまでの光を透過させるような構成を有している。

Ｂフィルタ３４ｂは、青色領域の波長帯域の光として、例えば図３に示すように、４００ｎｍから５００ｎｍまでの光を透過させるような構成を有している。

回転フィルタ制御回路３７は、回転フィルタモータ３６の回転駆動を制御するとともに、回転フィルタ３４の回転に同期した同期信号をビデオプロセッサ４に対して出力する。

光源装置３の各部が前述したような構成を有することにより、Ｒフィルタ３４ｒ、Ｇフィルタ３４ｇ及びＢフィルタ３４ｂを透過した白色光は、Ｒ（赤）光、Ｇ（緑）光及びＢ（青）光からなる面順次な照明光として、集光光学系３５により各々集光された後、ライトガイド６へ出射される。

ビデオプロセッサ４は、内視鏡２が有するＣＣＤ２３を駆動するＣＣＤドライバ４１と、ＣＣＤ２３から出力される撮像信号を増幅するアンプ４２と、アンプ４２から出力される撮像信号に対して相関２重サンプリング等の処理を施すプロセス回路４３と、プロセス回路４３から出力される撮像信号をデジタルの画像信号に変換するＡ／Ｄコンバータ４４と、を有している。

また、ビデオプロセッサ４は、Ａ／Ｄコンバータ４４から出力される画像信号を色成分毎に格納する色成分格納回路６１と、演算処理回路６２と、を有している。

色成分格納部としての色成分格納回路６１は、図４に示すように、タイミングジェネレータ４９から出力されるタイミング信号に基づいてＡ／Ｄコンバータ４４からの画像信号に含まれる色成分を選択的に出力するセレクタ６１ｓと、セレクタ６１ｓからの画像信号に含まれるＲ成分が格納されるＲ成分格納回路６１ｒと、セレクタ６１ｓからの画像信号に含まれるＧ成分が格納されるＧ成分格納回路６１ｇと、セレクタ６１ｓからの画像信号に含まれるＢ成分が格納されるＢ成分格納回路６１ｂと、を有して構成されている。

Ｒ成分格納回路６１ｒは、所定のタイミングにおいて入力された第１のＲ成分と、該所定のタイミングの１周期分前のタイミングにおいて入力された第２のＲ成分との、２つのＲ成分を格納するためのメモリ６１ｒ１及び６１ｒ２を有している。

Ｇ成分格納回路６１ｇは、所定のタイミングにおいて入力された第１のＧ成分と、該所定のタイミングの１周期分前のタイミングにおいて入力された第２のＧ成分との、２つのＧ成分を格納するためのメモリ６１ｇ１及び６１ｇ２を有している。

Ｂ成分格納回路６１ｂは、所定のタイミングにおいて入力された第１のＢ成分と、該所定のタイミングの１周期分前のタイミングにおいて入力された第２のＢ成分との、２つのＢ成分を格納するためのメモリ６１ｂ１及び６１ｂ２を有している。

演算処理回路６２は、タイミングジェネレータ４９から出力されるタイミング信号に基づき、Ｒ成分格納回路６１ｒに格納された２つのＲ成分（第１のＲ成分及び第２のＲ成分）と、Ｇ成分格納回路６１ｇに格納された２つのＧ成分（第１のＧ成分及び第２のＧ成分）と、Ｂ成分格納回路６１ｂに格納された２つのＢ成分（第１のＢ成分及び第２のＢ成分）と、を順次異なるタイミングにより読み出し、読み出した色成分の情報に対してノイズ除去処理及び（または）動き補間処理等の画像補正処理を施した後、該画像補正処理後の色成分信号をホワイトバランス回路４５へ出力する。

また、ビデオプロセッサ４は、演算処理回路６２から出力される色成分信号に対して夫々ホワイトバランス処理を施すホワイトバランス回路４５と、ホワイトバランス回路４５から順次出力される色成分信号を一時的に蓄積して同時化する同時化回路４６と、画像処理回路４７と、Ｄ／Ａコンバータ４８と、光源装置３の回転フィルタ制御回路３７から出力される同期信号に応じたタイミング信号を、前述したビデオプロセッサ４の各部に対して出力するタイミングジェネレータ４９と、調光回路５２と、を有している。

同時化回路４６は、セレクタ４６ａ、メモリ４６ｂ、４６ｃ及び４６ｄを有して構成されている。

セレクタ４６ａは、タイミングジェネレータ４９から出力されるタイミング信号に基づき、ホワイトバランス回路４５から出力される色成分信号を、メモリ４６ｂ、４６ｃ及び４６ｄに対して順次出力する。

メモリ４６ｂ、４６ｃ及び４６ｄは、メモリ４６ｂがＲチャンネル用のメモリとして、メモリ４６ｃがＧチャンネル用のメモリとして、メモリ４６ｄがＢチャンネル用のメモリとして夫々構成されている。すなわち、メモリ４６ｂに入力された色成分信号は赤成分として蓄積され、メモリ４６ｃに入力された色成分信号は緑成分として蓄積され、メモリ４６ｄに入力された色成分信号は青成分として蓄積される。

そして、メモリ４６ｂ、４６ｃ及び４６ｄは、タイミングジェネレータ４９から出力されるタイミング信号に基づき、セレクタ４６ａから出力される色成分信号を蓄積して同時化する。

画像処理回路４７は、同時化回路４６に蓄積された各色成分信号のうち、１フレーム分の色成分信号を読み出し、該１フレーム分の色成分信号に対してガンマ補正処理等の処理を行った後、該処理後の１フレーム分の色成分信号をＤ／Ａコンバータ４８へ出力する。

Ｄ／Ａコンバータ４８は、画像処理回路４７から出力される各色成分信号をアナログの映像信号に変換して出力する。

調光回路５２は、プロセス回路４３から出力される撮像信号に基づき、白色光の観察に応じた明るさ制御を行うための絞り制御信号を絞り装置３３に対して出力する。

次に、内視鏡装置１の作用について説明を行う。

まず、術者等は、内視鏡装置１の各部、すなわち、内視鏡２、光源装置３、ビデオプロセッサ４及びモニタ５の電源を投入し、該各部を起動状態とする。

光源装置３が起動すると、Ｒ光、Ｇ光及びＢ光からなる面順次な照明光がライトガイド６へ出射される。また、光源装置３の起動に伴い、回転フィルタ３４の回転に同期した同期信号が、回転フィルタ制御回路３７からビデオプロセッサ４へ出力される。

そして、Ｒ光、Ｇ光及びＢ光からなる面順次な照明光は、ライトガイド６及び照明光学系２１を介し、被写体に対して出射される。

Ｒ光、Ｇ光及びＢ光からなる面順次な照明光により照明された被写体の像は、対物光学系２２により結像され、ＣＣＤ２３により撮像された後、撮像信号として順次ビデオプロセッサ４に対して出力される。

ビデオプロセッサ４に対して出力された撮像信号は、アンプ４２により増幅され、プロセス回路４３により相関２重サンプリング等の処理が施され、Ａ／Ｄコンバータ４４によりデジタルの画像信号に変換された後、色成分格納回路６１に入力される。

ここで、色成分格納回路６１における各色成分の書き込みタイミング及び読み出しタイミングについて説明を行う。なお、ビデオプロセッサ４の起動直後（初期状態）において、Ｒ成分格納回路６１ｒ、Ｇ成分格納回路６１ｇ及びＢ成分格納回路６１ｂの各メモリには、いずれの色成分も格納されていない状態であるとする。また、以降においては、セレクタ６１ｓが色成分格納回路６１に対する書き込み（図５に示す「Ｗｒｉｔｅ」）を行い、演算処理回路６２が色成分格納回路６１からの読み出し（図５に示す「Ｒｅａｄ」）を行っているものとする。

まず、図５に示すように、ビデオプロセッサ４の起動直後において、回転フィルタ３４の１回転目（１周期目）のＲ光の被写体の像に相当する色成分Ｒ１がメモリ６１ｒ１に書き込まれ、回転フィルタ３４の１回転目（１周期目）のＧ光の被写体の像に相当する色成分Ｇ１がメモリ６１ｇ１に書き込まれ、回転フィルタ３４の１回転目（１周期目）のＢ光の被写体の像に相当する色成分Ｂ１がメモリ６１ｂ１に書き込まれる。

その後、図５に示すように、回転フィルタ３４の２回転目（２周期目）のＲ光の被写体の像に相当する色成分Ｒ２がメモリ６１ｒ２に書き込まれる。

図５に示すように、メモリ６１ｒ１及び６１ｒ２に格納された色成分Ｒ１及びＲ２は、回転フィルタ３４の２回転目（２周期目）のＧ光の被写体の像に相当する色成分Ｇ２がメモリ６１ｇ２に書き込まれるタイミングと同時に読み出される。

図５に示すように、メモリ６１ｇ１及び６１ｇ２に格納された色成分Ｇ１及びＧ２は、回転フィルタ３４の２回転目（２周期目）のＢ光の被写体の像に相当する色成分Ｂ２がメモリ６１ｂ２に書き込まれるタイミングと同時に読み出される。

図５に示すように、メモリ６１ｂ１及び６１ｂ２に格納された色成分Ｂ１及びＢ２は、回転フィルタ３４の３回転目（３周期目）のＲ光の被写体の像に相当する色成分Ｒ３がメモリ６１ｒ１に上書きされるタイミングと同時に読み出される。

図５に示すように、メモリ６１ｒ１及び６１ｒ２に格納された色成分Ｒ３及びＲ２は、回転フィルタ３４の３回転目（３周期目）のＧ光の被写体の像に相当する色成分Ｇ３がメモリ６１ｇ１に上書きされるタイミングと同時に読み出される。

図５に示すように、メモリ６１ｇ１及び６１ｇ２に格納された色成分Ｇ３及びＧ２は、回転フィルタ３４の３回転目（３周期目）のＢ光の被写体の像に相当する色成分Ｂ３がメモリ６１ｂ１に上書きされるタイミングと同時に読み出される。

以上に述べたような書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｒ１及び６１ｒ２には、所定のタイミングにおいて入力された第１のＲ成分と、該所定のタイミングの１周期分前のタイミングにおいて入力された第２のＲ成分との、２つのＲ成分が格納される。

以上に述べたような書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｇ１及び６１ｇ２には、所定のタイミングにおいて入力された第１のＧ成分と、該所定のタイミングの１周期分前のタイミングにおいて入力された第２のＧ成分との、２つのＧ成分が格納される。

以上に述べたような書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｂ１及び６１ｂ２には、所定のタイミングにおいて入力された第１のＢ成分と、該所定のタイミングの１周期分前のタイミングにおいて入力された第２のＢ成分との、２つのＢ成分が格納される。

一方、演算処理回路６２は、第１のＲ成分及び第２のＲ成分と、第１のＧ成分及び第２のＧ成分と、第１のＢ成分及び第２のＢ成分とを、図５を参照しつつ前述した順次異なるタイミングにより読み出した後、読み出した色成分の情報に対して画像補正処理を施す。

ここで、演算処理回路６２において行われる画像補正処理の一例としての、ノイズ除去処理について説明を行う。なお、画像補正処理に関する以降の説明においては、第１のＲ成分及び第２のＲ成分に対する処理を例に挙げつつ主に説明を行うものとする。

演算処理回路６２は、第１のＲ成分と第２のＲ成分との差分画像を取得した後、該差分画像に対してフーリエ変換を施すことにより、該差分画像を実空間データから空間周波数データへ変換する。すなわち、実空間データにおいて隣り合う画素との相関が高い動き成分は、空間周波数データにおける特定の周波数領域に集中的に分布したピーク成分として変換される。また、実空間データにおいて隣り合う画素との相関が低いノイズ成分は、空間周波数データにおける各周波数領域に略一様に分布した成分として変換される。

演算処理回路６２は、前記ピーク成分を除去した後に残る各成分を実空間データにおけるノイズ成分として抽出した後、該ノイズ成分に含まれる各輝度値を第２のＲ成分から差し引く処理を行う。そして、演算処理回路６２は、前記処理を施した後の第２のＲ成分を、色成分信号としてホワイトバランス回路４５へ出力する。

なお、以上に述べたノイズ除去処理は、Ｒ成分のみならず、Ｇ成分及びＢ成分に対しても同様に適用可能である。

演算処理回路６２は、以上に述べたノイズ除去処理を画像補正処理として行うことにより、各色成分におけるＳ／Ｎを向上させることができる。

さらに、演算処理回路６２において行われる画像補正処理の一例としての、動き補間処理について説明を行う。

演算処理回路６２は、第１のＲ成分と第２のＲ成分との差分画像を取得した後、動き成分が生じていると推定される領域として、輝度値が０でない部分に囲まれる領域を抽出する。

そして、演算処理回路６２は、抽出した前記領域に基づき、第２のＲ成分における基準領域をブロックとして取得した後、該ブロックとの類似度が最も高い領域を第１のＲ成分において検出する。そして、前記ブロックの座標位置と、該ブロックとの類似度が最も高い領域の座標位置とに基づき、該ブロックの動きベクトルＭ（ｄｘ，ｄｙ）を算出する。

このとき、第２のＲ成分Ｒ_ｉの位置（ｘ，ｙ）における輝度値をＲ_ｉ（ｘ，ｙ）とし、第１のＲ成分Ｒ_ｉ＋１の位置（ｘ，ｙ）における輝度値をＲ_ｉ＋１（ｘ，ｙ）とした場合、Ｒ_ｉ（ｘ，ｙ）と、Ｒ_ｉ＋１（ｘ，ｙ）と、動きベクトルＭ（ｄｘ，ｄｙ）との間には、下記数式（１）に示す関係が成り立つ。

Ｒ_ｉ＋１（ｘ，ｙ）＝Ｒ_ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ） ・・・（１）

上記数式（１）が成り立つことにより、例えば、前述した動きベクトルＭ（ｄｘ，ｄｙ）を３等分した場合、第２のＲ成分と第１のＲ成分との間に補間される１枚目の中間画像Ｒ_ｉｔ１の位置（ｘ，ｙ）における輝度値Ｒ_ｉｔ１（ｘ，ｙ）は、下記数式（２）に示すものとなる。

Ｒ_ｉｔ１（ｘ，ｙ）＝Ｒ_ｉ（ｘ＋ｄｘ×１／３，ｙ＋ｄｙ×１／３） ・・・（２）

また、第２のＲ成分と第１のＲ成分との間に補間される２枚目の中間画像Ｒ_ｉｔ２の位置（ｘ，ｙ）における輝度値Ｒ_ｉｔ２（ｘ，ｙ）は、下記数式（３）に示すものとなる。

Ｒ_ｉｔ２（ｘ，ｙ）＝Ｒ_ｉ（ｘ＋ｄｘ×２／３，ｙ＋ｄｙ×２／３） ・・・（３）

但し、第２のＲ成分と第１のＲ成分との間に補間される各中間画像を上記数式（２）及び数式（３）により算出する場合、動きベクトルＭ（ｄｘ，ｄｙ）の偏りに応じ、ブロックが複数回通過する重複画素、または、ブロックが１回も通過しないギャップ画素のいずれかが生じる可能性がある。（なお、ブロックの通過回数は、例えば動きベクトルＭの交差回数と同じ値とみなすことができる。）そして、前記重複画素及び前記ギャップ画素の存在は、各中間画像の算出の際に、誤った輝度値を有する画素が出力されてしまう原因となる。

そのため、演算処理回路６２は、ブロックの通過回数に基づいて検出される、各中間画像における重複画素及びギャップ画素の輝度値に、第２のＲ成分における同じ位置の画素の輝度値を割り当てる処理を行う。これにより、演算処理回路６２は、各中間画像を算出する際に、誤った輝度値を有する画素の出力を回避することができる。

ここで、図５のタイミングチャートを例に挙げつつ、各中間画像が算出されるタイミングについて説明を行う。

演算処理回路６２は、回転フィルタ３４の２回転目（２周期目）のＲ光の被写体の像に相当する色成分Ｒ２がメモリ６１ｒ２に書き込まれるタイミングと略同時に色成分Ｒ１及びＲ２を読み出し、色成分Ｒ１の位置（ｘ，ｙ）における輝度値Ｒ_１（ｘ，ｙ）と、色成分Ｒ２の位置（ｘ，ｙ）における輝度値Ｒ_２（ｘ，ｙ）と、動きベクトルＭ（ｄｘ，ｄｙ）とを算出しつつ、色成分Ｒ１を色成分信号としてホワイトバランス回路４５へ出力する。

また、演算処理回路６２は、回転フィルタ３４の２回転目（２周期目）のＧ光の被写体の像に相当する色成分Ｇ２がメモリ６１ｇ２に書き込まれるタイミングにおいて、上記数式（２）を用いた演算を行うことにより、色成分Ｒ１と色成分Ｒ２との間に補間される１枚目の中間画像Ｒ_１ｔ１を生成し、色成分信号としてホワイトバランス回路４５へ出力する。

さらに、演算処理回路６２は、回転フィルタ３４の２回転目（２周期目）のＢ光の被写体の像に相当する色成分Ｂ２がメモリ６１ｂ２に書き込まれるタイミングにおいて、上記数式（３）を用いた演算を行うことにより、色成分Ｒ１と色成分Ｒ２との間に補間される２枚目の中間画像Ｒ_１ｔ２を生成し、色成分信号としてホワイトバランス回路４５へ出力する。

そして、演算処理回路６２は、回転フィルタ３４の２回転目（３周期目）のＲ光の被写体の像に相当する色成分Ｒ３がメモリ６１ｒ１に書き込まれるタイミングと略同時に色成分Ｒ３及びＲ２を読み出し、色成分Ｒ２の位置（ｘ，ｙ）における輝度値Ｒ_２（ｘ，ｙ）と、色成分Ｒ３の位置（ｘ，ｙ）における輝度値Ｒ_３（ｘ，ｙ）と、新たな動きベクトルＭ（ｄｘ，ｄｙ）とを算出しつつ、色成分Ｒ２を色成分信号としてホワイトバランス回路４５へ出力する。

すなわち、図５のタイミングチャートを例に挙げた場合、演算処理回路６２は、色成分Ｒ１が出力されてから色成分Ｒ２が出力されるまでの間に、Ｒ成分以外の他の色成分が色成分格納回路６１に書き込まれるタイミングに合わせてＲ_１ｔ１及びＲ_１ｔ２の２枚の中間画像を生成（及び出力）することにより、Ｒ成分における動き補間を行う。

なお、以上に述べた動き補間処理は、Ｒ成分のみならず、Ｇ成分及びＢ成分に対しても同様に適用可能である。

演算処理回路６２は、以上に述べた動き補間処理を画像補正処理として行うことにより、各色成分における時間解像度を向上させることができる。

なお、本実施形態の演算処理回路６２は、画像補正処理として、ノイズ除去処理または動き補間処理のいずれか一方のみを行うものであっても良いし、また、ノイズ除去処理を行った後に動き補間処理を行うものであっても良い。

一方、演算処理回路６２から出力された各色成分信号は、ホワイトバランス回路４５によりホワイトバランス処理が施され、同時化回路４６により同時化され、画像処理回路４７によりガンマ補正処理等の処理が施され、Ｄ／Ａコンバータ４８によりアナログの映像信号に変換された後、モニタ５へ出力される。

以上に述べたように、本実施形態の内視鏡装置１は、奇数フィールドの情報及び偶数フィールドの情報を併せ持つ色成分を時系列的に取得可能な面順次式の構成を有するとともに、光源装置の回転フィルタの回転周期に応じた一のタイミングにおける第１の色成分と、該一のタイミングの１周期分前のタイミングにおける、該第１の色成分と同一の色（波長帯域）の第２の色成分とを用いて画像補正処理を行うことが可能な構成を有している。その結果、本実施形態の内視鏡装置１は、面順次式の構成において、適切に画像補正処理を行うことができる。

ところで、面順次式の構成において、１つのフレームの全ての色成分が更新されるタイミング毎に画像補正処理を行う場合、例えば赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３色の色成分の奇数フィールドの情報及び偶数フィールドの情報からなる計６フィールド分の情報を取得するまでの期間と、該画像補正処理の演算に用いる期間とを少なくとも合わせた期間が経過した後、はじめて該画像補正処理後の画像を１枚分得ることができる。すなわち、面順次式の構成において、１つのフレームの全ての色成分が更新されるタイミング毎に画像補正処理を行う場合、単位時間あたりの処理回数の低下、及び（または）、動画像出力時におけるフレームレートの低下、といった問題点が生じてしまう。

一方、本実施形態の内視鏡装置１は、１つのフレームの全ての色成分が更新されるタイミング毎に画像補正処理を行うものとは異なり、前述したように、光源装置の回転フィルタの回転周期に応じた一のタイミングにおける第１の色成分と、該一のタイミングの１周期分前のタイミングにおける、該第１の色成分と同一の色（波長帯域）の第２の色成分とが揃った時点において、画像補正処理を開始する構成を有するものである。従って、本実施形態の内視鏡装置１は、動画像出力時におけるフレームレートの低下を抑えつつ、単位時間あたりの画像補正処理の処理回数を向上させることができる。

なお、本実施形態のビデオプロセッサ４は、ＣＣＤ２３がプログレッシブ走査型（ノンインターレース走査型）の場合のみに対応した色成分格納回路６１の代わりに、ＣＣＤ２３がインターレース走査型の場合であって適切に画像補正処理を行うことができるような、例えば図６に示す色成分格納回路６１Ａを具備するものであっても良い。

色成分格納部としての色成分格納回路６１Ａは、図６に示すように、タイミングジェネレータ４９から出力されるタイミング信号に基づいてＡ／Ｄコンバータ４４からの画像信号に含まれる色成分を選択的に出力するセレクタ６１ｓと、セレクタ６１ｓからの画像信号に含まれるＲ成分が格納されるＲ成分格納回路１６１ｒと、セレクタ６１ｓからの画像信号に含まれるＧ成分が格納されるＧ成分格納回路１６１ｇと、セレクタ６１ｓからの画像信号に含まれるＢ成分が格納されるＢ成分格納回路１６１ｂと、を有して構成されている。

Ｒ成分格納回路１６１ｒは、所定の第１のタイミングにおいて入力された第１の奇数フィールドのＲ成分と、該所定の第１のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＲ成分と、所定の第２のタイミングにおいて入力された第１の偶数フィールドのＲ成分と、該所定の第２のタイミングの２周期分前のタイミングにおいて入力された第２の偶数フィールドのＲ成分との、４つのＲ成分を格納するためのメモリ６１ｒ１、６１ｒ２、６１ｒ３及び６１ｒ４を有している。

Ｇ成分格納回路１６１ｇは、所定の第１のタイミングにおいて入力された第１の奇数フィールドのＧ成分と、該所定の第１のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＧ成分と、所定の第２のタイミングにおいて入力された第１の偶数フィールドのＧ成分と、該所定の第２のタイミングの２周期分前のタイミングにおいて入力された第２の偶数フィールドのＧ成分との、４つのＧ成分を格納するためのメモリ６１ｇ１、６１ｇ２、６１ｇ３及び６１ｇ４を有している。

Ｇ成分格納回路１６１ｇは、所定の第１のタイミングにおいて入力された第１の奇数フィールドのＧ成分と、該所定の第１のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＧ成分と、所定の第２のタイミングにおいて入力された第１の偶数フィールドのＧ成分と、該所定の第２のタイミングの２周期分前のタイミングにおいて入力された第２の偶数フィールドのＧ成分との、４つのＧ成分を格納するためのメモリ６１ｇ１、６１ｇ２、６１ｇ３及び６１ｇ４を有している。

Ｂ成分格納回路１６１ｂは、所定の第１のタイミングにおいて入力された第１の奇数フィールドのＢ成分と、該所定の第１のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＢ成分と、所定の第２のタイミングにおいて入力された第１の偶数フィールドのＢ成分と、該所定の第２のタイミングの２周期分前のタイミングにおいて入力された第２の偶数フィールドのＢ成分との、４つのＢ成分を格納するためのメモリ６１ｂ１、６１ｂ２、６１ｂ３及び６１ｂ４を有している。

ここで、色成分格納回路６１Ａにおける各色成分の書き込みタイミング及び読み出しタイミングについて説明を行う。なお、初期状態において、Ｒ成分格納回路１６１ｒ、Ｇ成分格納回路１６１ｇ及びＢ成分格納回路１６１ｂの各メモリには、いずれの色成分も格納されていない状態であるとする。また、以降においては、セレクタ６１ｓが色成分格納回路６１Ａに対する書き込み（図７に示す「Ｗｒｉｔｅ」）を行い、演算処理回路６２が色成分格納回路６１Ａからの読み出し（図７に示す「Ｒｅａｄ」）を行っているものとする。

まず、図７に示すように、初期状態において、回転フィルタ３４の１回転目（１周期目）のＲ光の被写体の像に相当する奇数フィールドの色成分Ｒｏ１がメモリ６１ｒ１に書き込まれ、回転フィルタ３４の１回転目（１周期目）のＧ光の被写体の像に相当する奇数フィールドの色成分Ｇｏ１がメモリ６１ｇ１に書き込まれ、回転フィルタ３４の１回転目（１周期目）のＢ光の被写体の像に相当する奇数フィールドの色成分Ｂｏ１がメモリ６１ｂ１に書き込まれる。

さらに、図７に示すように、回転フィルタ３４の２回転目（２周期目）のＲ光の被写体の像に相当する偶数フィールドの色成分Ｒｅ１がメモリ６１ｒ２に書き込まれ、回転フィルタ３４の２回転目（２周期目）のＧ光の被写体の像に相当する偶数フィールドの色成分Ｇｅ１がメモリ６１ｇ２に書き込まれ、回転フィルタ３４の２回転目（２周期目）のＢ光の被写体の像に相当する偶数フィールドの色成分Ｂｅ１がメモリ６１ｂ２に書き込まれる。

その後、図７に示すように、回転フィルタ３４の３回転目（３周期目）のＲ光の被写体の像に相当する奇数フィールドの色成分Ｒｏ２がメモリ６１ｒ３に書き込まれる。

図７に示すように、メモリ６１ｒ１及び６１ｒ３に格納された色成分Ｒｏ１及びＲｏ２は、回転フィルタ３４の３回転目（３周期目）のＧ光の被写体の像に相当する奇数フィールドの色成分Ｇｏ２がメモリ６１ｇ３に書き込まれるタイミングと同時に読み出される。

図７に示すように、メモリ６１ｇ１及び６１ｇ３に格納された色成分Ｇｏ１及びＧｏ２は、回転フィルタ３４の３回転目（３周期目）のＢ光の被写体の像に相当する奇数フィールドの色成分Ｂｏ２がメモリ６１ｂ３に書き込まれるタイミングと同時に読み出される。

図７に示すように、メモリ６１ｂ１及び６１ｂ３に格納された色成分Ｂｏ１及びＢｏ２は、回転フィルタ３４の４回転目（４周期目）のＲ光の被写体の像に相当する偶数フィールドの色成分Ｒｅ２がメモリ６１ｒ４に書き込まれるタイミングと同時に読み出される。

以上に述べたような奇数フィールドのＲ成分に係る書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｒ１及び６１ｒ３には、所定の第１のタイミングにおいて入力された第１の奇数フィールドのＲ成分と、該所定の第１のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＲ成分との、２つのＲ成分が格納される。また、以上に述べたような偶数フィールドのＲ成分に係る書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｒ２及び６１ｒ４には、所定の第２のタイミングにおいて入力された第１の偶数フィールドのＲ成分と、該所定の第２のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＲ成分との、２つのＲ成分が格納される。

以上に述べたような奇数フィールドのＧ成分に係る書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｇ１及び６１ｇ３には、所定の第１のタイミングにおいて入力された第１の奇数フィールドのＧ成分と、該所定の第１のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＧ成分との、２つのＧ成分が格納される。また、以上に述べたような偶数フィールドのＧ成分に係る書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｇ２及び６１ｇ４には、所定の第２のタイミングにおいて入力された第１の偶数フィールドのＧ成分と、該所定の第２のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＧ成分との、２つのＧ成分が格納される。

以上に述べたような奇数フィールドのＢ成分に係る書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｂ１及び６１ｂ３には、所定の第１のタイミングにおいて入力された第１の奇数フィールドのＢ成分と、該所定の第１のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＢ成分との、２つのＢ成分が格納される。また、以上に述べたような偶数フィールドのＢ成分に係る書き込み及び読み出しが繰り返し行われることにより、メモリ６１ｂ２及び６１ｂ４には、所定の第２のタイミングにおいて入力された第１の偶数フィールドのＢ成分と、該所定の第２のタイミングの２周期分前のタイミングにおいて入力された第２の奇数フィールドのＢ成分との、２つのＢ成分が格納される。

なお、本実施形態における内視鏡２は、例えば、光源装置３から時系列的に順次供給される赤色、緑色及び青色の照明光を伝送するためのライトガイド６を挿通可能な（例えば細長の）挿入部を有するものに限らず、例えば、時系列的に順次発光する赤色、緑色及び青色のＬＥＤを内蔵するカプセル型の形状を有するものであっても良い。

また、本実施形態においては、面順次光としてのＲ光、Ｇ光及びＢ光のうち、例えば、いずれか一の光を、生体組織から蛍光を発生させるための励起光、あるいは、赤外領域の光等の特殊光に代えても良い。

なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本実施形態の医療用画像処理装置が用いられる医療用撮像システムとしての、内視鏡装置の要部の構成の一例を示す図。 図１の内視鏡装置における回転フィルタの構成の一例を示す図。 図２の回転フィルタが有する各フィルタの透過特性の一例を示す図。 本実施形態における色成分格納回路の構成の一例を示す図。 図４の色成分格納回路における各色成分の書き込みタイミング及び読み出しタイミングを説明するための図。 本実施形態における色成分格納回路の構成の、図４とは異なる例を示す図。 図６の色成分格納回路における各色成分の書き込みタイミング及び読み出しタイミングを説明するための図。

符号の説明

１・・・内視鏡装置
２・・・内視鏡
３・・・光源装置
４・・・ビデオプロセッサ
５・・・モニタ
３４・・・回転フィルタ
３４ｂ・・・Ｂフィルタ
３４ｇ・・・Ｇフィルタ
３４ｒ・・・Ｒフィルタ
６１，６１Ａ・・・色成分格納回路
６１ｂ，１６１ｂ・・・Ｂ成分格納回路
６１ｇ，１６１ｇ・・・Ｇ成分格納回路
６１ｒ，１６１ｒ・・・Ｒ成分格納回路
６１ｓ・・・セレクタ
６２・・・演算処理回路

Claims (7)

1. 面順次により撮像された各被写体の像に相当する複数の色成分が周期性を有しつつ時系列的に入力される医療用画像処理装置であって、
   一のタイミングにおいて前記医療用画像処理装置に入力された第１の色成分と、該一のタイミングの１周期分以上前のタイミングにおいて前記医療用画像処理装置に入力された、該第１の色成分と同一の波長帯域の成分である第２の色成分と、を格納可能な色成分格納部と、
   前記色成分格納部に格納された前記第１の色成分及び前記第２の色成分を同時に読み出して画像補正処理を行う画像補正処理部と、
   を有することを特徴とする医療用画像処理装置。
2. 前記第２の色成分は、前記一のタイミングの１周期分前のタイミングにおいて入力されたものであることを特徴とする請求項１に記載の医療用画像処理装置。
3. 前記第２の色成分は、前記一のタイミングの２周期分前のタイミングにおいて入力されたものであることを特徴とする請求項１に記載の医療用画像処理装置。
4. 相互に異なる波長帯域を有する複数の照明光を時系列的に順次出射する光源部と、
   前記照明光により照明された対象物からの戻り光を受光可能であるとともに、該戻り光に応じた該対象物の色成分を取得する色成分取得部と、
   前記光源部から同一の波長帯域の光が出射される周期に応じた一のタイミングにおいて取得された第１の色成分と、該一のタイミングの１周期分以上前のタイミングにおいて取得された、該第１の色成分と同一の波長帯域の成分である第２の色成分と、を格納可能な色成分格納部と、
   前記色成分格納部に格納された前記第１の色成分及び前記第２の色成分を同時に読み出して画像補正処理を行う画像補正処理部と、
   を有することを特徴とする医療用撮像システム。
5. 前記第２の色成分は、前記一のタイミングの１周期分前のタイミングにおいて取得されたものであることを特徴とする請求項４に記載の医療用撮像システム。
6. 前記第２の色成分は、前記一のタイミングの２周期分前のタイミングにおいて取得されたものであることを特徴とする請求項４に記載の医療用撮像システム。
7. 前記色成分取得部は、前記照明光により照明された前記対象物の像を撮像し、前記対象物の像に相当する色成分を取得する撮像素子であることを特徴とする請求項４乃至請求項６のいずれか一に記載の医療用撮像システム。

Images