JP2018011797A - 補正効果確認方法及び指標 - Google Patents

Abstract

【課題】キャリブレーションが適正に行われない場合がある。【解決手段】電子内視鏡による撮影画像を構成する画素データを所定の疾患に合わせて補正する補正値を算出する補正値算出処理の実行後に、該補正値による補正効果を確認するためにコンピュータを用いて実行される補正効果確認方法であり、電子内視鏡によって所定の疾患に関する指標が撮影されると、その撮影画像データを上記の補正値で補正する補正ステップと、補正された指標の撮影画像データの色成分に関する情報をユーザに報知する報知ステップとを含む方法を提供する。【選択図】図１０

Description

本発明は、補正効果確認方法及び指標に関する。

病変部は、一般に、正常な粘膜組織とは異なる色を呈する。正常組織に対して僅かに色の異なる病変部を術者が把握して診断するためには、少なくとも病変部に対応する色領域において正確な色情報を再現する内視鏡画像をモニタの表示画面に表示させることが可能な構成が必要となる。

例えば特許文献１に、担持体に担持された基準表面を撮影視野内に配置する構成が記載されている。特許文献１に記載の構成では、基準表面を撮像することによって得られる実際のカラー信号と、予め保持された目標のカラー信号との比較結果に基づいてキャリブレーションが行われる。これにより、適正な色情報を持つ内視鏡画像がモニタの表示画面に表示されるため、術者による、病変部に対するより正確な診断が可能となる。

特開平６−４６４２８号公報

特許文献１は、キャリブレーションが適正に行われる前提で記載されている。しかし、実際には、キャリブレーションは、照明条件や基準表面の位置ズレ・角度ズレ、ヒューマンエラー等の各種誤差によって適正に行われない場合もある。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、キャリブレーション（言い換えると、画素データ用の補正値を算出する補正値算出処理）による効果（補正効果）を確認するのに好適な補正効果確認方法及び指標を提供することである。

本発明の一実施形態に係る補正効果確認方法は、電子内視鏡による撮影画像を構成する画素データを所定の疾患に合わせて補正する補正値を算出する補正値算出処理の実行後に、該補正値による補正効果を確認するためにコンピュータを用いて実行される方法であり、電子内視鏡によって所定の疾患に関する指標が撮影されると、その撮影画像データを該補正値で補正する補正ステップと、補正された指標の撮影画像データの色成分に関する情報をユーザに報知する報知ステップとを含む。

また、本発明の一実施形態において、指標は、例えば、所定の疾患の色を模した色指標である。

また、本発明の一実施形態に係る補正効果確認方法は、補正ステップにて補正された指標の撮影画像データの色成分に基づいて所定の疾患に関する評価値を計算する計算ステップを含むものとしてもよい。この場合、色成分に関する情報は、評価値を含むものとしてもよい。

また、本発明の一実施形態に係る補正効果確認方法は、計算ステップにて計算された評価値と所定の記憶媒体に予め記憶された目標値とを比較する比較ステップと、比較ステップでの比較結果に基づいて補正値算出処理が適正に行われたか否かを判定する判定ステップと、判定ステップでの判定結果をユーザに報知するステップとを含むものとしてもよい。

また、本発明の一実施形態に係る指標は、補正値算出処理にて算出された補正値による補正効果を確認するための指標であり、所定の疾患の色を模した色指標である。補正値算出処理は、電子内視鏡による撮影画像を構成する画素データを所定の疾患に合わせて補正する補正値を算出する処理である。

また、本発明の一実施形態において、指標は、所定の疾患について少なくとも１つの症状レベルを表す色を模した色指標を含むものとしてもよい。

また、本発明の一実施形態において、指標は、夫々異なる症状レベルを表す色を模した複数の色指標が並ぶものとしてもよい。

また、本発明の一実施形態において、指標は、最も高い症状レベルを表す色から最も低い症状レベルを表す色までをグラデーションで表わした色指標を含むものとしてもよい。

本発明の一実施形態によれば、キャリブレーションによる補正効果を確認するのに好適な補正効果確認方法及び指標が提供される。

本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 本発明の一実施形態において特殊モード時に実行される特殊画像生成処理のフローチャートを示す図である。 本発明の一実施形態において画素対応点がプロットされるＲＧ平面を示す図である。 ＲＧ平面内に設定される基準軸について説明する図である。 本発明の一実施形態において特殊モード時にモニタの表示画面に表示される表示画面例を示す図である。 本発明の一実施形態においてキャリブレーションモード時に実行されるキャリブレーション処理のフローチャートを示す図である。 図６のキャリブレーション処理の説明を補助する図である。 キャリブレーション処理の実行結果を検証するための図である。 本発明の一実施形態において補正効果確認モード時に実行される補正効果確認処理のフローチャートを示す図である。 補正効果確認モード時に使用される補正効果確認用指標の具体例を示す図である。 図９の処理ステップＳ４２の説明を補助するための図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システム（コンピュータ）を例に取り説明する。

［電子内視鏡システム１の構成］
図１は、本発明の一実施形態に係る電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、医療用に特化されたシステムであり、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２２２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１８に接続されている。システムコントローラ２０２は、操作パネル２１８より入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム１の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モード、特殊モード、キャリブレーションモード及び補正効果確認モードがある。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、白色光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプであり、また、ＬＤ（Laser Diode）やＬＥＤ（Light Emitting Diode）等の半導体発光素子であってもよい。ランプ２０８より射出された白色光Ｌは、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限される。

絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００の表示画面に表示される映像を適正な明るさにするため、モータ２１４により動作され開度が変えられる。ランプ２０８より照射された白色光Ｌの光量は、絞り２１２の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。

絞り２１２を通過した白色光Ｌは、ＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。入射端面よりＬＣＢ１０２内に入射された白色光Ｌは、ＬＣＢ１０２内を伝播する。

ＬＣＢ１０２内を伝播した白色光Ｌは、電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して生体組織を照射する。白色光Ｌにより照射された生体組織からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、補色市松フィルタを搭載した単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの画素データを生成して出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２には、白色光Ｌにより照射された生体組織を撮像した各画素の画素データが固体撮像素子１０８よりフレーム周期で入力される。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される画素データをプロセッサ２００の信号処理回路２２０に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、１／３０秒、１／６０秒である。

ドライバ信号処理回路１１２はまた、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

［通常モード時の動作］
通常モード時のプロセッサ２００での信号処理動作を説明する。

プロセッサ２００に備えられる信号処理回路２２０は、プリプロセス回路２２０Ａ、プロセス回路２２０Ｂ、出力回路２２０Ｃ、補正回路２２０Ｄ、スコアリング回路２２０Ｅ、マッピング回路２２０Ｆを有している。

プリプロセス回路２２０Ａは、ドライバ信号処理回路１１２よりフレーム周期で入力されるＲＡＷ形式の画素データにデモザイク処理を施してＲＧＢ形式の画素データに変換し、カラーマトリックス処理、ホワイトバランス調整、Ｈｕｅゲイン調整等を施してプロセス回路２２０Ｂに出力する。

プロセス回路２２０Ｂは、プリプロセス回路２２０Ａより入力される画素データにエンハンス処理、ガンマ補正等を施して通常のカラー画像データを生成し、出力回路２２０Ｃに出力する。

出力回路２２０Ｃは、プロセス回路２２０Ｂより入力されるカラー画像データに対してＹ／Ｃ分離、色差補正等の処理を施して所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、生体組織の通常のカラー画像がモニタ３００の表示画面に表示される。

［特殊モード時の動作］
次に、特殊モード時のプロセッサ２００での信号処理動作を説明する。図２に、特殊モード時に実行される特殊画像生成処理のフローチャートを示す。図２の特殊画像生成処理は、電子内視鏡システム１の動作モードが特殊モードに切り替えられた時点で開始される。

［図２のＳ１１（現フレームの画素データの入力）］
本処理ステップＳ１１では、現フレームの各画素の画素データがプリプロセス回路２２０Ａに入力される。各画素の画素データは、プリプロセス回路２２０Ａによる信号処理後、プロセス回路２２０Ｂ及び補正回路２２０Ｄに入力される。

［図２のＳ１２（ＲＧ平面へのプロット）］
図３に、補正回路２２０Ｄの動作を概念的に説明するための図であって、互いに直交するＲ軸とＧ軸とによって定義されるＲＧ平面（二次元色空間）を示す。なお、Ｒ軸は、Ｒ成分（Ｒの画素値）の軸であり、Ｇ軸は、Ｇ成分（Ｇの画素値）の軸である。

本処理ステップＳ１２では、ＲＧＢ３原色で定義されるＲＧＢ空間の各画素の画素データ（三次元データ）がＲＧの二次元データに変換されて、図３に示されるように、Ｒ、Ｇの画素値に応じてＲＧ平面内にプロットされる。以下、説明の便宜上、ＲＧ平面内にプロットされた画素データの点を「画素対応点」と記す。なお、図３においては、図面を明瞭化する便宜上、全ての画素の画素対応点を示すのではなく一部の画素の画素対応点のみ示している。

［図２のＳ１３（基準軸の設定）］
本処理ステップＳ１３では、補正回路２２０Ｄにより、胃炎等の所定の疾患の炎症強度を計算するために必要なＲＧ平面内の基準軸が設定される。図４に、基準軸の説明を補助する図を示す。

撮影対象となる患者の体腔内は、ヘモグロビン色素等の影響によりＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的であり、典型的には、炎症が強いほど赤味（Ｒ成分）が他の色味（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮影画像は、明るさに影響する撮影条件（例えば白色光Ｌの当たり具合）に応じて色味が変化する。例示的には、白色光Ｌの届かない陰影部分は黒（無彩色であり、例えば、Ｒ、Ｇ、Ｂがゼロ又はゼロに近い値）となり、白色光Ｌが強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ、Ｇ、Ｂが２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ異常部位を撮影した場合であっても、白色光Ｌが強く当たるほどその異常部位画像の画素値が大きくなる。そのため、白色光Ｌの当たり具合によっては、画素値が炎症の強さと相関の無い値を取ることがある。

一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の異常部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色味（黄色の色味）が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。

そこで、本処理ステップＳ１３では、図４に示されるように、ＲＧ平面内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。

図４に示されるプロットは、本発明者が体腔内の多数のサンプル画像を解析した結果得たものである。解析に用いられるサンプル画像には、症状レベルの最も高い炎症画像例（最も重症なレベルの炎症画像例）や、症状レベルの最も低い炎症画像例（実質的に正常部位であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図４の例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図４に示されるプロットの数よりも遥かに多い。

上述したように、炎症が強い異常部位ほどＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図４の例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、症状レベルの最も高い病変部（症状レベルの最も高い炎症（異常）部位）と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件（例えば白色光Ｌの当たり具合）で撮影された症状レベルの最も高い炎症部位に対応するプロットが重畳される。

一方、正常部位に近いほどＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図４の例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、症状レベルの最も低い病変部（症状レベルの最も低い炎症（異常）部位であって、実質的に正常（健常）部位であるとみなされるもの）と相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件（例えば白色光Ｌの当たり具合）で撮影された症状レベルの最も低い炎症部位（実質的に正常部位とみなされるもの）に対応するプロットが重畳される。

補足すると、症状レベルの最も高い炎症部位は、出血を伴う。一方、症状レベルの最も低い炎症部位は、実質正常部位であるから、十分な粘膜で覆われている。そのため、図４に示されるＲＧ平面内のプロットは、血液（ヘモグロビン色素）と最も相関の高い軸と、粘膜の色味と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、症状レベルの最も高い炎症部位を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、症状レベルの最も低い炎症部位を示す軸（粘膜変化軸ＡＸ２）に相当する。

［図２のＳ１４（注目画素の選択）］
本処理ステップＳ１４では、補正回路２２０Ｄにより、全ての画素の中から所定の順序に従い一つの注目画素が選択される。

［図２のＳ１５（画素データの補正）］
補正回路２２０Ｄには、後述のキャリブレーションモード時に算出された補正マトリックス係数が記憶されている。本処理ステップＳ１５では、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつき（言い換えると、電子スコープの個体差）を抑えるため、補正回路２２０Ｄにより、処理ステップＳ１４（注目画素の選択）にて選択された注目画素の画素データ（Ｒ，Ｇ）が補正マトリックス係数を用いて補正される。なお、補正マトリックス係数については、後述の［キャリブレーションモード時の動作］において詳細に説明する。

・補正マトリックス例
Ｒ_new ：補正後の注目画素の画素データ（Ｒ成分）
Ｇ_new ：補正後の注目画素の画素データ（Ｇ成分）
Ｍ₀₀〜Ｍ₁₁：補正マトリックス係数
Ｒ ：補正前の注目画素の画素データ（Ｒ成分）
Ｇ ：補正前の注目画素の画素データ（Ｇ成分）

［図２のＳ１６（角度の算出）］
補正回路２２０Ｄにおいて現フレームの全ての画素に対して処理ステップＳ１４（注目画素の選択）及びＳ１５（画素データの補正）が実行されると、スコアリング回路２２０Ｅにより、処理ステップＳ１５（画素データの補正）にて補正された各画素の画素データ（Ｒ_new，Ｇ_new）について、炎症強度を計算するための角度が算出される。具体的には、本処理ステップＳ１６では、各画素について、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点（基準点）Ｏ’と画素対応点（Ｒ_new，Ｇ_new）とを結ぶ線分Ｌと、ヘモグロビン変化軸ＡＸ１とがなす角度θ（図３参照）が算出される。なお、基準点Ｏ’は、座標（−１５０，−７５）に位置する。

［図２のＳ１７（正規化処理）］
体腔内の撮影画像の明るさが白色光Ｌの当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ平面内において、概ね、症状レベルの最も高い炎症部位ではヘモグロビン変化軸ＡＸ１上に沿って変化し、症状レベルの最も低い炎症部位では粘膜変化軸ＡＸ２上に沿って変化する。また、中間の症状レベルの炎症部位の撮影画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、白色光Ｌの当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、白色光Ｌの当たり具合によって変化すると、角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、角度θが撮影画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。

角度θが小さいほどＲ成分がＧ成分に対して強くなり、炎症部位の症状レベルが高いことを示す。また、角度θが大きいほどＧ成分がＲ成分に対して強くなり、炎症部位の症状レベルが低いことを示す。

そこで、本処理ステップＳ１７では、スコアリング回路２２０Ｅにより、角度θがゼロであるときに値２５５となり、角度θがθ_ＭＡＸであるときに値ゼロとなるように、現フレームの全ての画素について角度θが正規化される。なお、θ_ＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。これにより、０〜２５５の範囲に収まる炎症強度（８ｂｉｔの情報）が得られる。

［図２のＳ１８（炎症評価値の計算）］
本処理ステップＳ１８では、スコアリング回路２２０Ｅにより、現フレームの全ての画素の炎症強度を平均化した平均値（又は全ての画素の炎症強度の積算値）が撮影画像全体の炎症評価値として計算されると共に、計算した炎症評価値の表示データ（表示データ例：Ｓｃｏｒｅ：○○）が生成される。

［図２のＳ１９（カラーマップ画像上での表示色の決定）］
本実施形態では、炎症強度に応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたテーブルがスコアリング回路２２０Ｅの所定の記憶領域に記憶されている。本テーブルでは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が０〜５の範囲では黄色が対応付けられており、該値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が２５０〜２５５の範囲では赤色が対応付けられている。

本処理ステップＳ１９では、マッピング回路２２０Ｆにより、現フレームの各画素の、カラーマップ画像上での表示色が、上記テーブルに基づいて、処理ステップＳ１７（正規化処理）にて得た炎症強度の値に応じた色に決定される。

［図２のＳ２０（カラーマップ画像データの生成）］
本処理ステップＳ２０では、マッピング回路２２０Ｆにより、現フレームの各画素の色データが、処理ステップＳ１９（カラーマップ画像上での表示色の決定）にて決定された表示色のデータに変換され、変換された表示色で表示される画素よりなるカラーマップ画像データが生成される。

［図２のＳ２１（オーバレイ処理）］
本処理ステップＳ２１では、出力回路２２０Ｃにより、プロセス回路２２０Ｂより入力される通常のカラー画像データに基づく通常のカラー画像と、処理ステップＳ２０（カラーマップ画像データの生成）にて生成されたカラーマップ画像データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画像データ（通常のカラー画像データ）と後者の画像データ（カラーマップ画像データ）とが加算される。

なお、係数の設定は、ユーザ操作により適宜設定変更することが可能である。例えば、通常のカラー画像の方を濃く表示したい場合は、カラー画像データの係数が高く設定され、カラーマップ画像の方を濃く表示したい場合は、カラーマップ画像データの係数が高く設定される。

［図２のＳ２２（終了判定）］
本処理ステップＳ２２では、電子内視鏡システム１の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合（Ｓ２２：ＮＯ）、図２の特殊画像生成処理は、処理ステップＳ１１（現フレームの画素データの入力）に戻る。一方、別のモードに切り替えられたと判定される場合（Ｓ２２：ＹＥＳ）、図２の特殊画像生成処理は終了する。

［画面表示例］
出力回路２２０Ｃは、図２の処理ステップＳ２１（オーバレイ処理）にて加算処理された画像データに基づいて通常のカラー画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ３００の表示画面の周辺領域（画像表示領域の周囲）をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。出力回路２２０Ｃは、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ３００に出力する。

図５に、特殊モード時の画面表示例を示す。図５に例示されるように、モニタ３００の表示画面には、その中央領域に体腔内の撮影画像（通常画像とカラーマップ画像とがオーバレイ表示されたオーバレイ画像）が表示されると共に画像表示領域の周囲がマスキングされた画面が表示される。また、マスク領域には、炎症評価値（スコア）が表示される。

なお、特殊モード時の撮影画像の表示形態は、通常のカラー画像とカラーマップ画像とをオーバレイ表示したものに限らない。例えば、通常のカラー画像とカラーマップ画像を一画面内に並べて表示したり、カラーマップ画像のみを表示したりする表示形態が挙げられる。前者の場合、通常のカラー画像とカラーマップ画像の両方を同一のサイズで表示してもよいし、通常のカラー画像とカラーマップ画像の一方をメイン画像として表示すると共に他方をメイン画像より小さいサブ画像として表示してもよい。

このように、本実施形態によれば、トーン強調処理等の非線形な計算処理や複雑な色空間変換処理等を行うことなく単純な計算処理を行うだけで、炎症評価値（ここでは撮影部位のヘモグロビン色素の増減に相関のある値）が求まる。すなわち、炎症評価値の計算に必要なハードウェアリソースが大幅に抑えられる。また、体腔内の撮影画像の明るさに影響する撮影条件（例えば照射光の当たり具合等）によって炎症評価値が実質的に変動しないため、術者は、炎症についてより客観的で正確な判断を下すことが可能となる。

［キャリブレーションモード時の動作］
次に、キャリブレーションモード時の電子内視鏡システム１の動作について説明する。図６に、キャリブレーションモード時に実行されるキャリブレーション処理のフローチャートを示す。また、図７に、図６のキャリブレーション処理の説明を補助する図を示す。図６のキャリブレーション処理は、例えば工場出荷時に実行されるものであり、電子内視鏡システム１の動作モードがキャリブレーションモードに切り替えられた時点で開始される。

なお、キャリブレーション処理の実行に先立ち、作業者による準備作業が行われる。具体的には、作業者は、ホワイトバランス専用治具や、ホワイトバランス専用治具と同じ仕様の白板、グレーカード等を用いて電子内視鏡システム１のホワイトバランスを調整する。

作業者は、ホワイトバランスの調整が完了すると、電子内視鏡システム１をキャリブレーション用治具にセットすると共に、プロセッサ２００に接続された端末（ＰＣ）上でキャリブレーション用ソフトウェアを起動させる。

作業者は、次いで、電子スコープ１００による撮影画像の輝度調整を行う。例示的には、作業者は、輝度調整用の被写体を撮影したときの撮影画像の輝度値が目標輝度値に収まるように、絞り２１２の開度をマニュアル調整する。なお、撮影画像の輝度値は、キャリブレーション用ソフトウェア上で確認することができる。

作業者は、撮影画像の輝度調整が完了すると、第一の指標をキャリブレーション用治具にセットすることにより、電子スコープ１００の画角内に第一の指標を固定配置する。ここで、第一の指標は、所定の疾患について症状レベルが最も高いときの生体組織の色である第一の色を模した指標である。本実施形態において、第一の指標は、ＲＧ平面内のヘモグロビン変化軸ＡＸ１上の所定点（後述の第一の目標点Ｐ_T1）に対応する色が塗布された板状部材である。

［図６のＳ３１（第一の指標の撮影）］
本処理ステップＳ３１では、作業者による操作入力に従い、第一の指標（第一の色が塗布された面）が電子スコープ１００によって撮影され、その撮影画像データ（ＲＡＷ形式やＹＵＶ形式等）がＰＣに入力される。

［図６のＳ３２（第二の指標の撮影）］
作業者は、第一の指標に代えて第二の指標をキャリブレーション用治具にセットすることにより、電子スコープ１００の画角内に第二の指標を固定配置する。ここで、第二の指標は、所定の疾患について健常であるときの生体組織の色である第二の色を模した指標である。本実施形態において、第二の指標は、ＲＧ平面内の粘膜変化軸ＡＸ２上の所定点（後述の第二の目標点Ｐ_T2）に対応する色が塗布された板状部材である。

本処理ステップＳ３２では、作業者による操作入力に従い、第二の指標（第二の色が塗布された面）が電子スコープ１００によって撮影され、その撮影画像データ（ＲＡＷ形式やＹＵＶ形式等）がＰＣに入力される。作業者は、キャリブレーション用治具を使用することにより、第一の指標と第二の指標を同一の条件で撮影することができる。

［図６のＳ３３（第一の実撮影データ点Ｐ_D1の算出）］
作業者による操作入力に従い又は指定枚数（ここでは二枚）の撮影後自動的に、本処理ステップＳ３３の実行が開始される。

本処理ステップＳ３３では、キャリブレーション用ソフトウェアにより、処理ステップＳ３１（第一の指標の撮影）にて撮影された第一の指標の撮影画像データから、第一の指標の実測値として第一の実撮影データ点Ｐ_D1が算出される。例示的には、第一の指標の画像内の中央領域の画素（例えば２００×２００画素）の平均値が第一の実撮影データ点Ｐ_D1として算出される。

［図６のＳ３４（第二の実撮影データ点Ｐ_D2の算出）］
本処理ステップＳ３４では、キャリブレーション用ソフトウェアにより、処理ステップＳ３２（第二の指標の撮影）にて撮影された第二の指標の撮影画像データから、第二の指標の実測値として第二の実撮影データ点Ｐ_D2が算出される。例示的には、第一の実撮影データ点と同様に、第二の指標の画像内の中央領域の画素（例えば２００×２００画素）の平均値が第二の実撮影データ点Ｐ_D2として算出される。

［図６のＳ３５（ＲＧ平面への実撮影データ点の配置）］
本処理ステップＳ３５では、キャリブレーション用ソフトウェアにより、図７に示されるように、第一の実撮影データ点Ｐ_D1及び第二の実撮影データ点Ｐ_D2が、ここでの対象疾患（胃炎等）と関連付けられたＲＧ平面に配置される。

［図６のＳ３６（補正マトリックス係数の算出）］
図７に示されるように、ヘモグロビン変化軸ＡＸ１上には第一の実撮影データ点Ｐ_D1に対応する第一の目標点Ｐ_T1が設定され、粘膜変化軸ＡＸ２上には第二の実撮影データ点Ｐ_D2に対応する第二の目標点Ｐ_T2が設定されている。第一の目標点Ｐ_T1は、第一の指標が持つ第一の色に対応し、第二の目標点Ｐ_T2は、第二の指標が持つ第二の色に対応する。

本処理ステップＳ３６では、キャリブレーション用ソフトウェアにより、第一の実撮影データ点Ｐ_D1と第一の目標点Ｐ_T1との距離（第一の距離Δ₁）と、第二の実撮影データ点Ｐ_D2と第二の目標点Ｐ_T2との距離（第二の距離Δ₂）との合計値を最小とする補正マトリックス係数が最小二乗法等を用いて算出される。

［図６のＳ３７（補正マトリックス係数の保存）］
本処理ステップＳ３７では、処理ステップＳ３６（補正マトリックス係数の算出）にて算出された補正マトリックス係数がプロセッサ２００の補正回路２２０Ｄに保存される。これにより、図６に示されるキャリブレーション処理が完了する。

各電子内視鏡システムに対してキャリブレーション処理を実行することにより、対象疾患（胃炎等）に関連する第一の指標や第二の指標を各電子内視鏡システムで撮影したときに略同じ値（何れの電子内視鏡システムにおいても第一の目標点Ｐ_T1や第二の目標点Ｐ_T2に近似する値）が得られるため、最終的に計算される炎症評価値も略等しい値となる。そのため、対象疾患（胃炎等）を各電子内視鏡システムで実際に撮影した場合にも炎症評価値のばらつきが抑えられることが判る。

すなわち、本実施形態によれば、補正対象を限定する（具体的には、対象疾患に関連する特定の色を補正対象とする）ことにより、対象疾患の評価値計算に用いられる色データに残存する誤差（主に電子スコープ１００の光学部品の個体差によるばらつき）が良好に除去される。これにより、評価値の計算精度が向上する。

［補正効果確認モード時の動作］
ここまでは、キャリブレーション処理が適正に行われる前提で説明している。しかし、キャリブレーション処理が適正に行われない場合もある。その原因として、例えば、指標がキャリブレーション用治具に正しくセットされていなかった、指標に対する照明条件が適正でなかった、ヒューマンエラー等が挙げられる。

検証のため、３つの電子内視鏡システムでキャリブレーション処理を実行し、その後、各電子内視鏡システムで６枚の画像を撮影した。図８に、その結果を示す。なお、便宜上、３つの電子内視鏡システムの夫々に符号Ａ、Ｂ、Ｃを付して説明を行う。

図８中、上段ラインに並ぶ６枚の画像（便宜上符合ａの枠で囲われたもの）は、電子内視鏡システムＡで撮影されたものである。また、図８中、中段ラインに並ぶ６枚の画像（便宜上符合ｂの枠で囲われたもの）は、電子内視鏡システムＢで撮影されたものである。また、図８中、下段ラインに並ぶ６枚の画像（便宜上符合ｃの枠で囲われたもの）は、電子内視鏡システムＣで撮影されたものである。また、図８中、上下に並ぶ３枚の撮影画像は、夫々の電子内視鏡システムで同一の被写体を撮影した結果を示す。また、図８中、撮影画像の濃淡は色の違いを示す。

上下に並ぶ撮影画像を比較すると、夫々の電子内視鏡システムでキャリブレーション処理が実行されたにも拘わらず、撮影画像の色が明らかにばらついていることが判る。これは、照明等の撮影条件の違いだけが原因となっているわけではなく、少なくとも一部の電子内視鏡システムにおいてキャリブレーション処理が適正に行われていなかったことも原因であるものと推定される。

図８の例では、夫々の電子内視鏡システムによる撮影画像が並べて示されているため、少なくとも一部の電子内視鏡システムにおいてキャリブレーション処理が適正に行われていなかった可能性に気付くことができた。言い換えると、単一の電子内視鏡システムによる撮影画像だけでは、キャリブレーション処理が適正に行われていなかったことに気付くことが難しい。しかし、図８のような方法では、作業者が複数の電子内視鏡システムによる撮影画像を比較して判断する必要があるため、作業者に対する負担が大きい。また、電子内視鏡システム間で撮影条件を揃えることが難しいという問題もある。

そこで、本実施形態では、キャリブレーション処理の実行後、電子内視鏡システム１の動作モードが、その効果（補正マトリックス係数による補正効果）を作業者に確認させるための補正効果確認モードに自動的に又は作業者によって手動で切り替えられる。

図９に、補正効果確認モード時に実行される補正効果確認処理のフローチャートを示す。図９の補正効果確認処理は、例えばキャリブレーション処理に引き続き、工場出荷時に実行されるものであり、電子内視鏡システム１の動作モードが補正効果確認モードに切り替えられた時点で開始される。

なお、補正効果確認処理の実行に先立ち、作業者による準備作業が行われる。具体的には、作業者は、補正効果確認用指標をキャリブレーション用治具にセットすることにより、電子スコープ１００の画角内に補正効果確認用指標を固定配置する。なお、本実施形態では、作業者の作業負担や製造コストの削減のため、キャリブレーション用治具を利用して補正効果確認処理を行うが、別の実施形態では、専用治具を用いて補正効果確認処理を行ってもよい。

補正効果確認用指標は、所定の疾患について少なくとも１つの症状レベルを表す色を模した色指標を含むものであり、キャリブレーション処理時に使用された第一の指標及び第二の指標と同一形状及び同一寸法を持つ板状部材である。

図１０（ａ）、図１０（ｂ）の各図に、補正効果確認用指標の具体例を示す。図１０（ａ）に例示される補正効果確認用指標４００Ａには、色指標４１０Ａ〜４５０Ａが並べて表示されている。色指標４１０Ａは、症状レベルの最も高い炎症部位の色を模した色指標である。色指標４２０Ａは、色指標４１０Ａよりも軽度の炎症部位の色を模した色指標である。色指標４３０Ａは、色指標４２０Ａよりも軽度の炎症部位の色を模した色指標である。色指標４４０Ａは、色指標４３０Ａよりも軽度の炎症部位の色を模した色指標である。色指標４５０Ａは、症状レベルの最も低い部位（実質的に正常とみなされる部位（正常粘膜））の色を模した色指標である。

色指標４１０Ａ〜４５０Ａの各色は、本発明者が体腔内の多数のサンプル画像内の部位（エリア）を解析し、その結果に基づいて決定したものである。サンプル画像には、例えば各段階の炎症画像が含まれる。

色指標４１０Ａ〜４５０Ａは、マンセル表色系から選択された色指標である。下記に、色指標４１０Ａ〜４５０Ａ（マンセル値）の具体例を示す。なお、色指標４１０Ａ〜４５０Ａは、マンセル表色系に代えて、オストワルト表色系など、別の表色系から選択されてもよい。
色指標４１０Ａ：５Ｒ Ｖ５ Ｃ１４
色指標４２０Ａ：２．５Ｒ Ｖ５ Ｃ１２
色指標４３０Ａ：１０Ｒ Ｖ５ Ｃ１０
色指標４４０Ａ：１０ＲＰ Ｖ５ Ｃ１０
色指標４５０Ａ：１０Ｒ Ｖ６ Ｃ８

図１０（ｂ）に例示される補正効果確認用指標４００Ｂには、グラデーション指標４１０Ｂが表示されている。グラデーション指標４１０Ｂは、最も高い症状レベルを表す色から最も低い症状レベルを表す色までをグラデーションで表わした色指標であり、より詳細には、色指標４１０Ａの色から色指標４５０Ａの色までをグラデーションで表わしたものとなっている。

［図９のＳ４１（補正効果確認用指標の撮影）］
ここでは、図１０（ａ）に例示される補正効果確認用指標４００Ａがキャリブレーション用治具にセットされているものとする。本処理ステップＳ４１では、作業者による操作入力に従い、補正効果確認用指標４００Ａ（色指標４１０Ａ〜４５０Ａの表示面）が電子スコープ１００によって撮影され、その撮影画像データがプロセッサ２００に入力される。

［図９のＳ４２（炎症評価値の計算）］
図１１に、本処理ステップＳ４２の説明を補助するための図を示す。本処理ステップＳ４２では、補正効果確認用指標４００Ａ内の所定エリアについて炎症評価値が計算される。炎症評価値は、特殊モード時と同様の方法で計算される。すなわち、補正効果確認用指標４００Ａ内の所定エリアの画素データは、本フローチャートの処理の実行の直前に行われていたキャリブレーション処理の結果（補正マトリックス係数）を用いて補正された上で、炎症評価値の計算に用いられる。

ここで、所定エリアは、色指標４１０Ａ〜４５０Ａの各色指標内の一部のエリアであり、図１１の例では、矩形エリア４１２Ａ〜４５２Ａである。補正効果確認用指標４００Ａがキャリブレーション用治具にセットされていることから、色指標４１０Ａ〜４５０Ａは、電子スコープ１００の画角内の規定位置に配置されている。そのため、矩形エリア４１２Ａ〜４５２Ａを写す画素のアドレスは、プロセッサ２００にとって既知である。

［図９のＳ４３（補正効果確認画面の表示）］
本処理ステップＳ４３では、キャリブレーション処理の効果（補正マトリックス係数による補正効果）を作業者に確認させるための補正効果確認画面がモニタ３００又はＰＣモニタの表示画面に表示される。

補正効果確認画面は、図１１に例示されるように、補正効果確認用指標４００Ａのカラーマップ画像に、各矩形エリアの炎症評価値を重ねた表示したものである。なお、カラーマップ画像は、補正効果確認用指標４００Ａの撮影画像そのものに代えてもよい。また、各矩形エリアを示す矩形枠は非表示であってもよい。

作業者は、例えば、補正効果確認用指標４００Ａのカラーマップ画像の色や、各矩形エリアの炎症評価値がある範囲に収まっているか等を確認することにより、キャリブレーション処理が適正行われたかどうかを判断することができる。キャリブレーション処理が適正に行われたと判断される場合は、キャリブレーション処理を再度行う必要がない。一方、キャリブレーション処理が適正に行われなかったと判断される場合は、キャリブレーション処理を再度行う必要がある。作業者は、キャリブレーション処理が適正に行われたと判断できるまで、キャリブレーション処理及び補正効果確認処理を電子内視鏡システム１に繰り返し実行させる。これにより、電子内視鏡システム１に対する適正なキャリブレーション処理の実行が確実に達成される。

なお、各矩形エリアの炎症評価値がある範囲に収まっているかどうかは、プロセッサ２００内で自動的に判定されるようにしてもよい。例示的には、処理ステップＳ４２（炎症評価値の計算）にて計算された炎症評価値と、メモリ２２２等の記憶媒体に予め記憶された目標の炎症評価値とが比較され、両者の差分値がある値以下の場合には、キャリブレーション処理が適正に行われたと判定される。この判定結果は、処理ステップＳ４３（補正効果確認画面の表示）にて補正効果確認画面内の１つの情報としてモニタ３００又はＰＣモニタの表示画面に表示される。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、作業者により、第一の指標として、第一の色（所定の疾患について症状レベルが最も高いときの生体組織の色）を持つものが選択され、第二の指標として、第二の色（所定の疾患について健常であるときの生体組織の色）を持つものが選択されている。そのため、上記の実施形態では、色空間内において第一の色や第二の色（すなわち補正対象）に距離が近い色ほど高い精度でキャリブレーションされている。言い換えると、色空間内において、補正対象から距離が遠い色（例えば水色のような、炎症ではあり得ない色）ほどキャリブレーションの精度が低い。

従って、作業者は、キャリブレーションモード時にキャリブレーション用治具にセットする指標について、電子内視鏡システム１を用いて特に高い精度でスコアリングしたい症状レベルに対応するものを選択するとよい。例えば、軽度炎症に対するスコアリング精度を向上させたい場合、作業者は、第一の指標として、軽度の炎症が起こったときの生体組織の色を模したものを選択するとよい。また、この場合、補正効果確認モード時において、作業者は、キャリブレーションモード時の指標に合わせて、軽度の炎症部位の色を模した補正効果確認用指標を選択するとよい。

なお、指標が細分化されて用意されるほど、術者がその中から適切な指標を選択することが難しい。そこで、システムコントローラ２０２は、接続された周辺機器（キーボード等）を介して、作業者による症状レベルを指定する操作を受け付けると、指定された症状レベルに対応する指標をモニタ３００の表示画面に表示したり音声再生で通知したりすることができる。これにより、術者は、複数の指標の中から適切な指標を確実に選択することができる。

また、上記の実施形態では、各画素に含まれるＲ成分とＧ成分（ＲＧの二次元色空間）を用いて炎症評価値が計算されているが、別の実施形態では、ＲＧの二次元色空間に代えて、ＲＢの二次元色空間やＨＳＩ、ＨＳＶ、Ｌａｂ等の三次元色空間を用いることにより、それぞれの色空間に対応する、上記の実施形態とは別の対象疾患（胃の委縮や大腸腫瘍等）に関する評価値を計算することもできる。この場合、上記の実施形態とは異なる指標及び目標点を用いて補正マトリックス係数が算出される。

プロセッサ２００の補正回路２２０Ｄには、各種対象疾患に対応する複数種類の補正マトリックス係数が保存されてもよい。診断対象の疾患に応じて補正マトリックス係数が切り替わることにより、それぞれの対象疾患で安定した（個体差によるばらつきの少ない）評価値計算が行われる。

また、上記の実施形態では、補正マトリックス係数を用いて電子内視鏡システム１（主に電子スコープ１００の光学部品）の個体差による評価値のばらつきが抑えられているが、別の実施形態では、電子内視鏡システム１の個体差による評価値のばらつきを、補正マトリックス係数に代えてＨｕｅゲインで抑えるようにしてもよい。

１ 電子内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０４ 配光レンズ
１０６ 対物レンズ
１０８ 固体撮像素子
１１２ ドライバ信号処理回路
１１４ メモリ
２００ プロセッサ
２０２ システムコントローラ
２０４ タイミングコントローラ
２０６ ランプ電源イグナイタ
２０８ ランプ
２１０ 集光レンズ
２１２ 絞り
２１４ モータ
２１６ ドライバ
２１８ 操作パネル
２２０ 信号処理回路
２２０Ａ プリプロセス回路
２２０Ｂ プロセス回路
２２０Ｃ 出力回路
２２０Ｄ 補正回路
２２０Ｅ スコアリング回路
２２０Ｆ マッピング回路
２２２ メモリ
４００Ａ 補正効果確認用指標

Claims (8)

1. 電子内視鏡による撮影画像を構成する画素データを所定の疾患に合わせて補正する補正値を算出する補正値算出処理の実行後に、該補正値による補正効果を確認するためにコンピュータを用いて実行される方法であって、
   前記電子内視鏡によって前記所定の疾患に関する指標が撮影されると、その撮影画像データを前記補正値で補正する補正ステップと、
   補正された前記指標の撮影画像データの色成分に関する情報をユーザに報知する報知ステップと、
   を含む、
   補正効果確認方法。
2. 前記指標は、
   前記所定の疾患の色を模した色指標である、
   請求項１に記載の補正効果確認方法。
3. 前記補正ステップにて補正された前記指標の撮影画像データの色成分に基づいて前記所定の疾患に関する評価値を計算する計算ステップ
   を含み、
   前記色成分に関する情報は、
   前記評価値を含む、
   請求項１又は請求項２に記載の補正効果確認方法。
4. 前記計算ステップにて計算された評価値と、所定の記憶媒体に予め記憶された目標値と、を比較する比較ステップと、
   前記比較ステップでの比較結果に基づいて前記補正値算出処理が適正に行われたか否かを判定する判定ステップと、
   前記判定ステップでの判定結果をユーザに報知するステップと、
   を含む、
   請求項３に記載の補正効果確認方法。
5. 補正値算出処理にて算出された補正値による補正効果を確認するための指標であって、
   前記補正値算出処理は、
   電子内視鏡による撮影画像を構成する画素データを所定の疾患に合わせて補正する補正値を算出する処理であり、
   前記指標は、
   前記所定の疾患の色を模した色指標である、
   指標。
6. 前記所定の疾患について少なくとも１つの症状レベルを表す色を模した色指標を含む、
   請求項５に記載の指標。
7. 夫々異なる症状レベルを表す色を模した複数の色指標が並ぶ、
   請求項６に記載の指標。
8. 最も高い症状レベルを表す色から最も低い症状レベルを表す色までをグラデーションで表わした色指標を含む、
   請求項６に記載の指標。