JP2016158682A - 画像処理装置 - Google Patents

Abstract

【課題】内視鏡画像に付される病変部を示す印と内視鏡画像との位置ずれを防止する画像処理装置を提供する。【解決手段】生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、カラー動画像データに基づいて撮影シーンを判定するシーン判定手段と、画像データに基づいて、画像データが表す画像に写された生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、スコアの分布を示す印を画像上に付すマーキング手段と、を備え、マーキング手段が、スコアの分布を詳細に示す印を付す詳細マーキング処理と、スコアの分布を詳細マーキング処理よりも簡易的に示す印を付す簡易マーキング処理と、とを実行可能であり、撮影シーンの判定結果に応じて、詳細マーキング処理と簡易マーキング処理のいずれかを実行する。【選択図】図４

Description

本発明は、生体組織の画像を処理する画像処理装置に関する。

一般に、生体組織の病変部は正常な部位とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織とわずかに色の異なる病変部の識別も可能になってきている。しかしながら、術者が内視鏡画像上のわずかな色の相違により正常組織から病変部を正確に識別できるようになるには、熟練者の指導下で長期間のトレーニングを受ける必要があった。また、熟練した術者であっても、わずかな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求された。

そこで、病変部の識別を容易にするために、白色光の照明下で撮影した内視鏡画像データに対して、色情報に基づいて被写体が病変部か否かを判定し、病変部と判定された箇所の画素の色を変更するカラーマッピング処理を行う電子内視鏡装置が提案されている。

特開２０１４−１８３３２号公報

特許文献１の電子内視鏡装置では、全ての画素に対してカラーマッピング処理が行われるため、カラーマッピング処理に必要な計算量が非常に多い。そのため、スクリーニング検査時等の画像の動きが速いときには、カラーマッピング処理が遅くなり、内視鏡画像が撮影されるフレームレートに追従できなくなる。その結果、カラーマッピングが、その基となった内視鏡画像の後に撮影された別の内視鏡画像に対して施されることになるため、内視鏡画像とカラーマッピングとの間に位置ずれが生じるという問題があった。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、内視鏡画像に付される病変部を示す印と内視鏡画像との位置ずれを防止することである。

本発明の一実施形態によれば、生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、カラー動画像データに基づいて撮影シーンを判定するシーン判定手段と、画像データに基づいて、画像データが表す画像に写された生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、スコアの分布を示す印を画像上に付すマーキング手段と、を備え、マーキング手段が、スコアの分布を詳細に示す印を付す詳細マーキング処理と、スコアの分布を詳細マーキング処理よりも簡易的に示す印を付す簡易マーキング処理と、を実行可能であり、撮影シーンの判定結果に応じて、詳細マーキング処理と簡易マーキング処理のいずれかを実行する、画像処理装置が提供される。

また、上記の画像処理装置において、シーン判定手段が、カラー動画像データに撮影された画像検査の種類を判定する構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、スクリーニング検査と精査のいずれの撮影シーンであるかを判定し、マーキング手段が、スクリーニング検査の撮影シーンと判定されたときに、簡易マーキング処理を行い、精査の撮影シーンと判定されたときに、詳細マーキング処理を行う構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、画像の動きの解析を行う動画解析手段を備えた構成としてもよい。

また、上記の画像処理装置において、動画解析手段が、連続する複数の画像データに基づいて速度場を計算する速度場計算手段を備え、速度場の計算結果に基づいて、画像検査の種類を判定する構成としてもよい。

また、上記の画像処理装置において、動画解析手段が、速度場を構成する各画素の速度ベクトルの大きさの代表値を計算して画像速度として取得する画像速度計算手段を備えた構成としてもよい。

また、上記の画像処理装置において、動画解析手段が、画像速度の単位時間当たりの変化量である画像速度変化率を計算する画像速度変化率計算手段を備えた構成としてもよい。

また、上記の画像処理装置において、動画解析手段が、画像データの解像度を低減する低解像度化手段を備えた構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、画像データの輝度を画素値とする輝度画像データを生成する輝度画像データ生成手段を備えた構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、
輝度画像データにより表される輝度画像を単純化する画像単純化手段を備えた構成としてもよい。

また、上記の画像処理装置において、画像単純化手段が、輝度画像を低解像度化する低解像度化手段と、低解像度化された輝度画像に対してぼかし処理を施すぼかし手段と、ぼかし処理された輝度画像を元の解像度に戻す高解像度化手段と、を備えた構成としてもよい。

また、上記の画像処理装置において、画像単純化手段が、輝度画像データの階調を低減させる低階調化手段を備えた構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、輝度画像に基づいて輝度の等高線を表す等高線画像データを生成する等高線画像データ生成手段を備えた構成としてもよい。

また、上記の画像処理装置において、等高線画像データ生成手段が、輝度画像の勾配を計算するベクトル微分演算手段を備えた構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、等高線の密集度を計算する等高線密集度計算手段を備え、等高線の密集度に基づいて撮影シーンを判定する構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、画像内の輝度勾配を計算する輝度勾配計算手段を備え、輝度勾配に基づいて撮影シーンを判定する構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、画像の低輝度領域の円形度を計算する円形度計算手段を備え、円形度に基づいて撮影シーンを判定する構成としてもよい。

また、上記の画像処理装置において、シーン判定手段が、画像の低輝度領域の重心を計算する重心計算手段を備え、重心に基づいて撮影シーンを判定する構成としてもよい。

本発明の一実施形態によれば、内視鏡画像に付される病変部を示す印と内視鏡画像との位置ずれが防止される。

本発明の実施形態に係る電子内視鏡装置の概略構成を示すブロック図である。 本発明の実施形態に係る電子内視鏡装置の画像処理に関する回路の概略構成を示したブロック図である。 画像メモリの記憶領域の概略構成を示す図である。 画像処理回路が行う処理の手順を示すフローチャートである。 ＴＥ処理に使用されるゲイン曲線の一例である。 有効画素判定処理の手順を示すフローチャートである。 病変判定処理の手順を示すフローチャートである。 生体組織像の画素値をＨＳ座標空間にプロットした散布図である。 スコア計算処理の手順を示すフローチャートである。 色相距離、彩度距離と相関値との関係を示すグラフである。 典型的な内視鏡画像の明暗分布を説明する図である。 シーン判定処理の手順を示すフローチャートである。 動画解析処理の手順を示すフローチャートである。 輝度勾配計算処理の手順を説明するフローチャートである。 輝度勾配計算処理を説明する図である。（ａ）は輝度画像の一例であり、（ｂ）は輝度指数の勾配の絶対値のグラフの一例であり、（ｃ）は等高線画像の一例である。 検査種別判定処理の手順を示すフローチャートである。 マーキング画像の例を示す図である。 表示画面生成処理によって生成される表示画面の一例である。

以下、本発明の画像処理装置の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

［電子内視鏡装置１全体の構成］
図１は、本発明の電子内視鏡装置１の構成を示すブロック図である。図１に示されるように、電子内視鏡装置１は、電子スコープ１００、プロセッサ２００及びモニタ９００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡装置１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡装置１の各動作及び各動作のためのパラメーターを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整する同期信号を電子内視鏡装置１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。

ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。

ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、補色市松色差線順次方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上で結像した被写体の光学像を撮像して、アナログ撮像信号を出力する。具体的には、固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの色信号を生成し、生成された垂直方向に隣接する２つの画素の色信号を加算し混合して得た走査線を順次出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、上述の走査線からなるアナログ撮像信号がフィールド周期で固体撮像素子１０８より入力される。なお、以降の説明において「フィールド」は「フレーム」に置き替えてもよい。本実施形態において、フィールド周期、フレーム周期はそれぞれ、１／６０秒、１／３０秒である。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力されるアナログ撮像信号に対して所定の処理を施してプロセッサ２００の画像処理回路２２０に出力する。

ドライバ信号処理回路１１０はまた、メモリ１２０にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１２０に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフィールドレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１２０より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、同期信号を生成する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給される同期信号に従って、プロセッサ２００が生成するビデオ信号のフィールドレートに同期したタイミングで固体撮像素子１０８を駆動制御する。

画像処理回路２２０は、システムコントローラ２０２による制御の下、電子スコープ１００から出力される撮像信号に基づいて画像データを生成する。また、画像処理回路２２０は、生成された画像データを使用してモニタ表示用の画面データを生成し、この画面データを所定のビデオ・フォーマットのビデオ信号に変換して出力する。ビデオ信号はモニタ９００に入力され、被写体のカラー画像がモニタ９００の表示画面に表示される。

図２は、電子内視鏡装置１の画像処理に関する回路の概略構成を示したブロック図である。

ドライバ信号処理回路１１０は、駆動回路１１２とＡＦＥ（Analog Front End）１１４を備えている。駆動回路１１２は、同期信号に基づいて固体撮像素子１０８の駆動信号を生成する。ＡＦＥ１１４は、固体撮像素子１０８から出力されるアナログ撮像信号に対して、ノイズ除去、信号増幅・ゲイン補正及びＡ／Ｄ変換を行い、デジタル撮像信号を出力する。なお、本実施形態においてＡＦＥ１１４が行う処理の全部又は一部を固体撮像素子１０８又は画像処理回路２２０が行う構成としてもよい。

画像処理回路２２０は、基本処理部２２０ａ、出力回路２２０ｂ、ＴＥ（Tone Enhancement：トーン強調）処理部２２１、有効画素判定部２２２、色空間変換部２２３、病変判定部２２４、スコア計算部２２５、マーキング処理部２２６、画像メモリ２２７、表示画面生成部２２８、メモリ２２９及びシーン判定部２３０を備えている。画像処理回路２２０の各部が行う処理については後述する。

図３は、画像メモリ２２７が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ２２７には、４つの記憶領域Ｐ_ｎ、Ｐ_ｅ、Ｐ_ｃ、Ｐ_ｍが設けられている。記憶領域Ｐ_ｎは、基本処理部２２０ａが生成する通常観察画像データＮ（通常観察画像ＮＰを表す画像データ）を記憶する領域である。なお、記憶領域Ｐ_ｎには連続して生成された二以上の通常観察画像データＮを記憶させることができる。また、記憶領域Ｐ_ｎへのデータの書き込み／読み出しは、先入れ先出し方式（FIFO）により行われる。記憶領域Ｐ_ｅは、ＴＥ処理部２２１が生成するトーン強調画像データＥ（トーン強調画像ＥＰを表す画像データ）を記憶する領域である。記憶領域Ｐ_ｃは、マーキング処理部２２６が生成するカラーマップ画像データＣＭ（カラーマップ画像ＣＭＰを表す画像データ）を記憶する領域である。記憶領域Ｐ_ｍは、マーキング処理部２２６が生成するマーキング画像データＭ（マーキング画像ＭＰを表す画像データ）を記憶する領域である。

また、図２に示されるように、メモリ２２９には、フラグテーブルＦＴ、スコアテーブルＳＴ、色相相関値テーブルＨＣＴ及び彩度相関値テーブルＳＣＴ及び表示色テーブルＤＣＴが格納される。フラグテーブルＦＴ及びスコアテーブルＳＴは、それぞれ通常観察画像データＮの各画素（ｘ，ｙ）に関する解析結果を示すフラグＦ（ｘ，ｙ）、スコアＳｃ（ｘ，ｙ）から構成された数値テーブルである。具体的には、フラグＦ（ｘ，ｙ）は対応する画素（ｘ，ｙ）に写された組織の病変の有無を示すパラメーターであり、スコアＳｃ（ｘ，ｙ）はその病変の重症度を示すパラメーターである。表示色テーブルＤＣＴは、スコアＳｃ（ｘ，ｙ）とカラーマップ画像ＣＭＰの表示色（カラーコード）との対応関係を規定する数値テーブルである。色相相関値テーブルＨＣＴ及び彩度相関値テーブルＳＣＴについては後述する。

［基本処理Ｓ１］
次に、画像処理回路２２０が行う処理について説明する。
図４は、画像処理回路２２０が行う処理の手順を示すフローチャートである。ＡＦＥ１１４から出力されたデジタル信号は、先ず基本処理部２２０ａによって一般的な信号処理（基本処理Ｓ１）が行われて、通常観察画像データＮが生成される。

基本処理Ｓ１には、ＡＦＥ１１４から出力されたデジタル撮像信号を輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒに変換する処理、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒから原色信号Ｒ、Ｇ、Ｂを分離する原色分離処理、オフセット成分を除去するクランプ処理、欠陥画素の画素値を周囲の画素の画素値を用いて補正する欠陥補正処理、単色の画素値からなる撮像データ（ＲＡＷデータ）をフルカラーの画素値からなる画像データに変換するデモザイク処理（補間処理）、カラーマトリクスを用いて撮像素子の分光特性を補正するリニアマトリクス処理、照明光のスペクトル特性を補正するホワイトバランス処理、空間周波数特性の劣化を補償する輪郭補正等が含まれる。

なお、本実施形態において基本処理部２２０ａが行う処理の全部又は一部をドライバ信号処理回路１１０又は固体撮像素子１０８が行う構成としてもよい。

基本処理部２２０ａによって生成された通常観察画像データＮは、ＴＥ処理部２２１及びシーン判定部２３０に入力されると共に、画像メモリ２２７の記憶領域Ｐ_ｎに記憶される。

［動作モード判定処理Ｓ２］
次に、画像解析モードに設定されているか否かが判断される（Ｓ２）。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報を解析し、色情報の解析結果から所定の判定基準に基づいて病変部が写された画素（以下「病変画素」という。）であるか否かを判定して、病変画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患（IBD）の病変である炎症（浮腫や易出血性を含む赤変病変）の観察像に特有な色域の画素を抽出して、識別表示するものである。

なお、本実施形態の電子内視鏡装置１は、画像解析モードと通常観察モードの２つの動作モードで動作するように構成されている。動作モードは、電子スコープ１００の操作部１３０やプロセッサ２００の操作パネル２１４に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は（Ｓ２：Ｎｏ）、処理はＳ１２へ進む。

［ＴＥ（トーン強調）処理Ｓ３］
画像解析モードが選択されている場合は（Ｓ２：Ｙｅｓ）、次にＴＥ処理部２２１によるＴＥ処理Ｓ３が行われる。ＴＥ処理Ｓ３は、病変の判定精度を上げるために、通常観察画像データＮの各原色信号Ｒ，Ｇ，Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行い、判定対象の病変に特有の色域（特にその境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、ＴＥ処理Ｓ３では、各原色信号Ｒ，Ｇ，Ｂに対して、図５に示すような非線形のゲインを与えて原色信号Ｒ´，Ｇ´，Ｂ´（トーン強調画像データＥ）を取得する処理が行われる。例えば、図５のゲイン曲線は、潰瘍に特徴的な色域の境界領域Ｒ_Ａから、炎症に特徴的な色域の境界領域Ｒ_Ｂにかけて、傾きが急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域Ｒ_Ａから境界領域Ｒ_Ｂにかけて原色信号Ｒ´（原色信号Ｒに対してＴＥ処理Ｓ３を施した信号）の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。

なお、ＴＥ処理Ｓ３により、炎症部は赤く、潰瘍部は白く、正常部は緑色に色味が変化する。そのため、ＴＥ処理Ｓ３によって生成されたトーン強調画像データＥをモニタ９００に表示した場合、ＴＥ処理Ｓ３前の通常観察画像データＮを表示した場合よりも病変部（炎症部や潰瘍部）を容易に視認することができる。なお、上記のＴＥ処理Ｓ３は、本発明に適用可能な色彩強調処理の一例であり、ＴＥ処理Ｓ３に替えて、色の質、具体的には色相又は彩度（あるいは色度）のコントラストを高める他の種類の色彩強調処理を使用してもよい。

［有効画素判定処理Ｓ４］
ＴＥ処理Ｓ３が完了すると、次にトーン強調画像データＥに対して有効画素判定部２２２による有効画素判定処理Ｓ４が行われる。なお、ＴＥ処理Ｓ３を省略して、通常観察画像データＮに対して有効画素判定処理Ｓ４を行うこともできる。

図６は、有効画素判定処理Ｓ４の手順を示すフローチャートである。有効画素判定処理Ｓ４は、画素値が画像解析に適したものであるか否かを判定する処理であり、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。有効画素判定処理Ｓ４では、まず各画素（ｘ，ｙ）について、トーン強調画像データＥの原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）から、下記の数式１により補正輝度ｉｎｔ（ｘ，ｙ）が計算される（Ｓ４１）。

なお、計算した補正輝度ｉｎｔ（ｘ，ｙ）の値は、次の適正露出判定処理Ｓ４２に使用される。また、数式１から分かるように、補正輝度ｉｎｔ（ｘ，ｙ）は、原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の単純平均ではなく、ヒト（術者）の比視感度特性に基づいた加重平均として求められる。

次に、各画素について、処理Ｓ４１において計算したトーン強調画像データＥの補正輝度ｉｎｔ（ｘ，ｙ）及び原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）に基づいて、画像解析に適した露出レベルであるか否かを判定する適正露出判定処理Ｓ４２が行われる。適正露出判定処理Ｓ４２では、次の２つの条件（数式２、数式３）の少なくとも一方（或いは、両方）を満たす場合に、適正露出（Ｓ４２：Ｙｅｓ）と判定する。なお、数式２により補正輝度ｉｎｔ（ｘ，ｙ）（全体の光量）の上限値が規定され、数式３により各原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の下限値が規定されている。

画素（ｘ，ｙ）について、数式２又は数式３（或いは、数式２及び数式３）を満たし、適正露出と判定されると（Ｓ４２：Ｙｅｓ）、有効画素判定部２２２は、メモリ２２９に格納されているフラグテーブルＦＴの画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値を「１」に書き換える（Ｓ４３）。

なお、フラグＦ（ｘ，ｙ）は、０〜２のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
０：画素データ無効
１：正常又は未判定（画素データ有効）
２：病変（炎症）

また、適正露出判定処理Ｓ４２において、数式２、数式３のいずれの条件も（或いは、いずれかの条件を）満たさず、露出不適正と判定されると（Ｓ４２：Ｎｏ）、有効画素判定部２２２は、フラグＦ（ｘ，ｙ）の値を「０」に書き換える（Ｓ４４）。

次に、処理Ｓ４５では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ４１〜Ｓ４５が繰り返される。

［色空間変換処理Ｓ５］
有効画素判定処理Ｓ４が完了すると、次にトーン強調画像データＥに対して色空間変換部２２３により色空間変換処理Ｓ５が行われる。色空間変換処理Ｓ５は、ＲＧＢ３原色で定義されるＲＧＢ空間の画素値を、色相（Hew）・彩度（Saturation）・輝度（Intensity）の３要素で定義されるＨＳＩ（Heu-Saturation-Intensity）空間の画素値に変換する処理である。具体的には、色空間変換処理Ｓ５において、トーン強調画像データＥの各画素（ｘ，ｙ）の原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）が、色相Ｈ（ｘ，ｙ），彩度Ｓ（ｘ，ｙ），輝度Ｉ（ｘ，ｙ）に変換される。

また、露出が不足又は過剰な画素のデータは精度が低く、解析結果の信頼度を下げてしまう。そのため、色空間変換処理Ｓ５は、フラグＦ（ｘ，ｙ）の値が「１」に設定された（すなわち、上述の有効画素判定処理Ｓ４において適正露出と判定された）画素（ｘ，ｙ）についてのみ行われる。

色空間変換部２２３によって生成された各画素（ｘ，ｙ）の色相Ｈ（ｘ，ｙ）、彩度Ｓ（ｘ，ｙ）及び輝度Ｉ（ｘ，ｙ）からなる判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｉ（ｘ，ｙ）｝は、病変判定部２２４に入力される。

［病変判定処理Ｓ６］
色空間変換処理Ｓ５が完了すると、次に病変判定部２２４により判定用画像データＪを用いた病変判定処理Ｓ６が行われる。病変判定処理Ｓ６は、内視鏡画像の各画素（ｘ，ｙ）について、判定用画像データＪがＨＳ空間（色相−彩度空間）上の後述する領域α、β（図８）のいずれにプロットされるかによって、その画素に写された生体組織の状態（炎症部であるか否か）を判定する処理である。なお、ＨＳ空間は、色度空間と同様に、色の質（明るさ・輝度を除いた色の要素）を表す空間である。例えば、CIE 1976 L*a*b*色空間等の他の色空間上で画像解析を行う場合には、病変判定部２２４は色度空間（例えばa*b*空間）上で行われる。

図７は、病変判定処理Ｓ６の手順を示すフローチャートである。病変判定処理Ｓ６は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。病変判定処理Ｓ６では、まず、フラグテーブルＦＴを参照して、各画素（ｘ，ｙ）のデータが有効であるか否かを判断する（Ｓ６１）。フラグＦ（ｘ，ｙ）の値が「１」（画素データ有効）であれば、次に炎症判定処理Ｓ６２を行う。また、フラグＦ（ｘ，ｙ）の値が「０」（画素データ無効）であれば、炎症判定処理Ｓ６２を行わずに、処理Ｓ６４へ進む。

ここで、炎症判定処理Ｓ６２について説明する。図８は、複数の炎症性腸疾患患者の内視鏡画像データから取得した判定用画像データＪをＨＳ空間上にプロットした散布図である。

図８の散布図は、右側下方の破線で囲まれた領域βと、それ以外の領域αとに区分される。本発明者の研究により、炎症性腸疾患の内視鏡診断に熟練した医師によって炎症部と判断された部位の画素の大半が領域βにプロットされ、非炎症部と判断された部位の画素の大半が領域αにプロットされることが判明した。このことは、生体組織を撮像した内視鏡観察画像の色相（色合い）と彩度（鮮やかさ）の２つの情報により、生体組織の状態（炎症の有無）を十分な確度で判別できることを意味している。

炎症判定処理Ｓ６２においては、各画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が、図８の領域βにプロットされるか否かが判定される。具体的には、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、以下の数式４及び数式５の両方を満たす場合に、領域βにプロットされる（すなわち炎症部の画素と判定される）。また、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、数式４及び数式５の少なくとも一方を満たさない場合に、領域αにプロットされる（すなわち炎症部の画素ではないと判定される）。なお、δ_Ｓ１、δ_Ｈ１及びδ_Ｈ２は、術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。

画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされる場合は（Ｓ６２：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）に書き換えられ（Ｓ６３）、処理Ｓ６４に進む。また、判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされない場合は（Ｓ６２：Ｎｏ）、フラグＦ（ｘ，ｙ）は書き換えられずに、処理Ｓ６４に進む。

処理Ｓ６４では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ６１〜Ｓ６４が繰り返される。

［スコア計算：Ｓ７］
病変判定処理Ｓ６が完了すると、次にスコア計算処理Ｓ７が行われる。スコア計算処理Ｓ７は、判定用画像データＪの画素値に基づいて、病変部の重症度の評価値であるスコアＳｃ（ｘ，ｙ）を計算する処理である。スコア計算処理Ｓ７は、全ての画素（ｘ，ｙ）について順次行われる。なお、以下に説明するスコア計算のアルゴリズムは一例であり、本発明は様々なアルゴリズムにより算出したスコアの画面表示に適用することができる。

（スコア計算の原理）
ここで、本実施形態のスコア計算の原理について簡単に説明する。炎症部は、血管の拡張及び血漿成分の血管外への漏出等を伴い、症状が進行するほど、表面の正常粘膜が脱落するため、血液の色に近付くことが知られている。そのため、炎症部の色と血液の色との相関の程度（後述する相関値ＣＶ）が、炎症部の重症度を示す良い指標となる。本実施形態では、各画素（ｘ，ｙ）の判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝と血液の色（色相、彩度）との相関値ＣＶ（ｘ，ｙ）を計算して、これを炎症部の重症度を示すスコアＳｃ（ｘ，ｙ）として使用する。

（病変部の判定：Ｓ７１）
図９は、スコア計算処理Ｓ７の手順を示すフローチャートである。スコア計算処理Ｓ７では、まずフラグテーブルＦＴが読み出され、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）であるか否かが判断される（Ｓ７１）。

フラグＦ（ｘ，ｙ）の値が「２」（炎症）である場合、すなわち画素（ｘ，ｙ）が病変画素である場合は（Ｓ７１：Ｙｅｓ）、処理はＳ７２へ進む。また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、処理はＳ７９へ進む。

（彩度の補正：Ｓ７２）
血液や血液を含有する生体組織の画像の彩度は、輝度に依存することが知られている。具体的には、輝度と彩度は負の相関を有し、明るいほど彩度が低下する。Ｓ７２では、本発明者が開発した以下の補正式（数式６）を使用して、判定用画像データＪ（ｘ，ｙ）の輝度Ｉ（ｘ，ｙ）による彩度Ｓ（ｘ，ｙ）の変動が補正される。この補正により、スコア計算の精度を高めることができる。

但し、
I_corr.(x,y)：判定用画像データJの補正後の輝度
S_corr.(x,y)：判定用画像データJの補正後の彩度
I_ref：基準値となる血液サンプルデータの輝度
S_ref：基準値となる血液サンプルデータの彩度
θ：血液サンプルデータの輝度値と彩度値との相関係数（cosθ）を与える角度
なお、血液サンプルの彩度と輝度の相関係数（実測値）は−０．８６であり、θ＝１４９．３２（ｄｅｇ）が適用される。

（色相距離Ｄ_ＨＵＥの計算：Ｓ７３）
次に、数式７により、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）が計算される（Ｓ７３）。色相距離Ｄ_ＨＵＥは、血液サンプルデータの色相Ｈ_refを基準とした、判定用画像データＪ（ｘ，ｙ）の色相の相対値である。

（色相相関値ＨＣＶの決定：Ｓ７４）
次に、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）から色相相関値ＨＣＶ（ｘ，ｙ）が決定される（Ｓ７４）。色相相関値ＨＣＶ（ｘ，ｙ）は、炎症部の重症度と強い相関を有するパラメーターである。図１０（ａ）は、色相距離Ｄ_ＨＵＥと色相相関値ＨＣＶとの関係を図示したグラフである。色相距離Ｄ_ＨＵＥは、±３０°以内の範囲（以下「色相近似範囲Ｒ_１１」という。）において、炎症部の重症度と強い相関を有し、それ以外の範囲（以下「色相近似外範囲Ｒ_１２」という。）においては殆ど相関を有しない。そのため、本実施形態の色相相関値ＨＣＶ（ｘ，ｙ）は、色相近似外範囲Ｒ_１２においては最小値の０．０に設定され、色相近似範囲Ｒ_１１においては色相距離Ｄ_ＨＵＥ（ｘ，ｙ）が０°に近づくほど線形的に増加するように設定されている。また、色相相関値ＨＣＶ（ｘ，ｙ）は、最小値が０．０、最大値が１．０となるように規格化されている。

図１０（ａ）に示す色相距離Ｄ_ＨＵＥと色相相関値ＨＣＶとの関係は、色相相関値テーブルＨＣＴとしてメモリ２２９に格納されている。色相相関値テーブルＨＣＴを参照することにより、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）に対応する色相相関値ＨＣＶ（ｘ，ｙ）が取得される。

（彩度距離Ｄ_ＳＡＴの計算：Ｓ７５）
次に、数式８により、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）が計算される（Ｓ７５）。彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）は、血液サンプルデータの彩度Ｓ_refを基準とする、判定用画像データＪ（ｘ，ｙ）の彩度の相対値である。

（彩度相関値ＳＣＶの決定：Ｓ７６）
次に、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）から彩度相関値ＳＣＶ（ｘ，ｙ）が決定される（Ｓ７６）。彩度相関値ＳＣＶ（ｘ，ｙ）も、炎症部の重症度と強い相関を有するパラメーターである。図１０（ｂ）は、彩度距離Ｄ_ＳＡＴと彩度相関値ＳＣＶとの関係を図示したグラフである。彩度距離Ｄ_ＳＡＴは、所定値以上の負の範囲（以下、「彩度近似範囲Ｒ_２２」という。）において、炎症部の重症度と強い相関を有し、負の所定値以下の範囲（以下「彩度近似外範囲Ｒ_２３」という。）においては殆ど相関を有しない。また、彩度距離Ｄ_ＳＡＴがゼロ以上の範囲、すなわち、病変画素の彩度が血液サンプルデータの彩度Ｓ_ref以上となる範囲（以下「彩度一致範囲Ｒ_２１」という。）においては、重症度が極めて高いと考えられる。そのため、本実施形態の彩度相関値ＳＣＶ（ｘ，ｙ）は、彩度一致範囲Ｒ_２１において最大値の１．０に設定され、彩度近似外範囲Ｒ_２３において最小値の０．０に設定され、彩度近似範囲Ｒ_２２において線形的に増加するように設定されている。また、彩度相関値ＳＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値である。

図１０（ｂ）に示す彩度距離Ｄ_ＳＡＴと彩度相関値ＳＣＶとの関係は、彩度相関値テーブルＳＣＴとしてメモリ２２９に格納されている。彩度相関値テーブルＳＣＴを参照することにより、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）に対応する彩度相関値ＳＣＶ（ｘ，ｙ）が取得される。

（相関値ＣＶの計算：Ｓ７７）
次に、色相相関値ＨＣＶ（ｘ，ｙ）と彩度相関値ＳＣＶ（ｘ，ｙ）との乗算により、病変画素（ｘ，ｙ）の色と血液の色との相関値ＣＶ（ｘ，ｙ）を得る。なお、相関値ＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値となる。また、相関値ＣＶ（ｘ，ｙ）は、０．１ポイント刻みで１１段階に区分される。

（スコアＳｃ更新：Ｓ７８）
また、相関値ＣＶ（ｘ，ｙ）は炎症の重症度の良い指標となるため、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が相関値ＣＶ（ｘ，ｙ）によって書き換えられる（Ｓ７８）。

（スコアＳｃ更新：Ｓ７９）
また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、上述した相関値ＣＶ（ｘ，ｙ）の計算を行わずに、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が「０」に書き換えられる（Ｓ７９）。これにより、少ない計算量で全ての画素（ｘ，ｙ）に対してスコアＳｃ（ｘ，ｙ）を与えることができる。

処理Ｓ８０では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ７１〜Ｓ８０が繰り返される。

［シーン判定：Ｓ８］
スコア計算処理Ｓ７の完了後（又は、ＴＥ処理Ｓ３からスコア計算処理Ｓ７までの一連の処理と平行して）、シーン判定部２３０によってシーン判定処理Ｓ８が行われる。

ここで、本発明の実施形態に係るシーン判定処理Ｓ８の概要を説明する。通常、内視鏡検査は、大きく２段階（２種類の検査）に分けて行われる。第１段階は、検査対象（例えば上部消化管内視鏡検査の場合は、食道、胃及び十二指腸の内壁）の全体を通して観察して、病変の疑いのある箇所を探索する「スクリーニング検査」である。第２段階は、スクリーニング検査において発見された病変の疑いのある箇所を詳細に観察して、病変組織／正常組織の判定や、病変組織である場合には、その種類や重症度の判定を行う「精査」である。通常は、最初にスクリーニング検査が行われ、続けて精査が行われる。

図１１は、典型的な内視鏡画像の明暗分布を説明する図である。図１１（ａ）は、スクリーニング検査時の内視鏡画像に典型的な明暗分布の例であり、図１１（ｂ）、（ｃ）は、精査時の内視鏡画像に典型的な明暗分布の例である。

また、表１は、スクリーニング検査時に撮影される内視鏡画像（図１１（ａ）参照）と、精査時に撮影される内視鏡画像（図１１（ｂ）参照）との特徴を対比したものである。

一般的なスクリーニング検査では、電子スコープ１００の挿入部１０１の先端１０１ａ（図１）を一旦消化管内の検査範囲の最奥部まで差し込み、挿入部１０１を消化管から徐々に引き抜きながら、検査範囲の全長に亘って観察が行われる。また、スクリーニング検査における観察は、挿入部１０１の先端１０１ａを僅かに消化管内壁側に向けて、消化管の周方向に視野を走査しながら行われる。スクリーニング検査は、検査対象が特定の部位に限定されず広範囲に及ぶため、効率的に検査を行う必要がある。そのため、電子スコープ１００の先端１０１ａと被写体（消化管内壁）との距離を中〜遠距離に維持して行われる。具体的には、スクリーニング検査は、電子スコープ１００の挿入部１０１を消化管と略平行にした状態（或いは、先端１０１ａをわずかに消化管内壁に向けた状態）で行われる。

したがって、スクリーニング検査時に撮影される内視鏡画像は、図１１（ａ）に示されるように、画像中央部に電子スコープ１００の先端１０１ａから離れた暗い消化管内壁が写り、画像周辺部に電子スコープ１００の先端１０１ａに近い明るく照明された消化管内壁が写ったものとなる。また、内視鏡画像中の暗い（低輝度の）箇所は、略円形状となる。

また、スクリーニング検査の画像は、明るく照らされた先端１０１ａの近傍から、ほとんど照明光が届かずに暗い遠方までが写るため、画像内での明暗（輝度）の変化が大きくなる。

また、スクリーニング検査は、上述のように、電子スコープ１００の先端１０１ａを動かしながら行われるため、スクリーニング検査時に撮影される内視鏡画像は、動きが速いものとなる。

一方、精査は、電子スコープ１００の先端１０１ａを消化管内壁の特定の箇所（スクリーニング検査により病変が疑われた箇所）に向けて近接させて行われる。そのため、精査時に撮影される内視鏡画像の中央部（又は略全面）には、電子スコープ１００の先端１０１ａに近い明るく照明された消化管内壁が写り、周辺部には、先端１０１ａから離れた暗い消化管内壁が写る。従って、内視鏡画像中の暗い箇所は、非円形状となる。

また、精査は、被写体の微細な形状やテクスチャを観察するために、なるべく電子スコープ１００の先端１０１ａを動かさないようにして行われる。そのため、精査時に撮影される内視鏡画像は、動きが少なく、緩やかなものとなる。

また、精査の画像には、電子スコープ１００の先端１０１ａから離れた暗い箇所はほとんど写らないため、画像内での明暗の変化は緩やかなものとなる。

本実施形態のシーン判定処理Ｓ８は、表１に記載された特徴（特に画像の動き）に基づいて、検査の状況（すなわち、スクリーニング検査中であるか、精査中であるか）を判定する処理である。

図１２は、シーン判定処理Ｓ８の手順を示すフローチャートである。シーン判定処理Ｓ８では、内視鏡画像の動きの解析を行う動画解析処理Ｓ８１と、内視鏡画像内の明暗の分布を解析する輝度勾配計算処理Ｓ８２と、動画解析処理Ｓ８１及び輝度勾配計算処理Ｓ８２の解析結果に基づいて検査の種別（スクリーニング検査／精査）を判定する検査種別判定処理Ｓ８３とを含む。

（動画解析：Ｓ８１）
図１３は、動画解析処理Ｓ８１の手順を示すフローチャートである。

（低解像度化：Ｓ８１１）
動画解析処理Ｓ８１では、まず、通常観察画像ＮＰの解像度（画素数）を１／ｎ^２（ｎは整数）に低減させて低解像度通常観察画像ＮＰ_ｒに変換する低解像度化処理Ｓ８１１が行われる。この処理は、後段の各処理に必要な計算量を減らすためのものであり、本実施形態では、通常観察画像ＮＰの解像度が１／１６に低減される。具体的には、通常観察画像ＮＰがｎ画素×ｎ画素（４画素×４画素）のブロックに分割され、各ブロック内のｎ^２画素（１６画素）が新たな１画素に統合される。その際に、ブロック毎に画素値Ｎ（ｘ，ｙ）の代表値（例えば、ブロック内の画素値Ｎ（ｘ，ｙ）の平均値、中間値又は最頻値）が計算され、この代表値が低解像度通常観察画像ＮＰ_ｒの画素値となる。

（速度場計算：Ｓ８１２）
次に、最新のフレームと一つ前のフレームの低解像度通常観察画像ＮＰ_ｒから、速度ベクトル場｛Ｖ_ｘ（ｘ，ｙ），Ｖ_ｙ（ｘ，ｙ）｝（以下、「速度場（Ｖ_ｘ，Ｖ_ｙ）」と略記する。）が計算される（Ｓ８１２）。この速度場は、例えば勾配法やLucas-Kanade法等により計算されるオプティカルフロー（Optical Flow）である。

（平均速度計算：Ｓ８１３）
次に、数式９により、速度場（Ｖ_ｘ，Ｖ_ｙ）の二乗平均平方根である画像速度ＰＶを求める。画像速度ＰＶは、画像全体の平均的な速度の大きさを表すパラメーターである。

但し、
N_Ｖ：速度場の要素数（低解像度通常観察画像ＮＰ_ｒの画素数）

（画像速度変化率計算：Ｓ８１４）
次に、画像速度ＰＶを時間微分した画像速度変化率ＰＶ´（単位時間当たりの画像速度ＰＶの変化量）を計算する。また、画像速度変化率ＰＶ´は平滑化処理が施される。具体的には、直近の所定時間内（例えば１秒間）に撮影された複数の低解像度通常観察画像ＮＰ_ｒについて画像速度変化率ＰＶ´の代表値（例えば、平均値、中間値又は最頻値）が計算され、この代表値が画像速度変化率ＰＶ´として使用される。なお、画像速度ＰＶを単に時間微分した値は高周波成分のノイズ（術者が意図していない電子スコープ１００の振動等に起因する画像の動き）を多く含む。そのため、平滑化処理を行わず、画像速度ＰＶの時間微分をそのまま使用してシーン判定処理Ｓ８３を行うと、判定結果が不安定になり、表示モードの頻繁な変更を招いてしまう。

（輝度勾配計算：Ｓ８２）
動画解析処理Ｓ８１の次に、通常観察画像ＮＰ内の輝度の勾配（後述する密集度ＬＤ_φの最大値ＬＤ_ｍａｘ）を計算する輝度勾配計算処理Ｓ８２が行われる。
図１４は、輝度勾配計算処理Ｓ８２の手順を説明するフローチャートである。
図１５は、輝度勾配計算処理Ｓ８２を説明する図である。図１５（ａ）は後述する輝度画像ＬＰ_４［輝度指数Ｌｕ_４（ｘ，ｙ）］の一例であり、図１５（ｂ）は輝度指数Ｌｕ_４（ｘ，ｙ）の勾配の絶対値のグラフの一例であり、図１５（ｃ）は後述する等高線画像ＣＰの一例である。

（輝度値計算：Ｓ８２０）
輝度勾配計算処理Ｓ８２では、まず、数式１０により、通常観察画像ＮＰの各画素（ｘ，ｙ）の輝度指数Ｌｕ_０（ｘ，ｙ）が計算され、輝度指数Ｌｕ_０（ｘ，ｙ）を要素（画素値）とする輝度画像データＬｕ_０（輝度画像ＬＰ_０を表す画像データ）が生成される（Ｓ８２０）。なお、本実施形態では、通常観察画像データＮの各画素の原色信号Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）の値の単純平均により輝度指数Ｌｕ_０（ｘ，ｙ）が計算されるが、固体撮像素子１０８の分光感度特性に応じた加重平均により、或いは、数式１のように人間の比視感度特性に応じた加重平均により輝度指数Ｌｕ_０（ｘ，ｙ）を計算してもよい。また、原色信号の平均ではなく、単なる総和として、輝度指数Ｌｕ_０（ｘ，ｙ）を計算してもよい。

（低解像度化：Ｓ８２１）
次に、輝度画像データＬｕ_０の解像度（画素数）を１／ｎ^２（ｎは整数）に低減させて、輝度指数Ｌｕ_１（ｘ，ｙ）を要素（画素値）とする輝度画像データＬｕ_１（輝度画像ＬＰ_１を表す画像データ）に変換する低解像度化処理Ｓ８２１が行われる。この処理は、上述の低解像度化処理Ｓ８１１と同様のものである。低解像度化処理Ｓ８２１は、後段の各処理に必要な計算量を減らすと共に、輝度画像Ｌｕ_０を単純化する。

（ぼかし：Ｓ８２２）
次に、ぼかし処理Ｓ８２２が行われる。ぼかし処理Ｓ８２２は、各画素について、その画素を中心とする所定領域（例えば３画素×３画素）に含まれる画素の輝度指数Ｌｕ_１（ｘ，ｙ）の代表値（例えば、平均値、中間値又は最頻値）を計算して、この代表値（輝度指数Ｌｕ_２（ｘ，ｙ））を要素（画素値）とする輝度画像データＬｕ_２（輝度画像ＬＰ_２を表す画像データ）を生成する。ぼかし処理Ｓ８２２は、輝度画像ＬＰ_１を更に単純化する。

（高解像度化：Ｓ８２３）
次に、輝度画像データＬｕ_２の解像度（画素数）をｎ^２倍（ｎは整数）に増大させ、元の輝度画像データＬｕ_０と同じ解像度に戻した輝度画像データＬｕ_３（輝度画像ＬＰ_３を表す画像データ）を生成する高解像度化処理Ｓ８２３が行われる。高解像度化処理Ｓ８２３は、各画素をｎ画素×ｎ画素に分割することによって行われる。高解像度化によって解像度（画素数）は増加するが、画像自体が変化することはない。

（低階調化：Ｓ８２４）
次に、輝度画像データＬｕ_３に対して、画素値の階調を低減させる低階調化処理Ｓ８２４が行われ、輝度画像データＬｕ_４（輝度画像ＬＰ_４を表す画像データ）が生成される。低階調化処理Ｓ８２４では、例えば２５６階調から８階調又は１６階調に階調が低減される。

以上に説明した低解像度化処理Ｓ８２１、ぼかし処理Ｓ８２２、高解像度化処理Ｓ８２３及び低階調化処理Ｓ８２４により、輝度画像ＬＰ_０の単純化が効果的に行われる。また、これらの処理に代えて、輝度画像データＬｕ_０をフーリエ変換し、高周波成分を除去した後に、フーリエ逆変換を行うことでも、同様に輝度画像ＬＰ_０を単純化することができる。また、ぼかし処理Ｓ８２２を複数回行うだけでも同様の効果が得られる。

（ベクトル微分演算：Ｓ８２５）
次に、輝度画像データＬｕ_４に対して、ベクトル微分演算処理Ｓ８２５が行われる。具体的には、輝度指数Ｌｕ_４（ｘ，ｙ）の勾配（gradient）が計算される。

図１５（ａ）に示されるように、輝度画像ＬＰ_４は、幾つかの輝度の異なる領域（図１５においては５つの領域Ｒ_１、Ｒ_２、Ｒ_３、Ｒ_４、Ｒ_５）から構成された、階段状の極めて単純な構造を有している。このような輝度画像ＬＰ_４（輝度指数Ｌｕ_４（ｘ，ｙ））の勾配を計算すると、図１５（ｂ）に示されるように、領域の境界のみに大きさを有する値が得られる（領域の境界以外の勾配はゼロとなる）。従って、ベクトル微分演算処理Ｓ８２５によって、輝度画像ＬＰ_４の各階調の領域の境界線、すなわち輝度の等高線ＣＬ（等高線画像ＣＰ）を表す等高線画像データＣＤが得られる。

（円形度計算：Ｓ８２６）
次に、等高線画像データＣＤを使用して、輝度画像ＬＰ_４における最も暗い画像領域（最低階調領域Ｒ_Ｌ）の円形度Ｖ_{ｒｏｕｎｄ}が数式１１により計算される（Ｓ８２６）。

但し、
N_RL.：最低階調領域Ｒ_Ｌ内の画素数（面積）
L_RL.：最低階調領域Ｒ_Ｌの等高線長（周囲長）

（重心計算：Ｓ８２７）
次に、等高線画像データＣＤを使用して、最低階調領域Ｒ_Ｌの重心ＧＰが数式１２により計算される（Ｓ８２７）。

但し、
X_RLmin：最低階調領域Ｒ_ＬにおけるＸ座標最小値
X_RLmax：最低階調領域Ｒ_ＬにおけるＸ座標最大値
Y_RLmin：最低階調領域Ｒ_ＬにおけるＹ座標最小値
Y_RLmax：最低階調領域Ｒ_ＬにおけるＹ座標最大値

（密集度計算：Ｓ８２８）
次に、等高線画像データＣＤを使用して、重心ＧＰを起点とする８方位（０、π／４、π／２、３π／４、π、５π／４、３π／２、７π／４）における等高線ＣＬの密集度ＬＤを計算する（Ｓ８２８）。等高線ＣＬの密集度ＬＤは、重心ＧＰからの放射方向における単位長さ当たりの等高線ＣＬの数として定義される。

図１５（ａ）の輝度画像ＬＰ_４及び図１５（ｃ）の等高線画像ＣＰには、輝度の低い方から順に領域Ｒ_１（最低階調領域Ｒ_Ｌ）、Ｒ_２、Ｒ_３、Ｒ_４、Ｒ_５の５つの領域が写されている。このうち、輝度の低い領域Ｒ_１、Ｒ_２、Ｒ_３の等高線ＣＬ_１、ＣＬ_２、ＣＬ_３は、全周が等高線画像ＣＰに写されている。本実施形態では、全周（或いは、少なくとも密集度ＬＤを計算する８方位における各点）が等高線画像ＣＰに写された等高線ＣＬ_１、ＣＬ_２、ＣＬ_３のみを使用して等高線ＣＬの密集度ＬＤが計算される。

等高線ＣＬの密集度ＬＤの計算では、まず、重心ＧＰから８方位に延びる放射線（破線）と、計算に使用される最外周の等高線ＣＬ_３との交点Ｑ_０、Ｑ_π／４、Ｑ_π／２、Ｑ_３π／４、Ｑ_π、Ｑ_５π／４、Ｑ_３π／２、Ｑ_７π／４を検出する。そして、重心ＧＰと各交点Ｑ_０、Ｑ_π／４、Ｑ_π／２、Ｑ_３π／４、Ｑ_π、Ｑ_５π／４、Ｑ_３π／２、Ｑ_７π／４との距離ｄ_０、ｄ_π／４、ｄ_π／２、ｄ_３π／４、ｄ_π、ｄ_５π／４、ｄ_３π／２、ｄ_７π／４（不図示）を使用して、数式１３により計算される。

但し、
φ：密集度を計算する方位
LD_φ：方位φにおける等高線ＣＬの密集度
d_φ：重心GPから交点Q_φまでの距離
n_φ：重心GPから方位φに延びる放射線と交差する等高線ＣＬの数（n_φ=3）

（密集度最大値計算：Ｓ８２９）
次に、密集度計算Ｓ８２８において計算された密集度ＬＤ_φの最大値ＬＤ_ｍａｘを求める。この値が輝度画像ＬＰ_４の輝度勾配となる。

（検査種別判定：Ｓ８３）
図１６は、検査種別判定処理Ｓ８３の手順を示すフローチャートである。

（画像速度変化率判定：Ｓ８３１）
検査種別判定処理Ｓ８３では、まず、画像速度変化率ＰＶ´が所定の閾値Ｔｈ_ＰＶ´以下であるか否かを判定する画像速度変化率判定Ｓ８３１が行われる。画像速度変化率ＰＶ´が閾値Ｔｈ_ＰＶ´超えるような激しい画像の動きが生じている場合には、通常観察画像ＮＰに手ぶれが生じるため、後述するマーキング処理（Ｓ１０、Ｓ１１）を正確に行うことができない。また、画像の動きが速いため、マーキングの情報を術者が正確に認識することも困難である。そのため、画像速度変化率ＰＶ´が閾値Ｔｈ_ＰＶ´超える場合には（Ｓ８３１：Ｎｏ）、直ぐに検査種別判定処理Ｓ８３から抜けて、マーキング処理（Ｓ１０、Ｓ１１）を行わずに表示画面生成処理Ｓ１２（図４）に進む。これにより、通常観察画像ＮＰがそのままモニタ９００に表示される。また、画像速度変化率ＰＶ´が閾値Ｔｈ_ＰＶ´未満の場合は（Ｓ８３１：Ｙｅｓ）、次の重心判定Ｓ８３２に進む。

（重心判定：Ｓ８３２）
重心判定Ｓ８３２では、最低階調領域Ｒ_Ｌの重心ＧＰが、等高線画像ＣＰの中央部の所定領域内に位置しているか否かが判定される。重心ＧＰが所定領域内にある場合は（Ｓ８３２：Ｙｅｓ）、処理は次の円形度判定Ｓ８３３に進む。また、重心ＧＰが所定領域内にない場合は（Ｓ８３２：Ｎｏ）、円形度判定Ｓ８３３を行わず、処理は密集度判定Ｓ８３４に進む。

（円形度判定：Ｓ８３３）
円形度判定Ｓ８３３では、円形度Ｖ_{ｒｏｕｎｄ}が所定の閾値（例えば０．６）よりも大きいか否かが判定される。円形度Ｖ_{ｒｏｕｎｄ}が閾値０．６よりも大きければ（Ｓ８３３：Ｙｅｓ）、検査種別がスクリーニング検査と判定される（Ｓ８３７）。また、円形度Ｖ_{ｒｏｕｎｄ}が閾値０．６以下であれば（Ｓ８３３：Ｎｏ）、続いて密集度判定Ｓ８３４が行われる。

（密集度判定：Ｓ８３４）
密集度判定Ｓ８３４では、密集度ＬＤが所定の閾値Ｔｈ_ＬＤよりも大きいか否かが判定される。密集度ＬＤが閾値Ｔｈ_ＬＤよりも小さければ（Ｓ８３４：Ｎｏ）、精査と判定される（Ｓ８３６）。また、密集度ＬＤが閾値Ｔｈ_ＬＤ以上であれば（Ｓ８３４：Ｙｅｓ）、続いて画像速度判定Ｓ８３５が行われる。

（画像速度判定：Ｓ８３５）
画像速度判定Ｓ８３５では、画像速度ＰＶが所定の閾値Ｔｈ_ＰＶよりも大きいか否かが判定される。画像速度ＰＶが閾値Ｔｈ_ＰＶよりも大きければ（Ｓ８３５：Ｙｅｓ）、スクリーニング検査と判定される（Ｓ８３７）。また、画像速度ＰＶが閾値Ｔｈ_ＰＶ以下であれば（Ｓ８３５：Ｎｏ）、精査と判定される（Ｓ８３６）。

なお、画像速度ＰＶ及び画像速度変化率ＰＶ´は、検査時の電子スコープ１００の先端部の動きに関するパラメーターである。また、輝度勾配と、最低階調領域Ｒ_Ｌの円形度Ｖ_{ｒｏｕｎｄ}及び重心ＧＰの位置は、被写体である消化管内壁に対する電子スコープ１００の先端部の姿勢によって決まるパラメーターである。すなわち、本実施形態の検査種別判定Ｓ８３は、内視鏡画像から推定される電子スコープ１００の先端部の動きと姿勢に基づいて、内視鏡検査の種別を判定するものである。

［マーキング処理の種類の決定：Ｓ９］
次に、シーン判定処理Ｓ８における検査種別の判定結果に基づいて、マーキング処理部２２６が行うマーキング処理の種類が決定される（Ｓ９）。精査と判定された場合には（Ｓ９：Ｙｅｓ）、精細マーキング処理Ｓ１０が行われる。また、スクリーニング検査と判定された場合には（Ｓ９：Ｎｏ）、簡易マーキング処理Ｓ１１が行われる。

（精細マーキング：Ｓ１０）
精細マーキング処理Ｓ１０では、通常観察画像ＮＰにおける重症度の分布を色別表示したカラーマップ画像ＣＭＰが、通常観察画像ＮＰに重ねるマーキング用画像データとして生成される。精細マーキング処理Ｓ１０で生成されるカラーマップ画像ＣＭＰは、通常観察画像ＮＰの対応する画素（ｘ，ｙ）のスコアＳｃ（ｘ，ｙ）に応じて定められた表示色Ｃｏｌ（ｘ，ｙ）を画素値としてもつ。

精細マーキング処理Ｓ１０では、先ず、メモリ２２９に格納された表示色テーブルＤＣＴが参照され、スコアＳｃ（ｘ，ｙ）に基づいて各画素に適用される表示色Ｃｏｌ（ｘ，ｙ）が決定される。次いで、表示色Ｃｏｌ（ｘ，ｙ）を画素値とするカラーマップ画像データＣＭが生成され、画像メモリ２２７の記憶領域Ｐ_ｃに記憶される。精細マーキング処理Ｓ１０によって生成されるカラーマップ画像ＣＭＰの例を図１７（ａ）に示す。そして、通常観察画像ＮＰ（又はトーン強調画像ＥＰ）の上にカラーマップ画像ＣＭＰを重畳させる画像合成（オーバーレイ表示）が行われ、マーキング画像データＭが生成される。

なお、表示色テーブルＤＣＴは、スコアＳｃとカラーマップ画像ＣＭＰの表示色（カラーコード）との対応関係を規定する数値テーブルである。表示色テーブルＤＣＴの一例を表２に示す。また、表示色は、１１段階のスコアＳｃ毎に異なる色が設定される。なお、スコアＳｃ（ｘ，ｙ）の値がゼロ（正常組織）の画素（ｘ，ｙ）に対しては、無色透明を示す空の値（null値）が与えられるため、正常組織の画素は精細マーキング処理Ｓ１０によって着色されない。また、各画素（ｘ，ｙ）に付すべき色の指定は、ＲＧＢによる指定に限らず、他の色表現（例えば、色相及び／又は彩度）によって指定することもできる。また、図１７（ａ）に示されるように、着色される領域を別の表示色（例えば赤色）の輪郭線で囲んでもよい。

（簡易マーキング：Ｓ１１）
簡易マーキング処理Ｓ１１も、精細マーキング処理Ｓ１０と同様の処理であるが、簡略化された表示色テーブルＤＣＴ（表３）が使用される。具体的には、簡易マーキング処理Ｓ１１では、スコアＳｃが所定値（例えば０．６）未満の重症度が低い画素に対して無色透明を示す空の値（null値）の表示色Ｃｏｌ（ｘ，ｙ）が与えられ、スコアＳｃが所定値以上で重症度の高い画素には単一色（例えば黄色）の表示色Ｃｏｌ（ｘ，ｙ）が与えられる。簡易マーキング処理Ｓ１１を行った場合のマーキング画像ＭＰの一例を図１７（ｂ）に示す。

簡易マーキング処理Ｓ１１を採用することにより、処理に必要な計算量が大幅に削減されるため、動きの速い画像でも、画像処理がフレームレートに追従でき、病変部に正確に印を付すことが可能になる。また、重症度の高い箇所に限定して簡単な構成（単一色）の印が付されるため、印の視認性が良く、動きの速い画像でも術者は重症度の高い箇所を正確に把握することができる。

（簡易マーキング処理Ｓ１１の変形例）
図１７（ｃ）に、簡易マーキング処理Ｓ１１において生成されるマーキング画像ＭＰの変形例を示す。この変形例では、通常観察画像ＮＰにおいてスコアＳｃが最大となる画素の位置に、予め設定された印ＭＸ（例えば▲マーク）が付されたカラーマップ画像ＣＭＰ（及びマーキング画像ＭＰ）が生成される。この変形例では、画素毎に表示色の判定を行う必要がないため、より少ない処理量でマーキングを行うことができる。

［表示画面生成〜出力：Ｓ１２〜Ｓ１３］
精細マーキング処理Ｓ１０又は簡易マーキング処理Ｓ１１が完了すると、次に表示画面生成処理Ｓ１２が行われる。表示画面生成処理Ｓ１２は、画像メモリ２２７に記憶された各種画像データを使用して、モニタ９００に表示するための表示画面データを生成する処理であり、画像処理回路２２０の表示画面生成部２２８によって行われる。表示画面生成部２２８は、システムコントローラ２０２の制御に応じて、複数種類の表示画面データを生成することができる。生成された表示画面データは、出力回路２２０ｂにより、ガンマ補正等の処理が行われた後、所定のビデオ・フォーマットのビデオ信号に変換され、モニタ９００に出力される（出力処理Ｓ１３）。

図１８は、表示画面生成処理Ｓ１２によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面３２０である。解析モード観察画面３２０は、撮影日時が表示される日時表示領域３２１と、検査に関連する基本的な情報（例えば、カルテ番号、患者名、術者名）を表示する基本情報表示領域３２２と、通常観察画像ＮＰ（又はトーン強調画像ＥＰ）を表示する通常画像表示領域３２４と、マーキング画像ＭＰを表示する解析画像表示領域３２５を備えている。

表示画面生成処理Ｓ１２において、表示画面生成部２２８は、画像メモリ２２７の記憶領域群Ｐ_ｎから通常観察画像データＮ（又は、記憶領域群Ｐ_ｅからトーン強調画像データＥ）を読み出し、通常画像表示領域３２４に通常観察画像ＮＰ（又は、トーン強調画像ＥＰ）を表示する。また、画像メモリ２２７の記憶領域群Ｐ_ｍからマーキング画像データＭを読み出し、解析画像表示領域３２５にマーキング画像ＭＰを表示する。また、日時表示領域３２１及び基本情報表示領域３２２には、システムコントローラ２０２から提供された情報が表示される。

術者は、解析モード観察画面３２０を見ながら内視鏡観察を行う。具体的には、解析画像表示領域３２５に表示されるマーキング画像ＭＰを参照しつつ、通常画像表示領域３２４に表示される通常観察画像ＮＰ（又はトーン強調画像ＥＰ）を見ながら内視鏡観察を行う。マーキング画像ＭＰにおいてマーキングされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。

表示画面生成処理Ｓ１２及び出力処理Ｓ１３が完了すると、次に、内視鏡観察を継続するか否かが判断される（Ｓ１４）。プロセッサ２００の操作パネル２１４に対して、内視鏡観察終了又は電子内視鏡装置１の運転停止を指示するユーザ操作が行われる（Ｓ１４：Ｎｏ）まで、上記の処理Ｓ１〜Ｓ１３が繰り返される。

なお、上記の実施形態は、本発明を電子内視鏡装置に適用した例であるが、本発明はこの構成に限定されない。例えば、電子内視鏡装置によって撮影された内視鏡観察映像を再生する映像再生装置に本発明を適用することができる。また、内視鏡画像以外の観察画像（例えば、通常のビデオカメラにより撮影した体表の観察画像や、手術中の体内の観察画像）の解析にも本発明を適用することができる。

また、本実施形態では、内視鏡画像から推定される電子スコープ１００の先端部の動きと姿勢に基づいて内視鏡検査の種別を判定する構成が採用されているが、本発明はこの構成に限定されない。例えば、検査中の内視鏡挿入部の形状や位置を検出する挿入形状検出機能（特開２０１３−８５７４４号公報に一例が開示されている。）を電子スコープに設け、挿入形状検出機能による電子スコープの先端部の動きと姿勢の検出結果に基づいて内視鏡検査の種別を判定する構成としてもよい。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

１ 電子内視鏡装置
１００ 電子スコープ
２００ 電子内視鏡用プロセッサ
２２０ 画像処理回路
２２０ａ 基本処理部
２２１ ＴＥ処理部
２２２ 有効画素判定部
２２３ 色空間変換部
２２４ 病変判定部
２２５ スコア計算部
２２６ マーキング処理部
２２７ 画像メモリ
２２８ メモリ
２２９ 表示画面生成部
２２０ｂ 出力回路
２３０ シーン判定部
９００ モニタ

Claims (18)

1. 生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、
   前記カラー動画像データに基づいて撮影シーンを判定するシーン判定手段と、
   前記画像データに基づいて、該画像データが表す画像に写された前記生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、
   前記スコアの分布を示す印を前記画像上に付すマーキング手段と、
   を備え、
   前記マーキング手段が、
   前記スコアの分布を詳細に示す前記印を付す詳細マーキング処理と、
   前記スコアの分布を前記詳細マーキング処理よりも簡易的に示す印を付す簡易マーキング処理と、を実行可能であり、
   前記撮影シーンの判定結果に応じて、前記詳細マーキング処理と前記簡易マーキング処理のいずれかを実行する、
   画像処理装置。
2. 前記シーン判定手段が、
   前記カラー動画像データに撮影された画像検査の種類を判定する、
   請求項１に記載の画像処理装置。
3. 前記シーン判定手段が、
   スクリーニング検査と精査のいずれの撮影シーンであるかを判定し、
   前記マーキング手段が、
   スクリーニング検査の撮影シーンと判定されたときに、前記簡易マーキング処理を行い、
   精査の撮影シーンと判定されたときに、前記詳細マーキング処理を行う、
   請求項２に記載の画像処理装置。
4. 前記シーン判定手段が、
   前記画像の動きの解析を行う動画解析手段を備えた、
   請求項３に記載の画像処理装置。
5. 前記動画解析手段が、
   連続する複数の前記画像データに基づいて速度場を計算する速度場計算手段を備え、
   前記速度場の計算結果に基づいて、前記画像検査の種類を判定する、
   請求項４に記載の画像処理装置。
6. 前記動画解析手段が、
   前記速度場を構成する各画素の速度ベクトルの大きさの代表値を計算して画像速度として取得する画像速度計算手段を備えた、
   請求項４又は請求項５に記載の画像処理装置。
7. 前記動画解析手段が、
   前記画像速度の単位時間当たりの変化量である画像速度変化率を計算する画像速度変化率計算手段を備えた、
   請求項６に記載の画像処理装置。
8. 前記動画解析手段が、
   前記画像データの解像度を低減する低解像度化手段を備えた、
   請求項４から請求項７のいずれか一項に記載の画像処理装置。
9. 前記シーン判定手段が、
   前記画像データの輝度を画素値とする輝度画像データを生成する輝度画像データ生成手段を備えた、
   請求項８に記載の画像処理装置。
10. 前記シーン判定手段が、
    前記輝度画像データにより表される輝度画像を単純化する画像単純化手段を備えた、
    請求項９に記載の画像処理装置。
11. 前記画像単純化手段が、
    前記輝度画像を低解像度化する低解像度化手段と、
    低解像度化された前記輝度画像に対してぼかし処理を施すぼかし手段と、
    ぼかし処理された前記輝度画像を元の解像度に戻す高解像度化手段と、を備えた、
    請求項１０に記載の画像処理装置。
12. 前記画像単純化手段が、
    前記輝度画像データの階調を低減させる低階調化手段を備えた、
    請求項１０又は請求項１１に記載の画像処理装置。
13. 前記シーン判定手段が、
    前記輝度画像に基づいて輝度の等高線を表す等高線画像データを生成する等高線画像データ生成手段を備えた、
    請求項９に記載の画像処理装置。
14. 前記等高線画像データ生成手段が、
    前記輝度画像の勾配を計算するベクトル微分演算手段を備えた、
    請求項１３に記載の画像処理装置。
15. 前記シーン判定手段が、
    前記等高線の密集度を計算する等高線密集度計算手段を備え、
    前記等高線の密集度に基づいて前記撮影シーンを判定する、
    請求項１３又は請求項１４に記載の画像処理装置。
16. 前記シーン判定手段が、
    前記画像内の輝度勾配を計算する輝度勾配計算手段を備え、
    前記輝度勾配に基づいて前記撮影シーンを判定する、
    請求項１から請求項１５のいずれか一項に記載の画像処理装置。
17. 前記シーン判定手段が、
    前記画像の低輝度領域の円形度を計算する円形度計算手段を備え、
    前記円形度に基づいて前記撮影シーンを判定する、
    請求項１から請求項１６のいずれか一項に記載の画像処理装置。
18. 前記シーン判定手段が、
    前記画像の低輝度領域の重心を計算する重心計算手段を備え、
    前記重心に基づいて前記撮影シーンを判定する、
    請求項１から請求項１７のいずれか一項に記載の画像処理装置。