JP2017213058A - 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】利便性の向上を図ること。【解決手段】画像処理装置５は、時系列で撮像された画像群に含まれる画像毎に、当該画像内の病変候補領域を検出する候補領域検出部５６と、当該病変候補領域を異なる基準により第１，第２病変候補領域を含む少なくとも２つの領域のいずれかに分類する領域分類部５７と、画像群に含まれる画像毎に、当該画像内の第１，第２病変候補領域と他の領域とを識別した第１映像信号を生成し、外部の第１表示装置５Ａに出力する第１表示制御部５８と、画像群に含まれる画像毎に、当該画像内の第２病変候補領域と他の領域とを識別した第２映像信号を生成し、外部の第２表示装置５Ｂに出力する第２表示制御部５９とを備える。【選択図】図１

Description

本発明は、画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラムに関する。

従来、医療分野において、撮像素子を用いて被検体内を撮像し、当該被検体内を観察する内視鏡装置が知られている（例えば、特許文献１，２参照）。
特許文献１に記載の内視鏡装置では、撮像素子を用いた撮像による観察画像を医師が観察する際に、病変部の見落としを抑止するために、画像処理により観察画像内の病変候補領域（注目領域）を検出し、当該病変候補領域にアラート画像を重畳して表示している。
特許文献２に記載の内視鏡装置（電子内視鏡システム）では、複数の表示装置が設けられ、当該複数の表示装置に対して、同一の観察画像（画質の均一な観察画像）をそれぞれ表示している。

特開２０１１−２５５００６号公報 特許第４０３７６８８号公報

ところで、特許文献１に記載の内視鏡装置において、特許文献２に記載の内視鏡装置のように複数の表示装置に対して同一の観察画像をそれぞれ表示する構成を採用した場合には、以下の問題を生じてしまう。
例えば、当該複数の表示装置として、医師が観察する医師専用の表示装置と、患者が観察する患者専用の表示装置とを採用した場合を想定する。この場合には、医師専用の表示装置と患者専用の表示装置とには、同一の観察画像がそれぞれ表示されることとなる。すなわち、病変候補領域にアラート画像が重畳されているため、当該観察画像を医師に観察させることで、医師による病変部の見落としを抑止することができる。しかしながら、当該観察画像を患者に観察させた場合には、当該アラート画像により患者に対して余計な不安を煽ることとなる。したがって、患者に提供する必要のない情報を患者に提供してしまうこととなり、利便性の向上を図ることができない、という問題がある。

本発明は、上記に鑑みてなされたものであって、利便性の向上を図ることができる画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、時系列で撮像された画像群に含まれる画像毎に、当該画像内の病変候補領域を検出する候補領域検出部と、前記病変候補領域を異なる基準により第１病変候補領域及び第２病変候補領域を含む少なくとも２つの領域のいずれかに分類する領域分類部と、前記画像群に含まれる画像毎に、当該画像内の前記第１病変候補領域及び前記第２病変候補領域と他の領域とを識別した第１映像信号を生成し、外部の第１表示装置に出力する第１表示制御部と、前記画像群に含まれる画像毎に、当該画像内の前記第２病変候補領域と他の領域とを識別した第２映像信号を生成し、外部の第２表示装置に出力する第２表示制御部とを備えることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記領域分類部は、前記候補領域検出部による前記病変候補領域の検出結果の信頼度に基づいて、当該病変候補領域を前記第１病変候補領域及び前記第２病変候補領域を含む少なくとも２つの領域のいずれかに分類することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記領域分類部は、前記信頼度が第１閾値以上で、かつ、当該第１閾値よりも高い第２閾値未満の前記病変候補領域を前記第１病変候補領域に分類し、前記信頼度が前記第２閾値以上の前記病変候補領域を前記第２病変候補領域に分類することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記領域分類部は、前記病変候補領域を前記第２病変候補領域以外の他の領域に分類することを特徴とする。

また、本発明に係る内視鏡装置は、被検体を時系列で撮像する撮像装置と、前記撮像装置にて時系列で撮像された画像群を処理して第１映像信号及び第２映像信号を生成する上述した画像処理装置と、前記第１映像信号に基づく第１観察画像を表示する第１表示装置と、前記第２映像信号に基づく第２観察画像を表示する第２表示装置とを備えることを特徴とする。

また、本発明に係る画像処理方法は、時系列で撮像された画像群に含まれる画像毎に、当該画像内の病変候補領域を検出する候補領域検出ステップと、前記病変候補領域を異なる基準により第１病変候補領域及び第２病変候補領域を含む少なくとも２つの領域のいずれかに分類する領域分類ステップと、前記画像群に含まれる画像毎に、当該画像内の前記第１病変候補領域及び前記第２病変候補領域と他の領域とを識別した第１映像信号を生成し、外部の第１表示装置に出力する第１出力ステップと、前記画像群に含まれる画像毎に、当該画像内の前記第２病変候補領域と他の領域とを識別した第２映像信号を生成し、外部の第２表示装置に出力する第２出力ステップとを含むことを特徴とする。

また、本発明に係る画像処理プログラムは、上述した画像処理方法を画像処理装置に実行させることを特徴とする。

本発明に係る画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラムによれば、利便性の向上を図ることができる、という効果を奏する。

図１は、本発明の実施の形態に係る内視鏡装置の構成を示すブロック図である。 図２は、図１に示した画像処理装置の動作を示すフローチャートである。 図３Ａは、図２に示した画像処理装置の動作により医師用表示装置に表示される医師用観察画像の一例を示す図である。 図３Ｂは、図２に示した画像処理装置の動作により患者用表示装置に表示される患者用観察画像の一例を示す図である。 図４Ａは、本発明の実施の形態の変形例を示す図である。 図４Ｂは、本発明の実施の形態の変形例を示す図である。 図５Ａは、本発明の実施の形態の変形例を示す図である。 図５Ｂは、本発明の実施の形態の変形例を示す図である。

以下に、図面を参照して、本発明を実施するため形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

〔内視鏡装置の概略構成〕
図１は、本発明の実施の形態に係る内視鏡装置１の構成を示すブロック図である。
内視鏡装置１は、医療分野において用いられ、人等の被検体内（例えば、大腸等の管路）を観察する装置である。この内視鏡装置１は、図１に示すように、内視鏡２と、入力装置３と、医師用表示装置４Ａと、患者用表示装置４Ｂと、画像処理装置５とを備える。

内視鏡２は、本発明に係る撮像装置としての機能を有する。本実施の形態では、内視鏡２は、柔軟で細長形状を有し、被検体内に挿入される所謂、軟性内視鏡で構成されている。この内視鏡２の先端には、具体的な図示は省略したが、被検体内を照明するための照明窓、被検体内を観察するための観察窓等が設けられている。
照明窓には、内視鏡２内に引き回されたライトガイド（図示略）の一端が接続される。また、当該ライトガイドの他端には、光源装置（図示略）が接続される。そして、当該光源装置から出射された光（例えば、白色光）は、当該ライトガイド及び当該照明窓を介して、被検体内に照射される。

また、内視鏡２内には、画像処理装置５による制御の下、観察窓を介して被検体内を撮像する撮像部２１（図１）が配設されている。
撮像部２１は、被検体内に照射された光（被写体像）を、観察窓を介して集光する観察光学系（図示略）と、当該観察光学系が集光（結像）した被写体像を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子（図示略）と、当該撮像素子からの電気信号（アナログ信号）に対して信号処理（Ａ／Ｄ変換等）を行って撮像信号（デジタル信号）を出力する信号処理部（図示略）等を用いて構成される。

入力装置３は、キーボードやマウス等のユーザインターフェース等を用いて構成されている。そして、入力装置３は、ユーザによる設定入力操作を受け付け、当該設定入力操作により入力された情報を画像処理装置５に出力する。
医師用表示装置４Ａは、液晶または有機ＥＬ（Electro luminescence）等を用いた表示ディスプレイを用いて構成されている。そして、医師用表示装置４Ａは、画像処理装置５からの第１映像信号を入力し、当該第１映像信号に基づく医師用観察画像（本発明に係る第１観察画像に相当）等を表示する。すなわち、医師用表示装置４Ａは、本発明に係る第１表示装置としての機能を有する。
患者用表示装置４Ｂは、医師用表示装置４Ａと同様に、液晶または有機ＥＬ等を用いた表示ディスプレイを用いて構成されている。そして、患者用表示装置４Ｂは、画像処理装置５からの第２映像信号を入力し、当該第２映像信号に基づく患者用観察画像（本発明に係る第２観察画像に相当）等を表示する。すなわち、患者用表示装置４Ｂは、本発明に係る第２表示装置としての機能を有する。

画像処理装置５は、ＣＰＵ（Central Processing Unit）等の制御部５１（図１）及びメモリ５２（図１）を含んで構成され、メモリ５２に記録されたプログラム（画像処理プログラムを含む）にしたがって、内視鏡２、医師用表示装置４Ａ、及び患者用表示装置４Ｂの動作を統括的に制御する。
以下、画像処理装置５の詳細な構成について説明する。

〔画像処理装置の構成〕
画像処理装置５は、図１に示すように、制御部５１及びメモリ５２の他、画像取得部５３と、画像処理部５４と、特徴量算出部５５と、候補領域検出部５６と、領域分類部５７と、第１，第２表示制御部５８，５９とを備える。
画像取得部５３は、制御部５１による制御の下、撮像部２１に被写体像を撮像させるとともに、当該撮像部２１にて時系列で撮像された画像群（撮像信号）を取得する。
画像処理部５４は、制御部５１による制御の下、画像取得部５３にて取得された画像群に含まれる画像（画像データ）毎に、種々の画像処理を施す。当該画像処理としては、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の既知の画像処理を挙げることができる。そして、画像処理部５４は、画像処理後の画像（以下、処理済画像と記載）を順次、特徴量算出部５５、第１，第２表示制御部５８，５９にそれぞれ出力する。

特徴量算出部５５は、制御部５１による制御の下、画像処理部５４から順次、出力される処理済画像毎に、当該処理済画像内の病変候補領域の検出に用いる特徴量を算出する。
具体的に、特徴量算出部５５は、処理済画像に対して、複数の局所領域を設定する。そして、特徴量算出部５５は、当該局所領域毎に、特徴量を算出する。
当該特徴量としては、例えば、以下の特徴量を採用することができる。
例えば、当該局所領域内の各画素と、当該画素に隣接する画素との変化量、すなわち、傾き値をそれぞれ算出する。そして、当該局所領域内の各画素に対してそれぞれ算出した傾き値の平均値を特徴量とする。
また、例えば、当該局所領域内の各画素の画素値から算出される色相を特徴量とする（例えば、特開２０１１−２５５００６号公報参照）。

候補領域検出部５６は、制御部５１による制御の下、処理済画像毎に、当該処理済画像内の病変候補領域（ポリープ等の病変部であり得る領域）を検出する。
具体的に、候補領域検出部５６は、特徴量算出部５５にて算出された処理済画像内の局所領域毎の各特徴量と、メモリ５２に記録された病変モデル情報とを比較する。ここで、病変モデル情報は、ポリープ等の病変部の画像が共通して持つ特徴量（以下、基準特徴量と記載）である。そして、候補領域検出部５６は、局所領域の特徴量と基準特徴量との差（絶対値）が基準値以下である場合に、当該局所領域を病変候補領域として検出する。
そして、候補領域検出部５６は、検出した病変候補領域に関する候補領域情報を領域分類部５７に出力する。ここで、候補領域情報は、「処理済画像のフレーム番号」、「処理済画像内での病変候補領域の座標位置」、及び「病変候補領域の特徴量と基準特徴量との差（絶対値）」を含む情報である。

領域分類部５７は、制御部５１による制御の下、候補領域検出部５６にて検出された病変候補領域を異なる基準により第１〜第３病変候補領域のいずれかに分類する。
具体的に、領域分類部５７は、候補領域検出部５６による病変候補領域の検出結果の信頼度と、メモリ５２に記録された第１，第２閾値とを比較する。ここで、本実施の形態では、当該信頼度として、候補領域情報に含まれる「病変候補領域の特徴量と基準特徴量との差（絶対値）」を採用している。また、第１，第２閾値は、入力装置３への設定入力操作に応じて入力される情報であり、適宜、変更可能に構成されている。なお、第１閾値は、第２閾値よりも低い値に設定されている。そして、領域分類部５７は、信頼度が第１閾値以上で、かつ、第２閾値未満の病変候補領域を第１病変候補領域に分類する。また、領域分類部５７は、信頼度が第２閾値以上の病変候補領域を第２病変候補領域に分類する。さらに、領域分類部５７は、信頼度が第１閾値未満の病変候補領域を第３病変候補領域に分類する。
すなわち、第３病変候補領域、第１病変候補領域、及び第２病変候補領域は、その順に、信頼度（候補領域検出部５６による検出精度）が高い病変候補領域となる。
そして、領域分類部５７は、候補領域情報に対して、分類した第１〜第３病変候補領域を示す分類情報を付加して第１，第２表示制御部５８，５９にそれぞれ出力する。

第１表示制御部５８は、制御部５１による制御の下、画像処理部５４から順次、出力される処理済画像毎に、当該処理済画像内の第１，第２病変候補領域と他の領域とを識別した第１映像信号を生成し、医師用表示装置４Ａに出力する。
具体的に、第１表示制御部５８は、領域分類部５７から出力された候補領域情報（分類情報を含む）に含まれる「処理済画像のフレーム番号」と、画像処理部５４から順次、出力される処理済画像のフレーム番号とを照合する。そして、第１表示制御部５８は、互いに対応する処理済画像及び候補領域情報（分類情報を含む）を用い、当該候補領域情報に含まれる「処理済画像内での病変候補領域の座標位置」に基づいて、第１，第２病変候補領域をそれぞれ囲む枠状のマーカ画像を生成し、当該処理済画像に当該マーカ画像を重畳した第１映像信号を生成する。
すなわち、医師用表示装置４Ａに表示される医師用観察画像は、領域分類部５７にて分類される第１〜第３病変候補領域のうち、第１，第２病変候補領域がマーカ画像により他の領域と識別された状態となる。

第２表示制御部５９は、制御部５１による制御の下、画像処理部５４から順次、出力される処理済画像毎に、当該処理済画像内の第２病変候補領域と他の領域とを識別した第２映像信号を生成し、患者用表示装置４Ｂに出力する。
具体的に、第２表示制御部５９は、領域分類部５７から出力された候補領域情報（分類情報を含む）に含まれる「処理済画像のフレーム番号」と、画像処理部５４から順次、出力される処理済画像のフレーム番号とを照合する。そして、第２表示制御部５９は、互いに対応する処理済画像及び候補領域情報（分類情報を含む）を用い、当該候補領域情報に含まれる「処理済画像内での病変候補領域の座標位置」に基づいて、第２病変候補領域を囲む枠状のマーカ画像を生成し、当該処理済画像に当該マーカ画像を重畳した第２映像信号を生成する。
すなわち、患者用表示装置４Ｂに表示される患者用観察画像は、領域分類部５７にて分類される第１〜第３病変候補領域のうち、候補領域検出部５６による病変候補領域の検出結果の信頼度が最も高い第２病変候補領域のみがマーカ画像により他の領域と識別された状態となる。

〔画像処理装置の動作〕
次に、上述した画像処理装置５の動作（画像処理方法）について説明する。
図２は、画像処理装置５の動作を示すフローチャートである。
なお、以下では、説明の便宜上、画像処理装置５の動作として、撮像部２１にて時系列で撮像された画像群のうち、１フレームの画像に対する処理のみを説明する。
先ず、画像取得部５３は、撮像部２１に被写体像を撮像させるとともに、当該撮像部２１にて撮像された画像を取得する（ステップＳ１）。
次に、画像処理部５４は、画像取得部５３にて取得された画像に対して、画像処理を施す（ステップＳ２）。

次に、特徴量算出部５５は、画像処理部５４にて画像処理が施された処理済画像の複数の局所領域毎に、特徴量を算出する（ステップＳ３）。
次に、候補領域検出部５６は、処理済画像内の病変候補領域を検出する（ステップＳ４：候補領域検出ステップ）。
次に、画像処理装置５は、処理済画像内に病変候補領域が検出されたか否かを判断する（ステップＳ５）。

病変候補領域が検出されていないと判断した場合（ステップＳ５：Ｎｏ）には、画像処理装置５は、ステップＳ１５に移行する。
一方、病変候補領域が検出されたと判断された場合（ステップＳ５：Ｙｅｓ）には、領域分類部５７は、当該検出された病変候補領域のうち１つの病変候補領域を分類対象とし、当該病変候補領域の信頼度が第１閾値以上であるか否かを判断する（ステップＳ６）。

信頼度が第１閾値未満であると判断した場合（ステップＳ６：Ｎｏ）には、領域分類部５７は、分類対象とした病変候補領域を第３病変候補領域に分類する（ステップＳ７）。
一方、信頼度が第１閾値以上であると判断した場合（ステップＳ６：Ｙｅｓ）には、領域分類部５７は、分類対象とした病変候補領域の信頼度が第２閾値以上であるか否かを判断する（ステップＳ８）。

信頼度が第２閾値未満であると判断した場合（ステップＳ８：Ｎｏ）には、領域分類部５７は、分類対象とした病変候補領域を第１病変候補領域に分類する（ステップＳ９）。
一方、信頼度が第２閾値以上であると判断した場合（ステップＳ８：Ｙｅｓ）には、領域分類部５７は、分類対象とした病変候補領域を第２病変候補領域に分類する（ステップＳ１０）。
以上説明したステップＳ６〜Ｓ１０は、本発明に係る領域分類ステップに相当する。

ステップＳ７，Ｓ９，Ｓ１０の後、画像処理装置５は、ステップＳ４にて検出した全ての病変候補領域を第１〜第３病変候補領域のいずれかに分類したか否か（全ての病変候補領域に対して分類を実行したか否か）を判断する（ステップＳ１１）。
全ての病変候補領域に対して分類を実行していないと判断した場合（ステップＳ１１：Ｎｏ）には、画像処理装置５は、分類対象となる病変候補領域を変更し（ステップＳ１２）、ステップＳ６に戻る。
一方、全ての病変候補領域に対して分類を実行したと判断した場合（ステップＳ１１：Ｙｅｓ）には、画像処理装置５は、第１病変候補領域または第２病変候補領域に分類した病変候補領域があるか否かを判断する（ステップＳ１３）。

第１病変候補領域または第２病変候補領域に分類した病変候補領域がないと判断した場合（ステップＳ１３：Ｎｏ）には、画像処理装置５は、ステップＳ１５に移行する。
一方、第１病変候補領域または第２病変候補領域に分類した病変候補領域があると判断された場合（ステップＳ１３：Ｙｅｓ）には、第１，第２表示制御部５８，５９は、マーカ画像を生成する（ステップＳ１４）。すなわち、第１表示制御部５８は、第１，第２病変候補領域を囲むマーカ画像を生成する。第２表示制御部５９は、第２病変候補領域を囲むマーカ画像を生成する。この後、画像処理装置５は、ステップＳ１５に移行する。

病変候補領域が検出されていないと判断された場合（ステップＳ５：Ｎｏ）と、第１病変候補領域または第２病変候補領域に分類した病変候補領域がないと判断された場合（ステップＳ１３：Ｎｏ）とには、第１，第２表示制御部５８，５９は、ステップＳ１５において、マーカ画像が重畳されていない処理済画像に基づく第１，第２映像信号をそれぞれ生成し、医師用表示装置４Ａ及び患者用表示装置４Ｂにそれぞれ出力する。
一方、ステップＳ１４の後には、第１表示制御部５８は、ステップＳ１５において、処理済画像に対してステップＳ１４で生成したマーカ画像を重畳した第１映像信号を生成し、医師用表示装置４Ａに出力する。また、第２表示制御部５９は、処理済画像に対してステップＳ１４で生成したマーカ画像を重畳した第２映像信号を生成し、患者用表示装置４Ｂに出力する。
以上説明したステップＳ１５は、本発明に係る第１，第２出力ステップに相当する。

〔表示形態の具体例〕
以上説明した画像処理装置５の動作により医師用表示装置４Ａ及び患者用表示装置４Ｂに表示される医師用観察画像及び患者用観察画像の具体例について説明する。
図３Ａは、画像処理装置５の動作により医師用表示装置４Ａに表示される医師用観察画像Ｆ１の一例を示す図である。図３Ｂは、画像処理装置５の動作により患者用表示装置４Ｂに表示される患者用観察画像Ｆ２の一例を示す図である。
なお、図３Ａ及び図３Ｂにおいて、一点鎖線で示した矩形状の枠は、候補領域検出部５６にて検出された病変候補領域Ａｒを示している。また、病変候補領域Ａｒのうち、領域分類部５７にて分類された第１〜第３病変候補領域をそれぞれ「Ａｒ１」〜「Ａｒ３」としている。
上述したように、ステップＳ１４では、第１，第２病変候補領域Ａｒ１，Ａｒ２についてのみ、マーカ画像が生成される。そして、ステップＳ１５では、処理済画像に対して第１，第２病変候補領域Ａｒ１，Ａｒ２をそれぞれ囲むマーカ画像を重畳した第１映像信号が生成される。このため、医師用表示装置４Ａには、図３Ａに示すように、第１〜第３病変候補領域Ａｒ１〜Ａｒ３のうち、第１，第２病変候補領域Ａｒ１，Ａｒ２についてのみ矩形枠状のマーカ画像ＭＡが重畳された医師用観察画像Ｆ１が表示される。
一方、ステップＳ１５では、処理済画像に対して第２病変候補領域Ａｒ２のみを囲むマーカ画像を重畳した第２映像信号が生成される。このため、患者用表示装置４Ｂには、図３Ｂに示すように、第１〜第３病変候補領域Ａｒ１〜Ａｒ３のうち、第２病変候補領域Ａｒ２についてのみマーカ画像ＭＡが重畳された患者用観察画像Ｆ２が表示される。

以上説明した本実施の形態に係る画像処理装置５では、処理済画像内の病変候補領域を検出し、当該病変候補領域を異なる基準により第１〜第３病変候補領域のいずれかに分類する。そして、画像処理装置５は、処理済画像内の第１，第２病変候補領域と他の領域とを識別した第１映像信号を生成し、医師用表示装置４Ａに出力する。また、画像処理装置５は、処理済画像内の第２病変候補領域と他の領域とを識別した第２映像信号を生成し、患者用表示装置４Ｂに出力する。
このため、医師用観察画像Ｆ１は、第１〜第３病変候補領域Ａｒ１〜Ａｒ３のうち、病変候補領域の検出結果の信頼度が最も高い第２病変候補領域Ａｒ２の他、当該第２病変候補領域Ａｒ２よりも信頼度が低い第１病変候補領域Ａｒ１にもマーカ画像ＭＡが重畳された画像となる。すなわち、当該医師用観察画像Ｆ１を医師に観察させることにより、医師による病変部の見落としを抑止することができる。
一方、患者用観察画像Ｆ２は、第１〜第３病変候補領域Ａｒ１〜Ａｒ３のうち、病変候補領域の検出結果の信頼度が最も高い第２病変候補領域Ａｒ２のみにマーカ画像ＭＡが重畳された画像となる。すなわち、信頼度の最も高い第２病変候補領域Ａｒ２のみにマーカ画像ＭＡが重畳され、信頼度の低い第１，第３病変候補領域Ａｒ１，Ａｒ３にはマーカ画像ＭＡが重畳されていないため、患者に対しては余計な不安を煽ることがない。
以上のことから、本実施の形態に係る画像処理装置５によれば、患者に提供する必要のない情報を患者に提供することがなく、利便性の向上を図ることができる、という効果を奏する。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明したが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態では、領域分類部５７は、候補領域検出部５６にて検出された病変候補領域を第１〜第３病変候補領域のいずれかに分類していたが、これに限られない。
図４Ａ及び図４Ｂは、本発明の実施の形態の変形例を示す図である。具体的に、図４Ａ及び図４Ｂは、図３Ａ及び図３Ｂにそれぞれ対応した図である。
例えば、第１閾値を「０」に設定することにより、候補領域検出部５６にて検出された病変候補領域を第１，第２病変候補領域のいずれかに分類しても構わない。このように構成した場合には、医師用観察画像Ｆ１では、図４Ａに示すように、上述した実施の形態１で説明した医師用観察画像Ｆ１（図３Ａ）における第３病変候補領域Ａｒ３が第１病変候補領域Ａｒ１に分類されることとなり、全ての病変候補領域Ａｒに対してマーカ画像ＭＡが重畳される。なお、第１閾値を「０」に設定しただけであるため、患者用観察画像Ｆ２のマーカ画像ＭＡが重畳される位置については、図４Ｂに示すように、上述した実施の形態で説明した患者用観察画像Ｆ２（図３Ｂ）と同様である。

さらに、第２閾値を病変候補領域の検出の際に用いる基準値を超える値に設定することにより、候補領域検出部５６にて検出された病変候補領域の全てを第１病変候補領域のみに分類しても構わない。このように構成した場合には、患者用観察画像Ｆ２では、図５Ｂに示すように、上述した実施の形態１で説明した患者用観察画像Ｆ２（図３Ｂ）における第２病変候補領域Ａｒ２が第１病変候補領域Ａｒ１に分類されることとなり、マーカ画像ＭＡが重畳されない。なお、第１閾値を「０」に設定し、第２閾値を上述した基準値を超える値に設定しただけであるため、医師用観察画像Ｆ１のマーカ画像ＭＡが重畳される位置については、図５Ａに示すように、図４Ａで示した医師用観察画像Ｆ１と同様である。
なお、上述したように候補領域検出部５６にて検出された病変候補領域の全てを第１病変候補領域のみに分類する場合には、当該分類の際に、信頼度や第１，第２閾値を用い、当該信頼度と当該第１，第２閾値とを比較しなくても構わない。このように構成すれば、信頼度と第１，第２閾値とを比較する必要がないため、画像処理装置５の処理負荷を軽減することができる。

上述した実施の形態では、第１病変候補領域や第２病変候補領域にマーカ画像を重畳することにより第１病変候補領域や第２病変候補領域と他の領域とを識別していたが、これに限られない。例えば、第１病変候補領域や第２病変候補領域の明るさや色調を他の領域と異なるものとすることにより第１病変候補領域や第２病変候補領域と他の領域とを識別するように構成しても構わない。

上述した実施の形態において、病変候補領域の検出手法は、上述した実施の形態で説明した検出手法に限られない。
例えば、ポリープ等の病変部の画像（病変パターン）を利用したパターンマッチング処理や酸素飽和度の推定により、処理済画像内の病変候補領域を検出する手法を採用しても構わない。パターンマッチング処理を採用した場合には、本発明に係る信頼度として、パターンマッチング処理の評価値（類似度または相違度）を採用しても構わない。例えば、当該評価値としては、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、あるいは、ＮＣＣ（Normalized Cross-Correlation）やＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等の正規化相互相関等を例示することができる。

上述した実施の形態では、候補領域検出部５６にて検出された病変候補領域を第１〜第３病変候補領域のいずれかに分類する際に、候補領域検出部５６による病変候補領域の検出結果の信頼度を用いていたが、これに限られない。
例えば、候補領域検出部５６にて検出された病変候補領域の大きさや種類（ポリープや癌等）により、当該病変候補領域を第１，第２病変候補領域を含む少なくとも２つの領域のいずれかに分類しても構わない。
また、例えば、内視鏡２の種類（スコープＩＤ（大腸用の内視鏡、胃用の内視鏡等）により、当該病変候補領域を第１，第２病変候補領域を含む少なくとも２つの領域のいずれかに分類しても構わない。
さらに、候補領域検出部５６による病変候補領域の検出結果の信頼度、当該病変候補領域の大きさや種類、及び内視鏡２の種類のうち、少なくとも２つを用いて、当該病変候補領域を第１，第２病変候補領域を含む少なくとも２つの領域のいずれかに分類しても構わない。

上述した実施の形態では、特徴量算出部５５には、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理が施された処理済画像が入力されていたが、これに限られず、当該画像処理の一部のみ施された画像が特徴量算出部５５に入力されるように構成しても構わない。また、画像取得部５３にて取得された画像群に含まれる画像（当該画像処理が施されていない画像）が直接、特徴量算出部５５に入力されるように構成しても構わない。
上述した実施の形態において、特徴量算出部５５及び候補領域検出部５６を画像処理装置５とは別体とされたモジュールで構成しても構わない。
上述した実施の形態では、内視鏡２を軟性内視鏡で構成していたが、これに限られず、硬性内視鏡や、カプセル型内視鏡で構成しても構わない。

また、処理フローは、上述した実施の形態で説明したフローチャート（図２）における処理の順序に限られず、矛盾のない範囲で変更しても構わない。
さらに、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記録部に記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記録部又は記録媒体への記録は、コンピュータ又は記録媒体を製品として出荷する際に行ってもよく、あるいは、通信ネットワークを介したダウンロードにより行ってもよい。

１ 内視鏡装置
２ 内視鏡（撮像装置）
３ 入力装置
４Ａ 医師用表示装置（第１表示装置）
４Ｂ 患者用表示装置（第２表示装置）
５ 画像処理装置
２１ 撮像部
５１ 制御部
５２ メモリ
５３ 画像取得部
５４ 画像処理部
５５ 特徴量算出部
５６ 候補領域検出部
５７ 領域分類部
５８，５９ 第１，第２表示制御部
Ａｒ 病変候補領域
Ａｒ１〜Ａｒ３ 第１〜第３病変候補領域
Ｆ１ 医師用観察画像（第１観察画像）
Ｆ２ 患者用観察画像（第２観察画像）
ＭＡ マーカ画像

Claims (7)

1. 時系列で撮像された画像群に含まれる画像毎に、当該画像内の病変候補領域を検出する候補領域検出部と、
   前記病変候補領域を異なる基準により第１病変候補領域及び第２病変候補領域を含む少なくとも２つの領域のいずれかに分類する領域分類部と、
   前記画像群に含まれる画像毎に、当該画像内の前記第１病変候補領域及び前記第２病変候補領域と他の領域とを識別した第１映像信号を生成し、外部の第１表示装置に出力する第１表示制御部と、
   前記画像群に含まれる画像毎に、当該画像内の前記第２病変候補領域と他の領域とを識別した第２映像信号を生成し、外部の第２表示装置に出力する第２表示制御部とを備える
   ことを特徴とする画像処理装置。
2. 前記領域分類部は、
   前記候補領域検出部による前記病変候補領域の検出結果の信頼度に基づいて、当該病変候補領域を前記第１病変候補領域及び前記第２病変候補領域を含む少なくとも２つの領域のいずれかに分類する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記領域分類部は、
   前記信頼度が第１閾値以上で、かつ、当該第１閾値よりも高い第２閾値未満の前記病変候補領域を前記第１病変候補領域に分類し、前記信頼度が前記第２閾値以上の前記病変候補領域を前記第２病変候補領域に分類する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記領域分類部は、
   前記病変候補領域を前記第２病変候補領域以外の他の領域に分類する
   ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 被検体を時系列で撮像する撮像装置と、
   前記撮像装置にて時系列で撮像された画像群を処理して第１映像信号及び第２映像信号を生成する請求項１〜４のいずれか一つに記載の画像処理装置と、
   前記第１映像信号に基づく第１観察画像を表示する第１表示装置と、
   前記第２映像信号に基づく第２観察画像を表示する第２表示装置とを備える
   ことを特徴とする内視鏡装置。
6. 時系列で撮像された画像群に含まれる画像毎に、当該画像内の病変候補領域を検出する候補領域検出ステップと、
   前記病変候補領域を異なる基準により第１病変候補領域及び第２病変候補領域を含む少なくとも２つの領域のいずれかに分類する領域分類ステップと、
   前記画像群に含まれる画像毎に、当該画像内の前記第１病変候補領域及び前記第２病変候補領域と他の領域とを識別した第１映像信号を生成し、外部の第１表示装置に出力する第１出力ステップと、
   前記画像群に含まれる画像毎に、当該画像内の前記第２病変候補領域と他の領域とを識別した第２映像信号を生成し、外部の第２表示装置に出力する第２出力ステップとを含む
   ことを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法を画像処理装置に実行させる
   ことを特徴とする画像処理プログラム。

Images