JP2020146202A - 内視鏡画像処理装置、方法及びプログラム、内視鏡システム - Google Patents

Abstract

【課題】内視鏡画像に含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知する内視鏡画像処理装置、方法及びプログラム、内視鏡システムを提供する。【解決手段】内視鏡画像の被観察部位に対する内視鏡操作者の動作を内視鏡画像から認識し、認識結果に応じて、注目領域情報を内視鏡画像内に第１強調レベルで表示する第１強調表示と、注目領域情報を第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替える。【選択図】図３

Description

本発明は内視鏡画像処理装置、方法及びプログラム、内視鏡システムに係り、特に内視鏡画像に含まれる注目領域の情報を表示する技術に関する。

内視鏡画像から病変等の注目領域を自動認識し、認識結果を報知する画像認識技術が知られている。内視鏡検査中の医師に内視鏡画像の認識結果を報知するにあたっては、検査の工程に応じた適切な報知が求められる。

例えば、観察中の内視鏡画像から病変を検出する必要があるのは、新たに病変が視界に入ったタイミングや、病変が断続的に視界から外れるタイミングに限られる。一方、処置具により病変部の処置を開始した後や、色素散布を行い仔細な観察及び診断を開始した後は、医師は病変の存在を認識していることが確実なため、病変位置の報知は医師の作業を阻害する恐れがある。

このような課題に対し、特許文献１には、処置具使用等の操作者の動作を判定し、病変の検出を行う画像とするか否かを決定する技術が開示されている。

国際公開第２０１７／００２１８４号

しかしながら、特許文献１に記載の技術では、特定の動作中に病変の検出を行わないが故の問題が生ずる。

例えば、特許文献１には、洗浄動作中であれば、検出対象の画像としない旨が開示されている。しかしながら、洗浄動作中に残渣が除去され、検出対象が画面上に現れることがあり得る。このような場合に検出及び報知が行われないと、検出対象を見落とす危険性があった。したがって、操作者の動作にかかわらず、検出結果の報知は続ける必要がある。

本発明はこのような事情に鑑みてなされたもので、内視鏡画像に含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知する内視鏡画像処理装置、方法及びプログラム、内視鏡システムを提供することを目的とする。

上記目的を達成するための内視鏡画像処理装置の一の態様は、内視鏡操作者によって被観察部位が順次撮影された複数の内視鏡画像であって、表示部に順次表示される複数の内視鏡画像に含まれる注目領域の注目領域情報を表示部に表示する表示制御部と、複数の内視鏡画像のうちの少なくとも一部の内視鏡画像から被観察部位に対する内視鏡操作者の動作を認識する動作認識部と、を備え、表示制御部は、動作認識部の認識結果に応じて、注目領域情報を内視鏡画像内の位置に第１強調レベルで表示する第１強調表示と、注目領域情報を第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替える内視鏡画像処理装置である。

本態様によれば、動作認識部の認識結果に応じて、注目領域情報を内視鏡画像内の位置に第１強調レベルで表示する第１強調表示と、注目領域情報を第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替えるようにしたので、内視鏡画像に含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知することができる。

複数の内視鏡画像を取得する画像取得部と、取得した内視鏡画像から注目領域を検出する注目領域検出部と、検出した注目領域の注目領域情報を取得する注目領域情報取得部と、を備えることが好ましい。これにより、注目領域情報を適切に取得することができる。

表示制御部は、取得した複数の内視鏡画像を表示部に順次表示することが好ましい。これにより、複数の内視鏡画像を適切に表示することができる。

動作認識部は、特定の動作の有無を認識し、表示制御部は、動作認識部が特定の動作を非認識の場合は第１強調表示を行い、特定の動作を認識した場合は第２強調表示を行うことが好ましい。これにより、内視鏡操作者の特定の動作に応じて強調表示を切り替えることができる。

特定の動作は処置具使用、洗浄、拡大観察、及び色素観察のうちの少なくとも１つの動作であることが好ましい。これにより、内視鏡操作者の処置具使用、洗浄、拡大観察、及び色素観察のうち少なくとも１つの動作に応じて強調表示を切り替えることができる。

表示制御部は、注目領域情報に基づく図形を表示することが好ましい。これにより、注目領域情報を適切に報知することができる。

第１強調レベル及び第２強調レベルは、図形の色、形状、及び透過度の少なくとも１つが異なることが好ましい。これにより、強調レベルを適切に異ならせることができる。

第１強調表示は、注目領域情報を内視鏡画像とは異なる位置に表示することが好ましい。注目領域情報を内視鏡画像内の位置と注目領域情報を内視鏡画像とは異なる位置とに表示することにより、第１強調レベルを相対的に大きくすることができる。

第２強調表示は、注目領域情報を内視鏡画像内の位置に表示することが好ましい。これにより、強調レベルが相対的に小さい第２強調レベルにおいても注目領域情報を適切に報知することができる。

第２強調表示は、注目領域情報を内視鏡画像とは異なる位置に表示することが好ましい。これにより、内視鏡画像の視認を妨げることなく注目領域情報を報知することができる。

注目領域情報の強調方法を記憶する強調方法記憶部を有し、表示制御部は、強調方法記憶部に記憶された強調方法によって注目領域情報を表示することが好ましい。これにより、注目領域情報を適切に報知することができる。

強調方法記憶部は、動作認識部が認識する動作毎に強調方法を記憶することが好ましい。これにより、注目領域情報を動作毎に適切に報知することができる。

強調方法を設定して強調方法記憶部に記憶させる入力部を備えることが好ましい。これにより、内視鏡操作者に応じた第２強調表示にすることができる。

上記目的を達成するための内視鏡システムの位置の態様は、表示部と、被検体内に挿入される内視鏡スコープと、被検体内の被観察部位の複数の内視鏡画像を順次撮影するカメラと、上記に記載の内視鏡画像処理装置と、を備える内視鏡システムである。

本態様によれば、動作認識部の認識結果に応じて、注目領域情報を内視鏡画像内の位置に第１強調レベルで表示する第１強調表示と、注目領域情報を第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替えるようにしたので、内視鏡画像に含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知することができる。

上記目的を達成するための内視鏡画像処理方法の一の態様は、内視鏡操作者によって被観察部位が順次撮影された複数の内視鏡画像であって、表示部に順次表示される複数の内視鏡画像に含まれる注目領域の注目領域情報を表示部に表示する表示制御工程と、複数の内視鏡画像のうちの少なくとも一部の内視鏡画像から被観察部位に対する内視鏡操作者の動作を認識する動作認識工程と、を備え、表示制御工程は、動作認識工程の認識結果に応じて、注目領域情報を内視鏡画像内の位置に第１強調レベルで表示する第１強調表示と、注目領域情報を第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替える内視鏡画像処理方法である。

本態様によれば、動作認識部の認識結果に応じて、注目領域情報を内視鏡画像内の位置に第１強調レベルで表示する第１強調表示と、注目領域情報を第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替えるようにしたので、内視鏡画像に含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知することができる。

上記に記載の内視鏡画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。

本発明によれば、内視鏡画像に含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知することができる。

図１は、本実施形態に係る内視鏡画像処理装置を含む内視鏡システム１の全体構成を示す概略図である。 図２は、内視鏡画像処理装置１４の電気的構成を示すブロック図である。 図３は、第１の実施形態に係る内視鏡画像処理方法の各処理を示すフローチャートである。 図４は、注目領域が検出された際の表示器１６の表示の一例を示す図である。 図５は、注目領域が検出された際の表示器１６の表示の一例を示す図である。 図６は、強調方法記憶部５０が記憶するテーブルの一例を示す図である。 図７は、強調方法記憶部５０が記憶するテーブルの一例を示す図である。 図８は、強調方法記憶部５０が記憶するテーブルの一例を示す図である。 図９は、表示器１６に表示されるテーブル変更画面１００を示す図である。 図１０は、表示器１６に表示されるテーブル変更第１画面１２０を示す図である。 図１１は、表示器１６に表示されるテーブル変更第２画面１３０を示す図である。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

＜内視鏡システムの全体構成＞
図１は、本実施形態に係る内視鏡画像処理装置を含む内視鏡システム１の全体構成を示す概略図である。内視鏡システム１は、被検体の体内（被検体内）の被観察部位の内視鏡画像を撮影し、撮影した内視鏡画像から病変等の注目領域を自動認識し、認識した結果を報知する装置である。

図１に示すように、内視鏡システム１は、電子内視鏡である内視鏡スコープ１０、光源装置１１、内視鏡プロセッサ装置１２、表示装置１３、内視鏡画像処理装置１４、操作部１５、及び表示器１６を備える。

内視鏡スコープ１０は、被写体像を含む時系列画像を取得する時系列画像取得部に相当するものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され、かつ先端と基端とを有する挿入部２０、挿入部２０の基端側に連設されかつ内視鏡操作者（医師）が把持して各種操作を行う手元操作部２１、及び手元操作部２１に連設されたユニバーサルコード２２を有する。

挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５、手元操作部２１の操作により湾曲可能な湾曲部２６、及び先端部２７が連設されて構成される。

先端部２７には、不図示の対物レンズ及び撮像素子を含む撮像部２８等が内蔵される。撮像素子は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。

手元操作部２１には、内視鏡操作者によって操作される各種操作部材が設けられている。具体的には、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９、送気送水操作用の送気送水ボタン３０、及び吸引操作用の吸引ボタン３１が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２、及び挿入部２０内を挿通している不図示の処置具挿通路内に不図示の処置具を挿入する処置具導入口３３が設けられている。

ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び不図示の流体チューブを内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐されかつ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂが設けられている。

コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び不図示の流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び不図示の流体チューブを介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の不図示の照明窓から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の不図示の送気送水ノズルから先端面の不図示の観察窓に向けて気体又は水が噴射される。

コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６及び内視鏡プロセッサ装置１２が電気的に接続される。信号ケーブル３６により、内視鏡スコープ１０の撮像部２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力され、かつ内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。

光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、又は１又は複数の特定の波長帯域の光、又はこれらの組み合わせ等、観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。

特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

特定の波長帯域の第４例は、被検体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像部２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａ（図２参照）からなる時系列画像（複数の内視鏡画像の一例）である動画３８を生成する。動画３８のフレームレートは、例えば３０ｆｐｓ（frame per second）である。即ち、撮像部２８は、複数のフレーム画像３８ａを順次撮影するカメラに相当する。

さらに、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮影指示のタイミングに応じて取得し、静止画３９とする。

動画３８及び静止画３９は、被検体内を撮像した内視鏡画像である。さらに動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と内視鏡画像処理装置１４とにそれぞれ出力する。

なお、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤（Red）、緑（Green）、及び青（Blue）のＲＧＢ色情報あるいはシアン（Cyan）、マゼンタ（Magenta）、及びイエロー（Yellow）のＣＭＹ色情報に基づく演算を行うことで得る。

また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像、及び上述の特定の波長帯域の光（特殊光）により得られた特殊光画像の少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。なお、上記の通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した内視鏡画像である。

表示装置１３は、内視鏡プロセッサ装置１２に接続されている。表示装置１３は、内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する。内視鏡操作者は、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行う。また、内視鏡操作者は、被観察部位に病変等を発見した場合には、静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、診断及び生検等を行う。

＜内視鏡画像処理装置の構成＞
内視鏡画像処理装置１４は、主として時系列画像に含まれる注目領域を内視鏡操作者に報知するものであり、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器１６（表示部の一例）はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。内視鏡画像処理装置１４は、操作部１５及び表示器１６とともに、診断支援装置、又は医療業務支援装置として機能する。

図２は、内視鏡画像処理装置１４の電気的構成を示すブロック図である。図２に示すように、内視鏡画像処理装置１４は、時系列画像取得部４０、注目領域検出部４１、注目領域情報取得部４２、制御部４４、表示制御部４５、動作認識部４６、及び記憶部４７を備える。

制御部４４は、記憶部４７に記憶されたプログラム（内視鏡画像処理プログラム）５１に基づいて、時系列画像取得部４０、注目領域検出部４１、注目領域情報取得部４２、表示制御部４５、及び動作認識部４６を統括制御し、また、これらの各部の一部として機能する。

記憶部４７は、撮像された静止画３９、注目領域検出部４１による検出結果、プログラム５１、及び内視鏡画像処理装置１４の各種制御に係る情報等を記憶する。また、記憶部４７は、報知情報である注目領域情報を構成する図形を記憶する図形記憶部４８、及び注目領域情報の強調方法を記憶する強調方法記憶部５０を備える。

時系列画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａからなる動画３８（本例では、内視鏡スコープ１０により撮像される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮像途中に既述の静止画３９の撮像が行われた場合、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。

なお、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画３８を取得してもよい。また、時系列画像取得部４０は、インターネット上のサーバあるいはデータベース等にアップロードされた動画３８をインターネット経由で取得してもよい。

注目領域検出部４１は、被観察部位の観察中に撮像された動画３８から注目領域を検出する部分である。注目領域検出部４１は、動画３８の各フレーム画像３８ａ（又は間引かれた一定間隔のフレーム画像３８ａ）の特徴量を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含み、画像内の色情報、画素値の勾配等で特徴量を算出する。注目領域検出部４１は、算出された特徴量を用いて画像内の病変等の注目領域を検出する。

注目領域の例としては、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所、出血点、穿孔、血管異型性、及び処置具等がある。

注目領域検出部４１は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。

なお、注目領域検出部４１は、ＣＮＮにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。

注目領域情報取得部４２は、注目領域検出部４１により注目領域が検出された場合、注目領域検出部４１から注目領域を示す注目領域情報を取得する。注目領域情報は、例えば画像内の注目領域の輪郭の座標情報、及び注目領域の特徴量である。注目領域情報は、注目領域の有無の情報であってもよい。

なお、時系列画像取得部４０が注目領域情報が関連付けられている動画３８を取得する場合は、注目領域情報取得部４２は、その関連付けられた注目領域情報を取得すればよい。

動作認識部４６は、被観察部位の観察中に撮像された動画３８から被観察部位に対する内視鏡操作者の動作を認識する部分である。被観察部位に対する内視鏡操作者の動作としては、「処置具使用」、「洗浄（送水）」、「拡大観察」、及び「色素観察」を含む。被観察部位に対する内視鏡操作者の動作は、「挿入」、「抜去」、及び「測長」を含んでもよい。

動作認識部４６は、動画３８の各フレーム画像３８ａの特徴量を算出して画像の認識処理を行うＣＮＮを含み、画像内の色情報、画素値の勾配等で特徴量を算出する。動作認識部４６は、算出された特徴量を用いて被観察部位に対する内視鏡操作者の動作を認識する。動作認識部４６は、動画３８のうちの少なくとも一部のフレーム画像３８ａから内視鏡操作者の動作を認識してもよい。

表示制御部４５は、画像表示制御部４５Ａ及び報知情報表示制御部４５Ｂを備えている。画像表示制御部４５Ａは、時系列画像取得部４０が取得した動画３８を表示器１６に出力し、表示器１６に動画３８を表示させる。即ち、表示器１６には、複数のフレーム画像３８ａが順次表示される。

報知情報表示制御部４５Ｂは、注目領域情報取得部４２が取得した注目領域情報を表示器１６に出力する。ここでは、報知情報表示制御部４５Ｂは、強調方法記憶部５０に記憶された強調方法による注目領域情報を出力する。これにより、表示器１６には、複数のフレーム画像３８ａとともに強調方法記憶部５０に記憶された強調方法によって注目領域情報が表示される。

また、報知情報表示制御部４５Ｂは、動作認識部４６の認識結果に応じて、注目領域情報を動画３８内の位置に第１強調レベルで表示する第１強調表示と、注目領域情報を第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替える。強調表示の詳細については後述する。

＜内視鏡画像処理方法：第１の実施形態＞
内視鏡システム１を用いた内視鏡画像処理方法について説明する。図３は、第１の実施形態に係る内視鏡画像処理方法の各処理を示すフローチャートである。内視鏡画像処理方法は、画像取得工程（ステップＳ１）、画像表示工程（ステップＳ２）、注目領域検出工程（ステップＳ３）、動作認識工程（ステップＳ５）、第１強調表示工程（ステップＳ７）、及び第２強調表示工程（ステップＳ８）を含む。

ステップＳ１では、時系列画像取得部４０は、内視鏡操作者によって被観察部位が順次撮影された複数の内視鏡画像を取得する。ここでは、時系列画像取得部４０は、内視鏡スコープ１０により撮像される動画３８のフレーム画像３８ａを取得する。

ステップＳ２では、画像表示制御部４５Ａは、時系列画像取得部４０が取得した複数のフレーム画像３８ａを表示器１６に順次表示する。これにより、表示器１６には動画３８が表示される。

ステップＳ３では、注目領域検出部４１は、ステップＳ１で取得したフレーム画像３８ａから注目領域を検出する。また、注目領域情報取得部４２は、注目領域検出部４１により注目領域が検出された場合、注目領域検出部４１から注目領域を示す注目領域情報を取得する。

ステップＳ４では、制御部４４は、ステップＳ３において注目領域が検出されたか否かを判定する。注目領域が検出された場合は、ステップＳ５へ移行する。一方、注目領域が検出されない場合は、ステップＳ９へ移行する。

ステップＳ５では、動作認識部４６は、フレーム画像３８ａから被観察部位に対する内視鏡操作者の動作を認識する。動作認識部４６は、フレーム画像３８ａに処置具が写っていると認識した場合は、内視鏡操作者の動作を「処置具使用」と認識する。動作認識部４６は、フレーム画像３８ａに水が写っていると認識した場合は、内視鏡操作者の動作を「洗浄」と認識する。動作認識部４６は、フレーム画像３８ａが拡大撮影されていると認識した場合は、内視鏡操作者の動作を「拡大観察」と認識する。動作認識部４６は、フレーム画像３８ａに色素が写っていると認識した場合は、内視鏡操作者の動作を「色素観察」と認識する。

また、動作認識部４６は、複数のフレーム画像３８ａから挿入部２０（図１参照）の移動方向を判断し、挿入方向であると認識した場合は内視鏡操作者の動作を「挿入」と認識し、抜去方向であると認識した場合は内視鏡操作者の動作を「抜去」と認識してもよい。また、動作認識部４６は、挿入部２０が被検体内の折り返し地点に到達するまでを「挿入」、折り返し地点に到達してからを「抜去」と認識してもよい。

さらに、動作認識部４６は、フレーム画像３８ａに目盛等を有するメジャー鉗子が写っていると認識した場合は、内視鏡操作者の動作を「測長」と認識する。また、動作認識部４６は、フレーム画像３８ａに測長用のマーカが写っていると認識した場合は、内視鏡操作者の動作を「測長」と認識する。この場合の測長は、内視鏡先端からレーザ等のポインティングデバイスによりマーカとなる光を射出し、そのマーカの画像中の位置を計測することにより行われる。したがって、フレーム画像３８ａに測長用のマーカを認識することで、内視鏡操作者の動作を「測長」と認識することができる。

ステップＳ６では、制御部４４は、ステップＳ５において特定の動作が認識されたか否かを判定する。ここでは、特定の動作は、「処置具使用」、「洗浄」、「拡大観察」、及び「色素観察」のうちの少なくとも１つの動作である。特定の動作が認識されない場合（非認識の場合）は、通常の観察状態であると判断してステップＳ７へ移行する。一方、特定の動作が認識された場合は、ステップＳ８へ移行する。

ステップＳ７（表示制御工程の一例）では、報知情報表示制御部４５Ｂは、注目領域情報を動画３８内の位置に重畳して第１強調レベルで表示する（第１強調表示）。

ステップＳ８（表示制御工程の一例）では、報知情報表示制御部４５Ｂは、注目領域情報を第１強調レベルよりも相対的に小さい第２強調レベルで表示する（第２強調表示）。

ステップＳ９では、内視鏡システム１による検査が終了したか否かを判定する。検査は、内視鏡操作者が操作部１５を操作することで終了する。検査が終了した場合は、本フローチャートの処理を終了する。検査が終了していない場合は、ステップＳ１へ戻り、同様の処理を繰り返す。

図４は、注目領域が検出された際の表示器１６の表示の一例を示す図である。図４に示すＦ４Ａは、第１強調表示の一例を示す図である。Ｆ４Ａのフレーム画像３８ａには、注目領域Ｒが写っている。Ｆ４Ａでは、注目領域情報として、検出された注目領域Ｒの位置を示す枠形状の図形６０が、フレーム画像３８ａに重畳して表示される。

また、図４に示すＦ４Ｂは、第２強調表示の一例を示す図である。Ｆ４Ｂのフレーム画像３８ａには、注目領域Ｒ及び処置具Ｔが写っている。Ｆ４Ｂでは、フレーム画像３８ａに写っている処置具Ｔにより、内視鏡操作者の動作が「処置具使用」であると認識される。Ｆ４Ｂでは、注目領域情報として、検出された注目領域Ｒの位置を示す枠形状の図形６２が、フレーム画像３８ａに重畳して表示される。

図形６０及び図形６２は、形状、大きさ、及び線の太さが同じである。また、図形６２の透過度は、図形６０の透過度よりも相対的に高い。これにより、図形６０は第１強調レベルで注目領域情報を強調し、図形６２は第１強調レベルよりも相対的に小さい第２強調レベルで注目領域情報を強調する。

Ｆ４Ｂに示した例では、報知情報表示制御部４５Ｂは、第１強調レベルの図形よりも第２強調レベルの図形の透過度を高くすることで強調レベルを小さくしたが、図形の線の太さを細くすることで強調レベルを小さくしてもよい。

図４に示すＦ４Ｃは、第２強調表示の一例を示す図である。Ｆ４Ｃのフレーム画像３８ａは、Ｆ４Ｂのフレーム画像３８ａと同様である。Ｆ４Ｃでは、注目領域情報として、検出された注目領域Ｒの位置を示す枠形状の図形６４が、フレーム画像３８ａに重畳して表示される。図形６０及び図形６４は、形状、大きさ、及び透過度が同じである。また、図形６４の線の太さは、図形６０の線の太さよりも相対的に細い。これにより、図形６０は第１強調レベルで注目領域情報を強調し、図形６４は第１強調レベルよりも相対的に小さい第２強調レベルで注目領域情報を強調する。

報知情報表示制御部４５Ｂは、第１強調レベルの図形と第２強調レベルの図形とを異ならせることで強調レベルを変更してもよい。

図４に示すＦ４Ｄは、第２強調表示の一例を示す図である。Ｆ４Ｄのフレーム画像３８ａは、Ｆ４Ｂのフレーム画像３８ａと同様である。Ｆ４Ｄでは、注目領域情報として、検出された注目領域Ｒを囲う矩形の四隅の位置に配置された４つの三角形状の図形６６が、フレーム画像３８ａに重畳して表示される。図形６０及び図形６６は、形状が異なる。４つの図形６６の総面積は、図形６０の面積よりも相対的に小さい。これにより、図形６０は第１強調レベルで注目領域情報を強調し、図形６６は第１強調レベルよりも相対的に小さい第２強調レベルで注目領域情報を強調する。

報知情報表示制御部４５Ｂは、図形の形状、大きさ、及び透過度の少なくとも２つを変更することで強調レベルを変更してもよい。

第１強調表示及び第２強調表示の強調方法は、予め強調方法記憶部５０に記憶されている。報知情報表示制御部４５Ｂは、強調方法記憶部５０から第１強調表示及び第２強調表示の強調方法を読み出して、読み出した強調方法に応じて注目領域情報を表示器１６に表示させる。また、図形６０、図形６２、図形６４、及び図形６６は、図形記憶部４８に記憶されている。

このように、報知情報表示制御部４５Ｂは、動作認識部４６の認識結果に応じて、注目領域情報を第１強調レベルで表示する第１強調表示と、第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替えることで、フレーム画像３８ａに含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知する。即ち、報知情報表示制御部４５Ｂは、内視鏡操作者が通常の観察を行っている場合は、注目領域情報をフレーム画像３８ａ内の位置に第１強調レベルで重畳して表示する。これにより、内視鏡操作者が通常の観察を行っている場合は、注目領域情報がフレーム画像３８ａ内の位置に重畳されることで、内視鏡操作者が注目領域を容易に認識することができる。

また、報知情報表示制御部４５Ｂは、内視鏡操作者が通常の観察ではない特定の動作を行っている場合は、注目領域情報をフレーム画像３８ａ内の位置に第１強調レベルよりも相対的に小さい第２強調レベルで重畳して表示する。これにより、特定の動作においても注目領域情報の表示が動作を阻害することがなく、さらに注目領域の検出を継続するために注目領域を見落とすことを防止することができる。

＜第２の実施形態＞
強調方法記憶部５０に記憶される第１強調表示及び第２強調表示の強調方法は、図４に示した例に限定されない。注目領域情報は、フレーム画像３８ａ内の位置に重畳して表示するのではなく、フレーム画像３８ａとは異なる位置に表示してもよい。

図５は、注目領域が検出された際の表示器１６の表示の一例を示す図である。図５に示すＦ５Ａは、第１強調表示の一例を示す図である。Ｆ５Ａのフレーム画像３８ａには、注目領域Ｒが写っている。Ｆ５Ａでは、注目領域情報として、検出された注目領域Ｒの位置を示す枠形状の図形６０が、フレーム画像３８ａに重畳して表示される。

また、図５に示すＦ５Ｂは、第２強調表示の一例を示す図である。Ｆ５Ｂのフレーム画像３８ａには、注目領域Ｒ及び処置具Ｔが写っている。Ｆ５Ｂでは、フレーム画像３８ａに写っている処置具Ｔにより、内視鏡操作者の動作が「処置具使用」であると認識される。Ｆ５Ｂでは、注目領域情報として、検出された注目領域Ｒの位置を示す画像枠形状の図形６８が、フレーム画像３８ａの周囲の第１象限の位置（フレーム画像３８ａとは異なる位置の一例）に表示される。図形６８は、検出された注目領域Ｒの位置に応じて、フレーム画像３８ａの第１象限、第２象限、第３象限、及び第４象限に相当する位置のいずれかの位置の周囲に配置される。

図形６０はフレーム画像３８ａ内の位置に重畳されることで、強調レベルが相対的に高い。また、図形６８はフレーム画像３８ａとは異なる位置に表示されることで、強調レベルが相対的に低い。これにより、図形６０は第１強調レベルで注目領域情報を強調し、図形６８は第１強調レベルよりも相対的に小さい第２強調レベルで注目領域情報を強調する。したがって、フレーム画像３８ａに含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知することができる。

画像枠形状の図形６８を第１強調表示に使用してもよい。図５に示すＦ５Ｃは、第１強調表示の一例を示す図である。Ｆ５Ｃでは、注目領域情報として、検出された注目領域Ｒの位置を示す枠形状の図形６０がフレーム画像３８ａに重畳して表示され、かつ図形６８がフレーム画像３８ａの周囲に表示される。即ち、第１強調表示においてフレーム画像３８ａ内外の両方に注目領域情報を表示する。Ｆ５Ｃに示す第１強調表示とＦ５Ｂに示す第２強調表示とを切り替えることで、フレーム画像３８ａに含まれる注目領域の注目領域情報を内視鏡操作者の動作に応じて適切に報知することができる。

＜第３の実施形態＞
強調方法記憶部５０は、動作認識部４６が認識する特定の動作毎に第２強調表示の強調方法をテーブルとして記憶してもよい。図６は、強調方法記憶部５０が記憶するテーブルの一例を示す図である。

図６に示すように、強調方法記憶部５０は、動作認識部４６が認識する動作毎に、「検出自動制御の有無」、「動作認識時の強調表示方法」、及び「動作認識時の強調レベル」をテーブルとして記憶している。即ち、ここでの強調方法とは、「検出自動制御の有無」、「動作認識時の強調表示方法」、及び「動作認識時の強調レベル」を総合した情報のことを指す。

「検出自動制御の有無」は、第１強調表示と第２強調表示の切り替えの有無を意味している。「オン」の場合は、対応する動作が認識された際に、「動作認識時強調表示方法」等の情報を元に表示の切り替えを行う。「オフ」の場合は、対応する動作が認識された場合であっても、第１強調表示の強調方法を継続する。

「動作認識時強調表示方法」は、第２強調表示において表示する図形を意味しており、「検出自動制御」が「オン」の場合に設定される。「枠重畳（透過）」は、図４のＦ４Ｂのように、第１強調表示から図形の透過度を変更する方法である。「枠重畳（線幅）」は、図４のＦ４Ｃのように、第１強調表示から線の太さを変更する方法である。「四隅図形重畳」は、図４のＦ４Ｄのように、第１強調表示から図形の形状を変更する方法であり、図形の形状を四隅の位置に配置された図形に変更する方法である。「画面外表示のみ」は、図５のＦ５Ｂのように、第１強調表示から図形をフレーム画像３８ａとは異なる位置のみの配置に変更する方法である。

「動作認識時の強調レベル」は、第２強調レベルを意味しており、「動作認識時強調表示方法」が特定の表示方法の場合に設定される。「動作認識時の強調レベル」は、０〜１０の値に数値化されている。最小値である「０」の場合は、注目領域情報を全く表示しない場合と同様である。最大値である「１０」の場合は、「検出自動制御」がオフの場合と同様である。即ち、第１強調レベルの値は「１０」である。

ここでは「動作認識時の強調レベル」を１〜１０の段階の例を示したが、強調レベルを示せる値であればよい。

報知情報表示制御部４５Ｂは、動作認識部４６の認識結果に応じて、強調方法記憶部５０のテーブルから第２強調表示の強調方法を読み出し、読み出した強調方法で注目領域情報を表示する。例えば、動作認識部４６が「処置具使用」を認識した場合は、検出自動制御が「オン」であるので、報知情報表示制御部４５Ｂは、第２強調レベルが「５」の「枠重畳（透過）」の第２強調表示に切り替える。強調レベルが「０」の場合は透過度１００％、「１０」の場合は透過度０％であるとすると、「５」の場合は５０％の透過度となる。

動作認識部４６が「洗浄」を認識した場合は、検出自動制御が「オン」であるので、報知情報表示制御部４５Ｂは、第２強調レベルが「３」の「枠重畳（線幅）」の第２強調表示に切り替える。強調レベルが「０」の場合は線幅０ピクセル、強調レベルが「１０」の場合は線幅１０ピクセルであるとすると、「３」の場合は３ピクセルの線幅となる。

動作認識部４６が「拡大観察」を認識した場合は、検出自動制御が「オン」であるので、報知情報表示制御部４５Ｂは、「四隅図形重畳」の第２強調表示に切り替える。動作認識部４６が「色素観察」を認識した場合は、検出自動制御が「オン」であるので、報知情報表示制御部４５Ｂは、「画面外表示のみ」の第２強調表示に切り替える。「拡大観察」及び「色素観察」は、強調レベルが設定できない例である。

なお、動作認識部４６が「挿入」を認識した場合は、検出自動制御が「オフ」であるので、報知情報表示制御部４５Ｂは、第２強調表示には切り替えずに第１強調表示を維持する。動作認識部４６は、検出自動制御が「オフ」の動作の認識を停止してもよい。

＜第４の実施形態＞
第２強調表示への切り替えについて、動作認識部４６の認識結果に優先順位を付与してもよい。図７は、強調方法記憶部５０が記憶するテーブルの一例を示す図である。図７に示すテーブルは、図６に示すテーブルに加えて、各動作に優先順位が付与されている。ここでは、「処置具使用」、「洗浄」、「拡大観察」、「色素観察」、「挿入」の順に高い優先順位が付与されている。

本実施形態では、報知情報表示制御部４５Ｂは、動作認識部４６が複数の動作を同時に認識した場合に、相対的に高い優先順位が付与された動作の強調方法で注目領域情報を表示する。例えば、動作認識部４６が「処置具使用」及び「色素観察」を認識した場合、報知情報表示制御部４５Ｂは、優先順位が相対的に高い「処置具使用」の強調方法を採用する。即ち、報知情報表示制御部４５Ｂは、第２強調レベルが「５」の「枠重畳（透過）」の第２強調表示に切り替える。

このように、優先順位を付与することで、複数の動作が認識された際に適切な強調表示を行うことができる。

また、設定された強調方法に従って優先順位を自動的に設定してもよい。自動的に設定する基準としては、例えば、動作認識時強調レベルが相対的に高い動作に高い優先順位を付与する。

図８は、強調方法記憶部５０が記憶するテーブルの一例を示す図である。図８に示すように、この例では、動作が「処置具使用」の場合は、検出自動制御は「オン」であり、動作認識時強調表示方法は「枠重畳（透過）」であり、動作認識時強調レベルは「３」である。また、動作が「洗浄」の場合は、検出自動制御は「オフ」である。さらに、動作が「色素観察」の場合は、検出自動制御は「オン」であり、動作認識時強調表示方法は「枠重畳（透過）」であり、動作認識時強調レベルは「０」である。

したがって、動作認識部４６が「色素観察」を認識した場合は、検出自動制御が「オン」であるので、報知情報表示制御部４５Ｂは、第２強調レベルが「０」の「枠重畳（透過）」の第２強調表示に切り替える（即ち、枠は表示されない）。その後、動作認識部４６が「処置具使用」及び「色素観察」を認識した場合は、報知情報表示制御部４５Ｂは、相対的に高い動作認識時強調レベルが付与されている「処置具使用」を優先し、第２強調レベルが「３」の「枠重畳（透過）」の第２強調表示に切り替える。

また、動作認識部４６が「色素観察」を認識して第２強調表示に切り替えた後に、動作認識部４６が「洗浄」及び「色素観察」を認識した場合は、報知情報表示制御部４５Ｂは、「色素観察」よりも検出自動制御が「オフ」である「洗浄」の方が相対的に高い動作認識時強調レベルであると判断し、第１強調表示に切り替える。

このように、優先順位を自動的に設定した場合も、複数の動作が認識された際に適切な強調表示を行うことができる。

＜第５の実施形態＞
強調方法記憶部５０が記憶するテーブルの内容は、内視鏡操作者等が好みに応じて変更可能であることが好ましい。ここでは、現在のテーブルの内容を表示器１６に表示させ、内視鏡操作者が操作部１５（入力部の一例）を用いて変更をする例を説明する。なお、以下において、内視鏡操作者が操作部１５を用いて画面内のカーソルＣ（図９参照）を所望の位置に配置して選択動作を行う操作を、単に「操作部１５の操作」と表記する場合がある。

図９は、内視鏡操作者等がテーブルの内容を変更するためのユーザインターフェースの一例であり、表示器１６に表示されるテーブル変更画面１００を示す図である。制御部４４は強調方法記憶部５０からテーブルを読み出し、表示制御部４５は読み出されたテーブルに基づいて表示器１６にテーブル変更画面１００を表示させる。

図９に示すように、テーブル変更画面１００には、動作毎に、「検出自動制御の有無」、「動作認識時強調表示方法」、及び「動作認識時の強調レベル」の現在の設定状態が表示される。現在の設定状態の右側にはそれぞれドロップダウンボタン１０２が配置されている。

テーブル変更画面１００において、内視鏡操作者が操作部１５を操作して所望のドロップダウンボタン１０２の位置にカーソルＣを配置して選択動作を行うと、プルダウンメニュー１０４が表示される。図９に示す例では、「処置具使用」の動作の「動作認識時強調レベル」の現在の設定状態「５」の右側のドロップダウンボタン１０２が選択され、「動作認識時強調レベル」のプルダウンメニュー１０４が表示されている。ここでのプルダウンメニュー１０４には、「動作認識時強調レベル」として設定可能な「０」から「１０」までの値が選択可能に表示されている。

この状態から、内視鏡操作者が操作部１５の操作により所望の値を選択すると、「動作認識時強調レベル」は選択された値に変更される。

また、テーブル変更画面１００では、内視鏡操作者が編集中の項目について、動作認識時の表示がどのように変化するかを例示する。テーブル変更画面１００では、第１強調表示プレビュー１０６及び第２強調表示プレビュー１１０が表示される。

第１強調表示プレビュー１０６には、第１強調表示における注目領域情報である枠形状の図形１０８が表示される。

また、図９に示す例では、カーソルＣによって「処置具使用」の動作の「動作認識時強調レベル」のドロップダウンボタン１０２を操作しているため、第２強調表示プレビュー１１０として「処置具使用」の動作における第２強調表示のプレビューが表示される。第２強調表示プレビュー１１０には、「処置具使用」の動作の認識時の第２強調表示における注目領域情報である枠形状の図形１１２が表示される。ここでは、現在の設定状態である「動作認識時強調表示方法」が「枠重畳（透過）」、かつ「動作認識時強調レベル」が「５」の図形１１２が表示される。

内視鏡操作者は、第１強調表示プレビュー１０６及び第２強調表示プレビュー１１０を視認することで、強調表示の変化を確認することができる。

最後に、内視鏡操作者が操作部１５により変更終了の操作を行うと、制御部４４は、変更されたテーブルの設定状態を強調方法記憶部５０に記憶させ、設定変更の処理を終了する。

内視鏡操作者等がテーブルの内容を変更するためのユーザインターフェースは、図９に示したテーブル変更画面１００に限定されない。例えば、動作毎の階層構造の画面としてもよい。

図１０及び図１１は、内視鏡操作者等がテーブルの内容を変更するためのユーザインターフェースの他の例を示す図であり、それぞれ表示器１６に表示されるテーブル変更第１画面１２０及びテーブル変更第２画面１３０を示す図である。制御部４４は強調方法記憶部５０からテーブルを読み出し、表示制御部４５は読み出されたテーブルに基づいて表示器１６にテーブル変更第１画面１２０及びテーブル変更第２画面１３０のいずれか一方を表示させる。表示制御部４５は、最初に表示器１６にテーブル変更第１画面１２０を表示させる。

テーブル変更第１画面１２０は、各動作の検出自動制御の有無を設定するための画面である。図１０に示すように、テーブル変更第１画面１２０には、「処置具使用」、「洗浄」、「拡大観察」、「色素観察」、「挿入」の各動作について、それぞれ「検出自動制御」の有無を設定するためのオンオフボタン１２２が配置されている。内視鏡操作者は、操作部１５の操作により、各動作のオンオフボタン１２２をそれぞれオン状態又はオフ状態に設定することができる。オンオフボタン１２２をオン状態に設定すると「検出自動制御」がオンになり、オンオフボタン１２２をオフ状態に設定すると「検出自動制御」がオフになる。

オンオフボタン１２２がオン状態にされた動作については、オンオフボタン１２２の右側に移行ボタン１２４が現れる。図１０に示す例では、「処置具使用」、「洗浄」、「拡大観察」、「色素観察」がオン状態にされているため、これらのオンオフボタン１２２の右側にそれぞれ移行ボタン１２４が表示されている。また、「挿入」はオフ状態に設定されているため、移行ボタン１２４は表示されていない。

内視鏡操作者が、操作部１５の操作によりいずれか動作の移行ボタン１２４を選択すると、表示制御部４５は、読み出されたテーブルに基づいて表示器１６にテーブル変更第２画面１３０を表示させる。図１１は、「処置具使用」の動作に対応するテーブル変更第２画面１３０を示している。

テーブル変更第２画面１３０は、選択された移行ボタン１２４に対応する動作の「動作認識時強調表示方法」及び「動作認識時強調レベル」を設定するための画面である。テーブル変更第２画面１３０には、「動作認識時強調表示方法」及び「動作認識時の強調レベル」の現在の設定状態が表示される。ここでは、「動作認識時強調表示方法」は「枠重畳（透過）」、「動作認識時強調レベル」は「５」が表示されている。

「動作認識時強調表示方法」の現在の設定状態の右側には、ドロップダウンボタン１３２が配置されている。内視鏡操作者が操作部１５の操作によりドロップダウンボタン１３２を選択すると、不図示のプルダウンメニューが表示される。内視鏡操作者が、操作部１５の操作によりプルダウンメニューの中から所望の方法を選択すると、「動作認識時強調表示方法」は選択された方法に変更される。

また、「動作認識時強調レベル」の現在の設定状態の右側には、スライドバー１３４及びスライドボタン１３６が配置されている。スライドバー１３４は、左右方向に延在するバー形状の図形である。スライドバー１３４は、最左端の強調レベル「１０」から最右端の強調レベル「０」まで、スライドバー１３４内の各位置が強調レベルに相当する。スライドボタン１３６は、スライドバー１３４内を移動可能に配置された図形である。スライドバー１３４内におけるスライドボタン１３６の位置が、設定された強調レベルを表す。内視鏡操作者が操作部１５の操作によりスライドバー１３４内のスライドボタン１３６の位置を変更すると、「動作認識時強調レベル」は変更されたスライドボタン１３６の位置に対応する強調レベルに変更される。

第３の実施形態の「拡大観察」及び「色素観察」のように、「動作認識時強調レベル」が設定できない「動作認識時強調表示方法」が選択された場合は、表示制御部４５は、スライドバー１３４及びスライドボタン１３６を非アクティブに表示する、又はスライドバー１３４及びスライドボタン１３６を表示しない。

また、テーブル変更第２画面１３０では、テーブル変更画面１００と同様に、第１強調表示プレビュー１０６、及び第２強調表示プレビュー１１０が表示される。第２強調表示プレビュー１１０は、テーブル変更第２画面１３０において設定されている「動作認識時強調表示方法」及び「動作認識時の強調レベル」の第２強調表示のプレビューが表示される。

表示器１６にテーブル変更第２画面１３０が表示された状態において、内視鏡操作者は操作部１５により表示器１６にテーブル変更第１画面１２０が表示された状態に戻すことができる。

テーブル変更第１画面１２０が表示器１６に表示された状態で、内視鏡操作者が操作部１５の操作により変更終了の操作を行うと、制御部４４は、変更されたテーブルの設定状態を強調方法記憶部５０に記憶させ、設定変更の処理を終了する。

以上のように、強調方法記憶部５０が記憶するテーブルの内容を変更可能とすることで、内視鏡操作者は好みに応じた強調表示を設定することができる。

ここでは、内視鏡操作者がカーソルＣを用いて設定する例を説明したが、内視鏡操作者がキーボード等から文字等を入力するように構成してもよい。また、テーブルの変更は、内視鏡画像処理装置１４において行われることに限定されず、その他のパーソナルコンピュータ等において行われてもよい。

＜その他＞
上記の内視鏡画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。

ここまで説明した実施形態において、例えば、内視鏡画像処理装置１４の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

１…内視鏡システム
１０…内視鏡スコープ
１１…光源装置
１２…内視鏡プロセッサ装置
１３…表示装置
１４…内視鏡画像処理装置
１５…操作部
１６…表示器
２０…挿入部
２１…手元操作部
２２…ユニバーサルコード
２５…軟性部
２６…湾曲部
２７…先端部
２８…撮像部
２９…湾曲操作ノブ
３０…送気送水ボタン
３１…吸引ボタン
３２…静止画撮影指示部
３３…処置具導入口
３５…ライトガイド
３６…信号ケーブル
３７ａ…コネクタ
３７ｂ…コネクタ
３８…動画
３８ａ…フレーム画像
３９…静止画
４０…時系列画像取得部
４１…注目領域検出部
４２…注目領域情報取得部
４４…制御部
４５…表示制御部
４５Ａ…画像表示制御部
４５Ｂ…報知情報表示制御部
４６…動作認識部
４７…記憶部
４８…図形記憶部
５０…強調方法記憶部
５１…プログラム（内視鏡画像処理プログラム）
６０…図形
６２…図形
６４…図形
６６…図形
６８…図形
１００…テーブル変更画面
１０２…ドロップダウンボタン
１０４…プルダウンメニュー
１０６…第１強調表示プレビュー
１０８…図形
１１０…第２強調表示プレビュー
１１２…図形
１２０…テーブル変更第１画面
１２２…オンオフボタン
１２４…移行ボタン
１３０…テーブル変更第２画面
１３２…ドロップダウンボタン
１３４…スライドバー
１３６…スライドボタン

Claims (16)

1. 内視鏡操作者によって被観察部位が順次撮影された複数の内視鏡画像であって、表示部に順次表示される複数の内視鏡画像に含まれる注目領域の注目領域情報を前記表示部に表示する表示制御部と、
   前記複数の内視鏡画像のうちの少なくとも一部の内視鏡画像から前記被観察部位に対する前記内視鏡操作者の動作を認識する動作認識部と、
   を備え、
   前記表示制御部は、前記動作認識部の認識結果に応じて、前記注目領域情報を前記内視鏡画像内の位置に第１強調レベルで表示する第１強調表示と、前記注目領域情報を前記第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替える内視鏡画像処理装置。
2. 前記複数の内視鏡画像を取得する画像取得部と、
   前記取得した内視鏡画像から注目領域を検出する注目領域検出部と、
   前記検出した注目領域の注目領域情報を取得する注目領域情報取得部と、
   を備える請求項１に記載の内視鏡画像処理装置。
3. 前記表示制御部は、前記取得した複数の内視鏡画像を前記表示部に順次表示する請求項２に記載の内視鏡画像処理装置。
4. 前記動作認識部は、特定の動作の有無を認識し、
   前記表示制御部は、前記動作認識部が前記特定の動作を非認識の場合は前記第１強調表示を行い、前記特定の動作を認識した場合は前記第２強調表示を行う請求項１から３のいずれか１項に記載の内視鏡画像処理装置。
5. 前記特定の動作は処置具使用、洗浄、拡大観察、及び色素観察のうちの少なくとも１つの動作である請求項４に記載の内視鏡画像処理装置。
6. 前記表示制御部は、前記注目領域情報に基づく図形を表示する請求項１から５のいずれか１項に記載の内視鏡画像処理装置。
7. 前記第１強調レベル及び前記第２強調レベルは、前記図形の色、形状、及び透過度の少なくとも１つが異なる請求項６に記載の内視鏡画像処理装置。
8. 前記第１強調表示は、前記注目領域情報を前記内視鏡画像とは異なる位置に表示する請求項１から７のいずれか１項に記載の内視鏡画像処理装置。
9. 前記第２強調表示は、前記注目領域情報を前記内視鏡画像内の位置に表示する請求項１から８のいずれか１項に記載の内視鏡画像処理装置。
10. 前記第２強調表示は、前記注目領域情報を前記内視鏡画像とは異なる位置に表示する請求項１から９のいずれか１項に記載の内視鏡画像処理装置。
11. 前記注目領域情報の強調方法を記憶する強調方法記憶部を有し、
    前記表示制御部は、前記強調方法記憶部に記憶された前記強調方法によって前記注目領域情報を表示する請求項１から１０のいずれか１項に記載の内視鏡画像処理装置。
12. 前記強調方法記憶部は、前記動作認識部が認識する動作毎に前記強調方法を記憶する請求項１１に記載の内視鏡画像処理装置。
13. 前記強調方法を設定して前記強調方法記憶部に記憶させる入力部を備える請求項１１又は１２に記載の内視鏡画像処理装置。
14. 前記表示部と、
    被検体内に挿入される内視鏡スコープと、
    前記被検体内の被観察部位の複数の内視鏡画像を順次撮影するカメラと、
    請求項１から１３のいずれか１項に記載の内視鏡画像処理装置と、
    を備える内視鏡システム。
15. 内視鏡操作者によって被観察部位が順次撮影された複数の内視鏡画像であって、表示部に順次表示される複数の内視鏡画像に含まれる注目領域の注目領域情報を前記表示部に表示する表示制御工程と、
    前記複数の内視鏡画像のうちの少なくとも一部の内視鏡画像から前記被観察部位に対する前記内視鏡操作者の動作を認識する動作認識工程と、
    を備え、
    前記表示制御工程は、前記動作認識工程の認識結果に応じて、前記注目領域情報を前記内視鏡画像内の位置に第１強調レベルで表示する第１強調表示と、前記注目領域情報を前記第１強調レベルよりも相対的に小さい第２強調レベルで表示する第２強調表示とを切り替える内視鏡画像処理方法。
16. 請求項１５に記載の内視鏡画像処理方法をコンピュータに実行させるためのプログラム。

Images