JP2023178526A - 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム - Google Patents

Abstract

【課題】複数種類の内視鏡画像に基づいて画像認識処理を並列して行う場合に、効率的に内視鏡画像の録画を行う画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムを提供する。【解決手段】画像用プロセッサを備える画像処理装置であって、画像用プロセッサは、内視鏡画像に基づく複数種類の認識対象画像を取得し、複数種類の認識対象画像に対する画像認識処理を認識対象画像の種類毎に並列して行い、取得した全種類の認識対象画像の認識処理結果に基づき、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像の動画を記録する際の記録の動作を制御する。【選択図】図１０

Description

本発明は、画像認識処理を行う画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムに関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた検査又は診断等が広く行われている。内視鏡システムを用いて診断又は検査等を行う場合、医療事故に備えるための証拠、又は学会発表等の用途に、内視鏡を用いて観察対象を撮影することにより得られる画像（以下、内視鏡画像という）を動画として記録する録画が行われる。

内視鏡画像の録画に際し、録画の開始又は停止等の制御は、通常、記録装置等の手動操作により行われる。例えば、検査開始前に録画を開始する操作を手動で行い、検査終了後に録画を停止する操作を手動で行う。また、内視鏡検査中に、ユーザが動画を残したいシーンにおいて、手動で録画の開始と停止とを手動で行う場合もある。

内視鏡画像の録画の制御については、ユーザの操作性向上のために、内視鏡により被検体の体腔内を撮影して得られる画像信号の画像処理の種類に応じて、動画の記録動作を制御する内視鏡用画像処理装置が知られている（特許文献１）。

また、内視鏡画像の動画の記録開始及び記録停止を自動的に制御するために、内視鏡により被検体の体腔内を撮影して得られる画像信号を記録する際に、画像信号が赤色をしきい値以上含むか否かの判定により、記録の開始と停止とを制御する内視鏡画像記録装置が知られている（特許文献２）。

また、内視鏡観察において病変部の見落としを低減させるために、病変候補領域の検出が開始されてから途絶するまでの期間において、観察画像を複数の記録画像として順次記録し、表示する画像処理装置が知られている（特許文献３）。

特開２００６－２７１８７１号公報 特開２０１０－５１３９９号公報 国際公開第２０１７／２１６９２２号

内視鏡画像の録画における開始又は停止等の動作の制御において、検査開始前に録画を開始する操作を行い、検査終了後に録画を停止する操作を行う手動操作の場合は、操作し忘れのおそれがある。また、このように録画された動画は、内視鏡検査の全体を撮影したものであるため、用途によっては不要な部分が多くなり、所望のシーンを再生することが難しくなるおそれがある。そして、ストレージ容量を圧迫し、ストレージに記録する検査数を少なくすることとなる。したがって、録画に関してユーザの使用性を阻害するおそれがある。

また、画像処理の種類、画像が含む赤色、又は、画像の病変候補領域の検出等により録画の動作を制御する方法等の従来の方法は、録画のそれぞれの目的に応じて録画の動作の契機が決定されている。したがって、他の目的の録画のためには適さない場合がある。

本発明は、複数種類の内視鏡画像に基づいて画像認識処理を並列して行う場合に、効率的に内視鏡画像の録画を行う画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムを提供することを目的とする。

本発明は、画像処理装置であって、内視鏡を用いて観察対象を撮影することにより得られる画像に基づいて画像認識処理を行う。画像処理装置は、画像用プロセッサを備える。画像用プロセッサは、画像に基づく複数種類の認識対象画像を取得し、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像を継続してディスプレイに表示する制御を行い、複数種類の認識対象画像に対する画像認識処理を、認識対象画像の種類毎に並列して行い、画像認識処理により得られる認識処理結果を取得し、取得した全種類の認識対象画像の認識処理結果に基づき、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像の動画を記録する際の記録の動作を制御する。

認識処理結果は、認識対象画像が予め設定した条件を満たすか又は満たさないかの情報を含み、画像用プロセッサは、全種類の認識処理結果のうち１つ以上が条件を満たすとの情報を含む場合、記録を開始又は継続することが好ましい。

画像用プロセッサは、全種類の認識処理結果のすべてが条件を満たさないとの情報を含み、かつ、記録が継続している場合、記録を停止することが好ましい。

画像用プロセッサは、動画を記録する際に、記録の開始もしくは継続又は停止の対応する条件に関する情報を動画に付すことが好ましい。

画像用プロセッサは、条件を満たす観察対象と条件を満たす観察対象を撮影することにより得た認識対象画像とを対応付けた対応情報を予め取得し、対応情報に基づき、新たに取得した認識対象画像に対する画像認識処理を行うことが好ましい。

画像用プロセッサは、対応情報を認識対象画像の種類毎に取得し、新たに取得した認識対象画像に対する画像認識処理を、対応する種類の対応情報に基づき行うことが好ましい。

条件は、画像用プロセッサにより、特定の部位又は生体以外の物体が検出されたこと、又は、特定状態の領域を含むと判定されたことであることが好ましい。

複数種類の認識対象画像は、少なくとも互いに種類が異なる第１認識対象画像と第２認識対象画像とを含み、画像用プロセッサは、第１認識対象画像に対しては、第１画像認識処理を行い、第２認識対象画像に対しては、第１画像認識処理とは異なる第２画像認識処理を行うことが好ましい。

第１画像認識処理は、第１認識対象画像における特定の部位又は生体以外の物体の検出に関して行われることが好ましい。

第２画像認識処理は、第２認識対象画像における特定状態の領域を含むとの判定に関して行われることが好ましい。

画像に対し強調処理を行うことにより認識対象画像を生成し、画像用プロセッサは、強調処理の有無又は種類により認識対象画像の種類を区別し、区別した認識対象画像をそれぞれ１種の認識対象画像として取得することが好ましい。

強調処理の種類は、色彩拡張処理及び／又は構造強調処理であり、画像用プロセッサは、互いに異なる種類の強調処理を行うことにより生成した認識対象画像を、それぞれ１種の認識対象画像として取得することが好ましい。

また、本発明の内視鏡システムは、画像処理装置と、観察対象に照射する照明光を発する光源部とを備える。

画像用プロセッサは、光源部が発する互いに分光スペクトルが異なる複数の照明光のそれぞれにより照明した観察対象を撮影することにより得られる画像を、それぞれ１種の認識対象画像として取得することが好ましい。

画像用プロセッサは、光源部が発する白色の照明光により照明した観察対象を撮影することにより得られる画像を、認識対象画像の１種として取得することが好ましい。

画像用プロセッサは、光源部が発する予め設定した波長帯域の狭帯域光を含む照明光により照明した観察対象を撮影することにより得られる画像を、認識対象画像の１種として取得することが好ましい。

光源部は、互いに分光スペクトルが異なる複数の照明光のそれぞれを、予め設定した順序により繰り返し発光することが好ましい。

光源部は、互いに分光スペクトルが異なる第１照明光と第２照明光とを発し、第１照明期間中に第１照明光を第１発光パターンにより発し、第２照明期間中に第２照明光を第２発光パターンにより発し、かつ、第１照明光と第２照明光とを切り替える光源用プロセッサと、第１照明光によって照明された観察対象を撮影して得られる第１画像信号と、第２照明光によって照明された観察対象を撮影して得られる第２画像信号とを出力するイメージセンサとを備え、画像用プロセッサは、第１画像信号に基づく第１認識対象画像に対して第１画像認識処理を行い、第２画像信号に基づく第２認識対象画像に対して第２画像認識処理を行い、第１画像認識処理による第１画像認識結果と、第２画像認識処理による第２画像認識結果とに基づき録画の動作を制御することが好ましい。

また、本発明は、画像処理装置の作動方法であって、内視鏡を用いて観察対象を撮影することにより得られる画像に基づいて画像認識処理を行い、画像に基づく複数種類の認識対象画像を取得する画像取得ステップと、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像を継続してディスプレイに表示する制御を行う表示制御ステップと、複数種類の認識対象画像に対する画像認識処理を、認識対象画像の種類毎に並列して行う画像認識処理ステップと、画像認識処理により得られる認識処理結果を、認識対象画像の種類毎に取得する認識処理結果取得ステップと、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像の動画を記録する際に、取得した全種類の認識対象画像の認識処理結果に基づき、記録の動作を制御する記録制御ステップとを備える。

また、本発明は、画像処理装置用プログラムであって、内視鏡を用いて観察対象を撮影することにより得られる画像に基づいて画像認識処理を行う画像処理装置にインストールされ、コンピュータに、画像に基づく複数種類の認識対象画像を取得する画像取得機能と、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像を継続してディスプレイに表示する制御を行う表示制御機能と、複数種類の認識対象画像に対する画像認識処理を、認識対象画像の種類毎に並列して行う画像認識処理機能と、画像認識処理により得られる認識処理結果を、認識対象画像の種類毎に取得する認識処理結果取得機能と、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像の動画を記録する際に、取得した全種類の認識対象画像の認識処理結果に基づき、記録の動作を制御する記録制御機能とを実現させるための画像処理装置用プログラムである。

本発明によれば、複数種類の内視鏡画像に基づいて画像認識処理を並列して行う場合に、効率的に内視鏡画像の録画を行うことができる。

内視鏡システムの構成を説明する説明図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの分光スペクトルを示すグラフである。 第１Ａ発光パターン及び第２Ａ発光パターンを説明する説明図である。 第１Ｂ発光パターンを説明する説明図である。 第２Ｂ発光パターンを説明する説明図である。 第２Ｃ発光パターンを説明する説明図である。 第２Ｄ発光パターンを説明する説明図である。 画像処理部の機能を示すブロック図である。 診断支援画像処理部の機能を示すブロック図である。 認識対象画像取得部の機能を示すブロック図である。 第２照明光用分光スペクトルＳＰ１を示すグラフである。 第２照明光用分光スペクトルＳＰ２を示すグラフである。 第２照明光用分光スペクトルＳＰ３を示すグラフである。 第４認識対象画像生成部の機能を示すブロック図である。 酸素飽和度算出用テーブルを示すグラフである。 第２照明光用スペクトルＳＰ４を示すグラフである。 第５認識対象画像生成部の機能を示すブロック図である。 色差拡張処理を説明する説明図である。 画像認識処理部の機能を示すブロック図である。 対応情報取得部の機能を説明する説明図である。 認識対象画像の取得について説明する説明図である。 認識処理結果について説明する説明図である 認識処理結果と録画制御とについて説明する説明図である。 合判定による認識処理結果と録画制御とについて説明する説明図である。 検出及び合判定による認識処理結果と録画制御とについて説明する説明図である。 検出及び複数の合判定による認識処理結果と録画制御とについて説明する説明図である。 録画ファイルについて説明する説明図である。 診断支援モードの一連の流れを示すフローチャートである。 診断支援装置を示す説明図である。 医療業務支援装置を示す説明図である。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、キーボード１９とを備える。内視鏡１２は、観察対象を撮影する。光源装置１４は、観察対象に照射する照明光を発する。プロセッサ装置１６は、内視鏡システム１０のシステム制御を行う。ディスプレイ１８は、内視鏡画像に基づく観察画像等を表示する表示部である。キーボード１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。

内視鏡システム１０は、観察モードとして、通常観察モード、特殊観察モード、及び診断支援モードの３つのモードを備える。通常観察モードでは、白色光等の通常光を観察対象に照射して撮影することによって、自然な色合いの通常観察画像を観察画像としてディスプレイ１８に表示する。特殊観察モードでは、通常光と波長帯域又は分光スペクトルが異なる特殊光を観察対象に照明して撮影することによって、特定の構造等を強調した特殊画像を観察画像としてディスプレイ１８に表示する。診断支援モードでは、内視鏡画像に基づく複数種類の認識対象画像に対し、認識対象画像の種類毎に画像認識処理を行う。認識対象画像は、内視鏡画像に基づく画像であり、画像認識処理の対象となる画像である。そして、ディスプレイ１８は、複数種類の認識対象画像のうち少なくとも１種類を観察画像として継続して表示する。認識対象画像の種類毎に行った画像認識処理による複数の認識処理結果は、録画の動作の制御に用いる。なお、認識対象画像の種類は、観察対象を撮影する際の照明光の分光スペクトルにより、及び／又は、認識対象画像生成のための画像処理（以下、認識対象画像生成用画像処理という）の方法により区別する。認識対象画像の種類の詳細については後述する。

内視鏡１２は、観察対象を有する被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。その結果、先端部１２ｄが所望の方向に向く。また、操作部１２ｂには、アングルノブ１２ｅの他、処置具挿入口（図示せず）、スコープボタン１番１２ｆ、スコープボタン２番１２ｇ、及びズーム操作部１２ｈが設けられている。処置具挿入口は、生検鉗子、スネア、又は電気メス等の処置具を挿入する入り口である。処置具挿入口に挿入した処置具は、先端部１２ｄから突出する。スコープボタン１番１２ｆは、フリーズボタンであり、静止画を取得する操作に使用する。スコープボタン２番１２ｇは、観察モードを切り替える操作に使用する。スコープボタンには、各種の操作を割り当てることができる。ズーム操作部１２ｈを操作することによって、観察対象を拡大または縮小して撮影できる。

図２に示すように、光源装置１４は、照明光を発する光源を備える光源部２０と、光源部２０の動作を制御する光源用プロセッサ２２とを備える。光源部２０は、観察対象を照明する照明光を発する。照明光には、照明光を発するために使用する励起光等の発光を含む。光源部２０は、例えば、レーザーダイオード、ＬＥＤ(Light Emitting Diode)、キセノンランプ、又はハロゲンランプの光源を含み、少なくとも、白色の照明光（以下、白色光という）、又は白色光を発するために使用する励起光を発する。白色には、内視鏡１２を用いた観察対象の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。

光源部２０は、必要に応じて、励起光の照射を受けて発光する蛍光体、又は照明光、又は励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部２０は、少なくとも狭帯域な光（以下、狭帯域光という）からなる照明光を発することができる。「狭帯域」とは、観察対象の特性及び／またはイメージセンサ４５が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、波長帯域が例えば約±２０ｎｍ以下（好ましくは約±１０ｎｍ以下）である場合、この光は狭帯域である。

また、光源部２０は、互いに分光スペクトルが異なる複数の照明光を発することができる。複数の照明光は、狭帯域光を含んでもよい。また、光源部２０は、例えば、観察対象が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域又は分光スペクトルを有する光を発することができる。

本実施形態では、光源部２０は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの４色のＬＥＤを有する。図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光Ｖを発光する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光Ｂを発光する。Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光Ｇを発光する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光Ｒを発光する。なお、Ｖ－ＬＥＤ２０ａとＢ－ＬＥＤ２０ｂの中心波長は約±２０ｎｍ、好ましくは約±５ｎｍから約±１０ｎｍ程度の幅を有する。なお、紫色光Ｖは、特殊観察モード又は診断支援モードにて用いる表層血管の密集、粘膜内出血、及び粘膜外出血等を強調して表示するために用いられる短波長の光であり、中心波長又はピーク波長に４１０ｎｍを含めることが好ましい。また、紫色光Ｖ及び／又は青色光Ｂは、狭帯域光であることが好ましい。

光源用プロセッサ２２は、光源部２０を構成する各光源の点灯又は消灯もしくは遮蔽のタイミング、及び、光強度又は発光量等を制御する。その結果、光源部２０は、分光スペクトルが異なる複数種類の照明光を、予め設定した期間及び発光量で発することができる。本実施形態においては、光源用プロセッサ２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの点灯や消灯、点灯時の光強度もしくは発光量、又は光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより制御する。光源用プロセッサ２２は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光強度又は単位時間あたりの光量を変えて発光可能である。したがって、光源用プロセッサ２２は、互いに分光スペクトルが異なる複数の照明光を発することができ、例えば、白色の照明光、分光スペクトルが異なる複数種類の照明光、又は、少なくとも狭帯域光からなる照明光等を発する。

光源用プロセッサ２２は、本実施形態では、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、又はＲｃのそれぞれは、０（ゼロ）より大きく、０ではない。

また、光源用プロセッサ２２は、本実施形態では、特殊観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、通常観察モード時に使用する光強度比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。したがって、光源部２０は、光源用プロセッサ２２の制御により、互いに分光スペクトルが異なる複数の特殊光を発することができる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、及びＲｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、及びＲｓよりも大きくすることが好ましい。

なお、本明細書において、光強度比は、Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃを除いて、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

また、光源用プロセッサ２２は、本実施形態では、診断支援モード時に、複数種類の認識対象画像を取得するために、互いに分光スペクトルの異なる複数の照明光を自動的に特定のパターンとなるよう切り替えて発する。そして、互いに分光スペクトルが異なる複数の照明光のそれぞれを、予め設定した順序により繰り返し発する。具体的には、診断支援モード時に、２種類の認識対象画像を取得するために、第１照明光と第２照明光とを自動的に切り替えて発する場合において、第１照明光を第１照明期間において第１発光パターンで発し、第２照明光を第２照明期間において第２発光パターンで発する。第１照明光と第２照明光とは、分光スペクトルが互いに異なる照明光である。例えば、第１照明光は、白色光である。一方、第２照明光は、認識処理に用いることから、第２照明光を観察対象に照明することによって、特定の認識処理に適した画像が得られる照明光であることが好ましい。例えば、表層血管に基づいて認識処理を行う場合には、第２照明光を紫色光Ｖとすることが好ましい。

第１発光パターンは、第１照明光の発光順序であり、第２発光パターンは、第２照明光の発光順序であり、それぞれのパターンを構成する要素は、撮影の単位であるフレームである。フレームとは、イメージセンサ４５における特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間をいう。１フレームにおいて１回の撮影及び画像の取得を行う。第１照明光と第２照明光とは、いずれか一方を発し、同時に発することはない。１つの発光周期は、それぞれ少なくとも１つの第１発光パターンと第２発光パターンとからなり、第１発光パターンと第２発光パターンとを組み合わせて発光周期を構成する。発光周期を繰り返すことにより照明を行う。第１発光パターン又は第２発光パターンのそれぞれを構成するフレーム数、又は照明光の種類等の詳細は、予め設定する。なお、照明光の種類は、照明光の分光スペクトルによって区別する。したがって、異なる分光スペクトルを有する照明光は、異なる種類の照明光である。

具体的には、第１発光パターンは、第１Ａ発光パターン又は第１Ｂ発光パターンであることが好ましい。図４に示すように、第１Ａ発光パターンは、発光周期Ｑ１において、第１照明期間Ｐ１での第１照明光Ｌ１でのフレームＦＬ数が決定されており、同じである。図５に示すように、第１Ｂ発光パターンは、発光周期Ｑ２において、第１照明期間Ｐ１のフレームＦＬ数がそれぞれの第１照明期間Ｐ１において異なる。なお、第１Ａ発光パターン及び第１Ｂ発光パターンにおいて、第１照明光Ｌ１は同一の分光スペクトルであり、白色光である。

第２発光パターンは、第２Ａ発光パターン、第２Ｂ発光パターン、第２Ｃ発光パターン、又は第２Ｄ発光パターンであることが好ましい。図４に示すように、第２Ａ発光パターンは、発光周期Ｑ１において、第２照明期間のフレームＦＬ数が決定されており、同じであり、且つ、第２照明光Ｌ２の分光スペクトルがそれぞれの第２照明期間Ｐ２において第２照明光Ｌ２ａであり、同じである。第２照明光Ｌ２は、分光スペクトルが異なる照明光を含む場合があり、これらを、第２照明光Ｌ２ａと第２照明光Ｌ２ｂと記載して区別し、第２照明光Ｌ２と記載する場合は、これらを総称する。なお、図５に示すように、発光周期Ｑ２においても、第２照明光Ｌ２は第２Ａ発光パターンで発する。

図６に示すように、第２Ｂ発光パターンは、発光周期Ｑ３において、第２照明期間Ｐ２のフレームＦＬ数がそれぞれの第２照明期間Ｐ２において同じであり、且つ、第２照明光Ｌ２の分光スペクトルが、それぞれの第２照明期間Ｐ２において第２照明光Ｌ２ａ又は第２照明光Ｌ２ｂであり、異なる。図７に示すように、第２Ｃ発光パターンは、発光周期Ｑ４において、第２照明期間Ｐ２のフレームＦＬ数がそれぞれの第２照明期間Ｐ２において異なり、且つ、第２照明光Ｌ２の分光スペクトルがそれぞれの第２照明期間Ｐ２において第２照明光Ｌ２ａであり、同じである。図８に示すように、第２Ｄ発光パターンは、発光周期Ｑ５において、第２照明期間Ｐ２のフレームＦＬ数がそれぞれの第２照明期間Ｐ２において異なり、且つ、第２照明光Ｐ２の分光スペクトルがそれぞれの第２照明期間Ｐ２において第２照明光２Ｌａ又は第２照明光２Ｌｂであり、異なる。

以上のとおり、本実施形態では、診断支援モード時は、光源用プロセッサ２２は、これらの第１発光パターンと第２発光パターンを組み合わせて構成した発光周期を繰り返す。図４に示すように、発光周期Ｑ１は、第１Ａ発光パターンと第２Ａ発光パターンとからなる。図５に示すように、発光周期Ｑ２は、第１Ｂ発光パターンと第２Ａ発光パターンとからなる。図６に示すように、発光周期Ｑ３は、第１Ａ発光パターンと第２Ｂ発光パターンとからなる。図７に示すように、発光周期Ｑ４は、第１Ａ発光パターンと第２Ｃ発光パターンとからなる。図８に示すように、発光周期Ｑ５は、第１Ａ発光パターンと第２Ｄ発光パターンとからなる。なお、第１発光パターンにおいて、第１照明光Ｌ１の分光スペクトルは、それぞれの第１照明期間Ｐ１において、異なってもよい。

また、診断支援モード時は、光源用プロセッサ２２は、後に説明する認識処理結果に基づいて、第１発光パターン又は第２発光パターンを変更してもよい。発光パターンの変更には、照明光の種類の変更を含む。具体的には、例えば、認識処理結果に基づいて、第２発光パターンを、第２Ａパターンから第２Ｂ発光パターンに変更する、又は、第２照明光Ｌ２aを用いた第２Ａ発光パターンから、第２照明光Ｌ２ｂを用いた第２Ａ発光パターンに変更する、等の切り替えを行ってもよい。

ここで、第１照明期間Ｐ１は第２照明期間Ｐ２よりも長くすることが好ましく、第１照明期間Ｐ１は２フレーム以上とすることが好ましい。例えば、図４では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａ発光パターンとする発光周期Ｑ１において、第１照明期間Ｐ１を２フレームとし、第２照明期間Ｐ２を１フレームとしている。第１照明光Ｐ１は、ディスプレイ１８に表示する観察画像の生成に用いられることから、第１照明光Ｐ１を観察対象に照明することによって、明るい観察画像が得られることが好ましい。

図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズ等で構成される光路結合部（図示せず）を介して、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード（図示せず）に内蔵されている。ユニバーサルコードは、内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコードである。ライトガイド４１は、光路結合部からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂとが設けられる。照明光学系３０ａは、照明レンズ４２を有しており、ライトガイド４１によって伝搬した照明光が、照明レンズ４２を介して観察対象に向けて出射する。

撮影光学系３０ｂは、対物レンズ４３、ズームレンズ４４、及びイメージセンサ４５を有する。イメージセンサ４５は、対物レンズ４３及びズームレンズ４４を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発光する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。ズームレンズ４４は、ズーム操作部１２ｈの操作をすることで移動し、観察対象像を拡大または縮小する。

イメージセンサ４５は、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有する。本実施形態においては、イメージセンサ４５は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ４５は、赤色カラーフィルタ（Ｒフィルタ）を有するＲ画素と、緑色カラーフィルタ（Ｇフィルタ）を有するＧ画素と、青色カラーフィルタ（Ｂフィルタ）を有するＢ画素とを有する。

なお、イメージセンサ４５としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４５は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、Ｗ画素（ほぼ全波長帯域の光を受光するホワイト画素）等、上記以外の特性を有する画素を１または複数種類有する場合も同様である。また、本実施形態のイメージセンサ４５はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。

内視鏡１２は、イメージセンサ４５を制御する撮影用プロセッサ４６を備える。撮影用プロセッサ４６の制御は、観察モード毎に異なる。通常観察モードでは、撮影用プロセッサ４６は、通常光で照明された観察対象を撮影するように、イメージセンサ４５を制御する。これにより、イメージセンサ４５のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。

特殊観察モードでは、撮影用プロセッサ４６はイメージセンサ４５を制御して、特殊光で照明された観察対象を撮影するように、イメージセンサ４５を制御する。これにより、イメージセンサ４５のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。

診断支援モードでは、撮影用プロセッサ４６はイメージセンサ４５を制御し、第１照明光Ｌ１又は第２照明光Ｌ２で照明された観察対象を撮影するように、イメージセンサ４５を制御する。これにより、第１照明光Ｌ１の照明時には、イメージセンサ４５のＢ画素からＢ１画像信号が出力され、Ｇ画素からＧ１画像信号が出力され、Ｒ画素からＲ１画像信号が出力される。また、第２照明光Ｌ２の照明時には、イメージセンサ４５のＢ画素からＢ２画像信号が出力され、Ｇ画素からＧ２画像信号が出力され、Ｒ画素からＲ２画像信号が出力される。

プロセッサ装置１６には、後述するような中央制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７等が行う処理等に関するプログラムがメモリ（図示せず）に組み込まれている。画像処理装置として機能するプロセッサ装置１６が備える画像用プロセッサにより構成される中央制御部５１によってそのプログラムが動作することで、中央制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７の機能が実現する。

中央制御部５１は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。キーボード１９等を用いて、各種設定の入力等をした場合には、中央制御部５１は、その設定を、光源用プロセッサ２２、撮影用プロセッサ４６、又は画像処理部５６等の内視鏡システム１０の各部に入力する。

画像取得部５２は、イメージセンサ４５から、各色の画素を用いて観察対象を撮影した画像、すなわちＲＡＷ画像を取得する。また、ＲＡＷ画像は、デモザイク処理を実施する前の画像（内視鏡画像）である。デモザイク処理を実施する前の画像であれば、イメージセンサ４５から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もＲＡＷ画像に含む。

画像取得部５２は、取得したＲＡＷ画像に必要に応じて各種処理を施すために、ＤＳＰ（Digital Signal Processor）５３と、ノイズ低減部５４と、変換部５５と、を備える。

ＤＳＰ５３は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、リニアマトリクス処理部、及び、ＹＣ変換処理部、等（いずれも図示せず）を備える。ＤＳＰ５３は、これらを用いてＲＡＷ画像またはＲＡＷ画像を用いて生成した画像に対して各種処理を施す。

オフセット処理部は、ＲＡＷ画像に対してオフセット処理を施す。オフセット処理は、ＲＡＷ画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、ＲＡＷ画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ４５が製造工程または経時変化に起因する欠陥を有する画素（欠陥画素）を含む場合に、イメージセンサ４５の欠陥画素に対応するＲＡＷ画素の画素値を補正または生成する処理である。

デモザイク処理部は、各色のカラーフィルタに対応する各色のＲＡＷ画像に対してデモザイク処理を施す。デモザイク処理は、ＲＡＷ画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。ＹＣ変換処理部が行うＹＣ変換処理は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に変換する処理である。

ノイズ低減部５４は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５５は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色のチャンネルを有する内視鏡画像に再変換する。

画像処理部５６は、画像取得部５２が出力する内視鏡画像に、必要な画像処理、又は演算を行う。画像処理部５６は、画像取得部５２が出力する内視鏡画像に基づいて、複数種類の認識対象画像を生成する。また、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像を継続してディスプレイに表示する制御を行う。また、複数種類の認識対象画像に対する画像認識処理を、認識対象画像の種類毎に並列して行い、画像認識処理により得られる認識処理結果を、認識対象画像の種類毎に取得する。また、取得した全種類の認識対象画像の認識処理結果に基づき、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像の動画を記録する際の記録の動作を制御する。

図９に示すように、画像処理部５６は、通常観察画像処理部６１、特殊観察画像処理部６２、及び診断支援画像処理部６３を備える。通常観察画像処理部６１は、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、及びＢｃ画像信号に対して、通常観察画像用画像処理を施す。通常観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、又は空間周波数強調等の構造強調処理が含まれる。通常観察画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、及びＢｃ画像信号は、通常観察画像として表示制御部５７に入力する。

特殊観察画像処理部６２は、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、及びＢｓ画像信号に対して、特殊観察画像用画像処理を施す。特殊観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、又は空間周波数強調等の構造強調処理が含まれる。特殊観察画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、及びＢｓ画像信号は、特殊観察画像として表示制御部５７に入力する。

診断支援画像処理部６３は、診断支援モードにおける画像処理等を行う。図１０に示すように、診断支援画像処理部６３は、認識対象画像生成部７１、画像認識処理部７２、認識結果取得部７３、録画制御部７４、及び表示用画像生成部７５を備える。

認識対象画像生成部７１は、画像取得部５２が出力する内視鏡画像に基づいて、複数種類の認識対象画像を生成及び取得する。認識対象画像の種類は、次の２点の一方又は両方により区別する。１点目は、観察対象を撮影する際の照明光の分光スペクトルにより区別する。したがって、認識対象画像生成部７１は、光源部が発する互いに分光スペクトルが異なる複数の照明光のそれぞれにより照明した観察対象を撮影することにより得られる画像を、それぞれ１種の認識対象画像として取得する。２点目は、認識対象画像生成用画像処理の方法により区別する。認識対象画像生成用画像処理の方法は、色彩拡張処理又は構造強調処理等を含む。なお、認識対象画像生成用画像処理の方法により認識対象画像を区別する際には、認識対象画像生成用画像処理を行わないことを含む。したがって、画像取得部５２が出力する内視鏡画像に対して認識対象画像生成用画像処理を行わない内視鏡画像も、認識対象画像の１種類である。

したがって、照明光の分光スペクトルと認識対象画像生成用画像処理との組み合わせが異なる場合も、認識対象画像の１種類とする。したがって、照明光の分光スペクトル又は画像処理のいずれか一方が異なる認識対象画像は、異なる種類の認識対象画像とする。

図１１に示すように、認識対象画像生成部７１は、観察対象を撮影する際の照明光の分光スペクトルにより、及び／又は、認識対象画像生成用画像処理の方法により区別した認識対象画像取得部を備える。したがって、認識対象画像生成部７１は、認識対象画像の種類毎の認識対象画像生成部を備え、第１認識対象画像生成部８１、第２認識対象画像生成部８２、第３認識対象画像生成部８３、第４認識対象画像生成部８４、第５認識対象画像生成部８５、及び第ｎ認識対象画像生成部８６を備える。ｎは６以上の整数である。本実施形態では、それぞれ以下の照明光及び／又は認識対象画像生成用画像処理を行う。

第１認識対象画像生成部８１は、第１認識対象画像を生成するための第１画像処理を行う。第１画像処理は、第１照明光用分光スペクトルである白色光の第１照明光を発して得られたＢ１画像信号、Ｇ１画像信号、及びＲ１画像信号に対して施す処理である。第１画像処理は、通常観察画像処理部６１における通常観察画像処理と同様であり、通常観察画像と同様の第１認識対象画像を得る。第１認識対象画像は、認識対象画像の１種である。したがって、認識対象画像生成部７１は、白色の照明光により照明した観察対象を撮影することにより得られる画像を、認識対象画像の１種として取得する。

第２認識対象画像生成部８２は、第２認識対象画像を生成するための第２画像処理を行う。第２画像処理は、第２照明光用分光スペクトルＳＰ１で第２照明光Ｌ２を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号に対して施す処理である。第２照明光用分光スペクトルＳＰ１で発する第２照明光Ｌ２は、図１２に示すように、紫色光Ｖが他の色の青色光Ｂ、緑色光Ｇ、及び赤色光Ｒよりもピークの強度が大きい光であることが好ましい。第２画像処理は、Ｂ２画像信号を表示用のＢチャンネルとＧチャンネルとに割り当て、Ｇ２画像信号を表示用のＲチャンネルに割り当てる疑似カラー処理である。この疑似カラー処理により、表層血管など特定深さの血管又は構造が強調された第２認識対象画像が得られる。第２認識対象画像は、認識対象画像の１種である。

第３認識対象画像生成部８３は、第３認識対象画像を生成するための第３画像処理を行う。第３画像処理は、第２照明光用分光スペクトルＳＰ２で第２照明光を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号に対して施す処理である。第２照明光用分光スペクトルＳＰ２で発する第２照明光は、図１３に示すように、紫色光Ｖ（ピーク波長は例えば４００～４２０ｎｍ）のみを発する光であることが好ましい。第３画像処理は、Ｂ２画像信号を表示用のＢチャンネル、Ｇチャンネル、及びＲチャンネルに割り当てて、且つ、色調及び階調バランスの調整を行う処理である。第３画像処理によって、表層血管よりも浅い極表層血管などが強調された第３認識対象画像が得られる。第３認識対象画像は、認識対象画像の１種である。

第４認識対象画像生成部８４は、第４認識対象画像を生成するための第４画像処理を行う。第４画像処理は、第１照明光を発して得られたＢ１画像信号、Ｇ１画像信号、及びＲ１画像信号に加えて、第２照明光用分光スペクトルＳＰ３で第２照明光を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号に対して施す処理である。第２照明光用分光スペクトルＳＰ３は、図１４に示すように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長域の光である青紫色光ＶＢ（ピーク波長は例えば４７０～４８０ｎｍ）であることが好ましい。

第４認識対象画像生成部８４は、図１５に示すように、Ｂ２画像信号とＧ１画像信号との比を表す第１信号比（Ｂ２／Ｇ１）、及び、Ｒ１画像信号とＧ１画像信号との比を表す第２信号比（Ｒ１／Ｇ１）を算出する信号比算出処理を行う酸素飽和度用信号比算出部８４ａと、酸素飽和度算出用テーブル８４ｂを参照して、第１信号比及び第２信号比に対応する酸素飽和度を算出する酸素飽和度算出部８４ｃと、酸素飽和度に基づいて酸素飽和度画像を生成する酸素飽和度画像生成部８４ｄとを備える。酸素飽和度画像が、第４画像処理により得られる第４認識対象画像となる。第４認識対象画像は、認識対象画像の１種である。

なお、酸素飽和度算出用テーブル８４ｂは、酸素飽和度と第１信号比及び第２信号比との相関関係が記憶されている。具体的には、酸素飽和度算出用テーブル８４ｂは、図１６に示すように、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）を軸とする２次元空間に、酸素飽和度の等値線ＥＬｘ、ＥＬ１、ＥＬ２、ＥＬ３、ＥＬｙなどを定義した２次元テーブルで構成される。例えば、等値線ＥＬｘは酸素飽和度が０％、等値線ＥＬ１は酸素飽和度が３０％、等値線ＥＬ２は酸素飽和度が５０％、等値線ＥＬ３は酸素飽和度が８０％であることを表している。なお、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。なお、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）はｌｏｇスケールであることが好ましい。

第５認識対象画像生成部８５は、第５認識対象画像を生成するための第５画像処理を行う。第５画像処理は、色彩拡張処理であり、具体的には、第２照明光用分光スペクトルＳＰ４で第２照明光を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号に対して施す処理である。第２照明光用スペクトルＳＰ４は、図１７に示すように、紫色光Ｖ及び青色光Ｂのピーク強度が、緑色光Ｇ及び赤色光Ｒのピーク強度よりも大きい光であることが好ましい。また、第２照明光用スペクトルＳＰ２と比べると、赤色光Ｒの強度が大きいことが好ましい。

第５画像処理は、図１８に示すように、Ｂ２画像信号とＧ２画像信号との比を表す第１信号比（Ｂ２／Ｇ２）、及び、Ｒ２画像信号とＧ２画像信号との比を表す第２信号比（Ｇ２／Ｒ２）を算出する信号比算出処理を行う色差拡張用信号比算出部８５ａと、第１信号比及び第２信号比に基づいて、複数の観察対象範囲の間の色差を拡張する色差拡張処理を行う色差拡張処理部８５ｂと、色差拡張処理後の第１信号比及び第２信号比に基づいて、色差拡張画像を生成する色差拡張画像生成部８５ｄが設けられている。色差拡張画像が、第５画像処理により得られる第５認識対象画像となる。第５認識対象画像は、認識対象画像の１種である。

色差拡張処理については、図１９に示すように、第１信号比（Ｂ２／Ｇ２）及び第２信号比（Ｇ２／Ｒ２）からなる二次元空間で複数の観察対象範囲の間の距離を拡張することが好ましい。具体的には、二次元空間において、複数の観察対象範囲のうち第１範囲（「１」と表記）の位置を色差拡張処理前後で維持した状態で、第１範囲と第２範囲（「２」と表記）との距離、第１範囲と第３範囲（「３」と表記）との距離、及び、第１範囲と第４範囲（「４」と表記）との距離を拡張することが好ましい。色差拡張処理は、第１信号比及び第２信号比を極座標変換した上で、動径と角度を調整する方法により行うことが好ましい。なお、第１範囲は病変などが存在しない正常部で、第２～第４範囲は、病変等が存在する可能性がある異常部であることが好ましい。色差拡張処理により、色差拡張処理前の二次元空間での範囲Ａ１から、色差拡張処理後では範囲Ａ２へと広げられるため、色差が強調され、例えば、異常部と正常部との色の差が強調された画像となる。

以上のように、内視鏡画像に対し各種の内容の画像処理を行うことにより、複数種類の認識対象画像を生成する。第ｎ認識対象画像生成部８６は、ｎ種類目の認識対象画像を生成する。画像処理の方法又は内容は、上記に限らない。例えば、色差拡張処理の他、構造強調処理等の強調処理を行っても良い。内視鏡画像に対する強調処理の有無又は強調処理の種類により、認識対象画像の種類を区別し、区別した認識対象画像をそれぞれ１種の認識対象画像として取得する。なお、強調処理を実施する内視鏡画像は、第１画像処理から第ｎ画像処理のうちいずれか１つの画像処理を行ったものでも行わないものでもよい。

構造強調処理は、観察対象における血管が強調されて表された内視鏡画像となるように、取得した内視鏡画像に対して行う処理である。具体的には、内視鏡画像としては、第１照明光を発して得られたＢ１画像信号、Ｇ１画像信号、及びＲ１画像信号、又は、第２照明光を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号のいずれかを用いる。構造強調処理では、取得した内視鏡画像において、横軸に画素値（輝度値）を、縦軸に頻度を取ったグラフである濃度ヒストグラムを求め、画像処理部５６のメモリ（図示せず）等に予め記憶しておいた階調補正テーブルにより、階調補正を行う。階調補正テーブルは、横軸が入力値を、縦軸が出力値を表し、入力値と出力値の対応関係を示す階調補正カーブを有しており、例えば、略Ｓ字形状の階調補正カーブに基づいて階調補正を行って、取得した内視鏡画像のダイナミックレンジを広げる。これにより、構造強調の強調処理前の原画像において濃度が低い部分は、濃度がより低く、濃度が高い部分はより高くなるようになるため、例えば、血管領域と血管が存在しない領域の濃度差が広がって、血管のコントラストが向上する。したがって、構造強調処理により処理された内視鏡画像は、血管のコントラストが向上されているため、血管の構造の視認性が高められており、より容易に、また、精度良く、例えば、血管の密集度が高い領域を特定領域として判定等に用いることができる画像である。

また、認識対象画像生成部７１は、狭帯域光であることが好ましい紫色光Ｖ及び／又は青色光Ｂを含む照明光により照明した観察対象を撮影することにより得られる画像を、認識対象画像の１種として生成することが好ましい。生成された認識対象画像は、画像認識処理部７２に送られる。

画像認識処理部７２は、複数種類の認識対象画像に対する画像認識処理を、認識対象画像の種類毎に並列して行う。画像認識処理は、観察対象画像に写る特定状態を認識処理結果として出力するために行う。図２０に示すように、画像認識処理部７２は、認識対象画像の種類毎に設けた、第１画像認識部９１、第２画像認識部９２、第３画像認識部９３、第４画像認識部９４、第５画像認識部９５、及び第ｎ画像認識部９６を備える。ｎは６以上の整数であり、認識対象画像の種類の数に応じた数の画像認識部を備える。画像認識処理部７２は、認識対象画像の種類毎に画像認識部を備え、各画像認識部は、対応する認識対象画像に対する画像認識処理を、それぞれ並列して及び独立して行う。したがって、第１画像認識部９１において第１認識対象画像の画像認識処理を実施し、第２画像認識部９２において第２認識対象画像の画像認識処理を実施し、第３画像認識部９３において第３認識対象画像の画像認識処理を実施し、第４画像認識部９４において第４認識対象画像の画像認識処理を実施し、第５画像認識部９５において第５認識対象画像の画像認識処理を実施し、第ｎ画像認識部９６において第ｎ認識対象画像の画像認識処理を実施する。

これらの画像認識処理は、並列して及び独立して実施する。また、第１から第ｎまでの画像認識部において、このうちいくつの画像認識部を用いるかは、認識対象画像を何種類取得するかにより設定する。また、例えば、取得した複数種類の認識対象画像のうち１つの種類において、複数の認識対象画像を取得した場合は、そのうち少なくとも１つの認識対象画像に対して画像認識処理を行えば足りるが、取得した複数種類の認識対象画像の全てに対し画像認識処理を行うことで、認識精度が向上し、動画の記録動作の制御の精度も向上する等のため好ましい。

画像認識処理は、従来行われている画像認識処理の方法を用いることができる。画像認識処理部７２において、第１画像認識部９１から第ｎ画像認識部９６までの各画像認識部が、同じ方法の画像認識処理を実施しても良いし、認識対象画像の種類に応じて、各画像認識部が互いに異なる方法の画像認識処理を実施してもよい。認識対象画像の種類に応じて異なる方法の画像認識処理を実施する場合は、認識対象画像の種類に応じて、良好な画像処理結果が得られる画像認識処理の方法を選択して行うことが好ましい。

画像認識処理の方法としては、画像処理を用いてパターン認識等を行う方法、又は、機械学習の技術を用いる方法等が挙げられる。具体的には、例えば、認識対象画像の画素値及び／又は輝度値等の画像に基づく値を用いる方法、画像から算出した酸素飽和度等の生体情報の値を用いる方法、又は、観察対象における特定状態と、特定状態を含む観察対象を撮影することにより得た各認識対象画像とを、予め対応付けた対応情報を用いる方法等が挙げられる。画像認識処理のこれらの方法により、認識対象画像に写る観察対象における部位等の検出、又は疾患等の判定等を行って得た観察対象の特定状態を、認識処理結果として出力する。

観察対象における特定状態とは、観察対象が含む、部位、特定の構造、もしくは処置具等の生体由来でない物体、又は、病変の有無、病変もしくは疾患名、病変もしくは疾患であることの確率もしくは進行度、もしくは特異な生体情報値等をいう。また、観察対象における特定状態には、画像認識処理により得た画像認識結果の確度等も含む。部位としては、内視鏡画像に写る特徴的な部位であることが好ましい。例えば、上部消化管であれば、食道部、噴門部、胃穹窿部、胃体部、幽門部、胃角部、又は十二指腸球部等であり、大腸であれば、盲腸、回盲部、上行結腸、横行結腸、下行結腸、Ｓ状結腸、又は直腸等である。特定の構造としては、血管、腺管、ポリープ又はがん等の隆起部、又は陥没部等であり、生体由来でない物体としては、内視鏡に付属可能な生検鉗子、スネア、もしくは異物摘出デバイス等の処置具、又は腹腔鏡手術に用いる腹腔用処置具等である。病変又は疾患名としては、上部消化管又は大腸の内視鏡検査において見られる病変又は疾患が挙げられ、例えば、炎症、発赤、出血、潰瘍、もしくはポリープ、又は、胃炎、バレット食道、がんもしくは潰瘍性大腸炎等である。生体情報値とは、観察対象の生体情報の値であり、例えば、酸素飽和度、もしくは血管密集度、又は、色素による蛍光の値等である。

画像認識処理部７２は、観察対象の特定状態と、特定状態である観察対象を撮影することにより得た認識対象画像とを、予め対応付けた対応情報を取得する対応情報取得部を備えることが好ましい。そして、画像認識処理部７２は、対応情報に基づき、新たに取得した認識対象画像に対する画像認識処理を行うことが好ましい。対応情報は、予め観察対象の特定状態が判明している場合に、この観察対象を撮影することにより得た認識対象画像と、観察対象の特定状態又は特定状態の領域等の情報等を対応させた情報である。

図２１に示すように、特定状態について未知である新たに取得した認識対象画像を、対応情報取得部に入力することにより、対応情報取得部が備える認識対象画像と観察対象の特定状態とが対応付けられた対応情報を用いて、新たに取得した認識対象画像における特定状態を推定して認識処理結果として出力することができる。また、各対応情報取得部は、それぞれ新たに取得した認識対象画像と、推定により出力した認識処理結果が含む特定状態とを、対応情報としてさらに取得する学習又はフィードバックを行ってもよい。

各画像認識部は、対応する認識対象画像についての対応情報を備える対応情報取得部を備える。対応情報取得部は、対応情報に基づき認識対象画像の画像認識処理を行い、この認識対象画像が含む観察対象の特定状態に関する領域等の詳細を出力する。なお、特定状態に関する詳細等の出力には、「特定状態を含まない」といった内容も含む。

また、認識対象画像の種類により、画像認識処理により良好な結果を得ることができる観察対象の特定状態が異なる場合がある。したがって、認識対象画像の種類のそれぞれが、特定の種類の特定状態が対応付けられた対応情報取得部を備えることにより、各種類の認識対象画像が画像認識処理により良好な結果を得ることができるため好ましい。例えば、認識対象画像の種類が血管を強調した認識対象画像である場合、この種類の認識対象画像に対応する画像認識処理部は、観察対象の血管に関する特定状態が対応付けられた対応情報を備える画像認識処理部とし、観察対象の血管に関する特定状態を出力させる。

図２０に示すように、第１画像認識部９１は、第１対応情報取得部１０１を備え、第１認識対象画像に対して第１画像認識処理を行う。同様に、第２画像認識部９２は、第２対応情報取得部１０２を備え、第２認識対象画像に対して第２画像認識処理を行い、第３画像認識部９３は、第３対応情報取得部１０３を備え、第３認識対象画像に対して第３画像認識処理を行い、第４画像認識部９４は、第４対応情報取得部１０４を備え、第４認識対象画像に対して第４画像認識処理を行い、第５画像認識部９５は、第５対応情報取得部１０５を備え、第５認識対象画像に対して第５画像認識処理を行い、また、第ｎ画像認識部９６は、第ｎ対応情報取得部１００を備え、第ｎ認識対象画像に対して第ｎ画像認識処理を行う。

各対応情報取得部は、例えば、機械学習における学習済みモデルである。より迅速に又は精度良く、新たに取得した認識対象画像における観察対象の特定状態が画像認識結果として得られることから、機械学習による学習済みモデルを対応情報取得部として用いた画像認識処理を行うことが好ましい。本実施形態においては、各対応情報取得部として、機械学習における学習済みモデルを用いて観察対象の特定状態を出力するための画像認識処理を行う。なお、この場合、学習済みモデルは、それぞれの種類の認識対象画像について学習したものを用いることが、良好な認識処理結果を得るために好ましい。したがって、例えば、第１対応情報取得部１０１と第２対応情報取得部１０２とは、互いに異なる学習済みモデルであることが好ましい。

複数種類の認識対象画像は、少なくとも互いに種類が異なる第１認識対象画像と第２認識対象画像とを含み、画像認識処理部７２は、第１認識対象画像に対しては、第１画像認識処理を行い、第２認識対象画像に対しては、第１画像認識処理とは異なる第２画像認識処理を行うことが好ましい。第１画像認識処理は、第１認識対象画像における特定の部位又は生体以外の物体の検出に関して行われることが好ましい。第２画像認識処理は、第２認識対象画像における特定状態の領域を含むとの判定に関して行われることが好ましい。

本実施形態では、第１照明光Ｌ１を用いた通常観察画像と同様の第１認識対象画像と、第２照明光Ｌ２ａを用いた表層血管よりも浅い極表層血管などが強調された第３認識対象画像と、第２照明光Ｌ２ｂを用いた色差拡張画像である第５認識対象画像とを用い、それぞれ、第１画像認識部９１、第３画像認識部９３、及び第５画像認識部９５により、各認識対象画像の画像認識処理を行う。第１認識対象画像は、通常観察画像であるため、第１画像認識処理は、特定の部位を良好に検出する。第３認識対象画像は、極表層血管などが強調された画像であるため、第３画像認識処理は、表層の粘膜等の病変を含むとの判定を良好に行う。第５認識対象画像は、色差拡張画像であるため、第５画像認識処理は、観察対象の特定の領域として、例えば、潰瘍性大腸炎の重症度のうち、重症の領域等の判定を良好に行う。なお、潰瘍性大腸炎の重症度は、例えば、軽症、中等症、重症、又は激症等に分類される。

図２２に示すように、本実施形態では、第１照明光Ｌ１を５フレームの第１Ａ発光パターンで、及び第２照明光Ｌ２を１フレームの第２Ｂ発光パターンで発し、内視鏡画像を取得する。なお、第２照明光では、第２照明光Ｌ２ｂと第２照明光Ｌ２ａとを順に切り替える。第２照明光Ｌ２ｂにより得た内視鏡画像に基づき第５認識対象画像ＩＭ２ｂを取得する。第２照明光Ｌ２ａにより得た内視鏡画像に基づき第３認識対象画像ＩＭ２ａを取得する。図２２において、第２照明光Ｌ２により得た認識対象画像には斜線を施して示し、第２照明光Ｌ２ａにより得た第３認識対象画像ＩＭ２ａと、第２照明光Ｌ２ｂにより得た第５認識対象画像ＩＭ２ｂとでは、異なる種類の斜線により区別して示す。第１照明光Ｌ１により得た内視鏡画像に基づき、第１認識対象画像ＩＭ１を取得する。

第１画像認識部９１は、第１認識対象画像ＩＭ１に対し、特定の部位、例えば、直腸部の検出を行い、検出に関する情報を含む第１認識処理結果を生成する。第３画像認識部９３は、第３認識対象画像ＩＭ２ａに対し、潰瘍性大腸炎の重症度が重症の領域を含むか否かの判定を行い、判定に関する情報を含む第３認識処理結果を生成する。第５画像認識部９５は、第５認識対象画像ＩＭ２に対し、出血箇所を含むか否かの判定を行い、判定に関する情報を含む第５認識処理結果を生成する。

検出に関する情報は、少なくとも検出があった「検出」又は検出がなかった「非検出」を含む。また、判定に関する情報は、少なくとも判定条件を満たす「合判定」又は判定条件を満たさない「否判定」を含む。したがって、第１認識処理結果は、第１認識対象画像が観察対象において直腸部を含むと推定した場合に、「検出」との情報を含む。また、第３認識処理結果は、第３認識対象画像が観察対象において潰瘍性大腸炎の重症度が重症の領域を含むと推定した場合に、「合判定」との情報を含む。また、第５認識処理結果は、第５認識対象画像が観察対象において出血箇所を含むと推定した場合に、「合判定」との情報を含む。

認識結果取得部７３は、各画像認識部による画像認識処理により得られる、認識対象画像の認識処理結果を取得する。認識結果取得部７３は、取得した全種類の認識対象画像の認識処理結果に基づく認識処理結果を取得する。認識処理結果は、対応する認識対象画像が予め設定した条件を満たすか又は満たさないかの情報を含むことが好ましい。予め設定した条件とは、認識対象画像を用いて画像認識処理を行った場合の認識処理結果が、「検出」又は「合判定」であることであり、認識処理結果が「検出」又は「合判定」の情報を含む場合は、条件を満たすとの情報を含む。

本実施形態では、特定部位の検出結果である第１認識処理結果と、特定状態の領域を含むとの判定結果である第３認識処理結果と第５認識処理結果との、３種類の認識処理結果を取得する。第３認識処理結果は、病変を含むか否かの判定結果であり、第５認識処理結果は、潰瘍性大腸炎の重症の領域を含むか否かの判定結果である。

図２３に示すように、特定部位を検出している第１認識対象画像ＩＭ１をドット模様を付して示す。「第１認識」の行は、第１画像認識処理が、何を検出するかを示す。「第１認識」の１行下の「結果」は、第１認識処理結果が含む検出に関する情報を示す。同様に、「第５認識」の行は、第５画像認識処理が、何を判定するかを示し、その下の行の「結果」は、第５認識処理結果が含む判定に関する情報を示す。また、同様に、「第３認識」の行は、第３画像認識処理が、何を判定するかを示し、その下の行の「結果」は、第３認識処理結果が含む判定に関する情報を示す。

また、「第１認識」の「結果」において、「特定部位検出」と記載があるのは、第１認識対象画像ＩＭ１ｘにより、特定部位を検出したとの情報を得たことを示し、その後の第１認識対象画像ＩＭ１ｙにおいて、「特定部位非検出」と記載があるのは、第１認識対象画像ＩＭ１ｙにより、特定部位が非検出であったとの情報を得たことを示す。認識対象画像に付した「ｘ」の符号は、同じ種類の認識対象画像の画像認識処理において、最初に「検出」又は「合判定」を得た最初の画像を示し、「ｙ」の符号は、「検出」又は「合判定」を得た後に、「非検出」又は「否判定」を得た最初の画像を示す。「ｘ」又は「ｙ」の符号を付した場合の「結果」には、下線を引いて示す。以下の図において、同様の符号は同様の内容を示す。

図２３に示すように、第１認識対象画像ＩＭ１ｘにおいて特定部位を検出した場合、第1認識処理結果は、認識対象画像ＩＭ１ｘが「特定部位を検出した」との情報を含む。本実施形態では、最初に第１認識対象画像ＩＭ１ｘにおいて特定部位を検出してから、その後に得られた第１認識対象画像ＩＭ１においても引き続き特定部位が検出され、第１認識対象画像ＩＭ１ｙにおいて特定部位が非検出となるまで、特定部位の検出が継続した。第３認識処理結果及び第５認識処理結果においては、図２３に示す間、「合判定」の情報は１つも含まれなかった。

なお、認識結果取得部７３は、画像認識処理部７２により各認識対象画像に基づく認識対象結果が生成され次第、認識処理結果を取得していく。認識結果取得部７３は、新しく同種の認識処理結果が得られた場合、同種の直前の認識処理結果を削除して、常に全種類の認識対象画像に基づく最新の各認識処理結果を有する。全種類の認識対象画像とは、照明光の発光パターン等による１つの発光周期内での全種類であることが好ましい。照明光の発光パターンは、任意に、又は、認識処理結果等により切り替えることができるが、その場合は、切り替えた後の発光周期内での全種類とすることが好ましい。取得した全種類の認識対象画像の認識処理結果は、録画制御部７４に送る。

録画制御部７４は、取得した全種類の認識対象画像の認識処理結果に基づき、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像の動画を記録する際の記録の動作を制御する。取得した全種類の認識対象画像の認識処理結果に基づくとは、認識結果取得部７３が取得した各種類で少なくとも１つの認識処理結果を、全種類分検討した上で、記録の動作を制御することである。

動画の記録を行う対象である認識対象画像の動画は、取得する複数種類の認識対象画像のうち、いずれか１種類又は２種類以上とすることができる。複数種類の認識対象画像のうち、１種類の動画を記録する場合は、第１認識対象画像であることが好ましい。第１認識対象画像は通常観察画像であり、自然な色により撮影された動画であり、記録した動画の用途が広く、一般的に有用だからである。

記録の動作とは、記録の実行に関する指示であり、例えば、記録が行われていない場合には、記録の開始を含む。また、すでに記録が行われている場合には、記録の継続及び停止を含む。なお、その他、記録の一時停止等、一定期間のみの録画又は停止等、記録の実行に関して通常行われる動作を含む。録画制御部７４は、認識結果取得部７３が取得した複数種類の認識対象画像に基づく全種類の認識処理結果から、記録の開始、及び停止等の動作を制御する。

録画制御部７４は、認識結果取得部７３が取得した全種類の認識対象画像の認識処理結果のうち、少なくとも１つが条件を満たすとの情報を含む場合、記録を開始又は継続することが好ましい。また、認識結果取得部７３が取得した全種類の認識対象画像の認識処理結果の全てが条件を満たさないとの情報を含み、かつ、記録が継続している場合、記録を停止することが好ましい。

図２４において、本実施形態では、録画制御部７４は、第１認識対象画像ＩＭ１と、第５認識対象画像ＩＭ２ｂと、第３認識対象画像ＩＭ２ａとの３種類の認識対象画像の認識処理結果に基づき、第１認識対象画像ＩＭ１の動画を記録する際の記録の動作を制御する。録画制御部７４では、第１認識対象画像ＩＭ１の第１認識処理結果は、新たに取得された場合、直前に取得された第１認識処理結果と入れ替わり、第５認識対象画像ＩＭ２ｂ又は第３認識対象画像ＩＭ２ａは、それぞれ新たに取得された場合、直前に取得されたものと入れ替わることにより、最新の複数種類の認識対象画像に基づき、記録の動作を制御する。

録画制御部７４は、第１認識対象画像ＩＭ１ｘの第１画像認識処理により、「検出」を含むとの認識処理結果が得られた時刻ｔ１に、最新の第５認識対象画像であるＩＭ２ｂの「否判定」との両者に基づき、録画がすでに開始されていない場合であるため、録画を開始する制御を行う。もし、録画がすでに開始されている場合であれば、録画を継続する制御を行うが、実質的には記録の動作をしないことにより、録画を継続するように制御する。第１認識対象画像又は第３認識対象画像による認識処理結果において、「検出」又は「合判定」の情報が含まれている間は、録画が継続される。その後、第１認識対象画像ＩＭ１ｙによる認識処理結果に「非検出」が含まれた時刻ｔ２に、最新の第３認識対象画像ＩＭ２ａにおいても「否判定」であり、両者とも否定的な認識処理結果であったため、録画を停止する制御を行う。なお、否定的な認識処理結果とは、「非検出」又は「否判定」であり、肯定的な認識処理結果とは、「検出」又は「合判定」である。本実施形態では、このようにして、時刻ｔ１から時刻ｔ２までの第１認識対象画像を録画した録画ファイルが得られる。

なお、本実施形態のように、第１認識対象画像ＩＭ１ｘによる肯定的な認識処理結果が取得された場合、第２照明光Ｌ２の種類を第２照明光Ｌ２ｂから第２照明光Ｌ２ａに切り替え、取得する認識対象画像を第５認識対象画像ＩＭ２ｂから第３認識対象画像ＩＭ２ａに切り替えるようにしてもよい。これにより、第１認識対象画像ＩＭ１により特定の部位が認識された場合に、予め設定した特定の部位の観察のために適切な第２照明光Ｌ２に自動的に切り替えられ、病変の見逃し等をより減少することができる。

表示用画像生成部７５は、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像を用いて、ディスプレイ１８に表示するための表示画像を生成する。例えば、通常観察画像と同様である第１認識対象画像をディスプレイ１８に継続して表示する場合は、表示用画像生成部７５は、第１認識対象画像を用いて表示画像とするための画像処理を行って、表示画像を生成する。生成した表示画像は、表示制御部５７に送られる。

表示制御部５７は、通常観察モードの場合には、通常画像をディスプレイ１８に表示し、特殊観察モードの場合には、特殊観察画像をディスプレイ１８に表示する。また、診断支援モードの場合には、認識対象画像のうち少なくとも１種類の認識対象画像を継続してディスプレイ１８に表示する制御を行う。なお、ディスプレイ１８に表示する種類の認識対象画像の種類が取得されないフレームにおいては、表示制御部５７は、直前に取得された表示画像等を継続して表示する等の制御を行う。本実施形態では、通常画像と同様の第１認識対象画像に基づく表示画像が表示制御部５７に送られるため、通常画像が継続してディスプレイ１８に表示される。なお、表示はされないが、取得されている第５認識対象画像及び／又は第３認識対象画像を、指示により、表示画像としてディスプレイ１８に表示するようにしてもよい。

以上のように構成することにより、画像処理装置として機能するプロセッサ装置１６、又は画像処理装置を備える内視鏡システム１０等は、取得した全種類の認識対象画像の認識処理結果に基づき、認識対象画像の動画の記録の動作を制御するため、自動的に録画の制御が行われ、手動による録画の制御に関する煩わしさが解消される。また、１種類の認識対象画像の認識処理結果を用いて動画の記録の動作を制御する場合よりも、詳細に動画の記録の動作を制御できるため、目的に柔軟に対応した録画を自動的に行うことができる。また、録画の記録の動作を詳細に制御することから、不要なシーンの録画を保存する必要がなく、ストレージを節約でき、後に録画を利用する際にも検索しやすく、内視鏡検査の記録に関する使用性を向上することができる。また、複数種類の認識対象画像を用いることから、ディスプレイ１８に表示される画像では認識しずらい病変であっても、自動的に録画される場合があり、病変の見逃し等を減少させることができる。このように、プロセッサ装置１６、及び内視鏡システム１０等は、複数種類の内視鏡画像に基づいて画像認識処理を並列して行う場合に、効率的に内視鏡画像等の録画を行うことができる。

なお、図２４の場合では、第１認識処理結果が特定部位を検出又は非検出であったことにより記録の動作が制御されたが、第１認識処理結果以外の認識処理結果に基づいて、記録の動作が制御されてもよい。図２５に示すように、この場合は、第１照明光Ｌ１を５フレームの第１Ａ発光パターンで、及び第２照明光Ｌ２を１フレームの第２Ｂ発光パターンで発し、内視鏡画像を取得する。なお、第２照明光では、第２照明光Ｌ２ｂと第２照明光Ｌ２ｃとを順に切り替える。第２照明光Ｌ２ｂにより得た内視鏡画像に基づき第５認識対象画像ＩＭ２ｂを取得する。第２照明光Ｌ２ｃにより得た内視鏡画像に基づき第２認識対象画像ＩＭ２ｃを取得する。図２５において、第２照明光Ｌ２により得た認識対象画像には斜線を施して示し、第２照明光Ｌ２ｂにより得た第５認識対象画像ＩＭ２ａと、第２照明光Ｌ２ｃにより得た第２認識対象画像ＩＭ２ｃとでは、異なる模様を付して区別して示す。第１照明光Ｌ１により得た内視鏡画像に基づき、第１認識対象画像ＩＭ１を取得する。

時刻ｔ１において、認識対象画像ＩＭ２ｂｘにおいて病変の領域を含むと判定されたため、第５認識処理結果が条件を満たすとの情報を含むものとなる。録画制御部７４は、全種類の認識処理結果である、第１認識処理結果、第５認識処理結果、及び第２認識処理結果においてそれぞれ最新のもののうち、１つ以上が条件を満たすとの情報を含むものとなったため、記録を開始する。なお、時刻ｔ１においては、第２認識処理結果は取得されていない場合がありうるが、第５認識処理結果において条件を満たすために、時刻ｔ１であっても、全種類の認識処理結果のうち１つ以上が条件を満たす。

図２５において、認識対象画像においてドット模様を付したものは、病変の領域を含むと判定されたものである。なお、第２照明光Ｌ２の照明パターンは、第５認識対象画像のための第２照明光ＩＭ２bと、第２認識対象画像のための第２照明光ＩＭ２ｃとを、順番に切り替えて用いるパターンである。その後、第５認識対象画像において、病変の領域を含むとの判定が続き、第１認識対象画像及び第５認識処理画像においては、条件を満たす検出又は判定が無かったため、録画が継続された。そして、認識対象画像ＩＭＢ２yにおいて病変の領域を含まなくなった「非病変」と判定された際、第１認識対象画像及び第５認識処理画像においては、条件を満たす検出又は判定が無かったため、録画が停止された。このように、第２又は第５認識処理結果における判定に基づいても記録の動作を制御することができる。したがって、ディスプレイ１８に表示される第１認識対象画像において、病変等が検出されない場合であっても、録画が自動的に行われるため、病変の可能性がある注目領域等の記録を逃すことがない。

なお、図２４及び図２５の場合では、第１認識処理結果又は第５認識処理結果の１種類の認識処理結果における肯定的な検出又は判定により、記録の動作が制御されたが、肯定的な検出又は判定が２種類以上の認識処理結果において生じた場合であっても、記録の動作は適切に制御される。図２６に示すように、図２５と同様の照明光発光パターンにおいて、時刻ｔ１に、認識対象画像ＩＭ２ｂｘにおいて病変の領域を含むと判定され、記録を開始する。その後、第１認識対象画像ＩＭ１ｘにおいて、処置具が検出されたが、すでに録画が開始していたため、記録の動作は行わず、そのまま録画を継続した。その後、時刻ｔ２に、第１認識対象画像ＩＭ１ｙにおいて、処置具が非検出となったが、第５認識処理結果の病変の肯定的な判定が継続していたため、録画停止の動作は行わず、そのまま録画を継続した。その後、第５認識処理画像ＩＭ２ｂｙにおいて病変の判定が否定的となり、この時点の第１認識処理結果、第２認識処理結果、及び第５認識処理結果において、検出又は判定が肯定的であるとの条件がないため、録画を停止する動作を行った。このように、複数種類の認識処理結果において条件を満たすものが複数存在した場合であっても、適切に記録の動作を制御することができる。

なお、認識対象画像の種類を変更した場合であっても、記録の動作は適切に制御される。図２７に示すように、この場合は、はじめに、第１照明光Ｌ１を５フレームの第１Ａ発光パターンで、及び第２照明光Ｌ２を１フレームの第２Ｂ発光パターンで発し、内視鏡画像を取得する。なお、第２照明光では、第２照明光Ｌ２ｂと第２照明光Ｌ２ｃとを順に切り替える。第２照明光Ｌ２ｂにより得た内視鏡画像に基づき第５認識対象画像ＩＭ２ｂを取得する。第２照明光Ｌ２ｃにより得た内視鏡画像に基づき第２認識対象画像ＩＭ２ｃを取得する。第１認識処理結果において「検出」の情報が含まれた際に、第２照明光を第２照明光Ｌ２ｄに切り替え、第２照明光Ｌ２ｄに切り替えた後は、第２認識処理結果において「合判定」の後の「否判定」が含まれるまでは、第２照明光Ｌ２ｄと、第２照明光Ｌ２ｄに対応する第２認識対象画像の取得を継続する。

図２７において、第２照明光Ｌ２により得た認識対象画像には斜線を施して示し、第２照明光Ｌ２ｂにより得た第５認識対象画像ＩＭ２ａと、第２照明光Ｌ２ｃにより得た第２認識対象画像ＩＭ２ｃと、第４照明光Ｌ２ｄにより得た第４認識対象画像ＩＭ２ｄでは、異なる模様を付して区別して示す。第１照明光Ｌ１により得た内視鏡画像に基づき、第１認識対象画像ＩＭ１を取得する。

図２７に示すように、はじめに、時刻ｔ１に、第５認識対象画像ＩＭ２ｂｘにおいて病変の領域を含むと判定され、時刻ｔ１以降、第１認識対象画像の記録を開始した。その後、時刻ｔ２に、第２認識対象画像ＩＭ２ｃｘにおいて、血管密との判定がされたが、すでに録画が開始していたため、記録の動作は行わず、そのまま録画を継続した。その後、時刻ｔ３に、第１認識対象画像ＩＭ１ｘにおいて、処置具が検出された。これを契機として、第２照明光Ｌ２ｂと第２照明光Ｌ２ａとが順番に照射されていたのが、第４認識対象画像用の第２照明光Ｌ２ｄに切り替わり、第２照明光として第２照明光Ｌ２ｄが継続して用いられた。時刻ｔ４に、第４認識対象画像ＩＭ２ｄｘにより、出血点があると判定されたが、録画が継続していたため、そのまま録画を継続した。

その後、時刻ｔ５に、第１認識対象画像ＩＭ１ｙにおいて、処置具が非検出となった。しかし、この時点での認識対象画像は、第１認識対象画像と第４認識対象画像との２種類が取得されており、第４認識対象画像による肯定的な判定が続いていたため、録画は継続した。その後、時刻ｔ６において、第４認識対象画像ＩＭ２ｄの、出血点を判定しないとの情報により、検出又は判定が肯定的であるとの条件がないため、録画を停止する動作を行った。このように、認識対象画像の種類を、第５認識対象画像及び第３認識対象画像から、第４認識対象画像に変更した場合であっても、適切に記録の動作を制御することができる。

なお、図２７の場合は、内視鏡による手技の一例における一連の動作を示している。例えば、内視鏡及び内視鏡先端部に備える処置具を用いて、病変部を切除等する場合、第５認識処理結果により病変の領域を判定することにより録画を開始し、第２認識処理結果により、処置具を用いて病変部を切除する範囲を確定するために、血管が密である領域を判定し、処置具を用いて処置を行い、第４認識処理結果により、処置後の出血点を判定し、出血点が消失した場合に録画を停止する。したがって、手技の一連の動作において、適切に記録の動作を制御することができる。

なお、録画制御部７４は、動画を記録する際に、記録の動作に対応する条件に関する情報を動画に付すことが好ましい。記録の動作に対応する条件に関する情報は、動作の契機となった認識処理結果の内容である。記録の動作には、記録の開始もしくは継続又は停止等が含まれる。また、認識処理結果の記録のため、動作の契機とはならなくても、認識処理結果の肯定的な内容に関する情報も付すことが好ましい。情報を動画に付す場合、動画記録における区切りであるチャプターとして記録してもよい。記録の動作とその動作に関する情報を動画に付すことにより、認識処理結果及び記録の動作が何によって起きたかが明確に記録される。したがって、録画したものを見直す際に、所望する録画部分に容易に到達することができるため使用性が向上する。

動画は、個別の録画ファイルとして保存することが好ましい。また、場合により、記録を行う手段を複数備えてもよい。記録を行う手段を複数用いることにより、同時に複数の記録を行うことができる。例えば、第１照明光Ｌ１による画像である第１認識対象画像等と、第２照明光Ｌ２による画像である第２認識対象画像等とを、それぞれ独立して記録してもよい。この場合、録画ファイルには、録画した認識対象画像の種類の情報を付すことが好ましい。なお、録画ファイルのストレージは、画像処理装置に内蔵してもよいし、外部記憶装置としてもよい。また、画像処理装置が接続するネットワーク上に設置してもよい。

図２８に示すように、記録の開始及び停止といった記録の動作により、一回の検査において、「ファイルＩ」及び「ファイルＩＩ」のようにファイル名を付して複数の録画ファイルを生成する。各録画ファイルは、記録の動作に対応する条件に関する情報として、記録の開始又は継続の契機となった認識処理結果と、記録の開始もしくは継続又は停止を実施した時刻情報を付している。対応する条件に関する情報は、記録の開始もしくは継続又は停止の契機となった認識処理結果に関する情報である。これらは、いわゆるタグとして録画ファイルに付すことが好ましい。録画ファイルであるファイルＩには、第1認識処理結果の検出に関する「部位」が、タグとして付され、また、第１認識処理結果である部位の検出と非検出とに応じて、録画開始時刻及び停止時刻のｔ１及びｔ２が付されている。ファイルＩＩには、第１認識処理結果及び第３ないし第５認識処理結果の検出及び合判定に関する「病変／重症／処置具／出血点」が、タグとして付されている。また、第５認識処理結果又は第３認識処理結果である病変又は重症の合判定に応じて、録画開始時刻のｔ３が付され、第４認識処理結果である出血点の否判定に応じて、録画停止時刻のｔ４が付されている。

なお、複数種類の認識処理結果に基づき認識対象画像の動画を記録する際の記録の動作を制御することに加え、内視鏡による検査に関するその他の情報に基づき記録の動作を制御してもよい。その他の情報としては、例えば、内視鏡の形状を表示する手段を用いた場合、内視鏡の形状からわかるように、内視鏡先端部１２ｄが予め設定した箇所にある場合に、録画を開始させることができる。予め設定する箇所は、例えば、患者データにより過去に病変があった箇所とする。これにより、病変の経過を記録し忘れることがない。また、場合によっては、認識処理結果のみならず、特定の認識対象画像を録画するように記録の動作を制御してもよい。例えば、酸素飽和度画像については全て記録したい場合は、第４認識対象画像を取得する際に記録を開始し、その他の認識対象画像の取得に切り替わった際に記録を停止するように設定してもよい。

なお、表示制御部５７は、認識対象画像を表示することに加えて、認識対象画像に認識処理結果の情報を表示したものを重畳して表示画像とし、これを表示するように制御してもよい。例えば、第１認識対象画像に、第３認識処理結果である重症箇所の表示をテキスト又は図等の情報により重畳して、ディスプレイ１８に表示してもよい。また、記録の動作の情報を、認識対象画像に重畳して表示するように制御してもよい。例えば、ディスプレイ１８の一部に、録画実行を示すインジケータを設け、録画実行時は注意を引くよう赤で点滅し、録画非実行時は消灯する等で表示してもよい。

次に、画像解析処理装置であるプロセッサ装置１６又は内視鏡システム１０が行う動画の記録動作の制御に関する処理の一連の流れについて、図２９に示すフローチャートに沿って説明を行う。第１Ａ発光パターン及び第２Ｂパターンの照明光により、第１認識対象画像並びに第５認識対象画像及び第３認識対象画像の、複数種類の認識対象画像を取得する（ステップＳＴ１１０）。表示制御部が、そのうち、第１認識対象画像を継続してディスプレイ１８に表示する。複数種類の認識対象画像に対して、画像認識処理を、認識対象画像の種類ごとに並列して行う（ステップＳＴ１２０）。したがって、第１認識対象画像により特定部位検出を実施し、第５認識対象画像により病変判定を実施し、第３認識対象画像により重症判定を、それぞれ独立して実施する。認識結果取得部７３が、複数の認識処理結果を取得する（ステップＳＴ１３０）。録画制御部７４は、複数種類の認識処理結果から、「検出」又は「合判定」の肯定的な検出又は判定結果が１つ以上ある場合には（ステップＳＴ１４０でＹ）、録画を開始する（ステップＳＴ１５０）。「検出」又は「合判定」の肯定的な検出又は判定結果がない場合には（ステップＳＴ１４０でＮ）、認識対象画像取得に戻る。

録画開始の後、引き続き、複数種類の認識対象画像を取得する（ステップＳＴ１６０）。複数種類の認識対象画像に対して、画像認識処理を、認識対象画像の種類ごとに並列して行う（ステップＳＴ１７０）。認識結果取得部７３が、複数の認識処理結果を取得する（ステップＳＴ１８０）。録画制御部７４は、複数種類の認識処理結果から、「検出」又は「合判定」の肯定的な検出又は判定結果がない場合には（ステップＳＴ１９０でＹ）、録画を停止する（ステップＳＴ２００）。「検出」又は「合判定」の肯定的な検出又は判定結果が１つ以上ある場合には（ステップＳＴ１９０でＮ）、認識対象画像取得に戻り、かつ、録画を継続する。

上記実施形態及び変形例等においては、プロセッサ装置１６が画像処理装置として機能するが、プロセッサ装置１６とは別に、画像処理部５６を含む画像処理装置を設けてもよい。この他、図３０に示すように、画像処理部５６は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）９１０から間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置９１１に設けることができる。また、図３１に示すように、内視鏡システム１０を含む、第１検査装置９２１、第２検査装置９２２、…、第Ｋ検査装置９２３等の各種検査装置と、ネットワーク９２６を介して接続する医療業務支援装置９３０に、画像処理部５６を設けることができる。

上記各実施形態及び変形例は、その一部または全部を任意に組み合わせて実施することができる。また、上記各実施形態及び変形例においては、内視鏡１２は可撓性の挿入部１２ａを有するいわゆる軟性内視鏡を用いているが、観察対象が嚥下して使用するカプセル型の内視鏡、外科手術等に使用する硬性内視鏡（腹腔鏡）を用いる場合も本発明は好適である。

上記実施形態及び変形例等は、画像用プロセッサを備え、内視鏡を用いて観察対象を撮影することにより得られる画像に基づいて画像認識処理を行う画像処理装置の作動方法であって、画像に基づく複数種類の認識対象画像を取得する画像取得ステップと、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像を継続してディスプレイに表示する制御を行う表示制御ステップと、複数種類の認識対象画像に対する画像認識処理を、認識対象画像の種類毎に並列して行う画像認識処理ステップと、画像認識処理により得られる認識処理結果を、認識対象画像の種類毎に取得する認識処理結果取得ステップと、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像の動画を記録する際に、認識対象画像の全種類の認識処理結果に基づき、記録の動作を制御する記録制御ステップとを備える画像認識処理装置の作動方法を含む。

また、上記実施形態及び変形例等は、画像用プロセッサを備え、内視鏡を用いて観察対象を撮影することにより得られる画像に基づいて画像認識処理を行う画像処理装置にインストールされる画像処理装置用プログラムにおいて、コンピュータに、画像に基づく複数種類の認識対象画像を取得する画像取得機能と、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像を継続してディスプレイに表示する制御を行う表示制御機能と、複数種類の認識対象画像に対する画像認識処理を、認識対象画像の種類毎に並列して行う画像認識処理機能と、画像認識処理により得られる認識処理結果を、認識対象画像の種類毎に取得する認識処理結果取得機能と、複数種類の認識対象画像のうち少なくとも１種類の認識対象画像の動画を記録する際に、認識対象画像の全種類の認識処理結果に基づき、記録の動作を制御する記録制御機能とを実現させるための画像処理装置用プログラムを含む。

上記実施形態において、画像解析処理装置であるプロセッサ装置１６に含まれる中央制御部５１、画像取得部５２、ＤＳＰ５３、ノイズ低減部５４、変換部５５、画像処理部５６、及び表示制御部５７といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像（動画を含む）を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、Ｘ線画像撮影装置（ＣＴ（Computed Tomography）検査装置及びマンモグラフィ装置等を含む）、ＭＲＩ（magnetic resonance imaging）装置、等に適用できる。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ スコープボタン１番
１２ｇ スコープボタン２番
１２ｈ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ ディスプレイ
１９ キーボード
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２２ 光源用プロセッサ
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４２ 照明レンズ
４３ 対物レンズ
４４ ズームレンズ
４５ イメージセンサ
４６ 撮影用プロセッサ
５１ 中央制御部
５２ 画像取得部
５３ ＤＳＰ
５４ ノイズ低減部
５５ 変換部
５６ 画像処理部
５７ 表示制御部
６１ 通常観察画像処理部
６２ 特殊観察画像処理部
６３ 診断支援画像処理部
７１ 認識対象画像生成部
７２ 画像認識処理部
７３ 認識結果取得部
７４ 録画制御部
７５ 表示用画像生成部
８１ 第１認識対象画像生成部
８２ 第２認識対象画像生成部
８３ 第３認識対象画像生成部
８４ 第４認識対象画像生成部
８４ａ 酸素飽和度用信号比算出部
８４ｂ 酸素飽和度算出用テーブル
８４ｃ 酸素飽和度算出部
８４ｄ 酸素飽和度画像生成部
８５ 第５認識対象画像生成部
８５ａ 色差拡張用信号比算出部
８５ｂ 色差拡張処理部
８５ｃ 色差拡張画像生成部
８６ 第ｎ認識対象画像生成部
９１ 第１画像認識部
９２ 第２画像認識部
９３ 第３画像認識部
９４ 第４画像認識部
９５ 第５画像認識部
９６ 第ｎ画像認識部
１０１ 第１対応情報取得部
１０２ 第２対応情報取得部
１０３ 第３対応情報取得部
１０４ 第４対応情報取得部
１０５ 第５対応情報取得部
１０６ 第ｎ対応情報取得部
９１０ ＰＡＣＳ
９１１ 診断支援装置
９２１ 第１検査装置
９２２ 第２検査装置
９２３ 第Ｋ検査装置
９２６ ネットワーク
９３０ 医療業務支援装置
Ａ１、Ａ２ 範囲
ＥＬｘ、ＥＬ１、ＥＬ２、ＥＬ３、ＥＬ４、ＥＬｙ 酸素飽和度の等値線
Ｐ１ 第１照明期間
Ｐ２ 第２照明期間
ＦＬ フレーム
Ｌ１ 第１照明光
Ｌ２、Ｌ２ａ、Ｌ２ｂ、Ｌ２ｃ、Ｌ２ｄ 第２照明光
Ｑ１、Ｑ２、Ｑ３、Ｑ４、Ｑ５ 発光周期
ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４ 第２照明光用分光スペクトル
ＩＭ１ 第１認識対象画像
ＩＭ２ａ 第５認識対象画像
ＩＭ２ｂ 第３認識対象画像
ＩＭ２ｃ 第２認識対象画像
ｔ１～ｔ６ 時刻
ＳＴ１１０～ＳＴ２００ ステップ

Claims (20)

1. 内視鏡を用いて観察対象を撮影することにより得られる画像に基づいて画像認識処理を行う画像処理装置であって、
   画像用プロセッサを備え、
   前記画像用プロセッサは、
   前記画像に基づく複数種類の認識対象画像を取得し、
   複数種類の前記認識対象画像のうち少なくとも１種類の前記認識対象画像を継続してディスプレイに表示する制御を行い、
   複数種類の前記認識対象画像に対する前記画像認識処理を、前記認識対象画像の種類毎に並列して行い、
   前記画像認識処理により得られる認識処理結果を取得し、
   取得した全種類の前記認識対象画像の前記認識処理結果に基づき、複数種類の前記認識対象画像のうち少なくとも１種類の前記認識対象画像の動画を記録する際の前記記録の動作を制御する画像処理装置。
2. 前記認識処理結果は、前記認識対象画像が予め設定した条件を満たすか又は満たさないかの情報を含み、
   前記画像用プロセッサは、前記全種類の前記認識処理結果のうち１つ以上が前記条件を満たすとの前記情報を含む場合、前記記録を開始又は継続する請求項１に記載の画像処理装置。
3. 前記画像用プロセッサは、前記全種類の前記認識処理結果のすべてが前記条件を満たさないとの情報を含み、かつ、前記記録が継続している場合、前記記録を停止する請求項２に記載の画像処理装置。
4. 前記画像用プロセッサは、前記動画を記録する際に、前記記録の開始もしくは継続又は停止の対応する前記条件に関する情報を前記動画に付す請求項３に記載の画像処理装置。
5. 前記画像用プロセッサは、前記条件を満たす前記観察対象と前記条件を満たす前記観察対象を撮影することにより得た前記認識対象画像とを対応付けた対応情報を予め取得し、
   前記対応情報に基づき、新たに取得した前記認識対象画像に対する前記画像認識処理を行う請求項２ないし４のいずれか１項に記載の画像処理装置。
6. 前記画像用プロセッサは、前記対応情報を前記認識対象画像の種類毎に取得し、
   新たに取得した前記認識対象画像に対する前記画像認識処理を、対応する種類の前記対応情報に基づき行う請求項５に記載の画像処理装置。
7. 前記条件は、前記画像用プロセッサにより、特定の部位又は生体以外の物体が検出されたこと、又は、特定状態の領域を含むと判定されたことである請求項２ないし６のいずれか１項に記載の画像処理装置。
8. 複数種類の前記認識対象画像は、少なくとも互いに種類が異なる第１認識対象画像と第２認識対象画像とを含み、
   前記画像用プロセッサは、前記第１認識対象画像に対しては、第１画像認識処理を行い、前記第２認識対象画像に対しては、前記第１画像認識処理とは異なる第２画像認識処理を行う請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記第１画像認識処理は、前記第１認識対象画像における特定の部位又は生体以外の物体の検出に関して行われる請求項８に記載の画像処理装置。
10. 前記第２画像認識処理は、前記第２認識対象画像における特定状態の領域を含むとの判定に関して行われる請求項８又は９に記載の画像処理装置。
11. 前記画像に対し強調処理を行うことにより前記認識対象画像を生成し、
    前記画像用プロセッサは、前記強調処理の有無又は種類により前記認識対象画像の種類を区別し、区別した前記認識対象画像をそれぞれ１種の前記認識対象画像として取得する請求項１ないし１０のいずれか１項に記載の画像処理装置。
12. 前記強調処理の種類は、色彩拡張処理及び／又は構造強調処理であり、
    前記画像用プロセッサは、互いに異なる種類の強調処理を行うことにより生成した前記認識対象画像を、それぞれ１種の前記認識対象画像として取得する請求項１１に記載の画像処理装置。
13. 請求項１ないし１２のいずれか１項に記載の画像処理装置と、
    前記観察対象に照射する照明光を発する光源部とを備える内視鏡システム。
14. 前記画像用プロセッサは、前記光源部が発する互いに分光スペクトルが異なる複数の照明光のそれぞれにより照明した前記観察対象を撮影することにより得られる前記画像を、それぞれ１種の前記認識対象画像として取得する請求項１３に記載の内視鏡システム。
15. 前記画像用プロセッサは、前記光源部が発する白色の照明光により照明した前記観察対象を撮影することにより得られる前記画像を、前記認識対象画像の１種として取得する請求項１３に記載の内視鏡システム。
16. 前記画像用プロセッサは、前記光源部が発する予め設定した波長帯域の狭帯域光を含む照明光により照明した前記観察対象を撮影することにより得られる前記画像を、前記認識対象画像の１種として取得する請求項１３に記載の内視鏡システム。
17. 前記光源部は、互いに分光スペクトルが異なる複数の照明光のそれぞれを、予め設定した順序により繰り返し発光する請求項１３ないし１６のいずれか１項に記載の内視鏡システム。
18. 前記光源部は、互いに分光スペクトルが異なる第１照明光と第２照明光とを発し、
    第１照明期間中に前記第１照明光を第１発光パターンにより発し、第２照明期間中に前記第２照明光を第２発光パターンにより発し、かつ、前記第１照明光と前記第２照明光とを切り替える光源用プロセッサと、
    前記第１照明光によって照明された観察対象を撮影して得られる第１画像信号と、前記第２照明光によって照明された前記観察対象を撮影して得られる第２画像信号とを出力するイメージセンサとを備え、
    前記画像用プロセッサは、
    前記第１画像信号に基づく前記第１認識対象画像に対して第１画像認識処理を行い、前記第２画像信号に基づく前記第２認識対象画像に対して第２画像認識処理を行い、
    前記第１画像認識処理による第１画像認識結果と、前記第２画像認識処理による第２画像認識結果とに基づき前記録画の動作を制御する請求項８を引用する請求項１３に記載の内視鏡システム。
19. 内視鏡を用いて観察対象を撮影することにより得られる画像に基づいて画像認識処理を行う画像処理装置の作動方法であって、
    前記画像に基づく複数種類の認識対象画像を取得する画像取得ステップと、
    複数種類の前記認識対象画像のうち少なくとも１種類の前記認識対象画像を継続してディスプレイに表示する制御を行う表示制御ステップと、
    複数種類の前記認識対象画像に対する前記画像認識処理を、前記認識対象画像の種類毎に並列して行う画像認識処理ステップと、
    前記画像認識処理により得られる認識処理結果を、前記認識対象画像の前記種類毎に取得する認識処理結果取得ステップと、
    複数種類の前記認識対象画像のうち少なくとも１種類の前記認識対象画像の動画を記録する際に、取得した全種類の前記認識対象画像の前記認識処理結果に基づき、前記記録の動作を制御する記録制御ステップとを備える画像処理装置の作動方法。
20. 内視鏡を用いて観察対象を撮影することにより得られる画像に基づいて画像認識処理を行う画像処理装置にインストールされる画像処理装置用プログラムにおいて、
    コンピュータに、
    前記画像に基づく複数種類の認識対象画像を取得する画像取得機能と、
    複数種類の前記認識対象画像のうち少なくとも１種類の前記認識対象画像を継続してディスプレイに表示する制御を行う表示制御機能と、
    複数種類の前記認識対象画像に対する前記画像認識処理を、前記認識対象画像の種類毎に並列して行う画像認識処理機能と、
    前記画像認識処理により得られる認識処理結果を、前記認識対象画像の前記種類毎に取得する認識処理結果取得機能と、
    複数種類の前記認識対象画像のうち少なくとも１種類の前記認識対象画像の動画を記録する際に、取得した全種類の前記認識対象画像の前記認識処理結果に基づき、前記記録の動作を制御する記録制御機能とを実現させるための画像処理装置用プログラム。
    

Images