JP2021074321A - 学習装置、学習方法および学習済みモデル - Google Patents

Abstract

【課題】医療機器による検査の最中に、被検体の体内のどの部位を観察しているのかを術者に把握させることができる学習装置、学習方法および学習済みモデルを提供する。【解決手段】本発明の学習装置、学習方法および学習済みモデルにおいては、画像取得部が、観察対象部位の観察順序が定められている複数の観察ステップの各々において、被検体の体内の観察対象部位の医用画像を取得し、ステップ予測部が、各々の観察ステップにおいて、学習結果に基づいて、医用画像から、医用画像に対応する観察ステップを予測した予測ステップを出力し、ステップ比較部が、各々の観察ステップにおいて、予測ステップと予測ステップに対応する正解ステップとを比較し、学習制御部が、各々の観察ステップにおいて、ステップ比較部による比較の結果に基づいて、予測ステップが正解ステップに近づくように、医用画像と予測ステップとの関係をステップ予測部に学習させる。【選択図】 図５

Description

本発明は、医用画像と予測ステップとの関係を複数の医用画像について学習し、その学習結果に基づいて、医用画像から、この医用画像に対応する観察ステップを予測した予測ステップを出力する学習装置、学習方法および学習済みモデルに関する。

例えば、超音波内視鏡システムは、経消化管による膵臓又は胆嚢等の観察を主な目的として、内視鏡観察部および超音波観察部を先端に有する超音波内視鏡を被検体の消化管内へ挿入し、消化管内の内視鏡画像、および消化管壁の外側にある部位の超音波画像を撮像する。

超音波内視鏡システムでは、超音波内視鏡の先端に有する照明部から消化管内の観察対象隣接部位に照明光を照射し、その反射光を超音波内視鏡の先端に有する撮像部によって受信し、反射光の撮像信号から内視鏡画像が生成される。また、超音波内視鏡の先端に有する複数の超音波振動子により、消化管壁の外側にある臓器等の観察対象部位に超音波を送受信し、超音波の受信信号から超音波画像が生成される。

ここで、本発明に関連性のある先行技術文献として、特許文献１，２がある。

特許文献１には、被検体内の診断部位の画像中の目的部位を大まかに抽出し、ニューラルネットワークを用いて目的部位を認識するための大局情報を予測し、大局情報を用いて目的部位の輪郭を認識し、原画像と共にその認識結果を表示することが記載されている。

特許文献２には、コイルからの電気信号に基づいて、超音波内視鏡の先端部の位置・配向データを生成し、この位置・配向データから、超音波内視鏡の挿入形状を示すための挿入形状データを生成し、被検者の臓器群等の組織構造の３次元生体組織モデルデータと組み合わせることによりガイド画像を生成し、超音波画像とガイド画像とを合成した合成画像の映像信号を生成してモニタに表示することが記載されている。

特開平０６−２３３７６１号公報 特開２０１０−０６９０１８号公報

体外超音波機器、内視鏡、超音波内視鏡等の医療機器を扱う術者（ユーザ）は、これらの医療機器によって撮像された画像を見て、今現在、被検体の体内のどの部位を観察しているのかを推測しながら、医療機器の操作を行う。しかし、これらの医療機器を用いて検査を行っている最中に、臓器等の目的とする部位を観察できているか、もしくは、今現在、どこから観察しているのかを把握するのは困難である。

例えば、内視鏡の場合、被検体の体内に挿入されたスコープの先端部に撮像系があるため、スコープの先端部が被検体の体内のどの位置にあるのかは分からない。また、超音波内視鏡の場合、超音波振動子を有する撮像部を目視で確認できない上に、撮像された超音波画像の解釈が難しい医療機器であるため、目的とする部位を見失ったり、目的とする部位にたどり着けなかったりすることが多々ある。

従って、術者が、定められた観察順序をたどりながら検査を行い、目的とする部位を網羅的に観察できるように考案された一連の観察ステップを利用することが有効である。しかし、目的とする多数の部位にわたる一連の観察ステップの全てを暗記し、かつ集中力の必要な検査中に思い出しながら全ての観察ステップをたどっていくのは困難である。そのため、画像認識による観察ステップの認識技術が求められている。

本発明の目的は、上記従来技術の問題を解消し、医療機器による検査の最中に、被検体の体内のどの部位を観察しているのかを術者に把握させることができる学習装置、学習方法および学習済みモデルを提供することにある。

上記目的を達成するために、本発明は、観察対象部位の観察順序が定められている複数の観察ステップの各々において、被検体の体内の観察対象部位の医用画像を取得する画像取得部と、
各々の観察ステップにおいて、学習結果に基づいて、医用画像から、医用画像に対応する観察ステップを予測した予測ステップを出力するステップ予測部と、
各々の観察ステップに対応する各々の正解ステップを保持する正解ステップ保持部と、
各々の観察ステップにおいて、予測ステップと予測ステップに対応する正解ステップとを比較するステップ比較部と、
各々の観察ステップにおいて、ステップ比較部による比較の結果に基づいて、予測ステップが正解ステップに近づくように、医用画像と予測ステップとの関係をステップ予測部に学習させる学習制御部と、を備える、学習装置を提供する。

ここで、観察ステップ、予測ステップおよび正解ステップは、ラベル番号で表されることが好ましい。

また、ラベル番号は、観察対象部位の観察順序に基づいて設定されることが好ましい。

また、ステップ予測部は、損失関数を用いる畳み込みニューラルネットワークであり、
学習制御部は、予測ステップのラベル番号と正解ステップのラベル番号との差分に基づいて計算される損失関数の出力を最小化するように、医用画像と予測ステップとの関係を畳み込みニューラルネットワークに学習させることが好ましい。

また、畳み込みニューラルネットワークは、予測ステップとして、医用画像が各々の観察ステップに対応する医用画像である確率を表す複数の要素を含む離散確率分布ベクトルを出力し、
正解ステップは、正解の観察ステップに対応する要素の確率が１であり、正解ではない観察ステップに対応する要素の確率が０である離散確率分布ベクトルであり、
損失関数は、予測ステップの離散確率分布ベクトルと正解ステップの離散確率分布ベクトルとの差分を表すことが好ましい。

また、畳み込みニューラルネットワークは、ソフトマックス関数を用いて、複数の要素の確率の合計が１になる離散確率分布ベクトルを出力することが好ましい。

また、畳み込みニューラルネットワークは、シグモイド関数を用いて、複数の要素の各々が、各々の観察ステップである確率を表す離散確率分布ベクトルを出力することが好ましい。

また、畳み込みニューラルネットワークは、予測ステップとして、ラベル番号を予測したスカラーを出力し、
正解ステップは、ラベル番号を表すスカラーであり、
損失関数は、予測ステップのスカラーと正解ステップのスカラーとの差分を表すことが好ましい。

また、損失関数は、差分が閾値より大きい場合に、差分が閾値より小さい場合よりも、損失関数の出力が大きくなるように調整することが好ましい。

また、複数の観察ステップは、いずれの観察対象部位も観察していない状態を表す観察ステップを含むことが好ましい。

また、観察ステップは、観察対象部位の観察順序に従って被検体の体内の観察対象部位の医用画像を観察する場合に、観察対象部位の観察順序に基づいて設定された順番を表すことが好ましい。

また、画像取得部は、被検体の体腔内に挿入され、被検体の体内から撮像された被検体の体内の医用画像を取得する機器であることが好ましい。

また、医用画像は超音波画像であることが好ましい。

また、医用画像は、超音波内視鏡により被検体の体内の観察対象部位が撮像された超音波画像であることが好ましい。

また、本発明は、画像取得部が、観察対象部位の観察順序が定められている複数の観察ステップの各々において、被検体の体内の観察対象部位の医用画像を取得し、
ステップ予測部が、各々の観察ステップにおいて、学習結果に基づいて、医用画像から、医用画像に対応する観察ステップを予測した予測ステップを出力し、
ステップ比較部が、各々の観察ステップにおいて、予測ステップと予測ステップに対応する正解ステップとを比較し、
学習制御部が、各々の観察ステップにおいて、ステップ比較部による比較の結果に基づいて、予測ステップが正解ステップに近づくように、医用画像と予測ステップとの関係をステップ予測部に学習させる、学習方法を提供する。

また、本発明は、上記の学習方法により医用画像と予測ステップとの関係を複数の医用画像について学習し、学習結果に基づいて、画像取得部によって取得された医用画像から、画像取得部によって取得された医用画像に対応する観察ステップを予測した予測ステップを出力する、学習済みモデルを提供する。

また、ステップ予測部、ステップ比較部および学習制御部は、ハードウェア、または、プログラムを実行するプロセッサであることが好ましく、正解ステップ保持部は、ハードウェア、または、メモリであるのが好ましい。

本発明においては、医療機器による検査の最中に、予測ステップに関する情報を表示させることができるため、今現在、被検体の体内のどの部位を観察しているのかを術者に確実に把握させることができる。

本発明の一実施形態に係る超音波内視鏡システムの概略構成を示す図である。 超音波内視鏡の挿入部の先端部及びその周辺を示す平面図である。 超音波内視鏡の挿入部の先端部を図２に図示のＩ−Ｉ断面にて切断したときの断面を示す図である。 超音波観測装置の構成を示すブロック図である。 超音波画像認識部の構成を表す一実施形態のブロック図である。 超音波内視鏡システムを用いた診断処理の流れを示す図である。 診断処理中の診断ステップの手順を示す図である。 超音波内視鏡システムによる超音波診断の検査開始から検査終了までの流れを表す概念図である。 ソフトマックス関数を用いる畳み込みニューラルネットワークの出力を表す概念図である。 シグモイド関数を用いる畳み込みニューラルネットワークの出力を表す概念図である。

本発明の学習装置を適用する一実施形態の超音波内視鏡システムについて、添付の図面に示す好適な実施形態を参照しながら、以下に詳細に説明する。
なお、本実施形態は、本発明の代表的な実施態様であるが、あくまでも一例に過ぎず、本発明を限定するものではない。

＜＜超音波内視鏡システムの概要＞＞
本実施形態に係る超音波内視鏡システム１０について、図１を参照しながら、その概要を説明する。図１は、超音波内視鏡システム１０の概略構成を示す図である。

超音波内視鏡システム１０は、超音波を用いて、被検体である患者の体内の観察対象部位の状態を観察（以下、超音波診断ともいう）するために用いられる。ここで、観察対象部位は、患者の体表側からは検査が困難な部位であり、例えば膵臓又は胆嚢等を含む部位である。超音波内視鏡システム１０を用いることにより、患者の体腔である食道、胃、十二指腸、小腸、及び大腸等の消化管を経由して、観察対象部位の状態及び異常の有無を超音波診断することが可能である。

超音波内視鏡システム１０は、超音波画像および内視鏡画像を取得するものであり、図１に示すように、超音波内視鏡１２と、超音波観測装置１４と、内視鏡プロセッサ１６と、光源装置１８と、モニタ２０と、送水タンク２１ａと、吸引ポンプ２１ｂと、操作卓１００と、を有する。

超音波内視鏡１２は、患者の体腔内に挿入される挿入部２２と、医師又は技師等の術者（ユーザ）によって操作される操作部２４と、挿入部２２の先端部４０に取り付けられた超音波振動子ユニット４６（図２および図３を参照）と、を備える。超音波内視鏡１２は、超音波観察部３６として、超音波振動子ユニット４６が備える複数の超音波振動子４８を先端に有する（図２および図３参照）。また、超音波内視鏡１２は、内視鏡観察部３８として、照明窓８８等を含む照明部と、観察窓８２、対物レンズ８４および固体撮像素子８６等を含む撮像部と、を先端に有する（図２および図３参照）。術者は、超音波内視鏡１２の機能によって、内視鏡画像および超音波画像を取得する。

ここで、「内視鏡画像」は、患者の体腔内壁を光学的手法によって撮影することで得られる画像である。また、「超音波画像」は、患者の体腔内から観察対象部位に向かって送信された超音波の反射波（エコー）を受信し、その受信信号を画像化することで得られる画像である。
なお、超音波内視鏡１２については、後の項で詳しく説明する。

超音波観測装置１４は、ユニバーサルコード２６及びその端部に設けられた超音波用コネクタ３２ａを介して超音波内視鏡１２に接続される。超音波観測装置１４は、超音波内視鏡１２の超音波振動子ユニット４６を制御して超音波を送信させる。また、超音波観測装置１４は、送信された超音波の反射波（エコー）を超音波振動子ユニット４６が受信したときの受信信号を画像化して超音波画像を生成する。言い換えると、超音波観測装置１４は、超音波振動子ユニット４６が備える複数の超音波振動子４８により超音波を送受信させ、超音波の受信信号から超音波画像を生成する。
なお、超音波観測装置１４については、後の項で詳しく説明する。

内視鏡プロセッサ１６は、ユニバーサルコード２６及びその端部に設けられた内視鏡用コネクタ３２ｂを介して超音波内視鏡１２に接続される。内視鏡プロセッサ１６は、超音波内視鏡１２（詳しくは、後述する固体撮像素子８６）によって撮像された観察対象隣接部位の画像データを取得し、取得した画像データに対して所定の画像処理を施して内視鏡画像を生成する。言い換えると、内視鏡プロセッサ１６は、超音波内視鏡１２の先端に有する照明部から照射される照明光の反射光を、同じく超音波内視鏡１２の先端に有する撮像部によって受信させ、反射光の撮像信号から内視鏡画像を生成する。
ここで、「観察対象隣接部位」とは、患者の体腔内壁のうち、観察対象部位と隣り合う位置にある部分である。

なお、本実施形態では、超音波観測装置１４及び内視鏡プロセッサ１６が、別々に設けられた２台の装置（コンピュータ）によって構成されている。ただし、これに限定されるものではなく、１台の装置によって超音波観測装置１４及び内視鏡プロセッサ１６の双方が構成されてもよい。

光源装置１８は、ユニバーサルコード２６及びその端部に設けられた光源用コネクタ３２ｃを介して超音波内視鏡１２に接続される。光源装置１８は、超音波内視鏡１２を用いて観察対象隣接部位を撮像する際に、赤光、緑光及び青光の３原色光からなる白色光又は特定波長光を照射する。光源装置１８が照射した光は、ユニバーサルコード２６に内包されたライトガイド（不図示）を通じて超音波内視鏡１２内を伝搬し、超音波内視鏡１２（詳しくは、後述する照明窓８８）から出射される。これにより、観察対象隣接部位が光源装置１８からの光によって照らされる。

モニタ２０は、超音波観測装置１４に接続されており、超音波観測装置１４により生成された超音波画像、内視鏡プロセッサ１６により生成された内視鏡画像等を表示する。
超音波画像及び内視鏡画像の表示方式としては、１の画像を他の画像のうちの１つに切り替えてモニタ２０に表示する方式でもよく、２以上の画像を同時に並べて表示する方式でもよい。
なお、本実施形態では、一台のモニタ２０に超音波画像及び内視鏡画像を表示するが、超音波画像表示用のモニタと、内視鏡画像表示用のモニタと、が別々に設けられてもよい。また、モニタ２０以外の表示形態、例えば、術者が携帯する端末のディスプレイに表示する形態にて超音波画像及び内視鏡画像を表示してもよい。

操作卓（指示取得部）１００は、術者（ユーザ）から入力される指示を取得する指示取得部の一例であり、超音波診断に際して術者が必要な情報を入力したり、超音波観測装置１４に対して超音波診断の開始指示を行ったりするためなどに設けられた装置である。操作卓１００は、例えば、キーボード、マウス、トラックボール、タッチパッド及びタッチパネル等によって構成されている。操作卓１００が操作されると、その操作内容に応じて超音波観測装置１４のＣＰＵ（制御回路）１５２（図４参照）が装置各部（例えば、後述の受信回路１４２及び送信回路１４４）を制御する。

具体的に説明すると、術者は、超音波診断を開始する前段階で、検査情報（例えば、年月日及びオーダ番号等を含む検査オーダ情報、及び、患者ＩＤ及び患者名等を含む患者情報）を操作卓１００にて入力する。検査情報の入力完了後、術者が操作卓１００を通じて超音波診断の開始を指示すると、超音波観測装置１４のＣＰＵ１５２が、入力された検査情報に基づいて超音波診断が実施されるように超音波観測装置１４各部を制御する。

また、術者は、超音波診断の実施に際して、各種の制御パラメータを操作卓１００にて設定することが可能である。制御パラメータとしては、例えば、ライブモード及びフリーズモードの選択結果、表示深さ（深度）の設定値、及び、超音波画像生成モードの選択結果等が挙げられる。
ここで、「ライブモード」は、所定のフレームレートにて得られる超音波画像（動画像）を逐次表示（リアルタイム表示）するモードである。「フリーズモード」は、過去に生成された超音波画像（動画像）の１フレームの画像（静止画像）を、後述のシネメモリ１５０から読み出して表示するモードである。

本実施形態において選択可能な超音波画像生成モードは、複数存在し、具体的には、Ｂ（Ｂｒｉｇｈｔｎｅｓｓ）モード、ＣＦ（Ｃｏｌｏｒ Ｆｌｏｗ）モード及びＰＷ（Ｐｕｌｓｅ Ｗａｖｅ）モードである。Ｂモードは、超音波エコーの振幅を輝度に変換して断層画像を表示するモードである。ＣＦモードは、平均血流速度、フロー変動、フロー信号の強さ又はフローパワー等を様々な色にマッピングしてＢモード画像に重ねて表示するモードである。ＰＷモードは、パルス波の送受信に基づいて検出される超音波エコー源の速度（例えば、血流の速度）を表示するモードである。
なお、上述した超音波画像生成モードは、あくまでも一例であり、上述した３種類のモード以外のモード、例えば、Ａ（Ａｍｐｌｉｔｕｄｅ）モード、Ｍ（Ｍｏｔｉｏｎ）モード及び造影モード等が更に含まれてもよい。

＜＜超音波内視鏡１２の構成＞＞
次に、超音波内視鏡１２の構成について、既出の図１、および図２、図３および図４を参照しながら説明する。図２は、超音波内視鏡１２の挿入部２２の先端部４０及びその周辺を拡大して示した平面図である。図３は、超音波内視鏡１２の挿入部２２の先端部４０を図２に図示のＩ−Ｉ断面にて切断したときの断面を示す断面図である。図４は、超音波観測装置１４の構成を示すブロック図である。

超音波内視鏡１２は、前述したように挿入部２２及び操作部２４を有する。挿入部２２は、図１に示すように先端側（自由端側）から順に、先端部４０、湾曲部４２及び軟性部４３を備える。先端部４０には、図２に示すように超音波観察部３６及び内視鏡観察部３８が設けられている。超音波観察部３６には、図３に示すように、複数の超音波振動子４８を備える超音波振動子ユニット４６が配置されている。

また、図２に示すように先端部４０には処置具導出口４４が設けられている。処置具導出口４４は、鉗子、穿刺針、若しくは高周波メス等の処置具（不図示）の出口となる。また、処置具導出口４４は、血液及び体内汚物等の吸引物を吸引する際の吸引口にもなる。

湾曲部４２は、先端部４０よりも基端側（超音波振動子ユニット４６が設けられている側とは反対側）に連設された部分であり、湾曲自在である。軟性部４３は、湾曲部４２と操作部２４との間を連結している部分であり、可撓性を有し、細長く延びた状態で設けられている。

挿入部２２及び操作部２４の各々の内部には、送気送水用の管路及び吸引用の管路が、それぞれ複数形成されている。さらに、挿入部２２及び操作部２４の各々の内部には、一端が処置具導出口４４に通じる処置具チャンネル４５が形成されている。

次に、超音波内視鏡１２の構成要素のうち、超音波観察部３６、内視鏡観察部３８、送水タンク２１ａ及び吸引ポンプ２１ｂ、並びに操作部２４に関して詳しく説明する。

（超音波観察部３６）
超音波観察部３６は、超音波画像を取得するために設けられた部分であり、挿入部２２の先端部４０において先端側に配置されている。超音波観察部３６は、図３に示すように超音波振動子ユニット４６と、複数の同軸ケーブル５６と、ＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）６０とを備える。

超音波振動子ユニット４６は、超音波探触子（プローブ）に相当し、患者の体腔内において、後述する複数の超音波振動子４８が配列された超音波振動子アレイ５０を用いて超音波を送信し、且つ、観察対象部位にて反射した超音波の反射波（エコー）を受信して受信信号を出力する。本実施形態に係る超音波振動子ユニット４６は、コンベックス型であり、放射状（円弧状）に超音波を送信する。ただし、超音波振動子ユニット４６の種類（型式）については特にこれに限定されるものではなく、超音波を送受信できるものであれば他の種類でもよく、例えば、ラジアル型、リニア型等であってもよい。

超音波振動子ユニット４６は、図３に示すようにバッキング材層５４と、超音波振動子アレイ５０と、音響整合層７４と、音響レンズ７６とを積層させることで構成されている。

超音波振動子アレイ５０は、一次元アレイ状に配列された複数の超音波振動子４８（超音波トランスデューサ）からなる。より詳しく説明すると、超音波振動子アレイ５０は、Ｎ個（例えばＮ＝１２８）の超音波振動子４８が先端部４０の軸線方向（挿入部２２の長手軸方向）に沿って凸湾曲状に等間隔で配列されることで構成されている。なお、超音波振動子アレイ５０は、複数の超音波振動子４８を二次元アレイ状に配置して構成されたものであってもよい。

Ｎ個の超音波振動子４８の各々は、圧電素子（圧電体）の両面に電極を配置することで構成されている。圧電素子としては、チタン酸バリウム（BaTiO₃）、チタン酸ジルコン酸鉛（PZT）、ニオブ酸カリウム（KNｂO₃）等が用いられる。
電極は、複数の超音波振動子４８の各々に対して個別に設けられた個別電極（不図示）と、複数の超音波振動子４８に共通の振動子グランド（不図示）とからなる。また、電極は、同軸ケーブル５６及びＦＰＣ６０を介して超音波観測装置１４と電気的に接続される。

各超音波振動子４８には、パルス状の駆動電圧が、入力信号（送信信号）として超音波観測装置１４から同軸ケーブル５６を通じて供給される。この駆動電圧が超音波振動子４８の電極に印加されると、圧電素子が伸縮して超音波振動子４８が駆動（振動）する。この結果、超音波振動子４８からパルス状の超音波が出力される。このとき、超音波振動子４８から出力される超音波の振幅は、その超音波振動子４８が超音波を出力した際の強度（出力強度）に応じた大きさとなっている。ここで、出力強度は、超音波振動子４８から出力された超音波の音圧の大きさとして定義される。

また、各超音波振動子４８は、超音波の反射波（エコー）を受信すると、これに伴って振動（駆動）し、各超音波振動子４８の圧電素子が電気信号を発生する。この電気信号は、超音波の受信信号として各超音波振動子４８から超音波観測装置１４に向けて出力される。このとき、超音波振動子４８から出力される電気信号の大きさ（電圧値）は、その超音波振動子４８が超音波を受信した際の受信感度に応じた大きさとなっている。ここで、受信感度は、超音波振動子４８が送信する超音波の振幅に対する、その超音波振動子４８が超音波を受信して出力した電気信号の振幅の比として定義される。

本実施形態では、Ｎ個の超音波振動子４８をマルチプレクサ１４０（図４参照）などの電子スイッチで順次駆動させることで、超音波振動子アレイ５０が配された曲面に沿った走査範囲、例えば曲面の曲率中心から数十ｍｍ程度の範囲で超音波が走査される。より詳しく説明すると、超音波画像としてＢモード画像（断層画像）を取得する場合には、マルチプレクサ１４０の開口チャンネル選択により、Ｎ個の超音波振動子４８のうち、連続して並ぶｍ個（例えば、ｍ＝Ｎ／２）の超音波振動子４８（以下では、駆動対象振動子と言う）に駆動電圧が供給される。これにより、ｍ個の駆動対象振動子が駆動され、開口チャンネルの各駆動対象振動子から超音波が出力される。ｍ個の駆動対象振動子から出力された超音波は、直後に合成され、その合成波（超音波ビーム）が観察対象部位に向けて送信される。その後、ｍ個の駆動対象振動子の各々は、観察対象部位にて反射された超音波（エコー）を受信し、その時点での受信感度に応じた電気信号（受信信号）を出力する。

そして、上記一連の工程（すなわち、駆動電圧の供給、超音波の送受信、及び電気信号の出力）は、Ｎ個の超音波振動子４８における駆動対象振動子の位置を１つずつ（１個の超音波振動子４８ずつ）ずらして繰り返し行われる。具体的に説明すると、上記一連の工程は、Ｎ個の超音波振動子４８のうち、一方の端に位置する超音波振動子４８を中心とする、その両側のｍ個の駆動対象振動子から開始される。そして、上記一連の工程は、マルチプレクサ１４０による開口チャンネルの切り替えによって駆動対象振動子の位置がずれる度に繰り返される。最終的に、上記一連の工程は、Ｎ個の超音波振動子４８のうち、他端に位置する超音波振動子４８を中心とする、その両側のｍ個の駆動対象振動子に至るまで、計Ｎ回繰り返して実施される。

バッキング材層５４は、超音波振動子アレイ５０の各超音波振動子４８を裏面側から支持する。また、バッキング材層５４は、超音波振動子４８から発せられた超音波、若しくは観察対象部位にて反射された超音波（エコー）のうち、バッキング材層５４側に伝播した超音波を減衰させる機能を有する。なお、バッキング材は、硬質ゴム等の剛性を有する材料からなり、超音波減衰材（フェライト及びセラミックス等）が必要に応じて添加されている。

音響整合層７４は、超音波振動子アレイ５０の上に重ねられており、患者の人体と超音波振動子４８との間の音響インピーダンス整合をとるために設けられている。音響整合層７４が設けられていることにより、超音波の透過率を高めることが可能となる。音響整合層７４の材料としては、音響インピーダンスの値が超音波振動子４８の圧電素子に比して、より患者の人体のものの値に近い様々な有機材料を用いることができる。音響整合層７４の材料としては、具体的にはエポキシ系樹脂、シリコンゴム、ポリイミド及びポリエチレン等が挙げられる。

音響整合層７４上に重ねられた音響レンズ７６は、超音波振動子アレイ５０から発せられる超音波を観察対象部位に向けて収束させるためのものである。なお、音響レンズ７６は、例えば、シリコン系樹脂（ミラブル型シリコンゴム（ＨＴＶゴム）、液状シリコンゴム（ＲＴＶゴム）等）、ブタジエン系樹脂、及びポリウレタン系樹脂等からなり、必要に応じて酸化チタン、アルミナ若しくはシリカ等の粉末が混合される。

ＦＰＣ６０は、各超音波振動子４８が備える電極と電気的に接続される。複数の同軸ケーブル５６の各々は、その一端にてＦＰＣ６０に配線されている。そして、超音波内視鏡１２が超音波用コネクタ３２ａを介して超音波観測装置１４に接続されると、複数の同軸ケーブル５６の各々は、その他端（ＦＰＣ６０側とは反対側）にて超音波観測装置１４と電気的に接続される。

（内視鏡観察部３８）
内視鏡観察部３８は、内視鏡画像を取得するために設けられた部分であり、挿入部２２の先端部４０において超音波観察部３６よりも基端側に配置されている。内視鏡観察部３８は、図２および図３に示すように観察窓８２、対物レンズ８４、固体撮像素子８６、照明窓８８、洗浄ノズル９０及び配線ケーブル９２等によって構成されている。

観察窓８２は、挿入部２２の先端部４０において軸線方向（挿入部２２の長手軸方向）に対して斜めに傾けられた状態で取り付けられている。観察対象隣接部位にて反射されて観察窓８２から入射された光は、対物レンズ８４で固体撮像素子８６の撮像面に結像される。

固体撮像素子８６は、観察窓８２及び対物レンズ８４を透過して撮像面に結像された観察対象隣接部位の反射光を光電変換して、撮像信号を出力する。固体撮像素子８６としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）、及びＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭｅｔａｌＯｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補形金属酸化膜半導体）等が利用可能である。固体撮像素子８６で出力された撮像画像信号は、挿入部２２から操作部２４まで延設された配線ケーブル９２を経由して、ユニバーサルコード２６により内視鏡プロセッサ１６に伝送される。

照明窓８８は、観察窓８２の両脇位置に設けられている。照明窓８８には、ライトガイド（不図示）の出射端が接続されている。ライトガイドは、挿入部２２から操作部２４まで延設され、その入射端は、ユニバーサルコード２６を介して接続された光源装置１８に接続されている。光源装置１８で発せられた照明光は、ライトガイドを伝わり、照明窓８８から観察対象隣接部位に向けて照射される。

洗浄ノズル９０は、観察窓８２及び照明窓８８の表面を洗浄するために挿入部２２の先端部４０に形成された噴出孔であり、洗浄ノズル９０からは、空気又は洗浄用液体が観察窓８２及び照明窓８８に向けて噴出される。なお、本実施形態において、洗浄ノズル９０から噴出される洗浄用液体は、水、特に脱気水である。ただし、洗浄用液体については、特に限定されるものではなく、他の液体、例えば、通常の水（脱気されていない水）であってもよい。

（送水タンク２１ａ及び吸引ポンプ２１ｂ）
送水タンク２１ａは、脱気水を貯留するタンクであり、送気送水用チューブ３４ａにより光源用コネクタ３２ｃに接続されている。なお、脱気水は、洗浄ノズル９０から噴出される洗浄用液体として用いられる。

吸引ポンプ２１ｂは、処置具導出口４４を通じて体腔内の吸引物（洗浄用に供給された脱気水を含む）を吸引する。吸引ポンプ２１ｂは、吸引用チューブ３４ｂにより光源用コネクタ３２ｃに接続されている。なお、超音波内視鏡システム１０は、所定の送気先に空気を送気する送気ポンプなどを備えていてもよい。

挿入部２２及び操作部２４内には、処置具チャンネル４５と送気送水管路（不図示）が設けられている。

処置具チャンネル４５は、操作部２４に設けられた処置具挿入口３０と処置具導出口４４との間を連絡している。また、処置具チャンネル４５は、操作部２４に設けられた吸引ボタン２８ｂに接続している。吸引ボタン２８ｂは、処置具チャンネル４５のほかに、吸引ポンプ２１ｂに接続されている。
送気送水管路は、その一端側で洗浄ノズル９０に通じており、他端側では、操作部２４に設けられた送気送水ボタン２８ａに接続している。送気送水ボタン２８ａは、送気送水管路のほかに、送水タンク２１ａに接続されている。

（操作部２４）
操作部２４は、超音波診断の開始時、診断中及び診断終了時等において術者によって操作される部分であり、その一端にはユニバーサルコード２６の一端が接続されている。また、操作部２４は、図１に示すように、送気送水ボタン２８ａ、吸引ボタン２８ｂ、一対のアングルノブ２９、並びに処置具挿入口（鉗子口）３０を有する。

一対のアングルノブ２９の各々を回動すると、湾曲部４２が遠隔的に操作されて湾曲変形する。この変形操作により、超音波観察部３６及び内視鏡観察部３８が設けられた挿入部２２の先端部４０を所望の方向に向けることが可能となる。
処置具挿入口３０は、鉗子等の処置具（不図示）を挿通するために形成された孔であり、処置具チャンネル４５を介して処置具導出口４４と連絡している。処置具挿入口３０に挿入された処置具は、処置具チャンネル４５を通過した後に処置具導出口４４から体腔内に導入される。

送気送水ボタン２８ａ及び吸引ボタン２８ｂは、２段切り替え式の押しボタンであり、挿入部２２及び操作部２４の各々の内部に設けられた管路の開閉を切り替えるために操作される。

＜＜内視鏡プロセッサ１６の概略構成＞＞
ここでは、内視鏡プロセッサ１６の詳細構成の説明は省略するが、内視鏡プロセッサ１６は、内視鏡画像を撮像する従来公知の一般的な構成要素を備えている。内視鏡プロセッサ１６によって生成される内視鏡画像は、後述する超音波観測装置１４の表示制御部１７２へ転送される。

＜＜超音波観測装置１４の構成＞＞
超音波観測装置１４は、超音波振動子ユニット４６に超音波を送受信させ、且つ、超音波受信時に超音波振動子４８（詳しくは駆動対象素子）が出力した受信信号を画像化して超音波画像を生成する。また、超音波観測装置１４は、生成した超音波画像に加え、内視鏡プロセッサ１６から転送される内視鏡画像等をモニタ２０に表示する。

超音波観測装置１４は、図４に示すように、マルチプレクサ１４０、受信回路１４２、送信回路１４４、Ａ／Ｄコンバータ１４６、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１４８、シネメモリ１５０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５２、ＤＳＣ（Ｄｉｇｉｔａｌ Ｓｃａｎ Ｃｏｎｖｅｒｔｅｒ）１５４、超音波画像認識部１６８、及び表示制御部１７２を有する。

受信回路１４２及び送信回路１４４は、超音波内視鏡１２の超音波振動子アレイ５０と電気的に接続する。マルチプレクサ１４０は、Ｎ個の超音波振動子４８の中から最大ｍ個の駆動対象振動子を選択し、そのチャンネルを開口させる。
送信回路１４４は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、パルサー（パルス発生回路１５８）、及びＳＷ（スイッチ）等からなり、ＭＵＸ（マルチプレクサ１４０）に接続される。なお、ＦＰＧＡの代わりにＡＳＩＣ（特定用途向け集積回路）を用いても良い。

送信回路１４４は、超音波振動子ユニット４６から超音波を送信するために、ＣＰＵ１５２から送られてくる制御信号に従って、マルチプレクサ１４０により選択された駆動対象振動子に対して超音波送信用の駆動電圧を供給する回路である。駆動電圧は、パルス状の電圧信号（送信信号）であり、ユニバーサルコード２６及び同軸ケーブル５６を介して駆動対象振動子の電極に印加される。

送信回路１４４は、制御信号に基づいて送信信号を生成するパルス発生回路１５８を有しており、ＣＰＵ１５２の制御により、パルス発生回路１５８を用いて、複数の超音波振動子４８を駆動して超音波を発生させる送信信号を生成して複数の超音波振動子４８に供給する。より詳しくは、送信回路１４４は、ＣＰＵ１５２の制御により、超音波診断を行う場合に、パルス発生回路１５８を用いて、超音波診断を行うための駆動電圧を有する送信信号を生成する。

受信回路１４２は、超音波（エコー）を受信した駆動対象振動子から出力される電気信号、すなわち受信信号を受信する回路である。また、受信回路１４２は、ＣＰＵ１５２から送られてくる制御信号に従って、超音波振動子４８から受信した受信信号を増幅し、増幅後の信号をＡ／Ｄコンバータ１４６に引き渡す。Ａ／Ｄコンバータ１４６は、受信回路１４２と接続しており、受信回路１４２から受け取った受信信号をアナログ信号からデジタル信号に変換し、変換後のデジタル信号をＡＳＩＣ１４８に出力する。

ＡＳＩＣ１４８は、Ａ／Ｄコンバータ１４６と接続しており、図４に示すように、位相整合部１６０、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４、ＣＦモード画像生成部１６６及びメモリコントローラ１５１を構成している。
なお、本実施形態では、ＡＳＩＣ１４８のようなハードウェア回路によって上述の機能（具体的には、位相整合部１６０、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４、ＣＦモード画像生成部１６６及びメモリコントローラ１５１）を実現しているが、これに限定されるものではない。中央演算装置（ＣＰＵ）と各種データ処理を実行させるためのソフトウェア（コンピュータプログラム）とを協働させることで上記の機能を実現させてもよい。

位相整合部１６０は、Ａ／Ｄコンバータ１４６によりデジタル信号化された受信信号（受信データ）に対して遅延時間を与えて整相加算する（受信データの位相を合わせてから加算する）処理を実行する。整相加算処理により、超音波エコーの焦点が絞り込まれた音線信号が生成される。

Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４及びＣＦモード画像生成部１６６は、超音波振動子ユニット４６が超音波を受信した際に複数の超音波振動子４８のうちの駆動対象振動子が出力する電気信号（厳密には、受信データを整相加算することで生成された音線信号）に基づいて、超音波画像を生成する。

Ｂモード画像生成部１６２は、患者の内部（体腔内）の断層画像であるＢモード画像を生成する画像生成部である。Ｂモード画像生成部１６２は、順次生成される音線信号に対し、ＳＴＣ（Ｓｅｎｓｉｔｉｖｉｔｙ Ｔｉｍｅ ｇａｉｎ Ｃｏｎｔｒｏｌ）によって、超音波の反射位置の深度に応じて伝搬距離に起因する減衰の補正を施す。また、Ｂモード画像生成部１６２は、補正後の音線信号に対して包絡線検波処理及びＬｏｇ（対数）圧縮処理を施して、Ｂモード画像（画像信号）を生成する。

ＰＷモード画像生成部１６４は、所定方向における血流の速度を表示する画像を生成する画像生成部である。ＰＷモード画像生成部１６４は、位相整合部１６０によって順次生成される音線信号のうち、同一方向における複数の音線信号に対して高速フーリエ変換を施すことで周波数成分を抽出する。その後、ＰＷモード画像生成部１６４は、抽出した周波数成分から血流の速度を算出し、算出した血流の速度を表示するＰＷモード画像（画像信号）を生成する。

ＣＦモード画像生成部１６６は、所定方向における血流の情報を表示する画像を生成する画像生成部である。ＣＦモード画像生成部１６６は、位相整合部１６０によって順次生成される音線信号のうち、同一方向における複数の音線信号の自己相関を求めることで、血流に関する情報を示す画像信号を生成する。その後、ＣＦモード画像生成部１６６は、上記の画像信号に基づき、Ｂモード画像生成部１６２によって生成されるＢモード画像信号に血流に関する情報を重畳させたカラー画像としてのＣＦモード画像（画像信号）を生成する。

メモリコントローラ１５１は、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４又はＣＦモード画像生成部１６６が生成した画像信号をシネメモリ１５０に格納する。

ＤＳＣ１５４は、ＡＳＩＣ１４８に接続されており、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４又はＣＦモード画像生成部１６６が生成した画像の信号を通常のテレビジョン信号の走査方式に従う画像信号に変換（ラスター変換）し、画像信号に階調処理等の各種の必要な画像処理を施した後に超音波画像認識部１６８および表示制御部１７２に出力する。

ここで、図１に示す超音波内視鏡システム１０において、超音波内視鏡１２、超音波観測装置１４および内視鏡プロセッサ１６によって生成される内視鏡画像および超音波画像を取得する部位は、本発明の画像取得部を構成する。
画像取得部は、観察対象部位の観察順序が定められている複数の観察ステップの各々において、被検体の体内の観察対象部位の医用画像（内視鏡画像および超音波画像）を取得する。

超音波画像認識部１６８は、観察対象部位の観察順序が定められている複数の観察ステップの各々において、超音波画像（医用画像）に対応する予測ステップが、その正解ステップに近づくように、超音波画像と超音波画像に対応する予測ステップとの関係を複数の超音波画像について学習し、この学習結果に基づいて、ＤＳＣ１５４によってラスター変換された超音波画像を認識し、つまり、画像取得部によって取得された患者の体内の観察対象部位の超音波画像から、この超音波画像に対応する観察ステップを予測した予測ステップを出力する。超音波画像認識部１６８から出力される予測ステップは、後述する表示制御部１７２（図４参照）に出力される。

観察対象部位の観察順序とは、患者の体腔内において超音波画像を撮像（観察）する観察対象部位の順番である。観察対象部位の観察順序は、臓器等の体内での位置等に基づいて、超音波診断において、主に、病変部位等を見つけるためのスクリーニング時に、目的とする臓器等を含む、複数の観察対象部位を網羅的に順次観察できるように決定されている。観察対象部位の観察順序については、後に一例を挙げて説明する。

観察ステップは、観察対象部位の観察順序に従って患者の体内の観察対象部位の超音波画像を撮像（観察）する場合に、観察対象部位の観察順序に基づいて設定された順番を表す。例えば、１番目の観察対象部位１に対応する観察ステップ１の順番は１番、２番目の観察対象部位２に対応する観察ステップ２の順番は２番、３番目の観察対象部位３に対応する観察ステップ３の順番は３番、…である。つまり、観察ステップの順番は、例えば観察対象部位の観察順序に等しくなるように設定することができる。

また、観察ステップは、観察対象部位の観察順序に従って患者の体内の観察対象部位の超音波画像を撮像する全体の撮像期間において、観察対象部位の観察順序に基づいて設定された部分的な撮像期間（区間または時間帯）であるとも言える。例えば、１番目の観察ステップ１の撮像期間は、１番目の観察対象部位１において超音波画像１を撮像している期間、２番目の観察ステップ２の撮像期間は、２番目の観察対象部位２において超音波画像２を撮像している期間、３番目の観察ステップ３の撮像期間は、３番目の観察対象部位３において超音波画像３を撮像している期間、…である。つまり、観察ステップの撮像期間は、例えばその観察ステップに対応する観察対象部位において超音波画像を撮像している期間に等しくなるように設定することができる。

予測ステップは、前述の学習結果に基づいて、画像取得部によって取得された超音波画像から、超音波画像認識部１６８によって予測された観察ステップである。例えば、画像取得部によって取得された超音波画像が、１番目の観察ステップ１において撮像された超音波画像１であると予測された場合、予測ステップは観察ステップ１、２番目の観察ステップ２において撮像された超音波画像２であると予測された場合、予測ステップは観察ステップ２、３番目の観察ステップ３において撮像された超音波画像３であると予測された場合、予測ステップは観察ステップ３、…である。

正解ステップは、各々の観察ステップにおいて、画像取得部によって取得された超音波画像に対応する正解の観察ステップを表す。例えば、１番目の観察ステップ１において撮像された超音波画像１に対応する正解ステップ１は１番目の観察ステップ１、２番目の観察ステップ２において撮像された超音波画像２に対応する正解ステップ２は２番目の観察ステップ２、３番目の観察ステップ３において撮像された超音波画像３に対応する正解ステップ３は３番目の観察ステップ３、…である。つまり、各々の観察ステップにおいて、正解ステップは、例えば観察ステップに等しくなるように設定することができる。

観察ステップ、予測ステップおよび正解ステップは、例えばラベル番号で表すことができる。また、ラベル番号は、観察対象部位の観察順序に基づいて設定することができる。例えば、１番目の観察対象部位１に対応する観察ステップ１のラベル番号を‘０’、２番目の観察対象部位２に対応する観察ステップ２のラベル番号を‘１’、３番目の観察対象部位３に対応する観察ステップ３のラベル番号を‘２’、…とすることができる。つまり、ラベル番号は、例えば観察対象部位の観察順序に等しくなるように設定することができる。
なお、ラベル番号は、予測ステップと正解ステップとの対応付けが分かるものであれば特に限定されず、観察対象部位の観察順序に基づいて設定することは必須ではない。

超音波画像認識部１６８は、図５に示すように、ステップ予測部１１２と、正解ステップ保持部１１４と、ステップ比較部１１６と、学習制御部１１８と、を備えている。超音波画像認識部１６８および前述の画像取得部は、本発明の学習装置を構成する。

ステップ予測部１１２は、各々の観察ステップにおいて、超音波画像とこの超音波画像に対応する予測ステップとの関係の学習結果に基づいて、画像取得部によって取得された超音波画像から、この超音波画像に対応する観察ステップを予測した予測ステップを出力する。ステップ予測部１１２から出力される予測ステップは、ステップ比較部１１６および表示制御部１７２へ入力される。

ステップ予測部１１２は、患者のそれぞれ異なる観察対象部位を撮像した複数の超音波画像からなるデータセットを用いて、本発明の学習方法により超音波画像とこの超音波画像に対応する予測ステップとの関係を複数の超音波画像（学習用超音波画像）について学習し、学習結果に基づいて、画像取得部によって取得された超音波画像（診断用超音波画像）から、画像取得部によって取得された超音波画像に対応する観察ステップを予測した予測ステップを出力する学習済みモデルである。この学習済みモデルは、画像取得部によって取得された超音波画像を使用して、超音波画像とこの超音波画像に対応する予測ステップとの関係を学習することにより、随時更新され、最適化されていく。

なお、ステップ予測部１１２は、超音波画像として、静止画像、あるいは、動画像（１フレームの超音波画像または複数フレームの超音波画像）を受け取って、この超音波画像に対応する予測ステップを予測することができる。

正解ステップ保持部１１４は、各々の観察ステップに対応する各々の正解ステップを保持する。正解ステップ保持部１１４に保持されている正解ステップは、ステップ比較部１１６および学習制御部１１８へ入力される。

例えば、観察ステップ１，２，３，…に対応する正解ステップは、観察ステップ１，２，３，…である。つまり、各々の観察ステップに対応する正解ステップは、各々の観察ステップに等しい。従って、正解ステップ保持部１１４は、例えば、観察ステップ１，２，３，…に対応する正解ステップ１，２，３，…として、観察ステップ１，２，３，…を保持する。

ステップ比較部１１６は、各々の観察ステップにおいて、ステップ予測部１１２から出力された予測ステップと、正解ステップ保持部１１４に保持されている正解ステップのうちのこの予測ステップに対応する正解ステップとを比較する。

ステップ比較部１１６による比較の結果、ステップ比較部１１６からは、予測ステップと正解ステップとが一致しているのか否か、および、予測ステップと正解ステップとが一致していない場合に、予測ステップと正解ステップとの差分がいくつなのか等の結果が出力される。ステップ比較部１１６から出力される比較の結果は、学習制御部１１８へ入力される。

学習制御部１１８は、各々の観察ステップにおいて、ステップ比較部１１６による比較の結果に基づいて、予測ステップが正解ステップに近づくように、超音波画像と予測ステップとの関係をステップ予測部１１２に学習させる。学習制御部１１８からは、超音波画像と予測ステップとの関係をステップ予測部１１２に学習させるための制御信号が出力される。この制御信号はステップ予測部１１２へ入力される。

学習方法は、超音波画像と予測ステップとの関係を複数の超音波画像について学習し、学習済みモデルを生成することができるものであれば特に限定されない。
学習方法としては、例えば人工知能（AI：Artificial Intelligence）の技術の１つである機械学習（マシンラーニング）の一例である階層構造型のニューラルネットワークを用いるディープラーニング（深層学習）等を利用することができる。
なお、ディープラーニング以外の機械学習を利用してもよいし、機械学習以外の人工知能の技術を利用してもよいし、人工知能の技術以外の学習方法を利用してもよい。

例えば、ステップ予測部１１２は、損失関数を用いる畳み込みニューラルネットワーク（NN：Neural Network）を用いて構成することができる。この場合、学習制御部１１８は、観察ステップ、予測ステップおよび正解ステップがラベル番号で表される場合に、予測ステップのラベル番号と正解ステップのラベル番号との差分に基づいて計算される損失関数の出力を最小化するように、超音波画像と予測ステップとの関係を畳み込みニューラルネットワークに学習させる。

患者の体内において超音波画像を撮像する場合の観察対象部位の観察順序、および代表的な観察ステップは大体決められている。そのため、学習制御部１１８は、各々の観察ステップにおいて、画像取得部によって取得された患者の観察対象部位の超音波画像と、この超音波画像に対応する観察ステップを予測した予測ステップと、を関連付けてステップ予測部１１２に学習させることができる。

以下、観察順序に従って患者の体内の観察対象部位の超音波画像を撮像する場合の代表的な観察ステップについて説明する。

代表的な観察ステップとしては、例えば下記表１に示す観察ステップ１〜１２がある。

表１において、観察ステップ１〜１２は、ラベル番号０〜１１で表されている。
ラベル番号０で表される観察ステップ１の肝左葉、ラベル番号１で表される観察ステップ２の大動脈、腹腔動脈、上腸間膜動脈の合流部、ラベル番号２で表される観察ステップ３の膵体部、ラベル番号３で表される観察ステップ４の膵尾部、ラベル番号４で表される観察ステップ５の脾静脈、上腸間膜静脈、及び門脈の合流部、ラベル番号５で表される観察ステップ６の膵頭部およびラベル番号６で表される観察ステップ７の胆嚢は、胃内からの代表的な観察ポイントである。また、ラベル番号７で表される観察ステップ８の門脈、ラベル番号８で表される観察ステップ９の総胆管およびラベル番号９で表される観察ステップ１０の胆嚢は、十二指腸球部からの代表的な観察ポイントであり、ラベル番号１０で表される観察ステップ１１の膵鉤部およびラベル番号１１で表される観察ステップ１２の乳頭は、十二指腸下行部からの代表的な観察ポイントである。

なお、上記の観察対象部位の観察順序は一例であり、術者によって、観察対象部位の観察順序は多少異なる場合もある。このため、術者に応じて、それぞれ異なる観察対象部位の観察順序のリストを複数用意し、術者によって、使用するリスト、つまり、観察対象部位の観察順序を切り替えるようにしてもよい。あるいは、術者が、所望のリストを登録できるようにしてもよい。

超音波画像認識部１６８においては、ステップ予測部１１２により、各々の観察ステップにおいて、学習結果に基づいて、画像取得部によって取得された超音波画像から、この超音波画像に対応する観察ステップを予測した予測ステップが出力される。
続いて、ステップ比較部１１６により、各々の観察ステップにおいて、予測ステップとこの予測ステップに対応する正解ステップとが比較される。
続いて、学習制御部１１８は、各々の観察ステップにおいて、ステップ比較部１１６による比較の結果に基づいて、予測ステップが正解ステップに近づくように、超音波画像と予測ステップとの関係をステップ予測部１１２に学習させる。
以後同様に、画像取得部によって超音波画像が取得される毎に、上記の動作が繰り返し行われる。

続いて、表示制御部１７２は、内視鏡画像および超音波画像をモニタ２０に表示させる。また、表示制御部１７２は、超音波画像認識部１６８によって認識された予測ステップに関する情報をモニタ２０に表示させる。
表示制御部１７２は、予測ステップに関する情報として、例えば予測ステップそのもの（予測ステップ１，２，３，…）、予測ステップのラベル番号、および、このラベル番号に対応する観察対象部位の名称等をモニタ２０に表示させることができる。

シネメモリ１５０は、１フレーム分又は数フレーム分の画像信号を蓄積するための容量を有する。ＡＳＩＣ１４８が生成した画像信号は、ＤＳＣ１５４に出力される一方で、メモリコントローラ１５１によってシネメモリ１５０にも格納される。フリーズモード時には、メモリコントローラ１５１がシネメモリ１５０に格納された画像信号を読み出し、ＤＳＣ１５４に出力する。これにより、モニタ２０には、シネメモリ１５０から読み出された画像信号に基づく超音波画像（静止画像）が表示されるようになる。

ＣＰＵ１５２は、超音波観測装置１４の各部を制御する制御部として機能し、受信回路１４２、送信回路１４４、Ａ／Ｄコンバータ１４６、及びＡＳＩＣ１４８等と接続しており、これらの機器を制御する。具体的に説明すると、ＣＰＵ１５２は、操作卓１００と接続しており、操作卓１００にて入力された検査情報および制御パラメータ等に従って超音波観測装置１４各部を制御する。

また、ＣＰＵ１５２は、超音波内視鏡１２が超音波用コネクタ３２ａを介して超音波観測装置１４に接続されると、ＰｎＰ（Ｐｌｕｇ ａｎｄ Ｐｌａｙ）等の方式により超音波内視鏡１２を自動認識する。

＜＜超音波内視鏡システム１０の動作例＞＞
次に、超音波内視鏡システム１０の動作例として、超音波診断に関する一連の処理（以下、診断処理とも言う）の流れを、図６および図７を参照しながら説明する。図６は、超音波内視鏡システム１０を用いた診断処理の流れを示す図である。図７は、診断処理中の診断ステップの手順を示す図である。

超音波内視鏡１２が超音波観測装置１４、内視鏡プロセッサ１６及び光源装置１８に接続された状態で超音波内視鏡システム１０各部の電源が投入されると、それをトリガとして診断処理が開始される。診断処理では、図６に示すように、先ず入力ステップが実施される（Ｓ００１）。入力ステップでは、術者が操作卓１００を通じて検査情報及び制御パラメータ等を入力する。入力ステップが完了すると、診断開始の指示があるまで、待機ステップが実施される（Ｓ００２）。

続いて、術者からの診断開始指示があると（Ｓ００３でＹｅｓ）、ＣＰＵ１５２が超音波観測装置１４各部を制御して診断ステップを実施する（Ｓ００４）。診断ステップは、図７に図示の流れに沿って進行し、指定された画像生成モードがＢモードである場合には（Ｓ０３１でＹｅｓ）、Ｂモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３２）。また、指定された画像生成モードがＢモードではなく（Ｓ０３１でＮｏ）ＣＦモードである場合には（Ｓ０３３でＹｅｓ）、ＣＦモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３４）。さらに、指定された画像生成モードがＣＦモードではなく（Ｓ０３３でＮｏ）ＰＷモードである場合には（Ｓ０３５でＹｅｓ）、ＰＷモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３６）。なお、指定された画像生成モードがＰＷモードではない場合には（Ｓ０３５でＮｏ）、ステップＳ０３７へ進む。

続いて、ＣＰＵ１５２は、超音波診断が終了したか否かを判定する（Ｓ０３７）。超音波診断が終了していない場合（Ｓ０３７でＮｏ）、診断ステップＳ０３１へ戻り、各画像生成モードによる超音波画像の生成は、診断終了条件が成立するまで繰り返し実施される。診断終了条件としては、例えば、術者が操作卓１００を通じて診断終了を指示すること等が挙げられる。

一方、診断終了条件が成立して超音波診断が終了すると（Ｓ０３７でＹｅｓ）、診断ステップが終了する。
続いて、図６に戻って、超音波内視鏡システム１０各部の電源がオフとなると（Ｓ００５でＹｅｓ）、診断処理が終了する。一方で、超音波内視鏡システム１０各部の電源がオン状態で維持される場合には（Ｓ００５でＮｏ）、入力ステップＳ００１に戻り、上述した診断処理の各ステップを繰り返すことになる。

＜＜本発明の学習装置の動作例＞＞
次に、本発明の学習装置、つまり、画像取得部および超音波画像認識部１６８の動作例について説明する。

超音波内視鏡システム１０では、超音波内視鏡１２の挿入部２２の先端部４０の位置、および超音波のスキャン方向が目視できないため、超音波画像から、今現在、患者の体内のどの部位を観察しているのかを判断する。従って、術者は、各々の観察ステップにおいて、その観察ステップの代表的な超音波画像が撮像されるように超音波内視鏡１２を操作し、目的とする観察対象部位を観察していく。

図８は、超音波内視鏡システム１０による超音波診断の検査開始から検査終了までの流れを表す概念図である。図８には、検査開始から検査終了へ向かって、（Ｎ＋１）個の観察ステップ１，２，…，Ｎ（Ｎは整数）が示されている。観察ステップ１，２，…，Ｎは、超音波診断の検査開始から検査終了までの順番を表し、観察ステップ１，２，…，Ｎに対応する正解ステップは、ラベル番号０，１，…，Ｎ−１で表されている。

観察ステップ１においては、画像取得部により、観察対象部位１の超音波画像１が取得される。超音波画像１は、表示制御部１７２の制御により、モニタ２０に表示される。
続いて、ステップ予測部（NN）１１２により、学習結果に基づいて、超音波画像１から、この超音波画像１に対応する観察ステップを予測した予測ステップ１として、ラベル番号０が出力される。予測ステップ１のラベル番号０は、表示制御部１７２の制御により、モニタ２０に表示される。
続いて、ステップ比較部１１６により、予測ステップ１のラベル番号０とこの予測ステップ１に対応する正解ステップ１のラベル番号０とが比較される。
その結果、予測ステップ１のラベル番号０と正解ステップ１のラベル番号０との差分は０であるため、ステップ予測部１１２による学習は行われない。

観察ステップ２においては、画像取得部により、観察対象部位２の超音波画像２が取得される。超音波画像２は、表示制御部１７２の制御により、モニタ２０に表示される。
続いて、ステップ予測部１１２により、学習結果に基づいて、超音波画像２から、この超音波画像２に対応する観察ステップを予測した予測ステップ２として、ラベル番号２が出力される。予測ステップ２のラベル番号２は、表示制御部１７２の制御により、モニタ２０に表示される。
続いて、ステップ比較部１１６により、予測ステップ２のラベル番号２とこの予測ステップ２に対応する正解ステップ２のラベル番号１とが比較される。
その結果、予測ステップ２のラベル番号２と正解ステップ２のラベル番号１との差分は１であるため、学習制御部１１８は、比較の結果に基づいて、差分の１が０に近づくように、超音波画像と予測ステップとの関係をステップ予測部１１２に学習させる。

以後同様に、観察ステップＮまで、上記の動作が繰り返される。
学習の初期段階においては、学習済みモデルの最適化が進んでおらず、予測ステップが正解ステップから大きく離れている場合もあると予想されるが、学習によって学習済みモデルの最適化が進むにつれて、予測ステップが正解ステップに次第に近づくことが期待できる。
超音波内視鏡システム１０においては、超音波診断の検査の最中に、予測ステップに関する情報をモニタ２０に表示させることができるため、今現在、患者の体内のどの部位を観察しているのかを術者に確実に把握させることができる。

従来技術として、超音波画像から特定の臓器の領域等を認識する技術（セグメンテーションまたはディテクション）は存在するが、超音波内視鏡システム１０において、このような臓器の領域等の認識は行われず、特定の観察対象部位を撮像（観察）する検査の順番または撮像期間（区間、時間帯）を観察ステップとして定義し、各々の超音波画像が、複数の観察ステップのうちのどの観察ステップに分類されるのかという予測のみが行われる。
従来技術によるセグメンテーション等の臓器認識は、超音波画像の中の臓器の位置および領域を認識できる一方、一枚の超音波画像に対して正解ステップの作成に多くの労力を必要とする。これに対し、超音波内視鏡システム１０による観察ステップの分類は、各々の超音波画像がどの観察ステップに属するのかを、例えばラベル付けするだけで実現できるため、僅かな労力のみで実現できる。

ステップ予測部１１２が、前述の畳み込みニューラルネットワークを用いて構成される場合、この畳み込みニューラルネットワークは、予測ステップとして、超音波画像が各々の観察ステップに対応する超音波画像である確率を表す複数の要素を含む離散確率分布ベクトル（以下、単にベクトルともいう）を出力してもよいし、あるいは、ラベル番号を予測したスカラーを出力してもよい。

畳み込みニューラルネットワークは、ベクトルを出力する場合、各々の観察ステップにおいて、複数の観察ステップに対応する複数の要素を出力する。畳み込みニューラルネットワークは、１番目の観察ステップ１において、超音波画像が、１〜Ｎ番目の観察ステップ１〜Ｎの各々に対応する超音波画像である確率を表すＮ個の要素を含むベクトルを出力する。２〜Ｎ番目の観察ステップ２〜Ｎにおいても同様である。
また、正解ステップは、正解の観察ステップに対応する要素の確率が１であり、正解ではない観察ステップに対応する要素の確率が０である離散確率分布ベクトルとする。
この場合、損失関数は、予測ステップの離散確率分布ベクトルと正解ステップの離散確率分布ベクトルとの差分を表す。損失関数としては、ソフトマックス・クロス・エントロピー（Softmax Cross Entropy）およびシグモイド・クロス・エントロピー（Sigmoid Cross Entropy）等がよく用いられる。

また、畳み込みニューラルネットワークは、ベクトルを出力する場合、その出力最終段において適用される活性化関数としてソフトマックス関数（Softmax関数）を用いて、複数の要素の確率の合計が１になる離散確率分布ベクトルを出力してもよいし、シグモイド関数（Sigmoid関数）を用いて、複数の要素の各々が、各々の観察ステップである確率を表す離散確率分布ベクトルを出力してもよい。

ソフトマックス関数は、複数の要素の確率の合計が、１．０＝１００％になるベクトルを出力する。つまり、全ての要素の確率の合計が１００％になるため、超音波画像は、必ずいずれかの観察ステップに分類されることになる。畳み込みニューラルネットワークは、ソフトマックス関数を使用する場合、複数の要素の中から、例えば確率が最も高い要素に対応する観察ステップを、予測ステップとして出力することができる。

続いて、シグモイド関数は、各々の要素が、それぞれ単独で、各々の観察ステップである確率を表すベクトルを出力する。従って、シグモイド関数の出力は、ソフトマックス関数の出力のように、全ての要素の確率の合計が１００％になるとは限らず、例えば全ての要素の確率が０％になる場合もあり得る。これにより、例えば今までに学習したことがない超音波画像が畳み込みニューラルネットワークに入力された場合に、この超音波画像がいずれの観察ステップにも分類されないという判断を下すことが可能である。また、確率が比較的高い要素が複数ある場合も、「認識の信頼度が低い結果である」というような判断をすることも可能である。さらに、３番目および４番目の観察ステップ３，４に対応する要素の確率が高い場合、観察ステップ３，４に対応する観察対象部位３と観察対象部位４との間の位置を観察していると判断することもできる。

図９は、ソフトマックス関数を用いる畳み込みニューラルネットワークの出力を表す概念図である。図９の下部に示すグラフの横軸は、ベクトルに含まれる複数の要素に対応する観察ステップ１〜１１のラベル番号０〜１０を表し、縦軸は、複数の要素の各々が、ラベル番号０〜１０で表される各々の観察ステップ１〜１１である確率を表す。

図９のグラフにおいて、ラベル番号０で表される１番目の観察ステップ１に対応する要素１の確率は、０．０６＝６％、ラベル番号１で表される２番目の観察ステップ２に対応する要素２の確率は、０．７１＝７１％、…である。このグラフに示すように、ソフトマックス関数を用いる畳み込みニューラルネットワークからは、全ての要素の確率の合計が１になるベクトルが出力される。

続いて、図１０は、シグモイド関数を用いる畳み込みニューラルネットワークの出力を表す概念図である。図１０の下部に示すグラフの横軸および縦軸は、図９のグラフの場合と同じである。

図１０のグラフにおいて、ラベル番号０で表される１番目の観察ステップ１に対応する要素１の確率は、０．３３＝３３％、ラベル番号１で表される２番目の観察ステップ２に対応する要素２の確率は、０．１２＝１２％、…である。このグラフに示すように、シグモイド関数を用いる畳み込みニューラルネットワークからは、複数の要素の各々が、各々の観察ステップである確率を表すベクトルが出力される。

一方、畳み込みニューラルネットワークは、スカラーを出力する場合、各々の観察ステップにおいて、その観察ステップに対応するラベル番号を予測した１つの予測ステップを出力する。畳み込みニューラルネットワークは、１番目の観察ステップ１において、予測ステップ１として、１番目の観察ステップ１に対応するラベル番号を予測したスカラーを出力する。２〜Ｎ番目の観察ステップ２〜Ｎにおいても同様である。
また、正解ステップは、ラベル番号を表すスカラーとする。
この場合、損失関数は、予測ステップのスカラーと正解ステップのスカラーとの差分を表す。これにより、予測ステップのラベル番号と正解ステップのラベル番号との差分に連動した損失関数にすることができる。損失関数としては、平均二乗誤差（MSE：Mean Squared Error）および平均絶対値誤差（MAE：Mean Absolute Error）等が用いられることが多い。

畳み込みニューラルネットワークがスカラーを出力する場合、観察ステップに対応するラベル番号を予測した予測ステップのラベル番号は、０，１，２，…等の整数値だけではなく、例えば、２．１とか２．２等の小数点以下の値を含む数値が出力される場合がある。この場合、小数点以下の値を四捨五入することにより、予測ステップのラベル番号を整数値にすることができる。また、２．１から２．２というように、２から３へ向かって変化している場合、観察ステップ２に対応する観察対象部位２から観察ステップ３に対応する観察対象部位３へ向かって移動していると判断することもできる。

例えば、動物の種類の分類のように、通常の画像分類の場合、犬が正解であるのに対し、猫であると予測した場合と、車であると予測した場合とにおいて、畳み込みニューラルネットワークの学習は同様に行われる。
これに対し、観察ステップ分類の場合、観察ステップ１が正解であるのに対して、観察ステップ２であると予測した場合と、観察ステップ３であると予測した場合とでは、前者の方が「惜しい」（正解に近い）間違え方であり、後者のほうは「惜しくない」（正解から遠い）間違え方であるため、後者の場合は、前者の場合よりも、畳み込みニューラルネットワークの学習量（調整量）を大きく扱う必要がある。

これに応じて、損失関数は、下記式１に示すように、予測ラベルのラベル番号と正解ラベルのラベル番号との差分Ｄに基づいて、損失関数の出力Ｌに重み付けを行って、重み付けが行われた出力Ｌ’を出力してもよい。つまり、損失関数は、差分Ｄが閾値Ｄｔｈより大きい場合（惜しくない）に、差分Ｄが閾値Ｄｔｈより小さい場合（惜しい）よりも、損失関数の出力Ｌが大きくなるように調整する。損失関数の出力Ｌ’が大きくなるほど、畳み込みニューラルネットワークの学習量（調整量）が大きくなる。

（式１）
Ｄｔｈ＞Ｄの場合、Ｌ’＝αＬ
Ｄｔｈ≦Ｄの場合、Ｌ’＝βＬ
ただし、α＜βである。

このように、観察ステップ、予測ステップおよび正解ステップをラベル番号で表し、かつ、ラベル番号を、観察対象部位の観察順序に基づいて設定することにより、予測ステップのラベル番号が正解ステップのラベル番号に近い（惜しい）、および、予測ステップのラベル番号が正解ステップのラベル番号から遠い（惜しくない）という情報を損失関数の出力に含めることができる。そのため、この情報を畳み込みニューラルネットワークの学習に反映させることができ、より効率的に学習を行うことができる。

なお、複数の観察ステップは、いずれの観察対象部位も撮像（観察）していない状態を表す観察ステップを含んでいてもよい。このように、いずれの観察対象部位も撮像（観察）していない状態を表す観察ステップを設けることにより、例えば超音波診断の検査開始前もしくは検査終了後の状態を表す観察ステップも認識することができる。また、予期していない部位の超音波画像および全面が黒い超音波画像等が撮像された場合に、観察ステップが不明であることを表す警告等を発するようにすることができる。

なお、本発明は、上記実施形態の超音波内視鏡システム１０に限らず、観察対象部位の観察順序が定められている複数の観察ステップの各々において、被検体の体内の観察対象部位の医用画像を取得する医療機器に適用可能である。

画像取得部は、被検体の体外から撮像された被検体の体内の医用画像を取得する機器、例えば体外超音波装置等でもよいし、あるいは、被検体の体腔内に挿入され、被検体の体内から撮像された被検体の体内の医用画像を取得する機器、例えば内視鏡画像を撮像する内視鏡装置、および、内視鏡画像および超音波画像を撮像する超音波内視鏡装置等を例示することができる。または、画像取得部は、こうした体外超音波装置、内視鏡装置および超音波内視鏡装置等の医療機器、あるいは、各種の医療機器により撮像された被検体の医用画像を保管・管理する医療画像管理システム（PACS：Picture Archiving and Communication Systems）等から、医用画像を受け取る部位であってもよい。

本発明の学習装置を超音波内視鏡システムに組み込んだ場合の例を挙げて説明したが、本発明の学習装置は、超音波内視鏡システム以外の各種の医療機器においても同様に組み込むことが可能である。あるいは、本発明の学習装置を医療機器に組み込むことなく、医療機器とは別に設けてもよい。

また、医用画像は、医療機器によって撮像される画像であれば特に限定されず、例えば内視鏡画像および超音波画像等を例示することができる。また、超音波画像として、超音波内視鏡により被検体の体内の観察対象部位が撮像された超音波画像等を例示することができる。

本発明の装置において、例えば、ステップ予測部１１２、ステップ比較部１１６、学習制御部１１８、表示制御部１７２および操作卓１００等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。また、正解ステップ保持部１１４のハードウェア的な構成は、専用のハードウェアであってもよいし、あるいは半導体メモリ等のメモリであってもよい。

各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。

例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良および変更をしてもよいのはもちろんである。

１０ 超音波内視鏡システム
１２ 超音波内視鏡
１４ 超音波観測装置
１６ 内視鏡プロセッサ
１８ 光源装置
２０ モニタ
２１ａ 送水タンク
２１ｂ 吸引ポンプ
２２ 挿入部
２４ 操作部
２６ ユニバーサルコード
２８ａ 送気送水ボタン
２８ｂ 吸引ボタン
２９ アングルノブ
３０ 処置具挿入口
３２ａ 超音波用コネクタ
３２ｂ 内視鏡用コネクタ
３２ｃ 光源用コネクタ
３４ａ 送気送水用チューブ
３４ｂ 吸引用チューブ
３６ 超音波観察部
３８ 内視鏡観察部
４０ 先端部
４２ 湾曲部
４３ 軟性部
４４ 処置具導出口
４５ 処置具チャンネル
４６ 超音波振動子ユニット
４８ 超音波振動子
５０ 超音波振動子アレイ
５４ バッキング材層
５６ 同軸ケーブル
６０ ＦＰＣ
７４ 音響整合層
７６ 音響レンズ
８２ 観察窓
８４ 対物レンズ
８６ 固体撮像素子
８８ 照明窓
９０ 洗浄ノズル
９２ 配線ケーブル
１００ 操作卓
１１２ ステップ予測部
１１４ 正解ステップ保持部
１１６ ステップ比較部
１１８ 学習制御部
１４０ マルチプレクサ
１４２ 受信回路
１４４ 送信回路
１４６ Ａ／Ｄコンバータ
１４８ ＡＳＩＣ
１５０ シネメモリ
１５１ メモリコントローラ
１５２ ＣＰＵ
１５４ ＤＳＣ
１５８ パルス発生回路
１６０ 位相整合部
１６２ Ｂモード画像生成部
１６４ ＰＷモード画像生成部
１６６ ＣＦモード画像生成部
１６８ 超音波画像認識部
１７２ 表示制御部

Claims (16)

1. 観察対象部位の観察順序が定められている複数の観察ステップの各々において、被検体の体内の前記観察対象部位の医用画像を取得する画像取得部と、
   前記各々の観察ステップにおいて、学習結果に基づいて、前記医用画像から、前記医用画像に対応する観察ステップを予測した予測ステップを出力するステップ予測部と、
   前記各々の観察ステップに対応する各々の正解ステップを保持する正解ステップ保持部と、
   前記各々の観察ステップにおいて、前記予測ステップと前記予測ステップに対応する正解ステップとを比較するステップ比較部と、
   前記各々の観察ステップにおいて、前記ステップ比較部による比較の結果に基づいて、前記予測ステップが前記正解ステップに近づくように、前記医用画像と前記予測ステップとの関係を前記ステップ予測部に学習させる学習制御部と、を備える、学習装置。
2. 前記観察ステップ、前記予測ステップおよび前記正解ステップは、ラベル番号で表される、請求項１に記載の学習装置。
3. 前記ラベル番号は、前記観察対象部位の観察順序に基づいて設定される、請求項２に記載の学習装置。
4. ステップ予測部は、損失関数を用いる畳み込みニューラルネットワークであり、
   前記学習制御部は、前記予測ステップのラベル番号と前記正解ステップのラベル番号との差分に基づいて計算される前記損失関数の出力を最小化するように、前記医用画像と前記予測ステップとの関係を前記畳み込みニューラルネットワークに学習させる、請求項２または３に記載の学習装置。
5. 前記畳み込みニューラルネットワークは、前記予測ステップとして、前記医用画像が前記各々の観察ステップに対応する医用画像である確率を表す複数の要素を含む離散確率分布ベクトルを出力し、
   前記正解ステップは、正解の前記観察ステップに対応する要素の確率が１であり、正解ではない前記観察ステップに対応する要素の確率が０である離散確率分布ベクトルであり、
   前記損失関数は、前記予測ステップの離散確率分布ベクトルと前記正解ステップの離散確率分布ベクトルとの差分を表す、請求項４に記載の学習装置。
6. 前記畳み込みニューラルネットワークは、ソフトマックス関数を用いて、前記複数の要素の確率の合計が１になる離散確率分布ベクトルを出力する、請求項５に記載の学習装置。
7. 前記畳み込みニューラルネットワークは、シグモイド関数を用いて、前記複数の要素の各々が、前記各々の観察ステップである確率を表す離散確率分布ベクトルを出力する、請求項５に記載の学習装置。
8. 前記畳み込みニューラルネットワークは、前記予測ステップとして、前記ラベル番号を予測したスカラーを出力し、
   前記正解ステップは、前記ラベル番号を表すスカラーであり、
   前記損失関数は、前記予測ステップのスカラーと前記正解ステップのスカラーとの差分を表す、請求項４に記載の学習装置。
9. 前記損失関数は、前記差分が閾値より大きい場合に、前記差分が前記閾値より小さい場合よりも、前記損失関数の出力が大きくなるように調整する、請求項８に記載の学習装置。
10. 前記複数の観察ステップは、いずれの観察対象部位も観察していない状態を表す観察ステップを含む、請求項１ないし９のいずれか一項に記載の学習装置。
11. 前記観察ステップは、前記観察対象部位の観察順序に従って前記被検体の体内の観察対象部位の医用画像を観察する場合に、前記観察対象部位の観察順序に基づいて設定された順番を表す、請求項１ないし１０のいずれか一項に記載の学習装置。
12. 前記画像取得部は、前記被検体の体腔内に挿入され、前記被検体の体内から撮像された前記被検体の体内の医用画像を取得する機器である、請求項１ないし１１のいずれか一項に記載の学習装置。
13. 前記医用画像は超音波画像である、請求項１ないし１２のいずれか一項に記載の学習装置。
14. 前記医用画像は、超音波内視鏡により前記被検体の体内の観察対象部位が撮像された超音波画像である、請求項１３に記載の学習装置。
15. 画像取得部が、観察対象部位の観察順序が定められている複数の観察ステップの各々において、被検体の体内の前記観察対象部位の医用画像を取得し、
    ステップ予測部が、前記各々の観察ステップにおいて、学習結果に基づいて、前記医用画像から、前記医用画像に対応する観察ステップを予測した予測ステップを出力し、
    ステップ比較部が、前記各々の観察ステップにおいて、前記予測ステップと前記予測ステップに対応する正解ステップとを比較し、
    学習制御部が、前記各々の観察ステップにおいて、前記ステップ比較部による比較の結果に基づいて、前記予測ステップが前記正解ステップに近づくように、前記医用画像と前記予測ステップとの関係を前記ステップ予測部に学習させる、学習方法。
16. 請求項１５に記載の学習方法により前記医用画像と前記予測ステップとの関係を複数の前記医用画像について学習し、前記学習結果に基づいて、前記画像取得部によって取得された医用画像から、前記画像取得部によって取得された医用画像に対応する観察ステップを予測した予測ステップを出力する、学習済みモデル。

Images