JP2023049951A - コンピュータプログラム、情報処理方法、及び情報処理装置 - Google Patents

Abstract

【課題】カテーテルを用いて得られる画像に基づき、解剖学特徴点に関する情報を、三次元で提示するコンピュータプログラム、情報処理方法、及び情報処理装置を提供する。【解決手段】コンピュータプログラムは、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによって検出される信号を取得するコンピュータに、前記信号に基づく前記管腔器官の三次元画像が入力された場合に、前記三次元画像に写っている１又は複数の対象物の領域を各々示す三次元データを出力するように学習される三次元識別モデルを用い、前記イメージングデバイスから得られる信号に基づく三次元画像を前記三次元識別モデルへ入力し、前記三次元識別モデルから出力される三次元データから、前記管腔器官の構造を示す三次元画像を作成する処理を実行させる。【選択図】図１１

Description

本開示は、医用画像に対する処理に係るコンピュータプログラム、情報処理方法、及び情報処理装置に関する。

医学的検査において、検査対象の画像を直接的に撮像するか、又は、電磁波を利用した測定結果を画像化するなどして得られる画像が診断に利用されている。特に、管腔器官の検査では、画像素子を器官内に移動させて得られる画像を使用する技術が種々利用されている。

管腔器官の中でも特に血管の画像診断は、冠動脈インターベンション（ＰＣＩ：Percutaneous Coronary Intervention）等の施術を安全確実に行なうために必要不可欠である。このため、造影剤を用いて体外から撮影する血管造影技術（angiography ）と併せて、カテーテルを用いたＩＶＵＳ（Intra Vascular Ultra Sound）、ＯＣＴ（Optical Coherence Tomography）／ＯＦＤＩ（Optical Frequency Domain Imaging）等の血管内イメージング技術が普及している。

上述した画像診断では、撮影された医用画像から診断に関する情報を正確に得ることは容易ではない。医用画像の読影を補助するために、画像解析又は機械学習を用い、画像を補正したり、情報を付加したりする技術が種々提案されている（特許文献１等）。

特開２０１２－０７５７０２号公報

医用画像の読影には、画像から解剖学的特徴点を正確に把握することが必要である。したがって、医用画像を正確に撮影するとともに、解剖学的特徴に関する情報を、より把握しやすく視認可能に提示することが求められる。イメージングデバイスを用いて得られるデータから、管腔器官を三次元的に再現した画像をより正確に提供できると、医療従事者にとってはより特徴を把握しやすくなり、検査及び施術の精度の向上につながる。

本開示の目的は、カテーテルを用いて得られる画像に基づき、解剖学特徴点に関する情報を、三次元で提示するコンピュータプログラム、情報処理方法、及び情報処理装置を提供することにある。

本開示に係るコンピュータプログラムは、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによって検出される信号を取得するコンピュータに、前記信号に基づく前記管腔器官の三次元画像が入力された場合に、前記三次元画像に写っている１又は複数の対象物の領域を各々示す三次元データを出力するように学習される三次元識別モデルを用い、前記イメージングデバイスから得られる信号に基づく三次元画像を前記三次元識別モデルへ入力し、前記三次元識別モデルから出力される三次元データから、前記管腔器官の構造を示す三次元画像を作成する処理を実行させる。

本開示に係る情報処理方法は、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによって検出される信号を取得するコンピュータが、前記信号に基づく前記管腔器官の三次元画像が入力された場合に、前記三次元画像に写っている１又は複数の対象物の領域を各々示す三次元データを出力するように学習される三次元識別モデルを用い、前記イメージングデバイスから得られる信号に基づく三次元画像を前記三次元識別モデルへ入力し、前記三次元識別モデルから出力される三次元データから、前記管腔器官の構造を示す三次元画像を作成する。

本開示に係る情報処理装置は、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによって検出される信号を取得する情報処理装置において、前記信号に基づく前記管腔器官の三次元画像が入力された場合に、前記三次元画像に写っている１又は複数の対象物の領域を各々示す三次元データを出力するように学習される三次元識別モデルを記憶する記憶部と、前記信号に基づく画像処理を実行する処理部とを備え、前記処理部は、前記イメージングデバイスから得られる信号に基づく三次元画像を前記三次元識別モデルへ入力し、前記三次元識別モデルから出力される三次元データから、前記管腔器官の構造を示す三次元画像を作成する。

本開示によれば、管腔器官の断層画像に基づき、管腔器官を再現した三次元画像を提示し、更にその画像における解剖学的特徴のデータを提示できる。

画像診断装置の構成例を示す図である。 カテーテルの動作を示す説明図である。 画像処理装置の構成を示すブロック図である。 学習済みモデルの概要図である。 検出された境界を示す図である。 画像処理装置による情報処理手順の一例を示すフローチャートである。 画像処理装置による情報処理手順の一例を示すフローチャートである。 学習済みモデル３Ｍへ入力する三次元画像の作成の仕方を示す図である。 補正前の分割画像を重ねた画像の模式図である。 三次元マップの分割画像の補正及び補正後の三次元画像の模式図である。 表示装置における画面例を示す図である。 イメージングデバイスからの信号により作成される三次元画像の模式図である。 第２実施形態における情報処理手順の一例を示すフローチャートである。 第３実施形態の画像処理装置の構成を示すブロック図である。 第２モデルの概要図である。 第３実施形態における情報処理手順を示すフローチャートである。 第３実施形態における情報処理手順を示すフローチャートである。 第３実施形態における処理の概要図である。 第４実施形態における情報処理手順を示すフローチャートである。 第４実施形態における情報処理手順を示すフローチャートである。 第４実施形態における処理の概要図である。

本発明の実施形態に係るコンピュータプログラム、情報処理方法、及び情報処理装置の具体例を、図面を参照しつつ以下に説明する。

（第１実施形態）
図１は、画像診断装置１００の構成例を示す図である。画像診断装置１００は、ＩＶＵＳ法によって血管（管腔器官）の超音波断層像を含む医用画像を生成し、血管内の超音波検査及び診断に用いられる装置である。

画像診断装置１００は、カテーテル１、ＭＤＵ（Motor Drive Unit）２、画像処理装置（情報処理装置）３、表示装置４及び入力装置５を備える。

カテーテル１は、医療用の柔軟性のある管である。カテーテル１は特に、先端部にイメージングデバイス１１を設け、基端からの駆動によって周方向に回転するイメージングカテーテルと呼ばれるものである。イメージングデバイス１１は、ＩＶＵＳ法の場合は超音波振動子及び超音波センサを含む超音波プローブである。ＯＣＴの場合は、近赤外線レーザ及び近赤外線センサ等を含むＯＣＴデバイスである。イメージングデバイス１１は、その他、可視光等の他の波長の電磁波を用いる他のデバイスを用いてもよい。

ＭＤＵ２は、カテーテル１の基端に取り付けられる駆動装置であり、医療従事者の操作に応じて内部モータを駆動することによって、カテーテル１の動作を制御する。

画像処理装置３は、カテーテル１のイメージングデバイス１１から出力された信号に基づいて、血管の断層像等、複数の医用画像を生成する。画像処理装置３の構成の詳細については後述する。

表示装置４は、液晶表示パネル、有機ＥＬ表示パネル等を用いる。表示装置４は、画像処理装置３によって生成される医用画像と、医用画像に関する情報とを表示する。

入力装置５は、画像処理装置３に対する操作を受け付ける入力インタフェースである。入力装置５は、キーボード、マウス等であってもよいし、表示装置４に内蔵されるタッチパネル、ソフトキー、ハードキー等であってもよい。

図２は、カテーテル１の動作を示す説明図である。図２においてカテーテル１は、血管内に医療従事者によって、図中に示す冠動脈に挿入されたガイドワイヤＷに沿って、管状の血管Ｌ内に挿入されている。図２中の血管Ｌの拡大図において右部は、カテーテル１及びガイドワイヤＷの挿入箇所から遠位、左部は近位に対応する。

カテーテル１は、ＭＤＵ２の駆動により、図中の矢符で示すように、血管Ｌ内の遠位から近位へ向けて移動しつつ、長さ方向を軸中心に回転する。このため、イメージングデバイス１１は、螺旋状に血管Ｌ内を走査する。

本実施形態の画像診断装置１００では、画像処理装置３が、カテーテル１のイメージングデバイス１１から出力された１走査毎の信号を取得する。１回の走査でイメージングデバイス１１は、検出波を径方向に発し、その反射波を検出する。イメージングデバイス１１は、この走査を、360度回転する間に数十回から数千回行なう。画像処理装置３は、１走査毎の信号を径方向に揃えて矩形状に並べた矩形画像を、360度分毎に極座標変換（逆変換）することで得られる断層画像（横断面画像）を生成する（図２中、Ｉ１）。断層画像Ｉ１はフレーム画像ともいう。断層画像Ｉ１の基準点（中心）は、カテーテル１の範囲（画像化されない）に対応する。画像処理装置３は、得られた断層画像Ｉ１に基づいて血管の分岐構造を分析処理し、血管の構造を示す二次元又は三次元画像を、医療従事者が視認可能に出力できる。本開示における画像診断装置１００では、特に、断層画像Ｉ１から、あるいは走査信号から三次元画像を作成し、且つ、その三次元画像を直接的に範囲に分別するモデルを用い、解剖学的特徴を三次元的に表示させる。以下、画像処理装置３による血管（管腔器官）の三次元画像作成及び画像処理について詳細を説明する。

図３は、画像処理装置３の構成を示すブロック図である。画像処理装置３は、コンピュータであり、処理部３０、記憶部３１、及び入出力Ｉ／Ｆ３２を備える。

処理部３０は、一又は複数のＣＰＵ（Central Processing Unit ）、ＭＰＵ（Micro-Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等を含む。処理部３０は、ＲＡＭ（Random Access Memory）等の非一時記憶媒体を内蔵し、処理中に生成したデータを非一時記憶媒体に記憶しつつ、記憶部３１に記憶されているコンピュータプログラム３Ｐに基づき演算を実行する。

記憶部３１は、ハードディスク、フラッシュメモリ等の不揮発性記憶媒体である。記憶部３１は、処理部３０が読み出すコンピュータプログラム３Ｐ、設定データ等を記憶する。また記憶部３１は、学習済みモデル３Ｍを記憶する。

コンピュータプログラム３Ｐ、学習済みモデル３Ｍは、装置外の非一時記憶媒体９に記憶されたコンピュータプログラム９Ｐ、学習済みモデル９Ｍを入出力Ｉ／Ｆ３２を介して読み出して複製したものであってもよい。コンピュータプログラム３Ｐ、学習済みモデル３Ｍは、遠隔のサーバ装置が配信するものを画像処理装置３が図示しない通信部を介して取得し、記憶部３１に記憶したものであってもよい。

入出力Ｉ／Ｆ３２は、カテーテル１、表示装置４及び入力装置５が接続されるインタフェースである。処理部３０は、入出力Ｉ／Ｆ３２を介し、イメージングデバイス１１から出力される信号（デジタルデータ）を取得する。処理部３０は、入出力Ｉ／Ｆ３２を介し、生成した断層画像Ｉ１及び／又は長軸画像Ｉ２を含む画面の画面データを表示装置４へ出力する。処理部３０は、入出力Ｉ／Ｆ３２を介して、入力装置５に入力された操作情報を受け付ける。

画像処理装置３は、図３に示したような構成のみならず、イメージングデバイス１１（カテーテル１）と直接的に接続されて断層画像Ｉ１を生成する第１処理装置と、生成された断層画像Ｉ１とイメージングデバイス１１からの信号とをその処理装置から取得して学習済みモデル３Ｍを用いた処理を行なう第２処理装置とに分けられていてもよい。この場合、第２処理装置に表示装置４が接続され、第２処理装置が、断層画像Ｉ１及び学習済みモデル３Ｍを用いた処理によって得られる三次元画像を表示装置４へ出力する。

図４は、学習済みモデル３Ｍの概要図である。本開示における学習済みモデル３Ｍは、三次元画像（ボクセルごとの値）が入力された場合に、三次元画像に写っている１又は複数の対象物の領域を示す画像を出力するように学習されるモデルである。学習済みモデル３Ｍは例えば、三次元のセマンティックセグメンテーション（Semantic Segmentation ）を実施するモデルである。学習済みモデル３Ｍは、入力された三次元画像の各ボクセルに対し、各ボクセルが、いずれの対象物の範囲に属するボクセルであるかをタグ付けした三次元マップＰを出力するように設計されている。

学習済みモデル３Ｍは例えば、図４に示すように、畳み込み層、プーリング層、アップサンプリング層、及びソフトマックス層を対象的に配置した所謂Ｕ－ｎｅｔを用いる。学習済みモデル３Ｍは、三次元画像が入力された場合に、画像内で識別された範囲を示す三次元マップＰを出力するモデルである。入力される三次元画像は、図４に示すように、例えば断層画像Ｉ１を長軸方向に重ねて各画素に三次元座標を与えたデータである。出力される三次元マップＰは、血管の内腔範囲、血管の中膜を含む血管の内腔境界と血管境界との間に対応する膜範囲、ガイドワイヤＷ及びそれによる反響が写っている範囲、並びにカテーテル１に対応する範囲を、その位置のボクセルに各々異なるボクセル値（図４中では異なる種類のハッチング及び無地で示す）によってタグを付したものである。学習済みモデル３Ｍは、入力される三次元画像のボクセルサイズ、即ち縦、横及び長さ（長軸方向の長さ）を固定して学習されるとよい。サイズを固定することで出力される三次元マップＰの精度が維持される。学習済みモデル３Ｍは更に、血管に形成されているプラークの部分、石灰化された部分等を識別できてもよい。

学習済みモデル３Ｍは上述したようにセマンティックセグメンテーション、Ｕ－ｎｅｔを例示したがこれに限らないことは勿論である。その他、学習済みモデル３Ｍは、インスタンスセグメンテーション等による個別認識処理を実現するモデルであってもよい。学習済みモデル３Ｍは、Ｕ－ｎｅｔベースに限らず、ＳｅｇＮｅｔ、Ｒ－ＣＮＮ、又は他のエッジ抽出処理との統合モデル等をベースにしたモデルを使用してもよい。

処理部３０は、学習済みモデル３Ｍに、三次元画像を入力して得られる三次元マップＰにおけるボクセル値とその画像内のボクセルの座標とによって、カテーテル１を用いて検査した血管の内腔境界、及び血管境界をエッジ検出できる。血管境界は、厳密には血管の中膜と外膜との間の外弾性板（ＥＥＭ：External Elastic Membrane ）であって、ＩＶＵＳ法にて断層画像Ｉ１内で比較的明瞭に低い輝度で写る。図５は、検出された境界（輪郭）を示す図である。図５は、図４に示した断層画像Ｉ１を重ねた三次元画像に対し、学習済みモデル３Ｍから出力された三次元マップＰに基づいて得られる内腔境界を示す曲面Ｆ１と、血管境界を示す曲面Ｆ２とが重畳表示されている状態を示す。

上述のように、イメージングデバイス１１から得られた信号に基づいて、三次元的に血管の範囲を識別した結果を、断層画像Ｉ１と共に表示することにより、検査に係る医療従事者が、管腔器官内を把握しやすくなる。ただし、管腔器官は検査中に拍動し、加えて、カテーテル１の進行具合や血管内の構造、プラーク等によって軸がずれることがあり、イメージングデバイス１１から得られる信号を単純に結んだ三次元画像はブレが多く、実際の血管を再現したものにならない。

そこで、本開示における画像処理装置３は、イメージングデバイス１１から得られる信号、又は、学習済みモデル３Ｍから出力された三次元マップＰのどちらか、あるいは両方に補正を加えて、より正確に管腔器官を再現した三次元画像を作成する。以下、補正の処理手順、及び表示内容について詳細に説明する。

図６及び図７は、画像処理装置３による情報処理手順の一例を示すフローチャートである。画像処理装置３の処理部３０は、カテーテル１のイメージングデバイス１１から信号が出力されると以下の処理を開始する。

処理部３０は、カテーテル１のイメージングデバイス１１からの信号（データ）を所定量（例えば３６０度分）取得する都度（ステップＳ１０１）、径方向の信号を矩形に並べた画像を極座標変換（逆変換）して断層画像Ｉ１を生成する（ステップＳ１０２）（図２参照）。処理部３０は、生成した断層画像Ｉ１を、表示装置４に表示させている画面内にリアルタイムに表示できるように出力する（ステップＳ１０３）。処理部３０は、ステップＳ１０１で取得した信号データと、断層画像Ｉ１とを、血管の長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ１０４）。ステップＳ１０４で処理部３０は、イメージングデバイス１１の走査角度を記憶してもよい。

処理部３０は、三次元画像を作成できるか否かを判断する（ステップＳ１０５）。ステップＳ１０５において処理部３０は例えば、ステップＳ１０２で生成した断層画像Ｉ１が所定数に到達したか否かを判断する。処理部３０は例えば、断層画像Ｉ１が３２フレーム分集まった場合に作成できると判断する。その他処理部３０は、走査が進んだ長さが所定長さに至っているか否かを判断してもよいし、ステップＳ１０５にて走査が完了したか否かを判断してもよい。

三次元画像を作成できないと判断された場合（Ｓ１０５：ＮＯ）、処理部３０は処理をステップＳ１０１へ戻し、三次元画像を作成できるまで処理を続ける。

三次元画像を作成できると判断された場合（Ｓ１０５：ＹＥＳ）、処理部３０は、断層画像Ｉ１を長軸方向に重ねるようにして三次元画像を作成する（ステップＳ１０６）。ステップＳ１０６において処理部３０は、断層画像Ｉ１を所定数（例えば５、１０等）重ねて作成する。処理部３０は、走査範囲に亘る全断層画像Ｉ１を重ねてステップＳ１０６を実行してもよい。

処理部３０は、作成した三次元画像を学習済みモデル３Ｍへ入力する（ステップＳ１０７）。処理部３０は、学習済みモデル３Ｍから出力される三次元マップＰからノイズを除去し、境界を示す曲面（輪郭）を補正する（ステップＳ１０８）。ステップＳ１０８において処理部３０は、境界の曲面からの外れ値となるような境界上の点（ノイズ）を除去する。処理部３０は、データが欠落する箇所について、スプライン曲線等によって他の点を結ぶことでその箇所を補正してもよいし、中間値で結んで補正してもよい。

処理部３０は、補正後の三次元マップＰを血管の横断面により所定数に分割した分割画像を作成し（ステップＳ１０９）、各分割画像に対し、内腔境界及び血管境界を決定する（ステップＳ１１０）。処理部３０は、内腔境界及び血管境界から、解剖学的特徴を示すデータを算出する（ステップＳ１１１）。処理部３０はステップＳ１１１において内腔境界の内側の範囲の重心を算出する。ステップＳ１１１において処理部３０は、他に、内腔境界の内側における最大径、最小径、平均内径等の数値を算出する。処理部３０は更に、血管境界の最大径、最小径、及び平均径を算出する。処理部３０はステップＳ１１１において、血管全体の構造を特定できるその他のデータを算出してもよい。

処理部３０は、ステップＳ１０９で作成した分割画像、ステップＳ１１１で算出した解剖学的特徴を示すデータを、分割画像の長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ１１２）。

処理部３０は、カテーテル１のイメージングデバイス１１による走査を完了したか否かを判断する（ステップＳ１１３）。走査を完了していないと判断された場合（Ｓ１１３：ＮＯ）、処理部３０は、処理をステップＳ１０１へ戻し、次の断層画像Ｉ１を生成する。

走査を完了したと判断された場合（Ｓ１１３：ＹＥＳ）、処理部３０は、走査した血管の長軸方向全体に対する解剖学的特徴を示すデータの分布を用い、走査範囲に対して作成された分割画像をそれぞれ補正する（ステップＳ１１４）。ステップＳ１１４において処理部３０は、例えば、分割画像における内腔範囲の重心を画像の中心に揃える補正をし、血管境界及び内腔境界を、各々の最大径（ピーク）に合わせて拡大する。処理部３０は、分割画像における内腔範囲にフィットする円の中心で、各分割画像をそろえる補正をし、また、血管境界及び内腔境界を、平均径に合わせて拡縮してもよい。

処理部３０は、補正後の分割画像を走査した血管の長軸方向に重ねるようにして三次元画像を作成し、記憶部３１に記憶する（ステップＳ１１５）。処理部３０はステップＳ１１５において、分割画像どうしの内腔境界及び血管境界をスムーズに繋いで内腔境界面及び血管境界面とし、三次元画像を作成する。

処理部３０は、作成した三次元画像を表示装置４に表示するように出力し（ステップＳ１１６）、処理を終了する。ステップＳ１１６において処理部３０は、走査した血管の長軸方向全体に対する解剖学的特徴を示すデータの分布を示すグラフや、長軸方向のいずれか選択可能な箇所に対応する断層画像Ｉ１を共に表示するとよい。

図６及び図７のフローチャートでは、ステップ１０５において三次元画像を作成できるか否かを判断し、ある程度の断層画像Ｉ１（フレーム）を集めてからステップＳ１０７にて学習済みモデル３Ｍへ入力した。走査が完了した後に、全走査分の断層画像Ｉ１を重ねて学習済みモデル３Ｍへ入力した場合、演算に比較的長時間を要する。そこで上述したように例えば３２フレーム分を三次元画像として学習済みモデル３Ｍへ入力することとする。フレームの数は、演算資源及び処理に要する時間の上限等によって定められるとよい。図８は、学習済みモデル３Ｍへ入力する三次元画像の作成の仕方を示す図である。図８は、断層画像Ｉ１を長軸方向に重ねて配したものを、各断層画像Ｉ１に厚みを持たせて表し、各矩形が断層画像Ｉ１に対応する。図８では、断層画像Ｉ１を、左部を近位側、右部を遠位側として長軸方向に連続して示している。処理部３０は、図８に示すように連続する複数のフレームを重ねて三次元画像を作成し、学習済みモデル３Ｍへ入力する。

学習済みモデル３Ｍは、入力する画像のボクセルサイズ（縦×横×長さ＝ボクセル数）を固定して学習されている。図８に示すように、ステップＳ１０７で入力する三次元画像は、前後（遠位側及び近位側）のフレームが重複していてもよく、処理部３０は、例えば数フレームずつ、重複するように断層画像Ｉ１を重ねて学習済みモデル３Ｍへ入力してもよい。走査の最後に入力する三次元画像を作成するに際し、固定のフレーム数に満たない場合は、最後（直近位）の断層画像Ｉ１から固定のフレーム分となるように過去（遠位側）の断層画像Ｉ１を集めて三次元画像とするとよい。

図６及び図７のフローチャートに示した処理手順について、具体例を挙げて説明する。図９は、補正前の分割画像を重ねた画像の模式図である。断層画像Ｉ１をそのまま重ねて三次元画像化し、学習済みモデル３Ｍへ入力して得られる三次元マップＰから得られる内腔境界の曲面Ｆ１又は血管境界の曲面Ｆ２は、図９に示すように、表面が波立ったような形状となったり、途中で軸がずれていたりする。これは、カテーテル１を遠位から近位へ移動させながら走査している間に血管は拍動するためであり、また、カテーテル１が常に真の血管中央を通るわけでないためである。しかしながら、内腔境界及び血管境界の実際の曲面のいずれも、図９に示すような波立つような曲面ではない。したがって、画像処理装置３の処理部３０は、三次元マップＰを分割して得られる分割画像における内腔境界及び血管境界を用いて補正を行なう。

図１０は、三次元マップの分割画像の補正及び補正後の三次元画像の模式図である。図１０では、処理部３０が、矩形で示す分割画像に対して決定された血管境界それぞれを、最大径（拍動のピーク）がそろうように矢符で示すように拡大し、下向きの矢符で示すように軸を重心で揃える。内腔境界については図示を省略している。処理部３０は、図１０に示すように、補正後の各分割画像における血管境界を繋げる。これにより、図９で示したような画像と比較して、図１０の補正後の三次元画像のように波立ちを抑え、血管を三次元的に再現した画像をよりリアルに提供できる。

図１１は、表示装置４における画面例を示す図である。図１１の画面４００には、図１０で示した補正後の血管の三次元画像を表示すると共に、長軸上で移動可能なオブジェクトであるカーソル（図１１中の符号４０１）、カーソル４０１で選択された位置における断層画像Ｉ１が表示されている。また、図１１に示す画面４００には、長軸上の解剖学的特徴を示すデータの分布を示すグラフ４０２が示されている。グラフ４０２は例えば、平均内腔径の長軸上の分布である。図１１に示すように、グラフ４０２も、三次元的に示されている血管の長軸方向に合わせて三次元的に表示されているとよい。画面４００には、図１１に示すように、断層画像Ｉ１から分析される側枝の有り無しが出力されるとよい。側枝の有無は、解剖学的特徴を示すデータにおける最大径、及び最小径、並びに血管境界の形状等に基づいて処理部３０により検出可能である。

本開示の画像診断装置１００により、図１１のような画面４００が表示装置４に表示され、画面４００内に、血管を三次元的に再現した画像をより正確に提供できることにより、医療従事者にとってはより特徴を把握しやすくなる。

（第２実施形態）
第２実施形態では、断層画像Ｉ１ではなくイメージングデバイス１１から得られる信号を、その走査順と同様に螺旋状に配して三次元画像を作成する。第２実施形態における画像診断装置１００の構成は、以下に説明する詳細な処理手順を除き、第１実施形態における構成と同様であるから、共通する構成について同一の符号を付して詳細な説明を省略する。

図１２は、イメージングデバイス１１からの信号により作成される三次元画像の模式図である。イメージングデバイス１１は、図２に示したように螺旋状に回転しながら移動して超音波の反射を検出した信号を取得する。したがって、検出した信号を長軸上の位置及び走査角度でプロットすると図１２に示すように三次元画像が得られる。

第２実施形態の学習済みモデル３Ｍは、図１２に示すような螺旋状に信号を分布させた三次元画像が入力された場合に、図４に示したような三次元マップＰを出力ように学習する。

図１３は、第２実施形態における情報処理手順の一例を示すフローチャートである。第２実施形態の画像処理装置３の処理部３０は、カテーテル１のイメージングデバイス１１からから信号が出力されると以下の処理を開始する。

処理部３０は、カテーテル１のイメージングデバイス１１からの信号（データ）を所定量（例えば３６００度、１０回転分）取得する都度（ステップＳ２０１）、信号データを長軸上の位置及びイメージングデバイス１１の走査角度に対応付けて記憶する（ステップＳ２０２）。処理部３０は、イメージングデバイス１１から取得した径方向の反射信号（データ）をイメージングデバイス１１の回転角度に従って螺旋状に配置した三次元画像（図１２参照）を作成する（ステップＳ２０３）。

ステップＳ２０３において処理部３０は、反射信号を螺旋状に配置するのみならず、断層画像Ｉ１を極座標変換する前の矩形画像として得られるデータを分割して三次元化（画素値をボクセルに割り当て）して三次元像を作成してもよい。

ステップＳ２０３において処理部３０は、信号データの欠落箇所（螺旋状に走査した場合に走査されない箇所）について補間する処理を実施してもよい。具体的には、信号データをボクセルに割り当てる過程において、データが割り当てられないボクセルには、周囲のボクセル値を拡張してもよいし、周囲のボクセル値の中間値を割り当ててもよい。

処理部３０は、ステップＳ２０３で作成した三次元画像を、学習済みモデル３Ｍへ入力する（ステップＳ２０４）。このため第２実施形態において学習済みモデル３Ｍは、断層画像Ｉ１を重ねた三次元画像を入力画像として学習するのではなく、予め、信号データを螺旋状に配置した画像を入力画像としてその結果のセグメンテーションを学習しておくことが望ましい。

処理部３０は、学習済みモデル３Ｍから出力される三次元マップＰからノイズを除去し、境界を示す曲面（輪郭）を補正する（ステップＳ２０５）。ステップＳ２０５において処理部３０は、境界の曲面からの外れ値となるような境界上であると識別される点（ノイズ）を除去し、データが欠落している点はスプライン曲線等によって他の点を結ぶことで補正してもよいし、中間値で結んでもよい。

処理部３０は、補正後の三次元マップＰを血管（管腔器官）の横断面により所定数に分割した分割画像を作成し（ステップＳ２０６）、各分割画像に対し、内腔境界及び血管境界を決定する（ステップＳ２０７）。処理部３０は、内腔境界及び血管境界から、解剖学的特徴を示すデータを算出する（ステップＳ２０８）。処理部３０はステップＳ２０８において内腔境界の内側の範囲の重心を算出する。ステップＳ２０８において処理部３０は、他に、内腔境界の内側における最大径、最小径、平均内径等の数値を算出する。処理部３０は更に、血管境界の最大径、最小径、及び平均径を算出する。処理部３０はステップＳ２０８において、血管全体の構造を特定できるデータを算出する。

処理部３０は、ステップＳ２０６で作成した分割画像、ステップＳ２０８で算出した解剖学的特徴を示すデータを、分割画像の長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ２０９）。

処理部３０は、カテーテル１のイメージングデバイス１１による走査を完了したか否かを判断する（ステップＳ２１０）。走査を完了していないと判断された場合（Ｓ２１０：ＮＯ）、処理部３０は、処理をステップＳ２０１へ戻し、次の三次元画像を生成する。

走査を完了したと判断された場合（Ｓ２１０：ＹＥＳ）、処理部３０は、走査した血管の長軸方向全体に対する解剖学的特徴を示すデータの分布を用い、走査範囲に対して作成された分割画像をそれぞれ補正する（ステップＳ２１１）。ステップＳ２１１において処理部３０は、例えば、分割画像における内腔範囲の重心を画像の中心に揃える補正をし、血管境界及び内腔境界を、各々の最大径（ピーク）に合わせて拡大する（第１実施形態の図９及び図１０と同様）。処理部３０は、分割画像における内腔範囲にフィットする円の中心で、各分割画像をそろえる補正をし、また、血管境界及び内腔境界を、平均径に合わせて拡縮してもよい。

処理部３０は、補正後の分割画像を走査した血管の長軸方向に重ねるようにして三次元画像を作成し、記憶部３１に記憶する（ステップＳ２１２）。処理部３０は、作成した三次元画像を表示装置４に表示するように出力し（ステップＳ２１３）、処理を終了する。ステップＳ２１３において処理部３０は、図１１に示したように、走査した血管の長軸方向全体に対する解剖学的特徴を示すデータの分布を示すグラフや、長軸方向のいずれか選択可能な箇所に対応する断層画像Ｉ１を共に表示するとよい。

第２実施形態では、イメージングデバイス１１からの信号を、イメージングデバイス１１の動きに忠実に分布させた三次元画像を作成するため、よりリアルな三次元画像に基づく解剖学的特徴を得ることが可能になる。第２実施形態では更に、分割画像に対して拍動やカテーテル１の動きに応じた補正が施され、血管を三次元的に再現した画像をよりリアルに提供できる。

（第３実施形態）
第３実施形態では、断層画像Ｉ１に対しそれぞれ、二次元的に対象物の領域への識別（セグメンテーション）を実施し、内腔径又は血管径がピーク（拍動のピーク）となる断層画像Ｉ１のみを抽出し、抽出した断層画像を重ね、三次元画像を作成する。作成した三次元画像を学習済みモデルに入力する。

図１４は、第３実施形態の画像処理装置３の構成を示すブロック図である。第３実施形態において画像処理装置３は、三次元画像用の学習済みの第１モデル３１Ｍと、二次元画像用の学習済みの第２モデル３２Ｍとを記憶して用いる。第１モデル３１Ｍは、第１実施形態又は第２実施形態で説明した学習済みモデル３Ｍと同一である。その他、第３実施形態の画像診断装置１００の構成は、２つのモデルを使用することと、これに基づく以下に示す処理手順とを除き、第１実施形態における画像診断装置１００と同様であるため、共通する構成について同一の符号を付して詳細な説明を省略する。

なお第１モデル３１Ｍ及び第２モデル３２Ｍのいずれも、図１４に示すように非一時記憶媒体である記憶部３１に記憶されていてもよいし、処理部３０が、非一時記憶媒体９に記憶された第１モデル９１Ｍ及び第２モデル９２Ｍを読み出して記憶部３１に複製したものであってもよい。処理部３０は、図示しないサーバ装置から第１モデル３１Ｍ及び第２モデル３２Ｍをダウンロードして記憶してもよい。

図１５は、第２モデル３２Ｍの概要図である。第２モデル３２Ｍは、断層画像Ｉ１を入力した場合に、その画像に写っている１又は複数の対象物の領域を示す画像を出力するように学習されたモデルである。第２モデル３２Ｍは、第１モデル３１Ｍ、即ち第１実施形態における学習済みモデル３Ｍと同様に、セマンティックセグメンテーション（Semantic Segmentation ）を実施するモデルであって、例えばＵ－ｎｅｔを用いる。

第２モデル３２Ｍは、断層画像Ｉ１が入力された場合に、タグ画像ＩＳ及び確度を出力する。タグ画像ＩＳは、血管の内腔範囲、血管の中膜を含む膜範囲、ガイドワイヤＷ及びそれによる反響が写っている範囲、並びにカテーテル１に対応する範囲を、その位置の画素に各々異なる画素値によってタグを付したものである。

第２モデル３２Ｍを用いた処理についてフローチャートを参照して説明する。図１６及び図１７は、第３実施形態における情報処理手順を示すフローチャートである。第３実施形態の画像処理装置３の処理部３０は、カテーテル１のイメージングデバイス１１から信号が出力されると以下の処理を開始する。

処理部３０は、カテーテル１のイメージングデバイス１１からの信号（データ）を所定量（例えば３６０度分）取得する都度（ステップＳ３０１）、径方向の信号を矩形に並べた画像を極座標変換（逆変換）して断層画像Ｉ１を生成する（ステップＳ３０２）。処理部３０は、生成した断層画像Ｉ１を、表示装置４に表示させている画面内にリアルタイムに表示できるように出力する（ステップＳ３０３）。処理部３０は、ステップＳ３０１で取得した信号データと、断層画像Ｉ１とを、血管の長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ３０４）。

処理部３０は、ステップＳ３０２で生成した断層画像Ｉ１を、第２モデル３２Ｍへ入力する（ステップＳ３０５）。第２モデル３２Ｍから得られるタグ画像ＩＳに基づき、断層画像Ｉ１における内腔境界及び血管境界のデータを算出する（ステップＳ３０６）。ステップＳ３０６において処理部３０は、第２モデル３２Ｍから出力される内腔範囲、血管の中膜を含む膜範囲の内、内腔範囲の輪郭（エッジ）を内腔境界、膜範囲の外側輪郭を血管境界として算出する。

処理部３０は、ステップＳ３０６で得られた内腔境界及び血管境界のデータに基づき、解剖学的特徴を示すデータを算出する（ステップＳ３０７）。ステップＳ３０７において処理部３０は、内腔境界の内側範囲の最大径、最小径、及び平均径のいずれか又は全部の数値を算出する。処理部３０は更に、血管境界の最大径、最小径、及び平均径のいずれか又は全部を算出する。

処理部３０は、ステップＳ３０７で算出した解剖学的特徴を示すデータを、血管の長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ３０８）。

処理部３０は、カテーテル１のイメージングデバイス１１による走査を完了したか否かを判断する（ステップＳ３０９）。走査を完了していないと判断された場合（Ｓ３０９：ＮＯ）、処理部３０は、処理をステップＳ３０１へ戻し、次の断層画像Ｉ１を生成する。

走査を完了したと判断された場合（Ｓ３０９：ＹＥＳ）、処理部３０は、走査した血管の長軸方向全体に対する解剖学的特徴を示すデータの分布を用い、平均内腔径（内腔径の平均径）のピークに対応する長軸方向における位置を決定する（ステップＳ３１０）。

処理部３０は、決定した位置に対応する断層画像Ｉ１を、記憶部３１から抽出する（ステップＳ３１１）。処理部３０は、抽出した断層画像Ｉ１を、長軸方向の位置に合わせて重ねて三次元画像を作成する（ステップＳ３１２）。ステップＳ３１２により、第１モデル３１Ｍの前段階で、三次元画像が補正される。

処理部３０はステップＳ３１２において、長軸方向の位置を奥行きに反映させて三次元画像を作成する。処理部３０はステップＳ３１２において、走査範囲全体に亘る三次元画像を作成してもよいし、所定長さ分（例えば１０ｍｍ、２０ｍｍ等）ずつ三次元画像としてもよい。

処理部３０はステップＳ３１２において、抽出した断層画像Ｉ１に対応するイメージングデバイス１１からの信号データを、第２実施形態で示したように（図１２）、螺旋状に配して三次元画像を作成してもよい。

処理部３０は、作成した三次元画像を第１モデル３１Ｍへ入力する（ステップＳ３１３）。処理部３０は、第１モデル３１Ｍから出力される三次元マップＰを三次元画像とし、記憶部３１に記憶する（ステップＳ３１４）。

処理部３０は、ステップＳ３１４で得られる三次元画像を、表示装置４に表示するように出力し（ステップＳ３１５）、処理を終了する。ステップＳ３１６において処理部３０は、図１１に示したように、走査した血管の長軸方向全体に対する解剖学的特徴を示すデータの分布を示すグラフや、長軸方向のいずれか選択可能な箇所に対応する断層画像Ｉ１を共に表示するとよい。

図１８は、第３実施形態における処理の概要図である。平均内腔径の分布を示すグラフを対応付けて示している。グラフに示すように、平均内腔径の分布は、拍動に応じたピークを有する。処理部３０は、ピークに対応する長軸上の位置を分布から特定し、特定された位置に対応する断層画像Ｉ１を抽出する（Ｓ３１１）。処理部３０は、抽出した断層画像Ｉ１を重ねて三次元画像を作成する（Ｓ３１２）。つまり第３実施形態における処理は、補正後の三次元画像を、第１モデル３１Ｍ（学習済みモデル３Ｍ）へ入力することと同義である。

補正後の三次元画像は、ピーク以外の位置に対応する断層画像Ｉ１が欠けている。したがって処理部３０は、ピークに対応する断層画像Ｉ１間を、内腔境界又は血管境界の境界面（境界線）を繋ぐようにして補間してもよい。あるいは処理部３０は、ピーク以外が欠けたままの断層画像Ｉ１を重ねて第１モデル３１Ｍへ入力してもよい。入力される三次元画像は、周期的なピークを結んでいるので、長軸方向を縮小させた画像とほぼ等しい。したがって処理部３０は、第１モデル３１Ｍから出力される三次元マップＰを、長軸方向に伸長させて三次元画像としてもよい。

第３実施形態で処理部３０は、上述したように解剖学的特徴を示すデータの分布を解析し、ピークに対応する位置を決定した。しかしながら、ピークに対応する位置を決定する方法は他の方法でもよい。例えば処理部３０は、カテーテル１のイメージングデバイス１１からの信号を入力すると共に、拍動を計測する計器からの信号を入出力Ｉ／Ｆ３２を介して入力し、拍動のタイミングに対応する位置を、ピークに対応する位置として決定してもよい。この場合も精度よく、画像処理装置３、波立ちを抑えた三次元画像を作成することが可能である。

第３実施形態においても、得られた三次元画像を、図１１に示したように画面４００内に表示させる。三次元のセグメンテーションを実施する第１モデル３１Ｍに入力する前に補正した三次元画像からも、表面の波立ちやノイズを除去して範囲を分別した三次元画像を得ることが可能である。

第３実施形態で処理部３０は、断層画像Ｉ１における内腔境界及び血管境界のデータを、第２モデル３２Ｍを使用して算出した。しかしながら、処理部３０は、二次元画像に対する第２モデル３２Ｍを用いることなしに、第１モデル３１Ｍに三次元画像を入力して得られる三次元マップＰを分割した分割画像から内腔境界及び血管境界のデータを算出してもよい。この場合処理部３０は、その内腔境界及び血管境界から、各分割画像に対応する位置における平均内腔径、最大径等を算出し、そのピークを特定し、ピークに対応する長軸の位置を決定してもよい。

（第４実施形態）
第４実施形態で画像処理装置３は、断層画像Ｉ１を、所定数単位でグループ化し、グループ毎に学習済みモデル３Ｍへ入力して得られた三次元マップＰを走査範囲に伸長したものをグループ毎の三次元画像として求める。画像処理装置３は、得られたグループ毎の三次元マップＰの平均、重心をとるなどして、スムーズにつないで三次元画像を推定する。

第４実施形態の画像診断装置１００の構成は、以下に示す処理手順を除き、第１実施形態における画像診断装置１００と同様であるため、共通する構成について同一の符号を付して詳細な説明を省略する。

図１９及び図２０は、第４実施形態における情報処理手順を示すフローチャートである。第４実施形態の画像処理装置３の処理部３０は、カテーテル１のイメージングデバイス１１からの信号が出力されると以下の処理を開始する。

処理部３０は、断層画像Ｉ１のグループナンバーを初期化（ＧＮ＝１）する（ステップＳ４０１）。グループナンバーはグループ数を最大値とし、断層画像Ｉ１を１つ生成して記憶する都度に１つ加算して断層画像Ｉ１に付与するものである。グループ数は、拍動の周期と、カテーテル１の移動速度及び回転周期とに基づいて、決定されるとよい。拍動の周期に合わせて同様の位相の画像が同一グループに属するように設定されることが好ましい。

処理部３０は、カテーテル１のイメージングデバイス１１からの信号を所定量（例えば３６０度分）取得する都度（ステップＳ４０２）、径方向の信号を矩形に並べた画像を極座標変換（逆変換）して断層画像Ｉ１を生成する（ステップＳ４０３）。処理部３０は、生成した断層画像Ｉ１を、表示装置４に表示させている画面内にリアルタイムに表示できるように出力する（ステップＳ４０４）。

処理部３０は、生成した断層画像Ｉ１に、グループナンバーを付与する（ステップＳ４０５）。処理部３０は、ステップＳ４０２で取得した信号データと、グループナンバーが付与された断層画像Ｉ１とを、血管の長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ４０６）。

処理部３０は、グループナンバーが最大値であるか否かを判断し（ステップＳ４０７）、最大値でないと判断した場合（Ｓ４０７：ＮＯ）、グループナンバーをインクリメントする（ステップＳ４０８）。最大値であると判断された場合（Ｓ４０７：ＹＥＳ）、処理部３０はグループナンバーを初期化する（ステップＳ４０９）。

処理部３０は、三次元画像を作成できるか否かを判断する（ステップＳ４１０）。ステップＳ４１０において処理部３０は例えば、同一のグループナンバーを付与した断層画像Ｉ１が所定数に到達したか否かを判断する。その他処理部３０は、走査が進んだ長さが所定長さに至っているか否かを判断してもよいし、ステップＳ４１０にて走査が完了したか否かを判断してもよい。

三次元画像を作成できないと判断された場合（Ｓ４１０：ＮＯ）、処理部３０は処理をステップＳ４０２へ戻し、三次元画像を作成できるまで処理を続ける。

三次元画像を作成できると判断された場合（Ｓ４１０：ＹＥＳ）、処理部３０は、三次元画像を作成できると判断されたグループについて、同一のグループナンバーが付与された断層画像Ｉ１を、グループ毎に、長軸方向に重ねるようにして三次元画像を作成する（ステップＳ４１１）。ステップＳ４１１において処理部３０は、断層画像Ｉ１を所定数（例えば５、１０等）重ねて作成する。処理部３０は、走査範囲に亘る全断層画像Ｉ１を重ねてステップＳ４１１を実行してもよい。

処理部３０は、グループについて作成した三次元画像を学習済みモデル３Ｍへ入力する（ステップＳ４１２）。処理部３０は、学習済みモデル３Ｍから出力される三次元マップＰからノイズを除去し、境界を示す曲面（輪郭）を補正する（ステップＳ４１３）。ステップＳ４１３において処理部３０は、境界の曲面からの外れ値となるような境界上の点（ノイズ）を除去し、データが欠落している箇所についてはスプライン曲線等によって他の点を結ぶことでその箇所を補正してもよいし、中間値で結んでその箇所を補正してもよい。第４実施形態では、ステップＳ４１３を省略してもよい。

処理部３０は、得られた三次元マップＰを血管（管腔器官）の横断面により所定数に分割した分割画像を対象のグループについて作成して（ステップＳ４１４）、各分割画像に対し、内腔境界及び血管境界を決定する（ステップＳ４１５）。処理部３０は、内腔境界及び血管境界から、解剖学的特徴を示すデータを算出する（ステップＳ４１６）。処理部３０はステップＳ４１６において内腔境界の内側の範囲の重心を算出する。ステップＳ４１６において処理部３０は、他に、内腔境界の内側における最大径、最小径、平均内径等の数値を算出する。処理部３０は更に、血管境界の最大径、最小径、及び平均径を算出する。処理部３０はステップＳ４１６において、血管全体の構造を特定できるその他のデータを算出してもよい。

処理部３０は、ステップＳ４１４で作成した分割画像、ステップＳ４１６で算出した解剖学的特徴を示すデータを、分割画像の長軸上の位置に対応付けて、グループ別に記憶部３１に記憶する（ステップＳ４１７）。

処理部３０は、処理部３０は、カテーテル１のイメージングデバイス１１による走査を完了したか否かを判断する（ステップＳ４１８）。走査を完了していないと判断された場合（Ｓ４１８：ＮＯ）、処理部３０は、処理をステップＳ４０２へ戻し、次の断層画像Ｉ１を生成する。

走査を完了したと判断された場合（Ｓ４１８：ＹＥＳ）、処理部３０は、走査範囲に対してグループ毎に作成された分割画像を、グループ毎に重ねて三次元画像を作成し、記憶部３１にグループ毎に記憶する（ステップＳ４１９）。処理部３０は、ステップＳ４１９においてグループ毎に、分割画像それぞれについて導出した解剖学的特徴を示すデータ（例えば平均内腔径）に基づき内腔境界及び血管境界を繋いで内腔境界面及び血管境界面とし、三次元画像を作成する。

処理部３０は、各グループの三次元画像を走査範囲の長軸方向の長さに合わせて伸長させ、各グループの三次元画像を同一座標空間に配し、これらに基づいて１つの三次元画像を作成する（ステップＳ４２０）。処理部３０はステップＳ４２０において、同一座標空間に配した三次元画像どうしで、交差したり平行を辿ったりする内腔境界面及び血管境界面の平均曲面（中央となる点を結んでもよい）となる曲面を算出して曲面を作成する。つまり処理部３０はステップＳ４２０において、各グループの三次元画像を複数の下書き面とし、その下書きに基づいて１つの代表となる曲面を描いた三次元画像を作成する。

処理部３０は、ステップＳ４２０で作成した三次元画像を記憶部３１に記憶し（ステップＳ４２１）、表示装置４に表示するように出力し（ステップＳ４２２）、処理を終了する。ステップＳ４２１において処理部３０は、走査した血管の長軸方向全体に対する解剖学的特徴を示すデータの分布を示すグラフや、長軸方向のいずれか選択可能な箇所に対応する断層画像Ｉ１を、図１１に示したように、共に表示するとよい。

図２１は、第４実施形態における処理の概要図である。図２１は、断層画像Ｉ１を長軸方向に重ねて配したものを、各断層画像Ｉ１に厚みを持たせて表し、各矩形が断層画像Ｉ１に対応する。図２１Ａでは、断層画像Ｉ１を、左部を近位側、右部を遠位側として長軸方向に連続して示している。各断層画像Ｉ１は、グループ毎に異なるハッチングで見分けられる。図２１で示す断層画像Ｉ１を重ねた例では、グループ数は例えば５つである。このグループ数は、拍動のピーク周期に合わせてあるとよい。予め拍動周期（秒）を計測しておき、周期中にイメージングデバイス１１からの信号によって断層画像Ｉ１を生成できる数（フレーム画像数）で決めることが可能である。

図１９及び図２０のフローチャートにおけるステップＳ４１１において処理部３０は、図２１Ｂに示すように、第１グループであれば「１」のＧＮが付与された断層画像Ｉ１を集め、長軸方向に重ねて三次元画像化する。第２グループであれば「２」のＧＮが付与された断層画像Ｉ１が同様に重ねられて三次元画像化される。

各グループで作成された三次元画像が学習済みモデル３Ｍへ入力され、図２１Ｃに示すように、三次元マップＰがグループ毎に得られる。図２１Ｃでは、各グループにて識別されている範囲の境界線（ここでは血管境界のみ）の断面を模式的に示している。三次元マップＰ、あるいは分割画像（解剖学的特徴を示すデータ）を繋げて得られる三次元画像は、図２１の例であれば、サンプリングを１／５に間引きした画像であって、長軸方向に１／５に圧縮された画像である。

したがって処理部３０は、三次元マップＰあるいは分割画像をつなげた三次元画像を、長軸方向に５倍に伸長する（Ｓ４２０）。図２１Ｄは、各グループの三次元画像を５倍に伸長して同一座標空間に配したものを模式的に示している。図２１Ｄでは、三次元マップＰにて識別されている範囲の境界線（ここでは血管境界のみ）の断面を、グループ別に異なる線種にて示している。図２１Ｄに示すように、グループ別に作成した三次元画像における境界線は、一部交わったり、並行を辿ったりしている。

処理部２０は、これらのグループ毎の境界線（境界面）の平均、中央、重心等によって、１つの境界面を決定した三次元画像を作成する。図２１Ｅに、決定された境界面（ここでは血管境界）を太線で示した例を示す。図２１Ｅに示すように、処理部３０は、図２１Ｄに示したグループ毎の境界面を下書きとして１つの代表面を決定するようにして三次元画像を作成する。これにより、画像診断装置１００は、イメージングデバイス１１による観測値から、実際の血管の真の構成を推定するように血管を三次元的に再現することが可能である。

第４実施形態における表示例は、第１実施形態で示した図１１の画面４００の例を同様であるから図示及び詳細な説明を省略する。

第１実施形態から第４実施形態では、カテーテル１と接続される画像処理装置３が、イメージングデバイス１１からの信号に基づきほぼリアルタイムに断層画像Ｉ１を生成しつつ、解剖学的特徴を示すデータを表示装置４に表示させるものとして説明した。しかしながら、上述に説明した画像処理装置３による処理は、別途、イメージングデバイス１１から得られる信号データに基づき事後的に行なわれてもよい。つまり、画像処理装置３は、カテーテル１のイメージングデバイス１１に直接的に接続されているとは限らず、イメージングデバイス１１からの信号を取得できればよい。画像処理装置３は、ネットワークを介してイメージングデバイス１１からの信号を記憶した記憶装置を読み出し可能な装置、例えばサーバ装置であってもよい。つまり、例えば図６及び図７のフローチャートに示したステップＳ１０１－Ｓ１０４の処理手順を既存の処理装置で実施し、ステップＳ１０５－Ｓ１１６の処理を、該処理装置に接続される画像処理装置３で実行し、処理装置経由で表示装置４に表示させてもよい。

第１実施形態から第４実施形態では、医用画像を冠動脈に対するＩＶＵＳで得られた画像を例に説明した。しかしながら、適用対象はこれに限らず、ＯＣＴ／ＯＦＤＩ等であってもよいし、管腔器官は血管に限らない。

上述のように開示された実施形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１ カテーテル
１１ イメージングデバイス
３ 画像処理装置（情報処理装置）
３０ 処理部
３１ 記憶部
３Ｐ コンピュータプログラム
３Ｍ 学習済みモデル（三次元識別モデル）
３１Ｍ 第１モデル（三次元識別モデル）
４ 表示装置
４００ 画面
４０１ カーソル
Ｉ１ 断層画像
Ｐ 三次元マップ

Claims (12)

1. 管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによって検出される信号を取得するコンピュータに、
   前記信号に基づく前記管腔器官の三次元画像が入力された場合に、前記三次元画像に写っている１又は複数の対象物の領域を各々示す三次元データを出力するように学習される三次元識別モデルを用い、
   前記イメージングデバイスから得られる信号に基づく三次元画像を前記三次元識別モデルへ入力し、
   前記三次元識別モデルから出力される三次元データから、前記管腔器官の構造を示す三次元画像を作成する
   処理を実行させるコンピュータプログラム。
2. 前記コンピュータに、前記三次元識別モデルへ入力する三次元画像、又は前記三次元識別モデルから出力される三次元データを補正する
   処理を実行させる請求項１に記載のコンピュータプログラム。
3. 前記コンピュータに、
   前記三次元識別モデルから出力される三次元データを、横断面で分割し、
   分割された分割画像それぞれにおける前記領域の境界を、前記管腔器官の最大径、最小径、又は平均径の前記長さ方向に対する分布に基づき拡縮して補正し、
   補正後の前記領域の境界を長さ方向に繋げて前記管腔器官の構造を示す三次元画像を作成する
   処理を実行させる請求項１又は２に記載のコンピュータプログラム。
4. 前記コンピュータに、
   前記信号に基づく複数の前記管腔器官の断層画像、又は、前記三次元データを横断面で分割した複数の分割画像から、前記管腔器官の解剖学的特徴を示すデータの前記長さ方向に対する分布を算出し、
   前記分布が有する前記データの複数のピークを決定し、
   前記複数のピークそれぞれの前記長さ方向の位置に対応する断層画像又は分割画像を抽出し、
   抽出された断層画像又は分割画像を繋げて前記管腔器官の構造を示す三次元画像を作成する
   処理を実行させる請求項１又は２に記載のコンピュータプログラム。
5. 前記ピークは、前記管腔器官の拍動のタイミング、又は、前記カテーテルの移動速度に応じて特定される
   請求項４に記載のコンピュータプログラム。
6. 前記コンピュータに、
   前記イメージングデバイスにて検出される信号、又は該信号に基づき生成される複数の前記管腔器官の断層画像をグループに分別し、
   分別された信号をグループ毎に三次元的に配した三次元画像、又は、分別された断層画像をグループ毎に前記長さ方向に重ねた三次元画像を、前記三次元識別モデルへ入力し、
   前記三次元識別モデルから出力されたグループ毎の三次元データを、各々伸長して同一座標空間に配したデータから、前記管腔器官の構造を示す三次元画像を作成する
   処理を実行さえる請求項１又は２に記載のコンピュータプログラム。
7. 前記グループの数は、前記管腔器官の拍動のタイミング、又は、前記カテーテルの移動速度に応じて特定される
   請求項６に記載のコンピュータプログラム。
8. 前記拍動のタイミングは、前記カテーテルの移動と共に測定される心拍計による計測結果に基づき特定される
   請求項５又は７に記載のコンピュータプログラム。
9. 前記コンピュータに、
   前記信号に基づき生成される断層画像を前記長さ方向に重ねた三次元画像を、補正することなしに、又は、補正後に前記三次元識別モデルへ入力する
   処理を実行させる請求項１から請求項８のいずれか１項に記載のコンピュータプログラム。
10. 前記コンピュータに、
    前記カテーテルの回転に従って径方向に走査する前記イメージングデバイスの動きに応じて、前記イメージングデバイスにて検出される信号を螺旋状に配した三次元画像を、補正することなしに、又は補正後に前記三次元識別モデルへ入力する
    処理を実行させる請求項１から請求項９のいずれか１項に記載のコンピュータプログラム。
11. 管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによって検出される信号を取得するコンピュータが、
    前記信号に基づく前記管腔器官の三次元画像が入力された場合に、前記三次元画像に写っている１又は複数の対象物の領域を各々示す三次元データを出力するように学習される三次元識別モデルを用い、
    前記イメージングデバイスから得られる信号に基づく三次元画像を前記三次元識別モデルへ入力し、
    前記三次元識別モデルから出力される三次元データから、前記管腔器官の構造を示す三次元画像を作成する
    情報処理方法。
12. 管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによって検出される信号を取得する情報処理装置において、
    前記信号に基づく前記管腔器官の三次元画像が入力された場合に、前記三次元画像に写っている１又は複数の対象物の領域を各々示す三次元データを出力するように学習される三次元識別モデルを記憶する記憶部と、
    前記信号に基づく画像処理を実行する処理部と
    を備え、
    前記処理部は、
    前記イメージングデバイスから得られる信号に基づく三次元画像を前記三次元識別モデルへ入力し、
    前記三次元識別モデルから出力される三次元データから、前記管腔器官の構造を示す三次元画像を作成する
    情報処理装置。

Images