JP2023051176A - コンピュータプログラム、情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】狭窄部の検出精度を向上させることができるコンピュータプログラム、情報処理装置及び情報処理方法を提供する。【解決手段】コンピュータプログラムは、コンピュータに、管腔器官の断面画像を示す医用画像データを取得し、管腔器官の断面画像を示す医用画像データを入力した場合に、管腔器官の所定部位の位置データを出力する学習モデルに、取得した医用画像データを入力して所定部位の第１位置データを取得し、取得した第１位置データに基づいて、管腔器官の指標を特定し、特定した指標が所定条件を充足する場合、取得した医用画像データの断面画像内の所定部位を含む領域を、前記学習モデルに入力する所定サイズより相対的に拡大した医用画像データを生成し、生成した医用画像データを学習モデルに入力して所定部位の第２位置データを取得し、取得した第２位置データに基づいて管腔器官の内径を算出する、処理を実行させる。【選択図】図２

Description

本発明は、コンピュータプログラム、情報処理装置及び情報処理方法に関する。

アーチファクトを多く含む、ＩＶＵＳ（Intra Vascular Ultra Sound：血管内超音波）画像の読影は一般に難しいと言われており、その読影を支援するためにオブジェクト検出技術の活用が検討されている。

特許文献１には、血管内にカテーテルを挿入し、カテーテル内に収容されたイメージングコアで得られた信号（血管組織に向けて出射した超音波、及び反射波）に基づいて血管断面画像を生成する画像診断装置が開示されている。

国際公開第２０１７／１６４０７１号

血管内腔径が小さい領域、特にＭＬＡ（Minimum lumen area）は、血管の狭窄部を特定するための代表的な注目領域であり、それが血管内のどこに存在し、内腔径がどの程度であることを検出することが求められているが、狭窄部の検出精度が十分でない場合がある。

本発明は、斯かる事情に鑑みてなされたものであり、狭窄部の検出精度を向上させることができるコンピュータプログラム、情報処理装置及び情報処理方法を提供することを目的とする。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、コンピュータプログラムは、コンピュータに、管腔器官の断面画像を示す医用画像データを取得し、管腔器官の断面画像を示す医用画像データを入力した場合に、前記管腔器官の所定部位の位置データを出力する学習モデルに、取得した医用画像データを入力して前記所定部位の第１位置データを取得し、取得した第１位置データに基づいて、前記管腔器官の指標を特定し、特定した指標が所定条件を充足する場合、取得した医用画像データの断面画像内の前記所定部位を含む領域を、前記学習モデルに入力する所定サイズより相対的に拡大した医用画像データを生成し、生成した医用画像データを前記学習モデルに入力して前記所定部位の第２位置データを取得し、取得した第２位置データに基づいて前記管腔器官の内径を算出する、処理を実行させる。

本発明によれば、狭窄部の検出精度を向上させることができる。

本実施の形態の画像診断システムの構成の一例を示す図である。 情報処理装置の構成の一例を示す図である。 学習モデルの構成の一例を示す図である。 学習モデルによる推定結果の一例を示す図である。 学習モデルによる推定値と真値との一致性の一例を示す図である。 学習モデルによる推定値の誤差率の一例を示す図である。 情報処理装置による管腔器官の内径及び外径の算出の一例を示す図である。 血管の長軸方向に沿った平均内腔径の推移の第１例を示す図である。 情報処理装置による医用画像生成処理の第１例を示す図である。 医用画像データに対する拡大・縮小処理の一例を示す図である。 情報処理装置による医用画像生成処理の第２例を示す図である。 血管の長軸方向に沿った平均内腔径の推移の第２例を示す図である。 偏心度に基づく側枝の有無の判定方法の一例を示す。 情報処理装置によるリアルタイム処理の一例を示す図である。 情報処理装置によるバッチ処理の一例を示す図である。

以下、本発明の実施の形態について説明する。図１は本実施の形態の画像診断システム１００の構成の一例を示す図である。画像診断システム１００は、心臓カテーテル治療（ＰＣＩ）等の血管内治療に用いられる血管内イメージング（画像診断）を行うための装置である。心臓カテーテル治療は、脚の付け根や腕、手首などの血管からカテーテルを差し込んで、冠動脈の狭くなった部分を治療する方法である。血管内イメージングには、血管内超音波検査（ＩＶＵＳ:Intra Vascular Ultra Sound）法、光干渉断層診断（ＯＦＤＩ：Optical Frequency Domain Imaging、ＯＣＴ：Optical Coherence Tomography）法、の二つの方法がある。ＩＶＵＳは、超音波の反射を利用して、血管内部を断層画像で読影する。具体的には、先端に超小型センサを搭載した細いカテーテルを冠動脈内に挿入し、病変部まで通した後、センサから発信される超音波で血管内の医用画像を生成することができる。ＯＦＤＩは、近赤外線を用いて、血管内の状態を高解像度の画像で読影する。具体的には、ＩＶＵＳと同様に、カテーテルを血管内に挿入し、先端部から近赤外線を照射し、干渉法によって血管の断面を測定し、医用画像を生成する。また、ＯＣＴは、近赤外線と光ファイバ技術を応用した血管内画像診断である。本明細書において、医用画像（医用画像データ）は、ＩＶＵＳ、ＯＦＤＩ、又はＯＣＴによって生成されたものを含むが、以下では、主にＩＶＵＳ法を用いた場合について説明する。

画像診断システム１００は、カテーテル１０、ＭＤＵ（Motor Drive Unit）２０、表示装置３０、入力装置４０、及び情報処理装置５０を備える。情報処理装置５０には、通信ネットワーク１を介してサーバ２００が接続されている。

カテーテル１０は、ＩＶＵＳ法によって血管の超音波断層像を得るための画像診断用カテーテルである。カテーテル１０は、血管の超音波断層像を得るための超音波プローブを先端部に有する。超音波プローブは、血管内において超音波を発する超音波振動子、及び血管の生体組織又は医用機器などの構造物で反射された反射波（超音波エコー）を受信する超音波センサを有する。超音波プローブは、血管の周方向に回転しながら、血管の長手方向に進退可能に構成されている。

ＭＤＵ２０は、カテーテル１０を着脱可能に取り付けることができる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動して、血管内に挿入されたカテーテル１０の動作を制御する。ＭＤＵ２０は、カテーテル１０の超音波プローブを先端（遠位）側から基端（近位）側へ移動させながら周方向に回転させることができる（プルバック操作）。超音波プローブは、所定の時間間隔で連続的に血管内を走査し、検出された超音波の反射波データを情報処理装置５０へ出力する。

情報処理装置５０は、カテーテル１０の超音波プローブから出力された反射波データに基づいて、血管の断層像を含む時系列順の複数の医用画像を生成する（取得する）。超音波プローブは、血管内を先端（遠位）側から基端（近位）側へ移動しながら血管内を走査するため、時系列順の複数の医用画像は、遠位から近位にわたる複数箇所で観測された血管の断層画像となる。

表示装置３０は、液晶表示パネル、有機ＥＬ表示パネル等を備え、情報処理装置５０による処理結果を表示することができる。また、表示装置３０は、情報処理装置５０が生成（取得）した医用画像を表示することができる。

入力装置４０は、検査を行う際の各種設定値の入力、情報処理装置５０の操作等を受け付けるキーボード、マウス等の入力インタフェースである。入力装置４０は、表示装置３０に設けられたタッチパネル、ソフトキー、ハードキー等であってもよい。

サーバ２００は、例えば、データサーバであり、医用画像データを蓄積した画像ＤＢを備えてもよい。

図２は情報処理装置５０の構成の一例を示す図である。情報処理装置５０は、コンピュータで構成することができ、情報処理装置５０全体を制御する制御部５１、通信部５２、インタフェース部５３、記録媒体読取部５４、メモリ５５、及び記憶部５６を備える。

制御部５１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等が所要数組み込まれて構成されている。また、制御部５１は、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）、量子プロセッサなどを組み合わせて構成してもよい。制御部５１は、第１取得部、第２取得部、第３取得部、特定部、生成部及び算出部の機能を有するとともに、後述のコンピュータプログラム５７が実現する機能も有する。

メモリ５５は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリで構成することができる。

通信部５２は、例えば、通信モジュールを備え、通信ネットワーク１を介してサーバ２００との間の通信機能を有する。また、通信部５２は、通信ネットワーク１に接続されている外部の装置（不図示）との間の通信機能を備えてもよい。

インタフェース部５３は、カテーテル１０、表示装置３０及び入力装置４０との間のインタフェース機能を提供する。情報処理装置５０（制御部５１）は、インタフェース部５３を通じて、カテーテル１０、表示装置３０及び入力装置４０との間でデータや情報の送信及び受信を行うことができる。

記録媒体読取部５４は、例えば、光学ディスクドライブで構成することができ、記録媒体５４１（例えば、ＣＤ－ＲＯＭ等の光学可読ディスク記憶媒体）に記録されたコンピュータプログラム（プログラム製品）を記録媒体読取部５４で読み取って記憶部５６に格納することができる。コンピュータプログラム５７は、メモリ５５に展開されて、制御部５１により実行される。なお、コンピュータプログラム５７は、通信部５２を介して、外部の装置からダウンロードして記憶部５６に格納してもよい。

記憶部５６は、例えば、ハードディスク又は半導体メモリ等で構成することができ、所要の情報を記憶することができる。記憶部５６は、コンピュータプログラム５７の他に、学習モデル５８を記憶することができる。学習モデル５８は、学習前のモデル、学習途中のモデル、又は学習済みモデルを含む。

図３は学習モデル５８の構成の一例を示す図である。学習モデル５８は、入力層５８ａ、中間層５８ｂ、及び出力層５８ｃを備え、例えば、Ｕ－Ｎｅｔで構成することができる。中間層５８ｂは、複数のエンコーダ、及び複数のデコーダを備える。入力層５８ａに入力された医用画像データに対して、複数のエンコーダで畳み込み処理を繰り返す。エンコーダで畳み込まれた画像に対して、複数のデコーダでアップサンプリング（逆畳み込み）処理を繰り返す。畳み込まれた画像をデコードする際に、エンコーダで生成した特徴マップを逆畳み込み処理を行う画像に足し合わせる処理を行う。これにより、畳み込み処理によって失われる位置情報を保持することができ、より精度の高いセグメンテーション（いずれのピクセルがいずれのクラスであるか）を出力することができる。

学習モデル５８は、医用画像データが入力されると、内腔の境界及び血管の境界それぞれを示す位置データを出力することができる。位置データは、内腔の境界及び血管の境界それぞれを示す画素（ピクセル）の座標データである。別言すれば、学習モデル５８は、入力された医用画像データそれぞれのピクセルを、例えば、クラス１、２、３の３つのクラスに分類することができる。クラス１はBackgroundを示し、血管の外側の領域を示す。クラス２は（Plaque + Media）を示し、プラークを含む血管の領域を示す。クラス３はLumenを示し、血管の内腔を示す。従って、クラス２に分類されたピクセルとクラス３に分類されたピクセルとの境界は内腔の境界を示し、クラス１に分類されたピクセルとクラス２に分類されたピクセルとの境界は血管の境界を示す。なお、学習モデル５８は、Ｕ－Ｎｅｔに限定されるものではなく、例えば、ＧＡＮ（Generative Adversarial Network）、ＳｅｇＮｅｔ等でもよい。

学習モデル５８の生成方法は、以下のようにすることができる。まず、血管の断面画像を示す医用画像データ、及び当該血管の内腔の境界及び血管の境界それぞれの位置データを含む第１訓練データを取得する。第１訓練データは、例えば、サーバ２００で収集して記憶しておき、サーバ２００から取得するようにすればよい。次に、第１訓練データに基づいて、血管の断面画像を示す医用画像データを学習モデル５８に入力した場合に、内腔の境界及び血管の境界それぞれの位置データを出力するように学習モデル５８を生成すればよい。なお、第１訓練データには、血管の断面画像に側枝が存在する医用画像データ、及び血管の断面画像に側枝が存在しない医用画像データの両方を含めることができる。

上述のようにして生成された学習モデル５８に、プルバック操作によって血管の長軸方向に沿って得られた複数の医用画像データを入力して、学習モデル５８の推定結果を検討することにより、出願人は、検出精度の観点から、血管径の誤差率が、検出対象の一つである血管径が小さい場合に、血管径があまり小さくない場合に比べて大きくなるという知見を得た。

図４は学習モデル５８による推定結果の一例を示す図である。図４に示す例は、血管の狭窄部における誤判定の例を示す。図４Ａは学習モデル５８に入力された医用画像を示し、図４Ｂは学習モデル５８による推定画像を示し、図４Ｃは正解画像を示す。図４Ｂと図４Ｃとを対比すると、狭窄部のように血管の内腔径が小さい場合に、特に、内腔境界を誤って推定していることが分かる。なお、内腔径があまり小さくない場合には、誤って推定する確率を極めて小さくすることが可能である。

図５は学習モデル５８による推定値と真値との一致性の一例を示す図である。図５は２つの測定方法の一致性の評価に用いられるブランド・アルトマンプロットを示す。図５において、横軸は平均内腔径の真値と推定値との平均（ｍｍ）を示し、縦軸は平均内腔径の真値と推定値との差（ｍｍ）を示す。なお、平均内腔径は、内腔を示すピクセルによって占められた領域の面積（内腔境界までの面積）Ｓを用いて、平均内腔径Ｄ＝２×√（Ｓ／π）で求めることができる。また、平均内腔径Ｄは、血管の内腔の最大径Ｄ１と最小径Ｄ２を用いて、平均内腔径Ｄ＝（最大径Ｄ１＋最小径Ｄ２）／２という式で定義することもできる。図５に示すように、縦軸の０を中心に上下（正負）の方向にランダムな分布を示すことから、偶然誤差が存在することが分かる。また、特定の方向に偏った分布を示す固定誤差や、測定値の増加に比例するような分布を示す比例誤差がないことが分かる。

図５に示す分布から、学習モデル５８による推定誤差は、血管の平均内腔径の大小にかかわらず同程度の誤差が生じていることが分かる。すなわち、学習モデル５８は、医用画像のピクセル単位でクラス分類を行って推定を行っているので、ピクセル毎の推定誤差が医用画像上のどこでも同程度であると考えることができる。

図６は学習モデル５８による推定値の誤差率の一例を示す図である。図６において、横軸は平均内腔径の真値と推定値との平均（ｍｍ）を示し、縦軸は誤差率（％）を示す。誤差率は、{１００×（推定値-真値）／真値}という式で求めることができる。図６に示すように、平均内腔径が小さい範囲では、誤差率が大きく、誤差の影響が大きくなることが分かる。誤差の影響が大きくなるのは、例えば、平均内腔径が約２．５ｍｍ以下の場合である。このように、出願人は、血管径が小さい場合（例えば、２～３ｍｍ程度）に、学習モデル５８が推定したピクセルの誤差率が大きくなり、推定結果の精度に影響を与えるという知見を得た。常に同程度のピクセル数の誤差を含むため、１ピクセル当たりの長さを小さくすることで、最終的な代表値算出時（例えば、血管の内径や外径など）の誤差を小さくする方法について説明する。

図７は情報処理装置５０による管腔器官の内径及び外径の算出の一例を示す図である。プルバック操作によって得られた血管の長軸方向に沿って得られた医用画像（医用画像データ）をＧ１、Ｇ２、…Ｇｎとする。血管内の遠位側から近位側に向かって医用画像Ｇ１、Ｇ２、…Ｇｎが得られる。コンピュータプログラム５７は、医用画像Ｇ１、Ｇ２、…の順で、学習モデル５８に入力して、所定部位としての内腔境界及び血管境界の位置データ（第１位置データ）を取得する。なお、学習モデル５８に入力する医用画像の数は、複数でもよく、１つでもよい。

学習モデル５８に入力される医用画像データは、サイズ変換処理（コンピュータプログラム５７）によって、所定のサイズに縮小された後、縮小後の医用画像データが学習モデル５８に入力される。元の医用画像データのサイズを、例えば、５１２［ｐｘ］×５１２［ｐｘ］とすると、縮小後のサイズは、例えば、１２８［ｐｘ］×１２８［ｐｘ］とすることができる。この場合、学習モデル５８が出力するセグメンテーションデータのサイズは１２８［ｐｘ］×１２８［ｐｘ］となるが、これを元の医用画像データと同一サイズの５１２［ｐｘ］×５１２［ｐｘ］に拡大する。これにより、学習モデル５８の処理負荷の軽減と推定精度の向上の両方をバランス良く保つことができる。

指標特定処理（コンピュータプログラム５７）は、取得した位置データに基づいて、血管（管腔器官）の指標を特定（算出）する。指標は、例えば、血管の平均内腔径（内径）を含む。また、指標は、プラーク面積率（Plaque burden）、偏心度を含めてもよい。プラーク面積率は、血管境界までの面積をＳ′とし、内腔境界までの面積をＳとすると、プラーク面積率＝（Ｓ′－Ｓ）／Ｓ′×１００で表すことができる。偏心度については後述する。

また、コンピュータプログラム５７は、学習モデル５８が出力した内腔境界及び血管境界の位置データに基づいて、血管の内径（平均内腔径）に加えて血管の外径（平均）を特定（算出）することができる。血管の外径は、２×√（Ｓ′／π）で求めることができる。ここで、Ｓ′は、血管境界までの面積である。

図８は血管の長軸方向に沿った平均内腔径の推移の第１例を示す図である。医用画像Ｇ１、Ｇ２、…の順に、学習モデル５８が出力する所定部位の位置データに基づいて特定された平均内腔径が、図８のように推移したとする。医用画像Ｇｉを処理した結果、平均内腔径が閾値以下になったとする。この場合、内腔境界を誤って推定する可能性がある。そこで、未処理の医用画像（この場合、医用画像Ｇ（ｉ＋１）については、後述の図９に示す処理に切り替える。

図９は情報処理装置５０による医用画像生成処理の第１例を示す図である。コンピュータプログラム５７（画像生成処理）は、未処理の医用画像データＧ（ｉ＋１）を取得し、取得した医用画像データの断面画像内の所定部位を含む領域を、学習モデル５８に入力する所定サイズより相対的に拡大した医用画像データを生成する。ここで、所定部位は、血管境界（又はＥＥＭ：外弾性板の領域）とすることができる。具体的には、図９に示すように、コンピュータプログラム５７は、断面画像のうち所定部位を含む領域以外の領域を削除して、切り出し画像を生成し、生成した切り出し画像を縮小して、学習モデル５８に入力する所定サイズの断面画像を示す医用画像データを生成することができる。切り出し画像のサイズは、元の医用画像データのサイズ（５１２［ｐｘ］×５１２［ｐｘ］）と学習モデル５８に入力される所定サイズ（１２８［ｐｘ］×１２８［ｐｘ］）との間のサイズとなる。切り出し画像には、学習モデル５８による推定処理に寄与しない血管の外側の領域（Background）が大幅に削除されているとともに、注目領域としての血管境界より内側の領域が相対的に拡大されているので、ピクセル毎の推定誤差を小さくすると考えられる。なお、切り出し画像のサイズは、元の医用画像データのサイズ（５１２［ｐｘ］×５１２［ｐｘ］）と学習モデル５８に入力される所定サイズ（１２８［ｐｘ］×１２８［ｐｘ］）との間のサイズに限定されるものではなく、学習モデル５８に入力される所定サイズよりも小さいサイズでもよい。その場合には、切り出し画像を所定サイズに拡大して、学習モデル５８に入力すればよい。

なお、学習モデル５８が出力するセグメンテーションデータ（１２８［ｐｘ］×１２８［ｐｘ］）は、切り出し画像と同じサイズに拡大され、拡大されたセグメンテーションデータは、元の医用画像データと同じサイズのデータ（Background）に割り付けられる。これにより、血管の外側の領域のセグメンテーションデータに血管境界より内側の領域のセグメンテーションデータが割り付けられる。

コンピュータプログラム５７は、医用画像データＧ（ｉ＋１）について、学習モデル５８が出力した内腔境界及び血管境界の位置データに基づいて、血管の内径（平均内腔径）及び血管の平均外径を算出することができる。

上述の第１例では、医用画像データから切り出し処理を行って医用画像データを生成する構成であったが、切り出し処理に限定されない。例えば、医用画像データに対して、領域に応じて拡大処理と縮小処理を組み合わせることもできる。

図１０は医用画像データに対する拡大・縮小処理の一例を示す図である。図１０に示すように、医用画像の中心（例えば、カテーテルの中心）から血管の径方向に向かって矩形領域を考える。血管の内側（すなわち、血管境界より内側の領域）については、元の医用画像を拡大し、血管の外側については、元の医用画像を縮小する。また、カテーテルに対応する領域については、元の医用画像を削除する。なお、カテーテルに対応する領域については、拡大、縮小又は削除をせずに元のまま残してもよい。矩形領域を全周に亘って走査して同様の拡大・縮小処理を行い、元の医用画像データのサイズ（５１２［ｐｘ］×５１２［ｐｘ］）と同じサイズの医用画像データを生成する。

なお、拡大の際の拡大率は、所定値でもよく、平均内腔径に応じて変化させてもよい。例えば、平均内腔径が小さいほど拡大率を大きく（例えば、１．５倍を２倍にする）してもよい。また、縮小の際の縮小率は、所定値でもよく、平均内腔径に応じて変化させてもよい。例えば、平均内腔径が大きいほど縮小率を大きく（例えば、３分の１を２分の１にする）してもよい。

図１１は情報処理装置５０による医用画像生成処理の第２例を示す図である。コンピュータプログラム５７（画像生成処理）は、未処理の医用画像データＧ（ｉ＋１）を取得し、取得した医用画像データの断面画像内の所定部位を含む領域を、学習モデル５８に入力する所定サイズより相対的に拡大した医用画像データを生成する。ここで、所定部位は、血管境界（又はＥＥＭ：外弾性板の領域）とすることができる。具体的には、図１０に示したように、コンピュータプログラム５７は、断面画像のうち血管内側の領域を拡大し、血管外側の領域を縮小して、学習モデル５８に入力する所定サイズの断面画像を示す医用画像データを生成することができる。拡大・縮小処理後の医用画像には、学習モデル５８による推定処理に寄与しない血管の外側の領域（Background）が大幅に削除されているとともに、注目領域としての血管境界より内側の領域が拡大されているので、ピクセル毎の推定誤差を小さくすると考えられる。また、図１０及び図１１の場合の処理は、図９の場合の処理のように画像を切り出すことによって、必要な情報までもが切り取られてしまう可能性をなくすことができる。

コンピュータプログラム５７は、特定した指標が所定条件を充足する場合、取得した医用画像データのうち、所定部位の第１位置データを未だ取得していない医用画像データの断面画像内の所定部位を含む領域を、学習モデル５８に入力する所定サイズより相対的に拡大した医用画像データを生成し、生成した医用画像データを学習モデルに入力して所定部位の第２位置データを取得し、取得した第２位置データに基づいて管腔器官の内径及び外径を算出してもよい。

上述の例では、図８に例示したように、医用画像データを取得し、リアルタイムで学習モデル５８によるセグメンテーションデータの出力を行い、血管の指標を特定するとともに血管の内径及び外径を算出し、血管の平均内腔径が所定の閾値以下である場合、次に取得した医用画像データに対して、図９又は図１１に示すように、画像生成処理を行って、画像生成処理後の医用画像データを学習モデル５８に入力して、血管の内径及び外径を算出する構成であった。以下では、リアルタイム処理ではなく、一旦、取得した医用画像データすべてについて学習モデル５８による処理を行った後、特定した指標が所定条件を充足する医用画像データについて、再度、学習モデル５８による処理を行う場合について説明する。

図１２は血管の長軸方向に沿った平均内腔径の推移の第２例を示す図である。医用画像Ｇ１、Ｇ２、…Ｇｎの順に、学習モデル５８が出力する所定部位の位置データに基づいて特定された平均内腔径が、図１２のように推移したとする。全ての医用画像Ｇ１、Ｇ２、…、Ｇｎを処理した結果、医用画像Ｇｋ～Ｇｍについて、平均内腔径が閾値以下になったとする。この場合、誤差率が大きくなる可能性、あるいは、真値に対する誤差の影響度が大きくなる可能性がある。そこで、医用画像Ｇｋ～Ｇｍについて、図９又は図１１に示す処理に切り替えて、再度、学習モデル５８による推定処理を行うことができる。便宜上、図８に示す処理をリアルタイム処理と称し、図１２に示す処理をバッチ処理と称する。

コンピュータプログラム５７は、特定した指標が所定条件を充足する場合、当該指標を特定した第１位置データを既に取得した医用画像データの断面画像内の所定部位を含む領域を、学習モデル５８に入力する所定サイズより相対的に拡大した医用画像データを生成し、生成した医用画像データを学習モデルに入力して所定部位の第２位置データを取得し、取得した第２位置データに基づいて管腔器官の内径及び外径を算出してもよい。

上述のように、本実施の形態の情報処理装置５０（コンピュータプログラム５７）は、管腔器官の断面画像を示す医用画像データを取得し、管腔器官の断面画像を示す医用画像データを入力した場合に、当該管腔器官の所定部位の位置データを出力する学習モデル５８に、取得した医用画像データを入力して当該所定部位の第１位置データを取得し、取得した第１位置データに基づいて、当該管腔器官の指標を特定し、特定した指標が所定条件を充足する場合、取得した医用画像データの断面画像内の所定部位を含む領域を、学習モデル５８に入力する所定サイズより相対的に拡大した医用画像データを生成し、生成した医用画像データを学習モデル５８に入力して当該所定部位の第２位置データを取得し、取得した第２位置データに基づいて管腔器官の内径及び外径を算出することができる。かかる構成により、学習モデル５８による推定処理に寄与しない血管の外側の領域（Background）が大幅に削除されているとともに、注目領域としての血管境界より内側の領域が直接的又は間接的に拡大されているので、ピクセル毎の推定誤差を小さくすると考えられ、狭窄部の検出精度を向上させることができる。

次に、学習モデル５８を用いて側枝の有無の判定方法について説明する。側枝は、血管（本幹）から枝分かれした分岐部をいう。側枝の有無は、血管断面形状の偏心度によって判定することができる。

図１３は偏心度に基づく側枝の有無の判定方法の一例を示す。前述のとおり、学習モデル５８は、医用画像データが入力されると、内腔の境界及び血管の境界それぞれの位置データ（第１位置データ）を出力する。コンピュータプログラム５７は、位置データに基づいて血管断面形状の偏心度を算出することができる。偏心度は、偏心度＝（最大径Ｄ１-最小径Ｄ２）／最大径Ｄ１ という式で算出できる。図１３Ａに示すように、学習モデル５８が出力した内腔の境界に基づいて内腔径の最大径Ｄ１と最小径Ｄ２を算出して偏心度を求めることができる。この場合、最大径Ｄ１及び最小径Ｄ２は、血管の重心を通る線分から計算できる。図１３Ａの場合は、偏心度が所定の閾値以上であり、側枝ありと判定される。図１３Ｂの場合は、偏心度が所定の閾値未満であり、側枝なしと判定される。なお、血管の境界に基づいて偏心度を算出してもよい。また、最大径及び最小径を用いる構成に代えて、例えば、内腔の境界内に存在する全てのピクセル（画素）について、中心（重心でもよい）からの距離を算出し、内腔の境界内の距離の分布を求め、距離が所定の閾値以上であるピクセルの数に基づいて側枝の有無を判定してもよい。

コンピュータプログラム５７は、算出した偏心度に基づいて、管腔器官の側枝の有無を判定し、側枝が有ると判定した場合、所定部位を含む領域を、学習モデルに入力する所定サイズより相対的に拡大した医用画像データの生成（例えば、図９又は図１１に示す処理）を停止してもよい。これにより、所定部位の拡大処理を行うことによって、例えば、側枝の全部又は一部が医用画像から削除され、必要な情報が喪失することを防止することができる。

次に、情報処理装置５０の処理手順について説明する。

図１４は情報処理装置５０によるリアルタイム処理の一例を示す図である。図１４に示す処理は、図８に例示した場合の処理に相当する。以下では、便宜上、処理の主体を制御部５１として説明する。制御部５１は、医用画像データを取得し（Ｓ１１）、取得した医用画像データを学習モデル５８に入力して所定部位の位置データ（第１位置データ）を取得する（Ｓ１２）。所定部位は、内腔の境界及び血管の境界を含む。

制御部５１は、位置データに基づいて、血管の内径（平均）及び外径（平均）を算出し（Ｓ１３）、側枝の有無を判定する（Ｓ１４）。側枝の有無は、血管断面形状の偏心度に基づいて判定できる。側枝がある場合（Ｓ１４でＹＥＳ）、制御部５１は、全ての医用画像データの処理を完了したか否かを判定し（Ｓ１５）、全ての医用画像データの処理を完了していない場合（Ｓ１５でＮＯ）、ステップＳ１１以降の処理を続け、全ての医用画像データの処理を完了した場合（Ｓ１５でＹＥＳ）、処理を終了する。

側枝がない場合（Ｓ１４でＮＯ）、制御部５１は、血管の内径が閾値以下であるか否かを判定し（Ｓ１６）、血管の内径が閾値以下でない場合（Ｓ１６でＮＯ）、ステップＳ１５の処理を行う。血管の内径が閾値以下である場合（Ｓ１６でＹＥＳ）、制御部５１は、未処理の医用画像データを取得し（Ｓ１７）、取得した医用画像データの所定部位を含む領域を、学習モデル５８に入力する所定サイズより相対的に拡大した医用画像データを生成する（Ｓ１８）。医用画像データの生成は、例えば、図９又は図１１に例示した処理である。

制御部５１は、生成した医用画像データを学習モデル５８に入力して所定部位の位置データ（第２位置データ）を取得する（Ｓ１９）。所定部位は、内腔の境界及び血管の境界を含む。制御部５１は、位置データ基づいて、血管の内径（平均）及び外径（平均）を算出し（Ｓ２０）、ステップＳ１１以降の処理を続ける。

図１５は情報処理装置５０によるバッチ処理の一例を示す図である。図１５に示す処理は、図１２に例示した場合の処理に相当する。制御部５１は、医用画像データを取得し（Ｓ３１）、取得した医用画像データを学習モデル５８に入力して所定部位の位置データ（第１位置データ）を取得する（Ｓ３２）。所定部位は、内腔の境界及び血管の境界を含む。

制御部５１は、位置データに基づいて、血管の内径（平均）及び外径（平均）を算出し（Ｓ３３）、側枝の有無を判定する（Ｓ３４）。制御部５１は、血管の内径が閾値以下であるか否かを判定する（Ｓ３５）。側枝の有無、及び血管の内径が閾値以下であるかの判定結果は、それぞれの医用画像データに対応付けて記憶部５６に記憶すればよい。

制御部５１は、全ての医用画像データの処理を完了したか否かを判定し（Ｓ３６）、全ての医用画像データの処理を完了していない場合（Ｓ３６でＮＯ）、ステップＳ３１以降の処理を続け、全ての医用画像データの処理を完了した場合（Ｓ３６でＹＥＳ）、側枝が無く、血管の内径が閾値以下である医用画像データを、ステップＳ３１で取得した医用画像データの中から抽出する（Ｓ３７）。

制御部５１は、抽出した医用画像データの所定部位を含む領域を、学習モデル５８に入力する所定サイズより相対的に拡大した医用画像データを生成する（Ｓ３８）。医用画像データの生成は、例えば、図９又は図１１に例示した処理である。制御部５１は、生成した医用画像データを学習モデル５８に入力して所定部位の位置データ（第２位置データ）を取得する（Ｓ３９）。所定部位は、内腔の境界及び血管の境界を含む。制御部５１は、位置データ基づいて、血管の内径（平均）及び外径（平均）を算出し（Ｓ４０）、処理を終了する。

上述の実施の形態では、情報処理装置５０が、血管の内径や外径の算出、及び学習モデルの生成を行う構成であるが、これに限定されるものではない。例えば、情報処理装置５０をクライアント装置とし、学習モデルの生成処理を外部のサーバで行うようにして、当該サーバから学習モデルを取得するようにしてもよい。また、血管の内径や外径の算出、及び学習モデルの生成を外部のサーバで行うようにして、情報処理装置は、算出結果をサーバから取得するようにしてもよい。

１ 通信ネットワーク
１０ カテーテル
２０ ＭＤＵ
３０ 表示装置
４０ 入力装置
５０ 情報処理装置
５１ 制御部
５２ 通信部
５３ インタフェース部
５４ 記録媒体読取部
５４１ 記録媒体
５５ メモリ
５６ 記憶部
５７ コンピュータプログラム
５８ 学習モデル
５８ａ 入力層
５８ｂ 中間層
５８ｃ 出力層

Claims (10)

1. コンピュータに、
   管腔器官の断面画像を示す医用画像データを取得し、
   管腔器官の断面画像を示す医用画像データを入力した場合に、前記管腔器官の所定部位の位置データを出力する学習モデルに、取得した医用画像データを入力して前記所定部位の第１位置データを取得し、
   取得した第１位置データに基づいて、前記管腔器官の指標を特定し、
   特定した指標が所定条件を充足する場合、取得した医用画像データの断面画像内の前記所定部位を含む領域を、前記学習モデルに入力する所定サイズより相対的に拡大した医用画像データを生成し、
   生成した医用画像データを前記学習モデルに入力して前記所定部位の第２位置データを取得し、
   取得した第２位置データに基づいて前記管腔器官の内径を算出する、
   処理を実行させるコンピュータプログラム。
2. コンピュータに、
   取得した第２位置データに基づいて前記管腔器官の外径を算出する、
   処理を実行させる請求項１に記載のコンピュータプログラム。
3. コンピュータに、
   前記断面画像のうち前記所定部位を含む領域以外の領域を削除して、前記学習モデルに入力する所定サイズの断面画像を示す医用画像データを生成する、
   処理を実行させる請求項１又は請求項２に記載のコンピュータプログラム。
4. 前記所定部位は、血管境界を含み、
   コンピュータに、
   前記断面画像のうち血管内側の領域を拡大し、血管外側の領域を縮小して、前記学習モデルに入力する所定サイズの断面画像を示す医用画像データを生成する、
   処理を実行させる請求項１又は請求項２に記載のコンピュータプログラム。
5. コンピュータに、
   取得した第１位置データに基づいて、血管断面の偏心度を算出し、
   算出した偏心度に基づいて、前記管腔器官の側枝の有無を判定し、
   側枝が有る場合、前記所定部位を含む領域を、前記学習モデルに入力する所定サイズより相対的に拡大した医用画像データの生成を停止する、
   処理を実行させる請求項１から請求項４のいずれか一項に記載のコンピュータプログラム。
6. 前記指標は、管腔器官の内径を含み、
   前記所定条件は、内径が所定の閾値以下であることを含む、
   請求項１から請求項５のいずれか一項に記載のコンピュータプログラム。
7. コンピュータに、
   前記特定した指標が所定条件を充足する場合、取得した医用画像データのうち、前記所定部位の第１位置データを未だ取得していない医用画像データの断面画像内の前記所定部位を含む領域を、前記学習モデルに入力する所定サイズより相対的に拡大した医用画像データを生成する、
   処理を実行させる請求項１から請求項６のいずれか一項に記載のコンピュータプログラム。
8. コンピュータに、
   前記特定した指標が所定条件を充足する場合、前記指標を特定した第１位置データを既に取得した医用画像データの断面画像内の前記所定部位を含む領域を、前記学習モデルに入力する所定サイズより相対的に拡大した医用画像データを生成する、
   処理を実行させる請求項１から請求項６のいずれか一項に記載のコンピュータプログラム。
9. 管腔器官の断面画像を示す医用画像データを取得する第１取得部と、
   管腔器官の断面画像を示す医用画像データを入力した場合に、前記管腔器官の所定部位の位置データを出力する学習モデルに、取得した医用画像データを入力して前記所定部位の第１位置データを取得する第２取得部と、
   取得した第１位置データに基づいて、前記管腔器官の指標を特定する特定部と、
   特定した指標が所定条件を充足する場合、取得した医用画像データの断面画像内の前記所定部位を含む領域を、前記学習モデルに入力する所定サイズより相対的に拡大した医用画像データを生成する生成部と、
   生成した医用画像データを前記学習モデルに入力して前記所定部位の第２位置データを取得する第３取得部と、
   取得した第２位置データに基づいて前記管腔器官の内径を算出する算出部と
   を備える情報処理装置。
10. 管腔器官の断面画像を示す医用画像データを取得し、
    管腔器官の断面画像を示す医用画像データを入力した場合に、前記管腔器官の所定部位の位置データを出力する学習モデルに、取得した医用画像データを入力して前記所定部位の第１位置データを取得し、
    取得した第１位置データに基づいて、前記管腔器官の指標を特定し、
    特定した指標が所定条件を充足する場合、取得した医用画像データの断面画像内の前記所定部位を含む領域を、前記学習モデルに入力する所定サイズより相対的に拡大した医用画像データを生成し、
    生成した医用画像データを前記学習モデルに入力して前記所定部位の第２位置データを取得し、
    取得した第２位置データに基づいて前記管腔器官の内径を算出する、
    情報処理方法。

Images