JP2023051175A - コンピュータプログラム、情報処理方法、及び情報処理装置 - Google Patents

Abstract

【課題】解剖学特徴点に関する情報を、より把握しやすく提示できるコンピュータプログラム、情報処理方法、及び情報処理装置を提供する。【解決手段】管腔器官の複数の断層画像を取得するコンピュータに、前記複数の断層画像それぞれに対し、管腔器官の内腔及び膜を含む、異なる範囲に区分したデータを取得し、前記複数の断層画像それぞれに対し、前記管腔器官の膜の外側輪郭に対応する器官境界に基づき、前記断層画像が、第１の管から分岐する第２の管が写る画像の候補であるか否かを判断し、候補であると判断された断層画像に対し、第２の管の有無の判断、第１の管の境界の特定、及び、第２の管の角度算出を含む検出処理を実行し、前記検出処理の結果に基づき前記管腔器官の長軸方向における前記分岐部の位置を特定し、前記管腔器官の断層画像、縦断面画像、又は三次元画像と、第２の管に関するデータとを表示する処理を実行させる。【選択図】図１３

Description

本開示は、医用画像に対する処理に係るコンピュータプログラム、情報処理方法、及び情報処理装置に関する。

医学的検査において、検査対象の画像を直接的に撮像するか、又は、電磁波を利用した測定結果を画像化するなどして得られる画像が診断に利用されている。特に、管腔器官の検査では、画像素子を器官内に移動させて得られる画像を使用する技術が種々利用されている。

管腔器官の中でも特に血管の画像診断は、冠動脈インターベンション（ＰＣＩ：Percutaneous Coronary Intervention）等の施術を安全確実に行なうために必要不可欠である。このため、造影剤を用いて体外から撮影する血管造影技術（angiography ）と併せて、カテーテルを用いたＩＶＵＳ（Intra Vascular Ultra Sound）、ＯＣＴ（Optical Coherence Tomography）／ＯＦＤＩ（Optical Frequency Domain Imaging）等の血管内イメージング技術が普及している。

上述した画像診断では、撮影された医用画像から診断に関する情報を正確に得ることは容易ではない。医用画像の読影を補助するために、画像解析又は機械学習を用い、画像を補正したり、情報を付加したりする技術が種々提案されている（特許文献１等）。

特開２０１２－０７５７０２号公報

医用画像の読影には、画像から解剖学的特徴点を正確に把握することが必要である。したがって、医用画像を正確に撮影するとともに、解剖学的特徴点に関する情報を、より把握しやすく視認可能に提示することが求められる。

本開示の目的は、解剖学特徴点に関する情報を、より把握しやすく提示できるコンピュータプログラム、情報処理方法、及び情報処理装置を提供することにある。

本開示に係るコンピュータプログラムは、分岐部を有する管腔器官の第１の管に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づき生成された前記管腔器官の複数の断層画像を取得するコンピュータに、前記複数の断層画像それぞれに対し、管腔器官の内腔及び膜を含む、異なる範囲に区分したデータを取得し、前記複数の断層画像それぞれに対し、区分された範囲の形状から特定される前記管腔器官の膜の外側輪郭に対応する器官境界に基づき、前記断層画像が、前記第１の管から分岐する第２の管が写る画像の候補であるか否かを判断し、候補であると判断された断層画像に対し、前記第２の管の有無の判断、前記第１の管の境界の特定、及び、前記第２の管の角度算出を含む検出処理を実行し、前記検出処理の結果に基づき前記管腔器官の長軸方向における前記分岐部の位置を特定し、前記管腔器官の断層画像、縦断面画像、又は三次元画像と、前記第２の管に関するデータとを表示する処理を実行させる。

本開示に係る情報処理方法は、分岐部を有する管腔器官の本幹に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づき生成された前記管腔器官の複数の断層画像を取得するコンピュータが、前記複数の断層画像それぞれに対し、管腔器官の内腔及び膜を含む、異なる範囲に区分したデータを取得し、前記複数の断層画像それぞれに対し、区分された範囲の形状から特定される前記管腔器官の膜の外側輪郭に対応する器官境界に基づき、前記断層画像が、前記第１の管から分岐する第２の管が写る画像の候補であるか否かを判断し、候補であると判断された断層画像に対し、前記第２の管の有無の判断、前記第１の管の境界の特定、及び、前記第２の管の角度算出を含む検出処理を実行し、前記検出処理の結果に基づき前記管腔器官の長軸方向における前記分岐部の位置を特定し、前記管腔器官の断層画像、縦断面画像、又は三次元画像と、前記第２の管に関するデータとを表示する。

本開示に係る情報処理装置は、分岐部を有する管腔器官の第１の管に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づき生成された前記管腔器官の複数の断層画像を取得する情報処理装置において、前記複数の断層画像に対する画像処理を実行する処理部を備え、該処理部は、前記複数の断層画像それぞれに対し、管腔器官の内腔及び膜を含む、異なる範囲に区分したデータを取得し、前記複数の断層画像それぞれに対し、区分された範囲の形状から特定される前記管腔器官の膜の外側輪郭に対応する器官境界に基づき、前記断層画像が、前記第１の管から分岐する第２の管が写る画像の候補であるか否かを判断し、候補であると判断された断層画像に対し、前記第２の管の有無の判断、前記第１の管の境界の特定、及び、前記第２の管の角度算出を含む検出処理を実行し、前記検出処理の結果に基づき前記管腔器官の長軸方向における前記分岐部の位置を特定し、前記管腔器官の断層画像、縦断面画像、又は三次元画像と、前記第２の管に関するデータとを表示装置に表示させる。

本開示によれば、管腔器官の断層画像に第１の管から分岐する第２の管が写っているか否か、及び、写っている場合の第１の管の境界もしくは第２の管の角度等のデータ等、解剖学的特徴点を正確に、より把握しやすく表示することが可能になる。

画像診断装置の構成例を示す図である。 カテーテルの動作を示す説明図である。 画像処理装置の構成を示すブロック図である。 学習済みモデルの概要図である。 検出された境界（輪郭）を示す図である。 画像処理装置による情報処理手順の一例を示すフローチャートである。 画像処理装置による情報処理手順の一例を示すフローチャートである。 側枝検出処理の詳細な処理手順の一例を示すフローチャートである。 側枝検出処理の概要図である。 側枝検出処理の概要図である。 側枝検出処理の概要図である。 側枝検出処理の概要図である。 側枝検出処理の概要図である。 側枝検出のノイズデータを除去する処理手順の一例を示すフローチャートである。 側枝検出のノイズデータ除去処理の概要図である。 表示装置に提示される情報を含む画面例を示す。 表示装置に表示される他の画面例を示す図である。 表示装置に表示される他の画面例を示す図である。 表示装置に表示される他の画面例を示す図である。 表示装置に表示される他の画面例を示す図である。 表示装置に表示される他の画面例を示す図である。

本発明の実施形態に係るコンピュータプログラム、情報処理方法、及び情報処理装置の具体例を、図面を参照しつつ以下に説明する。

図１は、画像診断装置１００の構成例を示す図である。画像診断装置１００は、ＩＶＵＳ法によって血管（管腔器官）の超音波断層像を含む医用画像を生成し、血管内の超音波検査及び診断を行なうための装置である。

画像診断装置１００は、カテーテル１、ＭＤＵ（Motor Drive Unit）２、画像処理装置（情報処理装置）３、表示装置４及び入力装置５を備える。

カテーテル１は、医療用の柔軟性のある管である。カテーテル１は特に、先端部にイメージングデバイス１１を設け、基端からの駆動によって周方向に回転するイメージングカテーテルと呼ばれるものである。イメージングデバイス１１は、ＩＶＵＳ法の場合は超音波振動子及び超音波センサを含む超音波プローブである。ＯＣＴの場合は、近赤外線レーザ及び近赤外線センサ等を含むＯＣＴデバイスである。イメージングデバイス１１は、その他、可視光等の他の波長の電磁波を用いる他のデバイスを用いてもよい。

ＭＤＵ２は、カテーテル１の基端に取り付けられる駆動装置であり、医療従事者の操作に応じて内部モータを駆動することによって、カテーテル１の動作を制御する。

画像処理装置３は、カテーテル１のイメージングデバイス１１から出力された信号に基づいて、血管の断層画像等、複数の医用画像を生成する。画像処理装置３の構成の詳細については後述する。

表示装置４は、液晶表示パネル、有機ＥＬ表示パネル等を用いる。表示装置４は、画像処理装置３によって生成される医用画像と、医用画像に関する情報とを表示する。

入力装置５は、画像処理装置３に対する操作を受け付ける入力インタフェースである。入力装置５は、キーボード、マウス等であってもよいし、表示装置４に内蔵されるタッチパネル、ソフトキー、ハードキー等であってもよい。

図２は、カテーテル１の動作を示す説明図である。図２においてカテーテル１は、血管内に医療従事者によって、図中に示す冠動脈に挿入されたガイドワイヤＷに沿って、管状の血管Ｌ内に挿入されている。図２中の血管Ｌの拡大図において右部は、カテーテル１及びガイドワイヤＷの挿入箇所から遠位、左部は近位に対応する。

カテーテル１は、ＭＤＵ２の駆動により、図中の矢符で示すように、血管Ｌ内の遠位から近位へ向けて移動し、且つ、周方向に回転しながら、イメージングデバイス１１によって螺旋状に血管内を走査する。

本実施形態の画像診断装置１００では、画像処理装置３が、カテーテル１のイメージングデバイス１１から出力された１走査毎の信号を取得する。１回の走査でイメージングデバイス１１は、検出波を径方向に発し、その反射波を検出する。イメージングデバイス１１は、この走査を、360度回転する間に数十回から数千回行ない、螺旋状に走査する。画像処理装置３は、１走査毎の信号を360度分毎に極座標変換（逆変換）することで得られる断層画像（横断面画像）を生成する（図２中、Ｉ１）。断層画像Ｉ１は、フレーム画像ともいう。断層画像Ｉ１の基準点（中心）は、カテーテル１の範囲（画像化されない）に対応する。画像処理装置３は更に、断層画像Ｉ１の基準点を通る直線上の画素値を、カテーテル１が血管の長さ方向（長軸方向）に沿って並べた長軸画像（縦断面画像）を生成する（図２中、Ｉ２）。画像処理装置３は、得られた断層画像Ｉ１、長軸画像Ｉ２に基づいて血管の分岐構造を分析処理し、血管の構造を示す二次元又は三次元画像を、医療従事者が視認可能に出力する。本開示における画像診断装置１００では、表示装置４に表示する長軸画像及び断層画像の両方について、ガイドワイヤＷ及びカテーテル１が挿入される第１の管（例えば本幹）、及び第１の管から分岐する第２の管（例えば側枝）の側枝位置、輪郭等の側枝に関する情報を重畳表示する。以下、画像処理装置３が、側枝に関する情報を作成し、表示装置４に重畳表示するための処理について詳細を説明する。

図３は、画像処理装置３の構成を示すブロック図である。画像処理装置３は、コンピュータであり、処理部３０、記憶部３１、及び入出力Ｉ／Ｆ３２を備える。

処理部３０は、一又は複数のＣＰＵ（Central Processing Unit ）、ＭＰＵ（Micro-Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等を含む。処理部３０は、ＲＡＭ（Random Access Memory）等の非一時記憶媒体を内蔵し、処理中に生成したデータを非一時記憶媒体に記憶しつつ、記憶部３１に記憶されているコンピュータプログラム３Ｐに基づき演算を実行する。

記憶部３１は、ハードディスク、フラッシュメモリ等の不揮発性記憶媒体である。記憶部３１は、処理部３０が読み出すコンピュータプログラム３Ｐ、設定データ等を記憶する。また記憶部３１は、学習済みモデル３Ｍを記憶する。

コンピュータプログラム３Ｐ及び学習済みモデル３Ｍは、装置外の非一時記憶媒体９に記憶されたコンピュータプログラム９Ｐ及び学習済みモデル９Ｍを入出力Ｉ／Ｆ３２を介して読み出して複製したものであってもよい。コンピュータプログラム３Ｐ及び学習済みモデル３Ｍは、遠隔のサーバ装置が配信するものを画像処理装置３が図示しない通信部を介して取得し、記憶部３１に記憶したものであってもよい。

入出力Ｉ／Ｆ３２は、カテーテル１、表示装置４及び入力装置５が接続されるインタフェースである。処理部３０は、入出力Ｉ／Ｆ３２を介し、イメージングデバイス１１から出力される信号（デジタルデータ）を取得する。処理部３０は、入出力Ｉ／Ｆ３２を介し、生成した断層画像Ｉ１及び／又は長軸画像Ｉ２を含む画面の画面データを表示装置４へ出力する。処理部３０は、入出力Ｉ／Ｆ３２を介して、入力装置５に入力された操作情報を受け付ける。

図４は、学習済みモデル３Ｍの概要図である。本開示において学習済みモデル３Ｍは、画像が入力された場合に、画像に写っている１又は複数の対象物の領域を示す画像を出力するように学習されたモデルである。学習済みモデル３Ｍは例えば、セマンティックセグメンテーション（Semantic Segmentation ）を実施するモデルである。学習済みモデル３Ｍは、入力された画像中の各画素に対し、各画素がいずれの対象物が写っている範囲の画素であるかを示すデータをタグ付けした画像及び確度を出力するように設計されている。

学習済みモデル３Ｍは例えば、図４に示すように、畳み込み層、プーリング層、アップサンプリング層、及びソフトマックス層を対象的に配置した所謂Ｕ－ｎｅｔを用いる。学習済みモデル３Ｍは、カテーテル１からの信号によって作成した断層画像Ｉ１が入力された場合に、タグ画像ＩＳ及び確度を出力する。タグ画像ＩＳは、血管の内腔範囲、血管の中膜を含む血管の内腔境界と血管境界との間に対応する膜範囲、ガイドワイヤＷ及びそれによる反響が写っている範囲、並びにカテーテル１に対応する範囲を、その位置の画素に各々異なる画素値（図４中では異なる種類のハッチング及び無地で示す）によってタグを付したものである。

学習済みモデル３Ｍは上述したようにセマンティックセグメンテーション、Ｕ－ｎｅｔを例示したがこれに限らないことは勿論である。その他、学習済みモデル３Ｍは、インスタンスセグメンテーション等による個別認識処理を実現するモデルであってもよい。学習済みモデル３Ｍは、Ｕ－ｎｅｔベースに限らず、ＳｅｇＮｅｔ、Ｒ－ＣＮＮ、又は他のエッジ抽出処理との統合モデル等をベースにしたモデル使用してもよい。

処理部３０は、学習済みモデル３Ｍに画像Ｉ１を入力して得られるタグ画像ＩＳにおける画素値とその画像内の座標とによって、断層画像Ｉ１に写っている血管の内腔境界、及び血管境界をエッジ検出できる。血管境界は、厳密には血管の中膜と外膜との間の外弾性板（ＥＥＭ：External Elastic Membrane ）であって、ＩＶＵＳ法にて画像Ｉ１内で比較的明瞭に低い輝度で写る。図５は、検出された境界（輪郭）を示す図である。図５は、図４に示した断層画像Ｉ１に対し、学習済みモデル３Ｍからの出力に基づいて得られる内腔境界を示す曲線Ｂ１と、血管境界を示す曲線Ｂ２とが重畳表示されている状態を示す。

本開示の画像処理装置３は、カテーテル１からの信号から得られる断層画像Ｉ１、及び、断層画像Ｉ１を学習済みモデル３Ｍへ入力した場合に得られる内腔境界及び血管境界の情報を用いて、更に解剖学的な特徴点を導出し、表示する。以下、詳細な処理手順を説明する。

図６及び図７は、画像処理装置３による情報処理手順の一例を示すフローチャートである。画像処理装置３の処理部３０は、カテーテル１のイメージングデバイス１１から信号が出力されると以下の処理を開始する。

処理部３０は、カテーテル１のイメージングデバイス１１からの信号（データ）を所定量（例えば３６０度分）取得する都度（ステップＳ３０１）、矩形に並べた信号を極座標変換（逆変換）して断層画像Ｉ１を生成する（ステップＳ３０２）。処理部３０は、生成した断層画像Ｉ１を、表示装置４に表示させている画面内にリアルタイムに表示できるように出力する（ステップＳ３０３）。処理部３０は、ステップＳ３０１で取得した信号データと、断層画像Ｉ１とを、イメージングデバイス１１のポジション（長軸上の位置、角度）に対応付けて記憶部３１に記憶する（ステップＳ３０４）。

処理部３０は、断層画像Ｉ１を学習済みモデル３Ｍへ入力する（ステップＳ３０５）。学習済みモデル３Ｍから得られるタグ画像ＩＳに基づき、処理部３０は、断層画像Ｉ１における内腔境界及び血管境界のデータを算出する（ステップＳ３０６）。ステップＳ３０６において処理部３０は、学習済みモデル３Ｍから出力される内腔範囲、血管の中膜を含む膜範囲の内、内腔範囲の輪郭（エッジ）を内腔境界、膜範囲の外側輪郭を血管境界として算出する。ステップＳ３０６において処理部３０は、断層画像Ｉ１のサイズを縮小してから学習済みモデル３Ｍへ入力するなど、高速処理化を実施してもよい。

処理部３０は、ステップＳ３０６で得られた内腔境界及び血管境界のデータ（座標データ）に基づき、側枝が写っているか否かを判断するためのパラメータを算出する（ステップＳ３０７）。断層画像Ｉ１が、本幹及び側枝の分岐部を写している場合、断層画像Ｉ１から導出される血管境界の形状は、円形又は楕円形から乖離する。ステップＳ３０７で処理部３０は、円形又は楕円形からの乖離の度合に対応するパラメータを算出する。

ステップＳ３０７において処理部３０は、基本的に血管境界のみに対してパラメータを算出してもよい。ただし、血管境界が断層画像Ｉ１の外側に交わる、即ち、膜範囲が断層画像Ｉ１の画像外にまで至っている場合、処理部３０は、血管境界に代替して内腔境界の内側領域に対してパラメータを算出してもよい。

ステップＳ３０７において処理部３０は、第１例では、血管境界の内側領域の重心を通る直径の最大径と最小径との差分を、最大径で除算した偏心度を算出する。

ステップＳ３０７において処理部３０は、第２例では、内腔境界及び血管境界のデータを入力した場合に、側枝が写っている可能性に対応する確度を出力するように学習された判断用の学習モデル（図示せず）を使用してもよい。ここで判断用の学習モデルは、学習済みモデル３Ｍから出力されたタグ画像中の内腔範囲及び膜範囲のデータを入力された場合に、側枝が写っている可能性に対応する確度を出力するように学習されていてもよい。処理部３０は、ステップＳ３０７において判断用の学習モデルからの出力をパラメータとして算出する。

ステップＳ３０７において処理部３０は、第３例では、対象の血管境界の径（最大径、及び最小径）と、既に走査済みの断層画像Ｉ１に対する血管境界の径とを比較した値をパラメータとして算出してもよい。径が所定の割合以上、所定の長さ以上急変した場合、側枝が写っている可能性が高いと判断できる。

処理部３０は、第４例として、偏心度に代替して、円形度を算出してもよい。円形度とは血管境界の内側領域の面積と血管境界の周の長さとの比である。円形度が、円における面積と円周の長さとの比と近いほど、円形度が高く、側枝が写っている可能性は低いと判断できる。

処理部３０は、イメージングデバイス１１のポジションに対応付けてパラメータを記憶する（ステップＳ３０８）。処理部３０は、算出されたパラメータに基づき、対象である断層画像Ｉ１が、カテーテル１が挿入されている本幹のみならず、側枝が写っている画像の候補であるか否かを判断する（ステップＳ３０９）。ステップＳ３０９において処理部３０は、例えば、偏心度が所定値よりも高いか否かによって判断してよい。ステップＳ３０９にて候補でないと判断された場合（Ｓ３０９：ＮＯ）、処理部３０は、処理をステップＳ３１３へ進める。

候補であると判断された場合（Ｓ３０９：ＹＥＳ）、処理部３０は、対象の断層画像Ｉ１から算出された血管境界に対して側枝の有無の判断と、断層画像における本幹の境界の特定と、側枝の角度算出とを含む側枝検出処理を実行する（ステップＳ３１０）。

処理部３０は、ステップＳ３１０の側枝検出処理の結果、得られる本幹の領域境界を示す画像、及び側枝の角度のデータをステップＳ３０３で表示中の断層画像Ｉ１に重畳表示する（ステップＳ３１１）。ステップＳ３１１は、側枝が断層画像Ｉ１に存在しないと判断された場合はスキップされてよい。処理部３０は、側枝検出処理の結果を、ステップＳ３０４で記憶した断層画像Ｉ１に対応付けて記憶する（ステップＳ３１２）。側枝が存在すると判断された場合、断層画像Ｉ１には、側枝画像を示すフラグ等のデータが対応付けられる。側枝画像を示すフラグのデータが対応付けられた断層画像Ｉ１に対応するポジションは、長軸上の本幹及び側枝の分岐部の位置である。

処理部３０は、ステップＳ３０６にて算出された内腔境界についてもステップＳ３０７－Ｓ３１０の処理を行なってもよい。

処理部３０は、カテーテル１のイメージングデバイス１１による走査を完了したか否かを判断する（ステップＳ３１３）。走査を完了していないと判断された場合（Ｓ３１３：ＮＯ）、処理部３０は、処理をステップＳ３０１へ戻し、次の断層画像Ｉ１を生成する。

走査を完了したと判断された場合（Ｓ３１３：ＹＥＳ）、処理部３０は、イメージングデバイス１１のポジションに対する、側枝の有無及び検出された側枝の角度の分布に基づき、ノイズデータを除去する処理を実行する（ステップ３１４）。ステップＳ３１４において処理部３０は、ステップＳ３１０の処理によって側枝が写っていると判断された断層画像Ｉ１であっても、精度が低いと判断できる断層画像Ｉ１に対しては側枝なしと判断し直し、記憶する。詳細は後述する。

処理部３０は、ステップＳ３１４による処理によって側枝が写っていると確定した断層画像Ｉ１のポジションに対応する箇所に、側枝が存在することを示すマークを付した長軸画像Ｉ２を表示装置４に表示させ（ステップＳ３１５）、処理を終了する。

図８は、側枝検出処理の詳細な処理手順の一例を示すフローチャートである。図８のフローチャートは、図６及び図７のフローチャートに示したステップＳ３１０の詳細に対応する。

処理部３０は、対象の境界（血管境界又は内腔境界）に対して、例えばHough変換により、境界に沿う円を抽出する（ステップＳ１０１）。ステップＳ１０１において例えばHough変換を用いた場合、処理部３０は、大小複数の円を抽出する。

処理部３０は、ステップＳ１０１で抽出される円から、本幹に対応する尤もらしい円を確定する（ステップＳ１０２）。ステップＳ１０２において処理部３０は、血管径の大きさに対応する所定の長さ以上の径の円であり、且つ、対象の境界内の領域の重心から最も距離が近い中心を持つ円を、本幹に対応する尤もらしい円として選択する。ステップＳ１０２において処理部３０は、画像の中心から最も距離が近い中心を持つ円を尤もらしい円として選択してもよいし、前後のフレーム画像の重心との距離が最も近い円を、尤もらしい円として選択してもよい。処理部３０は、これらの選択の方法を、適宜、一部又は全部組み合わせて選択してもよい。

処理部３０は、本幹に対応する円として確定した円の中心を、血管の中心として決定し（ステップＳ１０３）、対象の境界上の点の血管の中心からの距離を、境界に沿って全周（３６０度分）に亘り算出する（ステップＳ１０４）。処理部３０は、全周に沿った血管の中心からの距離の分布を作成し（ステップＳ１０５）、血管の中心からの距離が、所定の基準値よりも長い境界上の点が、連続して所定数以上あるか否かを判断する（ステップＳ１０６）。

所定数以上あると判断された場合（Ｓ１０６：ＹＥＳ）、処理部３０は、断層画像Ｉ１に側枝が存在する（写っている）と判断する（ステップＳ１０７）。処理部３０は、血管の中心からの距離が、所定の基準値よりも連続して長い境界上の点に対応する、ステップ１０２で確定した本幹の円上の円弧を特定する（ステップＳ１０８）。

処理部３０は、断層画像Ｉ１の中心から、断層画像Ｉ１に対してステップＳ１０８で特定した円弧の中心点を結ぶ直線の、断層画像Ｉ１における例えば１２時の方向（上方向）からの角度を、側枝角度として算出する（ステップＳ１０９）。

処理部３０は、ステップＳ１０８で特定した円弧の端点と最も近い、境界上の２点を、改めて円弧で結んだ補間軌跡を特定する（ステップＳ１１０）。処理部３０は、ステップＳ１１０で特定した補間軌跡を、本幹の領域境界を示す画像として記憶し（ステップＳ１１１）、処理を図６及び図７のステップＳ３１１へ戻す。

ステップＳ１０６において、所定数以上ないと判断された場合（Ｓ１０６：ＮＯ）、処理部３０は、断層画像Ｉ１に側枝が存在しないと判断し（ステップＳ１１２）、処理を図６及び図７のステップＳ３１１へ戻す。

図８のフロチャートに示した処理手順を、具体例を挙げて説明する。図９－図１３は、側枝検出処理の概要図である。図９は、血管境界に対して抽出される円の例を示す図である。図９は、断層画像Ｉ１に、断層画像Ｉ１に対して算出された血管境界の曲線Ｂ２を重畳して示し、曲線Ｂ２に対する円の抽出処理後に、抽出された複数の円を太字で示す。図９に示すように、側枝が写っている候補となる断層画像Ｉ１からは、断層画像Ｉ１内の左下部の本幹に対応する部分と、側枝に対応する部分とに対して円が抽出される。しかしながら、図９では、左下の径の大きな円が、重心からの距離が近いものとして確定される。

図１０は、図８のフローチャートにおけるステップＳ１０４の処理で得られる分布を示す。図１０の上部には、断層画像Ｉ１に重畳させて、算出された血管境界の曲線Ｂ２及び確定された円が示されている。図１０の下部には、血管の中心から曲線Ｂ２上の座標点への距離の分布を示す。図１０中の矢符は、距離を順に算出する順序を示している。図１０に示すように、断層画像Ｉ１内に、側枝が写っている画像では、下部の分布に示すように、距離のピークが明確に存在する。

図１１は、図１０の分布に基づく側枝の有無の判断（Ｓ１０６）を示す図である。図１１では、図１０に示した分布上に、距離についての基準値が図中の太線で示されている。図１１の図では、基準値以上の距離の画素が所定数以上あると判断されている。図１１の下部には、血管の中心からの距離が、所定の基準値よりも連続して長い境界（Ｂ２）上の点が黒塗によって示されており、これに対応する円弧（端点黒丸）が示されている（Ｓ１０８）。端点黒丸の円弧は、具体的には、本幹に対応する円のうち、所定の基準値よりも連続して長い境界（Ｂ２）上の一部の両端と、血管の中心とを結ぶ２つの直線の間の範囲として特定される。

側枝が高確率で存在する（写っている）か否かの判断（Ｓ１０６）は、図１１に示した内容に限られない。例えば、血管境界に対して確定された円の半径以上の距離の座標点が、連続して所定数以上存在するかのみに限らない。内腔境界に対して確定された円の半径以上の距離の内腔境界上の座標点が、連続して所定数以上存在し、且つ、その範囲が血管境界に対して特定された範囲と重複する、といった判断がされてもよい。

図１２は、図１１で特定された円弧に基づき特定された補間軌跡の例を示す。補間軌跡は、図１２に示すように、ステップＳ１０８で特定された円弧の端点それぞれから近い、血管境界の曲線Ｂ２上の２点を通る円弧として特定される。また、図１２には、算出される側枝角度（側枝の向き）の情報が白抜きの矢符として示されている。このとき側枝角度を示す画像（矢符）は、曲線Ｂ２や補間軌跡を視認しやすいよう、曲線Ｂ２よりも外側に表示されるように示される。

図１３は、表示装置４における表示例を示す。図１３には、断層画像Ｉ１と、断層画像Ｉ１上に重畳された内腔境界、血管境界の曲線Ｂ１，Ｂ２と、補間軌跡と、側枝角度の情報とが重畳表示されている。図１３に示す例では、内腔境界に対しても同様にして特定された補間軌跡が重畳表示されている。これにより、読影に慣れていない医療従事者であっても、側枝の有無、プラークが溜まりやすい側枝が存在する箇所の読影が容易になる。

図１４は、側枝検出のノイズデータを除去する処理手順の一例を示すフローチャートである。図１４のフローチャートは、図６及び図７のフローチャートに示したステップＳ３１４の詳細に対応する。

処理部３０は、カテーテル１の走査範囲内で、側枝が存在すると判断された断層画像Ｉ１の位置から所定範囲内に、側枝が存在すると判断される他の断層画像Ｉ１が１又は複数あるか否かを判断する（ステップＳ４０１）。所定範囲は例えば、側枝の径（１～５ｍｍ）に対応する範囲である。実際に側枝が存在する箇所では、複数の連続する断層画像Ｉ１で、側枝が存在すると判断されるはずである。したがって、側枝が存在すると判断された断層画像Ｉ１が孤立している場合、これは誤検出であると推測される。ステップＳ４０１において処理部３０は例えば、側枝が存在すると判断された断層画像Ｉ１の位置から所定範囲の各位置について生成された複数の断層画像Ｉ１の８０％にて側枝が存在すると判断されている場合、複数あると判断してもよい。

したがって処理部３０は、ステップＳ４０１で他の断層画像Ｉ１が存在しないと判断された場合（Ｓ４０１：ＮＯ）、対象の断層画像Ｉ１を、側枝が存在する画像から除去する（ステップＳ４０２）。ステップＳ４０２において処理部３０は具体的には、断層画像Ｉ１に対応付けられていた側枝画像を示すフラグ、側枝の情報等を削除する。処理部３０は、処理を図６及び図７のステップＳ３１５へ戻す。

他の断層画像Ｉ１が存在すると判断された場合（Ｓ４０１：ＹＥＳ）、所定範囲内で側枝が存在すると判断された他の断層画像Ｉ１と比較して、側枝角度は類似するか否かを判断する（ステップＳ４０３）。同一の側枝を検出している場合、算出される側枝角度は類似しているはずである。

したがって処理部３０は、類似しないと判断された場合（Ｓ４０３：ＮＯ）、処理部３０は、対象の断層画像Ｉ１を、側枝が存在する画像から除去し（Ｓ４０２）、図６及び図７のステップＳ３１５へ処理を戻す。

類似すると判断された場合（Ｓ４０３：ＹＥＳ）、処理部３０は、処理を図６及び図７のステップＳ３１５へ戻す。この場合、類似すると判断された断層画像Ｉ１は、側枝画像であることを示すフラグ等のデータが対応付けられたままである。図１４のフローチャートにより除去されなかった断層画像Ｉ１は、側枝が写っている候補の画像から、側枝が写っていると確定された画像となる。

図１５は、側枝検出のノイズデータ除去処理の概要図である。図１５は、カテーテル１の走査範囲内における側枝が存在すると判断された断層画像Ｉ１の位置に対する、側枝角度の分布図である。図１５の横軸は、カテーテル１が移動する血管の長軸方向であり、縦軸は、血管内角度を示す。各点は、側枝が存在すると判断された断層画像Ｉ１の長軸方向における位置と、その側枝に対して側枝が存在すると判断された角度範囲及びその中心値である側枝角度とを示す。図１５では、実際に側枝が存在する長軸上の範囲にハッチングを付している。

図１５に示すように、実際に側枝が存在する箇所では、連続した点が同様の角度範囲で続く。これに対し、実際には側枝が存在していない箇所で側枝が存在すると判断された断層画像Ｉ１に対応する点は、算出される側枝角度もバラバラであって連続性もない。したがって、この長軸上の位置及び側枝角度の連続性があるか否かにより、側枝が存在すると誤って判断された断層画像Ｉ１の情報を、ノイズとして除去することができる。

図１５に示した各点の特徴（長軸方向における位置、側枝範囲、及び側枝角度）に対するクラスタリングにより、クラスタに属しない点は、側枝が存在すると誤って判断された断層画像Ｉ１であるとしてノイズとして除去してもよい。クラスタリングは例えば、ＤＢＳＣＡＮ（Density-Based Spatial Clustering of Applications with Noise ）を採用してもよいし、その他公知の方法を使用してもよい。

このようにして、画像診断装置１００では、ノイズではなく高確率に側枝が存在すると判断される断層画像Ｉ１の情報に絞って、各断層画像Ｉ１と、その断層画像Ｉ１における側枝の角度等のデータとを併せて提示することができる。具体的には、画像処理装置３の記憶部３１には、１回のカテーテル１を使用した検査に対し、イメージングデバイス１１からの各時点における信号データ、極座標変換した断層画像Ｉ１が記憶される。また、記憶部３１には、各断層画像Ｉ１に対する処理によって得られる内腔境界、血管境界に係る座標データ（曲線、重心、血管の中心、血管径（最小径）等）、側枝の有無、側枝角度、補間軌跡のデータ等が記憶される。これらのデータに基づき画像処理装置３は、カテーテル１を使用した検査中にリアルタイムに、又は、事後的に、解剖学的特徴点のデータを提示できる。

図１６は、表示装置４に提示される情報を含む画面例を示す。図１６に示す画面４００は、長軸画像Ｉ２と、表示時点で走査中又は選択した位置の断層画像Ｉ１とのそれぞれの表示エリアを含む。断層画像Ｉ１の表示エリアには、図１３に示したように、内腔境界、血管境界の曲線Ｂ１，Ｂ２と、補間軌跡と、側枝角度の情報とが重畳表示されている。

画面４００の長軸画像Ｉ２は、図１６に示すように、カテーテル１が移動する血管の長軸方向を横方向とした縦断面画像である。デフォルトでは、断層画像Ｉ１における垂直方向に沿った輝度データの集合として表示されている。長軸画像Ｉ２には、断層画像Ｉ１に対応する長軸上の位置を示すカーソル４０３が表示されている。また、画面４００は、長軸画像Ｉ２上の、側枝が存在すると判断され確定した断層画像Ｉ１の長軸方向における位置に対応する箇所に、第１ボタン４０１及び第２ボタン４０２を含む。ボタン４０１，４０２は、側枝が存在すると確定した数の分だけ表示される。

第１ボタン４０１及び第２ボタン４０２は、各々の側枝が存在すると確定した断層画像Ｉ１と、それに対応する側枝に関するデータとを表示するためのボタンである。第１ボタン４０１及び第２ボタン４０２が選択された場合、長軸画像Ｉ２は、各断層画像Ｉ１における各ボタンに対応する側枝角度での縦断面画像となる。

図１７及び図１８は、表示装置４に表示される他の画面例を示す。図１７及び図１８は、図１６に示した画面内の第１ボタン４０１及び第２ボタン４０２がそれぞれ押された場合に表示される画面である。図１７は、第１ボタン４０１を入力装置５によって選択した場合に表示される画面であり、図１８は、第２ボタン４０２を入力装置５によって選択した場合に表示される画面である。図１６－図１８を比較すると、デフォルトと、第１ボタン４０１を選択した場合と、第２ボタン４０２を選択した場合とでは、長軸画像Ｉ２の断面方向が異なることがわかる。これにより、読影する医療従事者にとって、カテーテル１を用いた検査結果から、側枝に着目して血管全体を観察し、解剖学的に構造を把握することがより容易になる。

側枝の直軸方向における位置を正確に検出し、本幹及び側枝の補間軌跡、更に側枝角度を検出していることにより、その他、血管の分岐部における解剖学的特徴点を、多様な形態で表示装置４に表示させることができる。図１９は、表示装置４に表示される他の画面例を示す。図１９に示す画面４００には、各断層画像Ｉ１に対して特定した血管領域を、血管の中心を軸として長軸方向につなげた模式縦断面画像Ｉ３が含まれている。模式のみならず、各断層画像Ｉ１から得られる血管境界の径、内腔境界の径に基づく寸法を考慮した縦断面画像を表示してもよい。

図１９の画面４００においても、長軸画像Ｉ２上に第１ボタン４０１、第２ボタン４０２、及びカーソル４０３が表示されている。第１ボタン４０１が入力装置５によって選択された場合、模式縦断面画像Ｉ３の切断方向は、第１ボタン４０１に対応する側枝の側枝角度に変更される。

側枝が存在する箇所を選択するための第１ボタン４０１又は第２ボタン４０２が選択された場合、図１９に示すように、模式縦断面画像Ｉ３に対し、側枝の中心を中心とした断層画像Ｉ４を更に生成して表示してもよい。このような画像により、医療従事者が、表示装置４を視認して血管の構造を把握することが容易になる。

なお、図４に示したように、ガイドワイヤＷ及びその反響範囲を認識することができるので、各断層画像Ｉ１におけるガイドワイヤＷに対応する点（例えば、よりカテーテル１に近い点）を認識し、その点を中心として血管境界を繋げた画像を表示してもよい。

図２０は、表示装置４に表示される他の画面例を示す。図２０は、三次元画像の表示例を示す。図２０は、図１６－図１９同様に表示装置４に表示される画面４００を示す。図２０の画面４００には、本幹及び側枝の三次元画像Ｉ５が含まれている。三次元画像Ｉ５は、本幹及び側枝をいずれも管状に簡略化し、上述の処理によって得られた側枝に関するデータから、長軸方向における側枝の位置、側枝角度を視覚的に把握できるように作成されている。これにより、医療従事者は、血管の解剖学的特徴（側枝）を容易に把握することができる。

画像処理装置３は、長軸方向におけるポジションに対応付けて側枝検出結果を記憶するので（Ｓ３１２）、これらの記憶されたデータを用い、医療従事者に対して血管の解剖学的特徴を更に把握しやすく表示させることも可能である。図２１は、表示装置４に表示される他の画面例を示す。図２１には、長軸画像Ｉ２上に、各ポジションにおいて検出された内腔境界を示す曲線Ｂ３、本幹の領域境界（血管境界）を示す曲線Ｂ４が重畳表示されている。曲線Ｂ３，Ｂ４は長軸画像Ｉ２に対し、視認しやすい色で重畳して描画されるとよい。処理部３０は、図１３に示した各断層画像Ｉ１の内腔境界の曲線Ｂ１、血管境界の曲線Ｂ２を長軸方向に重ねた曲面を作成し、その曲面を長軸方向に切断した縦断面画像を作成する。処理部３０は、側枝が写っていて本幹の領域境界が補間されているポジションでは、破線で示す補間軌跡を血管境界の曲線Ｂ２と接続する。内腔境界についても同様である。処理部３０は、曲面を、曲線Ｂ１上の点、曲線Ｂ２上の点をそれぞれ、長軸方向にスプライン曲線で接続するようにして作成し、作成した曲面から、特定の切断角度による縦断面を作成する。曲線Ｂ１上の点を結んだ内腔領域の境界曲線、場所によっては補間された境界を結んだ曲線を符号Ｂ３に示し、血管境界の曲線Ｂ２上の点と、場所によっては本幹の領域境界上の点と結んだ境界曲線を符号Ｂ４に示す。特定の切断角度は、入力装置５によって選択可能であるとよい。これにより、医療従事者は、走査範囲に亘る血管の解剖学的特徴をより把握しやすい。

本実施形態では、カテーテル１と接続される画像処理装置３が、イメージングデバイス１１からの信号に基づきほぼリアルタイムに断層画像Ｉ１を生成し、側枝が写る画像であるか否かを判断し、解剖学的特徴を示すデータを表示装置４に表示させるものとして説明した。しかしながら、上述に説明した画像処理装置３による側枝が写る画像であるか否かの判断を含む各処理は、別途、生成済みの断層画像Ｉ１に対して事後的に行なわれてもよい。つまり、画像処理装置３は、カテーテル１のイメージングデバイス１１に直接的に接続されているとは限らない。画像処理装置３は、ネットワークを介してイメージングデバイス１１からの信号を記憶した記憶装置を読み出し可能な装置、例えばサーバ装置であってもよい。つまり、図６及び図７のフローチャートに示したステップＳ３０１－Ｓ３０４の処理手順を既存の画像診断装置で実施し、ステップＳ３０５－Ｓ３１５、及び図８のフローチャートの処理を、該処理装置に接続される画像処理装置３で実行し、表示装置４に表示させてもよい。

本実施形態では、医用画像を冠動脈に対するＩＶＵＳで得られた画像を例に説明した。しかしながら、適用対象はこれに限らず、ＯＣＴ／ＯＦＤＩ等であってもよいし、管腔器官は血管に限らない。

上述のように開示された実施形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１ カテーテル
１１ イメージングデバイス
３ 画像処理装置（情報処理装置）
３０ 処理部
３１ 記憶部
３Ｐ コンピュータプログラム
３Ｍ 学習済みモデル
４ 表示装置
４００ 画面
４０１ 第１ボタン
４０２ 第２ボタン
Ｉ１，Ｉ４ 断層画像
Ｉ２ 長軸画像
Ｉ３ 模式縦断面画像
Ｉ５ 三次元画像

Claims (13)

1. 分岐部を有する管腔器官の第１の管に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づき生成された前記管腔器官の複数の断層画像を取得するコンピュータに、
   前記複数の断層画像それぞれに対し、管腔器官の内腔及び膜を含む、異なる範囲に区分したデータを取得し、
   前記複数の断層画像それぞれに対し、区分された範囲の形状から特定される前記管腔器官の膜の外側輪郭に対応する器官境界に基づき、前記断層画像が、前記第１の管から分岐する第２の管が写る画像の候補であるか否かを判断し、
   候補であると判断された断層画像に対し、前記第２の管の有無の判断、前記第１の管の境界の特定、及び、前記第２の管の角度算出を含む検出処理を実行し、
   前記検出処理の結果に基づき前記管腔器官の長軸方向における前記分岐部の位置を特定し、
   前記管腔器官の断層画像、縦断面画像、又は三次元画像と、前記第２の管に関するデータとを表示する
   処理を実行させるコンピュータプログラム。
2. 前記コンピュータに、
   器官境界の形状の略円形からの乖離の度合に対応するパラメータを算出し、
   前記パラメータと所定値との比較に基づいて前記第２の管が写る画像の候補であるか否かを判断する
   処理を実行させる請求項１に記載のコンピュータプログラム。
3. 前記コンピュータは、
   前記器官境界が、前記イメージングデバイスの検出範囲外に至る場合、前記器官境界に代替して、前記管腔器官の内腔境界を演算に用いる
   請求項１又は２に記載のコンピュータプログラム。
4. 前記コンピュータに、
   前記検出処理として、
   前記器官境界に少なくとも一部が沿う円のうち、前記管腔器官の前記第１の管の境界に対応する円を決定し、
   前記器官境界上の各点に対し、決定された円の中心からの距離を算出し、
   前記距離が基準値以上であると判断される点が所定数以上連続する場合、該所定数以上連続する点を第２の管の範囲とし、対象の断層画像に前記第２の管が写っていると判断する
   処理を実行させる請求項１から３のいずれか１項に記載のコンピュータプログラム。
5. 前記コンピュータに、
   前記検出処理として、
   前記決定された円の中心から、又は、前記断層画像中のカテーテル中心から、前記距離が基準値以上であると判断される点が連続する範囲の中心又は重心までを結ぶ直線と、前記断層画像内における所定の直線方向との間の角度を、前記断層画像に写る前記第２の管の角度として算出する
   処理を実行させる請求項４に記載のコンピュータプログラム。
6. 前記コンピュータに、
   前記検出処理として、
   前記器官境界上の各点のうち、前記決定された円の前記第２の管の範囲に対応する円弧の両端点にそれぞれ最も近い２つの点を改めて円弧で結んだ軌跡を、前記第１の管の境界の一部として特定する
   処理を実行させる請求項４又は５に記載のコンピュータプログラム。
7. 前記コンピュータに、
   前記断層画像又は縦断面画像上に、前記検出処理によって特定された前記第１の管又は第２の管の境界を示す画像を重畳した画面を出力する
   処理を実行させる請求項１から６のいずれか１項に記載のコンピュータプログラム。
8. 前記コンピュータに、
   前記断層画像上に、前記検出処理によって特定された前記第２の管の角度を示す画像を重畳した画面を出力する
   処理を実行させる請求項１から７のいずれか１項に記載のコンピュータプログラム。
9. 前記コンピュータに、
   前記複数の断層画像に亘って、断層画像内の基準点を通る、画像内の所定の角度の直線上に沿った画素値群を、前記管腔器官の長軸方向に並べた長軸画像を生成し、
   前記長軸画像上の前記長軸方向で特定された前記分岐部の位置に、該分岐部における断層画像と、該分岐部における前記第２の管に関するデータを表示するためのボタンを重畳させた画面を表示する
   処理を実行させる請求項１から８のいずれか１項に記載のコンピュータプログラム。
10. 前記コンピュータに、
    前記ボタンが選択された場合、前記長軸画像を、断層画像内の基準点を通り、画像内における前記第２の管の角度の直線に沿った画素値群を前記管腔器官の長軸方向に並べた長軸画像へ切り替える
    処理を実行させる請求項９に記載のコンピュータプログラム。
11. 前記コンピュータに、
    前記第２の管が写っている画像の候補のうち、長軸上で所定範囲内に連続して前記候補が連続しており、且つ、連続する候補間で算出された第２の管の角度が類似する候補以外を除去する
    処理を実行させる請求項１から１０のいずれか１項にコンピュータプログラム。
12. 分岐部を有する管腔器官の第１の管に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づき生成された前記管腔器官の複数の断層画像を取得するコンピュータが、
    前記複数の断層画像それぞれに対し、管腔器官の内腔及び膜を含む、異なる範囲に区分したデータを取得し、
    前記複数の断層画像それぞれに対し、区分された範囲の形状から特定される前記管腔器官の膜の外側輪郭に対応する器官境界に基づき、前記断層画像が、前記第１の管から分岐する第２の管が写る画像の候補であるか否かを判断し、
    候補であると判断された断層画像に対し、前記第２の管の有無の判断、前記第１の管の境界の特定、及び、前記第２の管の角度算出を含む検出処理を実行し、
    前記検出処理の結果に基づき前記管腔器官の長軸方向における前記分岐部の位置を特定し、
    前記管腔器官の断層画像、縦断面画像、又は三次元画像と、前記第２の管に関するデータとを表示する
    情報処理方法。
13. 分岐部を有する管腔器官の第１の管に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づき生成された前記管腔器官の複数の断層画像を取得する情報処理装置において、
    前記複数の断層画像に対する画像処理を実行する処理部を備え、
    該処理部は、
    前記複数の断層画像それぞれに対し、管腔器官の内腔及び膜を含む、異なる範囲に区分したデータを取得し、
    前記複数の断層画像それぞれに対し、区分された範囲の形状から特定される前記管腔器官の膜の外側輪郭に対応する器官境界に基づき、前記断層画像が、前記第１の管から分岐する第２の管が写る画像の候補であるか否かを判断し、
    候補であると判断された断層画像に対し、前記第２の管の有無の判断、前記第１の管の境界の特定、及び、前記第２の管の角度算出を含む検出処理を実行し、
    前記検出処理の結果に基づき前記管腔器官の長軸方向における前記分岐部の位置を特定し、
    前記管腔器官の断層画像、縦断面画像、又は三次元画像と、前記第２の管に関するデータとを表示装置に表示させる
    情報処理装置。

Images