JP2023051177A

JP2023051177A - Computer program, information processing method, and information processing device

Info

Publication number: JP2023051177A
Application number: JP2021161697A
Authority: JP
Inventors: 雄紀坂口; Yuki Sakaguchi
Original assignee: Terumo Corp
Current assignee: Terumo Corp
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2023-04-11

Abstract

To provide computer program, an information processing method, and an information processing device capable of presenting information on an anatomical feature acquired through an entire examination in such a manner that an occurrence of a problem can be recognized even when there is a problem with an image.SOLUTION: A computer program causes a computer for acquiring a plurality of cross-sectional images of a hollow organ based on a signal detected by an imaging device equipped to a catheter inserted into the hollow organ to execute processing for: calculating data indicating an anatomical feature in the hollow organ for each of a plurality of cross-sectional images in which it is determined that there is no problem in the detection by the imaging device in the cross-sectional images of the above plurality of cross-sectional images; displaying the distribution of data indicating the anatomical feature in a longitudinal direction of the hollow organ; and displaying an object indicating a place corresponding to the cross-sectional image in which a problem is determined to be occurring on the displayed distribution.SELECTED DRAWING: Figure 9

Description

本開示は、医用画像に対する処理に係るコンピュータプログラム、情報処理方法、及び情報処理装置に関する。 The present disclosure relates to a computer program, an information processing method, and an information processing apparatus relating to processing of medical images.

医学的検査において、検査対象の画像を直接的に撮像するか、又は、電磁波を利用した測定結果を画像化するなどして得られる画像が診断に利用されている。特に、管腔器官の検査では、画像素子を器官内に移動させて得られる画像を使用する技術が種々利用されている。 2. Description of the Related Art In medical examinations, an image obtained by directly capturing an image of an examination target or imaging measurement results using electromagnetic waves is used for diagnosis. In particular, in examination of hollow organs, various techniques using images obtained by moving an image element inside the organ are used.

管腔器官の中でも特に血管の画像診断は、冠動脈インターベンション（ＰＣＩ：Percutaneous Coronary Intervention）等の施術を安全確実に行なうために必要不可欠である。このため、造影剤を用いて体外から撮影する血管造影技術（angiography ）と併せて、カテーテルを用いたＩＶＵＳ（Intra Vascular Ultra Sound）、ＯＣＴ（Optical Coherence Tomography）／ＯＦＤＩ（Optical Frequency Domain Imaging）等の血管内イメージング技術が普及している。 Among hollow organs, image diagnosis of blood vessels in particular is indispensable for safely and reliably performing operations such as percutaneous coronary intervention (PCI). For this reason, in conjunction with angiography, which takes images from outside the body using a contrast agent, IVUS (Intra Vascular Ultra Sound) using a catheter, OCT (Optical Coherence Tomography)/OFDI (Optical Frequency Domain Imaging), etc. Intravascular imaging techniques are widespread.

上述した画像診断では、撮影された医用画像から診断に関する情報を正確に得ることは容易ではない。医用画像の読影を補助するために、画像解析又は機械学習を用い、画像を補正したり、情報を付加したりする技術が種々提案されている（特許文献１等）。 In the above-described image diagnosis, it is not easy to accurately obtain diagnostic information from captured medical images. In order to assist interpretation of medical images, various techniques have been proposed for correcting images or adding information using image analysis or machine learning (Patent Document 1, etc.).

特開２０１２－０７５７０２号公報JP 2012-075702 A

カテーテルを用いたイメージング技術では、ノイズの発生、エアトラップ、断線、イメージセンサの回転阻害等により、イメージセンサから取得できる信号から得られる断層画像に問題が生じる場合がある。問題は例えば、断層画像が全体として暗く、断層画像に写るべき器官の部位を判別できないこと、区別し難いアーチファクトが生成されることなどがある。検査を開始するよりも前に、接続不良又は断線等の１回の検査全体に亘って医用画像を得られないような問題が発生している場合は、検査オペレータも気づきやすい。しかしながら、部分的に問題が発生する場合に、これを検査オペレータが検知することは困難であり、全ての画像を確認することも非常に煩雑である。 In an imaging technique using a catheter, problems may occur in a tomographic image obtained from a signal that can be obtained from an image sensor due to noise generation, air traps, wire breakage, rotation inhibition of the image sensor, and the like. Problems include, for example, the fact that the tomographic image is dark as a whole, the part of the organ that should appear in the tomographic image cannot be determined, and artifacts that are difficult to distinguish are generated. If a problem, such as poor connection or wire breakage, occurs before the start of the inspection, which makes it impossible to obtain a medical image for the entire inspection, the inspection operator is likely to notice it. However, when a problem occurs partially, it is difficult for the inspection operator to detect it, and it is very troublesome to check all the images.

本開示の目的は、カテーテルを用いて得られる画像に問題がある場合でも、全体の検査を通じて得られる解剖学的特徴に関する情報について、問題発生を認識可能に提示するコンピュータプログラム、情報処理方法、及び情報処理装置を提供することにある。 The object of the present disclosure is to provide a computer program, an information processing method, and a computer program, an information processing method, and a computer program, an information processing method, and an information processing method that present information about anatomical features obtained through an overall examination so that the occurrence of a problem can be recognized, even if there is a problem in an image obtained using a catheter. An object of the present invention is to provide an information processing device.

本開示に係るコンピュータプログラムは、管腔器官に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づく前記管腔器官の複数の断層画像を取得するコンピュータに、前記複数の断層画像のうち、該断層画像において前記イメージングデバイスによる検出に問題が発生していないと判断される複数の断層画像それぞれに対し、前記管腔器官における解剖学的特徴を示すデータを算出し、前記管腔器官の長軸方向に対する前記解剖学的特徴を示すデータの分布を表示し、前記表示される分布上に、問題が発生していると判断された断層画像に対応する箇所を示すオブジェクトを表示する処理を実行させる。 A computer program according to the present disclosure provides a computer that obtains a plurality of tomographic images of a hollow organ based on signals detected by an imaging device provided in a catheter inserted into the hollow organ, and transmits the plurality of tomographic images to the computer. data indicating the anatomical characteristics of the hollow organ is calculated for each of a plurality of tomographic images for which it is determined that there is no problem in detection by the imaging device in the tomographic image; A process of displaying the distribution of the data indicating the anatomical features in the longitudinal direction of the display, and displaying an object indicating the location corresponding to the tomographic image determined to have a problem on the displayed distribution to run.

本開示に係る情報処理方法は、管腔器官に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づく前記管腔器官の複数の断層画像を取得するコンピュータが、前記複数の断層画像のうち、該断層画像において前記イメージングデバイスによる検出に問題が発生していないと判断される複数の断層画像それぞれに対し、前記管腔器官における解剖学的特徴を示すデータを算出し、前記管腔器官の長軸方向に対する前記解剖学的特徴を示すデータの分布を表示し、前記表示される分布上に、問題が発生していると判断された断層画像に対応する箇所を示すオブジェクトを表示する。 In the information processing method according to the present disclosure, a computer that acquires a plurality of tomographic images of a hollow organ based on signals detected by an imaging device provided in a catheter inserted into the hollow organ acquires the plurality of tomographic images. Among the tomographic images, for each of a plurality of tomographic images in which it is determined that there is no problem in detection by the imaging device, data indicating the anatomical characteristics of the luminal organ is calculated, and the luminal Displaying a distribution of data indicating the anatomical features in the longitudinal direction of the organ, and displaying an object indicating a location corresponding to the tomographic image determined to have a problem on the displayed distribution. .

本開示に係る情報処理装置は、管腔器官に挿入されるカテーテルに備えられたイメージングデバイスによって検出される信号に基づく前記管腔器官の複数の断層画像を取得する情報処理装置において、前記複数の断層画像それぞれに対する画像処理を実行する処理部を備え、該処理部は、前記複数の断層画像のうち、該断層画像において前記イメージングデバイスによる検出に問題が発生していないと判断される複数の断層画像それぞれに対し、前記管腔器官における解剖学的特徴を示すデータを算出し、前記管腔器官の長軸方向に対する前記解剖学的特徴を示すデータの分布を表示し、前記表示される分布上に、問題が発生していると判断された断層画像に対応する箇所を示すオブジェクトを表示する。 An information processing apparatus according to the present disclosure is an information processing apparatus that acquires a plurality of tomographic images of a hollow organ based on signals detected by an imaging device provided in a catheter inserted into the hollow organ, wherein the plurality of A processing unit that performs image processing on each of the tomographic images, and the processing unit selects, from among the plurality of tomographic images, a plurality of tomographic images for which it is determined that there is no problem in detection by the imaging device in the tomographic images. calculating, for each image, data indicative of the anatomical features of the hollow organ, displaying a distribution of the data indicative of the anatomical features in the longitudinal direction of the hollow organ; , an object indicating the location corresponding to the tomographic image determined to have a problem is displayed.

本開示によれば、管腔器官の断層画像に問題がある場合でも、全体の検査を通じて得られる解剖学的特徴に関する情報について提示でき、且つ、表示された情報を視認したオペレータは、問題発生及びその発生箇所を認識することができる。また、発生箇所を認識することで、オペレータは情報を再取得すべきか判断したり、併用している別のモダリティ（血管造影装置など）を用いて当該部の詳細確認を行ったり、といった活用をすることができる。 According to the present disclosure, even when there is a problem in a tomographic image of a hollow organ, information about anatomical features obtained through an overall examination can be presented, and an operator who visually recognizes the displayed information can recognize the occurrence of a problem and The location of occurrence can be recognized. In addition, by recognizing the location of the occurrence, the operator can decide whether to reacquire the information, or use another modality (such as an angiography device) to check the details of the location. can do.

画像診断装置の構成例を示す図である。It is a figure which shows the structural example of an image diagnostic apparatus. カテーテルの動作を示す説明図である。FIG. 4 is an explanatory diagram showing the operation of the catheter; 画像処理装置の構成を示すブロック図である。1 is a block diagram showing the configuration of an image processing device; FIG. 学習済みの第１モデルの概要図である。FIG. 4 is a schematic diagram of a learned first model; 検出された境界（輪郭）を示す図である。It is a figure which shows the detected boundary (contour). 学習済みの第２モデルの概要図である。FIG. 11 is a schematic diagram of a learned second model; 画像処理装置による情報処理手順の一例を示すフローチャートである。4 is a flow chart showing an example of an information processing procedure by an image processing device; 解剖学的特徴を示すデータの算出方法の概要図である。FIG. 2 is a schematic diagram of a method of calculating data representing anatomical features; 表示装置に表示される画面の例を示す。An example of a screen displayed on a display device is shown. 第２実施形態における画像処理装置による情報処理手順の一例を示すフローチャートである。9 is a flow chart showing an example of an information processing procedure by an image processing apparatus according to a second embodiment; 第２実施形態における画像処理装置による情報処理手順の一例を示すフローチャートである。9 is a flow chart showing an example of an information processing procedure by an image processing apparatus according to a second embodiment; 第２実施形態にて表示装置に表示される画面の例を示す。8 shows an example of a screen displayed on the display device in the second embodiment. 第３実施形態における画像処理装置による情報処理手順の一例を示すフローチャートである。10 is a flow chart showing an example of an information processing procedure by an image processing apparatus according to a third embodiment; 第３実施形態における画像処理装置による情報処理手順の一例を示すフローチャートである。10 is a flow chart showing an example of an information processing procedure by an image processing apparatus according to a third embodiment; 解剖学的特徴を示すデータの推測方法の他の例の概要図である。FIG. 4 is a schematic diagram of another example of a method of estimating data representing anatomical features; 解剖学的特徴を示すデータの推測方法の他の例の概要図である。FIG. 4 is a schematic diagram of another example of a method of estimating data representing anatomical features; 画像生成モデルの概要図である。1 is a schematic diagram of an image generation model; FIG. 第４実施形態における画像処理装置による情報処理手順の一例を示すフローチャートである。FIG. 12 is a flow chart showing an example of an information processing procedure by an image processing apparatus according to a fourth embodiment; FIG. 第４実施形態における画像処理装置による情報処理手順の一例を示すフローチャートである。FIG. 12 is a flow chart showing an example of an information processing procedure by an image processing apparatus according to a fourth embodiment; FIG.

本発明の実施形態に係るコンピュータプログラム、情報処理方法、及び情報処理装置の具体例を、図面を参照しつつ以下に説明する。 Specific examples of computer programs, information processing methods, and information processing apparatuses according to embodiments of the present invention will be described below with reference to the drawings.

（第１実施形態）
図１は、画像診断装置１００の構成例を示す図である。画像診断装置１００は、ＩＶＵＳ法によって血管（管腔器官）の超音波断層像を含む医用画像を生成し、血管内の超音波検査及び診断を行なうための装置である。 (First embodiment)
FIG. 1 is a diagram showing a configuration example of an image diagnostic apparatus 100. As shown in FIG. The diagnostic imaging apparatus 100 is an apparatus for generating medical images including ultrasonic tomographic images of blood vessels (lumen organs) by the IVUS method, and performing ultrasonic examination and diagnosis inside the blood vessels.

画像診断装置１００は、カテーテル１、ＭＤＵ（Motor Drive Unit）２、画像処理装置（情報処理装置）３、表示装置４及び入力装置５を備える。 The diagnostic imaging apparatus 100 includes a catheter 1 , an MDU (Motor Drive Unit) 2 , an image processing device (information processing device) 3 , a display device 4 and an input device 5 .

カテーテル１は、医療用の柔軟性のある管である。カテーテル１は特に、先端部にイメージングデバイス１１を設け、基端からの駆動によって周方向に回転するイメージングカテーテルと呼ばれるものである。イメージングデバイス１１は、ＩＶＵＳ法の場合は超音波振動子及び超音波センサを含む超音波プローブである。ＯＣＴの場合は、近赤外線レーザ及び近赤外線センサ等を含むＯＣＴデバイスである。イメージングデバイス１１は、その他、可視光等の他の波長の電磁波を用いる他のデバイスを用いてもよい。 Catheter 1 is a medical flexible tube. The catheter 1 is particularly called an imaging catheter which has an imaging device 11 at its distal end and rotates in the circumferential direction by being driven from its proximal end. The imaging device 11 is an ultrasound probe including an ultrasound transducer and an ultrasound sensor for IVUS methods. In the case of OCT, it is an OCT device including a near-infrared laser, a near-infrared sensor, and the like. Other devices that use electromagnetic waves of other wavelengths, such as visible light, may be used as the imaging device 11 .

ＭＤＵ２は、カテーテル１の基端に取り付けられる駆動装置であり、検査オペレータの操作に応じて内部モータを駆動することによって、カテーテル１の動作を制御する。 The MDU 2 is a driving device attached to the proximal end of the catheter 1, and controls the operation of the catheter 1 by driving an internal motor according to the operation of the examination operator.

画像処理装置３は、カテーテル１のイメージングデバイス１１から出力された信号に基づいて、血管の断層像等、複数の医用画像を生成する。画像処理装置３の構成の詳細については後述する。 The image processing device 3 generates a plurality of medical images such as tomographic images of blood vessels based on the signals output from the imaging device 11 of the catheter 1 . The details of the configuration of the image processing device 3 will be described later.

表示装置４は、液晶表示パネル、有機ＥＬ表示パネル等を用いる。表示装置４は、画像処理装置３によって生成される医用画像と、医用画像に関する情報とを表示する。 A liquid crystal display panel, an organic EL display panel, or the like is used as the display device 4 . The display device 4 displays medical images generated by the image processing device 3 and information about the medical images.

入力装置５は、画像処理装置３に対する操作を受け付ける入力インタフェースである。入力装置５は、キーボード、マウス等であってもよいし、表示装置４に内蔵されるタッチパネル、ソフトキー、ハードキー等であってもよい。 The input device 5 is an input interface that receives operations for the image processing device 3 . The input device 5 may be a keyboard, a mouse, or the like, or may be a touch panel, soft keys, hard keys, or the like built into the display device 4 .

図２は、カテーテル１の動作を示す説明図である。図２においてカテーテル１は、血管内に検査オペレータによって、図中に示す冠動脈に挿入されたガイドワイヤＷに沿って、管状の血管Ｌ内に挿入されている。図２中の血管Ｌの拡大図において右部は、カテーテル１及びガイドワイヤＷの挿入箇所から遠位、左部は近位に対応する。 FIG. 2 is an explanatory diagram showing the operation of the catheter 1. FIG. In FIG. 2, a catheter 1 is inserted into a tubular blood vessel L by an examination operator along a guide wire W inserted into a coronary artery shown in the drawing. In the enlarged view of the blood vessel L in FIG. 2, the right part corresponds to the distal part from the insertion point of the catheter 1 and the guide wire W, and the left part corresponds to the proximal part.

カテーテル１は、ＭＤＵ２の駆動により、図中の矢符で示すように、血管Ｌ内の遠位から近位へ向けて移動し、且つ、周方向に回転しながら、イメージングデバイス１１によって螺旋状に血管内を走査する。 By driving the MDU 2, the catheter 1 moves from distal to proximal in the blood vessel L as indicated by the arrow in the figure, and rotates in the circumferential direction in a helical manner by the imaging device 11. Scan inside the blood vessel.

本実施形態の画像診断装置１００では、画像処理装置３が、カテーテル１のイメージングデバイス１１から出力された１走査毎の信号を取得する。１回の走査は、イメージングデバイス１１から検出波を径方向に発し、反射光を検出することであり、螺旋状に走査される。画像処理装置３は、１走査毎の信号を360度分毎に極座標変換することで得られる断層画像（横断面画像）を生成する（図２中、Ｉ１）。断層画像Ｉ１は、フレーム画像ともいう。断層画像Ｉ１の基準点（中心）は、カテーテル１の範囲（画像化されない）に対応する。画像処理装置３は更に、断層画像Ｉ１の基準点を通る直線上の画素値を、カテーテル１が血管の長さ方向（長軸方向）に沿って並べた長軸画像（縦断面画像）を生成する（図２中、Ｉ２）。画像処理装置３は、得られた断層画像Ｉ１、長軸画像Ｉ２に基づいて血管の分岐構造を分析処理し、血管の構造を示す二次元又は三次元画像を、検査オペレータあるいは他の医療従事者が視認可能に出力する。本開示における画像診断装置１００では、イメージングデバイス１１から得られる信号から作成される断層画像Ｉ１に問題がある場合、これを認識可能に表示装置４に表示させる。以下、画像処理装置３が、断層画像Ｉ１に問題がある場合の表示処理について詳細を説明する。 In the diagnostic imaging apparatus 100 of this embodiment, the image processing device 3 acquires a signal for each scan output from the imaging device 11 of the catheter 1 . One scan is to radially emit a detection wave from the imaging device 11 and detect the reflected light, and is scanned spirally. The image processing device 3 generates a tomographic image (cross-sectional image) obtained by converting the signal for each scan to polar coordinates every 360 degrees (I1 in FIG. 2). The tomographic image I1 is also called a frame image. The reference point (center) of the tomographic image I1 corresponds to the area of the catheter 1 (not imaged). The image processing device 3 further generates a long-axis image (longitudinal cross-sectional image) in which the catheter 1 arranges pixel values on a straight line passing through the reference point of the tomographic image I1 along the length direction (long axis direction) of the blood vessel. (I2 in FIG. 2). The image processing device 3 analyzes the bifurcation structure of the blood vessel based on the obtained tomographic image I1 and long-axis image I2, and produces a two-dimensional or three-dimensional image showing the structure of the blood vessel for inspection operators or other medical personnel. is visible in the output. In the diagnostic imaging apparatus 100 according to the present disclosure, if there is a problem in the tomographic image I1 created from the signal obtained from the imaging device 11, the problem is displayed on the display device 4 in a recognizable manner. Display processing performed by the image processing apparatus 3 when there is a problem with the tomographic image I1 will be described in detail below.

図３は、画像処理装置３の構成を示すブロック図である。画像処理装置３は、コンピュータであり、処理部３０、記憶部３１、及び入出力Ｉ／Ｆ３２を備える。 FIG. 3 is a block diagram showing the configuration of the image processing device 3. As shown in FIG. The image processing device 3 is a computer and includes a processing section 30 , a storage section 31 and an input/output I/F 32 .

処理部３０は、一又は複数のＣＰＵ（Central Processing Unit ）、ＭＰＵ（Micro-Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等を含む。処理部３０は、ＲＡＭ（Random Access Memory）等の非一時記憶媒体を内蔵し、処理中に生成したデータを非一時記憶媒体に記憶しつつ、記憶部３１に記憶されているコンピュータプログラム３Ｐに基づき演算を実行する。 The processing unit 30 includes one or more CPU (Central Processing Unit), MPU (Micro-Processing Unit), GPU (Graphics Processing Unit), GPGPU (General-purpose computing on graphics processing units), TPU (Tensor Processing Unit), etc. including. The processing unit 30 incorporates a non-temporary storage medium such as a RAM (random access memory), stores data generated during processing in the non-temporary storage medium, and executes a computer program 3P stored in the storage unit 31. perform an operation.

記憶部３１は、ハードディスク、フラッシュメモリ等の不揮発性記憶媒体である。記憶部３１は、処理部３０が読み出すコンピュータプログラム３Ｐ、設定データ等を記憶する。また記憶部３１は、学習済みの第１モデル３１Ｍ及び第２モデル３２Ｍを記憶する。 The storage unit 31 is a non-volatile storage medium such as a hard disk or flash memory. The storage unit 31 stores the computer program 3P read by the processing unit 30, setting data, and the like. The storage unit 31 also stores a learned first model 31M and a second model 32M.

コンピュータプログラム３Ｐ、第１モデル３１Ｍ及び第２モデル３２Ｍは、装置外の非一時記憶媒体９に記憶されたコンピュータプログラム９Ｐ、第１モデル９１Ｍ及び第２モデル９２Ｍを入出力Ｉ／Ｆ３２を介して読み出して複製したものであってもよい。コンピュータプログラム３Ｐ、第１モデル３１Ｍ及び第２モデル３２Ｍは、遠隔のサーバ装置が配信するものを画像処理装置３が図示しない通信部を介して取得し、記憶部３１に記憶したものであってもよい。 The computer program 3P, the first model 31M and the second model 32M read the computer program 9P, the first model 91M and the second model 92M stored in the non-temporary storage medium 9 outside the device via the input/output I/F 32. It may be a duplicate of the original. The computer program 3P, the first model 31M, and the second model 32M may be distributed by a remote server device, acquired by the image processing device 3 via a communication unit (not shown), and stored in the storage unit 31. good.

入出力Ｉ／Ｆ３２は、カテーテル１、表示装置４及び入力装置５が接続されるインタフェースである。処理部３０は、入出力Ｉ／Ｆ３２を介し、イメージングデバイス１１から出力される信号（デジタルデータ）を取得する。処理部３０は、入出力Ｉ／Ｆ３２を介し、生成した断層画像Ｉ１及び／又は長軸画像Ｉ２を含む画面の画面データを表示装置４へ出力する。処理部３０は、入出力Ｉ／Ｆ３２を介して、入力装置５に入力された操作情報を受け付ける。 The input/output I/F 32 is an interface to which the catheter 1, the display device 4 and the input device 5 are connected. The processing unit 30 acquires signals (digital data) output from the imaging device 11 via the input/output I/F 32 . The processing unit 30 outputs screen data of a screen including the generated tomographic image I1 and/or the longitudinal image I2 to the display device 4 via the input/output I/F 32 . The processing unit 30 receives operation information input to the input device 5 via the input/output I/F 32 .

図４は、学習済みの第１モデル３１Ｍの概要図である。本開示における第１モデル３１Ｍは、画像が入力された場合に、画像に写っている１又は複数の対象物の領域を示す画像を出力するように学習されたモデルである。第１モデル３１Ｍは例えば、セマンティックセグメンテーション（Semantic Segmentation ）を実施するモデルである。第１モデル３１Ｍは、入力された画像中の各画素に対し、各画素がいずれの対象物が写っている範囲の画素であるかを示すデータをタグ付けした画像を出力するように設計されている。 FIG. 4 is a schematic diagram of the learned first model 31M. The first model 31M in the present disclosure is a model that has been learned to output an image showing the area of one or more objects appearing in the image when the image is input. The first model 31M is, for example, a model that implements semantic segmentation. The first model 31M is designed to output an image in which each pixel in the input image is tagged with data indicating which object is included in each pixel. there is

第１モデル３１Ｍは例えば、図４に示すように、畳み込み層、プーリング層、アップサンプリング層、及びソフトマックス層を対象的に配置した所謂Ｕ－ｎｅｔを用いる。第１モデル３１Ｍは、カテーテル１からの信号によって作成した断層画像Ｉ１が入力された場合に、タグ画像ＩＳを出力する。タグ画像ＩＳは、血管の内腔範囲、血管の中膜を含む血管の内腔境界と血管境界との間に対応する膜範囲、ガイドワイヤＷ及びそれによる反響が写っている範囲、並びにカテーテル１に対応する範囲を、その位置の画素に各々異なる画素値（図４中では異なる種類のハッチング及び無地で示す）によってタグを付したものである。第１モデル３１Ｍは更に、血管に形成されている繊維性プラークの部分、脂質性プラークの部分、石灰化プラークの部分等を識別できてもよい。 The first model 31M uses, for example, a so-called U-net in which a convolutional layer, a pooling layer, an upsampling layer, and a softmax layer are arranged symmetrically, as shown in FIG. The first model 31M outputs the tag image IS when the tomographic image I1 created by the signal from the catheter 1 is input. The tag image IS includes a range of the lumen of the blood vessel, a range of membranes corresponding to the boundary between the lumen and the boundary of the blood vessel including the media of the blood vessel, a range of the guide wire W and echoes therefrom, and the catheter 1 , with each pixel at that position tagged with a different pixel value (indicated by different types of hatching and solid colors in FIG. 4). The first model 31M may also be capable of identifying portions of fibrous plaque, portions of lipid plaque, portions of calcified plaque, etc. that have formed in blood vessels.

第１モデル３１Ｍは上述したようにセマンティックセグメンテーション、Ｕ－ｎｅｔを例示したがこれに限らないことは勿論である。その他、第１モデル３１Ｍは、インスタンスセグメンテーション等による個別認識処理を実現するモデルであってもよい。第１モデル３１Ｍは、Ｕ－ｎｅｔベースに限らず、ＳｅｇＮｅｔ、Ｒ－ＣＮＮ、又は他のエッジ抽出処理との統合モデル等をベースにしたモデル使用してもよい。 The first model 31M exemplifies semantic segmentation and U-net as described above, but it is of course not limited to this. In addition, the first model 31M may be a model that implements individual recognition processing by instance segmentation or the like. The first model 31M is not limited to the U-net base, and may use a model based on SegNet, R-CNN, or an integrated model with other edge extraction processing.

処理部３０は、第１モデル３１Ｍに断層画像Ｉ１を入力して得られるタグ画像ＩＳにおける画素値とその画像内の座標とによって、断層画像Ｉ１に写っている血管の内腔境界、及び血管境界をエッジ検出できる。血管境界は、厳密には血管の中膜と外膜との間の外弾性板（ＥＥＭ：External Elastic Membrane ）であって、ＩＶＵＳ法にて画像Ｉ１内で比較的明瞭に低い輝度で写る。図５は、検出された境界（輪郭）を示す図である。図５は、図４に示した断層画像Ｉ１に対し、第１モデル３１Ｍからの出力に基づいて得られる内腔境界を示す曲線Ｂ１と、血管境界を示す曲線Ｂ２とが重畳表示されている状態を示す。 The processing unit 30 calculates the lumen boundary and the blood vessel boundary of the blood vessel shown in the tomographic image I1, based on the pixel values in the tag image IS obtained by inputting the tomographic image I1 into the first model 31M and the coordinates in the image. can be edge detected. Strictly speaking, the blood vessel boundary is an external elastic membrane (EEM) between the media and the adventitia of the blood vessel, and appears relatively clearly and with low brightness in the image I1 in the IVUS method. FIG. 5 is a diagram showing detected boundaries (contours). FIG. 5 shows a state in which a curve B1 representing the lumen boundary obtained based on the output from the first model 31M and a curve B2 representing the blood vessel boundary are superimposed on the tomographic image I1 shown in FIG. indicates

上述のように断層画像Ｉ１を生成し、範囲を識別した結果を補助的に加えて表示することにより、検査オペレータ及び他の医療従事者が、管腔器官内を把握しやすくなる。ただし、第１モデル３１Ｍに入力する断層画像Ｉ１が不良である場合、上述の範囲を識別することは非常に難しい。例えば、イメージングデバイス１１が螺旋状に回転しながら走査動作をする中で、表面にエア（気泡）が付着した場合、生成された画像は画素値（輝度）がゼロに近い暗画像となる。断続的に断線する場合も、イメージングデバイス１１からの信号を元に生成する断層画像Ｉ１も暗画像になる。イメージングデバイス１１の回転が阻害されるような場合（例えば高度に屈曲した血管内をイメージングデバイス１１が通過する場合等）、部分的に暗画像となったり、幾何学模様が一部又は全部に現れた画像となったりする。 By generating the tomographic image I1 as described above, and additionally displaying the result of identifying the range, the examination operator and other medical personnel can easily grasp the inside of the hollow organ. However, when the tomographic image I1 input to the first model 31M is defective, it is very difficult to identify the above range. For example, when air (bubbles) adheres to the surface while the imaging device 11 performs a scanning operation while spirally rotating, the generated image becomes a dark image with pixel values (luminance) close to zero. When the wire is broken intermittently, the tomographic image I1 generated based on the signal from the imaging device 11 also becomes a dark image. When the rotation of the imaging device 11 is impeded (for example, when the imaging device 11 passes through a highly curved blood vessel), a partially dark image or a geometric pattern appears partially or entirely. image.

そこで本開示の画像処理装置３は、カテーテル１からの信号から得られる断層画像Ｉ１をセグメンテーション用の第１モデル３１Ｍへ入力する前に、断層画像Ｉ１に対して、走査中に問題が発生しているか否かを、第２モデル３２Ｍを利用して検出する。問題が発生していることが検知された場合、本開示の画像処理装置３はまず第１に、その断層画像Ｉ１に対応する長軸上の箇所を提示する画面を生成する。画像処理装置３は、問題が発生している断層画像Ｉ１からの解剖学的特徴を示すデータの導出を回避する。画像処理装置３は、前後で走査された断層画像Ｉ１を用いて問題が発生した箇所の解剖学的特徴を予測してもよい。以下、詳細な処理手順を説明する。 Therefore, the image processing apparatus 3 of the present disclosure, before inputting the tomographic image I1 obtained from the signal from the catheter 1 to the first model 31M for segmentation, scans the tomographic image I1. It is detected using the second model 32M whether or not there is. When it is detected that a problem has occurred, the image processing apparatus 3 of the present disclosure firstly generates a screen presenting a location on the long axis corresponding to the tomographic image I1. The image processing device 3 avoids deriving data representing anatomical features from the problematic tomographic image I1. The image processing device 3 may predict the anatomical features of the location where the problem occurs using the tomographic images I1 scanned before and after. A detailed processing procedure will be described below.

図６は、学習済みの第２モデル３２Ｍの概要図である。本開示における第２モデル３２Ｍは、画像が入力された場合に、画像が走査中に問題が発生しているか否かの確率を示す数値（確度）を出力するように学習されたモデルである。第２モデル３２Ｍは例えば、畳み込み層、プーリング層等を含むＣＮＮ（Convolutional Neural Network）を用いて画像の特徴量を導出するモデルである。第２モデル３２Ｍは、入力層３２１、中間層３２２及び出力層３２３を有する。第２モデル３２Ｍは、問題が発生していると予め判別された画像に「問題発生：１」のタグ、問題が発生していないと予め判別された画像に「問題なし：０」の教師データを与えて中間層３２２におけるパラメータを学習済みである。 FIG. 6 is a schematic diagram of the learned second model 32M. The second model 32M in the present disclosure is a model trained to output a numerical value (accuracy) indicating the probability of whether or not a problem occurs during scanning of an image when an image is input. The second model 32M is, for example, a model that derives image feature amounts using a CNN (Convolutional Neural Network) including a convolutional layer, a pooling layer, and the like. The second model 32M has an input layer 321 , an intermediate layer 322 and an output layer 323 . In the second model 32M, the tag "problem occurrence: 1" is attached to an image previously determined to have a problem, and the teacher data "no problem: 0" is attached to an image previously determined to have no problem. has been given to learn the parameters in the hidden layer 322 .

なお、第２モデル３２Ｍは、発生している問題の種類を分類する分類モデルであってもよい。問題の種類とは、「エアトラップ」、「断線」、「回転阻害」等であり、画像処理装置３は、これらの結果毎に異なるラベルを付与して予め断層画像Ｉ１を学習し、種類それぞれに対する確度を出力するように中間層３２２のパラメータを学習させてもよい。 Note that the second model 32M may be a classification model that classifies the types of problems that occur. The types of problems are "air trap", "disconnection", "rotation inhibition", etc., and the image processing apparatus 3 assigns different labels to each of these results, learns the tomographic image I1 in advance, and The parameters of the hidden layer 322 may be trained to output the accuracy for .

本開示では、第１モデル３１Ｍ及び第２モデル３２Ｍは別のモデルとして記載した。しかしながら、第２モデル３２Ｍの出力（問題が発生しているか否かの確率）は、断層画像Ｉ１を入力した第１モデル３１Ｍから得られる確度に代替されてもよい。確度は、セグメンテーションがうまくいったかどうかの信頼性に対応するため、問題が発生している断層画像に対して第１モデル３１Ｍを適用しても、セグメンテーションはうまくいかず、出力される確度は低いことが推定される。つまり、第１モデル３１Ｍ及び第２モデル３２Ｍを、１つの第１モデル３１Ｍで兼用してもよい。この場合、画像処理装置３は、第１モデル３１Ｍに断層画像Ｉ１を入力して得られるタグ画像ＩＳ及び確度を取得し、確度が所定値未満である場合に、タグ画像ＩＳを使用しない。 In this disclosure, the first model 31M and the second model 32M are described as separate models. However, the output of the second model 32M (the probability of whether or not a problem has occurred) may be replaced with the accuracy obtained from the first model 31M to which the tomographic image I1 is input. Since the accuracy corresponds to the reliability of whether the segmentation was successful, even if the first model 31M is applied to the tomographic image in which the problem occurs, the segmentation will not be successful and the output accuracy will be low. is presumed. That is, the first model 31M and the second model 32M may be combined into one first model 31M. In this case, the image processing device 3 acquires the tag image IS obtained by inputting the tomographic image I1 into the first model 31M and the accuracy, and does not use the tag image IS if the accuracy is less than a predetermined value.

第１モデル３１Ｍ及び第２モデル３２Ｍを用いた画像処理装置３による処理手順について説明する。図７は、画像処理装置３による情報処理手順の一例を示すフローチャートである。画像処理装置３の処理部３０は、カテーテル１のイメージングデバイス１１から信号が出力されると以下の処理を開始する。 A processing procedure by the image processing device 3 using the first model 31M and the second model 32M will be described. FIG. 7 is a flowchart showing an example of an information processing procedure by the image processing device 3. As shown in FIG. When a signal is output from the imaging device 11 of the catheter 1, the processing unit 30 of the image processing device 3 starts the following processing.

処理部３０は、カテーテル１のイメージングデバイス１１からの信号（データ）を所定量（例えば３６０度分）取得する都度（ステップＳ３０１）、矩形に並べた信号を極座標変換（逆変換）して断層画像Ｉ１を生成する（ステップＳ３０２）。処理部３０は、生成した断層画像Ｉ１を、表示装置４に表示させている画面内にリアルタイムに表示できるように出力する（ステップＳ３０３）。処理部３０は、ステップＳ３０１で取得した信号データと、断層画像Ｉ１とを、長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ３０４）。ステップＳ３０４で処理部３０は、イメージングデバイス１１の走査角度を記憶してもよい。 Each time a predetermined amount (for example, 360 degrees) of signals (data) is acquired from the imaging device 11 of the catheter 1 (step S301), the processing unit 30 performs polar coordinate transformation (inverse transformation) on the signals arranged in a rectangle to obtain a tomographic image. I1 is generated (step S302). The processing unit 30 outputs the generated tomographic image I1 so that it can be displayed in real time on the screen displayed on the display device 4 (step S303). The processing unit 30 stores the signal data acquired in step S301 and the tomographic image I1 in the storage unit 31 in association with the position on the long axis (step S304). The processing unit 30 may store the scanning angle of the imaging device 11 in step S304.

処理部３０は、断層画像Ｉ１を第２モデル３２Ｍへ入力する（ステップＳ３０５）。処理部３０は、第１モデル３１Ｍから出力される、問題が発生しているか否かの確率（確度）に基づき、ステップＳ３０２で生成した断層画像Ｉ１に問題があるか否かを判断する（ステップＳ３０６）。 The processing unit 30 inputs the tomographic image I1 to the second model 32M (step S305). The processing unit 30 determines whether or not there is a problem with the tomographic image I1 generated in step S302 based on the probability (probability) of whether or not a problem has occurred, which is output from the first model 31M (step S306).

ステップＳ３０６において処理部３０は、第２モデル３２Ｍを用いることなしに、問題があるか否かを判断してもよい。例えば処理部３０は、断層画像Ｉ１の画素値（輝度値）に基づき、８０％以上の画素の画素値が所定の画素値以下であって暗画像であるか否かによって、問題があるか否かを判断する。 In step S306, the processing unit 30 may determine whether or not there is a problem without using the second model 32M. For example, based on the pixel values (brightness values) of the tomographic image I1, the processing unit 30 determines whether or not the pixel values of 80% or more of the pixels are equal to or less than a predetermined pixel value, indicating that the image is a dark image. to judge whether

問題がないと判断された場合（Ｓ３０６：ＮＯ）、処理部３０は、断層画像Ｉ１を第１モデル３１Ｍへ入力する（ステップＳ３０７）。処理部３０は、第１モデル３１Ｍから出力されるタグ画像ＩＳに基づき、断層画像Ｉ１から得られる解剖学的特徴を示すデータを算出する（ステップＳ３０８）。 If it is determined that there is no problem (S306: NO), the processing unit 30 inputs the tomographic image I1 to the first model 31M (step S307). The processing unit 30 calculates data indicating anatomical features obtained from the tomographic image I1 based on the tag image IS output from the first model 31M (step S308).

ステップＳ３０８において処理部３０は、第１例では、内腔範囲の内腔境界から内側における最大径、最小径、平均内径等の数値を算出する。処理部３０は更に、膜範囲の外側輪郭を血管境界として算出し、その最大径、最小径、及び平均径を算出してもよい。 In step S308, in the first example, the processing unit 30 calculates numerical values such as the maximum diameter, the minimum diameter, and the average inner diameter inside the lumen boundary of the lumen range. The processing unit 30 may further calculate the outer contour of the membrane area as the vessel boundary and calculate its maximum, minimum and average diameters.

ステップＳ３０８において処理部３０は、第２例では、第１例同様に内腔境界及び血管境界を算出するとともに、断層画像Ｉ１における内腔境界と血管境界との間の画素値に基づき、繊維性プラーク範囲、脂質性プラーク範囲、石灰化プラーク範囲等を決定してもよい。処理部３０は、繊維性プラーク範囲、脂質性プラーク範囲、又は石灰化プラーク範囲を決定できた場合、その断面積の血管境界内側の面積に対する割合（plaque burden）を算出してもよい。 In step S308, in the second example, the processing unit 30 calculates the lumen boundary and the blood vessel boundary in the same manner as in the first example, and calculates fibrous tissue based on pixel values between the lumen boundary and the blood vessel boundary in the tomographic image I1. Plaque coverage, lipid plaque coverage, calcified plaque coverage, etc. may be determined. If the processing unit 30 can determine the fibrous plaque area, the lipid plaque area, or the calcified plaque area, it may calculate the ratio of the cross-sectional area to the area inside the blood vessel boundary (plaque burden).

処理部３０は、ステップＳ３０８で算出した解剖学的特徴を示すデータを、断層画像Ｉ１に対応する長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ３０９）。 The processing unit 30 stores the data indicating the anatomical features calculated in step S308 in the storage unit 31 in association with the position on the long axis corresponding to the tomographic image I1 (step S309).

処理部３０は、ステップＳ３０８で算出した解剖学的特徴を示すデータを、表示装置４にて表示中の画面内に出力する（ステップＳ３１０）。ステップＳ３１０において処理部３０は、データの長軸方向に対する推移を示すグラフを出力してもよいし、データの数値を出力してもよい。 The processing unit 30 outputs the data indicating the anatomical features calculated in step S308 to the screen being displayed on the display device 4 (step S310). In step S310, the processing unit 30 may output a graph showing the transition of the data in the longitudinal direction, or may output numerical values of the data.

処理部３０は、カテーテル１のイメージングデバイス１１による走査を完了したか否かを判断する（ステップＳ３１１）。走査を完了していないと判断された場合（Ｓ３１１：ＮＯ）、処理部３０は、処理をステップＳ３０１へ戻し、次の断層画像Ｉ１を生成する。 The processing unit 30 determines whether the scanning of the catheter 1 by the imaging device 11 has been completed (step S311). If it is determined that scanning has not been completed (S311: NO), the processing unit 30 returns the process to step S301 to generate the next tomographic image I1.

走査を完了したと判断された場合（Ｓ３１１：ＹＥＳ）、処理部３０は、走査した血管の長軸方向全体に対するデータの分布を改めて表示し（ステップＳ３１２）、処理を終了する。処理部３０は、データの分布の他、データの数値等も表示させてよい。 If it is determined that scanning has been completed (S311: YES), the processing unit 30 again displays the data distribution for the entire longitudinal direction of the scanned blood vessel (step S312), and ends the process. In addition to the data distribution, the processing unit 30 may display data numerical values and the like.

ステップＳ３０６にて問題があると判断された場合（Ｓ３０６：ＹＥＳ）、処理部３０は、対象の断層画像Ｉ１に問題が発生していることを示す文字又は画像を、表示装置４にて表示中の画面に出力する（ステップＳ３１３）。処理部３０は、問題が発生していることを、断層画像Ｉ１に対応する長軸上の位置に対応付けて記憶部３１に記憶し（ステップＳ３１４）、処理をステップＳ３１１へ進める。 If it is determined that there is a problem in step S306 (S306: YES), the processing unit 30 displays characters or an image indicating that the target tomographic image I1 has a problem on the display device 4. (step S313). The processing unit 30 stores the occurrence of the problem in the storage unit 31 in association with the position on the long axis corresponding to the tomographic image I1 (step S314), and advances the process to step S311.

ステップＳ３１３において処理部３０は例えば、管腔器官の長軸上の位置に対する解剖学的特徴を示すデータの推移を示すグラフ上で、問題が発生している断層画像Ｉ１に対応する位置に、問題発生を示す画像を表示する（図９参照）。 In step S313, the processing unit 30, for example, places the problem at the position corresponding to the problematic tomographic image I1 on the graph showing the transition of the data indicating the anatomical features with respect to the position on the longitudinal axis of the hollow organ. An image showing the occurrence is displayed (see FIG. 9).

ステップＳ３０８における解剖学的特徴を示すデータの算出について一例を詳細に説明する。図８は、解剖学的特徴を示すデータの算出方法の概要図である。一例において画像処理装置３は、内腔径の平均及びプラーク断面積を算出する。画像処理装置３の処理部３０は、図５に示した内腔境界の内側領域の重心を通る最大径及び最小径を算出し、最大径及び最小径の平均を求めてもよいし、重心を通って内腔境界上の点を結ぶ各線分の平均を求めてもよい。処理部３０は、内腔境界の曲線Ｂ１よりも外側、且つ、血管境界の曲線Ｂ２よりも内側の範囲内で、画素値が小さい（輝度が高い）部分をプラークが写っている範囲として決定する。図８中では、プラークが写っている範囲をハッチングで示している。処理部３０は、内腔境界の曲線Ｂ１よりも外側、且つ、血管境界の曲線Ｂ２よりも内側の範囲の面積に対する、プラーク範囲の割合（Plaque Burden）を算出する。図８の例では処理部３０は例えば、５５％と算出する。 An example of calculation of data indicating anatomical features in step S308 will be described in detail. FIG. 8 is a schematic diagram of a method of calculating data indicating anatomical features. In one example, the image processing device 3 calculates the average lumen diameter and the plaque cross-sectional area. The processing unit 30 of the image processing device 3 may calculate the maximum diameter and minimum diameter passing through the center of gravity of the inner region of the lumen boundary shown in FIG. Each line segment passing through and connecting points on the lumen boundary may be averaged. The processing unit 30 determines a portion having a small pixel value (high brightness) within the range outside the lumen boundary curve B1 and inside the blood vessel boundary curve B2 as a range in which plaque appears. . In FIG. 8, hatching indicates the range in which the plaque is shown. The processing unit 30 calculates the ratio (Plaque Burden) of the plaque area to the area of the area outside the lumen boundary curve B1 and inside the blood vessel boundary curve B2. In the example of FIG. 8, the processing unit 30 calculates, for example, 55%.

図９は、表示装置４に表示される画面４００の例を示す。図８に示す画面４００は、長軸上の位置を選択するカーソル４０１と、カーソル４０１に対応する位置における断層画像Ｉ１とを含む。画面４００は、解剖学的特徴を示すデータのグラフ４０２及びグラフ４０３を含む。グラフ４０２は、長軸上の位置に対する平均内腔径の分布を示す。グラフ４０２は、横軸に長軸上の位置を示し、縦軸に、各位置における管腔器官の内径の平均（平均内腔径）を示す。グラフ４０３は、長軸上の位置に対するプラーク範囲の割合の分布を示す。グラフ４０３は、横軸に長軸上の位置を示し、縦軸に、各位置におけるプラーク範囲の割合を百分率で示す。 FIG. 9 shows an example of a screen 400 displayed on the display device 4. As shown in FIG. A screen 400 shown in FIG. 8 includes a cursor 401 for selecting a position on the long axis, and a tomographic image I1 at a position corresponding to the cursor 401. FIG. Screen 400 includes graphs 402 and 403 of data representing anatomical features. Graph 402 shows the distribution of mean lumen diameter versus position on the longitudinal axis. Graph 402 shows the position on the long axis on the horizontal axis and the average inner diameter of the luminal organ (mean lumen diameter) at each position on the vertical axis. Graph 403 shows the distribution of percent plaque coverage versus location on the long axis. Graph 403 shows the location on the major axis on the horizontal axis and the percentage of plaque coverage at each location on the vertical axis.

図９の画面４００には、グラフ４０２及びグラフ４０３上に重畳されて、断層画像Ｉ１に問題が発生していたことを示す画像４０４が表示されている。画像４０４により、その長軸上の位置では、断層画像Ｉ１に問題が発生していて、解剖学的特徴を示すデータが算出できなかったことがわかる。画面４００を確認する医療従事者は、その問題が発生していた範囲を認識できると共に、その範囲における内腔径及びプラーク範囲の割合を、前後との連続性から推測することもできる。問題の発生箇所を認識できるため、検査オペレータは情報を再取得すべきか判断したり、併用している別のモダリティ（血管造影装置など）を用いて当該部の詳細確認を行なったりすることもできる。 The screen 400 in FIG. 9 displays an image 404 superimposed on the graphs 402 and 403 and indicating that a problem has occurred in the tomographic image I1. From the image 404, it can be seen that a problem occurred in the tomographic image I1 at the position on the long axis, and the data indicating the anatomical features could not be calculated. A medical professional who checks the screen 400 can recognize the area where the problem occurred, and can also estimate the ratio of the lumen diameter and the plaque area in that area from the continuity between the front and back. Since the location of the problem can be recognized, the examination operator can decide whether to reacquire the information, or use another modality (such as an angiography device) to check the details of the affected area. .

（第２実施形態）
第１実施形態では、断層画像Ｉ１に問題が発生している場合、その画像に対応する解剖学的特徴を示すデータの算出をしなかった。これに対し、第２実施形態の画像処理装置３は、問題が発生していない断層画像Ｉ１に対してデータを算出した後に、それらのデータから、問題が発生していた断層画像Ｉ１に対応するデータを推測する。 (Second embodiment)
In the first embodiment, when a problem occurs in the tomographic image I1, data indicating anatomical features corresponding to the image is not calculated. On the other hand, the image processing apparatus 3 of the second embodiment calculates the data for the tomographic image I1 in which no problem has occurred, and then calculates the data corresponding to the tomographic image I1 in which the problem has occurred. Guess the data.

第２実施形態における画像診断装置１００及び画像処理装置３の構成は、画像処理装置３による処理手順の一部以外は同様であるから、同一の符号を付して詳細な説明を省略する。 The configurations of the image diagnostic apparatus 100 and the image processing apparatus 3 in the second embodiment are the same except for a part of the processing procedure by the image processing apparatus 3, so the same reference numerals are given and detailed description thereof is omitted.

図１０及び図１１は、第２実施形態における画像処理装置３による情報処理手順の一例を示すフローチャートである。図１０及び図１１のフローチャートに示す処理手順のうち、図７のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。 10 and 11 are flowcharts showing an example of an information processing procedure by the image processing apparatus 3 according to the second embodiment. Among the processing procedures shown in the flowcharts of FIGS. 10 and 11, the procedures that are common to the processing procedures shown in the flowchart of FIG. 7 are given the same step numbers, and detailed description thereof will be omitted.

第２実施形態において画像処理装置３の処理部３０は、ステップＳ３０６にて問題が発生していると判断された場合（Ｓ３０６：ＹＥＳ）、対象の断層画像Ｉ１に問題が発生していることを示す文字又は画像を、表示装置４にて表示中の画面に出力せずに、記憶部３１に記憶し（Ｓ３１４）、処理をステップＳ３１１へ進める。 In the second embodiment, when it is determined that a problem has occurred in step S306 (S306: YES), the processing unit 30 of the image processing apparatus 3 detects that a problem has occurred in the target tomographic image I1. The displayed character or image is stored in the storage unit 31 without being output to the screen being displayed on the display device 4 (S314), and the process proceeds to step S311.

第２実施形態において画像処理装置３の処理部３０は、ステップＳ３１１で走査を完了したと判断された場合（Ｓ３１１：ＹＥＳ）、問題が発生していることが記憶されている断層画像Ｉ１の位置を読み出す（ステップＳ３２１）。処理部３０は、読み出した位置から遠位側及び近位側、又はいずれか一方の位置において算出されている複数のデータを読み出す（ステップＳ３２２）。処理部３０は、読み出した複数のデータから、問題が発生していることが記憶されている断層画像Ｉ１の位置における、解剖学的特徴を示すデータを推測する処理を実行する（ステップＳ３２３）。 In the second embodiment, when the processing unit 30 of the image processing apparatus 3 determines that the scanning is completed in step S311 (S311: YES), the position of the tomographic image I1 in which a problem has occurred is stored. is read out (step S321). The processing unit 30 reads a plurality of data calculated on the distal side and/or the proximal side from the read position (step S322). The processing unit 30 performs a process of estimating data indicating an anatomical feature at a position of the tomographic image I1 in which the occurrence of the problem is stored, from the plurality of read data (step S323).

ステップＳ３２３において処理部３０は、遠位側及び近位側の隣接するデータの間をスプライン接続することによってデータを推測してもよい。処理部３０は、遠位側又は近位側で近似曲線（直線）を作成し、対象の位置まで延長させることによってデータを推測してもよい。処理部３０は、遠位側及び近位側の隣接するデータを入力した場合に、算出されていないデータを予測する予測モデルを別途学習しておき、その予測モデルを使用して予測してもよい。 In step S323, the processing unit 30 may infer data by making spline connections between adjacent data on the distal and proximal sides. The processing unit 30 may infer data by creating an approximation curve (straight line) distally or proximally and extending it to the location of interest. When the adjacent data on the distal side and the proximal side are input, the processing unit 30 separately learns a prediction model that predicts data that has not been calculated, and predicts using the prediction model. good.

処理部３０は、推測されたデータで、走査した血管の長軸方向全体に対するデータの分布を補完し（ステップＳ３２４）、分布を表示する（Ｓ３１２）。処理部３０は、推測値の範囲を視認できるように、分布における補完された部分を強調する画像を重畳表示させ（ステップＳ３２５）、処理を終了する。 The processing unit 30 interpolates the data distribution for the whole longitudinal direction of the scanned blood vessel with the estimated data (step S324), and displays the distribution (S312). The processing unit 30 superimposes an image that emphasizes the interpolated portion of the distribution so that the estimated value range can be visually recognized (step S325), and ends the process.

上述の説明において画像処理装置３はステップＳ３２３の処理を、ステップＳ３１１で走査を完了したと判断された後で、実行した。しかしながら、ステップＳ３２３のデータの推測の処理を実行するタイミングはこれに限らない。例えば画像処理装置３は、問題が発生していると判断された時点で、それよりも前に生成した断層画像Ｉ１（遠位側の断層画像Ｉ１）を用いてデータの推測を実行してもよい。その他、画像処理装置３は、問題が発生していると判断された後に、問題が発生していないと判断された断層画像Ｉ１を生成（取得）した時点で、データの推測を実行してもよい。 In the above description, the image processing apparatus 3 executes the process of step S323 after it is determined in step S311 that scanning has been completed. However, the timing of executing the data estimation process in step S323 is not limited to this. For example, when it is determined that a problem has occurred, the image processing device 3 may perform data estimation using the tomographic image I1 (distal side tomographic image I1) generated before then. good. In addition, after it is determined that a problem has occurred, the image processing apparatus 3 may perform data estimation at the time of generating (obtaining) the tomographic image I1 in which it is determined that no problem has occurred. good.

図１２は、第２実施形態にて表示装置４に表示される画面４００の例を示す。図１２の画面４００は、第１実施形態の画面４００同様に、カーソル４０１、断層画像Ｉ１、グラフ４０２及びグラフ４０３を含む。上述したように、第２実施形態におけるグラフ４０２及びグラフ４０３では、データが欠損しているのではなく、推測によって補完されている。更に、推測値であることを示す枠の画像４０５が重畳表示されている。 FIG. 12 shows an example of a screen 400 displayed on the display device 4 in the second embodiment. A screen 400 of FIG. 12 includes a cursor 401, a tomographic image I1, graphs 402 and 403, like the screen 400 of the first embodiment. As described above, in the graphs 402 and 403 in the second embodiment, the data are supplemented by speculation rather than missing data. Furthermore, a frame image 405 indicating the estimated value is superimposed and displayed.

画像４０５により、これを視認した検査オペレータ及び他の医療従事者は、画像４０５が表示されている長軸上の位置では、断層画像Ｉ１に問題が発生していて、解剖学的特徴を示すデータが算出できなかったことがわかる。問題の発生箇所を認識できるため、検査オペレータは情報を再取得すべきか判断したり、併用している別のモダリティ（血管造影装置など）を用いて当該部の詳細確認を行なったりすることもできる。更に第２実施形態では、画像４０５で協調されている部分のデータは、算出できなかったが推測されたデータであることを認識できる。医療従事者は、推測されたデータを、参考にすることが可能である。 From the image 405, the inspection operator and other medical personnel who have visually recognized the image 405 are aware that there is a problem in the tomographic image I1 at the position on the long axis where the image 405 is displayed, and the data indicating the anatomical features. could not be calculated. Since the location of the problem can be recognized, the examination operator can decide whether to reacquire the information, or use another modality (such as an angiography device) to check the details of the affected area. . Furthermore, in the second embodiment, it can be recognized that the data of the coordinated portion of the image 405 is data that could not be calculated but was estimated. Medical professionals can refer to the estimated data.

（第３実施形態）
第３実施形態の画像処理装置３は、問題が発生していない断層画像Ｉ１を用い、問題が発生した断層画像Ｉ１に対応する位置の、本来の断層画像Ｉ１を推測し、推測した断層画像Ｉ１から、解剖学的特徴を示すデータを算出する。 (Third Embodiment)
The image processing apparatus 3 of the third embodiment uses the tomographic image I1 in which no problem occurs, estimates the original tomographic image I1 at the position corresponding to the tomographic image I1 in which the problem occurs, and calculates the estimated tomographic image I1. , data indicative of anatomical features are calculated.

第３実施形態における画像診断装置１００及び画像処理装置３の構成は、画像処理装置３による処理手順の一部以外は同様であるから、同一の符号を付して詳細な説明を省略する。 The configurations of the image diagnostic apparatus 100 and the image processing apparatus 3 in the third embodiment are the same except for a part of the processing procedure by the image processing apparatus 3, so the same reference numerals are given and detailed description thereof is omitted.

図１３及び図１４は、第３実施形態における画像処理装置３による情報処理手順の一例を示すフローチャートである。図１３及び図１４のフローチャートに示す処理手順のうち、図７のフローチャートに示す処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。 13 and 14 are flowcharts showing an example of an information processing procedure by the image processing apparatus 3 according to the third embodiment. Among the processing procedures shown in the flowcharts of FIGS. 13 and 14, the procedures that are common to the processing procedure shown in the flowchart of FIG. 7 are given the same step numbers, and detailed description thereof will be omitted.

第３実施形態において画像処理装置３は、断層画像Ｉ１を第１モデル３１Ｍに入力し（Ｓ３０７）、第１モデル３１Ｍから得られるタグ画像ＩＳを、断層画像Ｉ１に対応する長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ３７８）。処理部３０は、タグ画像ＩＳに基づきデータを算出し（Ｓ３０８）、長軸上の位置に対応付けてデータを記憶し（Ｓ３０９）、出力する（Ｓ３１０）。 In the third embodiment, the image processing apparatus 3 inputs the tomographic image I1 to the first model 31M (S307), and places the tag image IS obtained from the first model 31M at a position on the long axis corresponding to the tomographic image I1. It is stored in the storage unit 31 in correspondence (step S378). The processing unit 30 calculates data based on the tag image IS (S308), stores the data in association with the position on the long axis (S309), and outputs the data (S310).

第３実施形態において画像処理装置３の処理部３０は、ステップＳ３０６にて問題が発生していると判断された場合（Ｓ３０６：ＹＥＳ）、対象の断層画像Ｉ１に問題が発生していることを示す文字又は画像を、表示装置４にて表示中の画面に出力せずに、記憶部３１に記憶し（Ｓ３１４）、処理をステップＳ３１１へ進める。 In the third embodiment, when it is determined that a problem has occurred in step S306 (S306: YES), the processing unit 30 of the image processing apparatus 3 detects that a problem has occurred in the target tomographic image I1. The displayed character or image is stored in the storage unit 31 without being output to the screen being displayed on the display device 4 (S314), and the process proceeds to step S311.

処理部３０は、ステップＳ３１１で走査を完了したと判断された場合（Ｓ３１１：ＹＥＳ）、問題が発生していることが記憶されている断層画像Ｉ１の位置を読み出す（ステップＳ３３１）。処理部３０は、読み出した位置から遠位側及び近位側、又はいずれか一方の位置における断層画像Ｉ１を第１モデル３１Ｍに入力した場合の出力（タグ画像ＩＳ）又は算出した輪郭を読み出す（ステップＳ３３２）。処理部３０は、読み出した出力から、問題が発生していることが記憶されている断層画像Ｉ１に対する出力を推測する（ステップＳ３３３）。 If the processing unit 30 determines that the scanning is completed in step S311 (S311: YES), it reads the position of the tomographic image I1 in which the occurrence of the problem is stored (step S331). The processing unit 30 reads out the output (tag image IS) or the calculated contour ( step S332). The processing unit 30 estimates the output for the tomographic image I1 in which the occurrence of the problem is stored from the read output (step S333).

ステップＳ３３３において処理部３０は、図４の右上のように出力された、遠位側のタグ画像ＩＳ及び近位側のタグ画像ＩＳの間の中間となる範囲を、出力として推測する。処理部３０は、遠位側のみの複数の出力（範囲）の変位に基づき、又は、近位側のみに複数の出力（範囲）の変位に基づき、予測を求めてもよい。ステップＳ３３３において処理部３０は、第１モデル３１Ｍからの出力に基づいて求められた輪郭（図５）について、遠位側及び近位側との中間となる輪郭を求めてもよい（図１５参照）。 In step S333, the processing unit 30 estimates, as an output, an intermediate range between the tag image IS on the distal side and the tag image IS on the proximal side output as shown in the upper right of FIG. The processing unit 30 may determine the prediction based on the displacement of the multiple outputs (ranges) on the distal side only or based on the displacement of the multiple outputs (ranges) on the proximal side only. In step S333, the processing unit 30 may obtain a contour intermediate between the distal side and the proximal side of the contour (FIG. 5) obtained based on the output from the first model 31M (see FIG. 15). ).

処理部３０は、ステップＳ３３３で推測した出力から、問題が発生していることが記憶されている断層画像Ｉ１の位置における、解剖学的特徴を示すデータを推測する処理を実行する（ステップＳ３３４）。ステップＳ３３４において処理部３０は、推測した出力から、図８に示したように、データを推測する。 The processing unit 30 executes a process of estimating data indicating anatomical features at the position of the tomographic image I1 in which the occurrence of the problem is stored from the output estimated in step S333 (step S334). . In step S334, the processing unit 30 estimates data from the estimated output, as shown in FIG.

処理部３０は、推測されたデータで、走査した血管の長軸方向全体に対するデータの分布を補完し（ステップＳ３３５）、分布を表示する（Ｓ３１２）。処理部３０は、推測値の範囲を視認できるように、分布における補完された部分を強調する画像を重畳表示させ（ステップＳ３３６）、処理を終了する。 The processing unit 30 interpolates the data distribution for the whole longitudinal direction of the scanned blood vessel with the estimated data (step S335), and displays the distribution (S312). The processing unit 30 superimposes an image that emphasizes the interpolated portion of the distribution so that the estimated value range can be visually recognized (step S336), and ends the process.

図１５は、解剖学的特徴を示すデータの推測方法の他の例の概要図である。処理部３０は、問題が発生して第１モデル３１Ｍに入力できなかった断層画像Ｉ１について、図１５の例では、遠位側及び／又は近位側の断層画像Ｉ１の出力から、出力（範囲）を推測する。図１５に示す例では処理部３０は、１つ遠位側の断層画像Ｉ１についての出力と、１つ近位側の断層画像Ｉ１についての出力との間の中間（平均）を、問題が発生していた断層画像Ｉ１を第１モデル３１Ｍに入力して得られるはずだった出力として推測する。 FIG. 15 is a schematic diagram of another example of a method of estimating data representing anatomical features. For the tomographic image I1 that could not be input to the first model 31M due to a problem, the processing unit 30 outputs (range ). In the example shown in FIG. 15, the processing unit 30 calculates the intermediate (average) between the output of the tomographic image I1 on the distal side and the output of the tomographic image I1 on the proximal side. It is assumed that the tomographic image I1 that was being used is the output that should have been obtained by inputting the tomographic image I1 into the first model 31M.

図１６は、解剖学的特徴を示すデータの推測方法の他の例の概要図である。処理部３０は、問題が発生して第１モデル３１Ｍに入力できなかった断層画像Ｉ１について、図１６の例では、遠位側及び／又は近位側の断層画像Ｉ１に対して算出されている輪郭から、輪郭を推測してもよい。この場合、ステップＳ３７８の第１モデル３１Ｍからの出力の処理は省略されてよい。図１５に示す例では処理部３０は、１つ遠位側の断層画像Ｉ１から得られる輪郭と、１つ近位側の断層画像Ｉ１から得られる輪郭との間の中間を、問題が発生していた断層画像Ｉ１から得られるはずだった輪郭として推測する。 FIG. 16 is a schematic diagram of another example of a method of estimating data representing anatomical features. For the tomographic image I1 that could not be input to the first model 31M due to a problem, the processing unit 30 calculates the tomographic image I1 on the distal side and/or the proximal side in the example of FIG. The contour may be inferred from the contour. In this case, the processing of the output from the first model 31M in step S378 may be omitted. In the example shown in FIG. 15 , the processing unit 30 causes a problem in the middle between the contour obtained from the tomographic image I1 on the distal side and the contour obtained from the tomographic image I1 on the proximal side. It is estimated as a contour that should have been obtained from the tomographic image I1 that had been used.

第３実施形態において出力される画面４００の内容例は、第２実施形態で図１２を参照して説明したものと同様である。第３実施形態でも、画面４００は、グラフ４０２及びグラフ４０３に推測されたデータに対応するプロットが出力されるとともに、そのプロットが推測値であることを示す枠の画像４０５が重畳表示される。 An example of the content of the screen 400 output in the third embodiment is the same as that described with reference to FIG. 12 in the second embodiment. Also in the third embodiment, the screen 400 outputs plots corresponding to the estimated data in the graphs 402 and 403, and superimposes a frame image 405 indicating that the plots are estimated values.

これにより、検査オペレータ及び他の医療従事者は、画像４０５が表示されている長軸上の位置では、断層画像Ｉ１に問題が発生していて、解剖学的特徴を示すデータが算出できなかったことがわかる。問題の発生箇所を認識できるため、検査オペレータは情報を再取得すべきか判断したり、併用している別のモダリティ（血管造影装置など）を用いて当該部の詳細確認を行なったりすることもできる。第３実施形態においても、画像４０５で協調されている部分のデータは、算出できなかったが推測されたデータであることを認識できる。医療従事者は、推測されたデータを、参考にすることが可能である。 As a result, the inspection operator and other medical staff could not calculate the data indicating the anatomical features because there was a problem with the tomographic image I1 at the position on the long axis where the image 405 was displayed. I understand. Since the location of the problem can be recognized, the examination operator can decide whether to reacquire the information, or use another modality (such as an angiography device) to check the details of the affected area. . Also in the third embodiment, it can be recognized that the data of the coordinated portion of the image 405 is data that could not be calculated but was estimated. Medical professionals can refer to the estimated data.

（第４実施形態）
第４実施形態では、問題発生と判断された断層画像Ｉ１を入力して画像変換（ＧＡＮ）して疑似的に本来、問題なく生成されるはずであった疑似断層画像Ｉ３を生成し、これを第１モデル３１Ｍへ入力する。 (Fourth embodiment)
In the fourth embodiment, a tomographic image I1 determined to have a problem is input and image-transformed (GAN) to generate a pseudo tomographic image I3 that should have been generated without problems. Input to the first model 31M.

第４実施形態における画像診断装置１００及び画像処理装置３の構成は、画像処理装置３による処理内容の一部以外は同様であるから、同一の符号を付して詳細な説明を省略する。 The configurations of the image diagnostic apparatus 100 and the image processing apparatus 3 in the fourth embodiment are the same except for a part of the processing contents of the image processing apparatus 3, so the same reference numerals are given and detailed description thereof is omitted.

図１７は、画像生成モデル３３Ｍの概要図である。第４実施形態における処理部３０は、問題が発生していなければ生成されるはずであった疑似断層画像Ｉ３を、画像生成モデル３３Ｍを用いて生成する。画像生成モデル３３Ｍは、転置畳み込み層、畳み込み層、アップサンプリング等のネットワークを適宜組み合わせて画像を出力するように畳み込みニューラルネットワークをベースに構成されている。画像生成モデル３３Ｍは、種となるデータ（潜在変数と呼ばれるデータ、画像、又はテキストデータ等の任意のデータ）が入力された場合に、疑似断層画像Ｉ３を出力するように学習される。種となるデータは、第１モデル３１Ｍからの出力（問題が発生しているか否かの確率又は種類）であってもよい。画像生成モデル３３Ｍは、問題が発生した断層画像Ｉ１よりも近位側又は遠位側の画像を入力した場合に、対象の位置における疑似断層画像Ｉ３を出力するように学習されるオートエンコーダであってもよい。 FIG. 17 is a schematic diagram of the image generation model 33M. The processing unit 30 in the fourth embodiment uses the image generation model 33M to generate the pseudo tomographic image I3 that should have been generated if no problem had occurred. The image generation model 33M is configured based on a convolutional neural network so as to output an image by appropriately combining networks such as transposed convolutional layers, convolutional layers, and upsampling. The image generation model 33M is learned to output a pseudo tomographic image I3 when seed data (arbitrary data such as data called a latent variable, image, or text data) is input. The seed data may be the output from the first model 31M (probability or type of problem occurrence). The image generation model 33M is an autoencoder that is learned to output a pseudo tomographic image I3 at the target position when an image on the proximal side or distal side of the tomographic image I1 in which the problem occurs is input. may

画像生成モデル３３Ｍは、画像生成モデル３３Ｍによって生成された疑似断層画像Ｉ３と、問題なく生成された断層画像Ｉ１とを判別するように学習される判別モデル３４Ｍと共に、ＧＡＮ（Generative Adversarial Networks）を構成して学習される。判別モデル３４Ｍは、学習されるパラメータにより定義される複数段の畳み込み層を含んで構成されるか、又は更にプーリング層及び全結合層等を含んでもよい。 The image generation model 33M constitutes GAN (Generative Adversarial Networks) together with a discrimination model 34M that is trained to discriminate between the pseudo tomographic image I3 generated by the image generation model 33M and the tomographic image I1 generated without problems. is learned by The discriminant model 34M may include multiple convolutional layers defined by parameters to be learned, or may further include pooling layers, fully connected layers, and the like.

画像生成モデル３３Ｍは、判別モデル３４Ｍにおける判別の精度が半分、即ち画像生成モデル３３Ｍ由来の疑似断層画像Ｉ３を、断層画像Ｉ１から正確に判別できなくなった、と判断されるまで学習される。これにより、断層画像Ｉ１と解剖学的特徴を示すデータに影響を与えない程度の疑似断層画像Ｉ３を生成することも可能になる。 The image generation model 33M is learned until it is determined that the discrimination accuracy of the discrimination model 34M is halved, that is, the pseudo tomographic image I3 derived from the image generation model 33M cannot be accurately discriminated from the tomographic image I1. This makes it possible to generate a pseudo tomographic image I3 that does not affect the tomographic image I1 and the data representing the anatomical features.

以下、画像生成モデル３３Ｍを利用して、問題が発生した断層画像Ｉ１に対する解剖学的特徴を示すデータを補完する処理について説明する。 Processing for complementing data indicating anatomical features for the tomographic image I1 in which a problem has occurred using the image generation model 33M will be described below.

図１８及び図１９は、第４実施形態における画像処理装置３による情報処理手順の一例を示すフローチャートである。図１８及び図１９に示す処理手順のうち、図７のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。 18 and 19 are flowcharts showing an example of an information processing procedure by the image processing apparatus 3 according to the fourth embodiment. Among the processing procedures shown in FIGS. 18 and 19, procedures common to the processing procedures shown in the flowchart of FIG. 7 are given the same step numbers, and detailed descriptions thereof are omitted.

第４実施形態において画像処理装置３の処理部３０は、ステップＳ３０６にて問題が発生していると判断された場合（Ｓ３０６：ＹＥＳ）、対象の断層画像Ｉ１に問題が発生していることを示す文字又は画像を、表示装置４にて表示中の画面に出力せずに、記憶部３１に記憶する（Ｓ３１４）。処理部３０は、対象の断層画像Ｉ１について第１モデル３１Ｍから出力された確率のデータ、又は、先んじて生成されていた問題が発生していない断層画像Ｉ１等、画像生成モデル３３Ｍの種となるデータを取得する（ステップＳ３４１）。処理部３０は、取得したデータを画像生成モデル３３Ｍへ入力し（ステップＳ３４２）、画像生成モデル３３Ｍから、疑似断層画像Ｉ３を取得する（ステップＳ３４３）。処理部３０は、疑似断層画像Ｉ３を、第１モデル３１Ｍへ入力し（ステップＳ３４４）、処理をステップＳ３０８へ進める。 In the fourth embodiment, when it is determined that a problem has occurred in step S306 (S306: YES), the processing unit 30 of the image processing apparatus 3 detects that a problem has occurred in the target tomographic image I1. The displayed character or image is stored in the storage unit 31 without being output to the screen being displayed on the display device 4 (S314). The processing unit 30 uses the probability data output from the first model 31M for the target tomographic image I1, or the previously generated tomographic image I1 in which no problem has occurred, as a seed of the image generation model 33M. Data is acquired (step S341). The processing unit 30 inputs the acquired data to the image generation model 33M (step S342), and acquires the pseudo tomographic image I3 from the image generation model 33M (step S343). The processing unit 30 inputs the pseudo tomographic image I3 to the first model 31M (step S344), and advances the process to step S308.

第４実施形態において画像処理装置３の処理部３０は、走査を完了したと判断され（Ｓ３１１：ＹＥＳ）、走査した血管の長軸方向全体に対するデータの分布を改めて表示する（Ｓ３１２）。処理部３０は、表示している分布のうち、問題が発生していることが記憶された断層画像Ｉ１の位置に対応する範囲に、推測値であることを強調する画像を重畳表示させ（ステップＳ３４５）、処理を終了する。 In the fourth embodiment, the processing unit 30 of the image processing apparatus 3 determines that scanning has been completed (S311: YES), and displays the distribution of data over the whole longitudinal direction of the scanned blood vessel again (S312). The processing unit 30 superimposes an image emphasizing that it is an estimated value in the range corresponding to the position of the tomographic image I1 in which the occurrence of the problem is stored in the displayed distribution (step S345), the process ends.

第４実施形態において出力される画面４００の内容例は、第２実施形態で図１２を参照して説明したものと同様である。第４実施形態でも、画面４００は、グラフ４０２及びグラフ４０３に、疑似断層画像Ｉ３から算出された解剖学的特徴を示すデータのプロットが出力されるとともに、そのプロットが推測値であることを示す枠の画像４０５が重畳表示される。 An example of the contents of the screen 400 output in the fourth embodiment is the same as that described with reference to FIG. 12 in the second embodiment. Also in the fourth embodiment, the screen 400 outputs plots of data indicating anatomical features calculated from the pseudo tomographic image I3 on the graphs 402 and 403, and indicates that the plots are estimated values. A frame image 405 is superimposed and displayed.

第４実施形態により、血管を走査中に部分的に問題が発生して断層画像Ｉ１がほぼ全体として暗画像となったりする場合であっても、問題が発生した箇所の解剖学的特徴を示すデータを補完することができる。更に、画像４０５が表示されている長軸上の位置では、断層画像Ｉ１に問題が発生していて、推測値であることが検査オペレータ及び他の医療従事者にわかる。医療従事者は、推測されたデータを、参考にすることが可能である。 According to the fourth embodiment, even if a problem occurs partially during scanning of the blood vessel and the tomographic image I1 becomes a dark image as a whole, the anatomical features of the location where the problem has occurred can be displayed. Data can be complemented. Further, at the longitudinal position where image 405 is displayed, the examination operator and other medical personnel know that the tomographic image I1 is problematic and is an estimate. Medical professionals can refer to the estimated data.

第１実施形態から第４実施形態では、第１モデル３１Ｍ、第２モデル３２Ｍ及び画像生成モデル３３Ｍは、画像処理装置３の記憶部３１に記憶されて使用されるものとして説明した。しかしながら、画像処理装置３は、ローカルネットワーク又は外部ネットワークを介して第１モデル３１Ｍ、第２モデル３２Ｍ及び画像生成モデル３３Ｍのいずれかを利用可能な構成としてもよい。 In the first to fourth embodiments, the first model 31M, the second model 32M and the image generation model 33M are described as being stored in the storage unit 31 of the image processing device 3 and used. However, the image processing device 3 may be configured to be able to use any one of the first model 31M, the second model 32M and the image generation model 33M via a local network or an external network.

第１実施形態から第４実施形態では、カテーテル１と接続される画像処理装置３が、イメージングデバイス１１からの信号に基づきほぼリアルタイムに断層画像Ｉ１を生成し、問題が発生していない断層画像に対して解剖学的特徴を示すデータを求め、表示装置４に表示させるものとして説明した。しかしながら、上述に説明した画像処理装置３による処理は、別途、生成済みの断層画像Ｉ１に対して事後的に行なわれてもよい。つまり、画像処理装置３は、カテーテル１のイメージングデバイス１１に直接的に接続されているとは限らず、イメージングデバイス１１からの信号を取得できればよい。画像処理装置３は、ネットワークを介してイメージングデバイス１１からの信号を記憶した記憶装置を読み出し可能な装置、例えばサーバ装置であってもよい。つまり、図７のフローチャートに示したステップＳ３０１－Ｓ３０４の処理手順を既存の処理装置で実施し、ステップＳ３０５－Ｓ３１４の処理を、該処理装置に接続される画像処理装置３で実行し、処理装置経由で表示装置４に表示させてもよい。 In the first to fourth embodiments, the image processing device 3 connected to the catheter 1 generates the tomographic image I1 in substantially real time based on the signal from the imaging device 11, and produces a tomographic image in which no problem occurs. On the other hand, it is assumed that data indicating anatomical features are obtained and displayed on the display device 4 . However, the processing by the image processing device 3 described above may be separately performed on the generated tomographic image I1 after the fact. In other words, the image processing apparatus 3 is not necessarily directly connected to the imaging device 11 of the catheter 1, and may be able to acquire the signal from the imaging device 11. FIG. The image processing device 3 may be a device such as a server device capable of reading out a storage device storing signals from the imaging device 11 via a network. That is, the processing procedure of steps S301-S304 shown in the flowchart of FIG. It may be displayed on the display device 4 via.

第１実施形態から第４実施形態では、医用画像を冠動脈に対するＩＶＵＳで得られた画像を例に説明した。しかしながら、適用対象はこれに限らず、ＯＣＴ／ＯＦＤＩ等であってもよいし、管腔器官は血管に限らない。 In the first to fourth embodiments, medical images obtained by IVUS for coronary arteries have been described as examples. However, the application is not limited to this, and may be OCT/OFDI or the like, and the hollow organ is not limited to blood vessels.

上述のように開示された実施形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。 The embodiments disclosed as described above are illustrative in all respects and are not restrictive. The scope of the present invention is indicated by the scope of claims, and includes all modifications within the meaning and scope of equivalence to the scope of claims.

１カテーテル
１１イメージングデバイス
３画像処理装置（情報処理装置）
３０処理部
３１記憶部
３Ｐコンピュータプログラム
３１Ｍ第１モデル
３２Ｍ第２モデル
３３Ｍ画像生成モデル
４表示装置
４００画面
４０１カーソル
４０２，４０３グラフ
４０４，４０５画像
Ｉ１断層画像
Ｉ３疑似断層画像 1 catheter 11 imaging device 3 image processing device (information processing device)
30 processing unit 31 storage unit 3P computer program 31M first model 32M second model 33M image generation model 4 display device 400 screen 401 cursor 402, 403 graph 404, 405 image I1 tomographic image I3 pseudo tomographic image

Claims

A computer that acquires a plurality of tomographic images of the hollow organ based on signals detected by an imaging device provided in a catheter inserted into the hollow organ,
Data indicating anatomical features of the hollow organ is calculated for each of a plurality of tomographic images determined to have no problem in detection by the imaging device among the plurality of tomographic images. death,
displaying a distribution of data indicating the anatomical features with respect to the longitudinal direction of the hollow organ;
A computer program for executing a process of displaying, on the displayed distribution, an object indicating a location corresponding to a tomographic image determined to have a problem.

to the computer;
Data indicating anatomical features corresponding to a tomographic image in which a problem is determined to occur is obtained from the tomographic image in which the problem occurs on the distal side or the proximal side on the long axis of the lumen organ. Inferred from tomographic images that are not
2. The computer program according to claim 1, causing the estimated data to interpolate the distribution of the data.

to the computer;
3. The computer program according to claim 2, causing a process of displaying an interpolated portion and a non-interpolated portion in the distribution to be distinguished on the distribution of the data.

to the computer;
The data indicating the anatomical features corresponding to the tomographic image in which a problem has occurred is made continuous with the data calculated for the tomographic image in which no problem has occurred on the distal side or the proximal side. 4. The computer program according to any one of claims 1 to 3, causing a process to be performed.

to the computer;
As a process of estimating data indicating anatomical features corresponding to a tomographic image judged to have a problem,
Acquiring data obtained by dividing a tomographic image in which no problem has occurred on the distal side or the proximal side of the tomographic image into different ranges including the lumen and membrane of the hollow organ,
From the data, infer the division of the range in the tomographic image in which it is determined that a problem has occurred;
4. Estimate data indicating anatomical features corresponding to the tomographic image in which the problem is determined to occur from the estimated shape or size of each range. 13. The computer program of claim 1.

to the computer;
Using an image generation model that has been trained to output a pseudo tomographic image that is judged to have no problem when arbitrary data is input,
For a tomographic image determined to have a problem, inputting data corresponding to the tomographic image to the image generation model to generate a pseudo tomographic image,
4. The computer program according to any one of claims 1 to 3, wherein a process of calculating data indicating anatomical features of the hollow organ is executed with respect to the generated pseudo tomographic image.

to the computer;
using a first model that, when a tomographic image is input, outputs data divided into different ranges including the lumen and the membrane of the hollow organ in the tomographic image;
Inputting each of the plurality of tomographic images into the first model, and based on the data output from the first model, data indicating the anatomical features of the hollow organ based on the size or shape of the segmented range. 7. The computer program according to any one of claims 1 to 6, which causes execution of a process of calculating

to the computer;
Using a second model trained to output data indicating whether or not a problem has occurred in the tomographic image when the tomographic image is input,
The computer is
8. The process of inputting each of the plurality of tomographic images to the second model and determining whether or not a problem occurs based on the output from the second model. the computer program described in .

A computer that acquires a plurality of tomographic images of the hollow organ based on signals detected by an imaging device provided in a catheter inserted into the hollow organ,
Data indicating anatomical features of the hollow organ is calculated for each of a plurality of tomographic images determined to have no problem in detection by the imaging device among the plurality of tomographic images. death,
displaying a distribution of data indicating the anatomical features with respect to the longitudinal direction of the hollow organ;
An information processing method, wherein an object indicating a location corresponding to a tomographic image determined to have a problem is displayed on the displayed distribution.

An information processing apparatus for acquiring a plurality of tomographic images of a hollow organ based on signals detected by an imaging device provided in a catheter inserted into the hollow organ,
A processing unit that performs image processing on each of the plurality of tomographic images,
The processing unit
Data indicating anatomical features of the hollow organ is calculated for each of a plurality of tomographic images determined to have no problem in detection by the imaging device among the plurality of tomographic images. death,
displaying a distribution of data indicating the anatomical features with respect to the longitudinal direction of the hollow organ;
An information processing apparatus that displays, on the displayed distribution, an object indicating a location corresponding to a tomographic image determined to have a problem.