JP2022149735A - Program, image processing method, image processing device and model generation method - Google Patents
Program, image processing method, image processing device and model generation method Download PDFInfo
- Publication number
- JP2022149735A JP2022149735A JP2021052013A JP2021052013A JP2022149735A JP 2022149735 A JP2022149735 A JP 2022149735A JP 2021052013 A JP2021052013 A JP 2021052013A JP 2021052013 A JP2021052013 A JP 2021052013A JP 2022149735 A JP2022149735 A JP 2022149735A
- Authority
- JP
- Japan
- Prior art keywords
- information
- blood vessel
- lumen
- flash
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 72
- 238000000034 method Methods 0.000 title claims description 33
- 238000003672 processing method Methods 0.000 title claims description 4
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 114
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims description 38
- 239000007788 liquid Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 12
- 210000004369 blood Anatomy 0.000 claims description 7
- 239000008280 blood Substances 0.000 claims description 7
- 238000002604 ultrasonography Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002608 intravascular ultrasound Methods 0.000 description 77
- 238000012014 optical coherence tomography Methods 0.000 description 61
- 238000011282 treatment Methods 0.000 description 56
- 238000002059 diagnostic imaging Methods 0.000 description 24
- 244000208734 Pisonia aculeata Species 0.000 description 23
- 238000003860 storage Methods 0.000 description 20
- 239000002872 contrast media Substances 0.000 description 19
- 239000000523 sample Substances 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 14
- 238000012276 Endovascular treatment Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000002792 vascular Effects 0.000 description 11
- 238000010790 dilution Methods 0.000 description 9
- 239000012895 dilution Substances 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 210000004351 coronary vessel Anatomy 0.000 description 6
- 229940090047 auto-injector Drugs 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000011010 flushing procedure Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 230000003907 kidney function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000007924 injection Substances 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 229920002307 Dextran Polymers 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000916 dilatatory effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本発明は、プログラム、画像処理方法、画像処理装置及びモデル生成方法に関する。 The present invention relates to a program, an image processing method, an image processing apparatus, and a model generation method.
患者の血管内にカテーテルを挿入し、バルーン又はステントを用いて血管の狭窄部位を拡張する血管内治療が行われている。血管内治療では、光干渉断層診断装置（ＯＣＴ：Optical Coherence Tomography）を用いて血管内から血管の断層画像を撮影し、得られた断層画像によって血管の観察が行われている。ＯＣＴによる撮影時には、赤血球等の血球成分を含む血液によって光の乱反射と減衰が起こることがあるので、造影剤、低分子デキストラン又は生理食塩水等を血管内に注入して血液が無い状態を一時的に作り出すフラッシュ操作が行われる。特許文献１には、画像診断に使用する断層画像を適切に撮影するためのフラッシュ操作に用いるフラッシュ液が開示されている。 BACKGROUND ART Endovascular treatment is performed by inserting a catheter into a patient's blood vessel and dilating a stenotic site of the blood vessel using a balloon or a stent. In endovascular treatment, an optical coherence tomography (OCT) is used to capture a tomographic image of a blood vessel from within the blood vessel, and the blood vessel is observed using the obtained tomographic image. During OCT imaging, blood containing blood cell components such as red blood cells may cause diffuse reflection and attenuation of light. A flash operation is performed that creates a Japanese Patent Laid-Open No. 2003-100000 discloses a flushing liquid used in a flushing operation for appropriately capturing a tomographic image used for diagnostic imaging.
フラッシュ操作においてフラッシュ液の種類及び希釈率、注入量及び注入する際の流速等の条件を適切に設定する必要がある。適切な条件でのフラッシュ操作が行われなかった場合、フラッシュ操作のやり直し及び断層画像の撮り直し等が発生し、手技時間が延長する。フラッシュ操作における条件は、治療対象の血管の状態や、使用するカテーテルのサイズ等を考慮して設定する必要があり、適切に選択することは容易ではない。特許文献１では、フラッシュ操作における各種の条件の選択については言及されていない。
In the flush operation, it is necessary to appropriately set conditions such as the type and dilution ratio of the flush liquid, the injection amount, and the flow rate at the time of injection. If the flash operation is not performed under appropriate conditions, the flash operation must be redone, the tomographic image must be retaken, and the procedure time will be extended. Conditions for the flash operation must be set in consideration of the condition of the blood vessel to be treated, the size of the catheter used, etc., and it is not easy to select them appropriately.
一つの側面では、フラッシュ操作における条件（フラッシュ操作に関する操作情報）を提案することが可能なプログラム等を提供することを目的とする。 An object of one aspect is to provide a program or the like capable of proposing conditions (operation information regarding flash operation) in flash operation.
一つの側面に係るプログラムは、超音波信号を用いて血管の横断面を撮影した超音波断層画像を取得し、取得した超音波断層画像に基づいて、前記血管の内腔に関する情報を算出し、算出した前記内腔に関する情報に基づいて、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する処理をコンピュータに実行させる。 A program according to one aspect obtains an ultrasonic tomographic image of a cross section of a blood vessel using an ultrasonic signal, calculates information about the lumen of the blood vessel based on the obtained ultrasonic tomographic image, Based on the calculated information about the lumen, the computer is caused to execute a process of identifying operation information about a flash operation when photographing the cross section of the blood vessel using an optical signal.
一つの側面では、フラッシュ操作における条件（フラッシュ操作に関する操作情報）を提案することができる。 In one aspect, it is possible to propose conditions for flash operations (operation information related to flash operations).
以下、本開示のプログラム、画像処理方法、画像処理装置及びモデル生成方法について、その実施形態を示す図面に基づいて詳述する。以下の実施形態では、血管内治療である心臓カテーテル治療を一例に説明する。 Hereinafter, the program, image processing method, image processing apparatus, and model generation method of the present disclosure will be described in detail based on the drawings showing the embodiments. In the following embodiments, cardiac catheterization, which is endovascular treatment, will be described as an example.
図１は、画像診断システムの構成例を示す説明図である。本実施形態の画像診断システムは、血管内検査装置１と、透視画像撮影装置２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１は、患者の血管内断層像をイメージングするための装置であり、血管内から血管の横断面の断層画像を撮影する。本実施形態の血管内検査装置１は、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのイメージングカテーテル１０を用いた画像診断装置である。デュアルタイプのイメージングカテーテル１０では、ＩＶＵＳのみによって超音波断層画像を取得するＩＶＵＳモードと、ＯＣＴのみによって光干渉断層画像を取得するＯＣＴモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するデュアルモードとが設けられており、これらのモードを切り替えて使用することができる。なお、本実施形態の血管内検査装置１は、デュアルタイプのイメージングカテーテル１０を用いた構成に限定されず、ＩＶＵＳのみ又はＯＣＴのみを備えるイメージングカテーテルを用いた構成でもよい。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、ＩＶＵＳ画像及びＯＣＴ画像という。
FIG. 1 is an explanatory diagram showing a configuration example of a diagnostic imaging system. The diagnostic imaging system of this embodiment includes an
イメージングカテーテル１０は患者の血管内に挿入される医用器具であり、血管内検査装置１は、血管内に挿入されたイメージングカテーテル１０によって血管内から血管のＩＶＵＳ画像及びＯＣＴ画像を撮影する。イメージングカテーテル１０を用いてＩＶＵＳ画像又はＯＣＴ画像を撮影する場合、医療従事者はまず、後述のガイディングカテーテル６０（図２参照）を患者の血管内に挿入し、血管内に挿入したガイディングカテーテル６０内に、イメージングカテーテル１０を挿入する。イメージングカテーテル１０は、画像診断用プローブ１１（図２参照）を有しており、画像診断用プローブ１１には、超音波（超音波信号）を送信すると共に血管内からの反射波を受信する超音波送受信部と、近赤外光（光信号）を送信すると共に血管内からの反射光を受信する光送受信部とが設けられている。血管内検査装置１は、イメージングカテーテル１０の超音波送受信部で受信した超音波の反射波の信号に基づいてＩＶＵＳ画像を生成し、光送受信部で受信した反射光の信号に基づいてＯＣＴ画像を生成する。血管内検査装置１がイメージングカテーテル１０を用いて撮影したＩＶＵＳ画像及びＯＣＴ画像は、画像処理装置３を介して表示装置４に表示される。
The
なお、医療従事者は、ＯＣＴ画像を撮影する際に、造影剤、低分子デキストラン又は生理食塩水等で構成されるフラッシュ液を血管内に注入して一時的に血液が無い状態（血液がフラッシュ液に置換された状態）を作り出すフラッシュ操作を行う。フラッシュ操作において、医療従事者は、血管内に挿入したガイディングカテーテル６０を介してフラッシュ液の血管への注入を行う。
In addition, when taking OCT images, medical staff may inject a flash liquid composed of a contrast agent, low-molecular-weight dextran, or physiological saline into the blood vessel to temporarily remove blood (blood flush). A flush operation is performed to create a state of being replaced by liquid. In the flush operation, the medical staff injects flush liquid into the blood vessel through the guiding
透視画像撮影装置２は、患者体内を透視した透視画像を撮影するための装置であり、例えば患者の血管に造影剤を注入しながら患者の生体外からＸ線を用いて血管を撮影し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。透視画像撮影装置２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。なお、イメージングカテーテル１０及びガイディングカテーテル６０の先端にはＸ線を透過しないＸ線不透過マーカが装着されており、透視画像においてイメージングカテーテル１０及びガイディングカテーテル６０（Ｘ線不透過マーカ）の位置が可視化される。透視画像撮影装置２が撮影した透視画像は、画像処理装置３を介して表示装置４に表示される。本実施形態では、画像診断システムが、アンギオ画像を撮影する透視画像撮影装置２を備える構成とするが、生体外の複数の方向から患者の血管及びカテーテル１０，６０を撮影する装置であれば、特に限定されるものではない。
The fluoroscopic image capturing
画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、血管内検査装置１で撮影されたＩＶＵＳ画像及びＯＣＴ画像、透視画像撮影装置２で撮影されたアンギオ画像等の医用画像を表示する。入力装置５は、例えばキーボード、マウス、トラックボール又はマイク等であり、術者による各種の操作を受け付ける。表示装置４と入力装置５とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
A
画像処理装置３は、血管内検査装置１で撮影されたＩＶＵＳ画像及びＯＣＴ画像と、透視画像撮影装置２で撮影された透視画像とを表示装置４に出力して表示させる。また画像処理装置３は、血管内検査装置１が撮影したＩＶＵＳ画像に基づいて、撮影対象の血管のサイズ（径及び血管の走行方向の長さ）等を特定し、特定した血管のサイズ等に基づいて、ＯＣＴ画像の撮影時に行うフラッシュ操作に関する操作情報（以下、フラッシュ情報という）を生成する。よって、本実施形態では、ＯＣＴ画像を撮影する前にＩＶＵＳ画像を撮影することにより、画像処理装置３がＩＶＵＳ画像に基づいてフラッシュ情報を生成して術者に提示することができる。
The
図２はガイディングカテーテル６０の概要を説明する説明図である。ガイディングカテーテル６０は、シース６１と、シース６１の端部に装着された分岐ハブ６２とを有する。以下の説明ではガイディングカテーテル６０の分岐ハブ６２から遠い側を先端側と記載し、分岐ハブ６２側を基端側と記載する。シース６１は、先端部から分岐ハブ６２の開口部６４に亘って連続する管部を形成しており、分岐ハブ６２の開口部６４は、血管内検査装置１に接続されたイメージングカテーテル１０（画像診断用プローブ１１）の挿入口として用いられる。また分岐ハブ６２にはサイドポート６３が設けられており、サイドポート６３は、フラッシュ液７２を充填済みのシリンジ７０の接続用ポートとして用いられる。ガイディングカテーテル６０は、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによって冠動脈の入口付近まで導かれる。ガイディングカテーテル６０の内部には、コネクタ部１３に接続された画像診断用プローブ１１が、分岐ハブ６２の開口部６４から挿通されている。
FIG. 2 is an explanatory diagram for explaining the outline of the guiding
イメージングカテーテル１０は、画像診断用プローブ１１と、画像診断用プローブ１１の端部（基端側）に配置されたコネクタ部１３とを有する。イメージングカテーテル１０は、コネクタ部１３を介して血管内検査装置１のＭＤＵ（Motor Drive Unit）（図示せず）に接続される。画像診断用プローブ１１は、ガイディングカテーテル６０に挿入されるシース（図示せず）と、シース内に挿通されたシャフトと、シャフトの先端に設けられたセンサ部１２とを有する。シースの先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部（図示せず）が設けられている。ガイドワイヤ挿通部は、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによって画像診断用プローブ１１を観察部位又は患部まで導くのに使用される。センサ部１２は超音波送受信部及び光送受信部を有する。シャフトには、超音波送受信部に接続された電気信号ケーブル（図示せず）と、光送受信部に接続された光ファイバケーブル（図示せず）とが内挿されており、電気信号ケーブル及び光ファイバケーブルはコネクタ部１３に接続されている。画像診断用プローブ１１は、ガイディングカテーテル６０の内部で進退可能であり、シャフト及びセンサ部１２は、画像診断用プローブ１１のシース内部で進退可能であり、また周方向に回転することができる。血管内検査装置１は、コネクタ部１３によってイメージングカテーテル１０が着脱可能に取り付けられる駆動装置（ＭＤＵ）を有しており、医療従事者の操作に応じて内蔵モータを駆動することにより、血管１００内に挿入された画像診断用プローブ１１の動作を制御する。例えばＭＤＵは、画像診断用プローブ１１を一定の速度で引っ張りながら周方向に回転させるプルバック操作を行う。画像診断用プローブ１１は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管１００内を走査することにより、画像診断用プローブ１１に略垂直な複数枚のＩＶＵＳ画像又はＯＣＴ画像を連続的に撮影する。
The
フラッシュ操作を行う場合、医療従事者は、分岐ハブ６２のサイドポート６３に、フラッシュ液７２を充填済みのシリンジ７０を装着し、画像診断用プローブ１１の先端部を観察位置付近に配置した後に、シリンジ７０のプランジャー７１を押し込む。これにより、シリンジ７０内のフラッシュ液７２が、ガイディングカテーテル６０内を通って、ガイディングカテーテル６０の先端から血管１００内に射出される。射出されたフラッシュ液７２により、当該部位の血液が押し流され、フラッシュ液７２が充満する状態となる。この状態で画像診断用プローブ１１（センサ部１２）によってＯＣＴ画像を撮影することにより、血液の影響を受けないＯＣＴ画像を得ることができる。なお、プランジャー７１の押し込みは例えばオートインジェクタを用いて行われる。
When performing the flush operation, the medical staff attaches the
図３は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３、補助記憶部３４、読取部３５を備える。制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。制御部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。
FIG. 3 is a block diagram showing a configuration example of the
主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。
The
入出力Ｉ／Ｆ３３は、血管内検査装置１及び透視画像撮影装置２、表示装置４及び入力装置５が接続されるインタフェースである。制御部３１は、入出力Ｉ／Ｆ３３を介して、血管内検査装置１からＩＶＵＳ画像又はＯＣＴ画像を取得し、透視画像撮影装置２からアンギオ画像を取得する。また制御部３１は、入出力Ｉ／Ｆ３３を介して、ＩＶＵＳ画像、ＯＣＴ画像、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力Ｉ／Ｆ３３を介して、入力装置５に入力された情報を受け付ける。
The input/output I/
補助記憶部３４は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部３４は、制御部３１が実行するコンピュータプログラムＰ、制御部３１の処理に必要な各種データを記憶する。また、補助記憶部３４は、後述する第１学習モデルＭ１、第２学習モデルＭ２及び診療ＤＢ３４ａを記憶する。第１学習モデルＭ１は、所定の訓練データを学習済みの機械学習モデルであり、ＩＶＵＳ画像を入力として、入力されたＩＶＵＳ画像中の血管内腔の領域を出力するモデルである。第２学習モデルＭ２（第２の学習モデル）は、所定の訓練データを学習済みの機械学習モデルであり、血管情報、治療情報、及び患者情報を入力として、フラッシュ操作に関するフラッシュ情報を出力するモデルである。第１学習モデルＭ１及び第２学習モデルＭ２は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。診療ＤＢ３４ａは、患者の診療データを格納するデータベースである。なお、補助記憶部３４は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰは、画像処理装置３の製造段階において補助記憶部３４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３４に記憶させてもよい。
The
読取部３５は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の記録媒体３０に記憶されたデータを読み取る。コンピュータプログラムＰは、記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３５が記録媒体３０から読み出して補助記憶部３４に記憶させてもよい。また、コンピュータプログラムＰは半導体メモリに記録された態様であってもよく、制御部３１は半導体メモリからコンピュータプログラムＰを読み出して実行してもよい。
A
画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。
The
本実施形態の画像処理装置３において、制御部３１は、補助記憶部３４に記憶されたコンピュータプログラムＰを読み出して実行することにより、血管内検査装置１で撮影したＩＶＵＳ画像に基づいて、撮影された血管の内腔のサイズを検出する処理を実行する。また制御部３１は、検出した血管内腔のサイズ（血管情報）と、血管内検査装置１による血管内治療に用いる治療用デバイスに関する情報（治療情報）と、患者の情報（患者情報）とに基づいて、ＯＣＴ画像を撮影する際に行うフラッシュ操作に関するフラッシュ情報を生成する処理を実行する。よって、本実施形態の画像処理装置３は、ＯＣＴ画像を撮影する際のフラッシュ操作に関するフラッシュ情報を術者に提示することができる。なお、本実施形態の画像処理装置３では、ＩＶＵＳ画像中の血管内腔を検出する際に第１学習モデルＭ１を用い、血管情報、治療情報及び患者情報からフラッシュ操作の操作情情報を生成する際に第２学習モデルＭ２を用いる。
In the
図４は診療ＤＢ３４ａの構成例を示す説明図である。診療ＤＢ３４ａは、診療ＩＤ列、患者情報列、治療情報列、画像情報列を含む。診療ＩＤ列は、各診療データを識別するための診療ＩＤを記憶する。患者情報列、治療情報列及び画像情報列はそれぞれ、診療ＩＤに対応付けて、診療対象の患者に関する患者情報、当該患者に実施した治療及び実施予定の治療に関する治療情報、及び当該患者を検査して得た医用画像を記憶している。患者情報は、治療を実施した患者又は実施予定の患者に関する情報であり、患者の診療記録である。患者情報は、患者の年齢、性別、体重、身長、腎機能レベル（例えばＣｒ値を５段階で評価した値）、診断名、既往歴等を含む。また患者情報は、治療歴、薬の服用歴、血液検査結果等を含んでもよい。治療情報は、患者に実施した血管内治療又は実施予定の血管内治療に関する情報である。治療情報は、例えば治療実施日又は実施予定日、治療した病変部の位置（病変部位）、病変部における血管内腔の大きさ（直径、長さ、体積）及び形状、使用したガイディングカテーテル６０又は使用予定のガイディングカテーテル６０の種類（例えば製品名）、直径及び長さ等の情報、使用したイメージングカテーテル１０又は使用予定のイメージングカテーテル１０の種類、直径及び長さ等の情報等を含む。また治療情報は、ＯＣＴ画像を撮影する際のフラッシュ操作に使用したフラッシュ液（例えば造影剤）の種類、希釈率、投与量（フラッシュ量）及び流速（フラッシュ流速）等のフラッシュ情報を含む。更に治療情報は、フラッシュ情報に対応付けて、フラッシュ情報に含まれる各条件でフラッシュ操作を行った場合の成功確率を含む。成功確率は、フラッシュ操作を行ってＯＣＴ画像を撮影した術者によって登録される値であり、例えばＯＣＴ画像の撮影後に術者によって登録される。なお、フラッシュ操作の成功とは画像診断に十分用いることができるＯＣＴ画像を撮影できたと術者が判断したことを意味し、成功確率は例えば１００点満点で術者の満足度を示す。また治療情報は、ＩＶＵＳ画像又はＯＣＴ画像を撮影する際のプルバック速度及び移動距離、透視画像撮影装置２でアンギオ画像を撮影する際に使用した造影剤の種類、希釈率及び投与量等を含む。更に治療情報は、病変部の性状、ガイディングカテーテル６０の穿刺部位、透視画像の撮影時間、留置したステントの種類、直径、長さ及び総数、バルーンの種類、長さ、最大拡張径、最大拡張圧、拡張時間及び減衰時間、治療後の経過情報（例えば合併症発症の有無）等を含んでもよい。医用画像は、患者の血管をイメージングした画像であり、アンギオ画像、ＩＶＵＳ画像及びＯＣＴ画像を含む。また医用画像は、コンピュータ断層撮影画像（ＣＴ画像）、磁気共鳴画像（ＭＲＩ画像）等を含んでもよい。
FIG. 4 is an explanatory diagram showing a configuration example of the
図５は学習モデルＭ１，Ｍ２の概要を示す説明図である。図５Ａは第１学習モデルＭ１を示し、図５Ｂは第２学習モデルＭ２を示す。第１学習モデルＭ１は、ＩＶＵＳ画像に含まれる所定のオブジェクトを認識するモデルである。第１学習モデルＭ１は、例えばセマンティックセグメンテーションにより、画像中のオブジェクトを画素単位で分類することができるモデルである。本実施形態の第１学習モデルＭ１は、１枚のＩＶＵＳ画像を入力とし、ＩＶＵＳ画像に含まれる血管内腔を認識するように学習済みの機械学習モデルであり、認識した結果を出力する。具体的には、第１学習モデルＭ１は、入力されたＩＶＵＳ画像の各画素を血管内腔の領域と、それ以外の領域とに分類し、各画素に領域毎のラベルを対応付けた分類済みのＩＶＵＳ画像（以下ではラベル画像という）を出力する。第１学習モデルＭ１は、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolutional Network ）、ＳｅｇＮｅｔ等で構成することができる。 FIG. 5 is an explanatory diagram showing an overview of the learning models M1 and M2. FIG. 5A shows the first learning model M1, and FIG. 5B shows the second learning model M2. The first learning model M1 is a model for recognizing predetermined objects included in IVUS images. The first learning model M1 is a model that can classify objects in an image pixel by pixel, for example, by semantic segmentation. The first learning model M1 of the present embodiment is a machine learning model that receives one IVUS image as an input, has been trained to recognize a blood vessel lumen included in the IVUS image, and outputs the recognition result. Specifically, the first learning model M1 classifies each pixel of the input IVUS image into a blood vessel lumen region and other regions, and associates each pixel with a label for each region. IVUS image (hereinafter referred to as a label image) is output. The first learning model M1 can be composed of, for example, U-Net, FCN (Fully Convolutional Network), SegNet, and the like.
第１学習モデルＭ１は、入力層、中間層及び出力層（図示せず）を有し、中間層は、畳み込み層及びプーリング層と、逆畳み込み層とを有する。畳み込み層は、入力層を介して入力された画像の画素情報から画像の特徴量を抽出して特徴量マップを生成し、プーリング層は、生成された特徴量マップを圧縮する。逆畳み込み層は、畳み込み層及びプーリング層によって生成された特徴量マップを元の画像サイズに拡大（マッピング）する。なお、逆畳み込み層は、畳み込み層で抽出された特徴量に基づいて画像内にどのオブジェクトがどの位置に存在するかを画素単位で識別し、各画素がどのオブジェクトに対応するかを示したラベル画像を生成する。図５Ａ右側に示すように、第１学習モデルＭ１から出力されるラベル画像は、ＩＶＵＳ画像の各画素が、血管内腔の領域と、それ例外の領域とにそれぞれ分類され、各領域に応じた画素値が割り当てられた画像となる。図５Ａでは、血管内腔の領域に分類された画素をハッチングで示している。 The first learning model M1 has an input layer, an intermediate layer and an output layer (not shown), and the intermediate layer has a convolution layer, a pooling layer, and a deconvolution layer. The convolution layer extracts the feature amount of the image from the pixel information of the image input through the input layer to generate a feature amount map, and the pooling layer compresses the generated feature amount map. The deconvolution layer expands (maps) the feature maps generated by the convolution and pooling layers to the original image size. In addition, the deconvolution layer identifies which object exists in which position in the image on a pixel-by-pixel basis based on the feature amount extracted by the convolution layer, and labels each pixel to indicate which object it corresponds to. Generate an image. As shown on the right side of FIG. 5A, in the label image output from the first learning model M1, each pixel of the IVUS image is classified into a blood vessel lumen region and an exception region, respectively. The result is an image with assigned pixel values. In FIG. 5A, the pixels classified into the blood vessel lumen region are indicated by hatching.
上述した構成の第１学習モデルＭ１は、訓練用のＩＶＵＳ画像と、図５Ａ右側に示すようにＩＶＵＳ画像中の各画素に対して、判別すべきオブジェクト（ここでは血管内腔）を示すデータがラベリングされたラベル画像とを含む訓練データを用意し、この訓練データを用いて未学習の学習モデルを機械学習させることにより生成することができる。なお、訓練用のラベル画像では、訓練用のＩＶＵＳ画像に対して、各オブジェクトの領域に対応する座標範囲と、各オブジェクトの種類とを表すラベルが付与されている。第１学習モデルＭ１は、訓練データに含まれるＩＶＵＳ画像が入力された場合に、訓練データに含まれるラベル画像を出力するように学習する。具体的には、第１学習モデルＭ１は、入力されたＩＶＵＳ画像に基づいて中間層での演算を行い、ＩＶＵＳ画像中の各オブジェクト（ここでは血管内腔）を検出した検出結果を取得する。より具体的には、第１学習モデルＭ１は、ＩＶＵＳ画像中の各画素に対して、分類されたオブジェクトの種類を示す値がラベリングされたラベル画像を出力として取得する。そして第１学習モデルＭ１は、取得した検出結果（ラベル画像）を、訓練データが示す正解のオブジェクト領域の座標範囲及びオブジェクトの種類と比較し、両者が近似するように、ニューロン間の重み（結合係数）等のパラメータを最適化する。パラメータの最適化の方法は特に限定されないが、最急降下法、誤差逆伝播法等を用いることができる。これにより、ＩＶＵＳ画像が入力された場合に、ＩＶＵＳ画像中の血管内腔の領域を示すラベル画像を出力する第１学習モデルＭ１が得られる。 The first learning model M1 having the above-described configuration includes a training IVUS image and, as shown on the right side of FIG. Training data including the labeled image can be prepared, and an unlearned learning model can be generated by machine learning using this training data. In the label images for training, labels indicating the coordinate range corresponding to the region of each object and the type of each object are added to the IVUS image for training. The first learning model M1 learns to output the label image included in the training data when the IVUS image included in the training data is input. Specifically, the first learning model M1 performs computation in the intermediate layer based on the input IVUS image, and obtains the detection result of detecting each object (in this case, the blood vessel lumen) in the IVUS image. More specifically, the first learning model M1 obtains as an output a label image in which each pixel in the IVUS image is labeled with a value indicating the type of the classified object. Then, the first learning model M1 compares the obtained detection result (label image) with the coordinate range of the correct object region indicated by the training data and the type of object, and weights (connection coefficient) and other parameters. The parameter optimization method is not particularly limited, but steepest descent method, error backpropagation method, or the like can be used. As a result, a first learning model M1 is obtained that, when an IVUS image is input, outputs a label image indicating the region of the blood vessel lumen in the IVUS image.
画像処理装置３は、このような第１学習モデルＭ１を予め用意しておき、ＩＶＵＳ画像中の血管内腔の検出に用いる。なお、第１学習モデルＭ１は、ＩＶＵＳ画像中の血管内腔の位置及び形状を識別可能であればよい。本実施形態では、第１学習モデルＭ１は、ＩＶＵＳ画像中の血管内腔を認識できればよいが、血管内腔に加えて、血管壁（中膜及びプラーク）及びカテーテルの領域を認識するように構成されていてもよい。第１学習モデルＭ１の学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの第１学習モデルＭ１は、例えばネットワーク経由又は記録媒体３０経由で学習装置から画像処理装置３にダウンロードされて補助記憶部３４に記憶される。
The
第２学習モデルＭ２は、第１学習モデルＭ１を用いてＩＶＵＳ画像から検出された血管内腔に関する血管情報と、患者に行う予定の血管内治療に関する治療情報と、診療ＤＢ３４ａに格納されている患者情報とを入力とする。なお、血管情報、治療情報及び患者情報の各項目のうちで用意できない情報がある場合、項目毎に予め設定されたデフォルトの情報を第２学習モデルＭ２に入力してもよい。そして第２学習モデルＭ２は、図５Ｂ右側に示すような各項目について推定した推定結果をフラッシュ情報として出力する。血管情報は、例えば血管内の病変部（治療対象箇所）の直径、長さ及び体積を含む。また血管情報は、冠動脈に対するガイディングカテーテル６０の先端の位置、及び、ガイディングカテーテル６０の先端と冠動脈との係合状態を含んでもよい。なお、病変部の長さは、例えば血管内検査装置１がＩＶＵＳ画像を撮影した際のプルバック操作におけるプルバック距離を用いることができる。また、ガイディングカテーテル６０の先端の位置、及び冠動脈との係合状態は、例えば透視画像撮影装置２で撮影されたアンギオ画像に基づいて検出可能である。なお、プルバック距離は、１回のプルバック操作によって撮影されたＩＶＵＳ画像の枚数と、プルバック速度とに基づいて算出できる。
The second learning model M2 is based on the vascular information on the vascular lumen detected from the IVUS image using the first learning model M1, the treatment information on the endovascular treatment scheduled to be performed on the patient, and the patient information stored in the
治療情報は、例えば病変部の位置（例えば血管の種類）を含む。また治療情報は、使用予定のガイディングカテーテル６０の種類（例えば商品名）、形状（直径及び長さ）、フラッシュ操作の際にガイディングカテーテル６０の先端が配置される予定の位置、使用予定のイメージングカテーテル１０の種類、形状（直径及び長さ）、フラッシュ操作の際にイメージングカテーテル１０の先端が配置される予定の位置等、カテーテルに関するカテーテル情報を含む。なお、ガイディングカテーテル６０及びイメージングカテーテル１０の先端の位置は、透視画像撮影装置２によって撮影されたアンギオ画像に基づいて特定された位置を用いることができる。また治療情報は、使用予定の造影剤の種類、希釈率、造影剤の投与に使用するシリンジ７０における内圧限界等、造影剤に関する造影剤情報を含む。また治療情報は、ＩＶＵＳ画像の撮影時に行ったプルバック操作におけるプルバック速度及びプルバック距離等、プルバック操作に関するプルバック情報を含む。また治療情報は、患者のアンギオ画像を含んでもよい。更に治療情報は、血管内治療が実施中である場合、既に使用された造影剤の種類、希釈率及び投与量と、今後に使用予定の造影剤の種類、希釈率及び投与量とを含んでもよい。患者情報は、例えば患者の年齢（年齢層）、体重、腎機能レベルを含む。上述したような治療情報及び患者情報は、診療ＤＢ３４ａに記録されている各情報を用いることができる。
The treatment information includes, for example, the location of the lesion (eg, blood vessel type). The treatment information includes the type (for example, product name) and shape (diameter and length) of the guiding
第２学習モデルＭ２が出力するフラッシュ情報は、フラッシュ液に使用する造影剤の種類及び希釈率、フラッシュ液を投与する際の流速（フラッシュ流速）及び投与量（フラッシュ流量）、これらの条件でフラッシュ操作を行った場合の成功確率を含む。第２学習モデルＭ２は、例えばＣＮＮ（Convolutional Neural Network）で構成されるが、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）、ＲＮＮ（Recurrent Neural Network）等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。 The flash information output by the second learning model M2 includes the type and dilution ratio of the contrast agent used in the flush liquid, the flow rate (flush flow rate) and dose (flush flow rate) when administering the flush liquid, and the flash flow under these conditions. Contains the probability of success when performing an operation. The second learning model M2 is configured by, for example, a CNN (Convolutional Neural Network), but may be configured using an algorithm such as a decision tree, random forest, SVM (Support Vector Machine), or RNN (Recurrent Neural Network). , may be configured by combining a plurality of algorithms.
第２学習モデルＭ２は、訓練用の血管情報、治療情報及び患者情報と、正解のフラッシュ情報とが対応付けられた訓練データを用意し、この訓練データを用いて未学習の学習モデルを機械学習させることにより生成することができる。訓練用の血管情報、治療情報及び患者情報は、血管内治療を実施した患者の診療データを用いることができ、例えば診療ＤＢ３４ａに記憶してある各情報を用いることができる。正解のフラッシュ情報も、患者の診療データに含まれるフラッシュ情報を用いることができる。画像処理装置３は、訓練データに含まれる血管情報、治療情報及び患者情報を第２学習モデルＭ２に入力し、訓練データに含まれる正解のフラッシュ情報を出力するように第２学習モデルＭ２の学習を行う。
The second learning model M2 prepares training data in which blood vessel information, treatment information, and patient information for training are associated with correct flash information. can be generated by Blood vessel information for training, treatment information, and patient information can use medical data of a patient who has undergone endovascular treatment, and can use each information stored in the
具体的には、画像処理装置３は、訓練用の血管情報、治療情報及び患者情報を第２学習モデルＭ２に入力し、図５Ｂに例示した各項目のフラッシュ情報を出力として第２学習モデルＭ２から取得する。画像処理装置３は、出力されたフラッシュ情報を、訓練データに含まれる正解のフラッシュ情報と比較し、両者が近似するように、ニューロン間の重み（結合係数）等のパラメータを最適化する。パラメータの最適化の方法は特に限定されないが、最急降下法、誤差逆伝播法等を用いることができる。これにより、患者の血管情報、治療情報及び患者情報が入力された場合にフラッシュ情報を出力する第２学習モデルＭ２が得られる。
Specifically, the
なお、図５Ｂに示した各項目において、「造影剤の種類」は分類結果で示される項目であるが、その他の項目は連続値で表現される項目である。このように第２学習モデルＭ２は、いわゆる分類問題と回帰問題とを同時に扱うが、例えば全ての項目を回帰問題と見なして連続値を出力し、分類結果として示すべき項目を連続値から二値に変換すればよい。あるいは、各項目に対応する出力層を別々に設け、中間層で抽出された特徴量を各出力層に入力して、各項目の推定を別々に行うようにしてもよい。あるいは、第２学習モデルＭ２自体を項目別に用意し、別々に推定を行ってもよい。 In addition, in each item shown in FIG. 5B, "contrast agent type" is an item indicated by the classification result, but the other items are items represented by continuous values. In this way, the second learning model M2 handles a so-called classification problem and a regression problem at the same time. should be converted to Alternatively, an output layer corresponding to each item may be provided separately, and the feature amount extracted in the intermediate layer may be input to each output layer to estimate each item separately. Alternatively, the second learning model M2 itself may be prepared for each item and estimated separately.
画像処理装置３は、このような第２学習モデルＭ２を予め用意しておき、新たに治療を実施する患者に対するフラッシュ情報の生成に用いる。なお、新たに治療を実施する患者のフラッシュ情報を生成する場合、画像処理装置３は、当該患者のＩＶＵＳ画像を血管内検査装置１で撮影し、得られたＩＶＵＳ画像から第１学習モデルＭ１を用いて血管内腔の大きさを検出する。また画像処理装置３は、検出した血管内腔の大きさ（血管情報）に、患者の治療予定の内容（治療情報）及び患者情報を加えて第２学習モデルＭ２に入力することでフラッシュ情報を生成する。画像処理装置３は、生成したフラッシュ情報を表示装置４に出力して表示させる。
The
第２学習モデルＭ２の学習は他の学習装置で行われてもよい。他の学習装置で学習が行われた場合、学習済みの第２学習モデルＭ２は、例えばネットワーク経由又は記録媒体３０経由で学習装置から画像処理装置３にダウンロードされて補助記憶部３４に記憶される。
The learning of the second learning model M2 may be performed by another learning device. When learning is performed by another learning device, the learned second learning model M2 is downloaded from the learning device to the
図６はフラッシュ情報の画面例を示す模式図である。図６に示す画面は、術者に提示するフラッシュ情報として、フラッシュ液（例えば造影剤）の投与量（フラッシュ量）の低減を重視したパターンと、フラッシュ液の流速（フラッシュ流速）の低減を重視したパターンとの２パターンのフラッシュ情報を表示している。また図６に示すフラッシュ情報は、フラッシュ流速、フラッシュ量（造影剤の総量）、成功確率を含んでおり、更に、このフラッシュ情報に関する注意事項及びアドバイスを含んでいる。注意事項及びアドバイスは、例えばフラッシュ情報が、フラッシュ量又はフラッシュ流速のいずれの低減を重視したものであるかに応じて、予め補助記憶部３４に記憶されている。よって、制御部３１は、生成したフラッシュ情報の内容に応じた注意事項及びアドバイスを補助記憶部３４から読み出して表示画面に表示させることによって、フラッシュ情報と共に注意事項及びアドバイスを術者に提示することができる。
FIG. 6 is a schematic diagram showing an example of a flash information screen. The screen shown in FIG. 6 has a pattern emphasizing a reduction in the dose (flushing volume) of the flush liquid (e.g., contrast agent) and a pattern emphasizing reduction in the flow rate of the flush liquid (flush flow rate) as flash information to be presented to the operator. Two patterns of flash information are displayed. Also, the flash information shown in FIG. 6 includes flash flow rate, flash amount (total amount of contrast agent), success probability, and further includes precautions and advice regarding this flash information. The precautions and advice are stored in the
なお、図６のパターンＡに示すアドバイスのように、フラッシュ操作の際にガイディングカテーテル６０の先端位置を血管に対して適切な位置に位置合わせすることにより、フラッシュ液が他の血管に流れ出る量を減らすことができ、その結果、フラッシュ量の低減が可能となる。また、図６のパターンＢに示すアドバイスのように、フラッシュ液に使用する造影剤の希釈率を上昇させることにより、フラッシュ液の粘度が低下するので、血管に対する負荷の低減が可能となる。このようにフラッシュ量の低減又はフラッシュ流速の低減を更に実現できるアドバイスを術者に提示することができる。なお、フラッシュ情報に造影剤の種類及び希釈率を含めて表示してもよい。また画像処理装置３は、患者の情報から最適なフラッシュ情報を特定し、特定したフラッシュ情報のみを表示する構成でもよい。
It should be noted that, as in the advice shown in pattern A in FIG. can be reduced, and as a result, the amount of flash can be reduced. Also, as in the advice shown in pattern B in FIG. 6, by increasing the dilution rate of the contrast agent used in the flush fluid, the viscosity of the flush fluid is reduced, so the load on blood vessels can be reduced. In this way, the operator can be presented with advice that can further reduce the flash amount or the flash flow velocity. Note that the flash information may be displayed including the type and dilution ratio of the contrast medium. Further, the
術者は、提示された各パターンのフラッシュ情報の各情報及び注意事項に基づいて、最適なフラッシュ情報を特定する。例えば術者は、患者の体調を考慮して、最適なパターンのフラッシュ情報を特定する。また術者は、フラッシュ情報と共に提示されるアドバイスと自身の手技技術とを考慮して最適なフラッシュ情報を特定する。そして術者は、特定したフラッシュ情報（フラッシュ条件）でのフラッシュ操作を行う。ここでは、術者は、例えばオートインジェクタに対して、特定したフラッシュ条件（フラッシュ流速及びフラッシュ量等）を設定し、オートインジェクタによるフラッシュ液の注入を実行する。そして、術者は、フラッシュ操作を実行した後、ＯＣＴ画像の撮影を実行する。 The operator specifies the optimum flash information based on each information and notes of the presented flash information of each pattern. For example, the operator considers the physical condition of the patient and specifies the optimum pattern of flash information. Also, the operator identifies the optimum flash information in consideration of the advice presented along with the flash information and his own technique. Then, the operator performs a flash operation with the specified flash information (flash conditions). Here, the operator sets specified flush conditions (flush flow rate, flush amount, etc.) for the autoinjector, for example, and executes flush liquid injection by the autoinjector. After performing the flash operation, the operator captures an OCT image.
フラッシュ情報と共に術者に提示される注意事項及びアドバイスは、フラッシュ情報がフラッシュ量の低減を重視したものである場合、例えばプルバック速度を上昇させることによってフラッシュ量の総量の低減をアドバイスする情報であってもよい。なお、プルバック速度を上昇させた場合、プルバック操作に要する時間が短縮されるので、少ない量のフラッシュ液でのフラッシュ操作が可能となる。 The precautions and advice presented to the operator along with the flash information are information advising to reduce the total flash amount by increasing the pullback speed, for example, when the flash information emphasizes reduction of the flash amount. may When the pullback speed is increased, the time required for the pullback operation is shortened, so the flush operation can be performed with a small amount of flush liquid.
以下に、訓練データを学習して第２学習モデルＭ２を生成する処理について説明する。図７は第２学習モデルＭ２の生成処理手順の一例を示すフローチャートである。以下の処理は、画像処理装置３の制御部３１が、補助記憶部３４に記憶してあるコンピュータプログラムＰに従って行うが、他の学習装置で行われてもよい。
Processing for learning the training data and generating the second learning model M2 will be described below. FIG. 7 is a flow chart showing an example of the processing procedure for generating the second learning model M2. The following processing is performed by the
画像処理装置３の制御部３１は、１人の患者に関する血管情報、治療情報及び患者情報と、この患者に対して実施したフラッシュ操作に関するフラッシュ情報とを対応付けた訓練データを取得する（Ｓ１１）。フラッシュ情報には、当該フラッシュ情報に含まれる各条件でのフラッシュ操作に対する成功確率が含まれる。訓練データ用の血管情報、治療情報及び患者情報と、訓練データ用のフラッシュ情報とは、診療ＤＢ３４ａに記憶されている各情報を用いることができる。なお、訓練データは、予め訓練データ用の血管情報、治療情報及び患者情報と、フラッシュ情報とを用意して訓練データＤＢ（図示せず）に登録しておいてもよい。この場合、制御部３１は、訓練データＤＢから訓練データを取得すればよい。
The
制御部３１は、取得した訓練データを用いて第２学習モデルＭ２の学習処理を行う（Ｓ１２）。ここでは、制御部３１は、訓練データに含まれる血管情報、治療情報及び患者情報を第２学習モデルＭ２に入力し、フラッシュ情報の各項目に関する出力値を取得する。制御部３１は、出力された各項目に関する出力値を、正解の各項目の情報と比較し、両者が近似するようにニューロン間の重み等のパラメータを最適化する。
The
制御部３１は、未処理のデータがあるか否かを判断する（Ｓ１３）。例えば訓練データが予め訓練データＤＢに登録してある場合、制御部３１は、訓練データＤＢに記憶してある訓練データにおいて、未処理の訓練データがあるか否かを判断する。未処理のデータがあると判断した場合（Ｓ１３：ＹＥＳ）、制御部３１はステップＳ１１の処理に戻り、学習処理が未処理の訓練データに基づいて、ステップＳ１１～Ｓ１２の処理を行う。未処理のデータがないと判断した場合（Ｓ１３：ＮＯ）、制御部３１は一連の処理を終了する。
The
上述した処理により、患者の血管情報、治療情報及び患者情報を入力した場合にフラッシュ情報を出力するように学習された第２学習モデルＭ２が得られる。なお、上述したような訓練データを用いた学習処理を繰り返し行うことにより、第２学習モデルＭ２を更に最適化することができる。また、既に学習済みの第２学習モデルＭ２についても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い第２学習モデルＭ２が得られる。 Through the above-described processing, the second learning model M2 that has been learned to output flash information when the patient's blood vessel information, treatment information, and patient information is input is obtained. The second learning model M2 can be further optimized by repeating the learning process using the training data as described above. Also, the second learning model M2 that has already been trained can be re-learned by performing the above-described processing, and in this case, the second learning model M2 with higher discrimination accuracy can be obtained.
図８は、フラッシュ情報の提示処理手順の一例を示すフローチャートである。以下の処理は、画像処理装置３の制御部３１が、補助記憶部３４に記憶してあるコンピュータプログラムＰに従って行う。なお、本実施形態の画像診断システムでは、血管内治療を行う際に血管の断層画像を撮影する場合、まず血管内検査装置１をＩＶＵＳモードで使用してＩＶＵＳ画像を撮影する。その後、必要に応じて血管内検査装置１をＯＣＴモードで使用してＯＣＴ画像を撮影する。その際に、画像処理装置３は、先に撮影したＩＶＵＳ画像に基づいて、ＯＣＴ画像の撮影時に行うべきフラッシュ操作における条件（フラッシュ情報）を生成して術者に提示する。術者は、提示されたフラッシュ情報を考慮して、実行すべきフラッシュ操作の内容（フラッシュ情報）を選択できる。
FIG. 8 is a flow chart showing an example of the flash information presentation processing procedure. The following processing is performed by the
画像処理装置３の制御部３１（取得部）は、患者の血管を血管内から撮影したＩＶＵＳ画像を血管内検査装置１から取得する（Ｓ２１）。そして、制御部３１は、取得したＩＶＵＳ画像に基づいてフラッシュ情報を生成する。なお、制御部３１は、ステップＳ２１の処理後、例えば入力装置５を介して術者からＯＣＴ画像の撮影指示を受け付けた場合に、ＩＶＵＳ画像に基づいてフラッシュ情報を生成する処理を実行してもよい。
The control unit 31 (acquisition unit) of the
フラッシュ情報を生成する場合、制御部３１はまず、ＩＶＵＳ画像を第１学習モデルＭ１に入力し、第１学習モデルＭ１からの出力画像に基づいて、ＩＶＵＳ画像中の血管内腔を検出する（Ｓ２２）。そして制御部３１（算出部）は、検出した血管内腔に基づいて血管内腔の直径を算出する（Ｓ２３）。血管内腔の直径は例えば、血管内腔の中心を通る血管内径の最小値及び最大値であり、制御部３１は、例えばＩＶＵＳ画像中の血管内径上の画素数に基づいて直径を算出する。また制御部３１（算出部）は、検出した血管内腔に基づいて、ＩＶＵＳで撮影された血管内腔の長さを算出する（Ｓ２４）。血管内腔の長さは、血管の走行方向（長軸方向）の長さであり、例えばＩＶＵＳ画像の撮影時に行ったプルバック操作によるプルバック距離である。なお、プルバック距離は、１回のプルバック操作によって撮影されたＩＶＵＳ画像の枚数と、プルバック速度とに基づいて算出できる。更に制御部３１（算出部）は、検出した血管内腔に基づいて、血管内腔の体積を算出する（Ｓ２５）。血管内腔の体積は、血管内腔の断面積及び長さから算出される体積である。血管内腔の断面積は、算出した血管内腔の直径に基づいて算出されてもよく、ＩＶＵＳ画像中の血管内腔内の画素数に基づいて算出されてもよい。制御部３１は例えば、１枚のＩＶＵＳ画像における血管内腔の断面積を算出し、隣り合うＩＶＵＳ画像間の距離（ＩＶＵＳ画像の撮影位置間の距離）に基づいて、１枚のＩＶＵＳ画像における血管内腔の体積を算出する。そして制御部３１は、それぞれのＩＶＵＳ画像における血管内腔の体積を加算することにより、ＩＶＵＳで撮影された血管内腔の体積を算出する。このような処理により、制御部３１は、ＩＶＵＳ画像で撮影された血管内腔の直径、長さ及び体積等、血管内腔に関する血管情報を算出する。なお、これらの各情報の算出処理は、従来使用されている血管内検査装置１又は画像処理装置３で行われている算出処理によって実行可能である。また制御部３１は、例えば透視画像撮影装置２で撮影したアンギオ画像に基づいて、この時点でのガイディングカテーテル６０の先端の位置及び画像診断用プローブ１１の先端の位置を検出し、検出した位置を血管情報として用いる。
When generating flash information, the
制御部３１（特定部）は、患者の治療情報及び患者情報を診療ＤＢ３４ａから読み出し、算出した血管情報と、読み出した患者の治療情報及び患者情報とを第２学習モデルＭ２に入力し、第２学習モデルＭ２からの出力情報に基づいてフラッシュ情報を生成する（Ｓ２６）。制御部３１は、生成したフラッシュ情報を表示装置４に出力し、例えば図６に示すような画面にてフラッシュ情報を表示する（Ｓ２７）。フラッシュ情報は、例えば図６に示すように複数パターンが表示され、術者は、表示されたフラッシュ情報から、実行すべきフラッシュ情報を選択する。また術者は、選択したフラッシュ情報に基づいて、例えばオートインジェクタに対して、選択したフラッシュ液７２が充填されたシリンジ７０の装着、フラッシュ流速及びフラッシュ量の設定等を行い、フラッシュ操作を実行する。なお、制御部３１は、例えば入力装置５を介して、いずれかのフラッシュ情報に対する術者の選択を受け付け（Ｓ２８）、選択を受け付けた場合、選択されたフラッシュ情報を診療ＤＢ３４ａに記憶しておく（Ｓ２９）。
The control unit 31 (identifying unit) reads patient treatment information and patient information from the
オートインジェクタは、術者によって設定されたフラッシュ条件に基づくフラッシュ操作を実行し、その後、術者は、血管内検査装置１を用いてＯＣＴ画像の撮影を行う。制御部３１は、ＯＣＴ画像を血管内検査装置１から取得し（Ｓ３０）、取得したＯＣＴ画像を表示装置４に出力して表示する（Ｓ３１）。術者は、表示されたＯＣＴ画像にて血管の状態を観察し、必要に応じて血管内治療を行う。なお、血管内治療では、術者は、ガイディングカテーテル６０からイメージングカテーテル１０を一旦取り出し、ガイディングカテーテル６０にバルーンカテーテル等の治療用カテーテルを挿入して手技を行う。
The auto-injector performs a flash operation based on flash conditions set by the operator, and then the operator uses the
なお、制御部３１は、血管内検査装置１で撮影されたＯＣＴ画像を表示装置４に表示した場合に、例えばＯＣＴ画像に対する評価に関する情報を入力装置５を介して術者から取得する（Ｓ３２）。ＯＣＴ画像に対する評価情報は、例えばＯＣＴ画像が画像診断に十分用いることができるクリアフレームであるか否かを示す情報であり、例えばクリアフレームである（可）又はクリアフレームでない（否）ことを示す情報であってもよい。またＯＣＴ画像に対する評価情報は、術者が画像診断に用いる際の満足度（例えば５段階評価又は１００点満点の各値）であってもよい。また制御部３１は、血管内検査装置１によるＯＣＴ画像の撮り直しが行われたか否かを判断し、撮り直しが行われた場合に、このときのフラッシュ情報に対して低評価（例えば５段階評価の１）を付与し、撮り直しが行われなかった場合に、このときのフラッシュ情報に対して高評価（例えば５段階評価の５）を付与してもよい。更に制御部３１は、１回のプルバック操作で撮影された複数のＯＣＴ画像について、術者によって所定以上の評価が得られたＯＣＴ画像（クリアフレーム）、又は、病変部の画質又は輝度が所定の画質又は輝度以上であるＯＣＴ画像（クリアフレーム）を抽出し、クリアフレームの割合を算出し、算出した割合を評価情報に用いてもよい。なお、ＯＣＴ画像がクリアフレームであるか否かの判定を、機械学習によって構築された学習モデル（ニューラルネットワーク）を用いて行ってもよい。例えばＣＮＮで構成され、ＯＣＴ画像が入力された場合に、ＯＣＴ画像が画像診断に十分用いることができるクリアな画像であるか否かを示す情報を出力するように学習された学習モデルを用いてもよい。この場合、画像処理装置３は、ＯＣＴ画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、ＯＣＴ画像がクリアフレームであるか否かを判定することができる。このように各フラッシュ情報に付与される評価情報は、フラッシュ操作における成功確率を示していてもよく、このような評価情報から成功確率が算出されてもよい。制御部３１は、フラッシュ情報に対する評価情報を取得した場合、フラッシュ情報に対応付けて、取得した評価情報（成功確率）を診療ＤＢ３４ａに記憶しておく。これにより、診療ＤＢ３４ａに記憶したフラッシュ情報及びフラッシュ情報に対する評価情報を、第２学習モデルＭ２の学習における訓練データに用いることができる。
Note that when the OCT image captured by the
上述した処理により、本実施形態では、ＯＣＴ画像を撮影する際に実施すべきフラッシュ操作における条件（フラッシュ情報）が、ＩＶＵＳ画像と、患者の治療情報及び患者情報とに基づいて生成される。よって、フラッシュ操作によって適切に血液を除去できないフラッシュ不良の発生が抑制され、適切なフラッシュ操作を実施できる可能性が向上する。適切なフラッシュ操作が実施できた場合、フラッシュ操作のやり直し及びＯＣＴ画像の撮り直し等の発生が抑制され、手技時間の延長が回避できる。また、フラッシュ液に造影剤を用いたフラッシュ操作を実施する場合には、フラッシュ操作のやり直しによる造影剤の投与量の増加、正確には造影剤に含まれるヨードの投与量の増加を回避でき、患者の腎機能への影響を最小限に留めることができ、腎機能に対する負担を軽減できる。 By the above-described processing, in the present embodiment, conditions (flash information) for flash operation to be performed when capturing an OCT image are generated based on the IVUS image and the patient's treatment information and patient information. Therefore, it is possible to suppress the occurrence of flash failure in which blood cannot be properly removed by the flash operation, and improve the possibility of performing the proper flush operation. If an appropriate flash operation can be performed, redoing the flash operation, retaking an OCT image, and the like can be suppressed, and extension of the procedure time can be avoided. In addition, when a flash operation is performed using a contrast medium in the flash liquid, an increase in the dose of the contrast medium, or more accurately, an increase in the dose of iodine contained in the contrast medium due to redoing the flash operation, can be avoided. The effect on the patient's renal function can be minimized, and the burden on the renal function can be reduced.
本実施形態のように、デュアルタイプのイメージングカテーテル１０を用いる血管内検査装置１では、血管内治療の実施後、例えば病変部にステントを留置した後に、ステントの留置位置を確認するためにＯＣＴ画像の撮影が行われる。このときにも、ＯＣＴ画像の撮影を行う前にＩＶＵＳ画像を撮影し、得られたＩＶＵＳ画像からフラッシュ情報を生成し、生成されたフラッシュ情報を術者に提示することができる。このような場合にも、術者は、提示されたフラッシュ情報に基づいて、実行すべきフラッシュ操作の内容を特定することにより、最適なフラッシュ条件を選定できる。
As in the present embodiment, in the
図９は学習モデルの変形例を示す説明図である。上述した第１学習モデルＭ１及び第２学習モデルＭ２は、図９に示すように１つの学習モデルで構成されていてもよい。図９に示す学習モデルＭ３は、例えば１回のプルバック操作によって撮影された複数のＩＶＵＳ画像と、患者の治療情報及び患者情報とを入力とし、上述した第２学習モデルＭ２と同様のフラッシュ情報を出力する構成を有する。図９に示す学習モデルＭ３は例えばＣＮＮを有し、ＣＮＮによって、入力されたＩＶＵＳ画像から画像の特徴量を抽出する。ここで抽出される特徴量は、ＩＶＵＳ画像中の血管内腔に関する血管情報に相当する。よって、学習モデルＭ３は、ＣＮＮで抽出した特徴量と、入力された治療情報及び患者情報とに基づいてフラッシュ情報を生成することができる。このように１つの学習モデルＭ３で構成した場合であっても、ＩＶＵＳ画像と、患者の治療情報及び患者情報とからフラッシュ情報が生成され、生成されたフラッシュ情報を術者に提示することができる。 FIG. 9 is an explanatory diagram showing a modification of the learning model. The first learning model M1 and the second learning model M2 described above may be composed of one learning model as shown in FIG. The learning model M3 shown in FIG. 9 receives, for example, a plurality of IVUS images captured by one pullback operation, patient treatment information and patient information, and flash information similar to the second learning model M2 described above. It has a configuration to output. The learning model M3 shown in FIG. 9 has, for example, a CNN, and the CNN extracts image feature amounts from the input IVUS image. The feature amount extracted here corresponds to blood vessel information regarding the blood vessel lumen in the IVUS image. Therefore, the learning model M3 can generate flash information based on the feature amount extracted by the CNN and the input treatment information and patient information. Even when configured with one learning model M3 in this way, flash information can be generated from the IVUS image and the patient's treatment information and patient information, and the generated flash information can be presented to the operator. .
本実施形態において、患者の血管情報、治療情報及び患者情報からフラッシュ操作における各情報を生成する処理は第２学習モデルＭ２を用いる構成の代わりに、ルールベースで行うように構成されていてもよい。この場合、例えば、血管情報、治療情報及び患者情報の各情報の組合せに対して、最適なフラッシュ情報を対応付けたテーブルを用意しておき、画像処理装置３は、テーブルの内容から、患者の血管情報、治療情報及び患者情報に応じたフラッシュ情報を特定する。この場合にも、患者に応じた最適なフラッシュ情報を術者に提示できる。 In the present embodiment, the process of generating each piece of information in the flash operation from the patient's blood vessel information, treatment information, and patient information may be configured to be performed on a rule basis instead of using the second learning model M2. . In this case, for example, a table in which optimal flash information is associated with each combination of blood vessel information, treatment information, and patient information is prepared. Identify flash information corresponding to vessel information, treatment information and patient information. In this case as well, it is possible to present the operator with optimal flash information according to the patient.
本実施形態では、第１学習モデルＭ１及び第２学習モデルＭ２を用いてＩＶＵＳ画像と、患者の治療情報及び患者情報とに基づいてフラッシュ情報を生成する処理を画像処理装置３がローカルで行う構成であるが、この構成に限定されない。例えば、第１学習モデルＭ１及び第２学習モデルＭ２を用いたフラッシュ情報の生成処理を行うサーバを設けてもよい。この場合、画像処理装置３は、ＩＶＵＳ画像、治療情報及び患者情報をサーバへ送信し、サーバで生成されたフラッシュ情報を取得するように構成されていてもよい。なお、ここでのサーバが診療ＤＢ３４ａを記憶するサーバである場合、画像処理装置３は、ＩＶＵＳ画像のみをサーバへ送信し、サーバで生成されたフラッシュ情報を取得することができる。このような構成とした場合であっても、本実施形態と同様の処理が可能であり、同様の効果が得られる。
In this embodiment, the
本実施形態において、第２学習モデルＭ２は、例えばフラッシュ液（造影剤）の投与量の低減を重視する場合、又はフラッシュ液の流速の低減を重視する場合等のように治療のシチュエーション毎に用意されていてもよい。また第２学習モデルＭ２は、フラッシュ操作の処理対象の部位（例えば血管の種類）毎、又は、血管に対するガイディングカテーテル６０の先端の位置毎に用意されていてもよい。例えば、右冠動脈用のモデル、左前下行枝用のモデル、回旋枝用のモデル、ガイディングカテーテル６０の先端が冠動脈に十分係合している場合用のモデル、係合状態が浅い場合用のモデルが用意されていてもよい。この場合、画像処理装置３は、それぞれのモデルを用いて生成したフラッシュ情報を術者に提示してもよい。また、画像処理装置３は、処理対象の血管の種類又は術者による設定入力に応じて使用するモデルを選択し、選択したモデルを用いてフラッシュ情報を生成して術者に提示することができる。
In this embodiment, the second learning model M2 is prepared for each treatment situation, for example, when emphasis is placed on reducing the dose of the flushing fluid (contrast medium), or when emphasizing reducing the flow rate of the flushing fluid. may have been Also, the second learning model M2 may be prepared for each site (for example, type of blood vessel) to be processed by the flash operation, or for each position of the tip of the guiding
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time are illustrative in all respects and should not be considered restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above-described meaning, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.
１ 血管内検査装置
２ 透視画像撮影装置
３ 画像処理装置
４ 表示装置
５ 入力装置
１０ イメージングカテーテル
１１ 画像診断用プローブ
６０ ガイディングカテーテル
６１ シース
６２ 分岐ハブ
７０ シリンジ
３４ａ 診療ＤＢ
Ｍ１ 第１学習モデル
Ｍ２ 第２学習モデル
REFERENCE SIGNS
M1 First learning model M2 Second learning model
Claims (9)
取得した超音波断層画像に基づいて、前記血管の内腔に関する情報を算出し、
算出した前記内腔に関する情報に基づいて、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する
処理をコンピュータに実行させるプログラム。 Acquiring an ultrasonic tomographic image of a cross section of a blood vessel using an ultrasonic signal,
calculating information about the lumen of the blood vessel based on the acquired ultrasound tomographic image;
A program for causing a computer to execute a process of identifying operation information related to flash operation when photographing a cross section of the blood vessel using an optical signal, based on the calculated information about the lumen.
出力した内腔の領域に基づいて、前記内腔に関する情報を算出する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。 Inputting the acquired ultrasonic tomographic image to a learning model that has already been trained so as to output information indicating the region of the lumen of the blood vessel in the ultrasonic tomographic image when the ultrasonic tomographic image is input, outputting the area of the lumen of the blood vessel in the ultrasonic tomographic image,
The program according to claim 1, which causes the computer to execute a process of calculating information about the lumen based on the output region of the lumen.
超音波信号を用いて前記血管の横断面を複数箇所で撮影した複数の超音波断層画像を取得し、
取得した超音波断層画像の枚数に基づいて、撮影した前記血管の内腔の長軸方向の長さを算出する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。 the information about the lumen includes a cross-sectional diameter of the lumen and a longitudinal length of the lumen;
Acquiring a plurality of ultrasonic tomographic images obtained by imaging a cross section of the blood vessel at a plurality of locations using ultrasonic signals,
3. The program according to claim 1, which causes the computer to execute a process of calculating the longitudinal length of the lumen of the captured blood vessel based on the number of acquired ultrasonic tomographic images.
請求項１から３までのいずれかひとつに記載のプログラム。 4. The program according to any one of claims 1 to 3, wherein the operation information including the flow rate and flow velocity of the flush liquid that replaces the blood in the blood vessel in the flush operation is specified.
処理を前記コンピュータに実行させる請求項１から４までのいずれかひとつに記載のプログラム。 The calculated information about the lumen is input to a second learning model that has already learned to output the operation information about the flash operation when the information about the lumen is input, and the operation information about the flash operation is output. The program according to any one of claims 1 to 4, which causes the computer to execute a process of outputting.
患者に関する患者情報を取得し、
算出した前記内腔に関する情報及び取得した前記患者情報を前記第２の学習モデルに入力して、前記フラッシュ操作に関する操作情報を出力する
処理を前記コンピュータに実行させる請求項５に記載のプログラム。 The second learning model is learned to output operation information related to the flash operation when information related to the lumen and patient information related to the patient are input,
obtain patient information about a patient,
6. The program according to claim 5, causing the computer to execute a process of inputting the calculated information about the lumen and the obtained patient information into the second learning model and outputting operation information about the flash operation.
取得した超音波断層画像に基づいて、前記血管の内腔に関する情報を算出し、
算出した前記内腔に関する情報に基づいて、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する
処理をコンピュータが実行する画像処理方法。 Acquiring an ultrasonic tomographic image of a cross section of a blood vessel using an ultrasonic signal,
calculating information about the lumen of the blood vessel based on the acquired ultrasound tomographic image;
An image processing method in which a computer executes a process of identifying operation information related to a flash operation when photographing a cross section of the blood vessel using an optical signal, based on the calculated information about the lumen.
取得した超音波断層画像に基づいて、前記血管の内腔に関する情報を算出する算出部と、
算出した前記内腔に関する情報に基づいて、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する特定部と
を備える画像処理装置。 an acquisition unit that acquires an ultrasonic tomographic image obtained by imaging a cross section of a blood vessel using an ultrasonic signal;
a calculation unit that calculates information about the lumen of the blood vessel based on the acquired ultrasound tomographic image;
An image processing apparatus comprising: a specifying unit that specifies operation information related to a flash operation when photographing a cross section of the blood vessel using an optical signal, based on the calculated information about the lumen.
前記訓練データを用いて、血管の内腔に関する情報を入力した場合に前記フラッシュ操作に関する操作情報を出力する学習済みの学習モデルを生成する
処理をコンピュータが実行するモデル生成方法。 Acquiring training data that associates information about the lumen of a patient's blood vessel with operation information about a flash operation when imaging a cross section of the blood vessel using an optical signal;
A model generation method in which a computer executes a process of generating a trained learning model that outputs operation information about the flash operation when information about the lumen of a blood vessel is input, using the training data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021052013A JP2022149735A (en) | 2021-03-25 | 2021-03-25 | Program, image processing method, image processing device and model generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021052013A JP2022149735A (en) | 2021-03-25 | 2021-03-25 | Program, image processing method, image processing device and model generation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022149735A true JP2022149735A (en) | 2022-10-07 |
Family
ID=83464823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021052013A Pending JP2022149735A (en) | 2021-03-25 | 2021-03-25 | Program, image processing method, image processing device and model generation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022149735A (en) |
-
2021
- 2021-03-25 JP JP2021052013A patent/JP2022149735A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11883149B2 (en) | Apparatus and methods for mapping a sequence of images to a roadmap image | |
| US20220346885A1 (en) | Artificial intelligence coregistration and marker detection, including machine learning and using results thereof | |
| US8855744B2 (en) | Displaying a device within an endoluminal image stack | |
| US9144394B2 (en) | Apparatus and methods for determining a plurality of local calibration factors for an image | |
| US9101286B2 (en) | Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points | |
| US9095313B2 (en) | Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe | |
| US10362962B2 (en) | Accounting for skipped imaging locations during movement of an endoluminal imaging probe | |
| US20220061670A1 (en) | Systems and methods for oct-guided treatment of a patient | |
| US20240013385A1 (en) | Medical system, method for processing medical image, and medical image processing apparatus | |
| WO2021193019A1 (en) | Program, information processing method, information processing device, and model generation method | |
| CN116669634A (en) | Wire adhesion estimation | |
| WO2023133355A1 (en) | Imaging system for calculating fluid dynamics | |
| JP2022149735A (en) | Program, image processing method, image processing device and model generation method | |
| WO2021193024A1 (en) | Program, information processing method, information processing device and model generating method | |
| WO2023023248A1 (en) | Systems and methods of identifying vessel attributes using extravascular images | |
| WO2018177692A1 (en) | Interaction monitoring of non-invasive imaging based ffr | |
| WO2023100838A1 (en) | Computer program, information processing device, information processing method, and training model generation method | |
| US20240013386A1 (en) | Medical system, method for processing medical image, and medical image processing apparatus | |
| US20240008849A1 (en) | Medical system, method for processing medical image, and medical image processing apparatus | |
| US20220028079A1 (en) | Diagnosis support device, diagnosis support system, and diagnosis support method | |
| WO2021193018A1 (en) | Program, information processing method, information processing device, and model generation method | |
| WO2022209652A1 (en) | Computer program, information processing method, and information processing device | |
| US20240013434A1 (en) | Program, information processing method, and information processing device | |
| WO2023145281A1 (en) | Program, information processing method, and information processing device | |
| WO2024071322A1 (en) | Information processing method, learning model generation method, computer program, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231013 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240527 |