JP2021194268A6 - Blood vessel observation system and blood vessel observation method - Google Patents
Blood vessel observation system and blood vessel observation method Download PDFInfo
- Publication number
- JP2021194268A6 JP2021194268A6 JP2020103323A JP2020103323A JP2021194268A6 JP 2021194268 A6 JP2021194268 A6 JP 2021194268A6 JP 2020103323 A JP2020103323 A JP 2020103323A JP 2020103323 A JP2020103323 A JP 2020103323A JP 2021194268 A6 JP2021194268 A6 JP 2021194268A6
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- image
- endoscope
- display screen
- angioscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】手術等のスムーズな医療行為を支援し、患部の状態を観察可能な表示画面を容易に切替可能で医師等のユーザの利便性を向上する。
【解決手段】血管観察システムは、先端部が被検体の血管内に挿入されかつ基端部が固定され、ユーザ操作によりプルバックされる間に被検体の血管を撮像する内視鏡と、被検体の血管および内視鏡を撮像する血管造影装置と内視鏡とにそれぞれ接続され、血管造影装置により撮像された血管造影画像と内視鏡により撮像された血管撮像画像とを同時に取得して関連付けするコントローラと、を備える。コントローラは、血管造影画像を表示する第1表示画面、血管撮像画像を表示する第2表示画面、および、血管造影画像および血管撮像画像を表示する第3表示画面のうちいずれか1つをユーザ操作に応じて切り替えてモニタに表示する。
【選択図】図6
An object of the present invention is to improve convenience for users such as doctors by supporting smooth medical practices such as surgery and easily switching display screens for observing the state of an affected area.
A blood vessel observation system includes an endoscope whose distal end is inserted into a blood vessel of a subject, whose proximal end is fixed, and which images the blood vessel of the subject while being pulled back by a user operation; connected to an angiography device for imaging blood vessels and an endoscope and an endoscope, respectively, and simultaneously acquires and associates an angiography image captured by the angiography device and a blood vessel image captured by the endoscope and a controller for The controller causes a user to operate any one of a first display screen that displays an angiographic image, a second display screen that displays an angiographic image, and a third display screen that displays an angiographic image and an angiographic image. display on the monitor.
[Selection drawing] Fig. 6
Description
本開示は、血管内を撮像した画像を表示する血管観察システムおよび血管観察方法に関する。 The present disclosure relates to a blood vessel observation system and a blood vessel observation method that display an image captured inside a blood vessel.
特許文献1には、最適なステントの決定を迅速かつ容易にし、決定したステントの妥当性を治癒前に容易に確認可能であり、一方で診断日時の異なる血管画像を高精度で比較する画像解析装置が開示されている。この画像解析装置は、血管内画像撮像装置から出力される血管の短軸断面画像を保存し、保存された複数の短軸断面画像から血管の長軸断面画像を生成する。また、画像解析装置は、保存された短軸断面画像から、少なくとも血管の内腔の外周に沿った内腔閉曲線を生成し、この生成された内腔閉曲線から血管に挿入しようとするステントの径を算出する。 Patent Document 1 discloses an image analysis method that enables quick and easy determination of the optimal stent, allows easy confirmation of the adequacy of the determined stent before healing, and compares blood vessel images from different diagnosis dates with high accuracy. An apparatus is disclosed. This image analysis apparatus stores a short-axis cross-sectional image of a blood vessel output from an intravascular imaging apparatus, and generates a long-axis cross-sectional image of the blood vessel from a plurality of stored short-axis cross-sectional images. In addition, the image analysis device generates a lumen closed curve along at least the outer circumference of the lumen of the blood vessel from the saved short-axis cross-sectional image, and calculates the diameter of the stent to be inserted into the blood vessel from the generated lumen closed curve. Calculate
しかし、特許文献1の構成では、画像解析装置は、血管の短軸断面画像あるいは長軸断面画像のいずれか一方を表示するだけであった。このため、従来技術では、例えば手術等の際に、現在の血管内画像撮像装置が撮像している血管内の画像を示す表示画面、血管内画像撮像画像の位置が現在どこであるかを示す画像を示す表示画面、さらに、これら両方の画像を対比表示する表示画面のうちいずれかを切り替えて表示することはできなかった。医師等のユーザは、手術等の際に手術台の前で患者を相手に手術等を施すことが多く、多くの移動が制限されることが少なくない。したがって、例えば医師の補助者等の操作によって表示画面の簡易な切り替えが可能となることで、例えば医師が移動しないで単に視線の向きを変えるだけで血管内を適切に観察、把握できる点で手術等の利便性を向上させることが可能になると期待されている。 However, in the configuration of Patent Document 1, the image analysis apparatus only displays either the short-axis cross-sectional image or the long-axis cross-sectional image of the blood vessel. For this reason, in the prior art, for example, during an operation, a display screen showing an intravascular image currently being imaged by an intravascular imaging apparatus, an image showing the current position of the intravascular imaging image, etc. and a display screen for comparing and displaying both of these images. A user such as a doctor often performs an operation on a patient in front of an operating table during an operation, and is often restricted in many movements. Therefore, for example, by enabling simple switching of the display screen by the operation of a doctor's assistant, for example, the doctor can appropriately observe and grasp the inside of the blood vessel simply by changing the direction of the line of sight without moving. It is expected that it will be possible to improve convenience such as
本開示は、上述した従来の状況に鑑みて案出され、手術等のスムーズな医療行為を支援し、患部の状態を観察可能な表示画面を容易に切替可能で医師等のユーザの利便性を向上する血管観察システムおよび血管観察方法を提供することを目的とする。 The present disclosure has been devised in view of the conventional situation described above, supports smooth medical practices such as surgery, and can easily switch display screens on which the state of the affected area can be observed, thereby improving the convenience of users such as doctors. An object of the present invention is to provide an improved blood vessel observation system and blood vessel observation method.
本開示は、先端部が被検体の血管内に挿入されかつ基端部が固定され、ユーザ操作により前記先端部が前記基端部に向かってプルバックされる間に前記被検体の血管を撮像する内視鏡と、前記被検体の血管および前記内視鏡を撮像する血管造影装置と前記内視鏡とにそれぞれ接続され、前記血管造影装置により撮像された血管造影画像と前記内視鏡により撮像された血管撮像画像とを同時に取得して関連付けするコントローラと、を備え、前記コントローラは、前記血管造影画像を表示する第1表示画面、前記血管撮像画像を表示する第2表示画面、および、前記血管造影画像および前記血管撮像画像を表示する第3表示画面のうちいずれか1つをユーザ操作に応じて切り替えてモニタに表示する、血管観察システムを提供する。 The present disclosure images a blood vessel of a subject while a distal end is inserted into a blood vessel of a subject and a proximal end is fixed, and the distal end is pulled back toward the proximal end by user manipulation. Connected to an endoscope, an angiography device for imaging the blood vessel of the subject and the endoscope, and the endoscope, respectively, an angiography image captured by the angiography device and an angiography image captured by the endoscope a controller for simultaneously acquiring and associating the captured blood vessel images, wherein the controller comprises a first display screen displaying the angiographic image, a second display screen displaying the blood vessel image, and the Provided is a blood vessel observation system that switches and displays any one of an angiographic image and a third display screen that displays the blood vessel captured image on a monitor according to a user's operation.
また、本開示は、血管観察システムにより実行される血管観察方法であって、先端部が被検体の血管内に挿入されかつ基端部が固定され、ユーザ操作により前記先端部が前記基端部に向かってプルバックされる間に内視鏡により前記被検体の血管を撮像し、前記被検体の血管および前記内視鏡を撮像する血管造影装置と前記内視鏡とにそれぞれ接続し、前記血管造影装置により撮像された血管造影画像と前記内視鏡により撮像された血管撮像画像とを同時に取得して関連付けし、前記血管造影画像を表示する第1表示画面、前記血管撮像画像を表示する第2表示画面、および、前記血管造影画像および前記血管撮像画像を表示する第3表示画面のうちいずれか1つをユーザ操作に応じて切り替えてモニタに表示する、血管観察方法を提供する。 Further, the present disclosure is a blood vessel observation method performed by a blood vessel observation system, wherein a distal end is inserted into a blood vessel of a subject, a proximal end is fixed, and the distal end is moved to the proximal end by a user operation. an angiography apparatus for imaging the blood vessel of the subject and the endoscope, and an angiography apparatus for imaging the blood vessel of the subject and the endoscope while being pulled back toward the blood vessel; An angiographic image captured by an imaging device and a blood vessel captured image captured by the endoscope are simultaneously acquired and associated, and a first display screen for displaying the angiographic image and a second display screen for displaying the blood vessel captured image are provided. 2 display screens and a third display screen displaying the angiographic image and the blood vessel captured image are switched according to a user's operation and displayed on a monitor.
本開示によれば、手術等のスムーズな医療行為を支援でき、患部の状態を観察可能な表示画面を容易に切替可能で医師等のユーザの利便性を向上できる。 Advantageous Effects of Invention According to the present disclosure, it is possible to support smooth medical practices such as surgery, easily switch display screens on which the state of an affected part can be observed, and improve convenience for users such as doctors.
以下、適宜図面を参照しながら、本開示に係る血管観察システムおよび血管観察方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 Hereinafter, embodiments specifically disclosing a blood vessel observation system and a blood vessel observation method according to the present disclosure will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of well-known matters and redundant descriptions of substantially the same configurations may be omitted. This is to avoid unnecessary verbosity in the following description and to facilitate understanding by those skilled in the art. It should be noted that the accompanying drawings and the following description are provided for a thorough understanding of the present disclosure by those skilled in the art and are not intended to limit the claimed subject matter.
図1は、実施の形態1に係る血管観察システム100の構成例を示す図である。血管観察システム100は、手術あるいは検査(以下「手術等」と称する)の時に、人体等の被検体を対象として被検体内の血管を血管内視鏡10で撮像するとともに、血管内視鏡10により撮像された複数の画像を用いて血管径を測定してその結果を表示する。血管は、例えば冠動脈でもよいし、上肢あるいは下肢でもよく、部位は特に限定されなくてよい。血管観察システム100は、血管内視鏡10と、画像コンソールCSL1とを含む構成である。また、血管観察システム100は、医師対面モニタ80と、アンギオグラフィ装置90とをさらに含む構成としてもよい。
FIG. 1 is a diagram showing a configuration example of a blood
1.血管観察システムの構成
血管内視鏡10は、血管観察システム100を構成する内視鏡の一例であり、手術等の時に被検体内に予め挿入されたカテーテル(図示略)内に沿って挿入されたり引き戻されたりする医療器具である。血管内視鏡10は、いわゆる血管内視鏡カテーテルと称されることがある。血管内視鏡10は、被検体内に挿入されて被検体内を撮像可能な撮像部(図示略)が実装された剛性を有する先端部TP1と、医師の補助者等により把持される基端部BE1とを有する。基端部BE1から先端部TP1の剛性を有する部分までは、可撓性を有するアウターシースOS1により血管内視鏡10の外周が覆われている。なお、先端部TP1の剛性を有する部分は金属等で形成されるフランジ部として構成される。血管内視鏡10の外径は、血管内視鏡10の撮像部(図示略)の光軸に垂直な方向の外形状が円形となるアウターシースOS1の径に相当し、例えば最大外径として1.8mmΦであるが、このサイズに限定されなくてよい。
1. Configuration of Blood Vessel Observation System The
血管内視鏡10は、手術等の前に予め被検体内の観察部位(例えば血管)に挿通されたガイドワイヤGW1に沿って、医師等のユーザ(以下「ユーザ」と称する)の操作によって被検体内の血管内を進退自在に挿通される。なお、医師の補助者(例えば血管内視鏡10をプルバックする者)もユーザと称することがある。ここで、血管内視鏡10が被検体内の観察部位に向かって挿入される方向を進行方向と定義し、反対に血管内視鏡10が被検体外に向かって引き戻される方向を退避方向と定義する。したがって、進退自在とは、血管内視鏡10が被検体内に向かって挿入されることも引き戻されることも可能であることを意味する。血管内視鏡10は、手術等の観察部位(例えば患部)までに予め挿通されたガイドワイヤGW1に案内されて観察部位までスムーズに挿入可能である。血管内視鏡10は、通常のカテーテル(図示略)の先端部に撮像部(図示略)が交換自在に装着されたものでもよい。カテーテルは、例えば体液の排出あるいは薬液の注入に用いられる医療用の管である。カテーテルには、血管内視鏡10の他、バルーンもしくはステント等が交換自在に装着されてよい。
The
血管内視鏡10は、例えば、血管を撮像可能な画像センサが先端部TP1に実装された48万画素の高解像度カメラである。なお、48万画素はあくまで一例であり、画素数は48万画素に限定されなくてよい。血管内視鏡10が被検体内の血管に挿入されると、血管内視鏡10は、血管の内壁(血管壁)を撮像可能である。血管内視鏡10は、画像センサとして、例えばCCD(Charge Coupled Device)あるいはCMOS(Complementary Metal-Oxide Semiconductor)等の固体撮像素子(つまりイメージセンサ)を内蔵し、被写体(例えば血管壁)からの光学像を撮像面に結像し、結像した光学像を電気信号に変換して画像のデータ信号を出力する。血管内視鏡10は、ユーザの感覚的な操作によって退避方向に引き戻され、血管壁を撮像した画像のデータ信号を出力する。以後、血管内視鏡10が血管壁を撮像した画像を「血管内視鏡画像」(血管撮像画像の一例)と称する。なお、血管内視鏡画像のデータ信号は、静止画像および動画像のいずれの信号でもよく、画像コンソールCSL1のCCU30に入力される。また、血管内視鏡10は、患部を明るく照明するために、LED(Light Emission Diode)光源あるいはCCU30からの照射光を導く光ファイバを内蔵してもよい。
The
画像コンソールCSL1は、例えばCCU30(Camera Control Unit)と、PC50(Personal Computer)と、モニタ70とにより構成される。
The image console CSL1 is composed of a CCU 30 (Camera Control Unit), a PC 50 (Personal Computer), and a
CCU30は、血管内視鏡10と電気的に接続され、血管内視鏡10による撮像動作、血管内視鏡10からの画像のデータ信号に基づく血管内視鏡画像のデータ生成を制御する。CCU30は、血管内視鏡画像のデータにメタデータを付加してPC50に送る。メタデータは、血管内視鏡10から提供される血管内視鏡画像の撮像日時等のデータを含む。
The
CCU30は、画像入力部(図示略)、画像処理部(図示略)および画像出力部(図示略)を少なくとも含む。画像入力部(図示略)は、血管内視鏡画像のデータを入力する。画像入力部(図示略)は、専用の画像入力インターフェースの他、映像データを高速に転送可能なHDMI(登録商標)(High-Definition Multimedia Interface)あるいはUSB(Universal Serial Bus) Type-C等を用いたインターフェースでもよい。画像処理部(図示略)は、入力された血管内視鏡画像のデータにメタデータを付加する等の処理を行う。また、画像処理部(図示略)は、画像入力部(図示略)から送られた血管内視鏡画像のデータに対し、所定の画像処理を行うことで、モニタ70あるいは医師対面モニタ80において視認可能なRGB形式あるいはYUV形式の結合されたデータを生成する。以下の、血管内視鏡画像のデータは、CCU30により所定の画像処理が施された血管内視鏡画像のデータであるとして説明する。画像出力部(図示略)は、メタデータが付加された血管内視鏡画像のデータをPC50に送信する。
The
PC50は、血管観察システム100を構成するコントローラの一例であり、画像キャプチャーボード51と、入力インターフェース52と、メモリ53と、プロセッサ54と、操作部55と、ストレージ56と、出力インターフェース57とを含む構成である。PC50は、CCU30によりメタデータが付加された血管内視鏡画像のデータを受信する。PC50は、血管内視鏡画像のデータをストレージ56に記録して保存する。また、PC50は、血管造影装置としての役割を有するアンギオグラフィ装置90との間でデータ通信が可能に接続され、アンギオグラフィ装置90により撮像された画像(以下「アンギオ画像」と称する)を受信してストレージ56に保存する。PC50は、CCU30からの血管内視鏡画像のデータとアンギオグラフィ装置90からのアンギオ画像とを同時に(つまり同じ撮像タイミングで取得されたものとして)取得して関連付けする。この関連付けとして、例えばPC50は、CCU30からの血管内視鏡画像のデータとアンギオグラフィ装置90からのアンギオ画像との両方に共通の識別番号を付与等することで、これらの各画像が同時に撮像されたことを識別可能となるためのする処理を施す。なお、識別番号は撮像日時を示す情報でもよい。
The
また、PC50は、CCU30からの血管内視鏡画像のデータとアンギオグラフィ装置90からのアンギオ画像とに基づいて、プルバック中の血管内視鏡10の位置情報および速度情報を導出する。例えば血管内視鏡10の先端部TP1にはマーカMK1(後述参照)が設けられており、アンギオグラフィ装置90はマーカMK1が映るアンギオ画像を撮像可能である。したがって、PC50は、所定のフレームレート(fps:frame per second)で撮像されるそれぞれのアンギオ画像中のマーカMK1の位置に基づいて、血管内視鏡10の位置情報および速度情報を算出(導出)できる。血管内視鏡10の位置情報は、血管内視鏡10がその時点で撮像している位置を示し、言い換えると、撮像位置となる。PC50は、血管内視鏡10の位置情報および速度情報と血管内視鏡画像のデータとを関連付け(上述参照)し、複数枚の関連付けされた血管内視鏡画像のデータを用いて、血管径を算出する処理を行う。PC50は、血管径の算出結果を含む、アンギオ画像のみが映る表示画面WD1(図6参照)、血管内視鏡画像のみが映る表示画面WD2(図6参照)、あるいは、アンギオ画像および血管内視鏡画像の両方が映る表示画面WD3(図6参照)のデータを生成し、ユーザの操作部55を用いた操作に応じていずれかを選択して切り替えてモニタ70および医師対面モニタ80に出力(表示)し、血管の観察状況を示す表示画面によって血管内を可視化する処理を行う。
The
また、PC50は、複数枚の関連付けされた血管内視鏡画像のデータを用いて、複数枚の血管内視鏡画像から構成される等速動画を生成する。ここでいう等速動画は、例えば、複数枚の血管内視鏡画像の中から、血管内視鏡10の位置情報および速度情報を用いて、略一定時間間隔ごとに撮像された撮像位置の異なる複数枚の血管画像が時系列にプロセッサ54によって適宜選択されることで構成された動画である。プロセッサ54は、この等速動画を用いることで、血管径を算出する(図3~図5参照)。
In addition, the
画像キャプチャーボード51は、アンギオグラフィ装置90から送られてくるアンギオ画像のデータ、CCU30から送られてくる血管内視鏡画像のデータをそれぞれ受信して一時的に保存するとともに、入力インターフェース52を介してプロセッサ54に送る。
The
入力インターフェース52は、画像キャプチャーボード51からの画像のデータ(上述参照)を高速に転送可能なHDMI(登録商標)あるいはUSB Type-C等を用いたインターフェースでもよい。
The
メモリ53は、プロセッサ54のワーキングメモリとして使用されるRAM(Random Access Memory)と、プロセッサ54により実行される各種の処理用のプログラムを記憶するROM(Read Only Memory)と、を含む。
The
プロセッサ54は、メモリ53に記憶された各種の処理用のプログラムを実行することで、例えば血管内視鏡画像のデータの関連付け処理、等速動画の生成処理、血管径算出処理、表示画面のデータ生成処理等のそれぞれを実行する。プロセッサ54は、例えば画像処理に適したGPUでもよいし、MPU、CPU、ASIC(Application Specific Integrated Circuit)等で設計された専用の電子回路、またはFPGA等で再構成可能に設計された電子回路で構成されてもよい。プロセッサ54の処理例の詳細については後述する。
By executing various processing programs stored in the
操作部55は、血管観察システム100を起動させる起動スイッチを含み、ユーザによる操作を受け付ける。操作部55は、上述した起動スイッチの他に、例えば、マウス、キーボード、タッチパッド、タッチパネル、マイクロホンまたはその他の入力デバイスを含んでよい。
The
ストレージ56は、大容量の記憶装置であり、血管内視鏡10で撮像された血管内視鏡画像、アンギオグラフィ装置90により撮像されたアンギオ画像のデータ等を蓄積する。ストレージ56は、例えば二次記憶装置(例えばHDD(Hard Disk Drive)もしくはSSD(Solid StateDrive))、あるいは三次記憶装置(例えば光ディスク、SDカード)を含んでよい。
The
モニタ70は、PC50から出力されるいずれか1つの表示画面(図6参照)のデータを表示する。モニタ70は、例えばLCD(Liquid Crystal Display)、有機EL(Electroluminescence)、CRT(Cathode Ray Tube)等の表示デバイスを有する。なお、CCU30、PC50およびモニタ70は、画像コンソールCSL1として単一の筐体に搭載されて手術室内に配置される。
The
医師対面モニタ80は、医師等と対面するように、被検体が寝ている手術台を挟んで医師等と反対側に配置される大型の表示用モニタである。医師対面モニタ80は、PC50により生成された表示画面(図6参照)のデータを表示する。
The doctor-facing
アンギオグラフィ装置90は、血管観察システム100を構成する血管造影装置の一例であり、手術等の時に手術台で寝ている被検体(患者)の血管の形状あるいは異常の有無等の分布、腫瘍への血管あるいは血流の状態を検査治療する機器である。具体的には、カテーテル(図示略)を介して被検体内の血管に造影剤が注入され、アンギオグラフィ装置90によって、血流あるいは腫瘍の分布、血管の狭窄あるいは閉塞の検査治療が行われる。アンギオグラフィ装置90は、例えば被検体の血管の形状を撮像することでアンギオ画像を生成し、アンギオ画像のデータをPC50に伝送する。詳細は後述するが、血管内視鏡10にはアンギオグラフィ装置90による撮像時の目印としてのマーカMK1が先端部TP1に設けられている。このため、アンギオ画像には、血管内視鏡10の位置をユーザが判明可能となるように血管内視鏡10のマーカMK1が映る。
The
2.血管観察システムの動作
次に、実施の形態1に係る血管観察システム100の動作手順を、図2を参照して説明する。図2は、実施の形態1に係る血管観察システム100の動作手順例を示すフローチャートである。図2では、血管観察システム100を構成する血管内視鏡10、アンギオグラフィ装置90、画像コンソールCSL1、医師対面モニタ80のそれぞれによる動作が時系列に示されている。なお、画像コンソールCSL1の処理主体はプロセッサ54である。
2. Operation of Blood Vessel Observation System Next, an operation procedure of the blood
例えば被検体内の血管内に血栓があったり血管壁にプラークができていたりする等、被検体内の血管の状態を観察するため、血管内視鏡10は血管内に挿入される。ユーザが血管内視鏡10を血管内に挿入する際、ガイドワイヤGW1およびカテーテル(図示略)の順に血管内に挿通される。ガイドワイヤGW1およびカテーテル(図示略)が観察したい血管内に届けられると、ユーザは、ガイドワイヤGW1に案内されかつカテーテル内に沿うように、血管内視鏡10を血管内に進行させて挿入していく。血管内視鏡10の先端部TP1が観察部位(例えば血管等の患部)に達すると、ユーザは、カテーテル内で血管内視鏡10を手動で引き戻す動作を開始する。なお、血管内視鏡10が血管内を鮮明に撮像できるように、カテーテル(図示略)内には血管内視鏡10の基端部BE1から造影剤もしくは生理食塩水等の透明液が血管内に注入される。
For example, the
図2において、ユーザが画像コンソールCSL1の筐体に収容されたPC50の操作部55に含まれる起動スイッチを押下すると、血管観察システム100は起動する(S1)。血管観察システム100が起動すると、血管内視鏡10、アンギオグラフィ装置90、画像コンソールCSL1、医師対面モニタ80は、それぞれ動作を開始する。
In FIG. 2, when the user presses the activation switch included in the
ユーザは、被検体内の観察部位に挿入された血管内視鏡10を引き戻すための計測の開始位置および終了位置を決定する。この時、ユーザは、血管内視鏡10で撮像された血管内視鏡画像をその血管内視鏡画像が表示されたモニタ70で実際に目視によって確認し、計測の開始位置を決定する。ユーザにより決定される血管内視鏡10の引き戻しの開始位置から終了位置までの長さが、ユーザが求める血管の測定長に相当する。
The user determines the start position and end position of measurement for pulling back the
血管内視鏡10は、ユーザ操作により、引き戻されながら(S2)、血管内を撮像して血管内視鏡画像のデータ信号を生成する(S3)。血管内視鏡10は、撮像された血管内視鏡画像(フレーム)のデータ信号を生成すると、そのフレームを都度CCU30に伝送する(S4)。
The
アンギオグラフィ装置90は、血管内視鏡10が挿入されている被検体の血管の形状を撮像することでアンギオ画像のデータ信号を生成し(S5)、アンギオ画像のデータ信号を画像コンソールCSL1(例えばPC50)に伝送する(S6)。
The
画像コンソールCSL1において、PC50は、アンギオグラフィ装置90から伝送されてくるアンギオ画像のデータ(ステップS6参照)を入力して受け取るとともに(S7)、血管内視鏡10から伝送されてくる血管内視鏡画像のデータ(ステップS4参照)を入力して受け取るとともに(S8)。ステップS7およびステップS8の処理は同時に実行される。つまり、PC50は、CCU30からの血管内視鏡画像のデータとアンギオグラフィ装置90からのアンギオ画像とを同時に(つまり同じ撮像タイミングで取得されたものとして)取得して関連付けする。PC50は、ステップS7で取得された、それぞれのアンギオ画像のデータ信号(フレーム)に映る血管内視鏡10のマーカMK1(図6参照)の位置に基づいて、プルバック中の血管内視鏡10の血管内視鏡画像のデータ信号に対応する、血管内視鏡10の位置情報および速度情報を導出する(S9)。
In the image console CSL1, the
PC50は、ステップS9で得られた、プルバック中の血管内視鏡10の血管内視鏡画像のデータ信号に対応する、血管内視鏡10の位置情報および速度情報を用いて、血管内視鏡10の位置情報および速度情報と血管内視鏡画像のデータとを関連付けする(上述参照)。PC50は、複数枚の関連付けされた血管内視鏡画像のデータを用いて、複数枚の血管内視鏡画像から構成される等速動画を生成し、等速動画を構成する複数枚の血管内視鏡画像のデータを用いて、観察部位(例えば血管)の血管径を算出する(S10)。このステップS10の処理の詳細については後述する。また、PC50は、血管径の算出結果が含まれる、アンギオ画像が主に映る表示画面WD1(図6参照)、血管内視鏡画像が主に映る表示画面WD2(図6参照)、アンギオ画像および血管内視鏡画像の両方が主に映る表示画面WD3(図6参照)のそれぞれを生成してストレージ56に蓄積する(S10)。
The
また、PC50は、血管径の算出結果が含まれる、アンギオ画像が主に映る表示画面WD1(図6参照)、血管内視鏡画像が主に映る表示画面WD2(図6参照)、アンギオ画像および血管内視鏡画像の両方が主に映る表示画面WD3(図6参照)のうちいずれかを、例えばユーザの操作部55を用いた操作に応じて選択(切替)してストレージ56から読み出してモニタ70に表示する(S11)。さらに、PC50は、ステップS11のモニタ70の表示と同期するように、血管径の算出結果が含まれる、アンギオ画像が主に映る表示画面WD1(図6参照)、血管内視鏡画像が主に映る表示画面WD2(図6参照)、アンギオ画像および血管内視鏡画像の両方が主に映る表示画面WD3(図6参照)のうちいずれかを、例えばユーザの操作部55を用いた操作に応じて選択(切替)してストレージ56から読み出して医師対面モニタ80に出力して表示する(S12)。表示画面WD1~WD3のそれぞれの表示切替の種類は特に問わないが、例えば表示画面WD1が表示されている時にユーザの操作部55を用いた操作(例えばスイッチもしくはボタンを押す操作)が1回あると表示画面WD2に切り替わり、同じ操作が2回あると表示画面WD3に切り替わってもよい。表示画面WD2(表示画面WD3)が表示されている時も同様に、ユーザの操作部55を用いた操作が1回あると表示画面WD3(表示画面WD1)に切り替わり、同じ操作が2回あると表示画面WD1(表示画面WD2)に切り替わってもよい。
The
ここで、図2のステップS10の血管径算出の動作概要について、図3、図4および図5を参照して説明する。図3は、図2のステップS10の血管径算出の動作手順例を示すフローチャートである。図4は、血管画像上における特徴点の配置、特徴点と対応点の位置関係、および3次元点を用いて推定された血管径を示す図である。図5は、3次元位置の算出例を示す図である。図3の処理は、例えば、図2のステップS10において作成される等速動画を構成する複数枚の血管内視鏡画像のデータを用いて、血管径を算出する処理である。 Here, an outline of the operation of calculating the blood vessel diameter in step S10 of FIG. 2 will be described with reference to FIGS. 3, 4 and 5. FIG. FIG. 3 is a flow chart showing an example of the operation procedure for calculating the blood vessel diameter in step S10 of FIG. FIG. 4 is a diagram showing the arrangement of feature points on a blood vessel image, the positional relationship between the feature points and corresponding points, and the blood vessel diameter estimated using the three-dimensional points. FIG. 5 is a diagram showing an example of calculation of a three-dimensional position. The process of FIG. 3 is, for example, a process of calculating a blood vessel diameter using data of a plurality of angioscopy images forming the constant-speed moving image created in step S10 of FIG.
ユーザは、PC50に対し、円の中心と半径を入力するだけでよい。プロセッサ54は、操作部55を介して、ユーザ入力による円の中心と半径を受け付ける。プロセッサ54は、CCU30から入力した血管内視鏡画像のデータに対し、血管内視鏡画像の全体に配置された複数(例えば1156)個の測定点の中から、円の中心と半径に基づく円周上に複数(例えば128)個の特徴点e1を検出する(S51)。なお、1156個の測定点および128個の特徴点の数は一例である。
The user only needs to input the center and radius of the circle to the
図4において、血管内視鏡10で撮像された血管内視鏡画像GZ1に対し、ユーザにより指定された円の円周上に128個の特徴点e1が重畳して描画される。プロセッサ54は、特徴点e1を検出した血管内視鏡画像GZ1が1フレーム目の画像であるか否かを判別する(S52)。1フレーム目の画像である場合(S52、YES)、プロセッサ54は、図3に示す処理を終了し、血管径を算出することなく元の処理に復帰する。これは、プロセッサ54が血管径を算出するためには、少なくとも血管内視鏡画像GZ1を2フレーム必要としているためである。
In FIG. 4, 128 feature points e1 are superimposed and drawn on the circumference of a circle specified by the user on an angioscope image GZ1 captured by the
一方、ステップS52で2フレーム目以降の画像である場合(S52、NO)、プロセッサ54は、第1の特徴点マッチングを行う(S53)。第1の特徴点マッチングでは、プロセッサ54は、前フレーム(言い換えると、第(n-1)番目フレーム)の特徴点近傍の矩形領域をテンプレートとして取得する(n:2以上の整数)。一例として、テンプレートサイズは、幅16ピクセル×高さ16ピクセルのサイズである。
On the other hand, if the image is the second frame or later in step S52 (S52, NO), the
プロセッサ54は、現フレーム(言い換えると、第n番目フレーム)の特徴点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅128ピクセル×高さ128ピクセルのサイズである。プロセッサ54は、ZNCC(Zero-means Normalized Cross Correction)値が最小となる位置を特徴点e1に対応する対応点f2とする。なお、第n番目フレームは、第(n-1)番目フレームに対し、血管内視鏡10が手前に引かれた状態の画像であるので、複数の対応点f2が形成する円は、複数の特徴点e1が形成する円と比べ、小さくなる。
The
プロセッサ54は、第(n-1)番目フレームに含まれる特徴点e1と第n番目フレームに含まれる対応点f2を用いて、消失点dpを推定する(S54)。消失点dpの推定では、プロセッサ54は、全ての特徴点e1および対応点f2に対し、特徴点e1から対応点f2へのフローを求める。プロセッサ54は、2つのフローの交点を求める。プロセッサ54は、全ての特徴点e1から交点までのベクトルを求める。プロセッサ54は、このフローと各ベクトルとの類似度(ここでは角度差)を求め、この類似度が閾値を超えるか否か、例えばフローとベクトルの角度差が3°未満であるか否かを判別する。プロセッサ54は、角度差が3°未満である場合、この特徴点e1を有効な特徴点(以下、「インライア」と称する場合がある)であると判定する。一方、プロセッサ54は、角度差が3°以上である場合、この特徴点e1を無効な特徴点(以下、「アウトライア」と称する場合がある)であると判定する。プロセッサ54は、全てのフローの交点に対し、インライアの数を算出する。プロセッサ54は、インライアの数が最も多いフローの交点を消失点dpとする。
The
プロセッサ54は、クロスチェックのために第2の特徴点マッチングを行う(S55)。第2の特徴点マッチングでは、プロセッサ54は、現フレーム(つまり、第n番目フレーム)の対応点近傍の矩形領域をテンプレートとして取得する。一例として、テンプレートサイズは、幅16ピクセル×高さ16ピクセルのサイズである。プロセッサ54は、前フレーム(つまり、第(n-1)番目フレーム)の対応点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅128ピクセル×高さ128ピクセルのサイズである。プロセッサ54は、ZNCC値が最小となる位置を対応点f2に対応する特徴点(対応特徴点)とする。プロセッサ54は、前フレーム(つまり、第(n-1)番目フレーム)における、特徴点e1と対応特徴点とが略一致するか否かを判別する。特徴点e1と対応特徴点との略一致は、例えば位置座標を基に判別可能である。プロセッサ54は、特徴点e1と対応特徴点とが略一致する場合、対応点f2が信頼性ありと判断し、特徴点e1と対応特徴点とが略一致しない場合、対応点f2が信頼性なしと判断する。プロセッサ54は、信頼性ありと判断された特徴点e1をインライアとして採用し、信頼性なしと判断された特徴点e1をアウトライアとして採用しない。
プロセッサ54は、インライアである特徴点e1の3次元位置を算出する(S56)。特徴点e1の3次元位置の算出には、例えば三角測量が用いられる。三角測量は、2点間の距離およびこれら2点から測定したい特徴点への角度をそれぞれ測定することで、特徴点の位置を求める、三角法および幾何学を用いた周知の測量方法である。
The
図5において、特徴点e1の3次元座標Eを(X,Y,Z)とする。Xは、血管の径(短軸)方向を表すx軸の座標値である。Yは、x軸に対し垂直な血管の径方向を表すy軸の座標値である。Zは、血管の長手(長軸)方向を表すz軸の座標値である。第(n-1)番目フレームのカメラ位置g1における、特徴点e1の画像座標p1を(u1,u2)とする。第n番目フレームのカメラ位置g2における、対応点f2の画像座標p2を(u2,v2)とする。第(n-1)番目フレームのカメラ位置g1と第n番目フレームのカメラ位置g2の間の距離をDとする。ここで、距離Dは、ユーザが血管内視鏡10をプルバックする際、第(n-1)番目フレームのカメラ位置と第n番目フレームのカメラ位置の撮像時間差とプルバック速度との積で算出される。
In FIG. 5, let the three-dimensional coordinates E of the feature point e1 be (X, Y, Z). X is the coordinate value of the x-axis representing the diameter (minor axis) direction of the blood vessel. Y is the coordinate value of the y-axis representing the radial direction of the blood vessel perpendicular to the x-axis. Z is the coordinate value of the z-axis representing the longitudinal (major axis) direction of the blood vessel. Assume that the image coordinates p1 of the feature point e1 at the camera position g1 of the (n−1)th frame are (u1, u2). Assume that the image coordinates p2 of the corresponding point f2 at the camera position g2 of the n-th frame are (u2, v2). Let D be the distance between the camera position g1 of the (n-1)th frame and the camera position g2 of the nth frame. Here, when the user pulls back the
カメラの内部パラメータの行列Kを数式(1)で表す。 A matrix K of intrinsic parameters of the camera is represented by Equation (1).
ここで、fx:焦点距離を水平画素ピッチで割った値、fy:焦点距離を垂直画素ピッチで割った値、Cx:画像中心のx座標、Cy:画像中心のy座標である。 Here, fx is the value obtained by dividing the focal length by the horizontal pixel pitch, fy is the value obtained by dividing the focal length by the vertical pixel pitch, Cx is the x-coordinate of the center of the image, and Cy is the y-coordinate of the center of the image.
特徴点e1の画像座標p1と3次元座標Eは、数式(2)で表される。 The image coordinate p1 and the three-dimensional coordinate E of the feature point e1 are represented by Equation (2).
対応点f2の画像座標p2と3次元座標Eは、数式(3)で表される。 The image coordinate p2 and the three-dimensional coordinate E of the corresponding point f2 are represented by Equation (3).
プロセッサ54は、例えば三角測量関数を使用し、画像座標p1と画像座標p2に対応する、特徴点e1の3次元座標Eを求める。プロセッサ54は、特徴点e1の3次元座標Eを3次元の立体画像としてモニタ70あるいは医師対面モニタ80に表示(3D表示)可能である。
プロセッサ54は、複数の特徴点e1の3次元座標Eを基に、楕円フィッティングが行われる平面を検出する(S57)。平面の検出では、プロセッサ54は、複数の特徴点e1(3次元点という)の中から3点を選択し、これら3点を含む平面を表す式(平面式という)を求める。プロセッサ54は、求めた平面との距離が所定距離以内で平面に近い3次元点の数を計数する。プロセッサ54は、計数した3次元点の数が最も多くなる平面式を選択する。プロセッサ54は、選択した平面式で表される平面に近い3次元点を抽出する。プロセッサ54は、抽出した3次元点群を基に、主成分分析(PCA:Principal Component Analysis)を行い、平面を検出する。主成分分析は、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。
The
プロセッサ54は、平面からの距離が所定距離を超えて離れている特徴点e1をアウトライアとし、所定距離以内である特徴点e1をインライアとして血管径の推定に採用する。
The
プロセッサ54は、複数の特徴点e1を基に、楕円フィッティングを行って血管径を推定する(S58)。楕円フィッティングでは、複数の特徴点e1をx-y平面に投影し、x-y平面に投影された2次元点に対し、RANSAC(Random Sample Consensus)を利用したフィッティングが行われる。RANSACは、外れ値を含まないように、楕円パラメータを推定する手法である。
The
プロセッサ54は、RANSACを利用することで、複数の2次元点に外れ値が含まれても、その影響を抑えて楕円を推定できる。したがって、楕円の推定精度が向上する。具体的に、プロセッサ54は、複数の2次元点を入力し、入力した複数の2次元点の中から5点をランダムに抽出する。プロセッサ54は、抽出した5点を用いて楕円パラメータを求める。楕円パラメータは、長径および短径を含む。プロセッサ54は、各2次元点から楕円弧までの最短距離を算出し、その距離が閾値より小さくなる2次元点の数(インライア数)を計数し、メモリ53に記録する。プロセッサ54は、入力した複数の2次元点の中から別の5点を抽出し、上記と同様の手順で、インライア数を計数する。プロセッサ54は、計数したインライア数がメモリ53に記録されたインライア数を超える場合、メモリ53に記録されたインライア数を更新する。プロセッサ54は、同様の手順を繰り返し、メモリ53に記録されるインライア数が一定回数連続して更新されなかった場合、つまり最大となるインライア数が得られた場合、2次元点の抽出を終了する。プロセッサ54は、全ての2次元点に対し、インライア数が最大となる楕円パラメータを用いて、各2次元点から楕円弧までの最短距離が閾値より小さくなる2次元点をインライアとして決定する。プロセッサ54は、決定した全てのインライアを用いて、楕円パラメータを求める。全てのインライアを用いて楕円パラメータを求めた結果、プロセッサ54は、楕円パラメータの1つである長径を血管径φ1と推定する。プロセッサ54は、血管径を長径とすることで、血管に挿通可能なステントのサイズを適正に決定できる。
By using RANSAC, the
なお、ここでは、プロセッサ54は、特徴点に対応する対応点をテンプレートマッチングによって取得したが、例えば第(n-1)番目フレームの特徴点および第n番目フレームの対応点を用いて、ディープラーニングによる機械学習を行い、機械学習の結果生成された学習済みモデルを使用し、第(n-1)番目フレームの特徴点に対応する第n番目フレームの対応点を取得してもよい。
Here, the
また、プロセッサ54は、楕円パラメータの長径を血管径として推定したが、短径を血管径として推定してもよい。また、プロセッサ54は、長径と短径を用い、例えば長径と短径を加算しその半分の値を用いて、血管径を推定してもよい。
Also, the
また、ユーザの操作により血管内視鏡10がプルバックされる際、PC50(例えばプロセッサ54)は、血管内視鏡10で撮像される、血管内視鏡10の位置情報に対応する血管内視鏡画像を順次取得しており、ストレージ56に血管短軸断面画像として記録してよい。ここで、短軸断面とは、血管を略円筒形状とみなした場合に、血管径の方向(つまり直径方向である短軸方向)の断面を示す。また、短軸方向に垂直な方向を長軸方向と定義する。また、PC50(例えばプロセッサ54)は、アンギオグラフィ装置90から血管内視鏡画像のデータ信号と同期して入力されてくるアンギオ画像のデータ信号に基づいて、血管内視鏡10の位置情報を特定でき、さらに、この血管内視鏡10の位置情報を用いて血管の計測長TAR1(図6参照)を算出してよい。PC50は、ストレージ56に記録された複数枚の血管短軸断面画像を基に、血管の3次元画像を生成し、血管の3次元画像を血管の長軸方向に沿って切断することで血管長軸断面画像LGT1(図6参照)を生成する。長軸断面とは、同様に血管を略円筒形状とみなした場合に、血管の長さ方向(長手方向)の断面を示す。PC50は、血管径の算出結果と血管短軸断面画像と血管長軸断面画像とを含む表示画面WD1(図6参照),WD2(図6参照),WD3(図6参照)をモニタ70に表示してよい。
Also, when the
図6は、アンギオ画像ANG1の表示画面WD1、血管内視鏡画像VED1の表示画面WD2、アンギオ画像ANG1および血管内視鏡画像VED1を対比表示する表示画面WD3の表示切替の一例を示す図である。先ず、それぞれの表示画面WD1~WD3について説明する。 FIG. 6 is a diagram showing an example of display switching of the display screen WD1 of the angiographic image ANG1, the display screen WD2 of the angioscopic image VED1, and the display screen WD3 for comparatively displaying the angiographic image ANG1 and the angioscopic image VED1. . First, each of the display screens WD1 to WD3 will be explained.
表示画面WD1は、アンギオ画像ANG1の表示領域を有する。アンギオ画像ANG1は、PC50に入力されたアンギオグラフィ装置90からのアンギオ画像のデータ信号に基づいて、プロセッサ54によって生成される。アンギオ画像ANG1には、アウターシースOS1により外周が覆われた血管内視鏡10とその先端部TP1に設けられたマーカMK1とが映っている。また、アンギオ画像ANG1には、医師等のユーザにより決定された血管内視鏡10を引き戻すための計測の開始位置から終了位置までの範囲を示す計測長TAR1に相当する計測範囲VSL1も映っている。なお、計測範囲VSL1は、ユーザ操作により、アンギオ画像ANG1上で計測範囲VSL1が識別可能となるような色が着色されて表示されてよい。
The display screen WD1 has a display area for an angio image ANG1. The angio image ANG1 is generated by the
また、表示画面WD1は、計測範囲VSL1に相当する計測長TAR1以上の長さを有する血管長軸断面画像LGT1の表示領域と、ユーザ操作を受け付けるボタンエリアBT1の表示領域と、計測結果を表示するための計測結果表示エリアMRT1の表示領域とを有する。計測長TAR1の計測の開始位置での血管径は5.3mmと算出されたことが示され、計測長TAR1の計測の終了位置での血管径は6.1mmと算出されたことが示されている。血管長軸断面画像LGT1には、アンギオ画像ANG1が示す血管内視鏡10の位置を示す指定バーBAR1がユーザ操作により重畳して表示される。ユーザ操作により計測長TAR1内で指定バーBAR1が適宜左右方向にスライドされることで、プロセッサ54は、指定バーBAR1が示す位置にマーカMK1が映るアンギオ画像ANG1をストレージ56から読み出して表示画面WD1を生成する。つまり、表示画面WD1を見たユーザは、指定バーBAR1の位置の違い(図7および図8参照)によって、アンギオ画像ANG1中の血管内の様子、血管内視鏡10の位置(より具体的にはマーカMK1の位置)が異なっていることを視覚的かつ直感的に把握可能となる。
In addition, the display screen WD1 displays a display area of a blood vessel long-axis cross-sectional image LGT1 having a length equal to or longer than the measurement length TAR1 corresponding to the measurement range VSL1, a display area of a button area BT1 for accepting user operations, and the measurement result. and a display area of the measurement result display area MRT1. It shows that the blood vessel diameter was calculated to be 5.3 mm at the measurement start position of the measurement length TAR1, and that the blood vessel diameter was calculated to be 6.1 mm at the measurement end position of the measurement length TAR1. there is A designation bar BAR1 indicating the position of the
次に、表示画面WD2は、血管内視鏡画像VED1の表示領域を有する。血管内視鏡画像VED1は、PC50に入力された血管内視鏡10からの血管内視鏡画像のデータ信号に基づいて、プロセッサ54によって生成される。
Next, the display screen WD2 has a display area for the angioscope image VED1. The angioscope image VED1 is generated by the
また、表示画面WD2は、計測範囲VSL1に相当する計測長TAR1以上の長さを有する血管長軸断面画像LGT1の表示領域と、ユーザ操作を受け付けるボタンエリアBT2の表示領域と、計測結果を表示するための計測結果表示エリアMRT2の表示領域とを有する。計測長TAR1の計測の開始位置での血管径は5.3mmと算出されたことが示され、計測長TAR1の計測の終了位置での血管径は6.1mmと算出されたことが示されている。血管長軸断面画像LGT1には、血管内視鏡10の位置を示す指定バーBAR1がユーザ操作により重畳して表示される。ユーザ操作により計測長TAR1内で指定バーBAR1が適宜左右方向にスライドされることで、プロセッサ54は、指定バーBAR1が示す位置に対応する血管内視鏡画像VED1をストレージ56から読み出して表示画面WD1を生成する。つまり、表示画面WD2を見たユーザは、指定バーBAR1の位置の違い(図7および図8参照)によって、血管内視鏡画像VED1中の血管内の様子が異なっていることを視覚的かつ直感的に把握可能となる。
Further, the display screen WD2 displays a display area of a blood vessel long-axis cross-sectional image LGT1 having a length equal to or longer than the measurement length TAR1 corresponding to the measurement range VSL1, a display area of a button area BT2 for receiving user operations, and the measurement results. and a display area of the measurement result display area MRT2. It shows that the blood vessel diameter was calculated to be 5.3 mm at the measurement start position of the measurement length TAR1, and that the blood vessel diameter was calculated to be 6.1 mm at the measurement end position of the measurement length TAR1. there is A designation bar BAR1 indicating the position of the
次に、表示画面WD3は、アンギオ画像ANG1および血管内視鏡画像VED1のそれぞれの表示領域を有する。アンギオ画像ANG1および血管内視鏡画像VED1の表示領域のそれぞれは上述した説明と重複するので説明を省略する。 Next, the display screen WD3 has respective display areas for the angiographic image ANG1 and the angioscopic image VED1. Since the display areas of the angiographic image ANG1 and the angioscopic image VED1 overlap with the above description, the description thereof is omitted.
また、表示画面WD3は、計測範囲VSL1に相当する計測長TAR1以上の長さを有する血管長軸断面画像LGT1の表示領域と、ユーザ操作を受け付けるボタンエリアBT3の表示領域と、計測結果を表示するための計測結果表示エリアMRT3の表示領域とを有する。計測長TAR1の計測の開始位置での血管径は5.3mmと算出されたことが示され、計測長TAR1の計測の終了位置での血管径は6.1mmと算出されたことが示されている。血管長軸断面画像LGT1には、血管内視鏡10の位置を示す指定バーBAR1がユーザ操作により重畳して表示される。ユーザ操作により計測長TAR1内で指定バーBAR1が適宜左右方向にスライドされることで、プロセッサ54は、指定バーBAR1が示す位置にマーカMK1が映るアンギオ画像ANG1、ならびに指定バーBAR1が示す位置に対応する血管内視鏡画像VED1のそれぞれをストレージ56から読み出して表示画面WD1を生成する。つまり、表示画面WD3を見たユーザは、指定バーBAR1の位置の違い(図7および図8参照)によって、アンギオ画像ANG1中の血管内の様子、血管内視鏡10の位置(より具体的にはマーカMK1の位置)が異なっていること、および、血管内視鏡画像VED1中の血管内の様子が異なっていることを視覚的かつ直感的に把握可能となる。
Further, the display screen WD3 displays a display area of a blood vessel long-axis cross-sectional image LGT1 having a length equal to or longer than the measurement length TAR1 corresponding to the measurement range VSL1, a display area of a button area BT3 for receiving user operations, and the measurement results. and a display area of the measurement result display area MRT3. It shows that the blood vessel diameter was calculated to be 5.3 mm at the measurement start position of the measurement length TAR1, and that the blood vessel diameter was calculated to be 6.1 mm at the measurement end position of the measurement length TAR1. there is A designation bar BAR1 indicating the position of the
図7は、ユーザ操作により指定された第1地点でのアンギオ画像ANG1および血管内視鏡画像VED1を示す図である。図8は、ユーザ操作により指定された第2地点でのアンギオ画像ANG2および血管内視鏡画像VED2を示す図である。図7および図8は、図6に示す表示画面WD3のうち、ユーザ操作を受け付けるボタンエリアBT3の表示領域と計測結果を表示するための計測結果表示エリアMRT3の表示領域とを省いた構成となっている。図7および図8の説明において、図6の要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。 FIG. 7 is a diagram showing an angiographic image ANG1 and an angioscopic image VED1 at a first point designated by user operation. FIG. 8 is a diagram showing an angiographic image ANG2 and an angioscopic image VED2 at a second point designated by user operation. 7 and 8, the display area of the button area BT3 for accepting user operations and the display area of the measurement result display area MRT3 for displaying the measurement results are omitted from the display screen WD3 shown in FIG. ing. 7 and 8, elements that are the same as those in FIG. 6 are denoted by the same reference numerals, descriptions thereof are simplified or omitted, and different contents are described.
第1地点は、ユーザ操作により指定バーBAR1が計測長TAR1の基端側(目盛り:40mm付近)に指定された位置であり、アンギオ画像ANG1中のマーカMK1は計測範囲VSLの基端側に位置している。血管内視鏡画像VED1は、第1地点で血管内視鏡10が撮像した時の血管内の様子を示している。
The first point is a position where the designation bar BAR1 is designated on the proximal side of the measurement length TAR1 (scale: near 40 mm) by user operation, and the marker MK1 in the angio image ANG1 is positioned on the proximal side of the measurement range VSL. are doing. The angioscope image VED1 shows the state inside the blood vessel when the
一方、第2地点は、ユーザ操作により指定バーBAR1が計測長TAR1の先端側(目盛り:20mm付近)に指定された位置であり、アンギオ画像ANG2中のマーカMK1は計測範囲VSLの先端側に位置している。血管内視鏡画像VED2は、第2地点で血管内視鏡10が撮像した時の血管内の様子を示している。
On the other hand, the second point is a position where the designated bar BAR1 is designated by the user's operation on the tip side (scale: around 20 mm) of the measurement length TAR1, and the marker MK1 in the angio image ANG2 is positioned on the tip side of the measurement range VSL. are doing. The angioscope image VED2 shows the state inside the blood vessel when the
このように、ユーザは、指定バーBAR1を簡易にスライドして観察したい位置を指定するだけで、指定バーBAR1が示す位置におけるアンギオ画像および血管内視鏡画像を対比的に観察でき、手術等の利便性を向上できる。 In this way, the user can comparatively observe the angiographic image and the angioscope image at the position indicated by the designated bar BAR1 simply by simply sliding the designated bar BAR1 to designate the position to be observed. Convenience can be improved.
以上により、実施の形態1に係る血管観察システム100は、先端部TP1が被検体の血管内に挿入されかつ基端部BE1が固定され、ユーザ操作により先端部TP1が基端部BE1に向かってプルバックされる間に被検体の血管を撮像する血管内視鏡10を有する。血管観察システム100は、被検体の血管および血管内視鏡10を撮像する血管造影装置(例えばアンギオグラフィ装置90)と血管内視鏡10とにそれぞれ接続され、血管造影装置により撮像された血管造影画像(例えばアンギオ画像)と血管内視鏡10により撮像された血管撮像画像(例えば血管内視鏡画像)とを同時に取得して関連付けするコントローラ(例えばPC50)を有する。コントローラは、血管造影画像を表示する第1表示画面(例えば表示画面WD1)、血管撮像画像を表示する第2表示画面(例えば表示画面WD2)、および、血管造影画像および血管撮像画像を表示する第3表示画像(例えば表示画面WD3)のうちいずれか1つをユーザ操作に応じて切り替えてモニタ70あるいは医師対面モニタ80に表示する。
As described above, in the blood
これにより、血管観察システム100は、手術等の時に医師等のユーザが被検体内の血管壁等を傷つけないように血管内視鏡10をマニュアルプルバックする際に、アンギオグラフィ装置90により撮像されたアンギオ画像の表示画面WD1、血管内視鏡10により撮像された血管内視鏡画像の表示画面WD2、アンギオ画像および血管内視鏡画像の両方が映る表示画面WD3のうちいずれか1つを簡易に切り替えて表示できる。したがって、血管観察システム100は、手術等のスムーズな医療行為の実行を安全に支援でき、患部の状態を観察可能な表示画面を容易に切替可能で医師等のユーザによる血管内の観察の利便性を適切に向上でき、さらには、ユーザによる被検体内に挿通される適切な径のステントの選択を支援することができる。特に、PC50は、同時に入力されたアンギオ画像と血管内視鏡とを同時刻に撮像されたものとして関連付けするので、アンギオ画像中の血管内視鏡10の位置から血管内視鏡10の位置および速度を容易に判別可能となり、血管内視鏡画像のデータ取得と同期(一致)したタイミングで取得した位置情報および速度情報のデータを用いて、血管画像の等速動画をリアルタイムに生成し、被検体の観察部位である血管の血管径を高精度に算出できる。
As a result, the blood
また、コントローラ(例えばPC50)は、血管内視鏡10から入力される複数の血管撮像画像を用いて血管の長軸断面画像(例えば血管長軸断面画像LGT1)を生成し、第1表示画面、第2表示画面、および、第3表示画面のいずれにも長軸断面画像を含めて表示する。これにより、ユーザは、表示画面WD1上のアンギオ画像、表示画面WD2上の血管内視鏡画像、表示画面WD3上のアンギオ画像および血管内視鏡画像のいずれが表示されても、血管長軸断面画像LGT1が併せて表示されるので、血管長軸断面画像の様子とアンギオ画像あるいは血管内視鏡画像とを見比べながら血管内を観察できる。
In addition, the controller (eg, PC 50) generates a blood vessel long-axis cross-sectional image (eg, blood vessel long-axis cross-sectional image LGT1) using a plurality of blood vessel captured images input from the
また、コントローラ(例えばPC50)は、血管撮像画像と関連付けされた前記血管造影画像中に前記内視鏡の位置に基づいて、前記プルバック中の前記内視鏡の位置情報および速度情報を導出し、前記内視鏡の位置情報および速度情報に基づいて前記血管の測定長を導出する。これにより、画像コンソールCSL1は、アンギオ画像中の血管内視鏡10の位置からプルバック中の血管内視鏡10の位置情報および速度情報を適切に導出でき、観察対象となる血管の長さを示す血管長を高精度に導出できる。
Also, a controller (e.g., PC 50) derives position and speed information of the endoscope during the pullback based on the position of the endoscope in the angiographic image associated with the angiographic image; A measured length of the vessel is derived based on the position and velocity information of the endoscope. As a result, the image console CSL1 can appropriately derive the position information and speed information of the
また、コントローラは、血管内視鏡10の位置情報および速度情報と対応する血管内視鏡10の血管撮像画像とを複数枚用いて、血管の血管径を算出する。これにより、血管観察システム100は、血管径算出に必要となる等速動画を的確に生成でき、血管径を高精度に導出できる。
In addition, the controller uses the position information and speed information of the
また、血管造影画像(例えばアンギオ画像)は、血管内視鏡10の先端部を示すマーカMK1を有する。コントローラは、マーカMK1の位置の変動に基づいて、プルバック中の血管内視鏡10の位置情報および速度情報を導出する。これにより、血管観察システム100は、アンギオ画像から血管内視鏡10の位置をマーカMK1で適切に判明できるので、プルバック中の血管内視鏡10の位置情報および速度情報を適切に導出できる。
Also, the angiographic image (for example, angiographic image) has a marker MK1 indicating the distal end of the
また、コントローラは、第3表示画面(例えば表示画面WD3)が表示されている場合に、血管長軸断面画像LGT1に対するユーザ操作の位置指定に応じて、指定された位置に対応する血管造影画像(例えばアンギオ画像)および血管撮像画像(例えば血管内視鏡画像)を対比表示する。これにより、PC50は、ユーザの簡易な指定バーBAR1を用いた指定の操作により、ユーザが観察したい位置のアンギオ画像および血管内視鏡画像を一目で比較しながら観察できる。
Further, when the third display screen (for example, the display screen WD3) is displayed, the controller displays an angiographic image ( For example, an angio image) and an angiography image (for example, angiography image) are displayed in contrast. As a result, the
また、血管内視鏡10は、被検体の血管を撮像可能な画像センサを有する。画像センサは、血管内視鏡の先端部に実装されている。これにより、血管観察システム100は、高解像度を有して血管内視鏡10により撮像された血管画像を用いて、血管内の様子を観察可能な表示画面を生成でき、ユーザの利便性を向上できる。
The
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。 Various embodiments have been described above with reference to the drawings, but it goes without saying that the present disclosure is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications, modifications, substitutions, additions, deletions, and equivalents within the scope of the claims. Naturally, it is understood that it belongs to the technical scope of the present disclosure. In addition, the constituent elements of the various embodiments described above may be combined arbitrarily without departing from the gist of the invention.
本開示は、手術等のスムーズな医療行為を支援し、患部の状態を観察可能な表示画面を容易に切替可能で医師等のユーザの利便性を向上する血管観察システムおよび血管観察方法として有用である。 INDUSTRIAL APPLICABILITY The present disclosure is useful as a blood vessel observation system and a blood vessel observation method that support smooth medical practices such as surgery, easily switch display screens for observing the state of an affected area, and improve convenience for users such as doctors. be.
10 血管内視鏡
30 CCU
50 PC
51 画像キャプチャーボード
52 入力インターフェース
53 メモリ
54 プロセッサ
55 操作部
56 ストレージ
57 出力インターフェース
70 モニタ
80 医師対面モニタ
90 アンギオグラフィ装置
100 血管観察システム
BE1 基端部
CSL1 画像コンソール
GW1 ガイドワイヤ
OS1 アウターシース
TP1 先端部
10
50 PCs
51
Claims (8)
前記被検体の血管および前記内視鏡を撮像する血管造影装置と前記内視鏡とにそれぞれ接続され、前記血管造影装置により撮像された血管造影画像と前記内視鏡により撮像された血管撮像画像とを同時に取得して関連付けするコントローラと、を備え、
前記コントローラは、
前記血管造影画像を表示する第1表示画面、前記血管撮像画像を表示する第2表示画面、および、前記血管造影画像および前記血管撮像画像を表示する第3表示画面のうちいずれか1つをユーザ操作に応じて切り替えてモニタに表示する、
血管観察システム。 an endoscope whose distal end is inserted into a blood vessel of a subject, whose proximal end is fixed, and which images the blood vessel of the subject while the distal end is pulled back toward the proximal end by a user's operation; ,
An angiographic image captured by the angiographic device and a blood vessel captured image captured by the endoscope are respectively connected to an angiographic device for imaging the blood vessel of the subject and the endoscope, and the endoscope. and a controller that simultaneously obtains and associates with
The controller is
A user selects any one of a first display screen that displays the angiographic image, a second display screen that displays the captured blood vessel image, and a third display screen that displays the angiographic image and the captured blood vessel image. Switching according to the operation and displaying on the monitor,
Blood vessel observation system.
前記内視鏡から入力される複数の前記血管撮像画像を用いて前記血管の長軸断面画像を生成し、前記第1表示画面、前記第2表示画面、および、前記第3表示画面のいずれに前記長軸断面画像を含めて表示する、
請求項1に記載の血管観察システム。 The controller is
A long-axis cross-sectional image of the blood vessel is generated using a plurality of the imaged blood vessel images input from the endoscope, and displayed on any one of the first display screen, the second display screen, and the third display screen Displaying including the long-axis cross-sectional image,
The blood vessel observation system according to claim 1.
前記血管撮像画像と関連付けされた前記血管造影画像中に前記内視鏡の位置に基づいて、前記プルバック中の前記内視鏡の位置情報および速度情報を導出し、前記内視鏡の位置情報および速度情報に基づいて前記血管の測定長を導出する、
請求項1に記載の血管観察システム。 The controller is
deriving position and velocity information of the endoscope during the pullback based on the position of the endoscope in the angiographic image associated with the angiographic image; deriving a measured length of the vessel based on the velocity information;
The blood vessel observation system according to claim 1.
前記内視鏡の位置情報および速度情報と対応する前記内視鏡の血管撮像画像とを複数枚用いて、前記血管の血管径を算出する、
請求項3に記載の血管観察システム。 The controller is
calculating the diameter of the blood vessel using a plurality of pieces of the position information and speed information of the endoscope and the corresponding blood vessel captured images of the endoscope;
The blood vessel observation system according to claim 3.
前記コントローラは、
前記マーカの位置の変動に基づいて、前記プルバック中の前記内視鏡の位置情報および速度情報を導出する、
請求項3に記載の血管観察システム。 The angiographic image has a marker indicating the distal end of the endoscope,
The controller is
deriving position and velocity information of the endoscope during the pullback based on variations in the position of the marker;
The blood vessel observation system according to claim 3.
前記第3表示画面が表示されている場合に、前記長軸断面画像に対する前記ユーザ操作の位置指定に応じて、指定された位置に対応する前記血管造影画像および前記血管撮像画像を対比表示する、
請求項2に記載の血管観察システム。 The controller is
When the third display screen is displayed, the angiographic image and the captured blood vessel image corresponding to the specified position are displayed in comparison in response to the position specified by the user operation on the long-axis cross-sectional image;
The blood vessel observation system according to claim 2.
前記画像センサは、前記内視鏡の先端部に実装されている、
請求項1に記載の血管観察システム。 The endoscope has an image sensor capable of imaging blood vessels of the subject,
The image sensor is mounted on the distal end of the endoscope,
The blood vessel observation system according to claim 1.
先端部が被検体の血管内に挿入されかつ基端部が固定され、ユーザ操作により前記先端部が前記基端部に向かってプルバックされる間に内視鏡により前記被検体の血管を撮像し、
前記被検体の血管および前記内視鏡を撮像する血管造影装置と前記内視鏡とにそれぞれ接続し、
前記血管造影装置により撮像された血管造影画像と前記内視鏡により撮像された血管撮像画像とを同時に取得して関連付けし、
前記血管造影画像を表示する第1表示画面、前記血管撮像画像を表示する第2表示画面、および、前記血管造影画像および前記血管撮像画像を表示する第3表示画面のうちいずれか1つをユーザ操作に応じて切り替えてモニタに表示する、
血管観察方法。 A blood vessel observation method executed by a blood vessel observation system, comprising:
The distal end is inserted into the blood vessel of the subject, the proximal end is fixed, and the endoscope images the blood vessel of the subject while the distal end is pulled back toward the proximal end by a user operation. ,
connecting to an angiography device for imaging the blood vessel of the subject and the endoscope and the endoscope, respectively;
Simultaneously acquiring and associating an angiographic image captured by the angiography device and a blood vessel captured image captured by the endoscope,
A user selects any one of a first display screen that displays the angiographic image, a second display screen that displays the captured blood vessel image, and a third display screen that displays the angiographic image and the captured blood vessel image. Switching according to the operation and displaying on the monitor,
Blood vessel observation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103323A JP2021194268A (en) | 2020-06-15 | 2020-06-15 | Blood vessel observation system and blood vessel observation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103323A JP2021194268A (en) | 2020-06-15 | 2020-06-15 | Blood vessel observation system and blood vessel observation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021194268A JP2021194268A (en) | 2021-12-27 |
JP2021194268A6 true JP2021194268A6 (en) | 2021-12-27 |
Family
ID=79196796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020103323A Pending JP2021194268A (en) | 2020-06-15 | 2020-06-15 | Blood vessel observation system and blood vessel observation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021194268A (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023080759A (en) | 2021-11-30 | 2023-06-09 | 新東工業株式会社 | Management system and management method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3668822B2 (en) * | 1996-11-11 | 2005-07-06 | 株式会社島津製作所 | Medical image processing device |
WO2014175853A1 (en) * | 2013-03-12 | 2014-10-30 | Lightlab Imaging, Inc. | Vascular data processing and image registration systems, methods, and apparatuses |
JPWO2015045368A1 (en) * | 2013-09-26 | 2017-03-09 | テルモ株式会社 | Image processing apparatus, image display system, photographing system, image processing method and program |
EP2873371B1 (en) * | 2013-11-13 | 2022-12-21 | Pie Medical Imaging BV | Method and system for registering intravascular images |
-
2020
- 2020-06-15 JP JP2020103323A patent/JP2021194268A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11295835B2 (en) | System and method for interactive event timeline | |
JP5535725B2 (en) | Endoscope observation support system, endoscope observation support device, operation method thereof, and program | |
EP3426128B1 (en) | Image processing device, endoscopic surgery system, and image processing method | |
US20160206267A1 (en) | Image processing apparatus, image display system, imaging system, image processing method, and program | |
US10524652B2 (en) | Information processing device, imaging system, information processing method and program | |
KR20200016829A (en) | General purpose devices and methods for integrating diagnostic tests into real-time treatment | |
US20200175719A1 (en) | Medical imaging system, method and computer program product | |
US11406255B2 (en) | System and method for detecting abnormal tissue using vascular features | |
US20210169305A1 (en) | Image processing apparatus, image processing method, and image processing system | |
EP3733047A1 (en) | Surgical system, image processing device, and image processing method | |
WO2020165978A1 (en) | Image recording device, image recording method, and image recording program | |
CN114980793A (en) | Endoscopic examination support device, method for operating endoscopic examination support device, and program | |
JP2021194268A6 (en) | Blood vessel observation system and blood vessel observation method | |
JP2021194268A (en) | Blood vessel observation system and blood vessel observation method | |
JP7221786B2 (en) | Blood vessel diameter measurement system | |
WO2015091226A1 (en) | Laparoscopic view extended with x-ray vision | |
JP7197535B2 (en) | Observation site observation system and observation site observation method | |
JP7157098B2 (en) | Angioscope system and method for measuring blood vessel diameter | |
JP7221787B2 (en) | Blood vessel diameter measurement system | |
JP2019166246A (en) | Endoscope system | |
WO2020230389A1 (en) | Blood vessel diameter measurement system and blood vessel diameter measurement method | |
US20240057847A1 (en) | Endoscope system, lumen structure calculation system, and method for creating lumen structure information | |
US20240268895A1 (en) | X-ray diagnostic apparatus, x-ray diagnostic system, and x-ray diagnostic method | |
JP2022163563A (en) | Blood vessel observation system, blood vessel observation method and program | |
JP2024038841A (en) | Medical image processing apparatus, x-ray diagnostic apparatus, and medical image processing program |