JP2010148778A - Image display and image display method - Google Patents

Image display and image display method Download PDF

Info

Publication number
JP2010148778A
JP2010148778A JP2008332017A JP2008332017A JP2010148778A JP 2010148778 A JP2010148778 A JP 2010148778A JP 2008332017 A JP2008332017 A JP 2008332017A JP 2008332017 A JP2008332017 A JP 2008332017A JP 2010148778 A JP2010148778 A JP 2010148778A
Authority
JP
Japan
Prior art keywords
image
image frame
angio
ivus
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008332017A
Other languages
Japanese (ja)
Other versions
JP5390180B2 (en
Inventor
Takeshi Ozeki
毅 大関
Rumi Nonaka
ルミ 野中
Kenji Matsue
健治 松江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2008332017A priority Critical patent/JP5390180B2/en
Publication of JP2010148778A publication Critical patent/JP2010148778A/en
Application granted granted Critical
Publication of JP5390180B2 publication Critical patent/JP5390180B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display and image display method for simultaneously displaying an angiographic animation and an IVUS (Intra Vascular Ultra Sound) animation in a temporally and spatially synchronized state. <P>SOLUTION: A first image frame with the appearance of a blood vessel branch position is predetermined on an intravascular ultrasonic animation, based on a frame selection using an input means. When the same blood vessel branch position appearing in the second image frame of the angiographic animation, which is photographed at the same time of the first image frame, is selected by using the input means, an IVUS photographing position on each image frame of the angiographic animation is predetermined based on the blood vessel branch position, a difference in photographing time between the second image frame and another image frame, and the movement speed of the IVUS photographing. The angiographic animation and the intravascular ultrasonic animation are reproduced by matching the display timings of the first and second image frames, and also a mark for indicating the IVUS photographing position predetermined by each image frame is displayed on the angiographic animation. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、アンギオ動画像とIVUS(IntraVascular UltraSound)動画像とを同時表示する技術に関する。   The present invention relates to a technique for simultaneously displaying an angio moving image and an IVUS (IntraVascular UltraSound) moving image.

循環器系疾患の検査では、X線診断装置によるアンギオ検査と血管内超音波検査装置(IVUS装置)によるIVUS検査とを併用する場面が多い。造影剤で造影された血管をX線により血管透視像として撮影すると同時に、超音波によるラジアル走査が可能なカテーテルを血管内に挿入して血管断面像のIVUS撮影を行う。血管の透視像と血管のラジアル方向の断面像という性質の異なる2種の画像の比較観察が可能となり、より多くの情報から狭窄部位等を診断することができる(例えば、「特許文献1」参照)。   In the examination of circulatory system diseases, there are many scenes in which an angio examination by an X-ray diagnostic apparatus and an IVUS examination by an intravascular ultrasonic examination apparatus (IVUS apparatus) are used in combination. A blood vessel contrasted with a contrast agent is imaged as a blood vessel fluoroscopic image with X-rays, and at the same time, a catheter capable of radial scanning with ultrasound is inserted into the blood vessel to perform IVUS imaging of the blood vessel cross-sectional image. Comparison observation of two kinds of images having different properties, that is, a fluoroscopic image of a blood vessel and a cross-sectional image of the blood vessel in the radial direction, is possible, and a stenosis site or the like can be diagnosed from more information (for example, see “Patent Document 1”) ).

しかし、X線診断装置とIVUS装置とを併用した検査では、両装置が協働することなく個々に画像を収集しているため、アンギオ動画像とIVUS動画像とに時間的及び空間的な同期がとれていない。即ち、アンギオ動画像の最初の画像フレームとIVUS動画像の最初の画像フレームとは撮影時刻が異なり、またアンギオ動画像からIVUS撮影位置を捕捉することができない。   However, in the examination using both the X-ray diagnostic apparatus and the IVUS apparatus, the images are individually collected without cooperation of both apparatuses. Therefore, temporal and spatial synchronization between the angio moving image and the IVUS moving image is performed. It is not removed. That is, the first image frame of the angio moving image and the first image frame of the IVUS moving image have different shooting times, and the IVUS shooting position cannot be captured from the angio moving image.

そのため、従来は、アンギオ動画像とIVUS動画像の撮影時間や画像の様子を手がかりにして、手動により同時期に撮影された画像フレームを並べることで比較観察を行っていた。また、アンギオ動画像とIVUS動画像動画像の撮影時間や画像の様子を手がかりにして、推測によりIVUS動画像上で現れている撮影位置に対応するアンギオ動画像上の位置に把握していた。   Therefore, conventionally, comparative observation has been performed by manually arranging image frames taken at the same time, using the shooting time and state of the images of the angio moving image and the IVUS moving image as clues. Also, the shooting time and the state of the image of the angio moving image and the IVUS moving image are used as clues, and the position on the angio moving image corresponding to the shooting position appearing on the IVUS moving image is estimated.

従って、アンギオ検査とIVUS検査とを併用すると、両画像の比較観察を開始する前に相当の労力と時間を費やす必要があり、作業効率の向上が望まれていた。   Therefore, when the angio inspection and the IVUS inspection are used in combination, it is necessary to spend considerable labor and time before the comparative observation of both images is started, and improvement in work efficiency has been desired.

特開2007−330669号公報JP 2007-330669 A

本発明は、以上の問題点に鑑みてなされたものであって、その目的は、アンギオ動画像とIVUS動画像を時間的及び空間的同期をとって同時表示する画像表示装置及び画像表示方法を提供することにある。   The present invention has been made in view of the above problems, and an object of the present invention is to provide an image display device and an image display method for simultaneously displaying an angio moving image and an IVUS moving image in temporal and spatial synchronization. It is to provide.

上記課題を解決するための請求項1記載の発明は、表示手段及び入力手段を含むユーザインターフェースを有し、血管腔内の撮影位置を移動させながらIVUS撮影して得られた複数フレームの血管内超音波動画像と、その血管を造影撮影した複数フレームのアンギオ動画像とを同時再生する画像表示装置であって、前記ユーザインターフェースを用いたフレーム選択に基づき、前記血管内超音波動画像上で血管分岐位置が現れている第1の画像フレームを特定する第1のデータ処理手段と、前記第1の画像フレームと撮影時刻が同一のアンギオ動画像の第2の画像フレームに現れている同一血管分岐位置が前記ユーザインターフェースを用いて選択されると、この血管分岐位置、前記第2の画像フレームとその他の画像フレームとの撮影時間差、及び前記血管腔内の撮影位置の移動速度に基づき、前記アンギオ動画像の各画像フレーム上でのIVUS撮影位置を特定する第2のデータ処理手段と、前記第1の画像フレームと前記第2の画像フレームの表示タイミングを合わせて前記アンギオ動画像と前記血管内超音波動画像とを表示するとともに、各画像フレームで特定された前記IVUS撮影位置を示すマークを前記アンギオ動画像上に表示する表示制御手段と、を備えること、を特徴とする。   The invention according to claim 1 for solving the above-described problem has a user interface including a display means and an input means, and is provided in a plurality of frames of blood vessels obtained by IVUS imaging while moving the imaging position in the blood vessel cavity. An image display device for simultaneously reproducing an ultrasonic moving image and a plurality of frames of angio moving images obtained by contrast imaging of the blood vessel, wherein the image is displayed on the intravascular ultrasonic moving image based on frame selection using the user interface. First data processing means for specifying a first image frame in which a blood vessel branching position appears, and the same blood vessel appearing in a second image frame of an angio moving image having the same shooting time as the first image frame When a branch position is selected using the user interface, the blood vessel branch position, when the second image frame and other image frames are captured A second data processing means for specifying an IVUS imaging position on each image frame of the angio moving image based on the difference and a moving speed of the imaging position in the blood vessel cavity; the first image frame; The angio moving image and the intravascular ultrasound moving image are displayed at the same display timing of the two image frames, and a mark indicating the IVUS imaging position specified in each image frame is displayed on the angio moving image. And a display control means.

前記第2のデータ処理手段は、一点の前記血管分岐位置が前記第2の画像フレームから選択されると、前記撮影時間差と前記移動速度に基づいて、その血管分岐位置からの移動距離を算出し、前記血管分岐の位置から前記移動距離離れた位置をIVUS撮影位置として画像フレーム毎に関連づけするようにしてもよい(請求項2記載の発明に相当)。   When the one blood vessel branch position is selected from the second image frame, the second data processing means calculates a moving distance from the blood vessel branch position based on the imaging time difference and the moving speed. A position that is separated from the position of the blood vessel branch by the moving distance may be associated with each image frame as an IVUS imaging position (corresponding to the invention according to claim 2).

前記第2のデータ処理手段は、前記第2の画像フレームから前記IVUS撮影で通過する二点の前記血管分岐位置が選択されると、前記第2の画像フレーム上で測定される前記二点間の距離と他の画像フレーム上で測定される対応距離との比率で前記移動距離を補正することで、前記IVUS撮影位置を特定するようにしてもよい(請求項3記載の発明に相当)。   The second data processing means, when the two blood vessel branch positions passing through the IVUS imaging from the second image frame are selected, between the two points measured on the second image frame The IVUS photographing position may be specified by correcting the moving distance by a ratio of the distance between the corresponding distance measured on another image frame and the corresponding distance measured on another image frame (corresponding to the invention according to claim 3).

前記表示制御手段は、前記アンギオ動画像上の所望の一点が前記ユーザインターフェースを用いて選択されると、選択された一点に最も近いIVUS撮影位置が関連づけられた前記アンギオ動画像の画像フレーム及びその画像フレームと撮影時刻が同一の血管内超音波動画像の画像フレームから頭出し再生するようにしてもよい(請求項4記載の発明に相当)。   When a desired point on the angio moving image is selected using the user interface, the display control unit is configured to display the image frame of the angio moving image associated with the IVUS shooting position closest to the selected point and the image frame The cue may be reproduced from the image frame of the intravascular ultrasound moving image having the same imaging time as the image frame (corresponding to the invention described in claim 4).

前記表示制御手段は、前記アンギオ動画像上の所望の一点が前記ユーザインターフェースを用いて選択されると、前記一点と選択されたときに表示されていた画像フレーム上の片方の前記血管分岐位置との距離を、前記比率で補正して、補正された距離と前記移動速度とから前記撮影時間差を算出し、当該撮影時間差に対応する前記アンギオ動画像の画像フレーム及びその画像フレームと撮影時刻が同一の血管内超音波動画像の画像フレームから頭出し再生するようにしてもよい(請求項5記載の発明に相当)。   When a desired point on the angio moving image is selected using the user interface, the display control unit is configured to select one of the blood vessel branch positions on the image frame displayed when the point is selected. Is corrected by the ratio, the shooting time difference is calculated from the corrected distance and the moving speed, and the image frame of the angio moving image corresponding to the shooting time difference and the image frame and the shooting time are the same. The cue may be reproduced from the image frame of the intravascular ultrasonic moving image (corresponding to the invention described in claim 5).

上記課題を解決するための請求項6記載の発明は、血管腔内を移動させながらIVUS撮影して得られた複数フレームの血管内超音波動画像と、その血管を造影撮影した複数フレームのアンギオ動画像とを同時再生する画像表示方法であって、表示段と入力手段を含むユーザインターフェースを用いたフレーム選択に基づき、前記血管内超音波動画像上で血管分岐位置が現れている第1の画像フレームを特定する第一のステップと、前記第1の画像フレームと撮影時刻が同一のアンギオ動画像の第2の画像フレームに現れている同一血管分岐位置が前記入力手段を用いて選択されると、この血管分岐位置、前記第2の画像フレームと他の画像フレームとの撮影時間差、及び前記血管管腔内の撮影位置の移動速度に基づき、前記アンギオ動画像の各画像フレーム上でのIVUS撮影位置を特定する第二のステップと、前記第1の画像フレームと前記第2の画像フレームの表示タイミングを合わせて前記アンギオ動画像と前記血管内超音波動画像とを再生するとともに、各画像フレームで特定された前記IVUS撮影位置を示すマークを前記アンギオ動画像上に表示するする第三のステップと、を有すること、を特徴とする。   The invention according to claim 6 for solving the above-mentioned problems is that a plurality of frames of intravascular ultrasound moving images obtained by performing IVUS imaging while moving in a blood vessel cavity, and a plurality of frames of angiography obtained by contrast imaging of the blood vessels. An image display method for simultaneously reproducing a moving image, wherein a blood vessel branch position appears on the intravascular ultrasonic moving image based on frame selection using a user interface including a display stage and an input unit. The first step of specifying the image frame and the same blood vessel branch position appearing in the second image frame of the angio moving image having the same shooting time as the first image frame are selected using the input means. And the angio moving image based on the blood vessel branch position, the imaging time difference between the second image frame and another image frame, and the moving speed of the imaging position in the blood vessel lumen. A second step of specifying an IVUS imaging position on each image frame, the angio moving image and the intravascular ultrasound moving image in accordance with the display timings of the first image frame and the second image frame; And a third step of displaying a mark indicating the IVUS photographing position specified in each image frame on the angio moving image.

前記第二のステップでは、一点の前記血管分岐位置が前記第2の画像フレームから選択されると、前記撮影時間差と前記移動速度に基づいて、その血管分岐位置からの移動距離を算出し、前記血管分岐の位置から前記移動距離離れた位置をIVUS撮影位置として画像フレーム毎に関連づけするようにしてもよい(請求項7記載の発明に相当)。   In the second step, when one blood vessel branch position is selected from the second image frame, the moving distance from the blood vessel branch position is calculated based on the imaging time difference and the moving speed, A position that is separated from the position of the blood vessel branch by the moving distance may be associated with each image frame as an IVUS imaging position (corresponding to the invention of claim 7).

前記第二のステップでは、前記第2の画像フレームから前記IVUS撮影で通過する二点の前記血管分岐位置が選択されると、前記第2の画像フレーム上で測定される前記二点間の距離と他の画像フレーム上で測定される対応距離との比率で前記移動距離を補正することで、前記IVUS撮影位置を特定するようにしてもよい(請求項8記載の発明に相当)。   In the second step, when the two blood vessel branch positions passing through the IVUS imaging from the second image frame are selected, the distance between the two points measured on the second image frame The IVUS photographing position may be specified by correcting the moving distance by a ratio between the corresponding distance measured on the other image frame and the corresponding distance measured on another image frame (corresponding to the invention according to claim 8).

前記第三のステップでは、前記アンギオ動画像上の所望の一点が前記ユーザインターフェースを用いて選択されると、選択された一点に最も近いIVUS撮影位置が関連づけられた前記アンギオ動画像の画像フレーム及びその画像フレームと撮影時刻が同一の血管内超音波動画像の画像フレームから頭出し再生するようにしてもよい(請求項9記載の発明に相当)。   In the third step, when a desired point on the angio moving image is selected using the user interface, an image frame of the angio moving image associated with an IVUS shooting position closest to the selected point and The cueing and reproduction may be performed from the image frame of the intravascular ultrasonic moving image having the same imaging time as the image frame (corresponding to the invention of claim 9).

前記第三のステップでは、前記アンギオ動画像上の所望の一点が前記ユーザインターフェースを用いて選択されると、前記一点と選択されたときに表示されていた画像フレーム上の片方の前記血管分岐位置との距離を、前記比率で補正して、補正された距離と前記移動速度とから前記撮影時間差を算出し、当該撮影時間差に対応する前記アンギオ動画像の画像フレーム及びその画像フレームと撮影時刻が同一の血管内超音波動画像の画像フレームから頭出し再生するようにしてもよい(請求項10記載の発明に相当)。   In the third step, when a desired point on the angio moving image is selected using the user interface, one of the blood vessel branch positions on the image frame displayed when the point is selected. Is corrected by the ratio, the shooting time difference is calculated from the corrected distance and the moving speed, and the image frame of the angio moving image corresponding to the shooting time difference and the image frame and the shooting time are calculated. The cue may be reproduced from the image frame of the same intravascular ultrasonic moving image (corresponding to the invention of claim 10).

本発明によって、アンギオ動画像とIVUS動画像との間に時間的空間的同期がとられ、IVUS撮影動画像に現れている撮影位置が同時に再生されているアンギオ動画像上のどの位置に相当するのかを容易に把握することができ、速やかに狭窄部位の観察に移行することができる。   According to the present invention, temporal and spatial synchronization is established between the angio moving image and the IVUS moving image, and the shooting position appearing in the IVUS shooting moving image corresponds to any position on the angio moving image that is simultaneously reproduced. It is possible to easily grasp whether or not the stenosis site is observed.

以下、本発明に係る画像表示装置の好適な実施形態について、図面を参照しながら具体的に説明する。   Hereinafter, a preferred embodiment of an image display device according to the present invention will be specifically described with reference to the drawings.

図1は、本実施形態に係る画像表示装置1を含むネットワークを示す図である。図2は、X線診断装置100と管腔内超音波診断装置200とによる撮影態様を示す模式図である。   FIG. 1 is a diagram illustrating a network including an image display device 1 according to the present embodiment. FIG. 2 is a schematic diagram showing an imaging mode by the X-ray diagnostic apparatus 100 and the intraluminal ultrasonic diagnostic apparatus 200.

図1に示すように、画像表示装置1は、X線診断装置100と管腔内超音波診断装置(以下、IVUS装置という)200とタイムサーバ300と画像保管装置400とを有するネットワークに接続されている。   As shown in FIG. 1, the image display apparatus 1 is connected to a network having an X-ray diagnostic apparatus 100, an intraluminal ultrasonic diagnostic apparatus (hereinafter referred to as an IVUS apparatus) 200, a time server 300, and an image storage apparatus 400. ing.

X線診断装置100は、アンギオ動画像Paを撮影する。アンギオ動画像Paは、造影剤で造影された血管をX線により連続撮影して得られた血管透視像を複数フレーム含む動画データである。IVUS装置200は、IVUS(Intravascular Ultrasound)法を用いて血管内超音波動画像(以下、IVUS動画像という)Piを撮影する。IVUS動画像Piは、血管内で超音波を送受波するラジアル走査によって得られた血管断面像を複数フレーム含む動画データである。   The X-ray diagnostic apparatus 100 captures an angio moving image Pa. The angio moving image Pa is moving image data including a plurality of vascular fluoroscopic images obtained by continuously photographing a blood vessel contrasted with a contrast agent with X-rays. The IVUS apparatus 200 captures an intravascular ultrasound moving image (hereinafter referred to as an IVUS moving image) Pi using an IVUS (Intravascular Ultrasound) method. The IVUS moving image Pi is moving image data including a plurality of frames of blood vessel cross-sectional images obtained by radial scanning in which ultrasonic waves are transmitted and received in a blood vessel.

タイムサーバ300は、X線診断装置100と管腔内超音波診断装置200に時刻情報を提供している。X線診断装置100とIVUS装置200が計時する時刻の同期がタイムサーバ300を基準に図られる。画像保管装置400は、データベース410を備える所謂ストレージであり、X線診断装置100とIVUS装置200とが撮影したアンギオ動画像とIVUS動画像とを保管する。   The time server 300 provides time information to the X-ray diagnostic apparatus 100 and the intraluminal ultrasonic diagnostic apparatus 200. Time synchronization between the X-ray diagnostic apparatus 100 and the IVUS apparatus 200 is synchronized with the time server 300 as a reference. The image storage device 400 is a so-called storage including a database 410, and stores an angio moving image and an IVUS moving image captured by the X-ray diagnostic apparatus 100 and the IVUS apparatus 200.

ここで、アンギオ動画像PaとIVUS動画像Piの撮影について説明する。図2に示すように、X線診断装置100は、狭窄部位510を含む血管500の血管透過像を造影撮影し、管腔内超音波診断装置200は、狭窄部位510を含む血管500内をIVUS撮影する。   Here, shooting of the angio moving image Pa and the IVUS moving image Pi will be described. As shown in FIG. 2, the X-ray diagnostic apparatus 100 images a blood vessel transmission image of the blood vessel 500 including the stenosis site 510, and the intraluminal ultrasound diagnosis apparatus 200 performs IVUS in the blood vessel 500 including the stenosis site 510. Take a picture.

X線診断装置100は、X線管110からX線を連続的に照射し、造影剤で造影された血管を透過したX線を検出してその信号からアンギオ動画像Paを得る。   The X-ray diagnostic apparatus 100 continuously irradiates X-rays from the X-ray tube 110, detects X-rays transmitted through a blood vessel contrasted with a contrast agent, and obtains an angio moving image Pa from the signal.

管腔内超音波診断装置200は、機械的又は電気的な回転によってラジアル走査が可能な超音波振動子220が先端に設けられたカテーテル210を有する。このカテーテル210が狭窄部位510の存在する血管500に一度挿入され、引き抜かれながらIVUS動画像Piを撮影する。カテーテル210は、狭窄部位510が存在する血管に分岐する分岐点530を通り、この血管500が更に分岐する分岐点520を通り過ぎるまで挿入される。カテーテル210の引抜速度vは、例えばv=0.5mm/S等のように極力定速とする。   The intraluminal ultrasonic diagnostic apparatus 200 includes a catheter 210 provided with an ultrasonic transducer 220 at a distal end capable of radial scanning by mechanical or electrical rotation. The catheter 210 is once inserted into the blood vessel 500 where the stenosis site 510 exists, and an IVUS moving image Pi is taken while being pulled out. The catheter 210 is inserted until it passes through a branch point 530 that branches into a blood vessel in which the stenosis site 510 exists, and passes through a branch point 520 where the blood vessel 500 further branches. The drawing speed v of the catheter 210 is set to a constant speed as much as possible, for example, v = 0.5 mm / S.

分岐点520と分岐点530を含む血管経路上をIVUS撮影するのは、IVUS動画像においてIVUS撮影位置とその時刻を特定する基準点とするためである。引抜速度vを略定速とするのは、分岐点520のような基準点が撮影された時刻からの経過時間に基づきIVUS撮影位置を特定するためである。   The reason why the IVUS imaging is performed on the blood vessel path including the branch point 520 and the branch point 530 is to use the IVUS imaging position and the time as a reference point in the IVUS moving image. The reason why the drawing speed v is set to a substantially constant speed is to specify the IVUS photographing position based on the elapsed time from the time when the reference point such as the branch point 520 is photographed.

画像表示装置1は、アンギオ動画像PaとIVUS動画像Piの時間的及び空間的同期をとってこれら動画像を同時再生する。図3は、画像表示装置1の構成を示すブロック図である。   The image display apparatus 1 simultaneously reproduces the moving images Pa and IVUS moving images Pi in temporal and spatial synchronization. FIG. 3 is a block diagram illustrating a configuration of the image display device 1.

図3に示すように、画像表示装置1は、保管部11と表示制御部12と、表示部13と入力部14とを含むユーザインターフェースと、同期処理部15とを備える。   As shown in FIG. 3, the image display device 1 includes a storage unit 11, a display control unit 12, a user interface including a display unit 13 and an input unit 14, and a synchronization processing unit 15.

保管部11は、いわゆるメモリである。保管部11は、画像保管装置400に保管されたアンギオ動画像PaとIVUS動画像Piとを受信して蓄積する。   The storage unit 11 is a so-called memory. The storage unit 11 receives and accumulates the angio moving image Pa and the IVUS moving image Pi stored in the image storage device 400.

同期処理部15は、アンギオ動画像PaとIVUS動画像Piとが入力されると、入力部14からの指示信号に基づいてこれら動画像データに空間的同期処理を施す第一のデータ処理手段及び第二のデータ処理手段である。入力部14は、キーボードやマウス等であり、アンギオ動画像PaとIVUS動画像Piの空間的同期をとる際に用いられる。また、入力部14は、動画の頭出しを指示する際に用いられる。   When the angio moving image Pa and the IVUS moving image Pi are input, the synchronization processing unit 15 includes a first data processing unit that performs spatial synchronization processing on the moving image data based on an instruction signal from the input unit 14; Second data processing means. The input unit 14 is a keyboard, a mouse, or the like, and is used when spatial synchronization of the angio moving image Pa and the IVUS moving image Pi is established. The input unit 14 is used when instructing to cue a moving image.

図4は、この画像表示装置1の時間的及び空間的な同期処理の概念を示す模式図である。図5は、アンギオ動画像Pa上でIVUS撮影位置を特定する概念を示す模式図である。   FIG. 4 is a schematic diagram showing the concept of temporal and spatial synchronization processing of the image display device 1. FIG. 5 is a schematic diagram showing the concept of specifying the IVUS photographing position on the angio moving image Pa.

図4に示すように、アンギオ動画像Paには、アンギオ撮影が開始された時刻情報t1がタイムサーバ300との同期に基づき付加されている。また、IVUS動画像Piには、IVUS撮影が開始された時刻情報T1がタイムサーバ300との同期に基づき付加されている。アンギオ動画像Paの最初の画像フレームFa1の撮影時刻であるt1とIVUS動画像Piの最初の画像フレームFi1の撮影時刻であるT1とは、血管内にカテーテル210を挿入して引き抜き撮影を開始するまでの所要時間α分だけズレが生じており、同時に最初から動画再生を行うと時間的に同期がとれない。   As shown in FIG. 4, time information t <b> 1 when angio shooting is started is added to the angio moving image Pa based on synchronization with the time server 300. In addition, time information T1 at which IVUS imaging is started is added to the IVUS moving image Pi based on synchronization with the time server 300. The t1 which is the photographing time of the first image frame Fa1 of the angio moving image Pa and the T1 which is the photographing time of the first image frame Fi1 of the IVUS moving image Pi are inserted into the blood vessel and the pull-out photographing is started. Is shifted by the required time α until the video is played back from the beginning at the same time.

同期処理部15は、入力部14を用いて、アンギオ動画像Paの一画像フレームFad(n=d:nはフレーム番号)から同時刻にIVUS撮影されていた位置が指示されると、他の画像フレームFanにおけるIVUS撮影位置を時間経過と引抜速度vとから特定していく。指示されるIVUS撮影位置は、分岐点520が望ましい。IVUS動画像Piにおいて分岐点520が現れた画像フレームFid(n=d:nはフレーム番号)と同一時刻の画像フレームFadであれば、そのときにIVUS撮影されていた位置の指示が容易だからである。   The synchronization processing unit 15 uses the input unit 14 to indicate the position where IVUS imaging was performed at the same time from one image frame Fad (n = d: n is a frame number) of the angio moving image Pa. The IVUS shooting position in the image frame Fan is specified from the time lapse and the drawing speed v. A branch point 520 is desirable for the IVUS imaging position to be instructed. If it is an image frame Fad at the same time as the image frame Fid (n = d: n is a frame number) where the branch point 520 appears in the IVUS moving image Pi, it is easy to indicate the position where the IVUS image was taken at that time. is there.

具体的には、同期処理部15は、血管500に伸び縮みがないか少ない場合、IVUS動画像Piにおいて分岐点520が現れた画像フレームFidを入力部14を用いて操作者に指定させ、その画像フレームFidの撮影時刻Tdを取得する。撮影時刻Tdは、指定された画像フレームFidのフレーム番号n=dであれば、フレームレートβにdを乗じた値を最初の撮影時刻であるT1に加算することで得られる。フレーム番号nは、最初の画像フレームから撮影時刻が若い順に付される。そして、同期処理部15は、撮影時刻Tdと同一値となる撮影時刻tdに撮影されたアンギオ動画像Paの画像フレームFadを特定する。   Specifically, when the blood vessel 500 has little or no expansion / contraction, the synchronization processing unit 15 causes the operator to designate the image frame Fid in which the branch point 520 appears in the IVUS moving image Pi using the input unit 14, and The shooting time Td of the image frame Fid is acquired. If the frame number n = d of the designated image frame Fid, the shooting time Td is obtained by adding a value obtained by multiplying the frame rate β by d to the first shooting time T1. Frame number n is assigned in ascending order of shooting time from the first image frame. Then, the synchronization processing unit 15 specifies the image frame Fad of the angio moving image Pa captured at the capturing time td that is the same value as the capturing time Td.

同期処理部15は、アンギオ動画像Paの画像フレームFadに現れている分岐点520の画像上の位置を入力部14を用いて操作者に指定させる。これにより、アンギオ動画像Paにおいて、分岐点520をIVUS撮影したときに造影撮影された画像フレームFadが特定され、かつこの画像フレームFadが撮影されたときのIVUS撮影位置が画像フレームFad上で特定される。   The synchronization processing unit 15 causes the operator to specify the position on the image of the branch point 520 appearing in the image frame Fad of the angio moving image Pa using the input unit 14. As a result, in the angio moving image Pa, the image frame Fad contrast-enhanced when the bifurcation point 520 is imaged is identified, and the IVUS imaging position when the image frame Fad is imaged is identified on the image frame Fad. Is done.

また、アンギオ動画像Paの他の画像フレームFan(nはフレーム番号)上におけるIVUS撮影位置については、同期処理部15は、画像フレームFadとの撮影時間差tsnと引抜速度vとを用いて血管系路上をトレースすることで特定する。具体的には、図5に示すように、分岐点520を撮影したときの撮影時刻tdと他の画像フレームFanの撮影時刻tnとの差分から得られる撮影時間差tsnからカテーテル210の引抜速度vを乗じて得られる距離Dn分だけ血管系路上を分岐点520から遡った位置が、画像フレームFanを撮影しているときのIVUS撮影位置である。   For the IVUS imaging position on another image frame Fan (n is the frame number) of the angio moving image Pa, the synchronization processing unit 15 uses the imaging time difference tsn from the image frame Fad and the extraction speed v to determine the vascular system. It is specified by tracing on the road. Specifically, as shown in FIG. 5, the drawing speed v of the catheter 210 is determined from the imaging time difference tsn obtained from the difference between the imaging time td when the branch point 520 is imaged and the imaging time tn of another image frame Fan. A position retroactive from the branch point 520 on the vascular system path by the distance Dn obtained by multiplication is the IVUS imaging position when the image frame Fan is captured.

同期処理部15は、アンギオ動画像Paの各画像フレームFan上のIVUS撮影位置を示すIVUS位置情報Ln(nはフレーム番号)を各画像フレームFanに関連づけていく。   The synchronization processing unit 15 associates IVUS position information Ln (n is a frame number) indicating the IVUS shooting position on each image frame Fan of the angio moving image Pa with each image frame Fan.

表示制御部12は、アンギオ動画像PaとIVUS動画像Piとを並べた動画再生画面を作成し、表示部13に表示させる。表示部13は、いわゆるモニタである。表示制御部12は、タイムサーバ300によって調整された撮影時刻の付帯情報を基準に、アンギオ動画像PaとIVUS動画像Piとを同一時刻に撮影された画像フレーム同士が並ぶように表示タイミングを合わせて表示部13に表示させる。さらに、表示制御部12は、IVUS位置情報Lnが示す画像フレームFan上の位置にIVUS撮影位置を示すIVUS撮影位置マークをオーバーレイ表示させる。   The display control unit 12 creates a moving image reproduction screen in which the angio moving image Pa and the IVUS moving image Pi are arranged, and displays the moving image reproduction screen on the display unit 13. The display unit 13 is a so-called monitor. The display control unit 12 adjusts the display timing so that the angio moving image Pa and the IVUS moving image Pi are imaged at the same time on the basis of the incidental information of the shooting time adjusted by the time server 300. Are displayed on the display unit 13. Further, the display control unit 12 displays an IVUS shooting position mark indicating the IVUS shooting position in an overlay display at a position on the image frame Fan indicated by the IVUS position information Ln.

また、表示制御部12は、指示された血管系路上の一点をIVUS撮影した画像フレームFinからIVUS動画像Piを頭出し再生する。血管系路上の一点は、入力部14を用いてアンギオ動画像Paから指示される。アンギオ動画像Paに現れている血管経路上の一点にカーソルが合わせられてクリック等により選択されると、表示制御部12は、その選択点に最も近いIVUS位置情報Lnが付された画像フレームFanを検索し、その画像フレームFanからアンギオ動画像Paを頭出し再生を開始する。同時に、表示制御部12、頭出し再生を開始した画像フレームFanと同時に撮影された画像フレームFinからIVUS動画像Piを頭出し再生する。   Further, the display control unit 12 cues and reproduces the IVUS moving image Pi from the image frame Fin obtained by IVUS imaging of one point on the designated vascular system path. One point on the vascular system path is instructed from the angio moving image Pa using the input unit 14. When the cursor is placed on a point on the blood vessel path appearing in the angio moving image Pa and selected by clicking or the like, the display control unit 12 displays the image frame Fan with the IVUS position information Ln closest to the selected point. And an angio moving image Pa is cued and reproduced from the image frame Fan. At the same time, the display control unit 12 cues and reproduces the IVUS moving image Pi from the image frame Fin taken at the same time as the image frame Fan that has started cueing reproduction.

図6は、このような画像表示装置1による同期処理の動作を示すフローチャートである。   FIG. 6 is a flowchart showing the operation of the synchronization process by such an image display apparatus 1.

まず、図7に示すように、同期処理部15は、IVUS動画像Piの各画像フレームFinの一覧を表示部13に表示させる(S01)。入力部14を用いて、表示されている各画像フレームFinから分岐点520が現れた画像フレームFidが選択されると(S02)、同期処理部15は、画像フレームFidの撮影時刻Tdを算出し(S03)、算出した撮影時刻Tdと同時刻tdに撮影されたアンギオ動画像Paの画像フレームFadにフラグFsを付加する(S04)。   First, as illustrated in FIG. 7, the synchronization processing unit 15 causes the display unit 13 to display a list of the image frames Fin of the IVUS moving image Pi (S01). When the image frame Fid in which the branch point 520 appears is selected from each displayed image frame Fin using the input unit 14 (S02), the synchronization processing unit 15 calculates the shooting time Td of the image frame Fid. (S03), a flag Fs is added to the image frame Fad of the angio moving image Pa photographed at the same time td as the calculated photographing time Td (S04).

次に、同期処理部15は、図8に示すように、画像フレームFadを表示部13に表示させる(S05)。入力部14を用いて、表示されている画像フレームFad上の分岐点520に相当する位置が指示されると(S06)、そのIVUS位置情報Ldを画像フレームFadに付加する(S07)。   Next, as shown in FIG. 8, the synchronization processing unit 15 displays the image frame Fad on the display unit 13 (S05). When the position corresponding to the branch point 520 on the displayed image frame Fad is designated using the input unit 14 (S06), the IVUS position information Ld is added to the image frame Fad (S07).

さらに、同期処理部15は、血管500を各画像フレームFanから抽出する(S08)。そして、同期処理部15は、各画像フレームFanと画像フレームFadの撮影時間差tsnを算出し(S09)、撮影時間差tsnとカテーテル210の引抜速度vとからその撮影時間差tsnでカテーテル210が引き抜かれた距離Dnを算出し(S10)、分岐点520として指示された画像上の位置から血管系路上を距離Dnだけ辿った位置を示すIVUS位置情報Lnを各画像フレームFanに付加する(S11)。   Further, the synchronization processing unit 15 extracts the blood vessel 500 from each image frame Fan (S08). Then, the synchronization processing unit 15 calculates an imaging time difference tsn between each image frame Fan and the image frame Fad (S09), and the catheter 210 is extracted with the imaging time difference tsn from the imaging time difference tsn and the extraction speed v of the catheter 210. The distance Dn is calculated (S10), and IVUS position information Ln indicating the position traced on the vascular system path from the position designated as the branch point 520 by the distance Dn is added to each image frame Fan (S11).

図9は、空間同期処理済みのアンギオ動画像Pa及びIVUS動画像Piを同時表示する動作を示すフローチャートである。   FIG. 9 is a flowchart showing an operation of simultaneously displaying the angio moving image Pa and the IVUS moving image Pi that have been subjected to the spatial synchronization processing.

表示制御部12は、アンギオ動画像Pa及びIVUS動画像Piを並べて、フラグFsが付された画像フレームFidと画像フレームFadから同時に再生表示させる(S21)。同時に、表示制御部12は、表示する画像フレームFanに付されているIVUS位置情報Lnが示すアンギオ動画像Paの画像上の位置にIVUS撮影位置マークをオーバーレイ表示させる(S22)。   The display control unit 12 arranges the angio moving image Pa and the IVUS moving image Pi, and reproduces and displays them simultaneously from the image frame Fid and the image frame Fad with the flag Fs attached (S21). At the same time, the display control unit 12 displays an IVUS shooting position mark in an overlay position at a position on the image of the angio moving image Pa indicated by the IVUS position information Ln attached to the image frame Fan to be displayed (S22).

図10aに示すように、入力部14を用いてアンギオ動画像Pa上の一点が選択されると(S23)、表示制御部12は、選択された画像上の位置に最も近いIVUS位置情報Lnが付された画像フレームFanを保管部11から検索する(S24)。該当する画像フレームFanが見つかると、表示制御部12は、その画像フレームFanの撮影時刻と同一の撮影時刻の画像フレームFinをIVUS動画像Piから特定する(S25)。   As shown in FIG. 10a, when a point on the angio moving image Pa is selected using the input unit 14 (S23), the display control unit 12 displays the IVUS position information Ln closest to the position on the selected image. The attached image frame Fan is searched from the storage unit 11 (S24). When the corresponding image frame Fan is found, the display control unit 12 specifies the image frame Fin having the same shooting time as the shooting time of the image frame Fan from the IVUS moving image Pi (S25).

そして、表示制御部12は、図10bに示すように、検索された画像フレームFan及び特定された画像フレームFinからアンギオ動画像PaとIVUS動画像Piとを頭出し再生する(S26)。   Then, as shown in FIG. 10b, the display control unit 12 cues and reproduces the angio moving image Pa and the IVUS moving image Pi from the searched image frame Fan and the specified image frame Fin (S26).

以上の説明では、分岐点520を基準点として、その基準点からの血管系路上の距離を基に各画像フレームFanでのIVUS撮影位置情報Lnを算出した。しかし、例えば、心臓を撮影する場合等のように血管500が脈動に応じて伸び縮みする場合には、基準点を2点設定して比率によりIVUS撮影位置情報Lnを算出することが好適である。以下、同期処理部15のIVUS撮影位置情報Lnの算出に係る変形例について説明する。   In the above description, the IVUS imaging position information Ln in each image frame Fan is calculated based on the distance on the vascular system road from the branch point 520 as the reference point. However, for example, when the blood vessel 500 expands and contracts according to the pulsation, such as when the heart is imaged, it is preferable to set two reference points and calculate the IVUS imaging position information Ln based on the ratio. . Hereinafter, modified examples relating to the calculation of the IVUS imaging position information Ln by the synchronization processing unit 15 will be described.

図11は、血管が伸び縮みする場合にアンギオ動画像Pa上でIVUS撮影位置を特定する概念を示す模式図である。   FIG. 11 is a schematic diagram showing the concept of specifying the IVUS imaging position on the angio moving image Pa when the blood vessel expands and contracts.

図11に示すように、同期処理部15は、アンギオ動画像Paの画像フレームFadにおける分岐点520と分岐点530の血管系路上の距離Da、画像フレームFadに現れる血管系路を基準にした場合の各撮影時刻のIVUS撮影位置と分岐点520との血管系路上の距離Db、画像フレームFanにおける分岐点520と分岐点530の血管系路上の距離Dcを用いて、画像フレームFanにおける分岐点520とIVUS撮影位置との距離Ddを算出する。即ち、同期処理部15は、距離Dcと距離Daとの比で距離Dbを補正して距離Ddを算出する。   As shown in FIG. 11, the synchronization processing unit 15 uses the distance Da on the vascular system path between the branch point 520 and the branch point 530 in the image frame Fad of the angio moving image Pa, and the vascular system path appearing in the image frame Fad as a reference. The branch point 520 in the image frame Fan using the distance Db on the vascular system path between the IVUS imaging position and the branch point 520 at each imaging time and the distance Dc on the vascular system path between the branch point 520 and the branch point 530 in the image frame Fan. And a distance Dd between the IVUS imaging position and the IVUS imaging position. That is, the synchronization processing unit 15 calculates the distance Dd by correcting the distance Db by the ratio of the distance Dc and the distance Da.

同期処理部15は、上記処理のため、画像フレームFadにおいて分岐点520と分岐点530とを指定させ、その距離Daを算出し保持しておく。また、同期処理部15は、周知の移動物体の検出法、例えば、2次元の相互相関係数のピーク位置から位置ベクトルを推定する方法や、画像の濃度勾配を利用したオプティカルフロー法等を用いて各画像フレームFanにおける分岐点520と分岐点530を追跡し、距離Dcを算出する。そして、距離Dcを距離Daで除した値に距離Dbを乗じて距離Ddを算出し、画像フレームFan上の分岐点520から血管経路上を分岐点530に向けて距離Ddだけ辿って到達点を画像フレームFanのIVUS撮影位置情報Lnとする。   For the above processing, the synchronization processing unit 15 designates the branch point 520 and the branch point 530 in the image frame Fad, and calculates and holds the distance Da. The synchronization processing unit 15 uses a known moving object detection method, for example, a method for estimating a position vector from the peak position of a two-dimensional cross-correlation coefficient, an optical flow method using an image density gradient, or the like. Then, the branch point 520 and the branch point 530 in each image frame Fan are tracked, and the distance Dc is calculated. Then, the distance Dd is calculated by multiplying the value obtained by dividing the distance Dc by the distance Da by the distance Db. The distance Dd is traced from the branch point 520 on the image frame Fan toward the branch point 530 by the distance Dd. The IVUS shooting position information Ln of the image frame Fan is used.

図12は、血管が伸び縮みする場合の頭出し再生処理の概念を示す模式図である。   FIG. 12 is a schematic diagram showing the concept of cueing reproduction processing when a blood vessel expands and contracts.

表示制御部12の頭出し再生処理においては、入力部14を用いて選択された一点xに対応する画像フレームFad上の対応点と分岐点520との距離、及び引抜速度vから、経過時間を算出し、その経過時間後に撮影されたアンギオ動画像Paの画像フレームFan及びIVUS動画像Piの画像フレームFinから再生を行う。   In the cue reproduction process of the display control unit 12, the elapsed time is calculated from the distance between the corresponding point on the image frame Fad corresponding to the point x selected using the input unit 14 and the branch point 520, and the extraction speed v. Calculation is performed, and reproduction is performed from the image frame Fan of the angio moving image Pa and the image frame Fin of the IVUS moving image Pi taken after the elapsed time.

具体的には、表示制御部12は、選択された一点とそのときに表示されていた画像フレームFan上の分岐点520との血管系路上の距離Deを、距離Daと距離Dcの比で補正することで、画像フレームFidに現れる血管系路を基準にした場合の対応点を求める。そして、画像フレームFidにおける対応点と分岐点520との血管系路上の距離Dfと引抜速度vとから撮影時間差tsnを算出し、IVUS動画像Piの画像フレームFidから撮影時間差tsnが経過したときに撮影された画像フレームFinから頭出し再生する。   Specifically, the display control unit 12 corrects the distance De on the vascular system path between the selected point and the branch point 520 on the image frame Fan displayed at that time by the ratio of the distance Da to the distance Dc. As a result, the corresponding points when the vascular system path appearing in the image frame Fid is used as a reference are obtained. Then, the imaging time difference tsn is calculated from the distance Df between the corresponding point in the image frame Fid and the branch point 520 on the vascular system path and the extraction speed v, and when the imaging time difference tsn has elapsed from the image frame Fid of the IVUS moving image Pi. Cue playback is performed from the captured image frame Fin.

図13は、このような画像表示装置1のアンギオ動画像Pa上でのIVUS撮影位置の特定動作の変形例を示すフローチャートである。   FIG. 13 is a flowchart showing a modification of the IVUS shooting position specifying operation on the angio moving image Pa of the image display apparatus 1.

まず、同期処理部15は、画像フレームFadを表示部13に表示させる(S31)。入力部14を用いて、表示されている画像フレームFad上の分岐点520と分岐点530に相当する位置が指示されると(S32)、そのIVUS位置情報Ldを画像フレームFadに付加する(S33)。   First, the synchronization processing unit 15 displays the image frame Fad on the display unit 13 (S31). When the input unit 14 is used to specify the branch point 520 and the position corresponding to the branch point 530 on the displayed image frame Fad (S32), the IVUS position information Ld is added to the image frame Fad (S33). ).

また、同期処理部15は、分岐点520と分岐点530との間の血管経路を抽出し(S34)、画像フレームFadにおける分岐点520と分岐点530の血管系路上の距離Daを算出する(S35)。   In addition, the synchronization processing unit 15 extracts a blood vessel route between the branch point 520 and the branch point 530 (S34), and calculates a distance Da on the blood vessel system path between the branch point 520 and the branch point 530 in the image frame Fad ( S35).

さらに、同期処理部15は、画像フレームFadに現れる血管系路を基準にした場合の各撮影時刻tnのIVUS撮影位置と分岐点520との血管系路上の距離Dbを算出する(S36)。   Further, the synchronization processing unit 15 calculates a distance Db on the vascular system path between the IVUS imaging position at each imaging time tn and the branch point 520 with reference to the vascular system path appearing in the image frame Fad (S36).

次に、同期処理部15は、各画像フレームFanから血管像と分岐点520と分岐点530を抽出して(S37)、各画像フレームFanにおける分岐点520と分岐点530との血管系路上の距離Dcを算出する(S38)。   Next, the synchronization processing unit 15 extracts the blood vessel image, the branch point 520, and the branch point 530 from each image frame Fan (S37), and on the vascular system path between the branch point 520 and the branch point 530 in each image frame Fan. The distance Dc is calculated (S38).

そして、同期処理部15は、距離Dcを距離Daで除した値に距離Dbを乗じて距離Ddを算出し(S39)、画像フレームFanにおいて分岐点520から距離Ddだけ引き抜いた画像上の位置をIVUS撮影位置情報Lnとして画像フレームFanに関連づける(S40)。   Then, the synchronization processing unit 15 calculates the distance Dd by multiplying the value obtained by dividing the distance Dc by the distance Da by the distance Db (S39), and the position on the image extracted by the distance Dd from the branch point 520 in the image frame Fan. The IVUS shooting position information Ln is associated with the image frame Fan (S40).

図14は、このような画像表示装置1の頭出し再生動作の変形例を示すフローチャートである。   FIG. 14 is a flowchart showing a modified example of the cue reproduction operation of such an image display apparatus 1.

入力部14を用いてアンギオ動画像Pa上の一点xが選択されると(S51)、表示制御部12は、選択されたときに表示されていた画像フレームFanにおいてその一点xと分岐点520との距離Deを算出する(S52)。   When one point x on the angio moving image Pa is selected using the input unit 14 (S51), the display control unit 12 displays the one point x and the branch point 520 in the image frame Fan displayed at the time of selection. The distance De is calculated (S52).

距離Deを算出すると、表示制御部12は、画像フレームFadにおける分岐点520と分岐点530の血管系路上の距離Daを、画像フレームFanにおける分岐点520と分岐点530との血管系路上の距離Dcで除して、距離Deを乗じることで、画像フレームFadにおける対応点と分岐点520との距離Dfを算出する(S53)。   When the distance De is calculated, the display control unit 12 calculates the distance Da on the vascular system path between the branch point 520 and the branch point 530 in the image frame Fad, and the distance on the vascular system path between the branch point 520 and the branch point 530 in the image frame Fan. A distance Df between the corresponding point in the image frame Fad and the branch point 520 is calculated by dividing by Dc and multiplying by the distance De (S53).

距離Dfを算出すると、表示制御部12は、距離Dfを引抜速度vで除して、撮影時間差tsnを算出する(S54)。   When the distance Df is calculated, the display control unit 12 calculates the shooting time difference tsn by dividing the distance Df by the drawing speed v (S54).

そして、画像フレームFadから撮影時間差tsn後に撮影されたアンギオ動画像Paの画像フレームFanとIVUS動画像Piの画像フレームFinを保管部11から読み出し(S55)、読み出した画像フレームから再生を開始する(S56)。   Then, the image frame Fan of the angio moving image Pa and the image frame Fin of the IVUS moving image Pi taken after the shooting time difference tsn from the image frame Fad are read from the storage unit 11 (S55), and reproduction is started from the read image frame (S55). S56).

以上の画像表示装置1及びその表示方法によれば、アンギオ動画像PaとIVUS動画像Piとの間に時間的空間的同期がとれるため、IVUS動画像Piに現れている撮影位置が同時に再生されているアンギオ動画像Pa上のどの位置に相当するのかを容易に把握することができ、速やかに狭窄部位の観察に移行することができる。   According to the image display device 1 and the display method thereof, since the temporal and spatial synchronization is established between the angio moving image Pa and the IVUS moving image Pi, the shooting position appearing in the IVUS moving image Pi is simultaneously reproduced. It is possible to easily grasp which position on the moving angio moving image Pa corresponds to the observation of the stenosis site.

本実施形態に係る画像表示装置を含むネットワークを示す図である。It is a figure which shows the network containing the image display apparatus which concerns on this embodiment. X線診断装置と管腔内超音波診断装置とによる撮影態様を示す模式図である。It is a schematic diagram which shows the imaging | photography aspect by an X-ray diagnostic apparatus and an intraluminal ultrasonic diagnostic apparatus. 画像表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of an image display apparatus. 画像表示装置の時間的及び空間的な同期処理の概念を示す模式図である。It is a schematic diagram which shows the concept of the temporal and spatial synchronization process of an image display apparatus. アンギオ動画像Pa上でIVUS撮影位置を特定する概念を示す模式図である。It is a schematic diagram which shows the concept which specifies an IVUS imaging | photography position on the angio moving image Pa. 画像表示装置による同期処理の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the synchronous process by an image display apparatus. 分岐点が現れている画像フレームを選択させるための画面図である。It is a screen figure for selecting an image frame in which a branch point appears. 分岐点の位置を指示させるための画面図である。It is a screen figure for instruct | indicating the position of a branch point. アンギオ動画像及びIVUS動画像を同時表示する動作を示すフローチャートである。It is a flowchart which shows the operation | movement which displays an angio moving image and an IVUS moving image simultaneously. 頭出し再生を示す画面図である。It is a screen figure which shows cue reproduction | regeneration. 血管が伸び縮みする場合にアンギオ動画像上でIVUS撮影位置を特定する概念を示す模式図である。It is a schematic diagram which shows the concept which specifies an IVUS imaging | photography position on an angio moving image when a blood vessel expands and contracts. 画血管が伸び縮みする場合の頭出し再生処理の概念を示す模式図である。It is a schematic diagram which shows the concept of cueing reproduction | regeneration processing in case an image vessel expands and contracts. 画像表示装置のアンギオ動画像上でのIVUS撮影位置の特定動作の変形例を示すフローチャートである。It is a flowchart which shows the modification of the specific operation | movement of the IVUS imaging | photography position on the angio moving image of an image display apparatus. 画像表示装置の頭出し再生動作の変形例を示すフローチャートである。It is a flowchart which shows the modification of cueing reproduction | regeneration operation | movement of an image display apparatus.

符号の説明Explanation of symbols

1 画像表示装置
11 保管部
12 表示制御部
13 表示部
14 入力部
15 同期処理部
100 X線診断装置
110 X線管
200 IVUS装置
210 カテーテル
220 超音波振動子
300 タイムサーバ
400 画像保管装置
410 データベース
500 血管
510 狭窄部位
520 分岐点
530 分岐点
Pa アンギオ動画像
Fan 画像フレーム
Fad 画像フレーム
Pi IVUS動画像
Fin 画像フレーム
Fid 画像フレーム
v 引抜速度
DESCRIPTION OF SYMBOLS 1 Image display apparatus 11 Storage part 12 Display control part 13 Display part 14 Input part 15 Synchronization processing part 100 X-ray diagnostic apparatus 110 X-ray tube 200 IVUS apparatus 210 Catheter 220 Ultrasonic transducer 300 Time server 400 Image storage apparatus 410 Database 500 Blood vessel 510 Stenosis site 520 Branch point 530 Branch point Pa Angio video image Fan image frame Fad image frame Pi IVUS video Fin image frame Fid image frame v Extraction speed

Claims (10)

表示手段及び入力手段を含むユーザインターフェースを有し、血管腔内の撮影位置を移動させながらIVUS撮影して得られた複数フレームの血管内超音波動画像と、その血管を造影撮影した複数フレームのアンギオ動画像とを同時再生する画像表示装置であって、
前記ユーザインターフェースを用いたフレーム選択に基づき、前記血管内超音波動画像上で血管分岐位置が現れている第1の画像フレームを特定する第1のデータ処理手段と、
前記第1の画像フレームと撮影時刻が同一のアンギオ動画像の第2の画像フレームに現れている同一血管分岐位置が前記ユーザインターフェースを用いて選択されると、この血管分岐位置、前記第2の画像フレームとその他の画像フレームとの撮影時間差、及び前記血管腔内の撮影位置の移動速度に基づき、前記アンギオ動画像の各画像フレーム上でのIVUS撮影位置を特定する第2のデータ処理手段と、
前記第1の画像フレームと前記第2の画像フレームの表示タイミングを合わせて前記アンギオ動画像と前記血管内超音波動画像とを表示するとともに、各画像フレームで特定された前記IVUS撮影位置を示すマークを前記アンギオ動画像上に表示する表示制御手段と、
を備えること、
を特徴とする画像表示装置。
A user interface including a display unit and an input unit, and a plurality of frames of intravascular ultrasound moving images obtained by performing IVUS imaging while moving the imaging position in the blood vessel cavity, and a plurality of frames obtained by contrast imaging of the blood vessels An image display device that simultaneously reproduces an angio moving image,
First data processing means for identifying a first image frame in which a blood vessel branch position appears on the intravascular ultrasound moving image based on frame selection using the user interface;
When the same blood vessel branch position appearing in the second image frame of the angio moving image having the same shooting time as that of the first image frame is selected using the user interface, the blood vessel branch position, Second data processing means for specifying an IVUS imaging position on each image frame of the angio moving image based on an imaging time difference between the image frame and another image frame and a moving speed of the imaging position in the blood vessel cavity; ,
The angio moving image and the intravascular ultrasound moving image are displayed in accordance with the display timing of the first image frame and the second image frame, and the IVUS imaging position specified in each image frame is indicated. Display control means for displaying a mark on the angio moving image;
Providing
An image display device characterized by the above.
前記第2のデータ処理手段は、
一点の前記血管分岐位置が前記第2の画像フレームから選択されると、前記撮影時間差と前記移動速度に基づいて、その血管分岐位置からの移動距離を算出し、前記血管分岐の位置から前記移動距離離れた位置をIVUS撮影位置として画像フレーム毎に関連づけすること、
を特徴とする請求項1記載の画像表示装置。
The second data processing means includes
When one blood vessel branch position is selected from the second image frame, a movement distance from the blood vessel branch position is calculated based on the imaging time difference and the moving speed, and the movement from the blood vessel branch position is calculated. Associating a position at a distance as an IVUS shooting position for each image frame;
The image display device according to claim 1.
前記第2のデータ処理手段は、
前記第2の画像フレームから前記IVUS撮影で通過する二点の前記血管分岐位置が選択されると、前記第2の画像フレーム上で測定される前記二点間の距離と他の画像フレーム上で測定される前記二点間の距離との比率で前記移動距離を補正することで、前記IVUS撮影位置を特定すること、
を特徴とする請求項2記載の画像表示装置。
The second data processing means includes
When the two blood vessel branch positions passing through the IVUS imaging from the second image frame are selected, the distance between the two points measured on the second image frame and the other image frames Specifying the IVUS imaging position by correcting the movement distance in a ratio to the measured distance between the two points;
The image display device according to claim 2.
前記表示制御手段は、
前記アンギオ動画像上の所望の一点が前記ユーザインターフェースを用いて選択されると、選択された一点に最も近いIVUS撮影位置が関連づけられた前記アンギオ動画像の画像フレーム及びその画像フレームと撮影時刻が同一の血管内超音波動画像の画像フレームから頭出し再生すること、
を特徴とする請求項2記載の画像表示装置。
The display control means includes
When a desired point on the angio moving image is selected using the user interface, the image frame of the angio moving image associated with the IVUS shooting position closest to the selected point, the image frame, and the shooting time are displayed. Cueing and playing from the same intravascular ultrasound video frame,
The image display device according to claim 2.
前記表示制御手段は、
前記アンギオ動画像上の所望の一点が前記入力手段を用いて選択されると、前記一点と選択されたときに表示されていた画像フレーム上の片方の前記血管分岐位置との距離を、前記比率で補正して、補正された距離と前記移動速度とから前記撮影時間差を算出し、当該撮影時間差に対応する前記アンギオ動画像の画像フレーム及びその画像フレームと撮影時刻が同一の血管内超音波動画像の画像フレームから頭出し再生すること、
を特徴とする請求項3記載の画像表示装置。
The display control means includes
When a desired point on the angio moving image is selected using the input means, the distance between the one point and the one of the blood vessel branch positions on the image frame displayed when the point is selected is calculated as the ratio. The imaging time difference is calculated from the corrected distance and the moving speed, and the intra-vascular ultrasound motion having the same imaging time as the image frame of the angio moving image corresponding to the imaging time difference and the image frame is calculated. Cueing from the image frame of the image,
The image display device according to claim 3.
血管腔内の撮影位置を移動させながらIVUS撮影して得られた複数フレームの血管内超音波動画像と、その血管を造影撮影した複数フレームのアンギオ動画像とを同時再生する画像表示方法であって、
表示手段及び入力手段を含むユーザインターフェースを用いたフレーム選択に基づき、前記血管内超音波動画像上で血管分岐位置が現れている第1の画像フレームを特定する第一のステップと、
前記第1の画像フレームと撮影時刻が同一のアンギオ動画像の第2の画像フレームに現れている同一血管分岐位置が前記ユーザインターフェースを用いて選択されると、この血管分岐位置、前記第2の画像フレームと他の画像フレームとの撮影時間差、及び前記血管腔内の撮影位置の移動速度に基づき、前記アンギオ動画像の各画像フレーム上でのIVUS撮影位置を特定する第二のステップと、
前記第1の画像フレームと前記第2の画像フレームの表示タイミングを合わせて前記アンギオ動画像と前記血管内超音波動画像とを再生するとともに、各画像フレームで特定された前記IVUS撮影位置を示すマークを前記アンギオ動画像上に表示するする第三のステップと、
を有すること、
を特徴とする画像表示方法。
This is an image display method for simultaneously reproducing a plurality of intravascular ultrasound moving images obtained by IVUS imaging while moving the imaging position in the blood vessel cavity and a plurality of frames of angio moving images obtained by contrast imaging of the blood vessels. And
A first step of identifying a first image frame in which a blood vessel branch position appears on the intravascular ultrasonic moving image based on frame selection using a user interface including a display means and an input means;
When the same blood vessel branch position appearing in the second image frame of the angio moving image having the same shooting time as that of the first image frame is selected using the user interface, the blood vessel branch position, A second step of specifying an IVUS imaging position on each image frame of the angio moving image based on an imaging time difference between the image frame and another image frame and a moving speed of the imaging position in the blood vessel cavity;
The angio moving image and the intravascular ultrasound moving image are reproduced in synchronization with the display timing of the first image frame and the second image frame, and the IVUS imaging position specified in each image frame is indicated. A third step of displaying a mark on the angio video,
Having
An image display method characterized by the above.
前記第二のステップでは、
一点の前記血管分岐位置が前記第2の画像フレームから選択されると、前記撮影時間差と前記移動速度に基づいて、その血管分岐位置からの移動距離を算出し、前記血管分岐の位置から前記移動距離離れた位置をIVUS撮影位置として画像フレーム毎に関連づけすること、
を特徴とする請求項6記載の画像表示方法。
In the second step,
When one blood vessel branch position is selected from the second image frame, a movement distance from the blood vessel branch position is calculated based on the imaging time difference and the moving speed, and the movement from the blood vessel branch position is calculated. Associating a position at a distance as an IVUS shooting position for each image frame;
The image display method according to claim 6.
前記第二のステップでは、
前記第2の画像フレームから前記IVUS撮影で通過する二点の前記血管分岐位置が選択されると、前記第2の画像フレーム上で測定される前記二点間の距離と他の画像フレーム上で測定される対応距離との比率で前記移動距離を補正することで、前記IVUS撮影位置を特定すること、
を特徴とする請求項7記載の画像表示方法。
In the second step,
When the two blood vessel branch positions passing through the IVUS imaging from the second image frame are selected, the distance between the two points measured on the second image frame and the other image frames Identifying the IVUS imaging position by correcting the moving distance in proportion to the measured corresponding distance;
The image display method according to claim 7.
前記第三のステップでは、
前記アンギオ動画像上の所望の一点が前記ユーザインターフェースを用いて選択されると、選択された一点に最も近いIVUS撮影位置が関連づけられた前記アンギオ動画像の画像フレーム及びその画像フレームと撮影時刻が同一の血管内超音波動画像の画像フレームから頭出し再生すること、
を特徴とする請求項7記載の画像表示方法。
In the third step,
When a desired point on the angio moving image is selected using the user interface, the image frame of the angio moving image associated with the IVUS shooting position closest to the selected point, the image frame, and the shooting time are displayed. Cueing and playing from the same intravascular ultrasound video frame,
The image display method according to claim 7.
前記第三のステップでは、
前記アンギオ動画像上の一点が前記ユーザインターフェースを用いて選択されると、前記一点と選択されたときに表示されていた画像フレーム上の片方の前記血管分岐位置との距離を、前記比率で補正して、補正された距離と前記移動速度とから前記撮影時間差を算出し、当該撮影時間差に対応する前記アンギオ動画像の画像フレーム及びその画像フレームと撮影時刻が同一の血管内超音波動画像の画像フレームから頭出し再生すること、
を特徴とする請求項8記載の画像表示方法。
In the third step,
When a point on the angio moving image is selected using the user interface, the distance between the point and one of the blood vessel branch positions on the image frame displayed when the point is selected is corrected by the ratio. Then, the imaging time difference is calculated from the corrected distance and the moving speed, and the image frame of the angio moving image corresponding to the imaging time difference and the intravascular ultrasonic moving image having the same imaging time as the image frame are calculated. Playing back from the image frame,
The image display method according to claim 8.
JP2008332017A 2008-12-26 2008-12-26 Image display device and image display method Active JP5390180B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008332017A JP5390180B2 (en) 2008-12-26 2008-12-26 Image display device and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008332017A JP5390180B2 (en) 2008-12-26 2008-12-26 Image display device and image display method

Publications (2)

Publication Number Publication Date
JP2010148778A true JP2010148778A (en) 2010-07-08
JP5390180B2 JP5390180B2 (en) 2014-01-15

Family

ID=42568544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008332017A Active JP5390180B2 (en) 2008-12-26 2008-12-26 Image display device and image display method

Country Status (1)

Country Link
JP (1) JP5390180B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012061086A (en) * 2010-09-15 2012-03-29 Toshiba Corp Medical image display system
JP2012130680A (en) * 2010-12-17 2012-07-12 General Electric Co <Ge> Synchronization for medical imaging systems
JP2013543786A (en) * 2010-11-24 2013-12-09 ボストン サイエンティフィック サイムド,インコーポレイテッド System and method for detecting and displaying body lumen bifurcation
JP2014000280A (en) * 2012-06-20 2014-01-09 Hitoshi Ishida Image processor
JP2014500043A (en) * 2010-09-30 2014-01-09 コーニンクレッカ フィリップス エヌ ヴェ Bifurcation detection using traceable imaging devices and imaging tools
WO2015044982A1 (en) * 2013-09-27 2015-04-02 テルモ株式会社 Image diagnostic device and method for controlling same
JP2015159904A (en) * 2014-02-26 2015-09-07 株式会社東芝 Medical image management device and medical image management program
JP2015173820A (en) * 2014-03-14 2015-10-05 テルモ株式会社 Image processing device, image processing method, and program
JP2017519544A (en) * 2014-05-06 2017-07-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Device, system and method for blood vessel evaluation
WO2017130927A1 (en) * 2016-01-26 2017-08-03 テルモ株式会社 Image display device and method for controlling same
JP2017532173A (en) * 2014-09-12 2017-11-02 ライトラボ・イメージング・インコーポレーテッド Method, system and apparatus for time calibration of an intravascular imaging system
JP2018011807A (en) * 2016-07-22 2018-01-25 株式会社日立製作所 Image display device, x-image diagnostic apparatus and image display method
EP3488787A1 (en) * 2017-11-27 2019-05-29 Koninklijke Philips N.V. Ultrasound image generation system for generating an intravascular ultrasound image
WO2023042861A1 (en) * 2021-09-17 2023-03-23 テルモ株式会社 Learning model generation method, image processing device, information processing device, training data generation method, and image processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282974A (en) * 2006-04-19 2007-11-01 Shimadzu Corp Diagnostic imaging apparatus for circulatory organ
JP2008301984A (en) * 2007-06-07 2008-12-18 Toshiba Corp Examination data processing apparatus and examination system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282974A (en) * 2006-04-19 2007-11-01 Shimadzu Corp Diagnostic imaging apparatus for circulatory organ
JP2008301984A (en) * 2007-06-07 2008-12-18 Toshiba Corp Examination data processing apparatus and examination system

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012061086A (en) * 2010-09-15 2012-03-29 Toshiba Corp Medical image display system
JP2014500043A (en) * 2010-09-30 2014-01-09 コーニンクレッカ フィリップス エヌ ヴェ Bifurcation detection using traceable imaging devices and imaging tools
US9724071B2 (en) 2010-09-30 2017-08-08 Koninklijke Philips N.V. Detection of bifurcations using traceable imaging device and imaging tool
JP2013543786A (en) * 2010-11-24 2013-12-09 ボストン サイエンティフィック サイムド,インコーポレイテッド System and method for detecting and displaying body lumen bifurcation
JP2012130680A (en) * 2010-12-17 2012-07-12 General Electric Co <Ge> Synchronization for medical imaging systems
JP2014000280A (en) * 2012-06-20 2014-01-09 Hitoshi Ishida Image processor
JPWO2015044982A1 (en) * 2013-09-27 2017-03-02 テルモ株式会社 Diagnostic imaging apparatus and operating method thereof
WO2015044982A1 (en) * 2013-09-27 2015-04-02 テルモ株式会社 Image diagnostic device and method for controlling same
JP2015159904A (en) * 2014-02-26 2015-09-07 株式会社東芝 Medical image management device and medical image management program
JP2015173820A (en) * 2014-03-14 2015-10-05 テルモ株式会社 Image processing device, image processing method, and program
JP2017519544A (en) * 2014-05-06 2017-07-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Device, system and method for blood vessel evaluation
JP2017532173A (en) * 2014-09-12 2017-11-02 ライトラボ・イメージング・インコーポレーテッド Method, system and apparatus for time calibration of an intravascular imaging system
US10499813B2 (en) 2014-09-12 2019-12-10 Lightlab Imaging, Inc. Methods, systems and apparatus for temporal calibration of an intravascular imaging system
WO2017130927A1 (en) * 2016-01-26 2017-08-03 テルモ株式会社 Image display device and method for controlling same
JPWO2017130927A1 (en) * 2016-01-26 2018-11-22 テルモ株式会社 Image display device and control method thereof
JP2018011807A (en) * 2016-07-22 2018-01-25 株式会社日立製作所 Image display device, x-image diagnostic apparatus and image display method
EP3488787A1 (en) * 2017-11-27 2019-05-29 Koninklijke Philips N.V. Ultrasound image generation system for generating an intravascular ultrasound image
CN111655158A (en) * 2017-11-27 2020-09-11 皇家飞利浦有限公司 Ultrasound image generation system for generating intravascular ultrasound images
WO2023042861A1 (en) * 2021-09-17 2023-03-23 テルモ株式会社 Learning model generation method, image processing device, information processing device, training data generation method, and image processing method

Also Published As

Publication number Publication date
JP5390180B2 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
JP5390180B2 (en) Image display device and image display method
JP5044069B2 (en) Medical diagnostic imaging equipment
JP5305616B2 (en) Inspection data processing apparatus and inspection system
JP5022667B2 (en) Medical image processing apparatus and medical image processing method
WO2015045368A1 (en) Image processing device, image display system, imaging system, image processing method, and program
JP5550689B2 (en) Image processing device
JP5641792B2 (en) MEDICAL IMAGE DIAGNOSIS DEVICE AND METHOD FOR CONTROLLING MEDICAL IMAGE DIAGNOSIS DEVICE
JP2013521849A (en) Visualization of motion in angiographic images
JP2011172644A (en) X-ray image diagnostic apparatus and x-ray image processing method
WO2015044979A1 (en) Information processing device, imaging system, information processing method and program
JPH11514191A (en) How to combine images from sub-images
JP5449843B2 (en) Image display device and image display method
JP5523656B2 (en) Image processing device
JP2006000400A (en) Ultrasonic diagnostic apparatus
JP5306529B2 (en) Medical diagnostic imaging equipment
JP2010131048A (en) X-ray diagnostic imaging apparatus
JP4795832B2 (en) X-ray system for cardiology
JP5215363B2 (en) Medical diagnostic imaging equipment
JP6608111B2 (en) MEDICAL IMAGE STORAGE / REPRODUCING DEVICE AND METHOD, AND PROGRAM
JP2006130129A (en) X-ray diagnostic imaging apparatus
WO2015044978A1 (en) Information processing device, imaging system, information processing method and program
JP2006346080A (en) X-ray diagnostic system
WO2016098665A1 (en) Medical equipment system and method for operating medical equipment system
JP4526815B2 (en) Ultrasonic diagnostic equipment
JP2005270328A (en) Medical picture display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131010

R150 Certificate of patent or registration of utility model

Ref document number: 5390180

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350