KR102082270B1 - Device and method for matching x-ray fluoroscopy image with angiographic image - Google Patents
Device and method for matching x-ray fluoroscopy image with angiographic image Download PDFInfo
- Publication number
- KR102082270B1 KR102082270B1 KR1020180041814A KR20180041814A KR102082270B1 KR 102082270 B1 KR102082270 B1 KR 102082270B1 KR 1020180041814 A KR1020180041814 A KR 1020180041814A KR 20180041814 A KR20180041814 A KR 20180041814A KR 102082270 B1 KR102082270 B1 KR 102082270B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- time
- real
- viewpoint information
- angiography
- Prior art date
Links
- 238000002594 fluoroscopy Methods 0.000 title claims description 33
- 238000000034 method Methods 0.000 title claims description 33
- 238000002583 angiography Methods 0.000 claims abstract description 108
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 38
- 238000003780 insertion Methods 0.000 claims abstract description 17
- 230000037431 insertion Effects 0.000 claims abstract description 17
- 238000002565 electrocardiography Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 10
- 239000002872 contrast media Substances 0.000 description 7
- 210000004351 coronary vessel Anatomy 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000002586 coronary angiography Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 230000003907 kidney function Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
혈관 조영 영상 및 X선 투시 영상의 정합 장치가 개시된다. 본 발명의 실시 예에 따른 혈관 조영 영상 및 X선 투시 영상의 정합 장치는, 복수의 프레임의 혈관 조영 영상 및 상기 복수의 프레임의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보를 저장하는 저장부, 혈관 삽입 기구를 포함하는 실시간 X선 투시 영상을 촬영하는 영상획득부, 상기 실시간 X선 투시 영상을 촬영한 실시간 시점 정보를 획득하는 센싱부, 영상을 디스플레이 하는 디스플레이부, 및, 상기 복수의 시점 정보 및 상기 실시간 시점 정보에 기초하여, 상기 복수의 프레임의 혈관 조영 영상 중 상기 실시간 시점 정보에 대응하는 특정 프레임의 혈관 조영 영상을 획득하고, 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 정합하여 디스플레이 하는 제어부를 포함한다.Disclosed is a registration device for angiographic images and X-ray perspective images. According to an embodiment of the present disclosure, an apparatus for matching angiography images and X-ray perspective images may include a storage unit configured to store a plurality of viewpoint information corresponding to angiography images of a plurality of frames and angiography images of the plurality of frames, respectively; An image acquisition unit for capturing a real-time X-ray perspective image including a blood vessel insertion mechanism, a sensing unit for obtaining real-time viewpoint information of the real-time X-ray perspective image, a display unit for displaying an image, and the plurality of viewpoint information And angiography images of specific frames corresponding to the real-time viewpoint information among the angiography images of the plurality of frames, based on the real-time viewpoint information, and angiography images of the specific frames and the real-time X-ray perspective images. And a controller for matching and displaying.
Description
본 발명은 심장 박동 주기 내 복수의 혈관 조영 영상을 저장하고, 실시간 X선 투시 영상을 실시간 X선 투시 영상의 촬영 시점에 대응하는 혈관 조영 영상과 합성할 수 있는, 혈관 조영 영상 및 X선 투시 영상의 정합 장치에 대한 것이다.The present invention can store a plurality of angiographic images in the heart rate cycle, and can synthesize a real-time X-ray perspective image and an angiography image corresponding to the point of time of the real-time X-ray perspective image, angiography image and X-ray perspective image For the matching device.
관상동맥 중재술에서, 시술자는 조영제를 투여하여 획득한 한 심장 주기 (약 0.8초) 이상에 해당하는 관상동맥 조영 영상(도 1b)을 하나의 모니터에 재생하면서 보고, 다른 한 쪽 모니터로는 실시간 Fluoroscopy 영상(도 1a)(일반적으로 10Hz~20Hz)을 보면서 가이드와이어 또는 카테터 등을 조작한다 In coronary intervention, the operator views coronary angiograms (Figure 1b) on one monitor, which corresponds to at least one cardiac cycle (approximately 0.8 seconds) obtained by administering the contrast agent, while real-time Fluoroscopy on the other monitor. While operating the guide wire or catheter while watching the image (Fig. 1a) (typically 10 Hz to 20 Hz)
가이드와이어는 가늘고 긴 도자로서, 협착이 일어난 관상동맥 혈관까지 카테터가 삽입될 수 있게 길을 트는 역할을 하는 도구로서, 가이드와이어의 삽입은 관상동맥 중재술에서 큰 역할을 차지한다. Guidewires are elongated ceramics, a tool that allows the catheter to be inserted into the coronary vessels where stenosis has occurred, and the insertion of guidewires plays a large role in coronary intervention.
의사들은 가이드와이어를 삽입하기 위해 가이드카테터를 관상동맥 입구까지 삽입한 후, 가이드와이어를 가이드카테터를 따라 관상동맥 입구에 삽입하여, 이후 협착된 타겟 혈관까지 삽입하는 조작을 수행한다. The doctor inserts the guide catheter to the coronary inlet to insert the guide wire, and then inserts the guide wire along the guide catheter into the coronary inlet, and then inserts it into the narrowed target blood vessel.
한편 도 1a에서 도시하는 바와 같이 Fluoroscopy 영상에서는 가이드 와이어(111), 가이드 카테터 등의 수술 도구만 보인다.Meanwhile, as shown in FIG. 1A, only a surgical tool such as a
따라서 의사는, 서로 다른 두 모니터 화면을 번갈아 가며 보면서 가이드와이어의 혈관(121) 내 상대적인 위치를 확인하는 과정이 필요하거나, 혈관 조영제를 사용하여 혈관 조영 영상을 촬영함으로써, 타겟으로 하는 병변 혈관으로 가이드와이어가 제대로 삽입되었는지를 판단한다. Therefore, the doctor needs to check the relative position within the
따라서 의사는 관상동맥의 해부학적 구조 및 위치를 정확하게 인지하고 있어야 능숙한 가이드와이어 조작이 가능하다. Therefore, a doctor must be aware of the anatomical structure and location of the coronary arteries in order to be able to manipulate the guidewire.
한편, 심장 박동에 따라 심장이 수축 팽창되면서 관상동맥 혈관이 규칙적으로 움직이는데, 이 때, 혈관 형상을 따라 이동하는 가이드와이어도 이 움직임을 따르게 된다. Meanwhile, as the heart contracts and expands as the heart beats, the coronary vessels move regularly. At this time, the guide wire moving along the vessel shape also follows this movement.
이에 따라 실시간 fluoroscopy 영상에 나타나는 가이드와이어를 보면, 조작이 없다고 할지라도 심장 박동에 따른 혈관의 변화에 따라 가이드와이어의 움직임 또한 따라 변한다. As a result, when the guide wire appears on the real-time fluoroscopy image, even if there is no manipulation, the guide wire changes according to the change of blood vessel according to the heartbeat.
따라서 뇌와 같이 정적인 혈관이 아닌 관상동맥과 같이 동적인 혈관에서 가이드와이어가 향하는 방향과 혈관 내의 위치를 영상 상에서 제대로 파악하기란 쉽지 않다. Therefore, it is not easy to properly identify the direction of the guide wire and the position in the blood vessel in the dynamic blood vessel such as the coronary artery, rather than the static blood vessel such as the brain.
더불어 호흡에 따라 fluoroscopy 영상 내 심장의 위상이 변화하기 때문에, 이에 대한 움직임 또한 가이드와이어의 위치 파악을 용이치 않게 한다. In addition, since the phase of the heart in the fluoroscopy image changes with respiration, the movement of this also makes it difficult to locate the guidewire.
도 2에서는, 가이드와이가 삽입된 상태에서 혈관 조영 영상을 찍어 추출한 두개의 이미지(210, 220)를 도시하였다.In FIG. 2, two
제1 이미지(210)와 제2 이미지(260)는 불과 1프레임 차이(0.1초)에 불과하나, 혈관(221, 271)의 형상이나 위치가 변경된다.Although the
즉 도 2a 및 도 2b를 참고하면, 제2 이미지(260)에서의 가이드와이어(261)의 끝단 팁(261a)의 위치(A 선), 제1 이미지(210)에서의 가이드와이어(211)의 끝단 팁(211a)의 위치(B 선)으로부터 이동한 것을 알 수 있다.2A and 2B, the position (line A) of the
특히 복잡하고 꾸불한 혈관 분기에서는 이러한 차이가 더욱 심하며, 이에 따라 잘못된 분기로 삽입을 할 가능성이 있고, 경우에 따라서는 전체 시술에서 가이드와이어 삽입이 대다수의 시간을 차지할 때도 있다. This is especially true in complex and complicated vascular bifurcation, which may lead to incorrect bifurcation, and in some cases guide wire insertion takes the majority of the time in the entire procedure.
이런 문제로 인해 관상 동맥 내 가이드와이어의 위치를 확인하기 위해서는 잦은 조영제 투여가 필요하고, 조영제 투여의 증가는 환자의 콩팥 기능에 문제를 야기 시킬 수 있다. Due to this problem, frequent contrast agent administration is required to identify the position of the guidewire in the coronary artery, and an increase in contrast agent administration may cause problems in the kidney function of the patient.
더불어 가이드와이어의 위치 확인을 위해 혈관 조영 영상을 자주 촬영하는 경우, 혈관 조영 영상 촬영에는 fluoroscopy 영상에 비해 X-ray 노출량이 상대적으로 많아서 환자와 의사의 피폭량을 증가시키게 된다. In addition, when angiography images are frequently taken to confirm the location of the guidewires, the X-ray exposure is relatively higher than that of the fluoroscopy images in angiography imaging, thereby increasing the exposure of the patient and the doctor.
한편, 현재 관련 영상 정합 기술들은 혈관의 형상을 확인하는 3D 정합에 특화되어 있다. On the other hand, related image registration techniques are currently specialized in 3D registration for identifying the shape of blood vessels.
특히 Chronic total occlusions (CTO)와 같이 혈관이 완벽히 협착되어 조영제를 투여하여도 혈관의 형상이 보이지 않는 경우에 시술 중에 촬영한 혈관 조영 영상과 미리 촬영해 놓은 CTA 영상의 혈관 모델을 조영 영상 위로 투사시켜 CTO 부분의 혈관을 확인하는 용도 등으로 사용된다. 이러한 시도는 3차원 모델을 얻기 위해 수술 전 과정에서 CT 촬영을 해야 하며, 3차원 모델은 정적이기 때문에, 심장 박동에 따라 변화하는 혈관의 움직임 등을 반영하기 어렵거나 모든 심장 박동을 고려한 4D 모델의 획득이 어려우며, 정합 시간이 다소 소요되는 문제점이 있다.In particular, when the vessel is completely constricted such as chronic total occlusions (CTO) and the contrast is not visible even after the contrast agent is administered, the angiography image taken during the procedure and the CTA image previously taken are projected onto the contrast image. Used to identify blood vessels in the CTO part. This approach requires a CT scan before the surgery to obtain a three-dimensional model. Since the three-dimensional model is static, it is difficult to reflect the movement of blood vessels according to the heart rate or the 4D model considering all heart rates. Acquisition is difficult and there is a problem that the matching time takes a while.
관련한 특허로는 JP2011-156321이 있는데, 이 방법은 심박에서 체내 움직임이 작아지는 타이밍의 조영 영상 이미지를 이용하는 방법으로, 심장 주기 내의 하나의 특징만점만을 이용하므로 전체 심장 주기에 대한 혈관의 움직임을 보여 주지는 못한다는 단점이 있다.A related patent is JP2011-156321, which uses an imaging image of a timing at which the body's movement becomes smaller at the heart rate, and shows the movement of blood vessels over the entire cardiac cycle by using only one characteristic point within the cardiac cycle. The disadvantage is that it can not give.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 심장 박동 주기 내 복수의 혈관 조영 영상을 저장하고, 실시간 X선 투시 영상을 실시간 X선 투시 영상의 촬영 시점에 대응하는 혈관 조영 영상과 합성할 수 있는, 혈관 조영 영상 및 X선 투시 영상의 정합 장치에 대한 것이다.The present invention is to solve the above-described problems, an object of the present invention, to store a plurality of angiography images in the heart rate cycle, the real-time X-ray perspective image angiography corresponding to the point of time to shoot the real-time X-ray perspective image A registration device for angiographic images and X-ray perspective images, which can be synthesized with an image.
본 발명의 일 실시 예에 따른 혈관 조영 영상 및 X선 투시 영상의 정합 장치는, 복수의 프레임의 혈관 조영 영상 및 상기 복수의 프레임의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보를 저장하는 저장부, 혈관 삽입 기구를 포함하는 실시간 X선 투시 영상을 촬영하는 영상획득부, 상기 실시간 X선 투시 영상을 촬영한 실시간 시점 정보를 획득하는 센싱부, 영상을 디스플레이 하는 디스플레이부, 및, 상기 복수의 시점 정보 및 상기 실시간 시점 정보에 기초하여, 상기 복수의 프레임의 혈관 조영 영상 중 상기 실시간 시점 정보에 대응하는 특정 프레임의 혈관 조영 영상을 획득하고, 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 정합하여 디스플레이 하는 제어부를 포함한다.The registration device of the angiography image and the X-ray perspective image according to an embodiment of the present invention, the storage unit for storing a plurality of viewpoint information corresponding to the angiographic image of the plurality of frames and the angiographic image of the plurality of frames, respectively And an image acquisition unit for capturing a real-time X-ray perspective image including a blood vessel insertion device, a sensing unit for acquiring real-time view point information of the real-time X-ray perspective image, a display unit for displaying an image, and the plurality of viewpoints. An angiography image of a specific frame corresponding to the real time view information is obtained from the angiography images of the plurality of frames based on the information and the real time view information, and the angiography image of the specific frame is obtained from the real time X-ray perspective image. And a control unit for displaying and matching with each other.
도 1은 관상 동맥 조영 영상 및 실시간 Fluoroscopy 영상을 도시한 도면이다.
도 2는, 가이드와이가 삽입된 상태에서 촬영된 혈관 조영 영상을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른, 혈관 조영 영상 및 X선 투시 영상의 정합 장치를 설명하기 위한 블록도이다.
도 4 및 도 5는 본 발명의 실시 예에 따른, 복수의 프레임의 혈관 조영 영상 및 복수의 프레임의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보를 저장하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른, X선 투시 영상을 촬영하고 X선 투시 영상에 대응하는 시점 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른, 혈관 조영 영상과 X선 투시 영상을 정합하는 방법을 설명하기 위한 도면이다.
도 8은 공간적 정합 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른, 혈관 조영 영상 및 X선 투시 영상의 정합 장치의 동작 방법을 설명하기 위한 도면이다.1 shows coronary angiography images and real-time Fluoroscopy images.
FIG. 2 is a diagram illustrating angiography images photographed with the guidewai inserted.
3 is a block diagram illustrating a registration device of angiography images and X-ray fluoroscopy images according to an embodiment of the present invention.
4 and 5 are diagrams for describing a method of storing a plurality of viewpoint information corresponding to angiography images of a plurality of frames and angiography images of a plurality of frames, respectively, according to an embodiment of the present invention.
6 is a diagram for describing a method of capturing an X-ray perspective image and acquiring viewpoint information corresponding to the X-ray perspective image, according to an exemplary embodiment.
FIG. 7 is a diagram for describing a method of matching angiography images and X-ray perspective images according to an exemplary embodiment.
8 is a diagram for describing a spatial matching method.
9 is a view for explaining a method of operation of the matching device of the angiography image and X-ray fluoroscopy image according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, and the same or similar components will be given the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles. In addition, in the following description of the embodiments disclosed herein, when it is determined that the detailed description of the related known technology may obscure the gist of the embodiments disclosed herein, the detailed description thereof will be omitted. In addition, the accompanying drawings are intended to facilitate understanding of the embodiments disclosed herein, but are not limited to the technical spirit disclosed herein by the accompanying drawings, all changes included in the spirit and scope of the present invention. It should be understood to include equivalents and substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprises" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, and the same or similar components will be given the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles. In addition, in the following description of the embodiments disclosed herein, when it is determined that the detailed description of the related known technology may obscure the gist of the embodiments disclosed herein, the detailed description thereof will be omitted. In addition, the accompanying drawings are intended to facilitate understanding of the embodiments disclosed herein, but are not limited to the technical spirit disclosed herein by the accompanying drawings, all changes included in the spirit and scope of the present invention. It should be understood to include equivalents and substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprises" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
도 3은 본 발명의 실시 예에 따른, 혈관 조영 영상 및 X선 투시 영상의 정합 장치를 설명하기 위한 블록도이다.3 is a block diagram illustrating a registration device of angiography images and X-ray fluoroscopy images according to an embodiment of the present invention.
도 3에 따르면, 본 발명의 실시 예에 따른 혈관 조영 영상 및 X선 투시 영상(Fluoroscopy 영상)의 정합 장치는, 저장부(310), 영상 획득부(320), 센싱부(330) 및 제어부(340)를 포함할 수 있다.According to FIG. 3, the matching device of angiography image and X-ray fluoroscopy image according to an embodiment of the present invention may include a
저장부(310)는 복수의 프레임의 혈관 조영 영상을 저장할 수 있다. 여기서 복수의 프레임의 혈관 조영 영상이란, 한 주기의 심장 박동 주기를 동일한 시간 간격으로 나누어 촬영한 복수의 혈관 조영 영상일 수 있다.The
예를 들어 심장 박동 주기가 0.8초이고, 하나의 심장 박동 주기를 20프레임으로 나누는 경우, 저장부(310)에는 0.04초 간격으로 촬영된 20개의 혈관 조영 영상이 저장될 수 있다.For example, if the heartbeat period is 0.8 seconds and one heartbeat period is divided into 20 frames, the
한편 저장부(310)는 복수의 프레임의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보를 저장할 수 있다.The
여기서 복수의 시점 정보란, 하나의 심장 박동 주기 내에서 혈관 조영 영상이 촬영된 시점을 나타내기 위한 정보로써, 복수의 프레임의 혈관 조영 영상을 획득한 시점 각각에서의 심전도 신호일 수 있다.Here, the plurality of viewpoint information is information for indicating the time point at which the angiography image was captured within one heartbeat cycle, and may be an electrocardiogram signal at each time point when the angiography images of the plurality of frames are acquired.
예를 들어 저장부(310)는 제1 프레임의 혈관 조영 영상에 대응하는 제1 시점 정보를 저장할 수 있다. 여기서 제1 시점 정보는, 제1 프레임의 혈관 조영 영상이 촬영된 시점에서의 심전도 신호를 의미할 수 있다. 그리고 저장부(310)는 제1 프레임에 대응하는 제1 시점 정보로부터 제20 프레임에 대응하는 제20 시점 정보까지 저장할 수 있다.For example, the
한편 복수의 프레임의 혈관 조영 영상을 획득한 시점 각각에서의 심전도 신호는, 복수의 프레임의 혈관 조영 영상이 각각 촬영된 시점에서의 심전도 신호의 크기뿐만 아니라 복수의 프레임의 혈관 조영 영상이 각각 촬영된 시점 이전 또는 전후의 심전도 신호의 변화의 형태를 포함할 수 있다.The ECG signal at each time point when the angiography image of the plurality of frames is obtained is obtained by capturing the angiogram image of the plurality of frames as well as the magnitude of the ECG signal at the time when the angiography image of the plurality of frames is respectively photographed. And a form of change in the ECG signal before or after the time point.
영상 획득부(320)는 복수의 프레임의 혈관 조영 영상을 촬영할 수 있다. 이 경우 제어부(340)는 촬영된 복수의 프레임의 혈관 조영 영상을 저장부(310)에 저장할 수 있다.The image acquirer 320 may capture angiography images of a plurality of frames. In this case, the
센싱부(330)는 사용자(환자)의 심전도 신호를 측정할 수 있다. 이 경우 제어부(340)는 심장 박동 한 주기 동안의 심전도 신호를 저장할 수 있다.The
한편 제어부(340)는 복수의 프레임의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보를 획득할 수 있다.The
구체적으로 제어부(340)는 혈관 조영 영상이 촬영되는 경우, 혈관 조영 영상이 촬영된 시점에서의 심전도 신호를 저장할 수 있다. In detail, when the angiography image is taken, the
이 경우 제어부(340)는 혈관 조영 영상이 촬영된 시점에서의 심전도 신호의 크기를 저장할 수도 있으며, 혈관 조영 영상이 촬영된 시점 이전 또는 전후의 심전도 신호를 저장할 수도 있다.In this case, the
예를 들어 심장 박동 주기의 시작 후 0.02초 후에 제1프레임의 혈관 조영 영상이 촬영된 경우, 제어부(340)는 심장 박동 주기의 시작 후 0초부터 심장 박동 주기의 시작 후 0.04초까지의 심전도 신호를 저장할 수 있다.For example, when the angiography image of the first frame is taken 0.02 seconds after the start of the heartbeat cycle, the
또 다른 예를 들어, 심장 박동 주기의 시작 후 0.06초 후에 제2프레임의 혈관 조영 영상이 촬영된 경우, 제어부(340)는 심장 박동 주기의 시작 후 0.04초부터 심장 박동 주기의 시작 후 0.08초까지의 심전도 신호를 저장할 수 있다.For another example, when the angiography image of the second frame is taken 0.06 seconds after the start of the heartbeat cycle, the
한편 제어부(340)는 실시간 X선 투시 영상(Fluoroscopy 영상)을 촬영할 수 있다. 실시간 X선 투시 영상(Fluoroscopy 영상)에는 혈관 삽입 기구가 포함될 수 있다.The
여기서 혈관 삽입 기구는, 가이드 와이어 및 카테터 중 적어도 하나를 포함할 수 있다.The blood vessel insertion instrument may include at least one of a guide wire and a catheter.
한편 센싱부(330)는 실시간 X선 투시 영상이 촬영되는 경우, 실시간 X선 투시 영상이 촬영을 촬영한 실시간 시점 정보를 획득할 수 있다.Meanwhile, when the real-time X-ray fluoroscopy image is captured, the
구체적으로 제어부(340)는 실시간 X선 투시 영상이 촬영되는 경우, 실시간 X선 투시 영상이 촬영된 시점에서의 심전도 신호를 획득할 수 있다. In detail, when the real-time X-ray fluoroscopy image is captured, the
이 경우 제어부(340)는 실시간 X선 투시 영상이 촬영된 시점에서의 심전도 신호의 크기를 획득할 수도 있으며, 혈관 조영 영상이 촬영된 시점 이전 또는 전후의 심전도 신호를 획득할 수도 있다.In this case, the
한편 제어부(340)는 복수의 시점 정보 및 실시간 시점 정보에 기초하여, 복수의 프레임의 혈관 조영 영상 중 실시간 정보에 대응하는 특정 프레임의 혈관 조영 영상을 획득할 수 있다.The
또한 제어부(340)는 특정 프레임의 혈관 조영 영상을 실시간 X선 투시 영상과 정합하여 디스플레이 할 수 있다.In addition, the
도 4 및 도 5는 본 발명의 실시 예에 따른, 복수의 프레임의 혈관 조영 영상 및 복수의 프레임의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보를 저장하는 방법을 설명하기 위한 도면이다.4 and 5 are diagrams for describing a method of storing a plurality of viewpoint information corresponding to angiography images of a plurality of frames and angiography images of a plurality of frames, respectively, according to an embodiment of the present invention.
영상 획득부(320)는 제어부의 제어 하에, 복수의 프레임(1 내지 11)의 혈관 조영 영상(420)을 촬영할 수 있다. The image acquirer 320 may capture
여기서 복수의 프레임의 혈관 조영 영상(420)이란, 한 주기의 심장 박동 주기(t)를 동일한 시간 간격으로 나누어 촬영한 복수의 혈관 조영 영상일 수 있다.Here, the
이 경우 제어부는 복수의 프레임의 혈관 조영 영상(420)을 저장부에 저장할 수 있다.In this case, the controller may store the
한편 센싱부 심전도 신호(410)를 측정할 수 있다.Meanwhile, the sensing
이 경우 제어부는 복수의 프레임(1 내지 11)의 혈관 조영 영상(420)에 각각 대응하는 복수의 시점 정보를 획득하여 저장할 수 있다.In this case, the controller may acquire and store a plurality of viewpoint information corresponding to the
여기서 복수의 시점 정보란, 복수의 프레임의 혈관 조영 영상을 획득한 시점 각각에서의 심전도 신호(electrocardiography)일 수 있다.Here, the plurality of viewpoint information may be an electrocardiography signal at each of the viewpoints at which an angiographic image of a plurality of frames is obtained.
예를 들어 제어부는 제5 프레임(5)의 혈관 조영 영상(425)과 함께, 제5 프레임(5)의 혈관 조영 영상(425)에 대응하는 제5 시점 정보(t1)를 저장할 수 있다. 여기서 제5 시점 정보는, 제5 프레임(5)의 혈관 조영 영상(425)이 촬영된 시점에서의 심전도 신호를 의미할 수 있다. For example, the controller may store fifth view information t1 corresponding to the
또한 제5 프레임의 혈관 조영 영상이 촬영된 시점에서의 심전도 신호는, 제5 프레임의 혈관 조영 영상이 촬영된 시점(t1)에서의 심전도 신호의 크기뿐만 아니라 제5 프레임이 촬영된 시점 이전 또는 전후(t1)의 심전도 신호를 포함할 수 있다.In addition, the ECG signal at the time when the angiography image of the fifth frame is photographed is not only the magnitude of the ECG signal at the time point t1 at which the angiography image of the fifth frame is photographed, but before or after the time at which the fifth frame is photographed. It may include an electrocardiogram signal of (t1).
한편 제어부는 도 5에서 도시하는 바와 같이 복수의 프레임의 혈관 조영 영상을 이미지 처리하여 윤곽선 등의 혈관의 형상 정보를 획득할 수 있다.Meanwhile, as illustrated in FIG. 5, the controller may process the angiography images of the plurality of frames to acquire shape information of blood vessels such as contours.
한편 제어부는 혈관 조영 영상을 저장하는 것과 함께 심전도 신호를 의료용 디지털 영상 및 통신 표준(Digital Imaging and Communications in Medicine, DICOM) 표준에 따라 저장부에 저장할 수 있다.The controller may store the ECG signal and store the ECG signal in a storage unit in accordance with a digital imaging and communications standard (DICOM) standard.
한편 조영제를 투여하여 혈관 조영 영상을 촬영하여 저장한 후, 실시간 X선 투시 영상(fluoroscopy 영상)을 촬영하게 된다.On the other hand, after administering a contrast agent to take an angiographic image and store it, a real-time X-ray fluoroscopy image is taken.
도 6은 본 발명의 실시 예에 따른, X선 투시 영상을 촬영하고 X선 투시 영상에 대응하는 시점 정보를 획득하는 방법을 설명하기 위한 도면이다.FIG. 6 is a diagram for describing a method of photographing an X-ray perspective image and acquiring viewpoint information corresponding to the X-ray perspective image, according to an exemplary embodiment.
영상 획득부(320)는 제어부의 제어 하에, 실시간 X선 투시 영상을 촬영할 수 있다. The image acquirer 320 may capture a real-time X-ray perspective image under the control of the controller.
현재 시점에서 촬영된 X선 투시 영상을 제1 X선 투시 영상(710)이라고 명칭하도록 한다.The X-ray perspective image captured at the present point of time is referred to as a first
센싱부 심전도 신호(610)를 측정할 수 있다.The sensing
이 경우 제어부는 제1 X선 투시 영상(710)에 대응하는 실시간 시점 정보를 획득할 수 있다.In this case, the controller may acquire real-time view information corresponding to the first
여기서 실시간 시점 정보란, 실시간 X선 투시 영상을 획득한 시점에서의 심전도 신호(electrocardiography)를 의미할 수 있다.Here, the real-time view point information may mean an electrocardiography (electrocardiography) at the point of time when the real-time X-ray fluoroscopy image is acquired.
예를 들어 제어부는 제1 X선 투시 영상(710)과 함께, 제1 X선 투시 영상(710)에 대응하는 실시간 시점 정보(t2)인 심전도 신호를 획득할 수 있다.For example, the controller may acquire an electrocardiogram signal which is real time view information t2 corresponding to the first
또한 제1 X선 투시 영상(710)이 촬영된 시점에서의 심전도 신호는, 제1 X선 투시 영상(710)이 촬영된 시점에서의 심전도 신호의 크기뿐만 아니라 제5 프레임이 촬영된 시점 이전 또는 전후의 심전도 신호를 포함할 수 있다.In addition, the ECG signal at the time point when the first
한편 제어부는 제1 X선 투시 영상(710)을 이미지 처리하여, 혈관 삽입 기구의 형상 정보를 획득할 수 있다.The controller may image the
도 7은 본 발명의 실시 예에 따른, 혈관 조영 영상과 X선 투시 영상을 정합하는 방법을 설명하기 위한 도면이다.FIG. 7 is a diagram for describing a method of matching angiography images and X-ray perspective images according to an exemplary embodiment.
제어부는 복수의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보 중 X선 투시 영상의 실시간 시점 정보(t2)에 대응하는 특정 시점 정보(t1)를 획득할 수 있다.The controller may acquire specific viewpoint information t1 corresponding to real-time viewpoint information t2 of the X-ray perspective image among the plurality of viewpoint information corresponding to the plurality of angiographic images, respectively.
구체적으로 제어부는 실시간 시점 정보(t2)에 포함되는 심전도 신호(현재의 심전도 신호)와 복수의 혈관 조영 영상이 촬영되었을 당시의 하나의 심장 박동 주기 내의 심전도 신호를 상호 상관 방법을 통하여 비교할 수 있다.In more detail, the controller may compare the electrocardiogram signal (current ECG signal) included in the real-time view point information t2 and the electrocardiogram signal in one heartbeat period at the time when a plurality of angiographic images are taken through a cross correlation method.
그리고 제어부는 심전도 신호의 비교를 통하여, 실시간 시점 정보(t2)가 하나의 심장 박동 주기 내에서 어느 시점의 심전도 신호인지 결정할 수 있다.The controller may determine which point of time the ECG signal is within one heartbeat period by comparing the ECG signals.
그리고 제어부는 복수의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보 중 실시간 시점 정보에 대응하는 특정 시점 정보를 획득할 수 있다. 또한 상기 특정 시점 정보에 대응하는 특정 프레임의 혈관 조영 영상을 획득할 수 있다.The controller may acquire specific viewpoint information corresponding to real time viewpoint information from among a plurality of viewpoint information corresponding to the plurality of angiography images. In addition, angiography images of specific frames corresponding to the specific viewpoint information may be acquired.
예를 들어 제1 X선 투시 영상(710)이 촬영된 시점에서의 심전도 신호가, 제5프레임의 혈관 조영 영상(425)를 촬영한 시점에서의 심전도 신호에 대응하는 경우, 제어부는 복수의 혈관 조영 영상(420) 중 제5프레임의 혈관 조영 영상(425)을 획득할 수 있다.For example, when the ECG signal at the time when the first
한편 실시간 시점 정보에 대응하는 특정 시점 정보의 의미는, 실시간 시점 정보에 포함되는 심전도 신호와 특정 시점 정보에 포함되는 심전도 신호가 반드시 동일한 것을 의미하지 않는다.Meanwhile, the meaning of the specific view information corresponding to the real time view information does not necessarily mean that the ECG signal included in the real time view information and the ECG signal included in the specific view information are not necessarily the same.
구체적으로 제어부는 복수의 시점 정보 중 실시간 시점 정보에 가장 가까운 특정 시점 정보를 획득할 수 있다.In more detail, the controller may obtain specific view information closest to real time view information from among the plurality of view information.
예를 들어 복수의 혈관 조영 영상(420) 중 제4프레임의 혈관 조영 영상(424)은 혈관 박동의 한 주기가 시작한 후 0.16초 후에 촬영된 영상일 수 있으며, 복수의 혈관 조영 영상(420) 중 제5프레임의 혈관 조영 영상(425)은 혈관 박동의 한 주기가 시작한 후 0.2초 후에 촬영된 영상일 수 있다. For example, the
또한 제1 X선 투시 영상(710)은 심장 박동의 한 주기가 시작한 후 0.19초 후에 촬영된 영상일 수 있다.In addition, the first
이 경우 제어부는 복수의 혈관 조영 영상(420)에 각각 대응하는 복수의 시점 정보 및 제1 X선 투시 영상(710)이 촬영된 실시간 시점 정보를 이용하여, 실시간 시점 정보(0.19초)에 가장 가까운 특정 시점 정보(0.2초)를 획득할 수 있다.In this case, the controller uses the plurality of viewpoint information corresponding to the plurality of
이 경우 제어부는 특정 시점 정보(0.2초)에 대응하는 제5 프레임의 혈관 조영 영상(425)을 획득할 수 있다.In this case, the controller may acquire the
이 경우 제어부는 제1 X선 투시 영상(710)을 제5 프레임의 혈관 조영 영상(425)과 정합하여 디스플레이 할 수 있다.In this case, the controller may display the first
이를 위하여 혈관 조영 영상 및 X선 투시 영상의 정합 장치는, 영상을 디스플레이 하는 디스플레이부를 포함할 수 있다.To this end, the registration device of the angiography image and the X-ray perspective image may include a display unit for displaying an image.
한편 제어부는 제1 X선 투시 영상(710)과 제5 프레임의 혈관 조영 영상(425)을 시간적으로 정합할 뿐만 아니라, 제1 X선 투시 영상(710)과 제5 프레임의 혈관 조영 영상(425)을 공간적으로 정합하여 디스플레이 할 수 있다.In addition, the controller not only temporally matches the first
구체적으로 도 8을 참고하면, 제어부는 제5 프레임의 혈관 조영 영상을 이미지 처리 함으로써, 제5 프레임의 혈관 조영 영상에 포함된 혈관의 형상을 획득할 수 있다. Specifically, referring to FIG. 8, the controller may acquire the shape of blood vessels included in the angiography image of the fifth frame by image processing the angiography image of the fifth frame.
또한 제어부는 제1 X선 투시 영상(710)을 이미지 처리 함으로써, 제1 X선 투시 영상(710)에 포함된 혈관 삽입 기구의 형상을 획득할 수 있다.In addition, the controller may acquire the shape of the blood vessel insertion instrument included in the first
그리고 제어부는 제1 X선 투시 영상(710)에 포함된 혈관 삽입 기구의 형상 및 제5 프레임의 혈관 조영 영상(425)에 포함된 혈관의 형상에 기초하여, 혈관 삽입 기구의 위치를 혈관의 형상이나 위치에 맞도록 보정할 수 있다.The controller may be configured to determine the position of the blood vessel insertion apparatus based on the shape of the blood vessel insertion apparatus included in the
따라서 제어부는 제1 X선 투시 영상(710)과 제5 프레임의 혈관 조영 영상(425)을 시간적으로 정합하고 혈관 삽입 기구의 위치를 공간적으로 정합한 정합 영상을 생성하여 디스플레이 할 수 있다.Accordingly, the controller may generate and display a matched image obtained by temporally matching the first
한편 공간적 정합 과정에서는, iterative closet point (ICP) 방법, template matching 방법 등의 이미지 유사성 분석 방법이 동원될 수 있다.In the spatial matching process, image similarity analysis methods such as iterative closet point (ICP) method and template matching method can be mobilized.
한편 디스플레이부는 제1 디스플레이부, 제2 디스플레이부 및 제3 디스플레이부를 포함할 수 있다.The display unit may include a first display unit, a second display unit, and a third display unit.
그리고 제어부는 제5 프레임의 혈관 조영 영상(425)을 제1 디스플레이부에, 제1 X선 투시 영상(710)을 제2 디스플레이 부에, 그리고 제1 X선 투시 영상(710)과 제5 프레임의 혈관 조영 영상(425)을 시간적으로 정합한 영상을 제3 디스플레이부에 디스플레이 할 수 있다.The controller may include the
혈관의 형상은 심장 박동에 의하여 위치가 변하거나, 심 수축에 의하여 형상이 변화한다. 따라서 고정된 시점의 혈관 조영 영상과 현재 촬영된 X선 투시 영상을 합성하게 되면, 큰 오차가 발생하게 된다.The shape of the blood vessel is changed in position by the heart beat, or the shape is changed by the heart contraction. Therefore, when the angiography image of the fixed viewpoint and the current X-ray perspective image are synthesized, a large error occurs.
다만 본 발명은, 본 발명은 전체 심장 박동 주기 내의 복수의 혈관 조영 영상을 보유하고, 현재 촬영된 X선 투시 영상과 시간적으로 대응하는 혈관 조영 영상을 합성한다. 따라서 심장의 움직임에 의하여 혈관의 형상이나 위치가 변경되더라도, 오차를 최대한 줄일 수 있는 장점이 있다.However, the present invention, the present invention retains a plurality of angiographic images within the entire heart beat cycle, and synthesizes an angiographic image corresponding to the current X-ray perspective image taken in time. Therefore, even if the shape or position of the blood vessels by the movement of the heart, there is an advantage that can reduce the error as possible.
또한 본 발명에 따라, CT 촬영 등의 수술 전 과정이나, 특별한 준비 과정을 생략할 수 있다.In addition, according to the present invention, it is possible to omit a preoperative procedure or a special preparation procedure such as CT scan.
또한 본 발명에 따라 가이드 와이어의 혈관내 위치 정보를 명확하게 파악할 수 있다. 따라서 의사는 가이드 와이어의 위치 판단과 조작을 더욱 쉽게 할 수 있는 장점이 있다. 또한 혈관 내 가이드 와이어의 위치를 파악하기가 쉬워지기 때문에 조영제 사용량을 감소시켜서 환자에게 가해지는 부담을 완화할 수 있으며, 조영제 사용시 강해지는 X-ray로부터 환자와 의사의 피폭량을 감소시킬 수 있다.In addition, according to the present invention, the intravascular location information of the guide wire can be grasped clearly. Therefore, the doctor has an advantage of making it easier to determine and manipulate the position of the guide wire. In addition, it is easier to identify the location of the guide wire in the vessel, thereby reducing the burden on the patient by reducing the amount of contrast medium, and it is possible to reduce the exposure of the patient and the doctor from the X-ray that is increased when the contrast medium is used.
또한 혈관은 심장의 움직임뿐만 아니라 환자의 호흡에 따라서도 움직일 수 있다. 따라서 본 발명은, 시간적 정합 과정을 거쳐서 특정 혈관 조영 영상을 추출하고, 추출된 특정 혈관 조영 영상과 X선 투시 영상의 공간적 정합 과정을 추가함으로써, 심장의 움직임과 환자의 호흡에 대응하여 정확한 합성 영상을 제공할 수 있는 장점이 있다.Blood vessels can also move in response to breathing as well as heart movement. Therefore, the present invention extracts a specific angiographic image through a temporal matching process, and adds a spatial matching process of the extracted specific angiographic image and the X-ray fluoroscopy image, thereby accurately synthesizing the image corresponding to the movement of the heart and the breathing of the patient. There is an advantage that can provide.
도 9는 본 발명의 실시 예에 따른, 혈관 조영 영상 및 X선 투시 영상의 정합 장치의 동작 방법을 설명하기 위한 도면이다.9 is a view for explaining a method of operation of the matching device of the angiography image and X-ray fluoroscopy image according to an embodiment of the present invention.
본 발명의 실시 예에 따른 혈관 조영 영상 및 X선 투시 영상의 정합 장치의 동작 방법은, 복수의 프레임의 혈관 조영 영상 및 상기 복수의 프레임의 혈관 조영 영상에 각각 대응하는 복수의 시점 정보를 저장하는 단계(S910), 및 혈관 삽입 기구를 포함하는 실시간 X선 투시 영상을 촬영하는 단계(S920)를 포함할 수 있다.According to an embodiment of the present disclosure, an operation method of matching device of angiography image and X-ray perspective image may include storing a plurality of viewpoint information corresponding to angiography image of a plurality of frames and angiography image of the plurality of frames, respectively. In operation S910, and capturing a real-time X-ray fluoroscopy image including a blood vessel insertion device, operation S920 may be included.
또한 본 발명의 실시 예에 따른 혈관 조영 영상 및 X선 투시 영상의 정합 장치의 동작 방법은, 실시간 X선 투시 영상을 촬영한 실시간 시점 정보를 획득하는 단계(S930), 상기 복수의 시점 정보 및 상기 실시간 시점 정보에 기초하여, 상기 복수의 프레임의 혈관 조영 영상 중 상기 실시간 시점 정보에 대응하는 특정 프레임의 혈관 조영 영상을 획득하는 단계(S940) 및 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 정합하여 디스플레이 하는 단계(S950)를 포함할 수 있다.In addition, the operation method of the matching device of the angiography image and X-ray perspective image according to an embodiment of the present invention, the step of acquiring the real-time viewpoint information of the real-time X-ray perspective image (S930), the plurality of viewpoint information and the Obtaining an angiography image of a specific frame corresponding to the real time view information among the angiography images of the plurality of frames based on the real time view information (S940) and displaying the angiography image of the specific frame in the real time X-ray perspective view In operation S950, the image may be matched with the image and displayed.
이 경우 상기 복수의 시점 정보 중 상기 실시간 시점 정보에 대응하는 특정 시점 정보를 획득하고, 상기 특정 시점 정보에 대응하는 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 정합하여 디스플레이 하는 단계를 포함할 수 있다.In this case, obtaining specific viewpoint information corresponding to the real time viewpoint information among the plurality of viewpoint information, and matching the angiography image of the specific frame corresponding to the specific viewpoint information with the real time X-ray fluoroscopy image and displaying the same. It may include.
또한 상기 복수의 시점 정보 중 상기 실시간 시점 정보에 가장 가까운 상기 특정 시점 정보를 획득하는 단계를 포함할 수 있다.The method may further include obtaining the specific view information closest to the real time view information from among the plurality of view information.
또한 상기 혈관 삽입 기구의 형상 및 상기 특정 프레임의 혈관 조영 영상에 포함된 혈관의 형상에 기초하여, 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 공간적으로 정합하여 디스플레이 하는 단계를 포함할 수 있다.The method may further include spatially matching and displaying the angiography image of the specific frame with the real-time X-ray perspective image based on the shape of the blood vessel insertion instrument and the shape of the blood vessel included in the angiography image of the specific frame. Can be.
한편, 제어부는 일반적으로 장치의 제어를 담당하는 구성으로, 중앙처리장치, 마이크로 프로세서, 프로세서 등의 용어와 혼용될 수 있다.On the other hand, the control unit is generally configured to control the device, and may be used interchangeably with terms such as a central processing unit, a microprocessor, a processor, and the like.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be embodied as computer readable codes on a medium on which a program is recorded. The computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. There is this. In addition, the computer may include the controller 180 of the terminal. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
310: 저장부 320: 영상 획븍부
330: 센싱부 340: 제어부310: storage unit 320: image capture unit
330: sensing unit 340: control unit
Claims (14)
혈관 삽입 기구를 포함하는 실시간 X선 투시 영상을 촬영하는 영상획득부;
상기 실시간 X선 투시 영상을 촬영한 실시간 시점 정보를 획득하는 센싱부;
영상을 디스플레이 하는 디스플레이부; 및
상기 복수의 시점 정보 및 상기 실시간 시점 정보에 기초하여, 상기 복수의 프레임의 혈관 조영 영상 중 상기 실시간 시점 정보에 대응하는 특정 프레임의 혈관 조영 영상을 획득하고, 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 정합하여 디스플레이 하는 제어부;를 포함하고,
상기 복수의 프레임의 혈관 조영 영상은,
한 주기의 심장 박동 주기를 동일한 시간 간격으로 나누어 촬영한 복수의 혈관 조영 영상이고,
상기 복수의 시점 정보는,
상기 복수의 프레임의 혈관 조영 영상을 촬영한 시점 각각에서, 촬영한 시점 이전 또는 전후의 심전도 신호를 포함하고,
상기 실시간 시점 정보는,
상기 실시간 X선 투시 영상을 촬영한 시점에서, 촬영한 시점 이전 또는 전후의 심전도 신호를 포함하고,
상기 제어부는,
상기 복수의 시점 정보 중 상기 실시간 시점 정보에 대응하는 특정 시점 정보를 획득하고, 상기 특정 시점 정보에 대응하는 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 정합하여 디스플레이 하는
혈관 조영 영상 및 X선 투시 영상의 정합 장치.A storage unit which stores a plurality of viewpoint information corresponding to the angiographic image of the plurality of frames and the angiographic image of the plurality of frames, respectively;
An image acquisition unit for capturing a real-time X-ray perspective image including a blood vessel insertion device;
A sensing unit which acquires real-time viewpoint information of the real-time X-ray perspective image;
A display unit for displaying an image; And
Based on the plurality of viewpoint information and the real-time viewpoint information, angiography image of a specific frame corresponding to the real-time viewpoint information is obtained from the angiography images of the plurality of frames, and the angiography image of the specific frame is obtained in real time. And a controller configured to display and match the X-ray perspective image.
Angiography images of the plurality of frames,
It is a plurality of angiographic images taken by dividing one cycle of the heart rate at the same time interval,
The plurality of viewpoint information,
Each of the time points at which the angiographic images of the plurality of frames are taken includes an ECG signal before or after the time taken;
The real time view information,
At the time of capturing the real-time X-ray fluoroscopy image, the electrocardiogram signal before or after the photographing time point is included,
The control unit,
Acquiring specific viewpoint information corresponding to the real time viewpoint information among the plurality of viewpoint information, and matching and displaying angiography image of the specific frame corresponding to the specific viewpoint information with the real time X-ray perspective image;
Matching device of angiography image and X-ray perspective image.
상기 제어부는,
상기 복수의 시점 정보 중 상기 실시간 시점 정보에 가장 가까운 상기 특정 시점 정보를 획득하는
혈관 조영 영상 및 X선 투시 영상의 정합 장치.The method of claim 1,
The control unit,
Acquiring the specific viewpoint information closest to the real time viewpoint information among the plurality of viewpoint information
Matching device of angiography image and X-ray perspective image.
상기 제어부는,
상기 혈관 삽입 기구의 형상 및 상기 특정 프레임의 혈관 조영 영상에 포함된 혈관의 형상에 기초하여, 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 공간적으로 정합하여 디스플레이 하는
혈관 조영 영상 및 X선 투시 영상의 정합 장치.The method of claim 1,
The control unit,
Based on the shape of the blood vessel insertion instrument and the shape of the blood vessel included in the angiographic image of the particular frame, the angiographic image of the specific frame is spatially matched with the real-time X-ray perspective image for display
Matching device of angiography image and X-ray perspective image.
혈관 삽입 기구를 포함하는 실시간 X선 투시 영상을 촬영하는 단계;
상기 실시간 X선 투시 영상을 촬영한 실시간 시점 정보를 획득하는 단계; 및
상기 복수의 시점 정보 및 상기 실시간 시점 정보에 기초하여, 상기 복수의 프레임의 혈관 조영 영상 중 상기 실시간 시점 정보에 대응하는 특정 프레임의 혈관 조영 영상을 획득하고, 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 정합하여 디스플레이 하는 단계;를 포함하고,
상기 복수의 프레임의 혈관 조영 영상은,
한 주기의 심장 박동 주기를 동일한 시간 간격으로 나누어 촬영한 복수의 혈관 조영 영상이고,
상기 복수의 시점 정보는,
상기 복수의 프레임의 혈관 조영 영상을 촬영한 시점 각각에서, 촬영한 시점 이전 또는 전후의 심전도 신호를 포함하고,
상기 실시간 시점 정보는,
상기 실시간 X선 투시 영상을 촬영한 시점에서, 촬영한 시점 이전 또는 전후의 심전도 신호를 포함하고,
상기 디스플레이 하는 단계는,
상기 복수의 시점 정보 중 상기 실시간 시점 정보에 대응하는 특정 시점 정보를 획득하고, 상기 특정 시점 정보에 대응하는 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 정합하여 디스플레이 하는 단계를 포함하는
혈관 조영 영상 및 X선 투시 영상의 정합 장치의 동작 방법.Storing a plurality of viewpoint information corresponding to the angiographic image of the plurality of frames and the angiographic image of the plurality of frames, respectively;
Photographing a real-time X-ray perspective image including a blood vessel insertion instrument;
Acquiring real-time viewpoint information of the real-time X-ray perspective image; And
Based on the plurality of viewpoint information and the real-time viewpoint information, angiography image of a specific frame corresponding to the real-time viewpoint information is obtained from the angiography images of the plurality of frames, and the angiography image of the specific frame is obtained in real time. And matching the X-ray perspective image and displaying the same.
Angiography images of the plurality of frames,
It is a plurality of angiographic images taken by dividing one cycle of the heart rate at the same time interval,
The plurality of viewpoint information,
Each of the time points at which the angiographic images of the plurality of frames are taken includes an ECG signal before or after the time taken;
The real time view information,
At the time of capturing the real-time X-ray fluoroscopy image, the electrocardiogram signal before or after the photographing time point is included,
The displaying step,
Acquiring specific viewpoint information corresponding to the real-time viewpoint information among the plurality of viewpoint information, and matching and displaying angiography image of the specific frame corresponding to the specific viewpoint information with the real-time X-ray perspective image;
Method of operation of registration device of angiography image and X-ray fluoroscopy image.
상기 디스플레이 하는 단계는,
상기 복수의 시점 정보 중 상기 실시간 시점 정보에 가장 가까운 상기 특정 시점 정보를 획득하는 단계를 포함하는
혈관 조영 영상 및 X선 투시 영상의 정합 장치의 동작 방법.The method of claim 8,
The displaying step,
Acquiring the specific viewpoint information closest to the real time viewpoint information among the plurality of viewpoint information;
Method of operation of registration device of angiography image and X-ray fluoroscopy image.
상기 디스플레이 하는 단계는,
상기 혈관 삽입 기구의 형상 및 상기 특정 프레임의 혈관 조영 영상에 포함된 혈관의 형상에 기초하여, 상기 특정 프레임의 혈관 조영 영상을 상기 실시간 X선 투시 영상과 공간적으로 정합하여 디스플레이 하는 단계를 포함하는
혈관 조영 영상 및 X선 투시 영상의 정합 장치의 동작 방법.The method of claim 8,
The displaying step,
And spatially matching and displaying the angiography image of the specific frame with the real-time X-ray perspective image based on the shape of the blood vessel insertion instrument and the shape of the blood vessel included in the angiography image of the specific frame.
Method of operation of registration device of angiography image and X-ray fluoroscopy image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180041814A KR102082270B1 (en) | 2018-04-10 | 2018-04-10 | Device and method for matching x-ray fluoroscopy image with angiographic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180041814A KR102082270B1 (en) | 2018-04-10 | 2018-04-10 | Device and method for matching x-ray fluoroscopy image with angiographic image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190118454A KR20190118454A (en) | 2019-10-18 |
| KR102082270B1 true KR102082270B1 (en) | 2020-02-27 |
Family
ID=68462799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180041814A KR102082270B1 (en) | 2018-04-10 | 2018-04-10 | Device and method for matching x-ray fluoroscopy image with angiographic image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102082270B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102398522B1 (en) | 2021-02-08 | 2022-05-17 | 광주과학기술원 | Image registration method for coronary artery intervention and electronic device performing the same |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102479203B1 (en) * | 2021-03-31 | 2022-12-19 | 경북대학교 산학협력단 | Angiography guide indicator |
| KR102542972B1 (en) * | 2022-07-04 | 2023-06-15 | 재단법인 아산사회복지재단 | Method and apparatus for generating three-dimensional blood vessel structure |
| CN115363597A (en) * | 2022-08-30 | 2022-11-22 | 杭州朗博康医疗科技有限公司 | Medical image display method and device, electronic equipment and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080175455A1 (en) | 2006-09-29 | 2008-07-24 | Matthias John | Method and device for the combined representation of 2D fluoroscopic images and a static 3D image data set |
| JP5011455B1 (en) * | 2011-06-30 | 2012-08-29 | 医療法人社団神▲崎▼循環器クリニック | X-ray diagnostic equipment |
| KR101306332B1 (en) | 2012-05-14 | 2013-09-17 | (주)유엔씨 | Real-time angio image providing method |
| KR101652641B1 (en) * | 2015-06-05 | 2016-09-12 | 숭실대학교산학협력단 | Method for Image registration Using ECG signal and Apparatus Thereof |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102205898B1 (en) * | 2013-09-04 | 2021-01-21 | 삼성전자주식회사 | Method and Apparatus for registering medical images |
-
2018
- 2018-04-10 KR KR1020180041814A patent/KR102082270B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080175455A1 (en) | 2006-09-29 | 2008-07-24 | Matthias John | Method and device for the combined representation of 2D fluoroscopic images and a static 3D image data set |
| JP5011455B1 (en) * | 2011-06-30 | 2012-08-29 | 医療法人社団神▲崎▼循環器クリニック | X-ray diagnostic equipment |
| KR101306332B1 (en) | 2012-05-14 | 2013-09-17 | (주)유엔씨 | Real-time angio image providing method |
| KR101652641B1 (en) * | 2015-06-05 | 2016-09-12 | 숭실대학교산학협력단 | Method for Image registration Using ECG signal and Apparatus Thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102398522B1 (en) | 2021-02-08 | 2022-05-17 | 광주과학기술원 | Image registration method for coronary artery intervention and electronic device performing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190118454A (en) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102082270B1 (en) | Device and method for matching x-ray fluoroscopy image with angiographic image | |
| US8457375B2 (en) | Visualization method and imaging system | |
| US7657069B2 (en) | Method for endoluminal imaging with movement correction | |
| JP5503284B2 (en) | Motion compensated coronary blood flow from projection imaging | |
| US8275448B2 (en) | Method for reconstructing a 3D presentation | |
| JP4701179B2 (en) | Navigation system for navigating a catheter | |
| US8233688B2 (en) | Method of detection and compensation for respiratory motion in radiography cardiac images synchronized with an electrocardiogram signal | |
| JP6587808B2 (en) | Synchronize between cardiac image sequences acquired at different heart rates | |
| JP5550689B2 (en) | Image processing device | |
| CN101107628A (en) | Image processing system and method for alignment of images | |
| US11911203B2 (en) | Method and system for registering intra-object data with extra-object data | |
| US10555712B2 (en) | Segmenting an angiography using an existing three-dimensional reconstruction | |
| JP2011530365A (en) | Mask structure for cardiac subtraction | |
| CN106999129B (en) | Digital subtraction angiography | |
| JP6523686B2 (en) | X-ray diagnostic device | |
| KR101306332B1 (en) | Real-time angio image providing method | |
| JP5523656B2 (en) | Image processing device | |
| WO2017220703A1 (en) | Estimating the endoluminal path of an endoluminal device along a lumen | |
| US20180368798A1 (en) | Method for acquiring x-ray data, x-ray device, computer program and electronically readable storage medium | |
| CN111686332B (en) | System and method for simulating bilateral injection of contrast media into a patient | |
| JP4233326B2 (en) | Radiation cardiac examination method and apparatus | |
| KR20210063614A (en) | Image registration method and system for image guided cardiac intervention | |
| WO2008146273A1 (en) | Method for imaging during invasive procedures performed on organs and tissues moving in a rhythmic fashion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |