KR102336446B1

KR102336446B1 - Method and appartus for registering medical images

Info

Publication number: KR102336446B1
Application number: KR1020150002858A
Authority: KR
Inventors: 오영택; 김정배; 정자연; 황영규; 방원철
Original assignee: 삼성전자주식회사
Priority date: 2014-01-24
Filing date: 2015-01-08
Publication date: 2021-12-08
Also published as: KR20150088972A

Abstract

의료 영상 정합 방법 및 그 장치를 제공한다. 본 의료 영상 정합 방법은, 프로브가 대상체의 기준점 상에 위치하면, 기준점을 이용하여 제1 의료 영상의 제1 단면 및 제1 단면에 대응하는 제2 의료 영상의 제2 단면을 획득한다. A medical image registration method and apparatus are provided. In the medical image registration method, when the probe is positioned on the reference point of the object, the first cross-section of the first medical image and the second cross-section of the second medical image corresponding to the first cross-section are acquired using the reference point.

Description

Medical image registration method and apparatus {Method and appartus for registering medical images}

본 개시는 모달리티(modality)가 상이한 의료 영상들을 정합하는 방법 및 장치에 관한 것이다. The present disclosure relates to a method and an apparatus for registering medical images having different modalities.

최근 의료기술의 발달로 인해 높은 해상도의 의료 영상을 얻을 수 있다. 그리고, 의료 기구의 미세한 조작이 가능해 짐에 따라서, 시술 부위를 노출시키기 위한 절개를 하지 않고도 피부에 작은 구멍을 만든 뒤 혈관 혹은 기타 원하는 신체 부위에 직접 카테터나 의료용 바늘을 넣고 의학 영상 장비로 몸속을 관찰하면서 치료하는 방법이 개발되고 있다. 이를 "영상을 이용하는 시술법", "인터벤션(Interventional) 영상 시술법" 또는 "중재적 영상 시술법"이라고 부른다. With the recent development of medical technology, high-resolution medical images can be obtained. And, as micro-manipulation of medical instruments becomes possible, a small hole is made in the skin without incision to expose the treatment site, and then a catheter or medical needle is inserted directly into a blood vessel or other desired body part, and the inside of the body is scanned with medical imaging equipment. Observational treatment methods are being developed. This is called "image-based procedure", "interventional imaging procedure" or "interventional imaging procedure".

시술자는 장기나 병변의 위치를 영상을 통해 파악한다. 게다가 시술을 하는 동안 환자는 호흡을 하거나 움직이게 되는데 이에 따른 변화를 파악해야 한다. 따라서 시술자는 실시간 영상을 토대로 호흡이나 움직임을 정확하고 빠르게 파악하여 시술을 시행해야 하는데, 이 때 초음파 실시간 영상에서 장기와 병변의 형상을 육안으로 파악하기 쉽지 않다. The operator identifies the location of the organ or lesion through the image. In addition, during the procedure, the patient breathes or moves, so it is necessary to understand the changes. Therefore, the operator must accurately and quickly grasp respiration or movement based on the real-time image and perform the operation.

초음파 영상과 대조적으로, MR(Magnetic Resonance) 또는 CT 영상은 장기와 병변을 명확히 식별할 수 있다. 하지만, MR 또는 CT 영상은 의료 시술 중 실시간으로 영상이 획득될 수 없기 때문에, 의료 시술 중 발생되는 환자의 호흡과 움직임이 반영되지 않는 단점이 있다.In contrast to ultrasound images, MR (Magnetic Resonance) or CT images can clearly identify organs and lesions. However, since the MR or CT image cannot be acquired in real time during a medical procedure, there is a disadvantage in that the breathing and movement of the patient occurring during the medical procedure are not reflected.

그리하여, 실시간으로 촬영된 영상과 모달리티가 다른 영상을 정합할 필요성이 대두되고 있다. 모달리티가 다른 복수 개의 영상을 정합할 때, 영상에서 특징점을 추출하여 정합하는 경우가 있으나, 영상의 화질에 따라 정합이 어려울 수 있는 문제점이 있다. Therefore, there is a need to match an image captured in real time with an image having a different modality. When matching a plurality of images having different modalities, there are cases in which feature points are extracted from the images and matched. However, there is a problem in that matching may be difficult depending on the image quality.

본 개시는 센서를 이용하여 모달리티가 다른 복수 개의 의료 영상을 정합하는 방법 및 그 장치를 제공한다. The present disclosure provides a method and an apparatus for registering a plurality of medical images having different modalities using a sensor.

일 유형에 따르는 영상 정합 장치는, 제2 의료 영상이 저장된 메모리; 및 프로브를 통해 기준점을 포함하는 제1 의료 영상의 제1 단면을 획득하고, 상기 기준점을 이용하여 상기 제1 단면에 대응하는 상기 제2 의료 영상의 제2 단면을 상기 메모리로부터 획득함으로써 상기 제1 의료 영상과 상기 제2 의료 영상을 정합시키는 프로세서;를 포함한다.An image matching apparatus according to one type includes: a memory in which a second medical image is stored; and acquiring a first cross-section of a first medical image including a reference point through a probe, and acquiring a second cross-section of the second medical image corresponding to the first cross-section from the memory by using the reference point. and a processor matching the medical image with the second medical image.

그리고, 상기 프로세서는, 상기 프로브를 대상체의 상기 기준점 상에 위치시키는 제1 사용자 명령에 응답하여 상기 제1 의료 영상과 상기 제2 의료 영상을 정합시킬 수 있다.The processor may match the first medical image with the second medical image in response to a first user command to position the probe on the reference point of the object.

또한, 상기 제1 의료 영상, 상기 프로브의 움직임 검출 결과 및 사용자 명령을 입력받는 사용자 인터페이스의 입력 결과를 중 하나를 이용하여 상기 제1 사용자 명령의 입력 여부를 결정하는 제어부;를 더 포함합니다.The method further includes a controller configured to determine whether to input the first user command using one of the first medical image, the probe motion detection result, and an input result of a user interface for receiving a user command.

그리고, 상기 제어부는, 상기 사용자 인터페이스를 통해 영상 정합을 위한 제2 사용자 명령이 입력되고, 상기 제1 의료 영상의 단면으로부터 기준점의 좌표 정보를 획득할 수 있으면, 상기 제1 사용자 명령이 입력된 것으로 판단하는 의료 영상 정합 방법.In addition, if a second user command for image registration is input through the user interface and coordinate information of a reference point can be obtained from the cross-section of the first medical image, the controller determines that the first user command has been input. Medical image registration method to judge.

또한, 상기 제어부는, 상기 제1 의료 영상의 단면으로부터 상기 기준점의 좌표 정보를 획득할 수 있는 상태에서 일정 시간 동안 상기 프로브의 움직임이 없으면, 상기 제1 사용자 명령이 입력된 것으로 판단할 수 있다.Also, the controller may determine that the first user command has been input if there is no movement of the probe for a predetermined period of time in a state in which coordinate information of the reference point can be obtained from the cross section of the first medical image.

그리고, 상기 기준점은, 상기 대상체 중 호흡에 따른 형상의 변형이 없는 개체, 상기 대상체 중 육안으로 식별 가능한 개체 중 적어도 하나일 수 있다.In addition, the reference point may be at least one of an object that has no shape deformation according to respiration among the objects, and an object that can be identified with the naked eye among the objects.

또한, 상기 개체는, 상기 대상체의 뼈, 배꼽, 상장간동맥(superior mesenteric artery) 중 어느 하나일 수 있다.Also, the subject may be any one of a bone, an umbilicus, and a superior mesenteric artery of the subject.

그리고, 상기 뼈는 명치일 수 있다.And, the bone may be a medulla.

또한, 상기 제1 단면은, 상기 프로브의 축은 상기 대상체의 축과 평행하게 배치될 때 획득될 수 있다.Also, the first cross-section may be obtained when an axis of the probe is disposed parallel to an axis of the object.

그리고, 상기 프로브의 축은, 상기 제1 의료 영상의 좌표축과 평행할 수 있다.In addition, an axis of the probe may be parallel to a coordinate axis of the first medical image.

또한, 상기 대상체의 축은 상기 제2 의료 영상의 좌표축과 평행할 수 있다.Also, an axis of the object may be parallel to a coordinate axis of the second medical image.

그리고, 상기 프로세서는, 상기 기준점을 이용하여 상기 제1 의료 영상의 좌표계와 상기 제2 의료 영상의 좌표계간의 제1 변환 관계 및 상기 프로브의 위치 및 방향을 검출하는 검출 장치의 좌표계와 상기 제2 의료 영상의 좌표계간의 제3 변환 관계 중 어느 하나를 산출하고, 상기 제1 변환 관계 및 상기 제3 변환 관계 중 어느 하나를 이용하여 상기 제2 의료 영상으로부터 상기 제2 단면을 추출할 수 있다.In addition, the processor is configured to: a coordinate system of a detection device for detecting a first transformation relation between a coordinate system of the first medical image and a coordinate system of the second medical image and a position and direction of the probe using the reference point and the second medical image Any one of a third transformation relation between coordinate systems of an image may be calculated, and the second cross-section may be extracted from the second medical image by using any one of the first transformation relation and the third transformation relation.

또한, 상기 프로세서는, 상기 제1 의료 영상의 좌표계에서 상기 기준점의 제1 좌표 정보를 획득하고, 상기 제2 의료 영상의 좌표계에서 상기 기준점의 제2 좌표 정보를 획득하며, 상기 제1 좌표 정보를 상기 제2 좌표 정보로 변환시킴으로써 상기 제1 변환 관계를 산출할 수 있다.In addition, the processor obtains first coordinate information of the reference point in the coordinate system of the first medical image, obtains second coordinate information of the reference point in the coordinate system of the second medical image, and obtains the first coordinate information By transforming the second coordinate information, the first transformation relationship may be calculated.

그리고, 상기 프로세서는, 상기 제1 의료 영상에 포함된 제1 개체와 상기 제2 의료 영상에 포함된 제2 개체를 정렬시킴으로써 상기 제1 변환 관계를 보완할 수 있다.In addition, the processor may supplement the first transformation relationship by aligning the first object included in the first medical image and the second object included in the second medical image.

또한, 상기 프로세서는, 상기 검출 장치의 좌표계에서 상기 기준점의 제3 좌표 정보를 획득하고, 상기 제2 의료 영상의 좌표계에서 상기 기준점의 제4 좌표 정보를 획득하며, 상기 제3 좌표 정보를 상기 제4 좌표 정보로 변환시킴으로써 상기 제3 변환 관계를 산출할 수 있다.In addition, the processor obtains third coordinate information of the reference point in the coordinate system of the detection device, obtains fourth coordinate information of the reference point in the coordinate system of the second medical image, and uses the third coordinate information as the second The third transformation relation can be calculated by transforming it into 4 coordinate information.

그리고, 상기 프로세서는, 상기 프로브의 움직임에 대응하여 상기 프로브를 통해 상기 제1 의료 영상의 제3 단면을 획득하고, 상기 제3 변환 관계를 이용하여 상기 제3 단면에 대응하는 상기 제2 의료 영상의 제4 단면을 상기 메모리로부터 획득할 수 있다. In addition, the processor acquires a third cross-section of the first medical image through the probe in response to the movement of the probe, and uses the third transformation relation to obtain the second medical image corresponding to the third cross-section A fourth section of may be obtained from the memory.

또한, 상기 프로브의 움직임은, 상기 프로브의 위치 및 방향 중 적어도 하나가 변경될 수 있다. Also, in the movement of the probe, at least one of a position and a direction of the probe may be changed.

한편, 일 실시예에 따른 의료 영상 정합 방법은, 프로브를 통해 기준점을 포함하는 제1 의료 영상의 제1 단면을 획득하는 단계; 및 상기 기준점을 이용하여 상기 제2 의료 영상으로부터 상기 제1 단면에 대응하는 상기 제2 의료 영상의 제2 단면을 획득하는 단계;를 포함한다.Meanwhile, according to an exemplary embodiment, a method for registering a medical image may include: acquiring a first cross-section of a first medical image including a reference point through a probe; and obtaining a second cross-section of the second medical image corresponding to the first cross-section from the second medical image by using the reference point.

그리고, 상기 제2 단면을 획득하는 단계는, 상기 프로브를 대상체의 상기 기준점 상에 위치시키는 사용자 명령에 응답하여 수행될 수 있다.The acquiring of the second cross-section may be performed in response to a user command for positioning the probe on the reference point of the object.

또한, 상기 기준점은, 상기 대상체 중 호흡에 따른 형상의 변형이 없는 개체, 상기 대상체 중 육안으로 식별 가능한 개체 중 적어도 하나일 수 있다.In addition, the reference point may be at least one of an object having no shape deformation according to respiration among the objects, and an object recognizable with the naked eye among the objects.

그리고, 상기 개체는, 상기 대상체의 뼈, 배꼽, 상장간동맥(superior mesenteric artery) 중 어느 하나일 수 있다.In addition, the subject may be any one of a bone, an umbilicus, and a superior mesenteric artery of the subject.

또한, 상기 기준점을 설명하는 인디케이터를 표시하는 단계;를 더 포함할 수 있다.The method may further include displaying an indicator for describing the reference point.

그리고, 기준점이 될 수 있는 후보들을 포함한 목록을 표시하는 단계; 및 상기 목록 중 어느 하나의 후보를 상기 기준점으로 선택하는 사용자 명령을 입력받는 단계;를 더 포함할 수 있다. And, displaying a list including candidates that can be reference points; and receiving a user command for selecting any one candidate from the list as the reference point.

도 1은 본 발명의 일 실시예에 따른 의료 영상 시스템을 도시한다.
도 2는 일 실시예에 따른 프로브의 축을 설명하는 참조도면이다.
도 3은 일 실시예에 따른 대상체의 축을 설명하는 참조도면이다.
도 4a 및 도 4b는 일 실시예에 따른 기준점을 설명하는 참조도면이다.
도 5는 도 1에 도시된 정합 장치를 나타내는 블록도이다.
도 6은 도 5에 도시된 변환부를 나타내는 블록도이다.
도 7은 일 실시예에 따른 의료 영상을 정합하는 방법을 설명하는 흐름도이다.
도 8은 일 실시예에 따른 정합 장치가 기준점을 이용하여 제1 변환 관계를 산출하는 방법을 설명하는 흐름도이다.
도 9는 일 실시예에 따른 제1 변환 관계를 보완하는 방법을 설명하는 흐름도이다.
도 10은 일 실시예에 따른 제1 및 제2 개체를 정렬하는 방법을 설명하는 흐름도이다.
도 11은 일 실시예에 따른 기준점을 이용하여 제2 변환 관계를 산출하는 방법을 설명하는 흐름도이다.
도 12는 일 실시예에 따른 프로브의 움직임에 대응하여 제2 의료 영상의 단면을 획득하는 방법을 설명하는 흐름도이다.
도 13은 일 실시예에 따른 정합 장치가 기준점을 이용하여 제3 변환 관계를 산출하는 방법을 설명하는 흐름도이다.
도 14는 일 실시예에 따른 프로브의 움직임에 대응하여 제2 의료 영상의 단면을 획득하는 방법을 설명하는 흐름도이다.
도 15는 일 실시예에 따른 제3 변환 관계를 보완하는 방법을 설명하는 흐름도이다.
도 16은 일 실시예에 따른 기준점을 설명하는 인디케이터를 표시하는 방법을 설명하는 참조도면이다.
도 17a 및 도 17b는 따른 실시예에 따른 기준점을 설명하는 인디케이터를 표시하는 방법을 설명하는 참조도면이다. 1 illustrates a medical imaging system according to an embodiment of the present invention.
2 is a reference view illustrating an axis of a probe according to an exemplary embodiment.
3 is a reference diagram illustrating an axis of an object according to an exemplary embodiment.
4A and 4B are reference views for explaining a reference point according to an exemplary embodiment.
FIG. 5 is a block diagram illustrating the matching device shown in FIG. 1 .
FIG. 6 is a block diagram illustrating the transform unit illustrated in FIG. 5 .
7 is a flowchart illustrating a method of registering a medical image according to an exemplary embodiment.
8 is a flowchart illustrating a method in which a matching device calculates a first transformation relationship using a reference point according to an exemplary embodiment.
9 is a flowchart illustrating a method of supplementing a first transformation relationship according to an embodiment.
10 is a flowchart illustrating a method of aligning first and second objects according to an exemplary embodiment.
11 is a flowchart illustrating a method of calculating a second transformation relationship using a reference point according to an exemplary embodiment.
12 is a flowchart illustrating a method of acquiring a cross-section of a second medical image in response to a movement of a probe, according to an exemplary embodiment.
13 is a flowchart illustrating a method in which a matching device calculates a third transformation relationship using a reference point according to an exemplary embodiment.
14 is a flowchart illustrating a method of acquiring a cross-section of a second medical image in response to a movement of a probe, according to an exemplary embodiment.
15 is a flowchart illustrating a method of supplementing a third transformation relation according to an embodiment.
16 is a reference diagram illustrating a method of displaying an indicator for describing a reference point according to an exemplary embodiment.
17A and 17B are reference views for explaining a method of displaying an indicator for explaining a reference point according to an exemplary embodiment.

이하, 본 발명에 따른 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings, and in the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof are omitted. decide to do

본 명세서에서 "대상체"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관을 포함할 수 있다. 또한, 본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.As used herein, "subject" may include a human or animal, or a part of a human or animal. For example, the object may include organs such as the liver, heart, uterus, brain, breast, abdomen, or blood vessels. Also, in the present specification, a “user” may be a medical professional, such as a doctor, a nurse, a clinical pathologist, a medical imaging specialist, or a technician repairing a medical device, but is not limited thereto.

도 1은 본 발명의 일 실시예에 따른 의료 영상 시스템(100)을 도시한다. 도 1을 참조하면 시스템(100)은 제1 의료 장치(110), 제2 의료 장치(120), 검출 장치(130), 정합 장치(140) 및 디스플레이(150)를 포함한다.1 illustrates a medical imaging system 100 according to an embodiment of the present invention. Referring to FIG. 1 , a system 100 includes a first medical device 110 , a second medical device 120 , a detection device 130 , a matching device 140 , and a display 150 .

제1 의료 장치(110)와 제2 의료 장치(120)는 각각 제1 의료 영상과 제2 의료 영상을 생성하여 정합 장치(140)에 제공한다. 제1 의료 영상과 제2 의료 영상은 상이한 모달리티(modality)를 갖는다. 즉, 제1 의료 영상과 제2 의료 영상은 생성 방식 및 원리가 상이할 수 있다. 정합 장치(140)는 제1 의료 영상과 제2 의료 영상을 각각 획득하고, 상이한 모달리티를 갖는 제1 의료 영상과 제2 의료 영상을 정합한다. 정합 장치(140)가 정합한 영상은 디스플레이(150)를 통해 표시될 수 있다. The first medical device 110 and the second medical device 120 generate a first medical image and a second medical image, respectively, and provide them to the matching device 140 . The first medical image and the second medical image have different modalities. That is, the method and principle of generating the first medical image and the second medical image may be different from each other. The matching apparatus 140 acquires a first medical image and a second medical image, respectively, and matches the first medical image and the second medical image having different modalities. The image matched by the matching device 140 may be displayed on the display 150 .

제1 의료 장치(110)는 대상체의 관심 볼륨에 대하여 실시간으로 제1 의료 영상을 제공한다. 예를 들어, 대상체의 신체 활동에 따른 장기의 변형과 변위가 발생되면, 실시간으로 제1 의료 영상에 변화가 나타난다. 다만, 제1 의료 영상은 모든 장기와 병변이 명확히 관찰될 수 없는 경우가 있고, 장기의 변형과 변위를 제1 의료 영상만으로 파악하는데 어려움이 있다. The first medical device 110 provides a first medical image with respect to the ROI of the object in real time. For example, when deformation and displacement of an organ according to a physical activity of an object occurs, a change appears in the first medical image in real time. However, there are cases where all organs and lesions cannot be clearly observed in the first medical image, and it is difficult to understand the deformation and displacement of organs only by the first medical image.

일 실시예에 따르면, 제1 의료 장치(110)는 환자에 대한 중재적 의료 시술 과정에서 실시간으로 영상을 생성하는 초음파 영상장치(ultrasonography machine)일 수 있다. 또는, 제1 의료 장치(110)는 실시간으로 영상을 제공하는 OCT(optical coherence tomography) 등의 다른 의료 장치일 수도 있으며, 초음파 영상 장치에 한정되는 것은 아니다. According to an exemplary embodiment, the first medical device 110 may be an ultrasound imaging machine that generates an image in real time during an interventional medical procedure on a patient. Alternatively, the first medical device 110 may be another medical device such as optical coherence tomography (OCT) that provides an image in real time, but is not limited to an ultrasound imaging device.

제1 의료 장치(110)가 초음파 영상 장치인 경우, 제1 의료 장치(110)는 프로브(111) (probe)(111)를 이용하여 초음파를 대상체에 조사하고, 반사되는 초음파를 검출함으로써 초음파 영상을 생성한다. 프로브(111)는 일반적으로 압전 변환기 (piezoelectric transducer)를 포함할 수 있다. 그러나, 이에 한정되지 않는다. When the first medical apparatus 110 is an ultrasound imaging apparatus, the first medical apparatus 110 irradiates an ultrasound wave to an object using a probe 111 and detects a reflected ultrasound image to obtain an ultrasound image. create The probe 111 may generally include a piezoelectric transducer. However, the present invention is not limited thereto.

프로브(111)는 정전 용량의 변화로 초음파와 전기적 신호를 상호 변환시키는 정전 용량형 초음파 변환기(capacitive micromachined ultrasonic transducer, cMUT), 자기장의 변화로 초음파와 전기적 신호를 상호 변환시키는 자기형 초음파 변환기(magnetic micromachined ultrasonic transducer, mMUT), 광학적 특성의 변화로 초음파와 전기적 신호를 상호 변환시키는 광학형 초음파 검출기(Optical ultrasonic detection) 등을 포함할 수도 있다. The probe 111 is a capacitive micromachined ultrasonic transducer (cMUT) that mutually converts ultrasonic waves and electrical signals by a change in capacitance, and a magnetic ultrasonic transducer that mutually converts ultrasonic waves and electrical signals by a change in a magnetic field. It may include a micromachined ultrasonic transducer (mMUT), an optical ultrasonic detection that mutually converts ultrasonic waves and electrical signals by changing optical properties (Optical ultrasonic detection), and the like.

프로브(111)로부터 수 내지 수백 MHz 범위의 초음파가 환자 신체 내부의 특정 부위에 전달되면, 이 초음파는 여러 다른 조직들(tissues) 사이의 계층들로부터 부분적으로 반사된다. 초음파는 신체 내부에서의 밀도 변화가 있는 개체들, 예를 들어, 혈장(blood plasma) 내의 혈구들(blood cells), 장기들(organs) 내의 작은 조직들(structures) 등에서 반사된다. When ultrasonic waves in the range of several to hundreds of MHz from the probe 111 are delivered to a specific region inside the patient's body, the ultrasonic waves are partially reflected from layers between different tissues. Ultrasound is reflected from objects with a change in density inside the body, for example, blood cells in blood plasma, small structures in organs, and the like.

이와 같이 반사된 초음파들은 프로브(111)의 변환기를 진동시키고, 변환기는 이 진동들에 따른 전기적 펄스들(electrical pulses)을 출력한다. 이와 같은 전기적 펄스들이 영상으로 변환된다. 개체들이 서로 상이한 초음파 반사 특성을 갖는 경우, B 모드의 초음파 영상에서는 각 개체들이 서로 상이한 밝기 값으로 나타날 수 있다. The reflected ultrasonic waves vibrate the transducer of the probe 111, and the transducer outputs electrical pulses according to the vibrations. These electrical pulses are converted into images. When the objects have different ultrasound reflection characteristics, the objects may appear with different brightness values in the B-mode ultrasound image.

제2 의료 장치(120)는 비실시간으로 대상체의 관심 볼륨(VOI: Volume of Interest)에 대한 제2 의료 영상을 생성한다. 제2 의료 장치(120)의 비실시간 특성을 고려할 때, 제2 의료 영상은 의료 시술 이전에 미리 촬영되는 것일 수 있다. The second medical device 120 generates a second medical image of the volume of interest (VOI) of the object in non-real time. Considering the non-real-time characteristics of the second medical device 120 , the second medical image may be pre-captured prior to a medical procedure.

예컨대, 제2 의료 장치(120)는 CT(computed tomography) 영상 장치, MR(magnetic resonance)영상 장치, 엑스선(X-ray) 영상 장치, SPECT(single photon emission computed tomography) 영상장치, PET(positron emission tomography) 영상장치 중 어느 하나로 일 수 있다. 이하의 실시예에서는 설명의 편의를 위하여 제2 의료 영상이 MR 또는 CT 영상인 것을 가정하나, 이에 한정되지 않는다.For example, the second medical device 120 may include a computed tomography (CT) imaging device, a magnetic resonance (MR) imaging device, an X-ray imaging device, a single photon emission computed tomography (SPECT) imaging device, or a positron emission (PET) imaging device. tomography) may be any one of the imaging devices. In the following embodiments, it is assumed that the second medical image is an MR or CT image for convenience of description, but is not limited thereto.

제2 의료 장치(120)에서 생성한 CT 영상 또는 MR 영상의 경우 장기의 위치나 병변의 위치가 명확하게 구별이 되는 장점이 있다. 하지만 CT(computed tomography)영상이나 MR(magnetic resonance)영상은 시술하는 동안 환자가 호흡을 하거나 뒤척일 때 장기가 변형되거나 위치가 변할 수 있는데, 이러한 환자의 움직임에 따른 장기의 변형과 변위를 영상에 실시간으로 반영할 수 없다는 문제점이 있다. In the case of the CT image or MR image generated by the second medical device 120 , there is an advantage in that the position of the organ or the position of the lesion is clearly distinguished. However, in computed tomography (CT) images or magnetic resonance (MR) images, organs may be deformed or their position may change when the patient breathes or turns to and fro during the procedure. There is a problem that it cannot be reflected in real time.

제2 의료 장치(120)가 실시간으로 영상을 출력할 수 없는 각각의 이유는 CT(computed tomography)영상의 경우 방사선을 이용한 촬영방법이기 때문에 환자와 시술자가 장시간 방사능에 노출될 우려가 있어 짧은 시간의 촬영이 권장되며, MR(magnetic resonance)영상의 경우 한번 촬영하는데 시간이 오래 걸리기 때문이다. 일반적으로 CT 영상은 환자의 호흡이 일시적으로 정지된 상태, 예컨대 최대 들숨 상태에서 촬영된다. Each reason that the second medical device 120 cannot output an image in real time is that in the case of a computed tomography (CT) image, radiation is used. Taking a picture is recommended, because it takes a long time to take an MR (magnetic resonance) image once. In general, a CT image is taken in a state in which the patient's breathing is temporarily stopped, for example, in a state of maximum inhalation.

제1 의료 장치(110) 또는 제2 의료 장치(120)가 촬영하는 의료 영상들은 2차원의 단면 영상들일 수도 있고, 2차원의 단면 영상들을 축척하여 생성된 3차원 영상일 수 있다. 예컨대, 제1 의료 장치(110)는 2차원 단면 영상을 생성할 수도 있고, 프로브(111)를 핸드 스윕(Hand Sweep)하거나 와블링(Wabbling)함으로써, 또는 2D 어레이 방식의 프로브(111)를 통해서 3차원 영상을 생성할 수도 있다. The medical images captured by the first medical apparatus 110 or the second medical apparatus 120 may be 2D cross-sectional images or may be 3D images generated by accumulating 2D cross-sectional images. For example, the first medical device 110 may generate a two-dimensional cross-sectional image, hand sweep or wobbling the probe 111 , or through the probe 111 of a 2D array method. It is also possible to generate a 3D image.

그리고, 제2 의료 장치(120)는 대상체 또는 제2 의료 장치(120)의 위치(location) 또는 방향(orientation)을 변화시키면서, 다수의 단면들을 촬영한다. 이와 같은 단면들이 축적되면 환자 신체의 특정 부위를 3차원적으로 나타내는 3차원 볼륨(volume)의 영상 데이터가 생성될 수 있다. 이와 같이 단면들을 축적하여 3차원 볼륨의 영상 데이터를 생성하는 방식을 MPR(Multiplanar reconstruction) 방식이라고 한다. 제2 의료 영상은 환자의 관심 장기의 밝기를 향상시키기 위하여, 조영 증강된 영상일 수 있다. 이하에서는 설명의 편의를 도모하기 위해 의료 영상은 2차원 영상 또는 3차원 영상일 수 있다. In addition, the second medical device 120 captures a plurality of cross-sections while changing the location or orientation of the object or the second medical device 120 . When such cross-sections are accumulated, image data of a three-dimensional volume representing a specific part of a patient's body in three dimensions may be generated. A method of generating 3D volume image data by accumulating cross-sections in this way is called a multiplanar reconstruction (MPR) method. The second medical image may be a contrast-enhanced image to improve brightness of an organ of interest of a patient. Hereinafter, for convenience of description, the medical image may be a 2D image or a 3D image.

검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출하여 프로브(111)의 움직임을 검출할 수 있다. 검출 장치(130)는 자기장 발생기(131)와 자기장의 변화를 감지하는 센서(132)를 포함할 수 있다. 자기장 발생기(131)는 제1 의료 장치(110)의 특정 위치에 고정될 수 있고, 센서(132)는 프로브(111)상에 배치될 수 있다. 그리하여, 검출 장치(130)는 센서(132)에 대한 자기장 발생기(131)의 상대적인 위치 관계로부터 프로브(111)의 위치 및 방향 중 적어도 하나를 검출할 수 있다. 이외에도 검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출하기 위한 광 센서, 가속도계 센서, 기울기 센서 등을 포함할 수 있다. 검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출 장치(130)의 좌표계에서의 좌표 정보로 산출할 수 있다. The detection apparatus 130 may detect the movement of the probe 111 by detecting at least one of a position and a direction of the probe 111 . The detection device 130 may include a magnetic field generator 131 and a sensor 132 that detects a change in the magnetic field. The magnetic field generator 131 may be fixed to a specific position of the first medical device 110 , and the sensor 132 may be disposed on the probe 111 . Thus, the detection device 130 may detect at least one of a position and a direction of the probe 111 from a relative positional relationship of the magnetic field generator 131 with respect to the sensor 132 . In addition, the detection device 130 may include an optical sensor, an accelerometer sensor, a tilt sensor, and the like for detecting at least one of a position and a direction of the probe 111 . The detection apparatus 130 may calculate at least one of a position and a direction of the probe 111 as coordinate information in the coordinate system of the detection apparatus 130 .

정합 장치(140)는 제1 의료 장치(110)로부터 획득한 제1 의료 영상과 제2 의료 장치(120)로부터 획득한 제2 의료 영상을 정합(registration)한다. 의료 영상들의 정합은 제1 의료 영상 좌표계와 제2 의료 영상 좌표계를 서로 대응시키는 과정을 포함할 수 있다. 그리고, 제1 의료 영상의 단면은 프로브(111)의 위치 및 방향과 일대일 대응된다. The matching device 140 registers the first medical image acquired from the first medical device 110 and the second medical image acquired from the second medical device 120 . The matching of the medical images may include a process of matching the first medical image coordinate system and the second medical image coordinate system to each other. In addition, the cross section of the first medical image corresponds to the position and direction of the probe 111 one-to-one.

일 실시예에 따른 시스템은 프로브(111)가 특정 위치 및 방향에 위치할 때, 제1 의료 영상과 제2 의료 영상을 정합시킬 수 있는 변환 관계를 산출할 수 있다. 그리고 일 실시예에 따른 의료 영상의 정합은 프로브(111)의 위치 및 방향에 대한 정보와 제1 및 제2 의료 영상에 포함된 개체의 좌표 정보 중 적어도 하나를 이용하여 수행될 수 있다. 이는 프로브(111)의 움직임 즉, 검출 장치만을 기반으로 하는 영상 정합보다 대상체에 대한 해부학적 지식이 과도하게 요구되지 않는 장점이 있다. 또한, 영상 내 개체를 기반으로 하는 영상 정합보다 정합 오류가 발생될 확률을 줄일 수 있는 장점이 있다. 상기한 프로브(111)의 위치 및 방향에 대한 정보도 프로브(111)의 좌표 정보로 표현할 수 있으며, 이하에서는 프로브(111)의 위치 및 방향에 대한 정보와 프로브(111)의 좌표 정보를 혼용하여 사용한다.When the probe 111 is positioned in a specific position and direction, the system according to an exemplary embodiment may calculate a transformation relationship capable of matching the first medical image and the second medical image. In addition, the medical image registration according to an embodiment may be performed using at least one of information about the position and direction of the probe 111 and coordinate information of an object included in the first and second medical images. This has an advantage in that the anatomical knowledge of the object is not excessively required compared to image matching based only on the movement of the probe 111 , that is, the detection device. In addition, there is an advantage in that the probability of occurrence of a registration error can be reduced compared to image registration based on an object in the image. The information on the position and direction of the probe 111 can also be expressed as the coordinate information of the probe 111 . Hereinafter, information on the position and direction of the probe 111 and the coordinate information of the probe 111 are mixed. use.

일 실시예에서, 정합된 영상은 제1 의료 영상과 제2 의료 영상이 융합된 영상(fusion image)일 수 있다. 다른 실시예에서 정합된 영상은 같은 관측시점에서의 제1 의료 영상과 제2 의료 영상을 나란하게 배치한 영상일 수도 있다. 정합된 영상은 영상 디스플레이(150)에 의해 표시될 수 있다. In an embodiment, the registered image may be a fusion image of a first medical image and a second medical image. In another embodiment, the matched image may be an image in which the first medical image and the second medical image are arranged side by side at the same observation point. The registered image may be displayed by the image display 150 .

도 1에 도시된 실시예에서는 제1 의료 장치(110), 검출 장치(130), 정합 장치(140) 및 디스플레이(140)가 각각 독립된 장치를 구성하고 있으나, 이는 설명의 편의를 도모하기 위할 뿐이며, 제1 의료 장치(110), 검출 장치(130) 및 디스플레이(140)는 단일의 장치로 구현될 수 있음은 물론이다. In the embodiment shown in FIG. 1 , the first medical device 110 , the detection device 130 , the matching device 140 , and the display 140 constitute independent devices, but this is only for convenience of description. , the first medical device 110 , the detection device 130 , and the display 140 may be implemented as a single device.

한편, 일 실시예에 따른 정합 장치(140)는 제1 의료 영상의 단면에 대응하는 제2 의료 영상의 단면을 획득하기 위해 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 제1 변환 관계를 획득할 수 있다. 상기한 제1 변환 관계를 용이하게 획득하기 위해, 프로브(111)의 위치 및 방향에 대한 정보 중 적어도 하나를 이용할 수 있다. 제1 의료 영상의 단면은 프로브(111)의 위치 및 방향에 대한 정보에 일대일 대응되기 때문이다. Meanwhile, the matching apparatus 140 according to an embodiment may have a first transformation relationship between the coordinate system of the first medical image and the coordinate system of the second medical image to obtain a cross-section of the second medical image corresponding to the cross-section of the first medical image. can be obtained. In order to easily obtain the above-described first transformation relationship, at least one of information about the position and direction of the probe 111 may be used. This is because the cross section of the first medical image corresponds to information on the position and direction of the probe 111 one-to-one.

먼저 프로브(111)의 위치 및 방향을 설명하기에 앞서 프로브(111)의 축에 대한 설명한다. 도 2는 일 실시예에 따른 프로브(111)의 축을 설명하는 참조도면이다. 도 2에 도시된 바와 같이, 프로브(111)의 축은 프로브(111)의 변환기(112)를 기준으로 하여 송신파의 진행 방향으로 정의되는 축방향(axial direction)인 제1 축(1), 변환기(112)의 너비 방향으로 정의되는 측방향(lateral direction)인 제2 축(2)과, 변환기(112)의 높이 방향으로 정의되는 고도방향(elevation direction)인 제3 축(3)으로 정의될 수 있다. 그리고, 프로브(111)의 중심은 상기한 변환기(112)의 중심을 의미하며, 프로브(111)의 위치는 프로브(111)의 중심에 대한 위치를 의미할 수 있다. First, the axis of the probe 111 will be described before describing the position and direction of the probe 111 . 2 is a reference view for explaining the axis of the probe 111 according to an embodiment. As shown in FIG. 2 , the axis of the probe 111 is a first axis 1 , which is an axial direction defined as a propagation direction of a transmission wave with respect to the transducer 112 of the probe 111 , and the transducer A second axis 2 that is a lateral direction defined in a width direction of 112 and a third axis 3 that is an elevation direction defined in a height direction of the transducer 112 will be defined. can In addition, the center of the probe 111 may mean the center of the transducer 112 , and the location of the probe 111 may mean a location with respect to the center of the probe 111 .

도 3은 일 실시예에 따른 대상체의 축을 설명하는 참조도면이다. 도 3에 도시된 바와 같이, 대상체를 자르는 평면에 따라 시상면(sagittal plane)(310) 및 관상면(coronal plane)(320) 및 횡단면(transverse plnae)(330)으로 구분될 수 있다. 시상면(310)은 대상체를 좌우로 이등분한 면이고, 관상면(320)은 대상체를 앞부분(anterior)과 뒷부분(posterior)으로 이등분한 면이며, 횡단면(330)은 대상체를 윗부분(superior)과 아랫부분(inferior)으로 나누는 면이다. 그리고, 시상면(310)과 횡단면(330)이 만나는 시상축(sagittal axis)인 제4 축(4), 시상면(310)과 관상면(320)이 만나는 수직축(vertical axis)인 제5 축(5) 및 관상면(320)과 횡단면(330)이 만나는 횡축(transverse axis)인 제6 축(6)으로 정의할 수 있다. 3 is a reference diagram illustrating an axis of an object according to an exemplary embodiment. As shown in FIG. 3 , it may be divided into a sagittal plane 310 and a coronal plane 320 , and a transverse plnae 330 according to a plane for cutting the object. The sagittal plane 310 is a plane bisecting the object left and right, the coronal plane 320 is a plane bisecting the object into an anterior part and a posterior part, and the transverse plane 330 is a plane that divides the object into an upper part (superior) and It is the face that divides into the inferior part. And, the fourth axis 4 which is the sagittal axis where the sagittal plane 310 and the transverse section 330 meet, and the fifth axis which is the vertical axis where the sagittal plane 310 and the coronal plane 320 meet. (5) and the transverse axis (transverse axis) where the coronal plane 320 and the cross section 330 meet may be defined as a sixth axis (6).

제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 제1 변환 관계를 획득하기 위해, 프로브(111)를 대상체의 기준점 상에 위치시킬 수 있다. 여기서 기준점은 대상체의 개체 중 적어도 하나일 수 있다. 기준점은 제1 의료 영상에서 식별이 용이하고 대상체의 호흡에 따라 형상이 변형되지 않는 개체일 수 있다. 예를 들어, 기준점은 대상체의 개체 중 뼈일 수 있다. 또는 기준점은 사용자에 의해 육안으로 식별가능한 개체일 수 있다. 예를 들어, 기준점은 대상체의 배꼽일 수 있다. 사용자는 프로브(111)를 대상체의 기준점 상에 위치시킬 수 있다. 여기서 기준점의 상에 위치한다 함은 프로브(111)가 기준점과 직접 접할 수도 있고, 기준점과 다소 이격되면서 위에 위치할 수도 있다. In order to obtain a first transformation relationship between the coordinate system of the first medical image and the coordinate system of the second medical image, the probe 111 may be positioned on the reference point of the object. Here, the reference point may be at least one of the objects of the object. The reference point may be an object that is easily identified in the first medical image and whose shape is not deformed according to the object's respiration. For example, the reference point may be a bone among objects of the object. Alternatively, the reference point may be an object that can be visually identified by a user. For example, the reference point may be the navel of the subject. The user may position the probe 111 on the reference point of the object. Here, being positioned on the reference point means that the probe 111 may be in direct contact with the reference point or may be positioned above the reference point while being somewhat spaced apart from the reference point.

도 4a 및 도 4b는 일 실시예에 따른 대상체 내 기준점을 설명하는 참조도면이다. 도 4a에 도시된 바와 같이, 사용자는 프로브(111)를 대상체(10)의 개체 중 명치(12) 위에 놓을 수 있다. 여기서 명치(12)가 대상체(10)의 기준점이 될 수 있다. 기준점은 사용자 등에 의해 기설정된 대상체의 특정 영역일 수 있다.4A and 4B are reference views for explaining a reference point within an object according to an exemplary embodiment. As shown in FIG. 4A , the user may place the probe 111 on the medulla 12 among the objects of the object 10 . Here, the myeongchi 12 may be a reference point of the object 10 . The reference point may be a specific area of the object preset by a user or the like.

또는, 사용자는 프로브(111)를 대상체의 개체 중 상장간동맥(superior mesenteric artery) 위에 놓을 수 있다. 그러면, 프로브를 통해 획득된 영상은, 도 4b에 도시된 바와 같이, 상장간동맥(13)이 포함될 수 있다. 여기서, 상장간동맥(13)이 대상체의 기준점이 될 수 있다. 상장간동맥(13)이 대상체의 내부에 있다 하더라도, 프로브를 이용하는 사용자는 의사 등 의료 담당자이기 때문에 사용자는 상장간동맥을 용이하게 식별할 수 있다. Alternatively, the user may place the probe 111 on the superior mesenteric artery among the objects of the object. Then, the image acquired through the probe may include the superior hepatic artery 13 as shown in FIG. 4B . Here, the superior hepatic artery 13 may be a reference point of the subject. Even if the superior hepatic artery 13 is inside the object, the user can easily identify the superior hepatic artery because the user who uses the probe is a medical officer such as a doctor.

더 나아가, 사용자는 프로브(111)의 축(예를 들어, 제1 축(1))을 대상체(10)의 축(예를 들어, 제4 축(4))과 평행하게 배치시킬 수 있다. 또는 사용자는 프로브(111)의 제1 내지 제3 축(1, 2, 3) 각각을 대상체의 제4 축 내지 제6 축(4, 5, 6) 각각에 평행하게 배치시킬 수 있다. Furthermore, the user may arrange an axis (eg, the first axis 1 ) of the probe 111 to be parallel to an axis (eg, the fourth axis 4 ) of the object 10 . Alternatively, the user may arrange each of the first to third axes 1, 2, and 3 of the probe 111 to be parallel to each of the fourth to sixth axes 4, 5, and 6 of the object.

프로브(111)가 대상체(10)의 기준점 상에 위치할 때, 정합 장치(140)는 프로브(111)를 통해 획득된 제1 의료 영상으로부터 기준점에 대한 좌표 정보를 획득할 수 있다. 상기한 기준점에 대한 좌표 정보는 제1 의료 영상 좌표계를 기준으로 한다. When the probe 111 is positioned on the reference point of the object 10 , the matching apparatus 140 may obtain coordinate information about the reference point from the first medical image acquired through the probe 111 . The coordinate information on the reference point is based on the first medical image coordinate system.

정합 장치(140)에는 기준점에 대한 정보, 예를 들어, 기준점의 형상 등이 기저장되어 있을 수 있다. 프로브(111)가 대상체의 기준점상에 위치한 상태에서 제1 의료 영상을 획득하고, 획득된 제1 의료 영상을 정합 장치(140)에 전송할 수 있다. 정합 장치(140)는 기준점의 형상 정보를 이용하여 제1 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다. 예를 들어, 기준점이 명치일 때, 정합 장치(140)는 제1 의료 영상에서 뼈를 나타내는 영역을 제한하고, 픽셀의 값 및 수를 이용하여 명치를 추출한 후 제1 의료 영상의 좌표계에서 상기한 명치의 좌표 정보를 획득할 수 있다. Information on the reference point, for example, the shape of the reference point, may be pre-stored in the matching device 140 . A first medical image may be acquired while the probe 111 is positioned on the reference point of the object, and the acquired first medical image may be transmitted to the matching device 140 . The matching apparatus 140 may obtain coordinate information of the reference point in the first medical image by using the shape information of the reference point. For example, when the reference point is the medulla oblongata, the matching device 140 limits the region representing the bone in the first medical image, extracts the medulla using the values and number of pixels, and then uses the above-described coordinate system in the first medical image. It is possible to obtain the coordinate information of Myungchi.

또는 정합 장치(140)에는 프로브(111)가 대상체의 기준점상에 위치할 때의 기준점에 대한 좌표 정보가 기저장되어 있을 수 있다. 정합 장치(140)는 기저장된 기준점에 대한 좌표 정보를 독출함으로써 기준점에 대한 좌표 정보를 획득할 수 있다. Alternatively, coordinate information about a reference point when the probe 111 is positioned on a reference point of the object may be pre-stored in the matching device 140 . The matching device 140 may acquire coordinate information on the reference point by reading the previously stored coordinate information on the reference point.

또한, 정합 장치(140)는 제2 의료 영상으로부터 기준점에 대한 좌표 정보를 획득할 수 있다. 여기서 기준점에 대한 좌표 정보는 제2 의료 영상의 좌표계를 기준으로 한다. 정합 장치(140)은 기준점의 형상 등에 대한 정보를 이용하여 제2 의료 영상으로부터 기준점에 대한 좌표 정보를 획득할 수도 있고, 기저장된 기준점에 대한 좌표 정보를 독출함으로써 기준점에 대한 좌표 정보를 획득할 수 있다. Also, the matching apparatus 140 may obtain coordinate information about the reference point from the second medical image. Here, the coordinate information on the reference point is based on the coordinate system of the second medical image. The matching device 140 may obtain coordinate information about the reference point from the second medical image by using information about the shape of the reference point, etc. have.

예를 들어, 기준점이 명치일 때, 정합 장치는 제2 의료 영상이 CT 영상인 경우, 제2 의료 영상에서 뼈를 나타내는 영역을 제한하고, 픽셀의 값 및 수를 이용하여 명치를 추출할 수 있다. 산출부(341)는 제2 의료 영상의 좌표계에서 상기한 추출된 명치의 좌표 정보를 획득할 수 있다. For example, when the reference point is a myeongchi, and the second medical image is a CT image, the matching device may limit a region representing a bone in the second medical image and extract the myeongchi using the values and number of pixels. . The calculator 341 may acquire the coordinate information of the extracted Myungchi from the coordinate system of the second medical image.

또는 제2 의료 영상이 MR 영상인 경우, 제2 의료 영상으로부터 명치를 추출하는 것이 용이하지 않을 수 있다. 이와 같은 경우, 사용자는 제2 의료 영상을 촬영할 때, 대상체의 명치가 위치하는 지점에 마커(marker) 등을 위치시키고 대상체를 촬영할 수 있다. 그리고, 산출부(341)는 제2 의료 영상에서 상기한 마커를 추출함으로써 명치의 좌표 정보를 획득할 수 있다. 또는 정합 장치(140)는 기준점과 인접한 다른 개체를 이용하여 기준점에 대한 좌표 정보를 추정할 수 도 있다. Alternatively, when the second medical image is an MR image, it may not be easy to extract the Myongchi from the second medical image. In this case, when capturing the second medical image, the user may photograph the object by placing a marker or the like at a point where the myeongchi of the object is located. In addition, the calculator 341 may obtain coordinate information of the Myungchi by extracting the above-described marker from the second medical image. Alternatively, the matching device 140 may estimate coordinate information about the reference point by using another object adjacent to the reference point.

그리고, 정합 장치(140)은 제1 의료 영상의 좌표계에서의 기준점에 대한 좌표 정보와 제2 의료 영상의 좌표계에서의 기준점에 대한 좌표 정보간의 제1 변환 관계를 산출함으로써 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 제1 변환 관계를 획득할 수 있다. In addition, the matching device 140 calculates a first transformation relationship between coordinate information on a reference point in the coordinate system of the first medical image and coordinate information on a reference point in the coordinate system of the second medical image, so that the coordinate system of the first medical image and A first transformation relationship between coordinate systems of the second medical image may be obtained.

도 5는 도 1에 도시된 정합 장치(140)를 나타내는 블록도이고, 도 6은 도 5에 도시된 변환부(541)를 나타내는 블록도이다. 도 5를 참조하면, 정합 장치(140)는 통신부(510), 저장부(520), 사용자 인터페이스(530), 프로세서(540) 및 제어부(550)를 포함할 수 있다. 도시된 구성요소들이 모두 필수 구성요소들은 아니며, 도시된 구성요소들 이외에 다른 범용적인 구성요소들이 더 포함될 수도 있다.FIG. 5 is a block diagram illustrating the matching device 140 illustrated in FIG. 1 , and FIG. 6 is a block diagram illustrating the transform unit 541 illustrated in FIG. 5 . Referring to FIG. 5 , the matching device 140 may include a communication unit 510 , a storage unit 520 , a user interface 530 , a processor 540 , and a control unit 550 . Not all illustrated components are essential components, and other general-purpose components may be further included in addition to the illustrated components.

통신부(510)는 제1 의료 장치(110) 및 제2 의료 장치(120)로부터 각각 제1 의료 영상과 제2 의료 영상을 수신하고, 검출 장치(130)로부터 프로브(111)의 위치 및 방향에 대한 정보 중 적어도 하나를 수신할 수 있다. 통신부(510)는 제1 의료 장치(110), 제2 의료 장치(120) 및 검출 장치(130) 등과 유선 또는 무선으로 연결될 수 있다.The communication unit 510 receives the first medical image and the second medical image from the first medical device 110 and the second medical device 120 , respectively, and adjusts the position and direction of the probe 111 from the detection device 130 . at least one of information about The communication unit 510 may be connected to the first medical device 110 , the second medical device 120 , the detection device 130 , and the like by wire or wirelessly.

제1 통신부(511)는 제1 의료 장치(110)가 촬영하는 제1 의료 영상을 실시간 수신할 수 있다. 제2 통신부(512)는 제2 의료 장치(120)가 의료시술 이전에 미리 촬영한 제2 의료 영상을 수신하기 위하여, 제2 의료 장치(120)와 직접 연결될 수 있다. 또는, 제2 통신부(512)는 다른 외부 저장매체(USB, CD, DVD 등) 또는 네트워크를 통해 제2 의료 영상을 수신할 수 있다. 제2 통신부(512)는 수신한 제2 의료 영상을 저장부(520)에 저장할 수 있다. The first communication unit 511 may receive a first medical image captured by the first medical device 110 in real time. The second communication unit 512 may be directly connected to the second medical device 120 in order to receive the second medical image that the second medical device 120 pre-captured before the medical procedure. Alternatively, the second communication unit 512 may receive the second medical image through another external storage medium (USB, CD, DVD, etc.) or a network. The second communication unit 512 may store the received second medical image in the storage unit 520 .

제3 통신부(513)는 검출 장치(130)로부터 프로브(111)의 위치 및 방향에 대한 정보를 수신할 수 있다. 프로브(111)의 위치 및 방향에 대한 정보는 검출 장치의 좌표계에서 프로브의 좌표 정보이다. 또한, 프로브(111)의 위치 및 방향에 대한 정보는 제1 통신부(511)로부터 수신된 제1 의료 영상의 단면과 일대일 매칭될 수 있다. 제1 의료 영상과 프로브(111)의 위치 및 방향에 대한 정보가 서로 다른 통신부(511, 513)를 통해 수신된다고 하였으나, 이에 한정되지 않는다. 하나의 통신부를 통해 제1 의료 영상과 프로브(111)의 위치 및 방향에 대한 정보가 수신될 수도 있다. The third communication unit 513 may receive information about the position and direction of the probe 111 from the detection device 130 . Information on the position and direction of the probe 111 is coordinate information of the probe in the coordinate system of the detection device. Also, the information on the position and direction of the probe 111 may be matched one-to-one with the cross section of the first medical image received from the first communication unit 511 . Although it has been described that the first medical image and the information on the position and direction of the probe 111 are received through different communication units 511 and 513, the present invention is not limited thereto. The first medical image and information on the position and direction of the probe 111 may be received through one communication unit.

사용자 인터페이스(530)는 사용자로부터 정합 장치(140)을 조작하기 위한 입력을 수신하고, 정합 장치(140)가 획득한 제1 의료 영상, 제2 의료 영상 또는 정합된 의료 영상을 출력한다. 사용자 인터페이스(530)는 사용자가 직접 정합 장치(140)를 조작하기 위한 버튼, 키 패드, 스위치, 다이얼 또는 터치 인터페이스를 포함할 수 있다. 사용자 인터페이스(530)는 영상을 표시하기 위한 디스플레이를 포함할 수 있으며, 터치스크린으로 구현될 수 있다. The user interface 530 receives an input for manipulating the matching apparatus 140 from a user, and outputs a first medical image, a second medical image, or a registered medical image obtained by the matching apparatus 140 . The user interface 530 may include a button, a key pad, a switch, a dial, or a touch interface for a user to directly manipulate the matching device 140 . The user interface 530 may include a display for displaying an image, and may be implemented as a touch screen.

또 다른 실시예에서, 사용자 인터페이스(530)는 HID(Human Interface Device) 들을 연결하기 위한 I/O 포트를 구비할 수 있다. 사용자 인터페이스(530)는 영상의 입/출력을 위한 I/O 포트를 구비할 수 있다. 사용자는 프로브(111)를 기준점상에 위치시키고 정합을 위한 사용자 명령을 사용자 인터페이스(530)을 통해 입력함으로써, 정합 장치(140)을 정합을 위한 사용자 명령을 수신할 수 있다. In another embodiment, the user interface 530 may include an I/O port for connecting Human Interface Devices (HIDs). The user interface 530 may include an I/O port for input/output of an image. The user may receive a user command for matching the matching device 140 by positioning the probe 111 on the reference point and inputting a user command for matching through the user interface 530 .

프로세서(540)는 제1 의료 영상과 그에 대응하는 제2 의료 영상을 정합하여 정합된 영상을 사용자 인터페이스(530)로 출력할 수 있다. 프로세서(540)는 제1 의료 영상의 좌표 정보를 제2 의료 영상에서의 좌표 정보로 변환시키는 변환부(541) 및 변환된 좌표 정보를 갖는 제2 의료 영상의 단면을 추출하는 추출부(542)를 포함할 수 있다. 또한, 상기한 변환부는 프로브(111)의 좌표 정보를 제1 의료 영상의 단면에 대한 좌표 정보로 변환시킬 수도 있다. The processor 540 may match the first medical image with the second medical image corresponding thereto, and output the matched image to the user interface 530 . The processor 540 includes a transformation unit 541 that converts coordinate information of the first medical image into coordinate information of a second medical image, and an extractor 542 that extracts a cross section of the second medical image having the transformed coordinate information. may include Also, the conversion unit may convert the coordinate information of the probe 111 into coordinate information of a cross section of the first medical image.

도 6을 참조하면, 변환부(541)는 제1 의료 영상으로부터 정합을 위한 개체를 획득하는 제1 획득부(610), 제2 의료 영상으로부터 정합을 위한 개체를 획득하는 제2 획득부(620) 및 획득된 개체들을 정렬시킴으로써, 제1 의료 영상과 제2 의료 영상간의 제1 변환 관계를 산출하는 산출부(630)를 포함할 수 있다. 제1 및 제2 획득부(620)에서 획득되는 개체는 동일할 수도 있고, 다를 수도 있다. 개체들이 동일한지 여부에 따라 제1 변환 관계의 산출 방식이 상이할 수 있다. Referring to FIG. 6 , the transform unit 541 includes a first acquirer 610 that acquires an object for registration from a first medical image, and a second acquirer 620 that acquires an object for registration from a second medical image. ) and a calculator 630 that calculates a first transformation relationship between the first medical image and the second medical image by aligning the obtained objects. The objects obtained by the first and second obtaining units 620 may be the same or different. A method of calculating the first transformation relation may be different depending on whether the entities are the same.

제1 획득부(610)는 제1 의료 영상으로부터 개체를 획득할 수 있다. 상기한 개체는 대상체내의 기준점일 수도 있고, 제1 의료 영상에서 뚜렷하게 나타나는 기준점 이외의 개체일 수도 있다. 예를 들어, 제1 의료 영상이 간을 포함하는 초음파 영상인 경우, 개체는 간 이외에도 간과 인접하게 배치된 하대 정맥 또는 횡경막일 수 있다. 이외에도, 간에 인접한 신장, 담낭, Portal vein, Hepatic vein, IVC 중 적어도 하나 이상이 개체가 될 수 있다. The first acquirer 610 may acquire the object from the first medical image. The above-mentioned object may be a reference point within the object, or may be an object other than the reference point clearly displayed in the first medical image. For example, when the first medical image is an ultrasound image including a liver, the object may be an inferior vena cava or a diaphragm disposed adjacent to the liver in addition to the liver. In addition, at least one or more of the kidney, gallbladder, portal vein, hepatic vein, and IVC adjacent to the liver may be an individual.

제2 획득부(620)는 제2 의료 영상으로부터 개체를 획득할 수 있다. 상기한 개체는 대상체내의 기준점일 수도 있고, 제2 의료 영상에서 뚜렷하게 나타나는 기준점 이외의 다른 개체일 수도 있다. 제2 획득부(620)가 획득하는 개체는 제1 획득부(610)가 획득하는 개체와 동일하거나 다를 수 있다. 예를 들어, 관심 장기가 간인 경우, 일반적으로 횡경막, 하대정맥 등은 초음파 영상인 제1 의료 영상과 MR 영상인 제2 의료 영상에 모두 뚜렷하게 나타날 수 있다. 그리하여, 제1 및 제2 획득부(610, 620) 각각은 횡경막 또는 하대 정맥을 개체로 획득할 수 있다. 그러나, 이에 한정되지 않는다. The second acquirer 620 may acquire the object from the second medical image. The above-mentioned object may be a reference point within the object, or may be an object other than the reference point clearly displayed in the second medical image. The object obtained by the second obtainer 620 may be the same as or different from the object obtained by the first obtainer 610 . For example, when the organ of interest is the liver, in general, the diaphragm, inferior vena cava, etc. may be clearly displayed in both the first medical image that is an ultrasound image and the second medical image that is an MR image. Thus, each of the first and second acquisition units 610 and 620 may acquire the diaphragm or inferior vena cava as an individual. However, the present invention is not limited thereto.

이하 설명의 편의를 위해 제1 획득부(610)에서 획득된 기준점 이외의 개체를 제1 개체라고 하고, 제2 획득부(620)에서 획득된 기준점 이외의 개체를 제2 개체라고 한다. 제2 획득부(620)는 제1 개체와 다르면서 제1 개체와 인접하게 배치된 제2 개체를 획득할 수 있다. 예를 들어, 제1 개체가 횡경막일 때, 제2 개체는 간일 수 있다. 이때, 간과 횡격막은 동일한 개체는 아니지만, 간의 경계면과 횡격막이 접하므로 횡격막을 간의 경계면으로 간주하면, 횡격막과 간을 정렬시킴으로써 의료 영상들을 정합할 수 있기 때문이다. For convenience of description, an entity other than the reference point acquired by the first acquiring unit 610 is referred to as a first entity, and an entity other than the reference point acquired by the second acquiring unit 620 is called a second entity. The second acquirer 620 may acquire a second object different from the first object and disposed adjacent to the first object. For example, when the first entity is the diaphragm, the second entity may be the liver. In this case, the liver and the diaphragm are not the same entity, but since the interface of the liver and the diaphragm are in contact, if the diaphragm is regarded as the interface between the liver, medical images can be registered by aligning the diaphragm and the liver.

산출부(630)는 기준점을 이용하여 제1 의료 영상과 제2 의료 영상간의 제1 변환 관계를 산출할 수 있다. 예를 들어, 산출부(630)는 제1 의료 영상에 포함된 기준점의 좌표 정보를 제2 의료 영상에 포함된 기준점의 좌표 정보로 변환시킴으로써 제1 의료 영상과 제2 의료 영상 간의 제1 변환 관계를 산출할 수 있다. 제1 및 제2 의료 영상의 기준점에 대한 좌표 정보가 명확한 경우, 상기한 제1 변환 관계만으로 제1 의료 영상과 제2 의료 영상을 정합시킬 수 있다.The calculator 630 may calculate a first transformation relationship between the first medical image and the second medical image by using the reference point. For example, the calculator 630 converts the coordinate information of the reference point included in the first medical image into coordinate information of the reference point included in the second medical image, thereby generating a first transformation relationship between the first medical image and the second medical image. can be calculated. When the coordinate information of the reference points of the first and second medical images is clear, the first medical image and the second medical image may be matched only by the above-described first transformation relationship.

한편, 사용자의 역량 등에 따라 프로브(111)는 기준점 상에 위치할 수도 있고, 약간 어긋날 수도 있다. 따라서, 일 실시예에 따른 정합 장치(140)는 기준점 이외에 대상체의 다른 개체를 이용하여 제1 변환 관계를 보완할 수 있다. 예를 들어, 산출부(630)은 제1 의료 영상에 포함된 제1 개체와 제2 의료 영상에 포함된 제2 개체를 이용하여 상기한 제1 변환 관계를 보완할 수 있다. Meanwhile, the probe 111 may be located on the reference point or slightly deviated according to the user's capability. Accordingly, the matching apparatus 140 according to an embodiment may supplement the first transformation relationship by using another entity of the object other than the reference point. For example, the calculator 630 may supplement the first transformation relationship by using the first object included in the first medical image and the second object included in the second medical image.

제1 개체와 제1 개체가 동일한 경우, 산출부(630)는 제1 개체와 제2 개체를 일치시킴으로써 제1 변환 관계를 보완할 수 있다. 그러나, 제1 개체와 제2 개체가 다른 경우, 산출부(630)는 제1 개체와 제2 개체간의 기하학적 배치 구조가 기저장된 기하학적 배치 구조와 일치시킴으로써 제1 변환 관계를 보완할 수 있다. 제1 개체와 제2 개체간의 기하학적 배치 구조가 기저장되어 있을 수 있다. When the first entity and the first entity are the same, the calculator 630 may supplement the first transformation relationship by matching the first entity with the second entity. However, when the first entity and the second entity are different from each other, the calculator 630 may supplement the first transformation relationship by matching the geometric arrangement structure between the first entity and the second entity with a pre-stored geometric arrangement structure. A geometric arrangement structure between the first object and the second object may be pre-stored.

상기와 같이, 기준점을 이용하여 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 제1 변환 관계를 산출하면 임의의 지점을 기준으로 좌표계간의 제1 변환 관계를 산출하는 것보다 산출이 용이할 수 있다. As described above, if the first transformation relationship between the coordinate system of the first medical image and the coordinate system of the second medical image is calculated using the reference point, the calculation may be easier than calculating the first transformation relationship between the coordinate systems based on an arbitrary point. can

그리고, 추출부(542)는 제1 의료 영상의 단면에 대응하는 제2 의료 영상의 단면을 제2 의료 영상으로부터 획득할 수 있다. 예를 들어, 추출부(542)는 제1 변환 관계를 이용하여 제1 의료 영상의 단면에 대한 좌표 정보를 제2 의료 영상 좌표계에서의 좌표 정보로 변환시키고, 변환된 좌표 정보를 갖는 제2 의료 영상의 단면을 제2 의료 영상으로부터 추출할 수 있다. In addition, the extractor 542 may obtain a cross-section of the second medical image corresponding to the cross-section of the first medical image from the second medical image. For example, the extractor 542 converts the coordinate information of the cross section of the first medical image into coordinate information in the second medical image coordinate system using the first transformation relationship, and the second medical image having the transformed coordinate information A cross section of the image may be extracted from the second medical image.

제1 의료 영상의 단면 및 제2 의료 영상의 단면은 디스플레이(150) 또는 사용자 인터페이스(530)로 인가되어, 제1 의료 영상의 단면과 제2 의료 영상의 단면이 함께 표시될 수 있다. 제1 의료 영상과 제2 의료 영상의 단면 각각이 영역을 달리하여 표시될 수도 있고, 융합되어 하나의 영상으로 표시될 수도 있다. The cross-section of the first medical image and the cross-section of the second medical image may be applied to the display 150 or the user interface 530 so that the cross-section of the first medical image and the cross-section of the second medical image may be displayed together. Each of the cross-sections of the first medical image and the second medical image may be displayed with different regions, or may be fused and displayed as one image.

변환부(541)는 프로브(111)의 위치 및 방향에 대한 정보와 제1 의료 영상의 단면에 대한 좌표 정보간의 제2 변환 관계를 산출할 수 있다. 변환부(541)는 제1 의료 영상의 단면에 대한 좌표 정보로부터 제1 의료 영상의 단면에 대한 위치 및 방향에 대한 정보를 산출할 수 있다. 예를 들어, 제1 의료 영상의 단면에 대한 위치 정보는 제1 의료 영상의 단면 중 중심에 대한 위치로 정의되고, 제1 의료 영상의 단면에 대한 방향 정보는 제1 의료 영상의 단면 중 중심의 법선 방향으로 정의될 수 있다. The transformation unit 541 may calculate a second transformation relationship between information on the position and direction of the probe 111 and coordinate information on a cross-section of the first medical image. The transform unit 541 may calculate information on the position and direction of the cross-section of the first medical image from the coordinate information of the cross-section of the first medical image. For example, the location information on the cross-section of the first medical image is defined as a position with respect to the center of the cross-sections of the first medical image, and the direction information on the cross-section of the first medical image is defined as the position of the center among the cross-sections of the first medical image. It can be defined in the normal direction.

변환부(541)는 프로브(111)가 기준점 상에 위치할 때 프로브(111)의 위치 및 방향에 대한 정보, 즉, 프로브의 좌표 정보를 제1 의료 영상의 단면에 대한 좌표 정보로 변환시키는 제2 변환 관계를 산출할 수 있다.When the probe 111 is positioned on a reference point, the converting unit 541 converts information on the position and direction of the probe 111 , that is, coordinate information of the probe into coordinate information on the cross-section of the first medical image. 2 A transformation relationship can be calculated.

그리고, 프로브(111)의 위치 및 방향 중 적어도 하나가 변경되면, 변환부(541)는 상기한 제2 변환 관계를 이용하여 변경된 프로브(111)의 좌표 정보로부터 제1 의료 영상의 단면에 대한 좌표 정보로 산출할 수 있다. And, when at least one of the position and direction of the probe 111 is changed, the transform unit 541 uses the second transformation relation to change the coordinates of the cross-section of the first medical image from the changed coordinate information of the probe 111 . information can be calculated.

제어부(550)는 정합 장치(140)의 동작을 전반적으로 제어한다. 예를 들어, 제어부(550)는 사용자 인터페이스(530)를 통해 입력된 사용자 명령이나 저장부(520)에 저장된 프로그램을 이용하여 프로세서(540)가 영상을 생성하도록 제어할 수 있다. 또한, 제어부(550)는 프로세서(540)에서 생성한 영상이 사용자 인터페이스(530) 또는 디스플레이(150)에 표시되도록 제어할 수도 있다.The controller 550 controls the overall operation of the matching device 140 . For example, the controller 550 may control the processor 540 to generate an image using a user command input through the user interface 530 or a program stored in the storage 520 . Also, the controller 550 may control the image generated by the processor 540 to be displayed on the user interface 530 or the display 150 .

정합장치(130)의 보다 상세한 동작에 대해서는, 후술하는 의료영상 정합 방법을 참조하여 설명을 계속한다. 이하에서, 의료영상 정합장치(130)의 어느 구성요소가 각 단계를 수행하는지를 구체적으로 특정하지 않더라도, 당업자라면 전술한 설명으로부터 이를 파악할 수 있다.For a more detailed operation of the matching device 130 , the description will be continued with reference to a medical image matching method to be described later. Hereinafter, even if it is not specifically specified which component of the medical image matching apparatus 130 performs each step, a person skilled in the art can understand this from the above description.

도 7은 일 실시예에 따른 의료 영상을 정합하는 방법을 설명하는 흐름도이다. 도 7을 참조하면, 정합 장치(140)는 제1 의료 장치(110)로부터 제1 의료 영상의 단면을 획득할 수 있다(S710). 예를 들어, 제1 의료 장치(110)는 실시간으로 프로브(111)를 통해 제1 의료 영상의 단면을 생성하고, 생성된 단면을 정합 장치(140)에 전송할 수 있다. 제1 의료 장치(110)과 정합 장치(140)을 구분하여 설명하였으나, 제1 의료 장치(110)과 정합 장치(140)가 일체형일 수 있다. 제1 의료 장치(110)과 정합 장치(140)가 일체형인 경우, 정합 장치(140)는 프로브(111)를 통해 제1 의료 영상의 단면을 획득할 수도 있다. 즉 정합 장치(140)는 프로브로부터 수신된 신호를 이용하여 제1 의료 영상의 단면을 획득할 수 있다. 7 is a flowchart illustrating a method of registering a medical image according to an exemplary embodiment. Referring to FIG. 7 , the matching apparatus 140 may obtain a cross-section of the first medical image from the first medical apparatus 110 ( S710 ). For example, the first medical apparatus 110 may generate a cross-section of the first medical image through the probe 111 in real time, and transmit the generated cross-section to the registration apparatus 140 . Although the first medical device 110 and the matching device 140 have been described separately, the first medical device 110 and the matching device 140 may be integrally formed. When the first medical apparatus 110 and the registration apparatus 140 are integrally formed, the registration apparatus 140 may acquire a cross-section of the first medical image through the probe 111 . That is, the matching apparatus 140 may acquire a cross section of the first medical image by using a signal received from the probe.

정합 장치(140)는 프로브(111)가 대상체의 기준점 상에 위치하는지 판단한다(S720). 프로브가 대상체의 기준점 상에 위치하는지 여부를 판단하기에 앞서, 정합 장치는 대상체의 기준점을 설명하는 인디케이터를 제공할 수 있다. 대상체의 기준점이 복수 개인 경우, 사용자가 기준점을 선택할 수 있도록 할 수도 있다.The matching device 140 determines whether the probe 111 is positioned on a reference point of the object (S720). Prior to determining whether the probe is positioned on the reference point of the object, the matching device may provide an indicator describing the reference point of the object. When the reference point of the object is plural, the user may be able to select the reference point.

이하, 프로브(111)를 대상체의 기준점상에 위치시키는 사용자 명령을 제1 사용자 명령이라고 한다. 그리고, 영상 정합을 위한 사용자 명령을 제2 사용자 명령이라고 한다. 정합 장치(140)내 제어부(550)는 제1 의료 영상, 프로브(111)의 움직임 검출 결과 및 사용자 명령을 입력받는 사용자 인터페이스(530)의 입력 결과들 중 적어도 두 개를 이용하여 상기 제1 사용자 명령이 입력되었는지 여부를 판단할 수 있다. Hereinafter, a user command for positioning the probe 111 on a reference point of the object is referred to as a first user command. And, a user command for image matching is referred to as a second user command. The controller 550 in the matching device 140 uses at least two of the first medical image, the result of detecting the motion of the probe 111 , and the input result of the user interface 530 for receiving the user command to the first user It can be determined whether a command has been entered.

예를 들어, 사용자가 프로브(111)를 대상체의 기준점상에 위치시키고, 영상 정합을 위한 제2 사용자 명령을 입력할 수 있다. 제어부(550)는 제2 사용자 명령이 입력되면, 제2 사용자 명령이 입력된 시점에 획득된 제1 의료 영상의 단면으로부터 기준점의 좌표 정보를 획득할 수 있는지 여부를 판단할 수 있다. For example, the user may position the probe 111 on the reference point of the object and input a second user command for image registration. When a second user command is input, the controller 550 may determine whether coordinate information of a reference point can be obtained from the cross-section of the first medical image acquired at the time the second user command is input.

제1 의료 영상의 단면에 기준점이 포함되어 있는 경우, 제어부(550)는 제1 의료 영상의 단면으로부터 기준점의 좌표 정보를 획득할 수 있기 때문에 제1 사용자 명령이 입력된 것으로 판단할 수 있다. When the cross-section of the first medical image includes the reference point, the controller 550 may determine that the first user command has been input because coordinate information of the reference point may be obtained from the cross-section of the first medical image.

또는 제어부(550)는 제2 사용자 명령이 입력된 시점에 획득된 제1 의료 영상의 단면에 기준점에 포함되지 않는 경우, 제1 의료 영상의 단면의 개체로부터 기준점의 좌표 정보를 획득할 수 있는지 여부를 판단할 수 있다. 제1 의료 영상의 단면의 개체로부터 기준점의 좌표 정보를 획득할 수 있는 경우, 제어부(550)는 제1 사용자 명령이 입력된 것으로 판단할 수 있다. Alternatively, if the reference point is not included in the reference point in the cross-section of the first medical image obtained at the time when the second user command is input, the controller 550 may obtain coordinate information of the reference point from the object in the cross-section of the first medical image can be judged When coordinate information of the reference point can be obtained from the object of the cross-section of the first medical image, the controller 550 may determine that the first user command has been input.

예를 들어, 기준점이 명치인 경우, 제1 의료 영상의 단면에 기준점 즉 명치는 포함되어 있지 않지만, 기준점의 좌표 정보를 추정할 수 있는 갈비뼈가 포함되어 있는 경우, 제어부(550)는 갈비뼈의 좌표 정보로부터 명치의 좌표 정보를 획득할 수 있기 때문에 제어부(550)는 제1 사용자 명령이 입력된 것으로 판단할 수 있다. 개체의 좌표 정보로부터 기준점의 좌표 정보를 획득하기 위해서는 정합 장치(140)에 개체와 기준점의 상대적 위치 관계가 기저장되어 있을 수 있다. For example, when the reference point is the rib cage, the reference point, that is, the rib cage is not included in the cross section of the first medical image, but includes a rib for estimating coordinate information of the reference point, the controller 550 controls the coordinates of the rib Since the coordinate information of Myungchi can be obtained from the information, the controller 550 may determine that the first user command has been input. In order to obtain coordinate information of the reference point from the coordinate information of the object, a relative positional relationship between the object and the reference point may be previously stored in the matching device 140 .

또는 사용자는 프로브(111)를 대상체의 기준점상에 위치시킨 상태에서 일정 시간 동안 프로브(111)를 움직이지 않고 고정시킬 수 있다. 제어부(550)는 검출 장치의 검출 결과로부터 프로브(111)가 일정 시간 동안 움직이지 않는 것으로 판단되면 프로브(111)를 통해 획득된 제1 의료 영상의 단면으로부터 기준점의 좌표 정보를 획득할 수 있는지 여부를 판단할 수 있다. Alternatively, the user may fix the probe 111 without moving it for a predetermined period of time while the probe 111 is positioned on the reference point of the object. If it is determined from the detection result of the detection device that the probe 111 does not move for a certain period of time, the controller 550 determines whether coordinate information of the reference point can be obtained from the cross section of the first medical image acquired through the probe 111 . can be judged

제1 의료 영상의 단면에 기준점이 포함되어 있으면, 제어부(550)는 제1 의료 영상의 단면으로부터 기준점의 좌표 정보를 획득할 수 있기 때문에 제1 사용자 명령이 입력된 것으로 판단할 수 있다. 또는 제1 의료 영상의 단면에 기준점의 좌표 정보를 추정할 수 있는 개체가 포함되어 있으면, 제어부(550)는 제1 사용자 명령이 입력된 것으로 판단할 수 있다.If the cross-section of the first medical image includes the reference point, the controller 550 may determine that the first user command has been input because coordinate information of the reference point may be obtained from the cross-section of the first medical image. Alternatively, if the cross section of the first medical image includes an object capable of estimating coordinate information of the reference point, the controller 550 may determine that the first user command has been input.

제어부(550)는 제1 사용자 명령이 입력되었다고 판단하기에 앞서, 프로브(111)를 대상체의 기준점상에 위치시킨 상태에서 일정 시간(예를 들어, 5초) 동안 프로브(111)를 고정시키는 사용자의 행동이 영상 정합을 위한 것인지 여부를 문의하는 알림을 제공할 수 있다. 예를 들어, 제어부(550)는 '영상 정합을 할까요'라는 알림을 디스플레이(150) 또는 사용자 인터페이스(530)에 표시할 수 있고, 사용자 인터페이스(530)를 통해 제2 사용자 명령이 입력되거나 일정 시간(예를 들어, 3초)이 경과하면, 제1 사용자 명령이 입력된 것으로 판단할 수 있다. 여기서 기준점은 대상체의 개체 중 대상체의 호흡에 따라 형상이 변형되지 않는 개체 또는 사용자의 육안으로 식별 가능한 개체일 수 있다. 예를 들어, 기준점은 대상체의 특정 뼈, 배꼽, 상장간동맥(superior mesenteric artery), 간 하부단(liver inferior tip) 등이 될 수 있다. 프로브(111)가 대상체의 기준점 상에 위치할 때, 검출 장치의 좌표계와 제1 의료 영상 좌표계는 평행할 수 있다. Before determining that the first user command has been input, the controller 550 controls the user to fix the probe 111 for a predetermined period of time (eg, 5 seconds) in a state where the probe 111 is positioned on the reference point of the object. A notification may be provided to inquire whether the action of is for image registration. For example, the control unit 550 may display a notification 'to perform image registration' on the display 150 or the user interface 530, and a second user command is inputted through the user interface 530 or a predetermined time period. When (for example, 3 seconds) elapses, it may be determined that the first user command has been input. Here, the reference point may be an object whose shape is not deformed according to the object's respiration among objects of the object or an object that can be identified with the naked eye of the user. For example, the reference point may be a specific bone of the object, a navel, a superior mesenteric artery, a liver inferior tip, or the like. When the probe 111 is positioned on the reference point of the object, the coordinate system of the detection device and the first medical image coordinate system may be parallel.

프로브(111)가 대상체의 기준점 상에 위치하면(S720-Y), 정합 장치(140)는 제1 의료 장치(110)로부터 제1 의료 영상의 제1 단면을 획득할 수 있다(S730). 여기서, 제1 단면은 기준점을 포함하는 제1 의료 영상의 단면을 의미한다. S720 및 S730 는 동시에 수행될 수 있다. 설명의 편의를 도모하기 위해 단계를 분리하였을 뿐이다. 정합 장치(140)는 기준점을 이용하여 제2 의료 영상으로부터 제2 의료 영상의 제2 단면을 획득할 수 있다(S740). 제2 의료 영상의 제2 단면은 제1 의료 영상의 제1 단면에 대응된다. 정합 장치(140)는 기준점을 이용하여 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 제1 변환 관계를 산출하고, 상기한 제1 변환 관계를 이용하여 제2 의료 영상의 제2 단면을 획득할 수 있다. When the probe 111 is positioned on the reference point of the object ( S720 -Y ), the matching device 140 may acquire a first cross-section of the first medical image from the first medical device 110 ( S730 ). Here, the first cross-section means a cross-section of the first medical image including the reference point. S720 and S730 may be performed simultaneously. Steps are only separated for convenience of explanation. The matching apparatus 140 may obtain a second cross-section of the second medical image from the second medical image by using the reference point (S740). The second cross-section of the second medical image corresponds to the first cross-section of the first medical image. The matching device 140 calculates a first transformation relation between the coordinate system of the first medical image and the coordinate system of the second medical image using the reference point, and uses the first transformation relation to obtain a second cross section of the second medical image. can be obtained

그리고, 정합 장치(140)는 제1 단면과 제2 단면을 표시할 수 있다(750). 정합 장치(140)는 제1 통신부(511)로부터 수신된 제1 단면과 프로세서(540)가 획득된 제2 단면을 함께 표시할 수 있다. Then, the matching device 140 may display the first cross-section and the second cross-section ( 750 ). The matching apparatus 140 may display the first cross-section received from the first communication unit 511 and the second cross-section obtained by the processor 540 together.

한편, 프로브(111)가 대상체의 기준점 상에 위치하지 않는 것으로 판단되면(S720-N), 정합 장치(140)는 영상을 정합할 수 없음을 알리는 알림을 제공할 수 있다(S760). 사용자의 미숙으로 프로브(111)가 대상체의 기준점상에 위치되지 않는 채, 정합 장치(140)는 정합 명령을 위한 제2 사용자 명령을 입력받을 수 있다. Meanwhile, if it is determined that the probe 111 is not located on the reference point of the object (S720-N), the matching device 140 may provide a notification indicating that the image cannot be matched (S760). The matching device 140 may receive a second user command for a matching command while the probe 111 is not positioned on the reference point of the object due to the inexperience of the user.

제2 사용자 명령이 입력되면, 정합 장치(140) 중 제어부(550)는 제2 사용자 명령이 입력된 시점 획득된 제1 의료 영상에 기준점이 포함되어 있는지 여부를 판단할 수 있다. 제1 의료 영상에 기준점이 포함되지 않는 경우, 제어부(550)는 프로브가 대상체의 기준점상에 위치하지 않는 것으로 판단하고, 제1 의료 영상과 제2 의료 영상을 정합할 수 있음을 알리는 알림을 제공할 수 있다. When a second user command is input, the controller 550 of the matching device 140 may determine whether a reference point is included in the first medical image acquired when the second user command is input. When the reference point is not included in the first medical image, the controller 550 determines that the probe is not located on the reference point of the object, and provides a notification indicating that the first medical image and the second medical image can be matched. can do.

상기와 같이, 프로브(111)가 대상체의 기준점상에 위치하지 않으면, 정합 장치(140)는 알림을 제공함으로써 프로브(111)가 대상체의 기준점 상에 위치하도록 사용자의 행동을 유도할 수 있다. As described above, when the probe 111 is not located on the reference point of the object, the matching device 140 may induce the user's action to position the probe 111 on the reference point of the object by providing a notification.

또는 정합 장치(140)는 기준점을 이용하지 않고, 기준점 아닌 다른 개체를 이용하여 제2 의료 영상으로부터 제2 의료 영상의 제2 단면을 획득할 수 있다. 상기한 개체는 제1 의료 영상의 단면에 포함된 개체들 가장 선명한 개체일 수도 있고, 제1 의료 영상의 단면 중 중앙 영역에 표시된 개체, 제1 의료 영상의 단면 중 상단의 가운데 영역에 표시된 개체일 수 있다. 기준점이 아닌 개체를 이용한 영상 정합은 일반적인 개체를 이용한 영상 정합 방법이 적용될 수 있는 바, 구체적인 설명은 생략한다. Alternatively, the matching apparatus 140 may acquire the second cross-section of the second medical image from the second medical image by using an object other than the reference point, without using the reference point. The object may be the sharpest object included in the cross-section of the first medical image, the object displayed in the central area of the cross-section of the first medical image, or the object displayed in the upper middle area of the cross-section of the first medical image can For image registration using an object other than a reference point, a general image registration method using an object may be applied, and a detailed description thereof will be omitted.

도 8은 일 실시예에 따른 정합 장치가 기준점을 이용하여 제1 변환 관계를 산출하는 방법을 설명하는 흐름도이다. 8 is a flowchart illustrating a method in which a matching device calculates a first transformation relationship using a reference point according to an exemplary embodiment.

제1 획득부(610)는 제1 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다(S810). 정합 장치(140)에 프로브(111)가 대상체의 기준점상에 위치할 때의 기준점에 대한 좌표 정보가 기저장되어 있을 수 있다. 제1 획득부(610)는 기저장된 기준점에 대한 좌표 정보를 독출함으로써 제1 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다. The first acquirer 610 may acquire coordinate information of a reference point in the first medical image (S810). Coordinate information on a reference point when the probe 111 is positioned on a reference point of the object may be pre-stored in the matching device 140 . The first acquirer 610 may acquire coordinate information of the reference point in the first medical image by reading pre-stored coordinate information on the reference point.

제1 의료 영상에서 기준점의 좌표 정보는 제1 의료 영상의 좌표계를 기반으로 한다. 제1 의료 영상의 좌표계는 기정의되어 있을 수도 있고, 프로브가 기준점상에 위치할 때 정합 장치가 제1 의료 영상의 제1 단면 및 검출 장치의 좌표계를 이용하여 제1 의료 영상의 좌표계를 정의할 수도 있다. The coordinate information of the reference point in the first medical image is based on the coordinate system of the first medical image. The coordinate system of the first medical image may be predefined, and when the probe is positioned on the reference point, the matching device defines the coordinate system of the first medical image by using the first cross-section of the first medical image and the coordinate system of the detection device. may be

또는 정합 장치(140)에 기준점의 형상 정보가 저장되어 있는 경우, 제1 획득부(610)는 제1 의료 장치로부터 제1 의료 영상을 획득하고, 기준점의 형상 정보를 이용하여 제1 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다. 이외에도 다양한 방법으로 제1 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다. Alternatively, when the shape information of the reference point is stored in the matching device 140 , the first acquisition unit 610 acquires a first medical image from the first medical device, and uses the shape information of the reference point in the first medical image. Coordinate information of the reference point may be acquired. In addition, coordinate information of the reference point may be acquired from the first medical image in various ways.

제2 획득부(620)도 제2 의료 영상으로부터 기준점의 좌표 정보를 획득할 수 있다(S820). 정합 장치(140)에는 제2 의료 영상에서 기준점의 좌표 정보가 기저장되어 있을 수 있다. 제2 획득부(620)는 기저장된 기준점의 좌표 정보를 독출함으로써 제2 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다. 제2 의료 영상에서 기준점의 좌표 정보는 제2 의료 영상의 좌표계를 기반으로 한다. The second acquirer 620 may also acquire coordinate information of the reference point from the second medical image (S820). In the matching device 140 , coordinate information of a reference point in the second medical image may be pre-stored. The second acquirer 620 may acquire coordinate information of the reference point from the second medical image by reading pre-stored coordinate information of the reference point. The coordinate information of the reference point in the second medical image is based on the coordinate system of the second medical image.

또는 정합 장치(140)에 기준점의 형상 정보가 저장되어 있는 경우, 제2 획득부(620)는 상기한 기준점의 형상 정보를 이용하여 제2 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다. 한편, 기준점은 제2 의료 영상에 선명하지 않을 수 있다. 제2 획득부(620)는 기준점에 인접하는 개체를 이용하여 기준점의 좌표 정보를 추정할 수도 있다. 제1 획득부(610)가 제1 의료 영상에서 기준점의 좌표 정보를 획득한 후 제2 획득부(620)가 제2 의료 영상에서 기준점의 좌표 정보를 획득한다고 하였으나, 이는 설명의 편의를 위할 뿐 그 순서는 바뀌어도 무방하고, 동시에 진행하여도 무방하다. Alternatively, when the shape information of the reference point is stored in the matching device 140 , the second acquirer 620 may acquire coordinate information of the reference point from the second medical image by using the shape information of the reference point. Meanwhile, the reference point may not be clear in the second medical image. The second acquirer 620 may estimate coordinate information of the reference point by using an object adjacent to the reference point. Although the first acquirer 610 acquires the coordinate information of the reference point in the first medical image and then the second acquirer 620 acquires the coordinate information of the reference point in the second medical image, this is only for convenience of explanation The order may be changed, and it may be performed simultaneously.

그리고, 산출부(630)는 제1 의료 영상에서 기준점의 좌표 정보를 제2 의료 영상의 기준점의 좌표 정보로 변환시킴으로써 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 제1 변환 관계(T₁)를 산출할 수 있다(S830). 제1 변환 관계(T₁)는 하기 수학식 1과 같을 수 있다. Then, the calculator 630 converts the coordinate information of the reference point in the first medical image into the coordinate information of the reference point of the second medical image, thereby generating a first transformation relationship (T) between the coordinate system of the first medical image and the coordinate system of the second medical image. ₁ ) can be calculated (S830). The first transformation relationship (T ₁ ) may be expressed by Equation (1) below.

[수학식 1][Equation 1]

여기서, X_us _, ₀는 제1 의료 영상 좌표계에서 기준점의 좌표 정보이고, X_MR _, ₀는 제2 의료 영상 좌표계에서 기준점의 좌표 정보이다.Here, X _us _, ₀ is coordinate information of the reference point in the first medical image coordinate system, and X _MR _, ₀ is coordinate information of the reference point in the second medical image coordinate system.

한편, 프로브(111)를 기준점 상에 위치시킨다 하더라도 사용자의 역량에 따라 프로브(111)의 중심이 기준점의 중심에 정확하게 일치하지 않을 수 있다. 그리고, 경우에 따라서는 제1 의료 영상 또는 제2 의료 영상에 기준점에 대한 정보가 명확히 포함되지 않을 수 있다. 기준점에 대한 정보가 명확히 포함되어 있지 않는 경우, 기준점만으로 제1 의료 영상과 제2 의료 영상간의 제1 변환 관계를 명확히 산출하는 것이 어려울 수 있다. 그리하여, 일 실시예에 따른 정합 장치(140)는 기준점 이외의 대상체내 다른 개체를 이용하여 상기한 제1 변환 관계를 보완할 수 있다. Meanwhile, even if the probe 111 is positioned on the reference point, the center of the probe 111 may not exactly match the center of the reference point depending on the user's ability. Also, in some cases, information on the reference point may not be clearly included in the first medical image or the second medical image. If information on the reference point is not clearly included, it may be difficult to clearly calculate the first transformation relationship between the first medical image and the second medical image only with the reference point. Thus, the matching apparatus 140 according to an embodiment may supplement the above-described first transformation relationship by using another entity in the object other than the reference point.

도 9는 일 실시예에 따른 제1 변환 관계를 보완하는 방법을 설명하는 흐름도이다. 도 9를 참조하면, 제1 획득부(610)는 제1 의료 영상으로부터 제1 개체를 획득하고, 제1 개체에 대한 좌표 정보를 획득한다(S910). 그리고, 산출부(630)는 제1 개체의 좌표 정보를 제1 변환 관계를 이용하여 제2 의료영상의 좌표계에서의 좌표 정보로 변환시킨다(S920). 9 is a flowchart illustrating a method of supplementing a first transformation relationship according to an embodiment. Referring to FIG. 9 , the first obtaining unit 610 obtains a first object from a first medical image and obtains coordinate information on the first object ( S910 ). Then, the calculator 630 converts the coordinate information of the first object into coordinate information in the coordinate system of the second medical image by using the first transformation relationship ( S920 ).

한편, 제2 획득부(620)는 제2 의료 영상으로부터 제2 개체를 획득하고, 제2 개체의 좌표 정보를 획득한다(S930). 제1 및 제2 개체 각각은 제1 및 제2 의료 영상 각각에서 선명하게 표시되는 개체일 수 있다. 제1 및 제2 개체는 동일할 수도 있고, 다를 수 도 있다. 개체 획득 방법은 의료 영상에서 개체를 획득하는 일반적인 기술이 적용되는 바, 구체적인 설명은 생략한다. 또한, 제2 획득부(620)는 제2 의료 영상으로부터 사전에 제2 개체를 획득하여 저장해 놓을 수 있다. 그리하여, 제2 획득부(620)는 기저장된 제2 개체를 로딩할 수도 있다. S810과 S830은 그 순서가 바뀌어도 되고 동시에 진행되어도 무방하다. Meanwhile, the second acquirer 620 acquires a second object from the second medical image and acquires coordinate information of the second object ( S930 ). Each of the first and second objects may be an object that is clearly displayed in each of the first and second medical images. The first and second entities may be the same or different. As the object acquisition method, a general technique for acquiring an object from a medical image is applied, and a detailed description thereof will be omitted. Also, the second acquirer 620 may acquire and store the second object in advance from the second medical image. Thus, the second acquirer 620 may load a pre-stored second object. The order of S810 and S830 may be changed or may be performed simultaneously.

그리고, 산출부(630)는 변환된 제1 개체와 제2 개체를 정렬시킴으로써 제1 의료 영상 좌표계와 제2 의료 영상 좌표계간의 제1 변환 관계를 보완하여 최종적인 제1 변환 관계(T_f)를 획득할 수 있다(S940). 최종적인 제1 변환 관계(T_f)는 하기 수학식 2와 같이 산출할 수 있다. Then, the calculator 630 aligns the transformed first object with the second object, thereby supplementing the first transformation relationship between the first medical image coordinate system and the second medical image coordinate system to obtain a final first transformation relationship T _f . can be obtained (S940). The final first transformation relationship (T _f ) can be calculated as in Equation 2 below.

[수학식 2][Equation 2]

여기서, X_US _, ₁는 제1 의료 영상 좌표계에서 제1 개체의 좌표 정보이고, X_MR _{, 2}는 제2 의료 영상 좌표계에서 제2 개체의 좌표 정보이며, T₁는 기준점을 이용하여 획득된 변환 관계, Ts는 변환된 제1 개체와 제2 개체를 이용하여 획득된 보완 관계이다.Here, X _US _, ₁ is coordinate information of a first object in a first medical image coordinate system, X _MR _{, 2} is coordinate information of a second object in a second medical image coordinate system, and T ₁ is a transformation obtained using a reference point The relationship, Ts, is a complementary relationship obtained using the transformed first and second entities.

한편, 제1 및 제2 개체가 동일한지 여부에 따라 제1 및 제2 개체의 정렬 방법이 다를 수 있다. 도 10은 일 실시예에 따른 제1 및 제2 개체를 정렬하는 방법을 설명하는 흐름도이다. 먼저, 산출부(630)는 제1 개체와 제2 개체가 동일한지 여부를 판단한다(S1010). 산출부(630)는 제1 및 제2 개체의 크기, 반경 등을 고려하여 제1 및 제2 개체가 동일한지 여부를 판단할 수 있다. 또는 제2 개체는 미리 획득되어 저장되어 있을 수 있기 때문에 제2 획득부(620)는 상기한 제2 개체에 대한 정보를 로딩하고, 로딩된 정보로 제2 개체와 동일한 제1 개체를 획득할 수 있다. 이와 같은 경우, 산출부(630)는 제1 및 제2 개체가 동일하다고 판단할 수 있다. 또한, 제1 의료 영상과 제2 의료 영상은 서로 다른 개체가 선명하게 표시될 수 있기 때문에 정합 장치(140)에는 획득하고자 하는 제1 및 제2 개체에 대한 정보가 각각 저장되어 있을 수도 있다. 제1 및 제2 개체가 서로 다른 경우, 정합 장치(140)에는 제1 및 제2 개체에 대한 기하학적 배치 구조에 대한 정보가 기저장되어 있을 수 있다. Meanwhile, depending on whether the first and second objects are the same, an alignment method of the first and second objects may be different. 10 is a flowchart illustrating a method of aligning first and second objects according to an exemplary embodiment. First, the calculator 630 determines whether the first object and the second object are the same (S1010). The calculator 630 may determine whether the first and second entities are the same in consideration of sizes and radii of the first and second entities. Alternatively, since the second object may be obtained and stored in advance, the second obtaining unit 620 may load information on the second object and obtain the same first object as the second object with the loaded information. have. In this case, the calculator 630 may determine that the first and second entities are the same. Also, since different objects can be clearly displayed in the first medical image and the second medical image, information on the first and second objects to be acquired may be respectively stored in the matching device 140 . When the first and second objects are different from each other, information on the geometric arrangement of the first and second objects may be pre-stored in the matching device 140 .

제1 및 제2 개체가 동일하면(S1010-Y), 산출부(630)는 변환된 제1 개체와 제2 개체를 일치시킴으로써 변환된 제1 개체와 제2 개체를 정렬시킬 수 있다(S1020). If the first and second entities are the same ( S1010 -Y ), the calculator 630 may align the transformed first and second entities by matching the transformed first and second entities ( S1020 ). .

또는 제1 및 제2 개체가 다르면(S1010-N), 산출부(630)는 변환된 제1 개체와 제2 개체의 기하학적 배치 구조가 기저장된 기하학적 배치 구조와 일치되도록 제1 개체와 제2 개체를 정렬시킬 수 있다(S1030). 상기와 같이, 기준점을 일치시켜 제1 의료 영상과 제2 의료 영상간의 제1 변환 관계를 산출하고, 다시 제1 및 제2 개체를 이용하여 제1 변환 관계를 보완하기 때문에 단순히 제1 및 제2 개체를 정렬시키는 것보다 정합의 오류를 줄일 수 있다. Alternatively, if the first and second objects are different (S1010-N), the calculator 630 calculates the first object and the second object so that the geometric arrangement structures of the converted first object and the second object match the pre-stored geometric arrangement structures. can be sorted (S1030). As described above, since the first transformation relationship between the first medical image and the second medical image is calculated by matching the reference points, and the first transformation relationship is supplemented using the first and second objects again, the first and second transformation relationships are simply It can reduce the registration error than sorting objects.

뿐만 아니라, 프로브(111)를 기준점 상에 위치시키면서 프로브(111)의 축을 대상체의 축과 평행하게 위치시키면 제1 의료 영상과 제2 의료 영상간의 제1 변환 관계를 산출하는 것이 보다 용이하다, 제2 의료 영상의 좌표축은 대상체의 축과 평행하기 때문에 기준점을 일치시키는 과정이 간소화될 수 있다. In addition, when the probe 111 is positioned on the reference point and the axis of the probe 111 is positioned parallel to the axis of the object, it is easier to calculate the first transformation relationship between the first medical image and the second medical image. 2 Since the coordinate axis of the medical image is parallel to the axis of the object, the process of matching the reference point may be simplified.

지금까지 기준점은 제1 개체 또는 제2 개체와 다른 개체로 정의하여 설명하였으며, 기준점을 이용하여 제1 변환 관계를 산출하고, 다른 개체를 이용하여 제1 변환 관계를 보완한다고 설명하였다. 그러나, 이에 한정되지 않는다. 기준점이 제1 개체 또는 제2 개체가 될 수 있다. 그리하여, 프로브(111)가 제1 개체 또는 제2 개체 위에 위치하면, 제1 및 제2 개체를 이용하여 제1 변환 관계를 산출할 수도 있다. So far, it has been described that the reference point is defined as an entity different from the first entity or the second entity, the first transformation relation is calculated using the reference point, and the first transformation relation is supplemented using the other entity. However, the present invention is not limited thereto. The reference point may be the first entity or the second entity. Thus, when the probe 111 is positioned on the first entity or the second entity, the first transformation relation may be calculated using the first and second entities.

지금까지 프로브(111)가 기준점상에 위치할 때 제1 변환 관계 또는 보완된 제1 변환 관계를 산출하고, 상기한 제1 변환 관계 또는 보완된 제1 변환 관계를 이용하여 제1 의료 영상의 단면에 대응하는 제2 의료 영상의 단면을 획득할 수 있다. Until now, when the probe 111 is positioned on the reference point, the first transformation relation or the supplemented first transformation relation is calculated, and the cross-section of the first medical image is obtained using the first transformation relation or the supplemented first transformation relation. A cross-section of the second medical image corresponding to may be obtained.

상기와 같이 기준점을 이용하여 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 제1 변환 관계를 산출하기 때문에 임의의 초기 위치에서 모달리티가 다른 복수 개의 영상을 정합하는 것보다 정합 처리가 간소화될 수 있고, 영상 정합의 오류를 줄일 수 있다. 또한, 다른 개체를 이용하여 제1 변환 관계를 보완할 수 있기 때문에 제1 변환 관계를 보다 정확하게 획득할 수 있다. As described above, since the first transformation relationship between the coordinate system of the first medical image and the coordinate system of the second medical image is calculated using the reference point, the registration process is simplified compared to registering a plurality of images having different modalities at an arbitrary initial position. and can reduce the error of image registration. In addition, since the first transformation relationship can be supplemented by using another entity, the first transformation relationship can be more accurately obtained.

일 실시예에 따른 정합 장치는 프로브(111)이 움직임에 따라 제2 의료 영상의 단면도 획득할 수 있다. 도 11은 일 실시예에 따른 기준점을 이용하여 제2 변환 관계를 산출하는 방법을 설명하는 흐름도이다. 도 11을 참조하면, 정합 장치(140)는 프로브(111)가 대상체의 기준점 상에 위치하는지 판단한다(S1110). 사용자는 프로브(111)를 대상체의 기준점상에 위치시키고, 영상 정합을 위한 사용자 명령을 입력할 수 있다. 그러면, 제어부(550)는 프로브(111)가 기준점 상에 위치하는지 여부를 판단할 수 있다. 여기서 기준점은 대상체의 개체 중 대상체의 호흡에 따라 형상이 변형되지 않는 개체 또는 사용자의 육안으로 식별 가능한 개체일 수 있다. 예를 들어, 기준점은 대상체의 특정 뼈 또는 배꼽 등이 될 수 있다. The matching apparatus according to an embodiment may acquire a cross-sectional view of the second medical image as the probe 111 moves. 11 is a flowchart illustrating a method of calculating a second transformation relationship using a reference point according to an exemplary embodiment. Referring to FIG. 11 , the matching device 140 determines whether the probe 111 is positioned on a reference point of the object ( S1110 ). The user may position the probe 111 on the reference point of the object and input a user command for image registration. Then, the controller 550 may determine whether the probe 111 is located on the reference point. Here, the reference point may be an object whose shape is not deformed according to the object's respiration among objects of the object or an object that can be identified with the naked eye of the user. For example, the reference point may be a specific bone or a navel of the object.

프로브(111)가 대상체의 기준점 상에 위치하면(S1110-Y), 정합 장치(140)는 검출 장치로부터 프로브(111)의 좌표 정보를 획득할 수 있다. 예를 들어, 정합 장치(140)는 검출 장치로부터 프로브(111)의 위치 및 방향에 대한 정보를 수신함으로써 프로브(111)의 위치 및 방향에 대한 정보를 획득할 수 있다. 여기서, 프로브(111)의 위치 및 방향에 대한 정보는 검출 장치의 좌표계에서의 좌표 정보로 표현된다.When the probe 111 is positioned on the reference point of the object ( S1110 -Y ), the matching device 140 may obtain coordinate information of the probe 111 from the detection device. For example, the matching device 140 may obtain information on the position and direction of the probe 111 by receiving information on the position and direction of the probe 111 from the detection device. Here, information on the position and direction of the probe 111 is expressed as coordinate information in the coordinate system of the detection device.

정합 장치(140)는 제1 의료 영상의 제1 단면에 대한 좌표 정보를 획득할 수 있다(S1120). 제1 의료 영상의 제1 단면은 프로브(111)가 기준점상에 위치할 때 프로브(111)를 통해 획득된 제1 의료 영상의 단면이다. The matching apparatus 140 may obtain coordinate information on the first cross-section of the first medical image ( S1120 ). The first cross-section of the first medical image is a cross-section of the first medical image acquired through the probe 111 when the probe 111 is positioned on the reference point.

정합 장치(140)는 프로브(111)의 좌표 정보를 제1 단면의 좌표 정보로 변환시키는 제2 변환 관계(T₂)를 산출할 수 있다(S1130). 제2 변환 관계(T₂)는 하기 수학식 3 과 같다. _{The matching apparatus 140 may calculate a second transformation relationship T 2} that converts the coordinate information of the probe 111 into the coordinate information of the first cross-section (S1130). The second transformation relationship (T ₂ ) is expressed by Equation 3 below.

[수학식 3][Equation 3]

여기서, X_us _, ₀는 프로브(111)가 기준점 상에 위치할 때 제1 단면에 대한 좌표 정보이고, X_p _, ₀는 프로브(111)가 기준점 상에 위치할 때 프로브(111)의 좌표 정보다. Here, X _us _, ₀ is coordinate information for the first cross section when the probe 111 is positioned on the reference point, and X _p _, ₀ is coordinate information of the probe 111 when the probe 111 is positioned on the reference point. All.

상기한 제2 변환 관계(T₂)를 이용하여 정합 장치(140)는 프로브(111)의 좌표 정보로부터 제1 의료 영상의 단면에 대한 좌표 정보를 산출할 수 있다. Using the second transformation relationship T ₂ , the matching apparatus 140 may calculate coordinate information of the cross section of the first medical image from the coordinate information of the probe 111 .

도 11에서 제1 의료 영상의 좌표계는 기설정된 것으로 가정하고, 검출 장치의 좌표계와 제1 의료 영상의 좌표계간의 변환 관계인 제2 변환 관계를 산출한다고 하였으나, 이에 한정되지 않는다. 정합 장치(140)는 검출 장치의 좌표계를 기초로 제1 의료 영상의 좌표계를 설정할 수 있다. 예를 들어, 프로브(111)가 기준점 상에 위치하면, 정합 장치(140)는 프로브(111)의 제1 내지 제3 축(1, 2, 3) 각각과 평행한 축을 제1 의료 영상의 좌표축으로 정의하고, 제1 단면의 중심을 제1 의료 영상의 좌표계에 대한 원점으로 정의할 수 있다. 그리고, 정의된 제1 의료 영상의 좌표계와 검출 장치의 좌표계간의 변환 관계인 제2 변환 관계를 산출할 수 있다. In FIG. 11 , it is assumed that the coordinate system of the first medical image is preset, and a second transformation relation that is a transformation relation between the coordinate system of the detection device and the coordinate system of the first medical image is calculated, but the present invention is not limited thereto. The matching device 140 may set the coordinate system of the first medical image based on the coordinate system of the detection device. For example, when the probe 111 is positioned on the reference point, the matching device 140 uses an axis parallel to each of the first to third axes 1, 2, and 3 of the probe 111 as a coordinate axis of the first medical image. , and the center of the first cross-section may be defined as an origin with respect to the coordinate system of the first medical image. In addition, a second transformation relation that is a transformation relation between the defined coordinate system of the first medical image and the coordinate system of the detection apparatus may be calculated.

도 12는 일 실시예에 따른 프로브(111)의 움직임에 대응하여 제2 의료 영상의 단면을 획득하는 방법을 설명하는 흐름도이다. 도 12를 참조하면, 정합 장치(140)는 프로브(111)의 위치 및 방향에 대한 정보를 획득한다(S1210). 정합 장치는 검출 장치(110)로부터 프로브(111)의 위치 및 방향에 대한 정보를 실시간으로 수신함으로써 프로브(111)의 위치 및 방향에 대한 정보를 획득한다.12 is a flowchart illustrating a method of acquiring a cross-section of a second medical image in response to a movement of the probe 111 according to an exemplary embodiment. Referring to FIG. 12 , the matching device 140 obtains information on the position and direction of the probe 111 ( S1210 ). The matching device obtains information on the position and direction of the probe 111 by receiving information on the position and direction of the probe 111 from the detection device 110 in real time.

정합 장치(140)는 프로브(111)의 움직였는지 여부를 판단할 수 있다(S1220). 프로브(111)가 움직임으로써 대상체에 조사되는 초음파의 위치 및 방향 중 적어도 하나가 달라질 수 있고, 제1 의료 영상의 단면도 달라질 수 있다. 정합 장치(140)는 검출 장치의 검출 결과로부터 프로브(111)의 위치 및 방향 중 적어도 하나가 변경되면 프로브(111)가 움직였다고 판단할 수 있다. 정합 장치(140)가 프로브(111)의 움직임 여부를 판단한다고 하였으나, 이에 한정되지 않는다. 검출 장치(110)이 프로브(111)의 움직임 여부를 판단할 수도 있다. The matching device 140 may determine whether the probe 111 has moved (S1220). As the probe 111 moves, at least one of a position and a direction of ultrasound irradiated to the object may be changed, and a cross-sectional view of the first medical image may be changed. The matching device 140 may determine that the probe 111 has moved when at least one of a position and a direction of the probe 111 is changed from the detection result of the detection device. Although it has been said that the matching device 140 determines whether the probe 111 moves, the present invention is not limited thereto. The detection apparatus 110 may determine whether the probe 111 is moving.

정합 장치(140)는 제1 의료 영상의 제3 단면을 획득할 수 있다(S1230). 제3 단면은 프로브의 움직임으로 인해 위치 및 방향이 변경된 제1 의료 영상의 단면이다. 정합 장치(140)는 제1 의료 장치(120)로부터 상기한 제3 단면을 수신함으로써 제3 단면을 획득할 수 있다. The matching apparatus 140 may acquire a third cross-section of the first medical image (S1230). The third cross-section is a cross-section of the first medical image whose position and direction are changed due to the movement of the probe. The matching device 140 may acquire the third cross-section by receiving the third cross-section from the first medical device 120 .

정합 장치(140)는 제1 및 제2 변환 관계를 이용하여 프로브(111)의 위치 및 방향에 대한 정보에 대응하는 제2 의료 영상 좌표계에서 좌표 정보를 산출할 수 있다(S1240). 정합 장치(140)는, 하기 수학식 4와 같이, 제2 변환 관계를 이용하여 프로브(111)의 좌표 정보(Xp, t)에 대응하는 제1 의료 영상의 좌표계에서의 좌표 정보(X_US, t)를 산출하고, 제2 변환 관계를 이용하여 제1 의료 영상의 좌표계에서의 좌표 정보(X_US, t)를 제2 의료 영상의 좌표계에서의 좌표 정보(X_MR, t)를 산출할 수 있다. 상기한 제1 변환 관계는 보완된 변환 관계일 수도 있다. The matching apparatus 140 may calculate coordinate information in the second medical image coordinate system corresponding to the information on the position and direction of the probe 111 by using the first and second transformation relationships ( S1240 ). As shown in Equation 4 below, the matching device 140 uses the second transformation relation to coordinate information (X _US , X US , t), and using the second transformation relationship, coordinate information (X _US , t) in the coordinate system of the first medical image and coordinate information (X _MR , t) in the coordinate system of the second medical image can be calculated. have. The first transformation relation described above may be a supplemented transformation relation.

[수학식 4][Equation 4]

또는 or

정합 장치(140)는 제2 의료 영상으로부터 획득된 좌표 정보를 갖는 제2 의료 영상의 제4 단면을 획득할 수 있다(S1250). 추출부(542)는 제2 의료 영상으로부터 산출된 좌표 정보(XMR, t)를 갖는 단면을 추출함으로써 정합 장치는 제4 단면을 추출할 수 있다. 상기한 제3 및 제4 단면은 대상체에 대한 동일한 뷰일 수 있다.The matching apparatus 140 may acquire a fourth cross-section of the second medical image having coordinate information obtained from the second medical image (S1250). The extraction unit 542 extracts a cross-section having the calculated coordinate information XMR, t from the second medical image, so that the matching apparatus may extract the fourth cross-section. The third and fourth cross-sections may be the same view of the object.

정합 장치는 제3 및 제4 단면을 표시할 수 있다(S1260). 제3 및 제4 단면은 하나의 화면에 영역을 달리하여 표시될 수도 있고, 하나의 영역에 중첩되어 표시될 수도 있다. 그리하여 프로브(111)의 위치 및 방향에 대한 정보로부터 제2 의료 영상의 단면을 획득할 수 있다. The matching device may display third and fourth cross-sections (S1260). The third and fourth cross-sections may be displayed in different areas on one screen or may be displayed overlapping one area. Thus, a cross-section of the second medical image may be obtained from information on the position and direction of the probe 111 .

한편, 일 실시예에 따른 정합 장치(140)는 기준점을 이용하여 검출 장치의 위치 및 방향에 대한 정보로부터 제2 의료 영상의 단면을 획득할 수 있다. 예를 들어, 기준점이 뼈이고 제1 의료 영상이 초음파 영상인 경우, 상기한 초음파 영상으로부터 기준점 즉 뼈의 좌표 정보를 획득하기 어려울 수 있다. Meanwhile, the matching apparatus 140 according to an embodiment may obtain a cross section of the second medical image from information on the position and direction of the detection apparatus using a reference point. For example, when the reference point is a bone and the first medical image is an ultrasound image, it may be difficult to obtain coordinate information of the reference point, ie, a bone, from the ultrasound image.

일 실시예에 따른 정합 장치(140)는 프로브(111)의 위치 및 방향에 대한 정보로부터 제2 의료 영상의 단면을 획득할 수도 있다. 예를 들어, 정합 장치(140)는 검출 장치의 좌표계를 제2 의료 영상의 좌표계로 변환시키는 제3 변환 관계를 산출하고, 제3 변환 관계를 이용하여 프로브(111)의 위치 및 방향에 대한 정보로부터 제2 의료 영상의 단면을 획득할 수 있다. 제1 의료 영상으로부터 기준점의 좌표 정보를 획득할 수 있는 경우에도 정합 장치(140)는 제3 변환 관계를 이용하여 프로브(111)의 위치 및 방향에 대한 정보로부터 제2 의료 영상의 단면을 획득할 수 있음도 물론이다. The matching apparatus 140 according to an embodiment may acquire a cross section of the second medical image from information on the position and direction of the probe 111 . For example, the matching device 140 calculates a third transformation relation that transforms the coordinate system of the detection device into the coordinate system of the second medical image, and uses the third transformation relation to provide information on the position and direction of the probe 111 . A cross-section of the second medical image may be obtained from Even when coordinate information of the reference point can be obtained from the first medical image, the matching device 140 may obtain the cross section of the second medical image from the information on the position and direction of the probe 111 using the third transformation relationship. Of course it is also possible.

도 13은 일 실시예에 따른 정합 장치가 기준점을 이용하여 제3 변환 관계를 산출하는 방법을 설명하는 흐름도이다.13 is a flowchart illustrating a method in which a matching device calculates a third transformation relationship using a reference point according to an exemplary embodiment.

정합 장치(140)는 프로브(111)가 대상체의 기준점 상에 위치하는지 판단한다(S1310). 프로브(111)가 대상체의 기준점 상에 위치하는지 여부를 판단하기에 앞서, 정합 장치(140)는 대상체의 기준점을 설명하는 인디케이터를 제공할 수 있다. 대상체의 기준점이 될 수 있는 후보가 복수 개인 경우, 사용자는 후보들 중에서 어느 하나를 기준점으로 선택할 수 있다. The matching device 140 determines whether the probe 111 is positioned on a reference point of the object (S1310). Prior to determining whether the probe 111 is positioned on the reference point of the object, the matching device 140 may provide an indicator describing the reference point of the object. When there are a plurality of candidates that can be the reference point of the object, the user may select any one of the candidates as the reference point.

정합 장치(140)내 제어부(550)는 프로브(111)의 움직임 검출 결과 및 사용자 명령을 입력받는 사용자 인터페이스(530)의 입력 결과를 중 적어도 하나를 이용하여 프로브(111)가 대상체의 기준점 상에 위치하는지 여부를 판단할 수 있다. 예를 들어, 사용자가 프로브(111)를 대상체의 기준점 상에 위치시키고, 영상 정합을 위한 사용자 명령을 입력할 수 있다. 상기한 사용자 명령이 입력되면, 제어부(550)는 대상체가 기준점 상에 위치한다고 판단할 수 있다. The controller 550 in the matching device 140 uses at least one of a result of detecting a motion of the probe 111 and an input result of the user interface 530 for receiving a user command so that the probe 111 is positioned on the reference point of the object. location can be determined. For example, the user may position the probe 111 on the reference point of the object and input a user command for image registration. When the user command is input, the controller 550 may determine that the object is located on the reference point.

또는, 사용자는 프로브(111)를 대상체의 기준점 상에 위치시킨 상태에서 일정 시간 동안 프로브(111)를 움직이지 않고 고정시킬 수 있다. 제어부(550)는 검출 장치의 검출 결과로부터 프로브(111)가 일정 시간 동안 움직이지 않는 것으로 판단되면 프로브(111)가 기준점 상에 위치한다고 판단할 수 있다. Alternatively, the user may fix the probe 111 without moving it for a predetermined time while the probe 111 is positioned on the reference point of the object. When it is determined from the detection result of the detection device that the probe 111 does not move for a certain period of time, the controller 550 may determine that the probe 111 is located on the reference point.

또는 일정 시간(예를 들어, 5초) 동안 프로브(111)를 고정시키는 사용자의 행동이 영상 정합을 위한 것인지 여부를 문의하는 알림을 제공할 수 있다. 예를 들어, 제어부(550)는 '영상정합을 할까요'라는 알림을 디스플레이(150) 또는 사용자 인터페이스(530)에 표시할 수 있고, 사용자 인터페이스(530)를 통해 영상 정합을 위한 사용자 명령이 입력되거나 일정 시간(예를 들어, 3초)이 경과하면, 프로브(111)가 기준점 상이 위치한다고 판단할 수 있다.여기서 기준점은 대상체의 개체 중 대상체의 호흡에 따라 형상이 변형되지 않는 개체 또는 사용자의 육안으로 식별 가능한 개체일 수 있다. 예를 들어, 기준점은 대상체의 특정 뼈, 배꼽, 상장간동맥(superior mesenteric artery) 등이 될 수 있다. 프로브(111)가 대상체의 기준점 상에 위치할 때, 검출 장치의 좌표계와 제2 의료 영상의 좌표계는 평행할 수 있다. Alternatively, a notification inquiring whether the user's action of fixing the probe 111 for a certain period of time (eg, 5 seconds) is for image registration may be provided. For example, the control unit 550 may display a notification 'to do image registration' on the display 150 or the user interface 530, and a user command for image registration is inputted through the user interface 530 or When a predetermined time (for example, 3 seconds) has elapsed, it may be determined that the probe 111 is positioned on the reference point. Here, the reference point is an object whose shape is not deformed according to the object's respiration among objects of the object or the naked eye of the user. It may be an identifiable entity. For example, the reference point may be a specific bone of the subject, an umbilicus, a superior mesenteric artery, or the like. When the probe 111 is positioned on the reference point of the object, the coordinate system of the detection device and the coordinate system of the second medical image may be parallel.

프로브(111)가 대상체의 기준점 상에 위치하면(S720-Y), 프로세서(540)는 검출 장치의 좌표계에서 기준점의 좌표 정보를 획득할 수 있다. 정합 장치(140)에는 프로브(111)가 검출 장치의 좌표계에서 기준점의 좌표 정보가 기저장되어 있을 수 있다. 프로세서(540)는 기저장된 기준점의 좌표 정보를 독출함으로써 검출 장치의 좌표계에서의 기준점의 좌표 정보를 획득할 수 있다. When the probe 111 is positioned on the reference point of the object (S720-Y), the processor 540 may obtain coordinate information of the reference point in the coordinate system of the detection apparatus. In the matching device 140 , coordinate information of a reference point of the probe 111 in the coordinate system of the detection device may be pre-stored. The processor 540 may acquire coordinate information of the reference point in the coordinate system of the detection apparatus by reading the pre-stored coordinate information of the reference point.

또는 정합 장치(140)는 검출 장치로부터 프로브(111)의 위치 및 방향에 대한 정보를 수신할 수 있고, 상기한 프로브(111)의 위치 및 방향에 대한 정보로부터 기준점의 좌표 정보를 추정할 수 있다. 예를 들어, 프로브(111)가 기준점 상에 위치할 때의 프로브(111)와 기준점간의 상대적 위치 관계를 정의하는 룩업 테이블이 정합 장치(140)에 기저장되어 있을 수 있다. 상기한 룩업 테이블을 이용하여 정합 장치(140)는 프로브(111)의 위치 및 방향에 대한 정보로부터 기준점의 좌표 정보를 획득할 수 있다. Alternatively, the matching device 140 may receive information on the position and direction of the probe 111 from the detection device, and estimate coordinate information of the reference point from the information on the position and direction of the probe 111 . . For example, a lookup table defining a relative positional relationship between the probe 111 and the reference point when the probe 111 is positioned on the reference point may be pre-stored in the matching device 140 . Using the above-described lookup table, the matching apparatus 140 may obtain coordinate information of the reference point from information on the position and direction of the probe 111 .

또는 프로브의 중심이 기준점의 중심에 접하게 위치할 수 있는 경우, 프로브의 위치 및 방향에 대한 정보로부터 직접 기준점의 좌표 정보를 획득할 수도 있다. Alternatively, when the center of the probe may be located in contact with the center of the reference point, coordinate information of the reference point may be directly obtained from information on the position and direction of the probe.

프로세서(540)는 제2 의료 영상으로부터 기준점의 좌표 정보를 획득할 수 있다(S1330). 정합 장치(140)에는 제2 의료 영상에서 기준점의 좌표 정보가 기저장되어 있을 수 있다. 제2 획득부(620)는 기저장된 기준점의 좌표 정보를 독출함으로써 제2 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다. 제2 의료 영상에서 기준점의 좌표 정보는 제2 의료 영상의 좌표계를 기반으로 한다. The processor 540 may obtain coordinate information of the reference point from the second medical image (S1330). In the matching device 140 , coordinate information of a reference point in the second medical image may be pre-stored. The second acquirer 620 may acquire coordinate information of the reference point from the second medical image by reading pre-stored coordinate information of the reference point. The coordinate information of the reference point in the second medical image is based on the coordinate system of the second medical image.

또는 정합 장치(140)에 기준점의 형상 정보가 저장되어 있는 경우, 프로세서(540)는 상기한 기준점의 형상 정보를 이용하여 제2 의료 영상에서 기준점의 좌표 정보를 획득할 수 있다. 한편, 기준점은 제2 의료 영상에 선명하지 않을 수 있다. 제2 획득부(620)는 기준점에 인접하는 개체를 이용하여 기준점의 좌표 정보를 추정할 수도 있다. 제1 획득부(610)가 제1 의료 영상에서 기준점의 좌표 정보를 획득한 후 제2 획득부(620)가 제2 의료 영상에서 기준점의 좌표 정보를 획득한다고 하였으나, 이는 설명의 편의를 위할 뿐 그 순서는 바뀌어도 무방하고, 동시에 진행하여도 무방하다. Alternatively, when the shape information of the reference point is stored in the matching device 140 , the processor 540 may obtain coordinate information of the reference point in the second medical image by using the shape information of the reference point. Meanwhile, the reference point may not be clear in the second medical image. The second acquirer 620 may estimate coordinate information of the reference point by using an object adjacent to the reference point. Although the first acquirer 610 acquires the coordinate information of the reference point in the first medical image and then the second acquirer 620 acquires the coordinate information of the reference point in the second medical image, this is only for convenience of explanation The order may be changed, and it may be performed simultaneously.

그리고, 프로세서(540)는 검출 장치의 좌표계에서 기준점의 좌표 정보를 제2 의료 영상에서 기준점의 좌표 정보로 변환시킴으로써 검출 장치의 좌표계와 제2 의료 영상의 좌표계간의 제3 변환 관계(T₃)를 산출할 수 있다(S830). 제3 변환 관계(T₃)는 하기 수학식 5와 같을 수 있다. Then, the processor 540 converts the coordinate information of the reference point in the coordinate system of the detection device into the coordinate information of the reference point in the second medical image, thereby forming a third transformation relationship (T ₃ ) between the coordinate system of the detection device and the coordinate system of the second medical image. can be calculated (S830). The third transformation relation T ₃ may be expressed as Equation 5 below.

[수학식 5][Equation 5]

여기서, X_P _, ₁는 검출 장치의 좌표계에서 기준점의 좌표 정보이고, X_MR _, ₀는 제2 의료 영상 좌표계에서 기준점의 좌표 정보이다.Here, X _P _, ₁ is coordinate information of the reference point in the coordinate system of the detection device, and X _MR _, ₀ is coordinate information of the reference point in the second medical image coordinate system.

상기한 제3 변환 관계를 이용하여 프로세서(540)는 프로브(111)의 움직임에 따른 제2 의료 영상을 단면을 획득할 수 있다. 도 14는 일 실시예에 따른 프로브(111)의 움직임에 대응하여 제2 의료 영상의 단면을 획득하는 방법을 설명하는 흐름도이다. 도 14를 참조하면, 정합 장치(140)는 프로브(111)의 위치 및 방향에 대한 정보를 획득한다(S1410). 정합 장치(140)는 검출 장치(110)로부터 프로브(111)의 실시간으로 수신함으로써 프로브(111)의 위치 및 방향에 대한 정보를 획득한다. 상기한 프로브(111)의 위치 및 방향에 대한 정보는 프로브(111)의 좌표 정보로 표현될 수 있다. Using the third transformation relation, the processor 540 may acquire a cross section of the second medical image according to the movement of the probe 111 . 14 is a flowchart illustrating a method of acquiring a cross-section of a second medical image in response to a movement of the probe 111 according to an exemplary embodiment. Referring to FIG. 14 , the matching device 140 obtains information on the position and direction of the probe 111 ( S1410 ). The matching device 140 acquires information about the position and direction of the probe 111 by receiving the probe 111 from the detection device 110 in real time. The information on the position and direction of the probe 111 may be expressed as coordinate information of the probe 111 .

정합 장치(140)는 프로브(111)의 움직였는지 여부를 판단할 수 있다(S1420). 프로브(111)가 움직임으로써 대상체에 조사되는 초음파의 위치 및 방향 중 적어도 하나가 달라질 수 있고, 제1 의료 영상의 단면도 달라질 수 있다. 정합 장치(140)는 검출 장치의 검출 결과로부터 프로브(111)의 위치 및 방향 중 적어도 하나가 변경되면 프로브(111)가 움직였다고 판단할 수 있다. 정합 장치(140)가 프로브(111)의 움직임 여부를 판단한다고 하였으나, 이에 한정되지 않는다. 검출 장치(110)이 프로브(111)의 움직임 여부를 판단할 수도 있다. The matching device 140 may determine whether the probe 111 has moved ( S1420 ). As the probe 111 moves, at least one of a position and a direction of ultrasound irradiated to the object may be changed, and a cross-sectional view of the first medical image may be changed. The matching device 140 may determine that the probe 111 has moved when at least one of a position and a direction of the probe 111 is changed from the detection result of the detection device. Although it has been said that the matching device 140 determines whether the probe 111 moves, the present invention is not limited thereto. The detection apparatus 110 may determine whether the probe 111 is moving.

정합 장치(140)는 제1 의료 영상의 제5 단면을 획득할 수 있다(S1430). 제5 단면은 프로브(111)의 움직임으로 인해 위치 및 방향이 변경된 제1 의료 영상의 단면이다. 정합 장치(140)는 제1 의료 장치(120)로부터 상기한 제5 단면을 수신함으로써 제5 단면을 획득할 수 있다. The matching apparatus 140 may acquire a fifth cross-section of the first medical image (S1430). The fifth cross-section is a cross-section of the first medical image whose position and direction are changed due to the movement of the probe 111 . The matching device 140 may acquire the fifth cross-section by receiving the fifth cross-section from the first medical device 120 .

정합 장치(140)는 제3 변환 관계를 이용하여 프로브(111)의 위치 및 방향에 대한 정보에 대응하는 제2 의료 영상 좌표계에서 좌표 정보를 산출할 수 있다(S1440). 정합 장치(140)는 프로브(111)의 위치 및 방향에 대한 정보를 프로브(111)의 좌표 정보(Xp, t)로 변환하고, 하기 수학식 6와 같이, 제3 변환 관계를 이용하여 프로브(111)의 좌표 정보(Xp, t)에 대응하는 제2 의료 영상의 좌표계에서의 좌표 정보(X_MR, t)를 산출할 수 있다. The matching apparatus 140 may calculate coordinate information in the second medical image coordinate system corresponding to the information on the position and direction of the probe 111 by using the third transformation relationship (S1440). The matching device 140 converts the information on the position and direction of the probe 111 into coordinate information (Xp, t) of the probe 111, and uses a third transformation relation as shown in Equation 6 below to convert the probe ( _{111), coordinate information (X MR} , t) in the coordinate system of the second medical image corresponding to the coordinate information (Xp, t) may be calculated.

[수학식 6][Equation 6]

정합 장치(140)는 제2 의료 영상으로부터 획득된 좌표 정보를 갖는 제2 의료 영상의 제6 단면을 획득할 수 있다(S1450). 추출부(542)는 제2 의료 영상으로부터 산출된 좌표 정보(X_MR _{, t})를 갖는 단면을 추출함으로써 정합 장치(140)는 제6 단면을 추출할 수 있다.The matching apparatus 140 may acquire a sixth cross-section of the second medical image having coordinate information obtained from the second medical image (S1450). The extraction unit 542 extracts the cross-section having the calculated coordinate information (X _MR _{, t} ) from the second medical image, so that the matching apparatus 140 may extract the sixth cross-section.

정합 장치(140)는 제5 및 제6 단면을 표시할 수 있다(S1460). 제5 및 제6 단면은 하나의 화면에 영역을 달리하여 표시될 수도 있고, 하나의 영역에 중첩되어 표시될 수도 있다. 그리하여 프로브(111)의 위치 및 방향에 대한 정보 즉, 프로브(111)의 좌표 정보로부터 제2 의료 영상의 단면을 획득할 수 있다. The matching device 140 may display fifth and sixth cross-sections (S1460). The fifth and sixth cross-sections may be displayed in different areas on one screen or may be displayed overlapping one area. Accordingly, a cross section of the second medical image may be obtained from information on the position and direction of the probe 111 , that is, coordinate information of the probe 111 .

프로브(111)를 기준점 상에 위치시킨다 하더라도 사용자의 역량에 따라 프로브(111)의 중심이 기준점의 중심에 정확하게 일치하지 않을 수 있다. 일 실시예에 따른 정합 장치(140)는 기준점 아닌 대상체내 다른 개체를 이용하여 상기한 제3 변환 관계를 보완할 수 있다. 일 실시예에 따른 정합 장치(140)는 제1 의료 영상에 포함된 개체가 선명하게 표시될 때 제3 변환 관계를 보완할 수 있다. Even if the probe 111 is positioned on the reference point, the center of the probe 111 may not exactly coincide with the center of the reference point depending on the user's ability. The matching apparatus 140 according to an embodiment may supplement the above-described third transformation relationship by using another entity within the object instead of the reference point. The matching apparatus 140 according to an embodiment may supplement the third transformation relationship when an object included in the first medical image is clearly displayed.

도 15는 일 실시예에 따른 제3 변환 관계를 보완하는 방법을 설명하는 흐름도이다. 도 15를 참조하면, 제1 획득부(610)는 제1 의료 영상으로부터 제1 개체를 획득하고, 제1 개체의 좌표 정보를 획득한다(S1510). 상기한 제1 개체의 좌표 정보는 검출 장치의 좌표계를 기준으로 한다. 그리고, 산출부(630)는 제1 개체의 좌표 정보를 제3 변환 관계를 이용하여 제2 의료영상의 좌표계에서의 좌표 정보로 변환시킨다(S1520). 15 is a flowchart illustrating a method of supplementing a third transformation relation according to an embodiment. Referring to FIG. 15 , the first obtaining unit 610 obtains a first object from a first medical image and obtains coordinate information of the first object ( S1510 ). The coordinate information of the first object is based on the coordinate system of the detection device. Then, the calculator 630 converts the coordinate information of the first object into coordinate information in the coordinate system of the second medical image by using the third transformation relationship (S1520).

한편, 제2 획득부(620)는 제2 의료 영상으로부터 제2 개체를 획득하고, 제2 개체의 좌표 정보를 획득한다(S1530). 여기서, 제2 개체의 좌표 정보는 제2 의료 영상에서의 좌표계를 기준으로 한다. 제1 및 제2 개체 각각은 제1 및 제2 의료 영상 각각에서 선명하게 표시되는 개체일 수 있다. 제1 및 제2 개체는 동일할 수도 있고, 다를 수 도 있다. 개체 획득 방법은 의료 영상에서 개체를 획득하는 일반적인 기술이 적용되는 바, 구체적인 설명은 생략한다. Meanwhile, the second acquisition unit 620 acquires a second object from the second medical image, and acquires coordinate information of the second object ( S1530 ). Here, the coordinate information of the second object is based on a coordinate system in the second medical image. Each of the first and second objects may be an object that is clearly displayed in each of the first and second medical images. The first and second entities may be the same or different. As the object acquisition method, a general technique for acquiring an object from a medical image is applied, and a detailed description thereof will be omitted.

그리고, 산출부(630)는 변환된 제1 개체와 제2 개체를 정렬시킴으로써 검출 장치의 좌표계와 제2 의료 영상 좌표계간의 제3 변환 관계를 보완하여 최종적인 제3 변환 관계(T_f3)를 획득할 수 있다(S1540). 최종적인 제3 변환 관계(T_f)는 하기 수학식 7과 같이 산출할 수 있다. Then, the calculator 630 aligns the transformed first object with the second object, thereby supplementing the third transformation relationship between the coordinate system of the detection device and the second medical image coordinate system to obtain _{a final third transformation relationship T f3 .} It can be done (S1540). The final third transformation relation (T _f ) can be calculated as in Equation 7 below.

[수학식 7][Equation 7]

여기서, X_P _, ₁는 검출 장치의 좌표계에서 제1 개체의 좌표 정보이고, X_MR _{, 2}는 제2 의료 영상 좌표계에서 제2 개체의 좌표 정보이며, T₃는 기준점을 이용하여 획득된 변환 관계, Ts는 변환된 제1 개체와 제2 개체를 이용하여 획득된 보완 관계이다.Here, X _P _, ₁ is coordinate information of a first object in the coordinate system of the detection device, X _MR _{, 2} is coordinate information of a second object in the second medical image coordinate system, and T ₃ is a transformation relationship obtained using a reference point , Ts is a complementary relationship obtained using the transformed first and second entities.

한편, 제1 및 제2 개체가 동일한지 여부에 따라 제1 및 제2 개체의 정렬 방법이 다를 수 있다. 제1 개체와 제2 개체가 동일하면, 산출부(630)는 변환된 제1 개체와 제2 개체를 일치시킴으로써 변환된 제1 개체와 제2 개체를 정렬시킬 수 있다. 또는 제1 및 제2 개체가 다르면, 산출부(630)는 변환된 제1 개체와 제2 개체의 기하학적 배치 구조가 기저장된 기하학적 배치 구조와 일치되도록 제1 개체와 제2 개체를 정렬시킬 수 있다. Meanwhile, an alignment method of the first and second objects may be different depending on whether the first and second objects are the same. If the first entity and the second entity are the same, the calculator 630 may align the transformed first entity with the second entity by matching the transformed first entity with the second entity. Alternatively, if the first and second objects are different, the calculator 630 may align the first object and the second object so that the converted geometric arrangement structures of the first and second objects match the pre-stored geometric arrangement structures. .

도 16은 일 실시예에 따른 기준점을 설명하는 인디케이터를 표시하는 방법을 설명하는 참조도면이다. 16 is a reference diagram illustrating a method of displaying an indicator for describing a reference point according to an exemplary embodiment.

정합 장치(140)의 모드가 이종 영상간의 영상 정합 모드로 설정되면, 도 16에 도시된 바와 같이, 정합 장치(140)는 사용자 인터페이스(530) 또는 디스플레이(150)를 통해 기준점을 설명하는 인디케이터(1610)를 제공할 수 있다. 상기한 인디케이터(1610)는 텍스트 및 영상 중 적어도 하나로 제공될 수 있다. 그리하여, 사용자는 상기한 인디케이터를 확인하고, 프로브(111)를 기준점 상에 위치할 수 있다. When the mode of the matching device 140 is set to the image matching mode between heterogeneous images, as shown in FIG. 16 , the matching device 140 provides an indicator ( 1610) can be provided. The indicator 1610 may be provided as at least one of text and an image. Thus, the user may check the indicator and position the probe 111 on the reference point.

도 17a 및 도 17b는 따른 실시예에 따른 기준점을 설명하는 인디케이터를 표시하는 방법을 설명하는 참조도면이다. 17A and 17B are reference views for explaining a method of displaying an indicator for explaining a reference point according to an exemplary embodiment.

영상 정합을 위한 기준점이 복수 개인 경우, 도 17a에 도시된 바와 같이, 정합 장치(140)는 기준점이 될 수 있는 후보들에 대한 목록(1710)을 제공할 수 있다. 사용자는 후보들에 대한 목록(1710) 중 어느 하나(1711)를 기준점으로 선택하는 사용자 명령을 입력할 수 있다. 그러면, 도 17b에 도시된 바와 같이, 정합 장치(140)는 선택된 기준점을 설명하는 인디케이터(1720)를 제공할 수 있다. 그리하여, 사용자는 상기한 인디케이터를 확인하고, 프로브(111)를 기준점 상에 위치할 수 있다. When there are a plurality of reference points for image matching, as shown in FIG. 17A , the matching apparatus 140 may provide a list 1710 of candidates that may be reference points. The user may input a user command for selecting any one 1711 of the list of candidates 1710 as a reference point. Then, as shown in FIG. 17B , the matching device 140 may provide an indicator 1720 describing the selected reference point. Thus, the user may check the indicator and position the probe 111 on the reference point.

한편, 상술한 의료 영상들의 정합 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.Meanwhile, the above-described method for matching medical images can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. In addition, the structure of the data used in the above-described embodiment of the present invention may be recorded in a computer-readable recording medium through various means. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optically readable medium (eg, a CD-ROM, a DVD, etc.).

이제까지 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the preferred embodiments have been mainly looked at. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

100: 의료 영상 시스템 110: 제1 의료 장치
111: 프로브 120: 제2 의료 장치
130: 검출 장치 140: 정합 장치
150: 디스플레이 510: 통신부
520: 저장부 530: 사용자 인터페이스
540: 프로세서 541: 변환부
542: 추출부 550: 제어부
610: 제1 획득부 620: 제2 획득부
630: 산출부 100: medical imaging system 110: first medical device
111: probe 120: second medical device
130: detection device 140: matching device
150: display 510: communication unit
520: storage 530: user interface
540: processor 541: conversion unit
542: extraction unit 550: control unit
610: first acquisition unit 620: second acquisition unit
630: output unit

Claims

a memory storing a second medical image of the object; and
acquiring a first cross-section of a first medical image including a reference point of the object through a probe, and acquiring a second cross-section of the second medical image corresponding to the first cross-section from the memory using the reference point Including; a processor for matching the first medical image and the second medical image;
The processor is
When it is determined that the probe is located on the reference point of the object, a first transformation relationship between the coordinate system of the first medical image and the coordinate system of the second medical image is calculated using the reference point, and the first transformation relationship is used to obtain the second section from the memory,
In a third transformation relationship between a coordinate system of a detection device that acquires a third cross-section of the first medical image through the probe in response to the movement of the probe, and detects the position and direction of the probe, and the coordinate system of the second medical image A medical image matching apparatus for acquiring a fourth cross-section of the second medical image corresponding to the third cross-section from the memory based on the third cross-section.

The method of claim 1,
The processor is
A medical image matching apparatus for matching the first medical image and the second medical image in response to a first user command to position the probe on the reference point of the object.

3. The method of claim 2,
and a controller configured to determine whether to input the first user command by using one of the first medical image, a result of detecting a motion of the probe, and an input result of a user interface receiving a user command. .

4. The method of claim 3,
The control unit is
When a second user command for image registration is input through the user interface and coordinate information of a reference point can be obtained from the cross section of the first medical image, the medical image matching apparatus determines that the first user command has been input .

4. The method of claim 3,
The control unit is
A medical image matching apparatus that determines that the first user command has been input if there is no movement of the probe for a predetermined time in a state in which coordinate information of the reference point can be obtained from the cross section of the first medical image.

The method of claim 1,
The reference point is
The medical image matching apparatus is at least one of an object that has no shape deformation due to respiration among the objects, and an object that can be identified with the naked eye among the objects.

7. The method of claim 6,
The object is
A medical image matching device which is any one of a bone, an umbilicus, and a superior mesenteric artery of the subject.

8. The method of claim 7,
The bone is a medical image matching device.

The method of claim 1,
The first section is
A medical image registration apparatus obtained when an axis of the probe is disposed parallel to an axis of the object.

10. The method of claim 9,
The axis of the probe is
A medical image matching apparatus parallel to the coordinate axis of the first medical image.

10. The method of claim 9,
An axis of the object is parallel to a coordinate axis of the second medical image.

delete

The method of claim 1,
The processor is
obtaining first coordinate information of the reference point in the coordinate system of the first medical image;
Obtaining second coordinate information of the reference point in the coordinate system of the second medical image,
A medical image matching apparatus for calculating the first transformation relationship by converting the first coordinate information into the second coordinate information.

The method of claim 1,
The processor is
A medical image matching apparatus supplementing the first transformation relationship by aligning a first object included in the first medical image and a second object included in the second medical image.

15. The method of claim 14,
The processor is
obtaining third coordinate information of the reference point in the coordinate system of the detection device;
Obtaining fourth coordinate information of the reference point in the coordinate system of the second medical image,
A medical image matching apparatus for calculating the third transformation relationship by converting the third coordinate information into the fourth coordinate information.

delete

The method of claim 1,
The movement of the probe is
A medical image matching apparatus in which at least one of a position and a direction of the probe is changed.

acquiring a first cross-section of a first medical image including a reference point of an object through a probe;
When it is determined that the probe is located on the reference point of the object, a first transformation relationship between the coordinate system of the first medical image and the coordinate system of the second medical image is calculated using the reference point, and the first transformation relationship is used to calculate the first transformation relationship. acquiring a second section of the second medical image corresponding to the first section from a memory; and
In a third transformation relationship between a coordinate system of a detection device that acquires a third cross-section of the first medical image through the probe in response to the movement of the probe, and detects the position and direction of the probe, and the coordinate system of the second medical image and acquiring, from the memory, a fourth cross-section of the second medical image corresponding to the third cross-section based on the third cross-section.

19. The method of claim 18,
Obtaining the second cross-section comprises:
A medical image registration method performed in response to a user command to position the probe on the reference point of the object.

19. The method of claim 18,
The reference point is
The method for matching a medical image, wherein the object is at least one of an object that has no shape deformation due to respiration and an object that can be identified with the naked eye among the objects.

21. The method of claim 20,
The object is
A method of registering a medical image in any one of a bone, an umbilicus, and a superior mesenteric artery of the subject.

19. The method of claim 18,
Displaying an indicator describing the reference point; Medical image registration method further comprising a.

19. The method of claim 18,
displaying a list including candidates that may be reference points; and
receiving a user command for selecting any one candidate from the list as the reference point;