KR101132536B1 - System and method of perform image registration - Google Patents

System and method of perform image registration Download PDF

Info

Publication number
KR101132536B1
KR101132536B1 KR1020090065664A KR20090065664A KR101132536B1 KR 101132536 B1 KR101132536 B1 KR 101132536B1 KR 1020090065664 A KR1020090065664 A KR 1020090065664A KR 20090065664 A KR20090065664 A KR 20090065664A KR 101132536 B1 KR101132536 B1 KR 101132536B1
Authority
KR
South Korea
Prior art keywords
image
pixels
converted
registration
conversion parameter
Prior art date
Application number
KR1020090065664A
Other languages
Korean (ko)
Other versions
KR20100062889A (en
Inventor
이광희
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to EP09177188.1A priority Critical patent/EP2194506B1/en
Priority to JP2009273780A priority patent/JP5634055B2/en
Priority to US12/628,861 priority patent/US8606045B2/en
Publication of KR20100062889A publication Critical patent/KR20100062889A/en
Application granted granted Critical
Publication of KR101132536B1 publication Critical patent/KR101132536B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

서로 다른 영상 간에 영상 정합을 수행하는 시스템 및 방법이 개시된다. 이 시스템은, 대상체의 제1 영상을 제공하도록 동작하는 제1 영상 제공부; 대상체의 제2 영상을 제공하도록 동작하는 제2 영상 제공부; 제1 영상 제공부 및 제2 영상 제공부에 연결되어, 제1 영상의 픽셀들을 입력으로 하고 제2 영상의 픽셀들을 출력으로 하여 제1 영상을 제2 영상으로 영상 변환하기 위한 영상변환 파라미터를 검출하고, 영상변환 파라미터를 이용하여 제1 영상에 영상 변환을 수행하여 변환 영상을 형성하며, 변환 영상과 제2 영상 간에 영상 정합을 수행하도록 동작하는 프로세서를 포함한다.Disclosed are a system and method for performing image registration between different images. The system includes a first image providing unit operable to provide a first image of an object; A second image providing unit operative to provide a second image of the object; Connected to the first image providing unit and the second image providing unit to detect image conversion parameters for converting the first image into the second image by inputting the pixels of the first image and outputting the pixels of the second image; And a processor configured to perform an image conversion on the first image using the image conversion parameter to form a converted image, and to perform image registration between the converted image and the second image.

초음파, CT, MRI, 영상 정합, 신경망 Ultrasound, CT, MRI, image registration, neural network

Description

영상 정합을 수행하는 시스템 및 방법{SYSTEM AND METHOD OF PERFORM IMAGE REGISTRATION}System and method for performing image registration {SYSTEM AND METHOD OF PERFORM IMAGE REGISTRATION}

본 발명은 영상 정합에 관한 것으로, 특히 서로 다른 영상 특성을 갖는 영상들 간에 영상 정합을 수행하는 시스템 및 방법에 관한 것이다.The present invention relates to image registration, and more particularly, to a system and method for performing image registration between images having different image characteristics.

초음파 시스템은 무침습 및 비파괴 특성을 가지고 있어, 대상체 내부의 정보를 얻기 위한 의료 분야에서 널리 이용되고 있다. 초음파 시스템은 대상체를 직접 절개하여 관찰하는 외과 수술의 필요 없이, 대상체 내부의 고해상도 영상을 실시간으로 의사에게 제공할 수 있으므로 의료 분야에서 매우 중요하게 사용되고 있다.Ultrasound systems have non-invasive and non-destructive properties and are widely used in the medical field for obtaining information inside an object. Ultrasound systems are very important in the medical field because they can provide a doctor with a high-resolution image of the inside of a subject in real time, without the need for a surgical operation to directly incise and observe the subject.

초음파 영상은 신호대 잡음비가 낮으므로, 이를 보완하기 위해 CT(computerized tomography) 영상 또는 MR(magnetic resonance imager) 영상과 초음파 영상 간에 영상 정합이 수행된다. 초음파 영상과 CT 영상(또는 MR 영상) 간에 영상 정합을 수행하기 위해, 초음파 영상과 CT 영상(또는 MR 영상)에서 특징점이 추출되고, 추출된 특징점의 매칭을 통해 초음파 영상과 CT 영상(또는 MR 영상) 간에 영상 정합이 수행된다. 그러나, 초음파 영상과 CT 영상(또는 MR 영상)은 해상도, 화질, 시야, 부위별 대조도 등에서 큰 차이를 가지며, 이러한 차이로 인해 서 로 다른 영상 간의 영상 정합이 어려운 문제점이 있다.Since the ultrasound image has a low signal-to-noise ratio, image matching is performed between a computerized tomography (CT) image or a magnetic resonance imager (MR) image and an ultrasound image. In order to perform image registration between the ultrasound image and the CT image (or MR image), feature points are extracted from the ultrasound image and the CT image (or MR image), and the ultrasound image and the CT image (or MR image) are matched by matching the extracted feature points. Image registration is performed. However, the ultrasound image and the CT image (or MR image) have a large difference in resolution, image quality, field of view, and contrast ratio by region, and due to this difference, it is difficult to match images between different images.

본 발명은 대상체의 제1 영상을 제2 영상으로 영상변환하여 변환 영상을 형성하고 변환 영상과 제2 영상 간에 영상 정합을 수행하는 시스템 및 방법을 제공한다.The present invention provides a system and method for image converting a first image of an object into a second image to form a converted image and performing image registration between the converted image and the second image.

본 발명에 따른 영상 정합 시스템은, 대상체의 제1 영상을 제공하도록 동작하는 제1 영상 제공부; 상기 대상체의 제2 영상을 제공하도록 동작하는 제2 영상 제공부; 상기 제1 영상 제공부 및 상기 제2 영상 제공부에 연결되어, 상기 제1 영상의 픽셀들을 입력으로 하고 상기 제2 영상의 픽셀들을 출력으로 하여 상기 제1 영상을 상기 제2 영상으로 영상 변환하기 위한 영상변환 파라미터를 검출하고, 상기 영상변환 파라미터를 이용하여 상기 제1 영상에 영상 변환을 수행하여 변환 영상을 형성하며, 상기 변환 영상과 상기 제2 영상 간에 영상 정합을 수행하도록 동작하는 프로세서를 포함한다.In accordance with another aspect of the present invention, an image matching system includes: a first image providing unit operative to provide a first image of an object; A second image providing unit operable to provide a second image of the object; The first image is converted into the second image by being connected to the first image providing unit and the second image providing unit, and using the pixels of the first image as inputs and the pixels of the second image as outputs. And a processor operative to detect an image conversion parameter for the image, perform a video conversion on the first image using the image conversion parameter, form a converted image, and perform image registration between the converted image and the second image. do.

또한, 본 발명에 따른 영상 정합 시스템에서 영상 정합 방법은 a) 상기 영상 정합 시스템의 제1 영상 제공부에서, 대상체의 제1 영상을 제공하는 단계; b) 상기 영상 정합 시스템의 제2 영상 제공부에서, 상기 대상체의 제2 영상을 제공하는 단계; c) 상기 영상 정합 시스템의 프로세서에서, 상기 제1 영상의 픽셀들을 입력으로 하고 상기 제2 영상의 픽셀들을 출력으로 하여 상기 제1 영상을 상기 제2 영상 으로 영상 변환하기 위한 영상변환 파라미터를 검출하는 단계; d) 상기 영상 정합 시스템의 상기 프로세서에서, 상기 영상변환 파라미터를 이용하여 상기 제1 영상에 영상 변환을 수행하여 변환 영상을 형성하는 단계; 및 e) 상기 영상 정합 시스템의 상기 프로세서에서, 상기 변환 영상과 상기 제2 영상 간에 영상 정합을 수행하는 단계를 포함한다.In addition, the image registration method in the image registration system according to the present invention comprises the steps of: a) providing a first image of the object in the first image provider of the image registration system; b) providing a second image of the object in a second image providing unit of the image matching system; c) in a processor of the image matching system, detecting image conversion parameters for converting the first image into the second image by inputting pixels of the first image and outputting pixels of the second image; step; d) in the processor of the image matching system, performing an image conversion on the first image using the image conversion parameter to form a converted image; And e) in the processor of the image matching system, performing image matching between the transformed image and the second image.

또한, 본 발명에 따른 영상 정합 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체로서, 상기 방법은, a) 대상체의 제1 영상을 제공하는 단계; b) 상기 대상체의 제2 영상을 제공하는 단계; c) 상기 제1 영상의 픽셀들을 입력으로 하고 상기 제2 영상의 픽셀들을 출력으로 하여 상기 제1 영상을 상기 제2 영상으로 영상 변환하기 위한 영상변환 파라미터를 검출하는 단계; d) 상기 영상변환 파라미터를 이용하여 상기 제1 영상에 영상 변환을 수행하여 변환 영상을 형성하는 단계; 및 e) 상기 변환 영상과 상기 제2 영상 간에 영상 정합을 수행하는 단계를 포함한다.A computer-readable recording medium storing a program for performing an image registration method according to the present invention, the method comprising: a) providing a first image of an object; b) providing a second image of the object; c) detecting image conversion parameters for converting the first image to the second image by using the pixels of the first image as inputs and the pixels of the second image as outputs; d) performing an image conversion on the first image using the image conversion parameter to form a converted image; And e) performing image registration between the converted image and the second image.

본 발명은, 제1 영상을 제2 영상으로 영상변환하여 제2 영상과 유사한 영상 특성을 갖는 변환 영상을 형성하고, 변환 영상과 제2 영상 간에 영상 정합을 수행할 수 있어, 영상 특성이 상이한 영상 간에 영상 정합을 보다 정확하게 수행할 수 있다.The present invention can convert a first image into a second image to form a converted image having image characteristics similar to those of the second image, and perform image registration between the converted image and the second image, so that the image has different image characteristics. Image registration can be performed more accurately.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention.

도 1은 본 발명의 실시예에 따른 영상 정합 시스템(100)의 구성을 보이는 블록도이다. 영상 정합 시스템(100)은 제1 영상 제공부(110), 제2 영상 제공부(120), 프로세서(130) 및 디스플레이부(140)를 포함한다.1 is a block diagram showing the configuration of an image registration system 100 according to an embodiment of the present invention. The image matching system 100 includes a first image providing unit 110, a second image providing unit 120, a processor 130, and a display unit 140.

제1 영상 제공부(110)는 대상체의 제1 영상을 제공한다. 제1 영상 제공부(110)는 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 신호(즉, 초음파 에코신호)를 수신하여 대상체의 제1 영상을 형성하도록 동작하는 초음파 진단 장치를 포함할 수 있다. 제1 영상은 2차원 초음파 영상 및 3차원 초음파 영상 중 어느 하나를 포함할 수 있다.The first image providing unit 110 provides a first image of the object. The first image providing unit 110 may include an ultrasound diagnosis apparatus that transmits an ultrasound signal to the object and receives an ultrasound signal (ie, an ultrasound echo signal) reflected from the object to form a first image of the object. . The first image may include any one of a 2D ultrasound image and a 3D ultrasound image.

도 2는 본 발명의 실시예에 따른 제1 영상 제공부(110)의 구성을 보이는 블록도이다. 제1 영상 제공부(110)는 송신신호 형성부(111), 복수의 변환소자(transducer element)(도시하지 않음)를 포함하는 초음파 프로브(112), 빔 포머(113), 초음파 데이터 형성부(114) 및 초음파 영상 형성부(115)를 포함한다.2 is a block diagram showing the configuration of the first image providing unit 110 according to an embodiment of the present invention. The first image providing unit 110 may include a transmission signal forming unit 111, an ultrasonic probe 112 including a plurality of transducer elements (not shown), a beam former 113, and an ultrasonic data forming unit ( 114 and the ultrasound image forming unit 115.

송신신호 형성부(111)는 변환소자의 위치 및 집속점을 고려하여, 복수의 변환소자 각각에 인가될 송신신호를 형성한다. 본 실시예에서 송신신호는 초음파 영상의 프레임을 얻기 위한 송신신호를 포함한다.The transmission signal forming unit 111 forms a transmission signal to be applied to each of the plurality of conversion elements in consideration of the position and focus point of the conversion element. In the present embodiment, the transmission signal includes a transmission signal for obtaining a frame of the ultrasound image.

초음파 프로브(112)는 송신신호 형성부(111)로부터 송신신호가 제공되면, 송신신호를 초음파 신호로 변환한다. 초음파 프로브(112)는 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 수신신호를 형성한다.When the transmission signal is provided from the transmission signal forming unit 111, the ultrasound probe 112 converts the transmission signal into an ultrasound signal. The ultrasound probe 112 transmits an ultrasound signal to the object and receives an ultrasound echo signal reflected from the object to form a received signal.

빔 포머(113)는 초음파 프로브(112)로부터 수신신호가 제공되면, 수신신호를 아날로그 디지털 변환하여 디지털 신호를 형성한다. 빔 포머(113)는 변환소자의 위치 및 집속점을 고려하여 디지털 신호를 수신집속시켜 수신집속신호를 형성한다.When the received signal is provided from the ultrasonic probe 112, the beam former 113 converts the received signal into analog and digital to form a digital signal. The beam former 113 concentrates the digital signal in consideration of the position and the focusing point of the conversion element to form the reception focus signal.

초음파 데이터 형성부(114)는 빔 포머(113)로부터 수신집속신호가 제공되면, 수신집속신호를 이용하여 초음파 데이터를 형성한다. 아울러, 초음파 데이터 형성부(114)는 초음파 데이터를 형성하는데 필요한 다양한 신호 처리(예를 들어, 게인(gain) 조절, 필터링 처리 등)를 수신집속신호에 수행할 수도 있다.When the reception focus signal is provided from the beamformer 113, the ultrasound data forming unit 114 forms the ultrasound data using the reception focus signal. In addition, the ultrasound data forming unit 114 may perform various signal processing (for example, gain adjustment, filtering processing, etc.) necessary for forming the ultrasound data on the reception focus signal.

초음파 영상 형성부(115)는 초음파 데이터 형성부(114)로부터 초음파 데이터가 제공되면, 초음파 데이터를 이용하여 대상체의 초음파 영상을 형성한다. 아울러, 초음파 영상 형성부(115)는 최적의 초음파 영상을 형성하기 위한 다양한 영상 처리를 수행할 수도 있다.When ultrasound data is provided from the ultrasound data forming unit 114, the ultrasound image forming unit 115 forms an ultrasound image of the object using the ultrasound data. In addition, the ultrasound image forming unit 115 may perform various image processing to form an optimal ultrasound image.

다시 도 1을 참조하면, 제2 영상 제공부(120)는 대상체의 제2 영상을 제공한다. 제2 영상 제공부(120)는 MRI(magnetic resonance imaging) 영상을 제공하도록 동작하는 MRI 진단 장치, CT(computed tomography) 영상을 제공하도록 동작하는 CT 장치 등을 포함할 수 있다.Referring back to FIG. 1, the second image providing unit 120 provides a second image of the object. The second image providing unit 120 may include an MRI diagnostic apparatus that operates to provide a magnetic resonance imaging (MRI) image, a CT apparatus that operates to provide a computed tomography (CT) image, and the like.

프로세서(130)는 제1 영상 제공부(110) 및 제2 영상 제공부(120)에 연결되어, 영상 변환을 수행하기 위한 영상 변환 파라미터를 이용하여 제1 영상을 영상 변환하여 변환 영상을 형성하고, 변환 영상과 제2 영상 간에 영상 정합을 수행한다.The processor 130 is connected to the first image providing unit 110 and the second image providing unit 120 to form a converted image by image converting the first image using an image conversion parameter for performing image conversion. The image registration is performed between the converted image and the second image.

도 3은 본 발명의 실시예에 따른 프로세서(130)의 구성을 보이는 블록도이다. 프로세서(130)는 영상변환 파라미터 검출부(131), 영상 변환부(132) 및 영상 정합부(133)를 포함한다.3 is a block diagram showing the configuration of a processor 130 according to an embodiment of the present invention. The processor 130 includes an image conversion parameter detector 131, an image converter 132, and an image matcher 133.

영상변환 파라미터 검출부(131)는 제1 영상 획득부(110)로부터 제공되는 제1 영상의 픽셀들을 입력으로 하고 제2 영상 획득부(120)로부터 제공되는 제2 영상의 픽셀들을 출력으로 하여 제1 영상을 영상 변환하기 위한 영상변환 파라미터를 검출한다. 영상변환 파라미터 검출부(131)는 역전파(back-propagation) 알고리즘 등을 포함하는 신경망 알고리즘을 이용하여 영상변환 파라미터를 검출할 수 있다.The image conversion parameter detector 131 receives the pixels of the first image provided from the first image acquirer 110 and outputs the pixels of the second image provided from the second image acquirer 120. Detects an image conversion parameter for converting an image to an image. The image conversion parameter detector 131 may detect an image conversion parameter using a neural network algorithm including a back-propagation algorithm.

본 실시예에서, 영상변환 파라미터 검출부(131)는 도 3에 도시된 바와 같이 제1 영상의 픽셀들(UP11 내지 UPmn)을 입력층(input layer)(210)으로 설정하고, 제2 영상의 픽셀들(CP11 내지 CPmn)을 출력층(output layer)(220)으로 설정한다. 영상변환 파라미터 검출부(131)는 제1 영상의 픽셀들(UP11 내지 UPmn)에 사전 설정된 가중치, 즉 은닉층(230)의 영상변환 파라미터(PM11 내지 PMmn)를 곱하고 더하는 과정을 다수회 수행하여 제1 영상의 픽셀들(UP11 내지 UPmn)에 대응하는 출력 픽셀들을 산출한다. 영상변환 파라미터 검출부(131)는 출력 픽셀들과 제2 영상의 픽셀들(CP11 내지 CPmn) 간의 오차를 산출하고, 산출된 오차가 사전 설정된 임계값 이상이면, 산출된 오차에 비례하여 영상변환 파라미터(PM11 내지 PMmn)를 갱신한다. 여기서, 영상변환 파라미터는 기울기 하강(gradient descent)법 등을 이용하여 갱신될 수 있다. 영상변환 파라미터 검출부(131)는 제1 영상의 픽셀들(UP11 내지 UPmn)에 갱신된 영상 변환 파라미터(PM11 내지 PMmn)를 곱하고 더하는 과정을 다수회 수행하여 제1 영상의 픽셀들(UP11 내지 UPmn)에 대응하는 출력 픽셀들을 산출하고, 출력 픽셀들과 제2 영상의 픽셀들(CP11 내지 CPmn) 간의 오차를 산출하며, 산출된 오차가 사전 설정된 임계값 이상이면, 산출된 오차에 비례하여 영상변환 파라미터(PM11 내지 PMmn)를 다시 갱신한다. 영상변환 파라미터 검출부(131)는 출력 픽셀들과 제2 영상의 픽셀들(CP11 내지 CPmn) 간의 오차가 사전 설정된 임계값 미만일 때까지 전술한 과정을 반복 수행하여, 제1 영상을 제2 영상으로 영상변환하기 위한 영상변환 파라미터를 검출한다.In the present exemplary embodiment, the image conversion parameter detector 131 sets the pixels UP 11 to UP mn of the first image as the input layer 210 as shown in FIG. 3, and the second image. The pixels CP 11 to CP mn may be set as an output layer 220. The image conversion parameter detector 131 performs a multiplication process of multiplying and adding the pixels UP 11 to UP mn of the first image by a predetermined weight, that is, the image conversion parameters PM 11 to PM mn of the hidden layer 230. The output pixels corresponding to the pixels UP 11 to UP mn of the first image are calculated. The image conversion parameter detector 131 calculates an error between the output pixels and the pixels CP 11 to CP mn of the second image. If the calculated error is equal to or larger than a preset threshold, the image conversion is proportional to the calculated error. The parameters PM 11 to PM mn are updated. Here, the image conversion parameter may be updated by using a gradient descent method. The image conversion parameter detector 131 multiplies and adds the updated image conversion parameters PM 11 to PM mn to the pixels UP 11 to UP mn of the first image a plurality of times. Calculating output pixels corresponding to UP 11 to UP mn ), calculating an error between the output pixels and the pixels CP 11 to CP mn of the second image, and calculating the calculated error if the calculated error is equal to or greater than a preset threshold value. The image conversion parameters PM 11 to PM mn are updated again in proportion to the error. The image conversion parameter detector 131 repeats the above-described process until the error between the output pixels and the pixels CP 11 to CP mn of the second image is less than a preset threshold, thereby converting the first image to the second image. Detects an image conversion parameter for image conversion.

영상변환 파라미터 검출부(131)는 영상변환 파라미터를 검출하기 전에 제1 영상과 제2 영상 간에 영상 정합(image registration)을 수행할 수도 있다.The image conversion parameter detector 131 may perform image registration between the first image and the second image before detecting the image conversion parameter.

영상 변환부(132)는 영상변환 파라미터 검출부(131)로부터 제공되는 영상변환 파라미터를 이용하여 제1 영상에 영상 변환을 수행하여 변환 영상을 형성한다. 일례로서, 영상 변환부(132)는 영상변환 파라미터 검출부(131)로부터 영상변환 파라미터가 제공되면, 제1 영상의 픽셀들을 영상변환 파라미터와 곱하고 더하는 과정을 다수회 수행하여 변환 영상을 형성한다. 여기서, 제1 영상은 제1 영상 획득부(110)로부터 새로이 제공되는 영상 또는 영상변환 파라미터 검출부(131)에 제공된 영상일 수 있다.The image converter 132 forms a converted image by performing image conversion on the first image using the image conversion parameter provided from the image conversion parameter detector 131. As an example, when the image conversion parameter is provided from the image conversion parameter detector 131, the image conversion unit 132 multiplies and adds the pixels of the first image with the image conversion parameter to form a converted image. Here, the first image may be an image newly provided from the first image acquisition unit 110 or an image provided to the image conversion parameter detection unit 131.

영상 정합부(133)는 변환 영상과 제2 영상 간에 영상 정합을 수행하여 정합 영상을 형성한다. 일례로서, 영상 정합부(133)는 변환 영상 및 제2 영상을 분석하여 특정점을 추출하고, 추출된 특징점을 이용하여 변환 영상과 제2 영상 간에 영상 정합을 수행한다. 전술한 예들에서는 특징점을 이용하여 영상 정합을 수행하는 것으로 설명하였지만, 이에 국한되지 않고 다양한 영상 정합 방법을 이용하여 영상 정합을 수행할 수도 있다. The image matching unit 133 forms an image by performing image registration between the converted image and the second image. As an example, the image matching unit 133 analyzes the converted image and the second image to extract specific points, and performs image registration between the converted image and the second image using the extracted feature points. In the above-described examples, the image matching is performed by using the feature point, but the image matching may be performed using various image matching methods without being limited thereto.

다시 도 1을 참조하면, 디스플레이부(140)는 프로세서(130)에서 영상 정합된 변환 영상 및 제2 영상을 디스플레이한다. 디스플레이부(140)는 제1 영상 및 제2 영상을 디스플레이할 수도 있다.Referring back to FIG. 1, the display 140 displays a converted image and a second image, which are matched with images by the processor 130. The display unit 140 may display the first image and the second image.

본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부된 특허청구범위의 사항 및 범주를 벗어나지 않고 여러 가지 변경 및 변형이 이루어질 수 있음을 알 수 있을 것이다.While the invention has been described and illustrated by way of preferred embodiments, those skilled in the art will recognize that various changes and modifications can be made therein without departing from the spirit and scope of the appended claims.

일례로서, 전술한 실시예에서는 제1 영상을 영상 변환하기 위한 영상변환 파라미터를 검출하고, 검출된 영상변환 파라미터를 이용하여 제1 영상에 영상 변환을 수행하여 변환 영상을 형성하며, 변환 영상과 제2 영상간에 영상 정합을 수행하는 것으로 설명하였지만, 다른 실시예에서는 제2 영상을 영상 변환하기 위한 영상변환 파라미터를 검출하고, 검출된 영상변환 파라미터를 이용하여 제2 영상에 영상 변환을 수행하여 변환 영상을 형성하며, 변환 영상과 제1 영상간에 영상 정합을 수행할 수도 있다.As an example, in the above-described embodiment, an image conversion parameter for image conversion of the first image is detected, and the image conversion is performed by performing image conversion on the first image using the detected image conversion parameter to form a converted image. Although it has been described that image matching is performed between two images, in another embodiment, an image conversion parameter for image conversion of the second image is detected, and the image conversion is performed by performing image conversion on the second image using the detected image conversion parameter. The image matching may be performed between the transformed image and the first image.

도 1은 본 발명의 실시예에 따른 영상 정합 시스템의 구성을 보이는 블록도.1 is a block diagram showing the configuration of an image registration system according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 제1 영상 제공부의 구성을 보이는 블록도.2 is a block diagram illustrating a configuration of a first image providing unit according to an exemplary embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 프로세서의 구성을 보이는 블록도.3 is a block diagram showing a configuration of a processor according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따라 영상변환 파라미터를 검출하는 예를 보이는 예시도.4 is an exemplary view showing an example of detecting an image conversion parameter according to an embodiment of the present invention.

Claims (13)

영상 정합 시스템으로서,Image Matching System, 대상체의 제1 영상을 제공하도록 동작하는 제1 영상 제공부;A first image providing unit operable to provide a first image of the object; 상기 대상체의 제2 영상을 제공하도록 동작하는 제2 영상 제공부;A second image providing unit operable to provide a second image of the object; 상기 제1 영상 제공부 및 상기 제2 영상 제공부에 연결되어, 상기 제1 영상의 픽셀들을 입력으로 하고 상기 제2 영상의 픽셀들을 출력으로 하여 상기 제1 영상을 상기 제2 영상으로 영상 변환하기 위한 영상변환 파라미터를 검출하고, 상기 제1 영상의 픽셀들에 상기 영상변환 파라미터를 적용하여 상기 제1 영상에 영상 변환을 수행하여 변환 영상을 형성하며, 상기 변환 영상과 상기 제2 영상 간에 영상 정합을 수행하도록 동작하는 프로세서The first image is converted into the second image by being connected to the first image providing unit and the second image providing unit, and using the pixels of the first image as inputs and the pixels of the second image as outputs. Detects an image conversion parameter for the image, applies the image conversion parameter to pixels of the first image, performs an image conversion on the first image, and forms a converted image, and matches an image between the converted image and the second image Processor operative to perform 를 포함하는 영상 정합 시스템.Image matching system comprising a. 제1항에 있어서, 상기 제1 영상은 초음파 영상을 포함하고, 상기 제2 영상은 MRI 영상 및 CT 영상중 어느 하나를 포함하는 영상 정합 시스템.The image registration system of claim 1, wherein the first image comprises an ultrasound image and the second image comprises one of an MRI image and a CT image. 제1항에 있어서, 상기 제1 영상은 MRI 영상 및 CT 영상중 어느 하나를 포함하고, 상기 제2 영상은 초음파 영상을 포함하는 영상 정합 시스템.The image registration system of claim 1, wherein the first image comprises one of an MRI image and a CT image, and the second image comprises an ultrasound image. 삭제delete 제1항에 있어서, 상기 프로세서는, 상기 제1 영상의 픽셀들을 입력으로 설정하고 상기 제2 영상의 픽셀들을 출력으로 설정하는 신경망 알고리즘을 이용하여 상기 영상변환 파라미터를 검출하도록 동작하는 영상 정합 시스템.The image matching system of claim 1, wherein the processor is operative to detect the image conversion parameter using a neural network algorithm that sets the pixels of the first image as an input and sets the pixels of the second image as an output. 제1항 내지 제3항, 제5항중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 5, 상기 영상 정합된 제1 영상 및 제2 영상을 디스플레이하도록 동작하는 디스플레이부A display unit operable to display the matched first and second images 를 더 포함하는 영상 정합 시스템.Image matching system further comprising. 영상 정합 시스템에서 영상 정합 방법으로서,As an image registration method in an image registration system, a) 상기 영상 정합 시스템의 제1 영상 제공부에서, 대상체의 제1 영상을 제공하는 단계;a) providing a first image of an object in a first image providing unit of the image matching system; b) 상기 영상 정합 시스템의 제2 영상 제공부에서, 상기 대상체의 제2 영상을 제공하는 단계;b) providing a second image of the object in a second image providing unit of the image matching system; c) 상기 영상 정합 시스템의 프로세서에서, 상기 제1 영상의 픽셀들을 입력으로 하고 상기 제2 영상의 픽셀들을 출력으로 하여 상기 제1 영상을 상기 제2 영상으로 영상 변환하기 위한 영상변환 파라미터를 검출하는 단계;c) detecting, by a processor of the image matching system, an image conversion parameter for converting the first image into the second image by inputting pixels of the first image and outputting pixels of the second image; step; d) 상기 영상 정합 시스템의 상기 프로세서에서, 상기 제1 영상의 픽셀들에 상기 영상변환 파라미터를 적용하여 상기 제1 영상에 영상 변환을 수행하여 변환 영상을 형성하는 단계; 및d) in the processor of the image matching system, applying the image conversion parameter to the pixels of the first image to perform image conversion on the first image to form a converted image; And e) 상기 영상 정합 시스템의 상기 프로세서에서, 상기 변환 영상과 상기 제2 영상 간에 영상 정합을 수행하는 단계e) performing image registration between the converted image and the second image in the processor of the image matching system 를 포함하는 영상 정합 방법.Image matching method comprising a. 제7항에 있어서, 상기 제1 영상은 초음파 영상을 포함하고, 상기 제2 영상은 MRI 영상 및 CT 영상중 어느 하나를 포함하는 영상 정합 방법.The method of claim 7, wherein the first image comprises an ultrasound image, and the second image comprises one of an MRI image and a CT image. 제7항에 있어서, 상기 제1 영상은 MRI 영상 및 CT 영상중 어느 하나를 포함하고, 상기 제2 영상은 초음파 영상을 포함하는 영상 정합 방법.The method of claim 7, wherein the first image comprises one of an MRI image and a CT image, and the second image comprises an ultrasound image. 제7항에 있어서, 상기 단계 c)는,The method of claim 7, wherein step c) 상기 제1 영상의 픽셀들을 입력으로 설정하고 상기 제2 영상의 픽셀들을 출력으로 설정하는 신경망 알고리즘을 이용하여 상기 영상변환 파라미터를 검출하는 단계Detecting the image conversion parameter by using a neural network algorithm that sets the pixels of the first image as an input and sets the pixels of the second image as an output. 를 포함하는 영상 정합 방법.Image matching method comprising a. 삭제delete 제7항 내지 제10항중 어느 한 항에 있어서,The method according to any one of claims 7 to 10, f) 상기 영상 정합된 제1 영상 및 제2 영상을 디스플레이하는 단계f) displaying the matched first and second images 를 더 포함하는 영상 정합 방법.Image matching method further comprising. 영상 정합 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체로서, 상기 방법은,A computer-readable recording medium storing a program for performing an image registration method, the method comprising: a) 대상체의 제1 영상을 제공하는 단계;a) providing a first image of the object; b) 상기 대상체의 제2 영상을 제공하는 단계;b) providing a second image of the object; c) 상기 제1 영상의 픽셀들을 입력으로 하고 상기 제2 영상의 픽셀들을 출력으로 하여 상기 제1 영상을 상기 제2 영상으로 영상 변환하기 위한 영상변환 파라미터를 검출하는 단계;c) detecting image conversion parameters for converting the first image to the second image by using the pixels of the first image as inputs and the pixels of the second image as outputs; d) 상기 제1 영상의 픽셀들에 상기 영상변환 파라미터를 적용하여 상기 제1 영상에 영상 변환을 수행하여 변환 영상을 형성하는 단계; 및d) applying the image conversion parameter to the pixels of the first image to perform image conversion on the first image to form a converted image; And e) 상기 변환 영상과 상기 제2 영상 간에 영상 정합을 수행하는 단계e) performing image registration between the converted image and the second image 를 포함하는 컴퓨터 판독가능 기록매체.Computer-readable recording medium comprising a.
KR1020090065664A 2008-12-02 2009-07-20 System and method of perform image registration KR101132536B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP09177188.1A EP2194506B1 (en) 2008-12-02 2009-11-26 Image based registration
JP2009273780A JP5634055B2 (en) 2008-12-02 2009-12-01 System and method for video alignment
US12/628,861 US8606045B2 (en) 2008-12-02 2009-12-01 Image based registration using transform and second images of a target object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080121461 2008-12-02
KR1020080121461 2008-12-02

Publications (2)

Publication Number Publication Date
KR20100062889A KR20100062889A (en) 2010-06-10
KR101132536B1 true KR101132536B1 (en) 2012-04-02

Family

ID=42363090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090065664A KR101132536B1 (en) 2008-12-02 2009-07-20 System and method of perform image registration

Country Status (1)

Country Link
KR (1) KR101132536B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10285665B2 (en) 2014-10-27 2019-05-14 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method and computer-readable storage medium
US10368809B2 (en) 2012-08-08 2019-08-06 Samsung Electronics Co., Ltd. Method and apparatus for tracking a position of a tumor

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227272B1 (en) * 2011-03-25 2013-01-28 가천대학교 산학협력단 Image registration method of ultrasound imaging and magnetic resonance imaging
KR101880634B1 (en) 2011-08-09 2018-08-16 삼성전자주식회사 Method and apparatus for generating 3d volume panorama
KR102001219B1 (en) 2012-11-26 2019-07-17 삼성전자주식회사 Method and Apparatus of matching medical images
KR102205898B1 (en) 2013-09-04 2021-01-21 삼성전자주식회사 Method and Apparatus for registering medical images
KR102336446B1 (en) * 2014-01-24 2021-12-08 삼성전자주식회사 Method and appartus for registering medical images
KR102294734B1 (en) * 2014-09-30 2021-08-30 삼성전자주식회사 Method and apparatus for image registration, and ultrasonic diagnosis apparatus
KR102366172B1 (en) * 2020-04-16 2022-02-22 광주과학기술원 Method and apparatus for identifying image mathcihng
KR102454975B1 (en) * 2020-11-17 2022-10-18 (주)자비스 System, method and program for creating high definition x-ray image basen on deep-learning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053057A (en) * 2006-12-08 2008-06-12 주식회사 메디슨 Ultrasound imaging system and method for forming and displaying fusion image of ultrasound image and external medical image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053057A (en) * 2006-12-08 2008-06-12 주식회사 메디슨 Ultrasound imaging system and method for forming and displaying fusion image of ultrasound image and external medical image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368809B2 (en) 2012-08-08 2019-08-06 Samsung Electronics Co., Ltd. Method and apparatus for tracking a position of a tumor
US10285665B2 (en) 2014-10-27 2019-05-14 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method and computer-readable storage medium

Also Published As

Publication number Publication date
KR20100062889A (en) 2010-06-10

Similar Documents

Publication Publication Date Title
KR101132536B1 (en) System and method of perform image registration
JP5634055B2 (en) System and method for video alignment
JP4842933B2 (en) Diagnostic imaging equipment
KR100908252B1 (en) Image Processing System and Method
US10959704B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP5294340B2 (en) Ultrasonic diagnostic equipment
JP5797364B1 (en) Ultrasonic observation apparatus, operation method of ultrasonic observation apparatus, and operation program of ultrasonic observation apparatus
KR101182999B1 (en) Ultrasound system and method for performing ultrasound image processing
US8394024B2 (en) Ultrasound diagnostic apparatus and method for tracing movement of tissue
JP2006026151A (en) Ultrasonic diagnostic equipment and ultrasonic image processor
JP2008168016A (en) Ultrasonic diagnostic apparatus, imt measurement method, and imt measurement program
JP5166154B2 (en) Ultrasonic diagnostic equipment
US20120203108A1 (en) Ultrasonic diagnostic apparatus and image construction method
JP2011152416A (en) Ultrasonic system and method for processing three-dimensional ultrasonic screen image and measuring size of concerned object
US20240050062A1 (en) Analyzing apparatus and analyzing method
KR101117916B1 (en) Ultrasound system and method for detecting sagittal view
KR101202533B1 (en) Control device, ultrasound system, method and computer readable medium for providing a plurality of slice images
US11246564B2 (en) Ultrasound diagnosis apparatus
KR20120046539A (en) Ultrasound system and method for providing body mark
JP7282564B2 (en) Medical diagnostic device, medical image processing device, and image processing program
KR101462402B1 (en) cardiovascular OCT IMage making method and method for detecting stents using thereof
JP2005000390A (en) Ultrasonograph
KR101868019B1 (en) Ultrasound Imaging Apparatus and Method for processing a ultrasound image thereof
KR20140132839A (en) Ultrasonic imaging apparatus and image display method thereof
JP7346212B2 (en) Analysis device and analysis program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160302

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 9