KR102175923B1 - Speckle pattern reduction system for ultrasound diagnostic image - Google Patents
Speckle pattern reduction system for ultrasound diagnostic image Download PDFInfo
- Publication number
- KR102175923B1 KR102175923B1 KR1020180171116A KR20180171116A KR102175923B1 KR 102175923 B1 KR102175923 B1 KR 102175923B1 KR 1020180171116 A KR1020180171116 A KR 1020180171116A KR 20180171116 A KR20180171116 A KR 20180171116A KR 102175923 B1 KR102175923 B1 KR 102175923B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- ultrasound
- gan
- correction
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 60
- 230000009467 reduction Effects 0.000 title description 3
- 238000012935 Averaging Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 31
- 238000003745 diagnosis Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
본 발명은 초음파를 이용하여 대상체 내부의 영상을 생성하는 초음파 진단 영상처리에서 임의의 노이즈성 지연추가와 생성적 적대 신경망(GAN)을 활용하여 스페클 패턴을 다수 만들어 이를 평균화함으로 스페클 노이즈를 감소시켜 화질을 개선할 수 있는 초음파 진단 영상의 스페클 패턴 축소 시스템에 관한 것이다.The present invention reduces speckle noise by creating a number of speckle patterns and averaging them using an arbitrary noise delay addition and a generative hostile neural network (GAN) in ultrasound diagnostic image processing that generates an image inside an object using ultrasound. The present invention relates to a system for reducing speckle patterns of ultrasound diagnostic images, which can improve image quality by doing so.
Description
본 발명은 초음파 진단 영상처리에 관한 것으로, 자세하게는 초음파를 이용하여 대상체 내부의 영상을 생성하는 초음파 진단 영상처리에서 임의의 노이즈성 지연추가와 생성적 적대 신경망(GAN)을 활용하여 스페클 패턴을 다수 만들어 이를 평균화함으로 스페클 노이즈를 감소시켜 화질을 개선할 수 있는 초음파 진단 영상의 스페클 패턴 축소 시스템에 관한 것이다.The present invention relates to ultrasound diagnosis image processing, and in detail, in ultrasound diagnosis image processing in which an image inside an object is generated using ultrasound, a speckle pattern is generated using an arbitrary noise delay addition and a generative hostile neural network (GAN). The present invention relates to a system for reducing speckle patterns of ultrasound diagnostic images that can improve image quality by reducing speckle noise by making a number of them and averaging them.
초음파 진단은 신체 내부 대상체에 대하여, 프로브(probe)를 이용하여 초음파 신호를 출력하고, 대상체로부터 반사된 에코 신호의 정보를 이용하여 대상체에 대한 영상을 얻는 방식으로, X-선에 비하여 안정적으로 실시간으로 영상확인이 가능하며, 방사능과 같은 유해성이 없어 널리 이용되는 화상 진단방식이다.Ultrasound diagnosis is a method of outputting an ultrasound signal using a probe for an object inside the body, and obtaining an image of the object using information of the echo signal reflected from the object. It is a widely used image diagnosis method because it is possible to check the image and has no harmful effects such as radioactivity.
하지만, 이러한 장점에도 초음파 영상에는 초음파 신호의 간섭으로 인한 잡음이 나타날 수 있다는 점이 단점으로 지목되고 있으며, 대표적으로 스페클(speckle)로 불리는 산재된 점들의 형태를 들 수 있다.However, despite these advantages, it is pointed out as a disadvantage that noise due to the interference of the ultrasonic signal may appear in the ultrasonic image, and representatively, there may be a form of scattered dots called a speckle.
스페클 패턴은 주로 대상체로부터 반사된 산란 에코 신호의 간섭의 결과로 생기며, 화질을 저하 시키고 진찰 중 이미지의 미세한 항목을 식별하는데 어려움을 준다.The speckle pattern mainly occurs as a result of interference of the scattered echo signal reflected from the object, deteriorates the image quality and makes it difficult to identify fine items in the image during examination.
이러한 스페클 패턴을 감소를 위해 별도의 필터를 사용하고 있으나 스페클 감소 필터는 공간 해상도(spatial resolution)의 손실을 발생하며 초음파 촬영 시스템의 처리 능력을 감소시키는 문제가 있었다.A separate filter is used to reduce the speckle pattern, but the speckle reduction filter causes a loss of spatial resolution and has a problem of reducing the processing power of the ultrasound imaging system.
한편, 인공지능 시장에 알파고가 등장한 이후 세계적인 관심과 더불어 딥러닝 기술이 적용된 의료시스템과 인공지능 의료기기가 계속해서 개발되고 있다. 특히 약 1만여 가지에 달하는 것으로 알려진 인간의 질병 중 의료진이 기억하여 적용할 수 있는 질병 종류는 당연히 적을 수밖에 없는 상황에서 수백만에 달하는 임상 사례 등의 자료를 환자의 개인정보과 결합하여 진단 및 치료의 효율성을 향상시킬 것으로 기대되고 있다.On the other hand, after AlphaGo appeared in the artificial intelligence market, medical systems and artificial intelligence medical devices to which deep learning technology was applied, along with global interest, are continuously being developed. In particular, among human diseases known to be about 10,000, there are of course only few types of diseases that can be remembered and applied by medical staff, and data such as millions of clinical cases are combined with patient's personal information to improve diagnosis and treatment efficiency. Is expected to improve.
이에 초음파 진단기에 기계학습 중 딥러닝(Deep Learning/Machine Learning)을 적용함으로 불필요한 조직검사를 줄이고 양성으로 잘못 진단할 가능성이 큰 악성 병변을 정확하게 진단해 내는 것과, 가장 의심스러운 병소가 어디인지 결정하기 위한 요구가 높아지는 가운데 영상내 스페클 제거성이 높아지고 있다.Therefore, by applying deep learning (Deep Learning/Machine Learning) of machine learning to the ultrasound diagnostic device, unnecessary biopsy is reduced, and malignant lesions that are likely to be falsely diagnosed as benign are accurately diagnosed, and the most suspicious lesions are determined. Amid the increasing demand for video, speckle removal in video is increasing.
본 발명은 상기와 같은 문제를 해결하기 위하여 창출된 것으로, 본 발명의 목적은 초음파 영상 신호에 노이즈성 신호를 추가하는 방식과, 생성적 적대 신경망을 통해 스페클 패턴을 다수 만들어 이를 평균화함으로 스페클 패턴을 줄인 초음파 영상을 만들어 내는 초음파 진단 영상의 스페클 패턴 축소 시스템을 제공하는 것이다.The present invention was created to solve the above problem, and an object of the present invention is a method of adding a noisy signal to an ultrasonic image signal, and by creating a number of speckle patterns and averaging them through a generative hostile neural network. It is to provide a system for reducing the speckle pattern of an ultrasound diagnostic image that produces an ultrasound image with a reduced pattern.
상기와 같은 목적을 위해 본 발명은 초음파 진단 영상의 스페클 패턴 축소 시스템에 있어서, 대상체로 초음파 신호를 송신 후, 대응하여 대상체로부터 반사된 초음파 신호를 수신하는 트랜스듀서를 구비함으로 채널 데이터를 획득하는 수집부와, 상기 수집부에서 수집된 초음파 RF 신호를 저장하는 제1메모리와, 상기 제1메모리에 저장된 신호 중 시간 지연값을 계산 및 적용하는 보간부와, 수신하고자 하는 깊이에 따른 지연값에 의해 빔포밍을 수행하는 빔포밍부와, 빔포밍에 따른 원본 영상이 저장되는 기본영상메모리를 구비한 측정부; 설정 또는 수집된 영상 파라미터가 분류 및 저장되어 구축된 제1데이터베이스와, 수신된 채널 데이터로부터 상기 제1데이터베이스에 저장된 영상 파라미터를 읽어 적용함으로 초음파 영상을 생성하는 영상구현부를 구비하는 출력부; 상기 보간부를 통해 채널별 설정된 범위의 임의의 지연시간을 인가하는 신호가산부와, 상기 신호가산부를 통해 생성된 N개의 초음파 영상을 저장하는 제2메모리와, 상기 제2메모리에 저장된 영상을 취합하여 평균화한 제1보정영상을 생성하는 평균화부를 구비하는 보정부; 로 이루어지는 것을 특징으로 한다.For the above purposes, the present invention provides a system for reducing a speckle pattern of an ultrasound diagnosis image, wherein after transmitting an ultrasound signal to an object, a transducer correspondingly receiving an ultrasound signal reflected from the object is provided to obtain channel data. A collection unit, a first memory for storing the ultrasonic RF signal collected by the collection unit, an interpolation unit for calculating and applying a time delay value among signals stored in the first memory, and a delay value according to the depth to be received. A measuring unit including a beamforming unit for performing beamforming by means of a beamforming unit and a basic image memory storing an original image according to the beamforming; An output unit including a first database in which set or collected image parameters are classified and stored, and an image realization unit configured to generate an ultrasound image by reading and applying image parameters stored in the first database from received channel data; A signal adding unit for applying an arbitrary delay time in a range set for each channel through the interpolation unit, a second memory storing N ultrasound images generated through the signal adding unit, and images stored in the second memory are collected. A correction unit including an averaging unit for generating the averaged first correction image; It characterized in that it consists of.
이때 상기 보정부는, 생성적 적대 신경망(GAN)을 적용하여 상기 영상구현부에서 생성된 초음파 영상에 대한 복수의 복제 영상을 생성하는 영상생성부를 더 포함하고, 상기 평균화부는 상기 복제 영상을 취합하여 평균화한 제2보정영상을 생성하도록 구성되며, 상기 보정부는 상기 제1보정영상과 제2보정영상을 비교분석하여 스페클 패턴이 저감된 영상을 제공하여 선정받는 선정부를 더 포함하는 것이 바람직하다.In this case, the correction unit further includes an image generation unit that generates a plurality of duplicate images for the ultrasound image generated by the image realization unit by applying a generative hostile neural network (GAN), and the averaging unit collects and averages the duplicate images. It is configured to generate a second correction image, the correction unit may further include a selection unit to be selected by providing an image with a reduced speckle pattern by comparing and analyzing the first correction image and the second correction image.
또한, 원본 초음파 영상에 대응한 제2보정영상이 분류 및 저장되어 구축된 제3메모리(141)와, 원본 초음파 영상을 대응되는 제1보정영상 및 제2보정영상과 비교하여 스페클 패턴 및 제거 패턴을 분석하여 가장 작은 스페클 패턴을 도출하는 분석부를 구비한 GAN신경망부; 를 더 포함하는 것이 바람직하다.In addition, the second correction image corresponding to the original ultrasound image is classified and stored, and constructed, and the
또한, 상기 GAN신경망부는 GAN 인공지능망 파라메터를 통해 구축되는 GAN데이터베이스와, 상기 영상구현부에서 생성된 신규 초음파 영상에 대하여 상기 분석부를 통해 특정 스페클 패턴의 유사도가 설정치 이상으로 판정되는 영상에 설정된 파라미터를 수집/분류하여 상기 GAN데이터베이스에 적용하는 학습부를 더 포함하는 것이 바람직하다.In addition, the GAN neural network unit has a GAN database built through a GAN artificial intelligence network parameter, and a parameter set for an image in which the similarity of a specific speckle pattern is determined to be greater than or equal to a set value through the analysis unit for the new ultrasound image generated by the image implementation unit It is preferable to further include a learning unit to collect/classify and apply to the GAN database.
또한, 상기 GAN신경망부는 원본영상과, 제1보정영상 및 제2보정영상 중 상기 분석부를 통해 스페클 패턴이 가장 작은 것으로 분석된 영상을 추천하는 추천부를 더 포함하는 것이 바람직하다.In addition, it is preferable that the GAN neural network unit further includes a recommendation unit for recommending an image analyzed as having the smallest speckle pattern through the analysis unit among the original image and the first correction image and the second correction image.
본 발명을 통해 노이즈로 인식되는 스페클을 저감시키며 효율적으로 초음파 영상의 화질을 개선할 수 있다. 특히 초음파 영상의 비대칭적인 형태와 스페클의 위치에도 불구하고 유사한 형태와 패턴의 스페클을 용이하게 검출하여 제거할 수 있으며, 초음파 영상이 비대칭적임에도 초음파 영상의 경계 부분에 대한 스페클 제거 처리를 효율적으로 이루어질 수 있다.Through the present invention, speckles recognized as noise can be reduced, and quality of an ultrasound image can be efficiently improved. In particular, it is possible to easily detect and remove speckles of similar shapes and patterns despite the asymmetric shape of the ultrasound image and the location of the speckle, and even though the ultrasound image is asymmetric, the speckle removal process for the boundary portion of the ultrasound image is performed. It can be done efficiently.
도 1은 초음파 영상을 위한 송신 빔집속 원리를 나타낸 개념도,
도 2는 초음파 영상을 위한 수신 빔집속 원리를 나타낸 개념도,
도 3은 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도,
도 4는 본 발명의 실시예에 따른 신호 흐름을 나타낸 흐름도이다.1 is a conceptual diagram showing a transmission beam focusing principle for an ultrasound image,
2 is a conceptual diagram showing a principle of receiving beam focusing for an ultrasound image;
3 is a block diagram showing a configuration and a connection relationship according to an embodiment of the present invention;
4 is a flowchart illustrating a signal flow according to an embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명 초음파 진단 영상의 스페클 패턴 축소 시스템의 구성을 구체적으로 설명한다.Hereinafter, a configuration of a system for reducing speckle patterns of an ultrasound diagnosis image according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 초음파 영상을 위한 송신 빔집속 원리를 나타낸 개념도, 도 2는 초음파 영상을 위한 수신 빔집속 원리를 나타낸 개념도이다.FIG. 1 is a conceptual diagram illustrating a transmission beam focusing principle for an ultrasound image, and FIG. 2 is a conceptual diagram illustrating a reception beam focusing principle for an ultrasound image.
본 발명을 위한 기본 개념을 살펴보면 초음파 진단에서는 영상의 측방향 해상도 증가를 위해 관찰하고자 하는 영상점을 통과하는 빔 폭을 줄이는 빔 집속이 이루어진다. 이를 위해 통상 첨부된 도 1과 같이 초음파 송신시에는 배열 변환자의 초음파 송신시간을 다르게 하여 하나의 집속점에 모두 같은 시간에 초음파가 도달하게 함으로써 위상이 같은 상태로 더해지도록 하는 수신 동적 집속 기법을 활용할 수 있다.Looking at the basic concept for the present invention, in ultrasound diagnosis, beam focusing is performed to reduce the width of a beam passing through an image point to be observed in order to increase the lateral resolution of an image. For this purpose, as shown in FIG. 1, a receiving dynamic focusing technique is used to add the same phase by varying the ultrasonic transmission time of the array transducer so that the ultrasonic waves reach one focal point at the same time when transmitting ultrasonic waves as shown in FIG. I can.
도 2의 수신 동적 빔집속 방법은 수신 빔집속을 수행하는 원리는 실질적으로 송신시의 빔집속과 동일하며, 원하는 집속점으로부터 반사되어 들어오는 초음파 신호는 각각의 배열 변환자에 서로 다른 시간에 도달하게 되는데 이런 신호들에 대하여 도달하는 시간 차이만큼 시간 지연 값을 보상한 후에 합하게 된다.In the receiving dynamic beam focusing method of FIG. 2, the principle of performing the reception beam focusing is substantially the same as the beam focusing at the time of transmission, and the ultrasonic signal reflected from the desired focusing point reaches a different time to each array transducer. However, these signals are summed after compensating for the time delay value by the time difference reached for these signals.
이는 주사선상의 초음파가 진행하는 방향을 중심으로 하여 가까운 곳으로부터 먼 곳으로 이동해가며 가변시간지연을 조절함으로써 집속점을 동적으로 바꿔주는 방법으로 주사선상의 모든 영상점에 대하여 동적으로 집속할 수 있다.This is a method of dynamically changing the focusing point by adjusting the variable time delay while moving from near to far with the moving direction of the ultrasound on the scanning line as the center, and can dynamically focus on all image points on the scanning line.
도 3은 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도로서, 본 발명에서는 스페클 패턴의 축소를 위한 기본 구성으로 측정부(110)와, 출력부(120)와, 보정부(130)를 비롯하여 기계학습을 통한 효과적인 스페클 저감을 위한 GAN신경망부(140)의 부가구성이 구비된다. 또한, 도 4는 본 발명의 실시예에 따른 신호 흐름을 나타낸 흐름도로서, 이하 설명되는 각 구성에 대응하여 신호흐름을 나타내고 있으며 대응되는 구성을 괄호로 표기하였다. 3 is a block diagram showing a configuration and a connection relationship according to an embodiment of the present invention. In the present invention, a
상기 측정부(110)는 진단대상 즉 환자의 환부로부터 반사되는 초음파 반사신호로부터 채널 데이터(channel data)를 획득하기 위한 영상 수신부의 구성으로 수집부(111)와, 제1메모리(113)와, 보간부(114)의 세부구성을 구비한다. The
상기 수집부(111)는 대상체로 초음파 신호를 송신 후, 대응하여 대상체로부터 반사된 초음파 RF 신호를 수신하는 트랜스듀서(Transducer)를 구비함으로 초음파 반사신호를 전기신호로 변환하여 채널 데이터를 획득하는 구성으로, 구체적으로 전기적 아날로그 신호를 초음파로 변환하여 대상체로 쏘고, 대상체로부터 반사된 신호를 전기적 아날로그 신호로 변환한다.The
일반적으로 트랜스듀서(112)는 초음파 송수신 장치로서 복수 개의 트랜스듀서 엘리먼트(Transducer Element)가 결합되어 형성되어 음향 에너지를 전기적 신호로 변환하고, 전기적 에너지를 음향 에너지로 변환한다. 또한, 배열형 트랜스듀서(Transducer Array)로 구현될 수 있으며, 배열형 트랜스듀서 내의 트랜스듀서 엘리먼트를 이용하여 대상체로 초음파를 송신하고 대상체로부터 반사되는 반사 신호를 수신한다.In general, the
상기 채널 데이터는 포커싱을 비롯한 신호 처리가 되지 않은 원 데이터(raw data)를 의미하며, 초음파 반사신호로부터 트랜스듀서(112)를 통해 변환된 아날로그 알에프(RF) 전기신호를 디지털화한 디지털 알에프 신호 또는 채널 데이터는 트랜스듀서(112)를 통해 초음파 반사신호로부터 변환된 아날로그 알에프 전기신호 또는 아날로그 알에프 전기신호를 디지털화한 디지털 알에프 신호를 대상으로 기저대역으로 복조한 I 데이터와 Q 데이터가 될 수 있다.The channel data refers to raw data without signal processing including focusing, and a digital RF signal or channel obtained by digitizing an analog RF electrical signal converted from an ultrasonic reflected signal through the
이때 상기 트랜스듀서(112)는 각 트랜스듀서 엘리먼트에 입력되는 펄스(Pulse)들의 입력시간을 적절하게 지연시킴으로써 집속된 초음파를 송신 스캔 라인을 따라 대상체로 송신한다. 또한, 대상체로부터 초음파에 대응하여 반사된 반사 신호는 트랜스듀서(112)에 서로 다른 수신 시간을 가지면서 입력되며, 대상체로 초음파를 송신하고 대응하는 반사 신호를 수신함으로 소프트웨어적인 고속 이미징 처리가 이루어질 수 있다.In this case, the
상기 제1메모리(113)는 scan line과 depth pixel을 포함하는 RF 데이터를 저장하는 임시저장 수단으로 상기 수집부(111)에서 수집된 초음파 신호를 임시로 저장하게 되며, 상기 보간부(114)는 빔포밍용 지연발생부로서 상기 제1메모리(113)에 저장된 신호 중 시간 지연값을 계산 및 적용시켜 도달하는 시간 차이만큼 시간 지연 값을 보상한 후에 합하는 집속이 이루어지도록 한다.The
또한, 수신하고자 하는 깊이에 따라 변동되는 지연 정보에 의해 RF 메모리에서 빔포밍을 수행하는 구성인 빔포밍부(115)와 스페클 패턴을 지우지 않은 원본영상을 저장하는 기본영상메모리(116)가 구비된다.In addition, a
상기 출력부(120)는 상기 측정부를 통해 수신된 채널 데이터를 이용하여 초음파 영상을 만들어 출력하는 구성으로 제1데이터베이스(121)와, 영상구현부(122)의 세부구성을 구비한다.The
상기 제1데이터베이스(121)는 관리자 또는 사용자에 의해 설정 또는 수집된 영상 파라미터가 분류 및 저장되어 구축된다. 상기 파라미터는 채널 데이터를 통해 초음파 영상을 생성시 적용하여 다양한 초음파 영상으로부터 비정상적인 병변의 존재 여부와 병변의 위치 등을 쉽게 찾아 정확도를 향상시키기 위한 요소로 주파수(frequency), 이득(gain), 저주파 필터링 값(LPF), 추출 레이트(DR), 빔포밍, 초음파 신호의 포커스 위치, 스캔라인(scanline)의 스티어링 각도(steering angle), 송신 주파수(transmit frequency) 및 음속(speed of sound)을 의미하며 단독 내지는 2개 이상이 조합된 형태를 나타낼 수도 있다.The
초기에는 사전에 정의된 디폴트(default) 값으로 설정되나 미리 설정, 저장된 수치에 따른 변경이 가능하다. 대표적으로 영상 파라미터는 초음파 영상의 해상도에 영향을 주고, 이득은 초음파 영상의 밝기에 영향을 주는 등 다양한 영상 파라미터를 조작하여 각각을 채널 신호에 적용함에 따라 다양한 초음파 영상들을 획득하여 더욱 정확한 의료 진단을 가능하게 한다.Initially, it is set to a predefined default value, but it can be changed according to preset and stored values. Typically, the image parameter affects the resolution of the ultrasound image, and the gain affects the brightness of the ultrasound image. By applying each to the channel signal, various image parameters are manipulated to obtain various ultrasound images to provide more accurate medical diagnosis. Make it possible.
상기 영상구현부(122)는 수신된 채널 데이터로부터 상기 제1데이터베이스(121)에 저장된 영상 파라미터를 읽어 적용함으로 초음파 영상을 생성하게 된다. 구체적으로 트랜스듀서(112)에 의해 수신된 초음파 반사 신호를 대상으로 신호처리 및 스캔(scan)하여 초음파 영상을 생성하는 것으로 수집된 채널 데이터를 대상으로 영상 파라미터를 적용한 후 신호 처리 및 재 스캔(re-scan)하여 새로운 초음파 영상을 자동으로 생성한다.The
이때 다양한 파라미터를 적용함에 따른 다양한 영상의 생성이 이루어질 수 있으며, 로컬과 비교하여 높은 사양의 통신수단을 통해 짧은 시간에 다양한 영상을 빠르게 생성할 수도 있으며, 선택된 영상에 dynamic range, brightness, frame averaing, edge enhancement 등을 수행할 수 있다.At this time, various images can be generated by applying various parameters, and various images can be quickly generated in a short time through a communication means of high specification compared to local, and dynamic range, brightness, frame averaing, and Edge enhancement, etc. can be performed.
여기까지 정리하면 초음파 진단에서 빔포밍을 하는 방식 중 RF 신호를 직접 디지털신호로 바꾼 후 검파(rectification) 검출시 지연의 계산에 의해 수행하는 디지털 빔포밍 기술로서 정확한 지연에 의한 영상을 얻을 수 있으나, 여기엔 스페클 패턴이 포함된 영상이 만들어 진다.Summarizing so far, it is a digital beamforming technology that converts the RF signal directly into a digital signal among the methods of beamforming in ultrasound diagnosis and then calculates the delay when detecting the rectification, so that an image with an accurate delay can be obtained. Here, a video containing the speckle pattern is created.
상기 보정부(130)는 상기 출력부를 통해 형성되어 스페클 패턴이 포함된 초음파 영상에 대하여 노이즈로 작용하는 스페클 패턴을 저감시키기 위한 구성으로, 신호가산부(131)와, 제2메모리(132)와, 영상생성부(133)와, 평균화부(134)와, 선정부(135)의 세부구성을 구비한다.The
본 발명에서는 기본적으로 2가지 방법을 적용하여 스페클 패턴을 저감시키게 되며, 모두 동일한 부위를 촬영한 다수의 영상에서 스페클 패턴이 달리 나타나도록 한 후 이들을 평균화하는 방식을 적용한다.In the present invention, the speckle pattern is reduced by basically applying two methods, and a method of averaging them after making the speckle pattern differently appear in a plurality of images photographing the same area is applied.
첫 번째로 임의의 지연을 채널별로 추가함으로 새로운 스페클 패턴이 나타난 영상을 구하는 것으로 랜덤성의 임의값에 의해 몇 개의 영상을 구한 뒤 이들 영상을 평균화하며 스페클 패턴이 저감된 깨끗한 영상을 얻도록 한다.First, by adding an arbitrary delay for each channel, a new speckle pattern is obtained. After obtaining several images by a random value of randomness, the images are averaged to obtain a clean image with a reduced speckle pattern. .
이를 위해 상기 신호가산부(131)는 미세지연을 가산하는 구성으로 상기 보간부를 통해 채널별 설정된 범위의 임의의 지연시간을 인가하게 된다. 기계적으로 설정범위 중 랜덤한 지연시간을 생성하여 인가하는 방식을 적용할 수 있으나 다수의 설정 지연값 중 임의 내지는 순차적인 선택이 이루어져 지연시간을 인가할 수 있다.To this end, the
즉 본래의 지연정보 + 신호가산부 출력을 통해 RX 빔포밍(기본보간)이 이루어지며 이를 통해 임의 지연 영상들이 생성 및 저장된다. That is, RX beamforming (basic interpolation) is performed through the original delay information + output of the signal adder, through which random delayed images are generated and stored.
상기 제2메모리(132)는 미세조정 영상을 저장하는 임시 저장수단으로, 상기 신호가산부(131)를 통해 지연이 적용되어 상기 영상구현부(122)를 통해 생성된 초음파 영상을 저장하게 된다. 저장되는 영상은 상기 신호가산부(131)를 통해 지연시간이 인가된 숫자에 대응하며 특별히 한정하지는 않지만 실험적으로 스페클 패턴의 저감이 나타나는 실험값을 적용하여 적절히 선택될 수 있다.The
N 개의 미세지연조정 영상을 후술되는 바와 같이 평균화하여 한장의 미세조정영상을 취득함에 앞서 기본 지연에 N개의 미세지연을 통한 빔포밍을 통한 N 개의 영상을 저장하게 된다.Prior to obtaining one fine-tuned image by averaging the N fine-delayed images as described later, N images through beamforming through N fine-delays are stored in the basic delay.
상기 평균화부(134)는 미세조정영상을 비롯하여 후술되는 GAN을 통한 영상을 평균하기 위한 구성으로, 먼저 상기 제2메모리에 저장된 영상을 취합하여 평균화한 제1보정영상을 생성하게 되며, 실질적으로 상기 제2메모리(132)에 저장된 영상은 동일한 부위를 촬영한 영상으로 스페클 패턴이 주로 바뀜에 따라 이를 평균화함으로 스페클 패턴이 저감된 영상을 취득할 수 있다.The averaging
이러한 방식과 더불어 본 발명은 인공지능 신경망 중 하나인 에 GAN 방식을 적용하여 스페클 패턴이 있는 비슷한 영상을 생성한 후 이들을 평균화하여 스페클 패턴을 줄인 초음파 영상을 만들 수 있다.In addition to this method, the present invention can generate an ultrasound image with a reduced speckle pattern by generating a similar image with a speckle pattern by applying the GAN method, which is one of the artificial intelligence neural networks, and then averaging them.
이를 위해 상기 영상생성부(133)는 생성적 적대 신경망(GAN)을 적용하여 상기 영상구현부(122)에서 생성된 초음파 영상에 대한 복수의 복제 영상을 생성하게 된다.To this end, the
즉 상기 영상생성부(133)는 GAN 영상을 생성하기 위한 구성으로, 의의 GAN 다수 영상을 저장하는 GAN 영상 메모리부를 구비하여 M개의 GAN영상을 저장하고 이를 상기 평균화부(134)를 통해 평균화하여 한장의 평균 GAN 영상을 제3메모리(141)에 저장하게 된다.That is, the
GAN(Generative Adversarial Network) 방식의 인공지능은 원본과 만들어낸 영상 사이의 차이를 최소화하도록 영상을 생성해내도록 하는 인공지능 신경망으로, 기존의 CNN, RNN 방법들은 딥러닝이 한 개로 구현되는 반면에 GAN은 두 개의 딥러닝(생성자, 감별자)이 서로 경쟁하면 학습한다는 차이가 있다.The artificial intelligence of the Generative Adversarial Network (GAN) method is an artificial intelligence neural network that generates an image to minimize the difference between the original and the created image. While the existing CNN and RNN methods are implemented with one deep learning, GAN There is a difference in learning when two deep learning (producer and discriminator) compete with each other.
즉 생성자는 기존의 이미지를 조금씩 바꿔보고(랜덤 노이즈를 받아 훈련데이터와 비슷한 데이터를 생성) 구분자(감별자)는 지금까지 발전한 인식기술을 기반으로 기존데이터와 생성자데이터를 비교하여 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 만들어 낸다.In other words, the generator changes the existing image little by little (receives random noise to generate similar data to the training data), and the separator (differentiator) compares the existing data and the generator data based on the advanced recognition technology to compete between the two neural network models. They learn and produce results.
특히 대량의 데이터를 사람이 정제 해야하는 기존의 한계를 넘어 GAN은 사람이 도와주지 않아도 스스로 학습하는 과정을 거치여 유사한 영상을 대량으로 만들 수 있다.In particular, GAN can create a large amount of similar images by going through a process of self-learning without human help, beyond the existing limitations of requiring humans to refine a large amount of data.
이에 대응하여 상기 평균화부(134)는 상기 복제 영상을 취합하여 평균화한 제2보정영상을 생성하게 되며, 상기 선정부(135)는 상기 제1보정영상과 제2보정영상을 비교분석하여 스페클 패턴이 저감된 영상을 선정하여 출력함으로 사용자는 스페클 패턴이 저감된 깨끗한 영상을 통한 정확한 진단을 내릴 수 있다.In response, the averaging
즉 상기 평균화부(134)는 미세지연 조정 영상들 및 GAN 영상들을 평균화하여 각각 제2메모리(132) 및 제3메모리(141)에 저장한다.That is, the averaging
상기 GAN신경망부(140)는 기계학습부로서 고속 통신망의 구축에 따라 소프트웨어와 데이터를 인터넷과 연결된 중앙 컴퓨터에 저장함으로, 인터넷에 접속하기만 하면 언제 어디서든 데이터를 이용할 수 있도록 하는 취지의 구성으로 본 발명에서는 스페클 패턴을 저감하는 영상 처리 과정을 재학습할 수 있도록 구성되며, 제3메모리 및 GAN데이터베이스(142)와, 분석부(143)와, 학습부(144)와, 추천부(145)의 세부구성을 구비한다.The GAN
상기 제3메모리(141)는 GAN 평균 영상메모리와 임의의 GAN 다수영상을 저장하는 구성으로 원본 초음파 영상에 대응한 제2보정영상이 분류 및 저장되어 구축된다.The
상기 분석부(143)는 원본 초음파 영상을 대응되는 제1보정영상 및 제2보정영상과 비교하여 스페클 패턴 및 제거 패턴을 분석하여 가장 작은 스페클 패턴을 도출하여 스페클 사이즈가 어디가 가장 작은지 평가한다.The
상기 GAN데이터베이스(142)는 GAN 인공지능망 파라메터를 통해 구축되는 구성으로, GAN 학습을 위해 사용된다.The
상기 학습부(144)는 GAN 신경망 학습부로서 상기 영상구현부에서 생성된 신규 초음파 영상에 대하여 상기 분석부(143)를 통해 특정 스페클 패턴의 유사도가 설정치 이상으로 판정되는 영상에 설정된 파라미터를 수집/분류하여 상기 GAN데이터베이스(142)에 적용하는 구성이다.The
상기 추천부(145)는 원본영상과, 제1보정영상 및 제2보정영상 중 상기 분석부(143)를 통해 스페클 패턴이 가장 작은 것으로 분석된 영상을 추천하는 구성으로 원본영상, 미세지연에 따른 평균영상, GAN 학습에 따른 평균영상의 3가지 중 스페클 패턴이 축소된 영상을 추천하게 된다.The
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.The rights of the present invention are not limited to the embodiments described above, but are defined by what is described in the claims, and that a person having ordinary knowledge in the field of the present invention can make various modifications and adaptations within the scope of the rights described in the claims. It is self-evident.
110: 측정부 111: 수집부
112: 트랜스듀서 113: 제1메모리
114: 보간부 115: 빔포밍부
116: 기본영상메모리 120: 출력부
121: 제1데이터베이스 122: 영상구현부
130: 보정부 131: 신호가산부
132: 제2메모리 133: 영상생성부
134: 평균화부 135: 선정부
140: GAN신경망부 141: 제3메모리
142: GAN데이터베이스 143: 분석부
144: 학습부 145: 추천부110: measurement unit 111: collection unit
112: transducer 113: first memory
114: interpolation unit 115: beam forming unit
116: basic image memory 120: output
121: first database 122: image implementation unit
130: correction unit 131: signal addition unit
132: second memory 133: image generation unit
134: averaging unit 135: selection unit
140: GAN neural network 141: third memory
142: GAN database 143: analysis unit
144: Learning Department 145: Recommendation Department
Claims (5)
설정 또는 수집된 영상 파라미터가 분류 및 저장되어 구축된 제1데이터베이스(121)와, 수신된 채널 데이터로부터 상기 제1데이터베이스(121)에 저장된 영상 파라미터를 읽어 적용함으로 초음파 영상을 생성하는 영상구현부(122)를 구비하는 출력부(120);
상기 보간부(114)를 통해 채널별 설정된 범위의 임의의 지연시간을 인가하는 신호가산부(131)와, 상기 신호가산부(131)를 통해 생성된 N개의 초음파 영상을 저장하는 제2메모리(132)와, 상기 제2메모리(132)에 저장된 영상을 취합하여 평균화한 제1보정영상을 생성하는 평균화부(134)를 구비하는 보정부(130); 및
GAN신경망부(140);를 포함하고,
상기 보정부(130)는,
생성적 적대 신경망(GAN)을 적용하여 상기 영상구현부(122)에서 생성된 초음파 영상에 대한 복수의 복제 영상을 생성하는 영상생성부(133)를 더 포함하고,
상기 평균화부(134)는 상기 복제 영상을 취합하여 평균화한 제2보정영상을 생성하도록 구성되며,
상기 보정부(130)는 상기 제1보정영상과 제2보정영상을 비교분석하여 스페클 패턴이 저감된 영상을 제공하여 선정하는 선정부(135)를 더 포함하며,
상기 GAN신경망부(140)는,
원본 초음파 영상에 대응한 제2보정영상이 분류 및 저장되어 구축된 제3메모리(141);
GAN 인공지능망 파라메터를 통해 구축되는 GAN데이터베이스(142);
원본 초음파 영상을 대응되는 제1보정영상 및 제2보정영상과 비교하여 스페클 패턴 및 제거 패턴을 분석하여 가장 작은 스페클 패턴을 도출하는 분석부(143);
상기 영상구현부에서 생성된 신규 초음파 영상에 대하여 상기 분석부(143)를 통해 특정 스페클 패턴의 유사도가 설정치 이상으로 판정되는 영상에 설정된 파라미터를 수집/분류하여 상기 GAN데이터베이스(142)에 적용하는 학습부(144); 및
원본영상과, 제1보정영상 및 제2보정영상 중 상기 분석부(143)를 통해 스페클 패턴이 가장 작은 것으로 분석된 영상을 추천하는 추천부(145);를 포함하는 것을 특징으로 하는 초음파 진단 영상의 스페클 패턴 축소 시스템.After transmitting an ultrasound signal to an object, a collection unit 111 for acquiring channel data by having a transducer 112 correspondingly receiving an ultrasound signal reflected from the object, and the ultrasound RF collected by the collection unit 111 Beamforming according to a first memory 113 for storing a signal, an interpolation unit 114 for calculating and applying a time delay value among signals stored in the first memory 113, and a delay value according to the depth to be received. A measuring unit 110 including a beamforming unit 115 for performing the operation and a basic image memory 116 for storing an original image according to beamforming;
An image implementation unit that generates an ultrasound image by reading and applying the image parameters stored in the first database 121 from the first database 121, which is constructed by classifying and storing the set or collected image parameters, and received channel data ( An output unit 120 having 122;
A signal adding unit 131 for applying an arbitrary delay time in a range set for each channel through the interpolation unit 114, and a second memory storing N ultrasound images generated through the signal adding unit 131 ( A correction unit 130 including an averaging unit 134 for generating a first correction image obtained by collecting and averaging the images stored in the second memory 132; And
Including; GAN neural network unit 140;
The correction unit 130,
Further comprising an image generation unit 133 for generating a plurality of duplicate images of the ultrasound image generated by the image implementation unit 122 by applying a generative hostile neural network (GAN),
The averaging unit 134 is configured to generate a second correction image obtained by collecting and averaging the duplicate images,
The correction unit 130 further includes a selection unit 135 for comparing and analyzing the first and second correction images to provide and select an image with a reduced speckle pattern,
The GAN neural network unit 140,
A third memory 141 in which a second correction image corresponding to the original ultrasound image is classified and stored;
GAN database 142 built through GAN artificial intelligence network parameters;
An analysis unit 143 for comparing the original ultrasound image with the corresponding first and second correction images to analyze the speckle pattern and the removal pattern to derive the smallest speckle pattern;
With respect to the new ultrasound image generated by the image realization unit, the analysis unit 143 collects/classifies the parameters set in the image for which the similarity of the specific speckle pattern is determined to be greater than or equal to a set value, and applies it to the GAN database 142 Learning unit 144; And
Ultrasound diagnosis comprising: an original image, and a recommendation unit 145 for recommending an image analyzed as the smallest speckle pattern through the analysis unit 143 among the first and second correction images. A system for reducing the speckle pattern of an image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180171116A KR102175923B1 (en) | 2018-12-27 | 2018-12-27 | Speckle pattern reduction system for ultrasound diagnostic image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180171116A KR102175923B1 (en) | 2018-12-27 | 2018-12-27 | Speckle pattern reduction system for ultrasound diagnostic image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200081031A KR20200081031A (en) | 2020-07-07 |
KR102175923B1 true KR102175923B1 (en) | 2020-11-06 |
Family
ID=71603382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180171116A KR102175923B1 (en) | 2018-12-27 | 2018-12-27 | Speckle pattern reduction system for ultrasound diagnostic image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102175923B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101552427B1 (en) * | 2014-03-04 | 2015-09-11 | 대진대학교 산학협력단 | Speckle Reduction Apparatus In Ultrasound Imaging |
KR101771242B1 (en) | 2014-08-29 | 2017-08-24 | 서강대학교산학협력단 | High-speed parallel processing method of ultrasonics wave signal using smart device |
WO2018232388A1 (en) | 2017-06-16 | 2018-12-20 | Rensselaer Polytechnic Institute | Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050053305A1 (en) | 2003-09-10 | 2005-03-10 | Yadong Li | Systems and methods for implementing a speckle reduction filter |
KR20150066629A (en) * | 2013-12-06 | 2015-06-17 | 삼성전자주식회사 | Ultrasonic imaging apparatus and control method thereof |
-
2018
- 2018-12-27 KR KR1020180171116A patent/KR102175923B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101552427B1 (en) * | 2014-03-04 | 2015-09-11 | 대진대학교 산학협력단 | Speckle Reduction Apparatus In Ultrasound Imaging |
KR101771242B1 (en) | 2014-08-29 | 2017-08-24 | 서강대학교산학협력단 | High-speed parallel processing method of ultrasonics wave signal using smart device |
WO2018232388A1 (en) | 2017-06-16 | 2018-12-20 | Rensselaer Polytechnic Institute | Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks |
Non-Patent Citations (1)
Title |
---|
"Ultrasound speckle reduction using generative adversial networks". 2018 IEEE International Ultrasonic Symposium. Kobe, Japan, 22-25 Oct. 2018(2018.12.20.)* |
Also Published As
Publication number | Publication date |
---|---|
KR20200081031A (en) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5645628B2 (en) | Ultrasonic diagnostic equipment | |
KR101610874B1 (en) | Module for Processing Ultrasonic Signal Based on Spatial Coherence and Method for Processing Ultrasonic Signal | |
JP2006122683A (en) | Aperture shading estimation technique for reducing ultrasonic multi-line image distortion | |
KR20140143807A (en) | Systems and methods for improving ultrasound image quality by applying weighting factors | |
JP5589132B2 (en) | Ultrasonic diagnostic equipment | |
CN107303186A (en) | Frequency multiplexed in elastogram | |
JP4575737B2 (en) | Ultrasonic imaging device | |
JP6352050B2 (en) | Ultrasonic diagnostic equipment | |
Hemmsen et al. | Tissue harmonic synthetic aperture ultrasound imaging | |
EP3665475B1 (en) | Shear wave elastography with ultrasound probe oscillation | |
JP4874497B2 (en) | Wide beam imaging | |
EP3198301A1 (en) | Acoustic imaging method and device | |
JP6393824B2 (en) | Ultrasonic imaging apparatus and ultrasonic signal processing method | |
JP2021525619A (en) | Methods and systems for performing fetal weight estimation | |
KR20150010860A (en) | Ultrasonic imaging apparatus and control method for thereof | |
US20210096243A1 (en) | Methods and apparatus for configuring an ultrasound system with imaging parameter values | |
KR102175923B1 (en) | Speckle pattern reduction system for ultrasound diagnostic image | |
KR101980537B1 (en) | imaging processing unit, ultrasonic imaging apparatus and image processing method | |
JP6415852B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method | |
CN115245350A (en) | Ultrasonic imaging apparatus, signal processing apparatus, and signal processing method | |
KR20140132821A (en) | Ultrasonic imaging processing module, ultrasonic imaging apparatus and method of generating image | |
US11506771B2 (en) | System and methods for flash suppression in ultrasound imaging | |
KR101911149B1 (en) | Ultrasound system for plane wave imaging | |
JP2005245479A (en) | Ultrasonic diagnostic apparatus | |
CN108042158B (en) | Multi-focus ultrasonic image splicing method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |