KR102294194B1 - 관심영역의 시각화 장치 및 방법 - Google Patents

관심영역의 시각화 장치 및 방법 Download PDF

Info

Publication number
KR102294194B1
KR102294194B1 KR1020140100677A KR20140100677A KR102294194B1 KR 102294194 B1 KR102294194 B1 KR 102294194B1 KR 1020140100677 A KR1020140100677 A KR 1020140100677A KR 20140100677 A KR20140100677 A KR 20140100677A KR 102294194 B1 KR102294194 B1 KR 102294194B1
Authority
KR
South Korea
Prior art keywords
interest
region
item
current image
image
Prior art date
Application number
KR1020140100677A
Other languages
English (en)
Other versions
KR20160016460A (ko
Inventor
이기용
김원식
성영경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140100677A priority Critical patent/KR102294194B1/ko
Priority to US14/818,913 priority patent/US10169641B2/en
Publication of KR20160016460A publication Critical patent/KR20160016460A/ko
Application granted granted Critical
Publication of KR102294194B1 publication Critical patent/KR102294194B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

CAD 시스템에서 관심영역의 시각화 장치에 관한 것으로, 그 관심영역 시각화 장치는 영상을 순차적으로 수신하는 영상 수신부, 수신된 현재 영상에서 관심영역을 획득하는 관심영역 획득부 및 현재 영상에서 관심영역이 획득되면, 이전 영상 및 상기 현재 영상에서 획득된 관심영역 간의 변화에 기초하여 현재 영상의 관심영역을 시각화하는 시각 정보를 출력하는 관심영역 시각화부를 포함할 수 있다.

Description

관심영역의 시각화 장치 및 방법{APPARATUS AND METHOD FOR VISUALIZATION OF REGION OF INTEREST}
관심영역의 시각화 장치 및 방법에 관한 것으로, 컴퓨터 보조 진단(Computer Aided Diagnosis, CAD) 시스템에서 관심영역을 시각화하는 기술과 관련된다.
태아 초음파 검사, 복부 초음파 검사, 유방 초음파 검사 등의 일반적인 초음파 기기를 이용한 검진시에 피검진자가 검진자와 함께 검진 화면을 볼 수 있도록 지원하는 경우가 있다. 하지만, 일반적인 초음파 진단 기술은 피검진자에게 설명하기 위한 용도보다는 검진자가 정지 영상에 대해 관심영역의 크기 측정, 마킹 시각화 및 저장, 또는 주석(annotation) 표시 및 저장에 주로 초점을 맞추고 있어, 이와 같은 방식의 진단에서 피검진자는 검진자의 설명에 전적으로 의존해 검진 초음파 영상을 확인하게 된다. 이때, 피검진자는 초음파 영상에 익숙하지 않기 때문에 검진자의 구두 설명이 영상의 어느 부분에 해당하는지, 해당하는 부분이 어떤 특징이나 의미를 가지는지 파악하기가 쉽지 않다. 검진자 역시 피검진자가 부연설명을 요구하게 되면 피검진자가 변화를 감지할 수 있는 화면이 나타날 때까지 프로브를 이동하거나, 구두로 부연 설명을 하거나, 손이나 포인터로 화면 내의 영상을 가리키는 등의 추가적인 행동이 필요하게 된다.
컴퓨터 보조 진단 시스템에서 관심영역을 다양하게 시각화하는 장치 및 방법이 제시된다.
일 양상에 따르면, 관심영역의 시각화 장치는 영상을 순차적으로 수신하는 영상 수신부, 수신된 현재 영상에서 관심영역을 획득하는 관심영역 획득부 및 현재 영상에서 관심영역이 획득되면, 이전 영상 및 현재 영상에서 획득된 관심영역 간의 변화에 기초하여 상기 현재 영상의 관심영역을 시각화하는 시각 정보를 출력하는 관심영역 시각화부를 포함할 수 있다.
관심영역 획득부는 현재 영상에 검출 알고리즘을 적용하여 자동으로 하나 이상의 관심영역을 검출하는 관심영역 검출부를 포함할 수 있다.
관심영역 획득부는 사용자의 입력에 기초하여 현재 영상에서 하나 이상의 관심영역을 획득하는 사용자 입력부를 포함할 수 있다.
관심영역 시각화부는 현재 영상에서 관심영역이 획득되면, 획득된 관심영역에 관심항목의 존재 여부를 판정하는 관심영역 판정부 및 판정 결과 현재 영상의 관심영역에 관심항목이 존재하면, 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목인지를 판단하는 관심항목 판단부를 포함할 수 있다.
관심영역 판정부는 획득된 관심영역에서 모양, 밝기, 질감 및 주위 영역과의 상관관계 중의 하나 이상을 포함하는 특징점을 추출하고, 추출된 특징점을 이용해 상기 관심영역 내의 영상 패턴을 분류하여 상기 관심항목이 존재하는지를 판정할 수 있다.
관심항목 판단부는 순차적으로 수신된 영상이 연속적인 영상인 경우, 이전 영상과 현재 영상 간의 관심영역의 차이에 기초하여 기 검출된 관심항목인지를 판단할 수 있다.
관심항목 판단부는 순차적으로 수신된 영상이 비연속적인 영상인 경우, 이전 영상의 관심항목에 대하여 기 생성된 3D 오브젝트를 현재 영상의 관심항목과 매칭하여 기 검출된 관심항목인지를 판단할 수 있다.
관심영역 시각화부는 관심영역 판정부의 판정 결과 및 관심항목 판단부의 판단 결과에 기초하여 현재 영상의 관심영역에 대한 시각 정보를 출력하는 관심영역 출력부를 더 포함할 수 있다.
관심영역 출력부는 판정 결과 현재 영상의 관심영역에 관심항목이 존재하면, 그 관심항목의 수 및 크기 중의 적어도 하나에 기초하여 시각 정보를 조정하여 출력할 수 있다.
관심영역 출력부는 판정 결과 이전 영상에서 획득된 관심영역에 존재하는 관심항목이 현재 영상의 관심영역에 존재하지 않으면, 이전 영상의 관심영역에 대하여 출력된 시각 정보를 화면상에서 제거할 수 있다.
관심영역 출력부는 판단 결과 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목이면, 현재 영상의 관심영역을 시각화하는 시각 정보로서 이전 영상의 관심영역에 대한 시각 정보를 다시 출력할 수 있다.
관심영역 출력부는 판단 결과 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목이 아니면, 이전 영상의 관심영역에 대한 시각 정보와 구별되는 새로운 시각 정보를 출력할 수 있다.
이때, 시각 정보는 사각형, 원형, 자유 곡선 형태, 십자 형태 및 화살표 형태를 포함하는 제1 정보와, 색상, 선의 종류 및 선의 굵기를 포함하는 제2 정보를 조합하여 생성될 수 있다.
일 양상에 따르면, 관심영역의 시각화 방법은 영상을 순차적으로 수신하는 단계, 수신된 현재 영상에서 관심영역을 획득하는 단계 및 현재 영상에서 관심영역이 획득되면, 이전 영상 및 상기 현재 영상에서 획득된 관심영역 간의 변화에 기초하여 현재 영상의 관심영역을 시각화하는 시각 정보를 출력하는 단계를 포함할 수 있다.
관심영역을 획득하는 단계는 사용자의 입력을 기초로 하나 이상의 관심영역을 획득하거나, 현재 영상에 검출 알고리즘을 적용하여 자동으로 하나 이상의 관심영역을 검출할 수 있다.
또한, 관심영역의 시각화 방법은 현재 영상에서 관심영역이 획득되면, 획득된 관심영역에 관심항목의 존재 여부를 판정하는 단계 및 판정 결과 현재 영상의 관심영역에 관심항목이 존재하면, 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목인지를 판단하는 단계를 더 포함할 수 있다.
판단하는 단계는 순차적으로 수신된 영상이 연속적인 영상인 경우, 이전 영상과 현재 영상 간의 관심영역의 차이 정도에 기초하여 기 검출된 관심항목인지를 판단할 수 있다.
판단하는 단계는 순차적으로 수신된 영상이 비연속적인 영상인 경우, 이전 영상의 관심항목에 대하여 기 생성된 3D 오브젝트를 현재 영상의 관심항목과 매칭하여 기 검출된 관심항목인지를 판단할 수 있다.
시각 정보를 출력하는 단계는 판정 결과 현재 영상의 관심영역에 관심항목이 존재하면, 그 관심항목의 수 및 크기 중의 적어도 하나에 기초하여 시각 정보를 조정하여 출력할 수 있다.
시각 정보를 출력하는 단계는 판정 결과 이전 영상에서 획득된 관심영역에 존재한 관심항목이 현재 영상의 관심영역에 존재하지 않으면, 이전 영상의 관심영역에 대하여 출력된 시각 정보를 화면상에서 제거할 수 있다.
시각 정보를 출력하는 단계는 판단 결과 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목이면, 현재 영상의 관심영역을 시각화하는 시각 정보로서 이전 영상의 관심영역에 대한 시각 정보를 다시 출력할 수 있다.
시각 정보를 출력하는 단계는 판단 결과 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목이 아니면, 이전 영상의 관심영역에 대한 시각 정보와 구별되는 새로운 시각 정보를 출력할 수 있다.
컴퓨터 보조 진단 시스템에서 관심영역을 다양하게 시각화하여 사용자에게 제시함으로써 관심영역에 대하여 검진자와 피검진자 간의 원활한 커뮤니케이션을 지원할 수 있다.
도 1은 일 실시예에 따른 관심영역 시각화 장치의 블록도이다.
도 2는 도 1의 관심영역 획득부의 상세 블록도이다.
도 3은 도 1의 관심영역 시각화부의 상세 블록도이다.
도 4a 내지 도 4e는 관심영역 시각화의 실시예들이다.
도 5는 일 실시예에 따른 관심영역 시각화 방법의 흐름도이다.
도 6은 도 5의 관심영역 획득 단계의 상세 흐름도이다.
도 7은 도 5의 관심영역의 시각화 단계의 상세 흐름도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 관심영역의 시각화 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 관심영역 시각화 장치의 블록도이다. 관심영역 시각화 장치(100)는 순차적으로 영상을 입력받아 진단하는 컴퓨터 보조 진단(Computer Aided Diagnosis, CAD) 시스템의 일 구성으로서 적용될 수 있다. 일 실시예에 따르면, 관심영역 시각화 장치(100)는 아래에서 자세히 설명하는 바와 같이 프로브(Probe)를 통해 실시간으로 획득되는 초음파 영상을 분석 및 진단하는 컴퓨터 보조 진단(Computer Aided Diagnosis, CAD) 시스템에 적용될 수 있다. 하지만, 이에 제한되는 것은 아니다.
도 1을 참조하면, 관심영역 시각화 장치(100)는 영상 수신부(110), 관심영역 획득부(120), 관심영역 시각화부(130) 및 영상 출력부(140)를 포함한다.
영상 수신부(110)는 영상을 순차적으로 수신한다. 영상 수신부(110)는 영상 획득 장치로부터 피검진자의 검진 영역을 촬영한 영상을 실시간으로 수신할 수 있다. 이때, 영상 획득 장치는 복수개일 수 있으며, 프로브를 통해 측정된 피검진자의 신체 신호를 전기 신호화하고 영상으로 변환하는 초음파 검사 장치일 수 있다. 이때, 출력된 전기 신호는 시간에 따라 변화할 수 있으며, 영상 획득 장치는 시간에 따라 변화하는 전기 신호를 실시간으로 영상화하여 영상 수신부(110)에 전송할 수 있다. 또한, 일 실시예에 따르면 순차적으로 수신되는 영상은 프레임 단위의 실시간 입력 영상일 수 있다.
영상 출력부(140)는 영상 수신부(110)에 의해 수신되는 영상을 화면에 출력한다. 이때, 일 예에 따르면 영상 출력부(140)는 순차적으로 영상이 수신되면 현재 영상을 화면에 출력하고 이전 영상을 화면에서 제거할 수 있다. 또한, 다른 예에 따르면 영상 출력부(140)는 화면의 소정 영역에는 현재 영상을 출력하되, 화면의 다른 영역에는 이전 영상 중에서 사용자에 의해 지정되거나, 이하에서 설명하는 바와 같이 관심영역의 판정이나 관심항목의 판단 결과를 기초로 유지할 영상으로 지정되는 영상을 계속해서 출력할 수 있다. 이때, 수신된 영상의 분석을 통하여 진단 결과가 생성되면 그 진단 결과를 화면의 소정 영역에 출력할 수 있다. 이때, 진단 결과는 화면에 출력된 현재 영상에 중첩하여 출력하는 것이 가능하다.
관심영역 획득부(120)는 영상 수신부(110)가 영상을 순차적으로 수신하면, 수신되는 현재 영상에서 미리 설정된 기준에 따라 관심영역을 획득하고, 그 관심영역의 위치 및 크기를 계산할 수 있다. 이때, 관심영역은 병변, 태아, 태아의 손가락, 발가락 등 사용자가 관심을 가지고 있는 관심항목이 존재하거나 존재할 것으로 의심되는 영역을 의미한다. 이때, 관심항목은 진단 목적에 따라 미리 설정될 수 있다.
관심영역 시각화부(130)는 사용자의 입력 또는 자동 검출에 의해 획득되는 관심영역을 시각화하여 화면상에 출력한다. 관심영역 시각화부(130)는 사용자가 영상이 출력된 화면에서 관심영역을 지정하면, 그에 따라 미리 설정된 시각 정보를 화면상에 출력하여 사용자가 지정하는 관심영역을 시각화할 수 있다. 이때, 시각 정보는 사각형, 원형, 자유 곡선 형태, 십자 형태 및 화살표 형태를 포함하는 제1 정보와, 색상, 선의 종류 및 선의 굵기를 포함하는 제2 정보를 조합하여 미리 생성될 수 있다. 또한, 시각 정보는 각 관심항목의 종류, 관심항목의 최초 검출 여부 등에 따라 사용자의 입력에 의해 미리 조합되어 저장될 수 있다.
예를 들어, 사용자가 손가락이나 터치 펜 등을 이용하여 화면을 터치하면 그 중심에 십자 표시를 하거나 그 중심으로부터 소정 거리의 영역의 테두리에 사각형, 원형 등의 식별 표시를 하여 관심영역을 시각화할 수 있다. 또한, 사용자가 관심영역의 테두리를 그리는 동작을 수행하면, 그 동작에 응답하여 그 테두리에 식별 표시를 출력할 수 있다. 이때, 관심영역 시각화부(130)는 사용자가 미리 설정한 다양한 색깔, 선의 종류, 선의 굵기 등을 이용하여 식별 표시를 출력할 수 있다.
도 2는 도 1의 관심영역 획득부(120)의 상세 블록도이다.
도 2를 참조하면, 관심영역 획득부(120)는 사용자 입력부(121) 및 관심영역 검출부(122)를 포함할 수 있다.
사용자 입력부(121)는 사용자가 다양한 수단을 이용하여 입력하는 각종 정보를 수신한다. 이때, 다양한 수단은 프로브, 마우스, 터치펜, 손가락 등을 포함할 수 있다. 이때, 사용자 입력부(121)는 사용자 인터페이스를 제공할 수 있으며, 인터페이스를 통해 사용자로부터 각종 입력을 수신할 수 있다.
일 실시예로, 사용자 입력부(121)는 관심영역의 시각화에 필요한 각종 기준 정보를 사용자로부터 입력받아 설정할 수 있다. 예컨대, 사용자 입력부(121)는 관심영역을 획득하는 기준인 관심영역 획득 기준 및 자동 검출인 경우 적용할 검출 알고리즘 등을 입력받을 수 있다. 여기서, 관심영역 획득 기준은 검출 알고리즘을 이용하여 자동으로 검출하는 '자동 획득', 사용자의 입력에 기초하여 획득하는 '수동 획득'을 포함할 수 있다. 이때, 검출 알고리즘은 DPM(Deformable Parts Model)을 포함할 수 있다. 또한, 사용자 입력부(121)는 자동 검출인 경우 관심영역으로 획득하기 위한 관심항목 확률의 임계치, 화면에 출력할 관심영역의 최대 개수 정보를 포함할 수 있다.
또한, 사용자 입력부(121)는 획득된 관심영역을 시각화하기 위해 화면에 출력할 시각 정보를 입력받아 설정할 수 있다. 여기서, 사용자로부터 입력된 시각 정보는 전술한 바와 같이 사각형, 원형, 자유 곡선 형태, 십자 표시 등 그 식별 표시의 종류인 제1 정보와, 각 식별 표시의 색깔, 선의 종류, 선의 굵기 등 그 표시 방법인 제2 정보를 포함할 수 있다. 이를 통해, 사용자는 자신이 원하는 식별 표시나 표시 방법을 설정하고 변경할 수 있다.
다른 실시예로, 사용자 입력부(121)는 관심영역 획득 기준이 '수동 획득'이면 사용자의 입력을 수신하여 관심영역을 획득할 수 있다. 사용자가 화면에 출력된 현재 영상에서 관심항목이 존재할 것으로 의심되는 하나 이상의 영역을 지정하면, 그 영역의 위치, 크기 등을 계산하여 관심영역으로 획득할 수 있다. 이때, 사용자는 화면의 현재 영상을 확인하여 관심항목의 크기에 따라 적절한 크기로 관심영역을 지정할 수 있다. 즉, 사용자는 화면에서 관심영역의 테두리를 사각형, 원형 및 자유 곡선 형태 등으로 그리는 동작을 수행함으로써 관심영역을 지정할 수 있다. 또는, 사용자가 관심항목의 중심을 지정하면, 그 중심의 위치 정보를 자동으로 계산하여 미리 설정되는 크기의 영역을 관심영역으로 획득할 수 있다.
관심영역 검출부(122)는 관심영역 획득 기준이 '자동 획득'이면 영상이 수신될 때마다, 수신된 영상에 미리 설정된 검출 알고리즘을 적용하여 자동으로 관심영역을 검출할 수 있다. 이때, 관심영역 검출부(122)는 현재 영상에서 사용자의 관심항목을 하나 이상 검출하고, 복수의 관심항목이 검출되는 경우에는 검출된 각 관심항목에 대해 관심항목일 확률을 계산하고 그 확률이 미리 설정된 임계치(예: 50%) 이상인 관심항목을 포함하는 영역을 관심영역으로 획득할 수 있다. 이때, 화면에 출력할 관심영역의 최대 개수(예: 5개)를 미리 설정할 수 있으며, 미리 설정된 임계치(예: 50%) 이상인 관심영역이 그 최대 개수를 초과하는 경우에는 관심항목일 확률이 높은 순으로 최대 개수를 관심영역으로 획득할 수 있다.
한편, 사용자 입력부(121)는 관심영역 검출부(122)에 의해 검출된 관심영역 중에서 사용자의 입력을 기초로, 이후 수신되는 영상에서 지속적으로 추적할 최종 관심영역으로 획득할 수 있다. 이때, 사용자는 관심영역 검출부(122)에 의해 자동으로 검출된 관심영역의 시각 정보가 화면에 출력되면, 각 관심영역을 확인하여 자신이 원하는 관심항목이 존재하는 영역을 추적할 관심영역으로 선택할 수 있다.
도 3은 도 1의 관심영역 시각화부(130)의 상세 블록도이다.
도 3을 참조하면, 관심영역 시각화부(130)는 관심영역 판정부(131), 관심항목 판단부(132) 및 관심영역 출력부(133)를 포함할 수 있다.
관심영역 판정부(131)는 관심영역 획득부(120)에서 획득된 관심영역 내에 사용자의 관심항목이 존재하는지 판정한다. 관심영역 판정부(131)는 획득된 관심영역에서 특징점을 추출하고 추출된 특징점을 이용하여 관심영역 내의 영상 패턴을 분류하여 관심항목의 존재 여부를 판정할 수 있다. 이때, 특징점은 관심영역 내 영상의 모양, 밝기, 질감, 주위 영역과의 상관 관계 등을 포함할 수 있다.
일 실시예에 따르면, 관심영역 판정부(131)는 특징점 추출기 및 분류기(classifier)를 이용할 수 있다. 이때, 특징점 추출기 및 분류기는 소프트웨어 프로그램 또는 하드웨어 장치로서 하나 이상일 수 있으며, 관심영역 판정부(131)의 일 구성으로 탑재될 수 있다. 또는 별도의 하드웨어 장치 또는 일 실시예의 관심영역 시각화 장치(100)가 적용되는 컴퓨터 보조 진단 장치에 탑재될 수 있다.
특징점 추출기는 특징점을 숫자값으로 변환하여 출력한다. 출력된 특징점은 여러 개의 값을 갖는 특징점 벡터로 구성되고, 입력되는 영상에 따라 변화될 수 있다. 이때, 특징점 추출기는 판정의 속도를 높이기 위해 이전 영상과 현재 영상의 차이를 이용하여 차이가 있는 영역에서만 특징점을 추출할 수 있다. 또는 이전 영상에서 추출된 특징점을 그대로 사용하는 것도 가능하다.
분류기는 영상 데이터베이스에서 관심영역 내의 영상의 특징점들을 미리 추출하여 기계학습(Machine learning) 등을 이용하여 생성된 모듈일 수 있다. 분류기는 특징점 추출기가 추출한 관심영역 내의 영상 특징점 벡터값을 활용하여 관심영역 내의 영상 패턴을 분류한다. 이때, 영상 패턴은 관심항목이 병변일 경우 양성/악성 일 수 있으며, 그 밖의 관심항목의 종류와 진단 목적 등에 따라 다양한 종류의 패턴이 될 수 있다. 이때, 분류기는 복수개의 영상 패턴으로 분류할 수 있다.
다른 실시예에 따르면, 관심영역 판정부(131)는 유사 검색(similarity search) 방법을 이용하여 현재 영상과 유사한 영상을 검색하여 관심항목을 판정할 수도 있다.
관심항목 판단부(132)는 관심영역 판정부(131)에 의해 현재 영상에서 획득된 관심영역에 관심항목이 존재하는 것으로 판단되면, 관심항목의 추적을 위해 그 관심항목 중에서 이전 영상에서 기 검출된 관심항목이 존재하는지를 판단한다. 즉, 관심항목 판단부(132)는 수신된 현재의 영상에서 관심항목이 검출되고, 그 관심항목이 이전 영상에서부터 지속적으로 검출되는 관심항목이면 그 관심항목을 계속적으로 추적하며, 후술하는 관심영역 출력부(133)는 그 관심항목이 추적중임을 알 수 있도록 관심영역을 시각화한다.
이때, 일 실시예에 따르면, 관심영역 판단부(132)는 입력되는 영상의 변화 정도에 기초하여 현재 영상에서 검출된 관심항목이 기 검출된 관심항목인지를 판단할 수 있다. 예를 들어, 현재 영상과 이전 영상의 관심영역 간의 강도(intensity)의 차이, 히스토그램의 차이, 유사도, 관심항목의 위치나 각도 정보 등의 차이에 기초하여 관심항목의 동일 여부를 판단할 수 있다.
다른 예에 따르면, 관심영역 판단부(132)는 이전 영상으로부터 획득된 관심영역에 대하여 미리 생성된 3D 오브젝트와 현재 영상의 단면을 매칭하여 기 검출된 관심항목인지를 판단할 수 있다.
이때, 관심영역 판단부(132)는 수신되는 영상이 실시간으로 연속적으로 입력되는 영상인 경우 전술한 영상의 변화 정도에 기초하는 방법을 이용하고, 수신되는 영상이 비연속적인 영상인 경우 3D 오브젝트와의 매칭 방법을 이용하여 기 검출인지 여부를 판단할 수 있다.
한편, 관심항목 판단부(132)는 판단 결과 현재 영상의 관심영역에서 검출된 관심항목이 이전 영상에서 검출되지 않은 새로운 관심항목이면 그 관심항목의 정보를 처리할 수 있다. 예컨대, 새로 검출된 관심항목의 위치, 각도 정보 등을 메모리나 디스크의 저장 장치에 저장할 수 있다. 또한, 순차적으로 수신되는 영상에서 새로운 관심항목이 검출될 때마다 그 관심항목에 대하여 3D 모델링을 수행하여 3D 오브젝트를 생성할 수 있다.
관심영역 출력부(133)는 현재 영상에서 검출된 관심영역을 시각화하는 시각 정보를 현재 영상이 출력되어 있는 화면상에 출력한다. 즉, 관심영역 출력부(133)는 사용자의 입력이나 자동 검출에 의해 관심영역이 하나 이상 획득되면, 획득된 관심영역의 주위에 미리 설정된 다양한 시각 정보를 출력하여 사용자 및 피검진자가 쉽게 확인할 수 있도록 시각화할 수 있다. 이때, 관심영역이 복수이면 숫자나 색상 등을 상이하게 하여 서로 구분되도록 할 수 있다. 관심영역의 크기나 관심항목일 확률 순에 따라 출력되는 숫자의 순서나 색상이나 선의 진하기 등을 다르게 하는 것도 가능하다. 예컨대, 관심영역의 크기가 큰 순서로 차례대로 숫자를 1, 2, 3, …으로 붙이거나, 색깔을 빨간색, 주황색, 노랑색, 파란색 순으로 출력하고, 또는 선의 굵기를 점차적으로 가늘어지도록 할 수 있다. 마찬가지로, 관심항목일 확률이 큰 순서로 동일한 방식으로 출력할 수 있다.
또한, 관심영역 출력부(133)는 관심영역의 수동 획득에 따라 사용자가 화면에서 관심영역을 지정하는 동작을 수행하면, 그 동작에 응답하여 사용자가 화면상에서 지정하는 영역을 미리 설정된 형태 예컨대 사각형, 원형, 자유 곡선 등의 형태로 출력할 수 있다.
또한, 자동 검출에 의해 관심영역이 복수개 검출되면 그 검출된 복수개의 관심영역에 대한 시각 정보를 화면에 출력하고, 이후 사용자가 화면에 출력된 복수개의 관심영역 중에서 일부의 관심영역을 선택하면 그 선택된 관심영역이 분석 및 추적할 관심영역임을 나타내기 위해 다른 관심영역에 대하여 출력되어 있는 시각 정보를 제거할 수 있다. 또는, 선택된 관심영역에 대한 시각 정보를 다른 관심영역에 대하여 출력된 시각 정보와는 구별되도록 변경할 수 있다.
한편, 관심영역 출력부(133)는 관심영역 판정부(131)의 판정 결과 및 관심항목 판단부(132)의 판단 결과를 기초로 현재 영상에서 검출된 관심영역을 시각화하는 시각 정보를 출력할 수 있다.
일 예로, 관심영역 판정부(131)의 판정 결과 현재 영상에서 획득된 관심영역에 관심항목이 존재하면 그 관심항목의 수 및 크기를 기초로 출력할 시각 정보를 조정하여 출력할 수 있다. 즉, 전술한 바와 같이 관심항목이 복수이면 각각의 관심항목을 포함하는 관심영역에 대하여 서로 구별이 되도록 시각 정보를 출력할 수 있다. 또한, 각 관심영역의 크기가 관심항목의 크기에 비례하도록 출력될 시각 정보의 크기를 동적으로 조정하여 출력할 수 있다.
다른 예로, 관심항목 판단부(132)의 판단 결과 검출된 관심항목 중에서 이전 영상에서 기 검출된 관심항목이 존재하면, 기 검출된 관심항목에 대하여는 이전 영상에서 출력한 시각 정보를 다시 출력하여 사용자 및 피검진자에게 그 관심항목이 이전 영상에서부터 추적중임을 알려줄 수 있다. 이때, 기 검출되지 않은 새로운 관심항목에 대하여는 이전 영상에서 출력된 시각 정보와는 구별되도록 새로운 시각 정보를 출력함으로써 사용자 및 피검진자에게 새로운 관심항목이 검출되었음을 알려줄 수 있다.
이러한 실시예들에 따르면, 실시간으로 변화하는 초음파 영상에서 관심영역 및 관심항목의 존재, 기 검출된 관심항목인지 여부 등에 따라 현재 영상에서 관심영역의 시각 정보는 제거되거나 유지되고, 또는 이전 영상의 시각 정보와 구별되는 새로운 색상, 모양, 형태 등의 시각 정보로 출력되어 사용자 및 피검진자가 서로의 관심항목에 대해 쉽게 인지가 가능하여 검진시의 의사 소통이 보다 원활해질 수 있다.
도 4a 내지 도 4e는 도 1의 관심영역 시각화부(130)에 의해 수행되는 관심영역 시각화의 실시예들이다. 이하, (t) 시점은 현재 시점을 의미하고, (t-b) 시점은 현재 시점(t)로부터 b 시점 이전을 의미하며, (t-a) 시점은 현재 시점(t)으로부터 a 시점 이전을 의미하며, (t+b) 시점은 현재 시점(t)으로부터 b 시점 이후를 의미한다. 또한, 여기서 시점은 프레임 단위를 의미할 수 있다.
도 4a는 사용자의 관심항목이 병변이고 사용자의 입력에 기초하여 관심영역을 획득하는 관심영역 시각화의 일 실시예로서, (t-a) 시점에 수신된 영상(맨 위)에서 사용자가 관심항목 주위에 관심영역을 지정하면, 그에 따라 미리 설정된 사각형 박스(41)의 시각 정보를 출력한다. 이때, 출력된 사각형 박스(41)는 다양한 색상 중에서 사용자에 의해 미리 설정된 어느 색상, 예컨대 노란색으로 출력될 수 있다. 이후, 연속적으로 영상이 수신되고, (t) 시점에 수신된 영상(위에서 두 번째, 세 번째)에서 사용자의 관심항목이 사라지면, 위에서 세 번째와 같이 그 관심영역에 대해 출력되어 있는 시각 정보를 화면에서 제거한다. 이때, 위에서 두 번째와 같이 사각형 박스(41)의 모양을 변경하거나, 출력된 색을 점차 흐리게 하거나, 선의 종류를 변경하여 그 사각형 박스(61)가 바로 사라지지 않고 점차적으로 사라지는 것처럼 보이도록 할 수 있다. 이후, 영상이 계속 수신되다 (t+b) 시점의 영상(맨 아래)에서 다시 (t-a) 시점에서 사용자가 지정한 관심항목이 다시 검출되면 (t-a) 시점에 출력한 사각형 박스(41)를 다시 출력한다.
도 4b는 사용자의 관심항목이 병변이고 자동 검출에 의해 관심영역을 획득하는 관심영역 시각화의 다른 실시예로서, (t) 시점의 영상이 수신되면(맨 위), 자동 검출을 통하여 관심영역을 검출하고, 그 결과 3개의 관심영역이 획득되면 각각의 관심영역에 대하여 사각형 박스(51,52,53)를 화면에 출력한다(위에서 두번째). 이때, 각 사각형 박스(51,52,53)는 관심항목의 크기에 따라 그 크기가 결정될 수 있으며, 각각 동일한 색상이나 선, 또는 서로 구별되는 색상이나 선을 사용하여 출력될 수 있다. 이후, 사용자가 어느 하나의 사각형 박스(53)를 선택하면, 그 사각형 박스(53)는 색상이나 선의 종류 등을 변경하여 사용자가 최종 선택한 관심영역임을 표시할 수 있으며(위에서 세번째), 사용자가 선택하지 않은 관심영역에 대하여 출력된 사각형 박스(51,52)를 화면에서 제거한다(맨 아래).
도 4c는 사용자의 관심항목이 병변이고 사용자의 입력에 따라 관심영역을 획득하는 관심영역 시각화의 또 다른 실시예이다. (t-b) 시점의 영상이 수신되어 화면에 출력되고(맨 위), 사용자가 관심항목으로 의심되는 위치를 터치하면, 그 위치를 중심으로 점선의 사각형 박스(61)를 출력할 수 있다(위에서 두번째). 이후, 사용자에 의해 지정된 영역이 최종적으로 관심영역으로 획득되었음을 표시하기 위해 점선의 사각형 박스(61)는 다른 선의 종류나 색상으로 변경되어 잠시동안 유지되다 사라질 수 있다(위에서 세번째). 이후, 계속해서 영상이 수신되고 진단이 진행되다(맨 아래 우측), 현재 시점(t)의 영상에서 지정된 관심영역 내에 처음으로 관심항목이 나타나면 그 관심항목의 주위에 사각형 박스(62)를 출력한다(맨 아래 좌측). 이때, 그 사각형 박스(62)의 크기는 나타난 관심항목의 크기에 비례하여 동적으로 조정될 수 있다.
도 4d는 사용자의 관심항목이 태아의 손가락과 발가락으로서 수신된 영상에서 사용자가 관심영역을 지정하는 관심영역 시각화의 또 다른 실시예이다. 마찬가지로 (t-a) 시점에 복부 초음파 영상이 수신되어 출력되고(우측 위), 그 영상에서 사용자가 태아가 위치하는 영역을 관심영역으로 지정하면 점선의 사각형 박스(71)를 출력한다(우측 아래). 이후, 수신되는 영상에서 사각형 박스(71)는 사라지고 영상의 진단은 진행되며, (t) 시점의 현재 영상에서 태아의 손가락과 발가락이 발견되면 각각 서로 다른 색의 화살표(72,73)를 출력한다(좌측 아래). 이후, 수신되는 영상에서 관심항목이 계속 발견되면 그 관심항목에 대하여 (t) 시점에서 출력된 화살표(72,73)는 계속해서 출력된다(좌측 위). 이때, 실시간으로 수신되는 영상에서 화살표의 위치, 크기는 관심항목의 위치 및 크기에 따라 변경될 수 있으며, 영상에서 관심항목이 사라지거나 나타나면 그에 따라 화살표(72,73)도 사라지거나 나타날 수 있다.
도 4e는 동일한 검진 영역에 대하여 프로브의 스캔 방향을 변경하여 초음파 영상을 획득하는 관심영역 시각화의 또 다른 실시예이다. 상단은 사용자가 검진 영역을 위에서 아래로 스캔하면서 진단을 수행하는 과정으로서, 먼저, 사용자가 관심영역을 설정하고(①), 프로브를 검진 영역의 위에서 아래로 스캔하면서(②), 관심영역을 추적하고(③), 관심영역의 추적이 종료되면, 검출된 관심항목의 위치나 크기 등의 정보를 저장하며, 관심항목의 3D 모델링을 수행하여 관심항목에 대한 3D 오브젝트를 생성한다(④). 즉, 이전 영상의 관심영역 내의 관심항목이 최초로 검출된 시점부터 관심항목을 지속적으로 추적하고, 볼륨 정보를 렌더링하여 3D 오브젝트를 구성할 수 있다.
하단은 그 이후에 사용자가 동일한 검진 영역에 대하여 좌에서 우로 스캔하면서 진단을 수행하는 것으로서, 사용자가 프로브를 검진 영역의 좌에서 우로 이동하면서 실시간 영상을 획득하고(①), 상단의 기 검출된 관심항목의 특정 임계 거리 내의 위치에서 관심항목이 발견되면, 기 검출된 관심항목에 대하여 미리 생성된 3D 오브젝트와 매칭을 수행하여 발견된 관심항목이 기 검출된 관심항목인지를 판단한다(②). 판단 결과 기존 관심항목과 동일하거나 유사하면 기 검출항목임을 나타내기 위하여 그 관심항목에 대해 기존에 출력한 시각 정보를 다시 출력하고, 관심항목을 추적할 수 있다(③).
도 5는 일 실시예에 따른 관심영역 시각화 방법의 흐름도이다. 도 6은 도 5의 관심영역 획득 단계의 상세 흐름도이다. 도 7은 도 5의 관심영역의 시각화 단계의 상세 흐름도이다.
도 5 내지 도 7은 도 1의 실시예에 따른 관심영역의 시각화 장치(100)에 의해 수행되는 관심영역 시각화 방법의 일 실시예일 수 있다. 앞에서 다양한 실시예들을 자세하게 설명하였으므로 이하 상세한 설명은 생략하기로 한다.
먼저, 관심영역 시각화 장치는 영상을 순차적으로 수신한다(310). 이때, 순차적으로 수신되는 영상은 프로브를 통해 실시간으로 획득되는 프레임 단위의 초음파 영상일 수 있다.
그 다음, 수신된 현재의 영상에서 관심영역을 획득한다(320). 이때, 관심영역은 자동 검출이나 사용자의 입력에 기초하여 수동으로 획득할 수 있다.
도 6을 참조하여, 관심영역을 획득하는 단계(320)를 좀 더 구체적으로 설명하면, 먼저, 미리 설정된 관심영역의 획득 조건을 확인한다(321). 관심영역 획득 조건은 사용자에 의해 미리 설정될 수 있으며, 자동 검출 및 수동 검출을 포함할 수 있다. 이때, 자동 검출인 경우 그 검출 알고리즘을 설정할 수 있으며, 관심영역으로 검출될 관심항목의 확률 임계치, 최대 출력 개수 등의 정보를 설정할 수 있다.
그 다음, 확인 결과(321) 미리 설정되어 있는 관심영역 획득 조건이 자동 검출이면 수신된 현재의 영상에 검출 알고리즘을 적용하여 자동으로 하나 이상의 관심영역을 검출한다(322). 하나 이상 검출된 관심영역은 이후 설명하는 바와 같이 다양한 시각 정보로서 화면상에 출력되어 사용자에게 제시된다.
이후, 사용자가 화면상에 출력된 관심영역의 시각 정보를 확인하고 그 중에서 사용자가 원하는 관심영역을 선택하는 정보를 입력하면(323), 그 사용자의 입력에 따라 선택된 관심영역을 최종 추적할 관심영역으로 획득할 수 있다(324). 이때, 사용자가 특별한 입력을 하지 않거나 검출된 모든 관심영역을 선택하는 입력을 수행하면 자동 검출에 의해 검출된 관심영역을 최종 진단하고 추적할 관심영역으로 획득할 수 있다.
만약, 확인 결과(321) 관심영역 획득 조건이 수동 검출이면, 사용자의 입력을 기다린다. 사용자가 현재 영상에서 관심항목을 확인한 후 관심영역을 지정하면(323), 사용자가 지정한 관심영역을 진단 및 추적할 관심영역으로 획득한다(324). 이때, 사용자는 다양한 입력 수단을 이용하여 관심영역을 지정할 수 있으며, 예컨대, 관심항목이 존재하는 것으로 의심되는 부위의 중심을 터치하거나, 사각형이나 원형, 자유 곡선 등으로 직접 관심영역을 지정할 수 있다.
다시 도 5를 참조하면, 수신된 현재의 영상에서 관심영역이 획득되면, 관심영역을 시각화한다(330). 사용자의 입력 또는 자동 검출에 의해 관심영역이 획득되면 그 관심영역을 시각화하기 위해 다양한 색상, 선의 종류 및 굵기 등으로 이루어진 사각형, 원형, 자유 곡선, 화살표, 십자 등의 시각 정보를 그 관심영역의 테두리에 출력할 수 있다.
도 7을 참조하여, 관심영역 시각화 단계(330)를 좀 더 구체적으로 설명하면, 현재 영상에서 관심항목을 판정한다(331). 판정 결과(332) 관심영역에 사용자의 관심항목이 존재하지 않으면, 다음 수신되는 영상에서 관심영역을 판정한다(331). 이때, 현재 영상에서 특징점을 추출하고, 추출된 특징점을 이용하여 영상 패턴을 분류함으로써 관심영역을 판정할 수 있다.
판정 결과(332) 관심영역에 사용자의 관심항목이 존재하면, 그 관심항목이 이전 영상에서 기 검출된 관심항목인지를 판단한다(333). 이때, 수신되는 영상이 실시간으로 연속적으로 입력되는 영상이면, 이전 영상과 현재 영상에서 관심영역 영상의 변화에 기초하여 기존에 검출된 관심항목인지를 판단할수 있다. 또는, 수신되는 영상이 동일 검진 영역에 대하여 다른 방향에서 스캔한 비연속적이지 않은 영상이면, 이전 영상에서 관심항목에 대해 기 생성된 3D 오브젝트를 현재 영상의 관심항목과 매칭하여 판단할 수 있다.
판단 결과(333), 기 검출된 관심항목이 아니면 관심항목의 정보를 처리할 수 있다(334). 예컨대, 새로 검출된 관심항목의 위치나 크기 등의 정보를 저장 장치에 기록하여 관리하고, 그 관심항목을 3D 모델링하여 3D 오브젝트를 생성할 수 있다. 또한, 새로 검출된 관심항목 또는 그 관심항목을 포함하는 관심영역에 새로운 시각 정보를 출력하여 사용자에게 새로운 관심항목이 검출되었음을 알려줄 수 있다(335).
만약, 판단 결과(333) 기 검출된 관심항목이면, 현재 영상의 관심영역에 대하여 이전 영상에서 출력된 시각 정보를 다시 출력할 수 있다(336).
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 관심영역 시각화 장치 110: 영상 수신부
120: 관심영역 획득부 121: 사용자 입력부
122: 관심영역 검출부 130: 관심영역 시각화부
131: 관심영역 판정부 132: 관심항목 판단부
133: 관심영역 출력부

Claims (22)

  1. 영상을 순차적으로 수신하는 영상 수신부;
    수신된 현재 영상에서 관심영역을 획득하는 관심영역 획득부; 및
    상기 현재 영상에서 관심영역이 획득되면, 이전 영상 및 상기 현재 영상에서 획득된 관심영역 간의 변화에 기초하여 상기 현재 영상의 관심영역을 시각화하는 시각 정보를 출력하는 관심영역 시각화부를 포함하고,
    상기 관심영역 시각화부는
    상기 현재 영상에서 관심영역이 획득되면, 획득된 관심영역에 관심항목의 존재 여부를 판정하는 관심영역 판정부; 및
    상기 판정 결과 상기 현재 영상의 관심영역에 관심항목이 존재하면, 상기 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목인지를 판단하는 관심항목 판단부를 포함하는 관심영역의 시각화 장치.
  2. 제1항에 있어서,
    상기 관심영역 획득부는
    상기 현재 영상에 검출 알고리즘을 적용하여 자동으로 하나 이상의 관심영역을 검출하는 관심영역 검출부를 포함하는 관심영역의 시각화 장치.
  3. 제1항에 있어서,
    상기 관심영역 획득부는
    사용자의 입력에 기초하여 상기 현재 영상에서 하나 이상의 관심영역을 획득하는 사용자 입력부를 포함하는 관심영역의 시각화 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 관심영역 판정부는
    상기 획득된 관심영역에서 모양, 밝기, 질감 및 주위 영역과의 상관관계 중의 하나 이상을 포함하는 특징점을 추출하고, 상기 추출된 특징점을 이용해 상기 관심영역 내의 영상 패턴을 분류하여 상기 관심항목이 존재하는지를 판정하는 관심영역의 시각화 장치.
  6. 제1항에 있어서,
    상기 관심항목 판단부는
    상기 순차적으로 수신된 영상이 연속적인 영상인 경우, 이전 영상과 현재 영상 간의 관심영역의 차이에 기초하여 상기 기 검출된 관심항목인지를 판단하는 관심영역의 시각화 장치.
  7. 제1항에 있어서,
    상기 관심항목 판단부는
    상기 순차적으로 수신된 영상이 비연속적인 영상인 경우, 이전 영상의 관심항목에 대하여 기 생성된 3D 오브젝트를 상기 현재 영상의 관심항목과 매칭하여 상기 기 검출된 관심항목인지를 판단하는 관심영역의 시각화 장치.
  8. 제1항에 있어서,
    상기 관심영역 시각화부는
    상기 관심영역 판정부의 판정 결과 및 관심항목 판단부의 판단 결과에 기초하여 상기 현재 영상의 관심영역에 대한 시각 정보를 출력하는 관심영역 출력부를 더 포함하는 관심영역의 시각화 장치.
  9. 제8항에 있어서,
    상기 관심영역 출력부는
    상기 판정 결과 현재 영상의 관심영역에 관심항목이 존재하면, 그 관심항목의 수 및 크기 중의 적어도 하나에 기초하여 상기 시각 정보를 조정하여 출력하는 관심영역의 시각화 장치.
  10. 제8항에 있어서,
    상기 관심영역 출력부는
    상기 판정 결과 상기 이전 영상에서 획득된 관심영역에 존재하는 관심항목이 상기 현재 영상의 관심영역에 존재하지 않으면, 상기 이전 영상의 관심영역에 대하여 출력된 시각 정보를 화면상에서 제거하는 관심영역의 시각화 장치.
  11. 제8항에 있어서,
    상기 관심영역 출력부는
    상기 판단 결과 상기 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목이면, 상기 현재 영상의 관심영역을 시각화하는 시각 정보로서 상기 이전 영상의 관심영역에 대한 시각 정보를 다시 출력하는 관심영역의 시각화 장치.
  12. 제8항에 있어서,
    상기 관심영역 출력부는
    상기 판단 결과 상기 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목이 아니면, 상기 이전 영상의 관심영역에 대한 시각 정보와 구별되는 새로운 시각 정보를 출력하는 관심영역의 시각화 장치.
  13. 제1항에 있어서,
    상기 시각 정보는
    사각형, 원형, 자유 곡선 형태, 십자 형태 및 화살표 형태를 포함하는 제1 정보와, 색상, 선의 종류 및 선의 굵기를 포함하는 제2 정보를 조합하여 생성되는 관심영역의 시각화 장치.
  14. 영상을 순차적으로 수신하는 단계;
    수신된 현재 영상에서 관심영역을 획득하는 단계;
    상기 현재 영상에서 관심영역이 획득되면, 이전 영상 및 상기 현재 영상에서 획득된 관심영역 간의 변화에 기초하여 상기 현재 영상의 관심영역을 시각화하는 시각 정보를 출력하는 단계;
    상기 현재 영상에서 관심영역이 획득되면, 획득된 관심영역에 관심항목의 존재 여부를 판정하는 단계; 및
    상기 판정 결과 현재 영상의 관심영역에 관심항목이 존재하면, 상기 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목인지를 판단하는 단계를 포함하는 관심영역의 시각화 방법.
  15. 제14항에 있어서,
    상기 관심영역을 획득하는 단계는
    사용자의 입력을 기초로 하나 이상의 관심영역을 획득하거나, 상기 현재 영상에 검출 알고리즘을 적용하여 자동으로 하나 이상의 관심영역을 검출하는 관심영역의 시각화 방법.
  16. 삭제
  17. 제14항에 있어서,
    상기 판단하는 단계는
    순차적으로 수신된 영상이 연속적인 영상인 경우, 이전 영상과 현재 영상 간의 관심영역의 차이 정도에 기초하여 상기 기 검출된 관심항목인지를 판단하는 관심영역의 시각화 방법.
  18. 제14항에 있어서,
    상기 판단하는 단계는
    순차적으로 수신된 영상이 비연속적인 영상인 경우, 이전 영상의 관심항목에 대하여 기 생성된 3D 오브젝트를 상기 현재 영상의 관심항목과 매칭하여 상기 기 검출된 관심항목인지를 판단하는 관심영역의 시각화 방법.
  19. 제14항에 있어서,
    상기 시각 정보를 출력하는 단계는
    상기 판정 결과 현재 영상의 관심영역에 관심항목이 존재하면, 그 관심항목의 수 및 크기 중의 적어도 하나에 기초하여 상기 시각 정보를 조정하여 출력하는 관심영역의 시각화 방법.
  20. 제14항에 있어서,
    상기 시각 정보를 출력하는 단계는
    상기 판정 결과 상기 이전 영상에서 획득된 관심영역에 존재한 관심항목이 상기 현재 영상의 관심영역에 존재하지 않으면, 상기 이전 영상의 관심영역에 대하여 출력된 시각 정보를 화면상에서 제거하는 관심영역의 시각화 방법.
  21. 제14항에 있어서,
    상기 시각 정보를 출력하는 단계는
    상기 판단 결과 상기 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목이면, 상기 현재 영상의 관심영역을 시각화하는 시각 정보로서 상기 이전 영상의 관심영역에 대한 시각 정보를 다시 출력하는 관심영역의 시각화 방법.
  22. 제14항에 있어서,
    상기 시각 정보를 출력하는 단계는
    상기 판단 결과 상기 현재 영상의 관심항목이 이전 영상에서 기 검출된 관심항목이 아니면, 상기 이전 영상의 관심영역에 대한 시각 정보와 구별되는 새로운 시각 정보를 출력하는 관심영역의 시각화 방법.
KR1020140100677A 2014-08-05 2014-08-05 관심영역의 시각화 장치 및 방법 KR102294194B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140100677A KR102294194B1 (ko) 2014-08-05 2014-08-05 관심영역의 시각화 장치 및 방법
US14/818,913 US10169641B2 (en) 2014-08-05 2015-08-05 Apparatus and method for visualization of region of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140100677A KR102294194B1 (ko) 2014-08-05 2014-08-05 관심영역의 시각화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160016460A KR20160016460A (ko) 2016-02-15
KR102294194B1 true KR102294194B1 (ko) 2021-08-26

Family

ID=55267779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140100677A KR102294194B1 (ko) 2014-08-05 2014-08-05 관심영역의 시각화 장치 및 방법

Country Status (2)

Country Link
US (1) US10169641B2 (ko)
KR (1) KR102294194B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10251621B2 (en) 2010-07-19 2019-04-09 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
US9439621B2 (en) 2009-11-27 2016-09-13 Qview, Medical Inc Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images
US10603007B2 (en) 2009-11-27 2020-03-31 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
US9826958B2 (en) 2009-11-27 2017-11-28 QView, INC Automated detection of suspected abnormalities in ultrasound breast images
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
EP3422953B1 (en) * 2016-03-01 2022-05-11 Koninklijke Philips N.V. Automated ultrasonic measurement of nuchal fold translucency
KR102591371B1 (ko) * 2017-12-28 2023-10-19 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
CN112367921A (zh) * 2018-07-02 2021-02-12 富士胶片株式会社 声波诊断装置及声波诊断装置的控制方法
KR102257998B1 (ko) * 2019-02-20 2021-05-31 한양대학교 에리카산학협력단 세포 계수 장치 및 방법
KR102223475B1 (ko) * 2019-04-05 2021-03-08 오스템임플란트 주식회사 다중 파노라믹 영상 표시방법 및 이를 위한 영상 표시장치
TWI711007B (zh) * 2019-05-02 2020-11-21 緯創資通股份有限公司 調整感興趣區域的方法與其運算裝置
CN211884905U (zh) 2019-08-22 2020-11-10 贝克顿·迪金森公司 球囊扩张导管及其球囊
KR20210098243A (ko) 2020-01-31 2021-08-10 삼성메디슨 주식회사 초음파 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램
KR102428102B1 (ko) * 2020-08-18 2022-08-04 오스템임플란트 주식회사 보철물 설계 과정에서의 객체 선택 방법 및 이를 위한 덴탈 캐드 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017724A (ja) 2000-07-05 2002-01-22 Aloka Co Ltd 超音波診断装置
JP2003250804A (ja) * 2002-03-05 2003-09-09 Toshiba Corp 画像処理装置及び超音波診断装置
US20040143189A1 (en) * 2003-01-16 2004-07-22 Peter Lysyansky Method and apparatus for quantitative myocardial assessment
US20050113961A1 (en) 2003-11-26 2005-05-26 Sabol John M. Image temporal change detection and display method and apparatus
JP2008212680A (ja) 2007-03-06 2008-09-18 General Electric Co <Ge> 超音波画像内の所定の点を追跡するための方法及び装置
US20110152687A1 (en) 2008-08-29 2011-06-23 Takashi Iimura Ultrasonic diagnostic apparatus

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072501B2 (en) 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US6589176B2 (en) 2001-12-05 2003-07-08 Koninklijke Philips Electronics N.V. Ultrasonic image stabilization system and method
DE10247299A1 (de) * 2002-10-10 2004-04-22 Philips Intellectual Property & Standards Gmbh Bildverarbeitungseinheit und Verfahren für die Zuordnung von gespeicherten zu aktuellen Aufnahmen
CN100591280C (zh) 2004-10-08 2010-02-24 皇家飞利浦电子股份有限公司 带有身体标记注释的超声波成像系统
CN101141920B (zh) * 2005-03-15 2011-12-14 株式会社东芝 超声波诊断装置及其控制方法
US8570359B2 (en) 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
US8345101B2 (en) 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
JP5478328B2 (ja) * 2009-09-30 2014-04-23 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
CN102274042B (zh) * 2010-06-08 2013-09-04 深圳迈瑞生物医疗电子股份有限公司 图像配准方法、宽景成像方法、超声成像方法及其系统
GB201009725D0 (en) * 2010-06-11 2010-07-21 Univ Leuven Kath Method of quantifying local bone loss
US20150293026A1 (en) * 2010-10-15 2015-10-15 Dong-Guk Shin Automated system for tissue histomorphometry
JP5294340B2 (ja) * 2010-10-27 2013-09-18 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
US9142042B2 (en) * 2011-09-13 2015-09-22 University Of Utah Research Foundation Methods and systems to produce continuous trajectories from discrete anatomical shapes
BR112014013445A8 (pt) * 2011-12-07 2021-03-09 Koninklijke Philips Nv aparelho de processamento de imagem, estação de trabalho ou aparelho de formação de imagem, método, e produto de programa de computador
KR101534088B1 (ko) * 2012-10-12 2015-07-24 삼성메디슨 주식회사 도플러 데이터를 이용한 초음파 영상 표시 방법 및 초음파 의료 장치
EP2908731B1 (en) * 2012-10-18 2023-11-08 Koninklijke Philips N.V. Ultrasound data visualization apparatus
KR20140089049A (ko) * 2013-01-02 2014-07-14 삼성전자주식회사 3ｄ 초음파 영상 분석 지원 장치 및 방법
JP6530371B2 (ja) * 2013-03-28 2019-06-12 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． インタラクティブな経過観察の可視化
WO2015013632A1 (en) * 2013-07-26 2015-01-29 The Regents Of The University Of Michigan Automated measurement of changes in retinal, retinal pigment epithelial, or choroidal disease
US9760989B2 (en) * 2014-05-15 2017-09-12 Vida Diagnostics, Inc. Visualization and quantification of lung disease utilizing image registration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017724A (ja) 2000-07-05 2002-01-22 Aloka Co Ltd 超音波診断装置
JP2003250804A (ja) * 2002-03-05 2003-09-09 Toshiba Corp 画像処理装置及び超音波診断装置
US20040143189A1 (en) * 2003-01-16 2004-07-22 Peter Lysyansky Method and apparatus for quantitative myocardial assessment
US20050113961A1 (en) 2003-11-26 2005-05-26 Sabol John M. Image temporal change detection and display method and apparatus
JP2008212680A (ja) 2007-03-06 2008-09-18 General Electric Co <Ge> 超音波画像内の所定の点を追跡するための方法及び装置
US20110152687A1 (en) 2008-08-29 2011-06-23 Takashi Iimura Ultrasonic diagnostic apparatus

Also Published As

Publication number Publication date
US10169641B2 (en) 2019-01-01
US20160042525A1 (en) 2016-02-11
KR20160016460A (ko) 2016-02-15

Similar Documents

Publication Publication Date Title
KR102294194B1 (ko) 관심영역의 시각화 장치 및 방법
KR102294193B1 (ko) 프로브 속도에 기초한 컴퓨터 보조 진단 지원 장치 및 방법
US9773305B2 (en) Lesion diagnosis apparatus and method
KR102043130B1 (ko) 컴퓨터 보조 진단 방법 및 장치
US8270688B2 (en) Method for intelligent qualitative and quantitative analysis assisting digital or digitized radiography softcopy reading
KR20160012758A (ko) 영상 진단 보조 장치 및 방법
EP2911111A2 (en) Apparatus and method for lesion detection
US10691947B2 (en) Monitoring device
KR20160020917A (ko) 컴퓨터 보조 진단 장치 및 방법
US9672628B2 (en) Method for partitioning area, and inspection device
US20140018681A1 (en) Ultrasound imaging breast tumor detection and diagnostic system and method
KR20160032586A (ko) 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
JP2014133133A (ja) 病変診断装置及び方法
KR20160071241A (ko) 컴퓨터 보조 진단 장치 및 방법
KR102314650B1 (ko) 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법
KR20140093359A (ko) 사용자 인터랙션 기반의 영상 세그멘테이션 장치 및 방법
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
KR20160012038A (ko) 비교영상을 제시하는 관심영역의 진단 지원 장치 및 방법
US20160370865A1 (en) Operation Input Device, Operation Input Method, and Program
KR20200068880A (ko) 침 시술 가이드 기능을 가진 초음파 영상 기기
KR20160020918A (ko) 적응형 컴퓨터 보조 진단 장치 및 방법
JP2016112024A (ja) 情報処理装置の制御方法および画像処理方法
KR102182134B1 (ko) 마커를 이용하는 니들 시술 가이드 기능을 가진 초음파 영상 기기
JP2024516814A (ja) 超音波画像における血管の表示
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right