KR101830512B1 - Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템 - Google Patents

Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템 Download PDF

Info

Publication number
KR101830512B1
KR101830512B1 KR1020160086823A KR20160086823A KR101830512B1 KR 101830512 B1 KR101830512 B1 KR 101830512B1 KR 1020160086823 A KR1020160086823 A KR 1020160086823A KR 20160086823 A KR20160086823 A KR 20160086823A KR 101830512 B1 KR101830512 B1 KR 101830512B1
Authority
KR
South Korea
Prior art keywords
segmentation
image
technique
segmentation technique
updated
Prior art date
Application number
KR1020160086823A
Other languages
English (en)
Other versions
KR20180006120A (ko
Inventor
조충상
이영한
신화선
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160086823A priority Critical patent/KR101830512B1/ko
Publication of KR20180006120A publication Critical patent/KR20180006120A/ko
Application granted granted Critical
Publication of KR101830512B1 publication Critical patent/KR101830512B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

DL과 PDE을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 영상 세그먼테이션 방법은, 영상을 제1 세그먼테이션 기법에 따라 분할하고, 분할 결과를 참조하여 영상을 제2 세그먼테이션 기법에 따라 분할한다. 이에 의해, 이종의 영상 세그먼테이션 기법들을 복합적으로 적용하여 최적화함으로써, 영상 세그먼테이션의 정밀도와 안정도를 향상시킴과 동시에 복잡도를 저감시킬 수 있게 된다.

Description

DL과 PDE을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템{Optimized Image Segmentation Methods and System with DL and PDE}
본 발명은 영상 세그먼테이션 기술에 관한 것으로, 더욱 상세하게는 영상에서 관심 영역을 분할하는 영상 세그먼테이션 방법 및 시스템에 관한 것이다.
의료 기기 관련 기술의 발전은 의료 서비스와 공중 보건을 개선시킨다. 의료진이 환자에게 CT, MRI, PET 등의 의료 영상에 대한 더 나은 분석이 가능해졌기 때문이다.
의료 영상 분석 중 영상 세그먼테이션은 질병 진단/추정, 암 검출/치료, 수술 계획/모니터링, 그리고 동맥의 식별 등을 위해 필요하다.
영상 세그먼테이션 기술은 여러 가지 방식으로 분류되는데, 복잡하고 영역 구분이 모호한 의료 영상 등에서 영역 분리를 정확하게 수행하면서 복잡도가 낮은 방식은 없는 실정이다.
이에, 단편적으로 이루어지고 있는 영상 세그먼테이션 기술에 대한 연구로부터 벗어나, 정밀도 향상과 복잡도 저감 양자를 모두 추구할 수 있는 영상 세그먼테이션 기술에 대한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 정밀도 향상과 복잡도 저감을 위한 방안으로, 이종의 영상 세그먼테이션 기법들을 복합적으로 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 세그먼테이션 방법은, 영상을 제1 세그먼테이션 기법에 따라 분할하는 제1 분할 단계; 및 상기 제1 분할 단계에서의 분할 결과를 참조하여, 상기 영상을 제2 세그먼테이션 기법에 따라 분할하는 제2 분할 단계;를 포함한다.
그리고, 상기 제2 세그먼테이션 기법의 정밀도는, 상기 제1 세그먼테이션 기법의 정밀도 보다 높을 수 있다.
또한, 상기 제2 세그먼테이션 기법은, PDE(Partial Differential Equation) 기반의 세그먼테이션 기법일 수 있다.
그리고, 상기 PDE 기반의 세그먼테이션 기법은, TD(Topological Derivative) 기반의 세그먼테이션 기법일 수 있다.
또한, 상기 PDE 기반의 세그먼테이션 기법은, LS(Level Set) 기반의 세그먼테이션 기법 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제1 세그먼테이션 기법의 복잡도는, 상기 제2 세그먼테이션 기법의 복잡도 보다 낮을 수 있다.
또한, 상기 제1 세그먼테이션 기법은, 영상 학습 기반의 세그먼테이션 기법일 수 있다.
그리고, 상기 제1 세그먼테이션 기법은, 시멘틱 기반의 영상 분할이 가능한 세그먼테이션 기법일 수 있다.
또한, 상기 영상 학습 기반의 세그먼테이션 기법은, DL(Deep Learning) 기반의 세그먼테이션 기법일 수 있다.
그리고, 상기 제1 분할 단계에서의 분할 결과를 상기 제2 세그먼테이션 기법의 입력 정보로 변환하는 단계;를 더 포함하고, 상기 제2 분할 단계는, 상기 변환 단계에서 변환된 정보를 이용하여, 상기 영상을 분할할 수 있다.
또한, 상기 제2 분할 단계는, 상기 영상에 대한 이종의 영상 특성 데이터들을 획득하는 단계; 획득된 영상 특성 데이터들 각각을 입력으로 각각의 TD(Topological Derivertive)들을 계산하는 단계; 및 계산된 TD들을 이용하여, 상기 영상을 다수의 영역들로 분할하는 단계;를 포함할 수 있다.
그리고, 상기 제2 분할 단계는, 상기 영상을 초기 세그먼테이션 영상으로 설정하는 단계; 세그먼테이션 영상을 업데이트 하는 단계; 원본 영상과 업데이트된 세그먼테이션 영상을 코스트 함수에 대입하여 코스트를 계산하는 단계; 및 계산된 코스트가 설정된 임계치 미만이면, 업데이트된 세그먼테이션 영상을 최종 세그먼테이션 영상으로 결정하는 단계;를 포함할 수 있다.
또한, 상기 제1 분할 단계는, 시멘틱 기반의 영상 분할이 가능한 세그먼테이션 기법이고, 상기 제2 분할 단계는, 상기 제1 분할 단계에서 생성된 시멘틱 정보를 이용하여, 상기 영상을 분할할 수 있다.
그리고, 상기 제1 분할 단계는, 시멘틱 기반의 영상 분할이 가능한 세그먼테이션 기법이고, 상기 제2 분할 단계는, 상기 제1 분할 단계에서 생성된 시멘틱 정보를 이용하고, SB(Split-Bregman) 기법을 추가로 적용하여, 상기 영상을 분할할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 영상 세그먼테이션 시스템은, 영상을 제1 세그먼테이션 기법에 따라 분할하는 제1 분할부; 및 상기 제1 분할부에서의 분할 결과를 참조하여, 상기 영상을 제2 세그먼테이션 기법에 따라 분할하는 제2 분할부;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 영상 세그먼테이션 방법은, 영상을 제1 세그먼테이션 기법에 따라 분할하는 제1 분할 단계; 및 상기 제1 분할 단계에서의 분할 결과를 제2 세그먼테이션 기법의 입력 정보로 변환하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 영상 세그먼테이션 시스템은, 영상을 제1 세그먼테이션 기법에 따라 분할하는 제1 분할부; 및 상기 제1 분할 단계에서의 분할 결과를 제2 세그먼테이션 기법의 입력 정보로 변환하는 변환부;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 영상 세그먼테이션 방법은, 영상을 제1 세그먼테이션 기법에 따라 분할한 분할 결과를 제2 세그먼테이션 기법의 입력 정보로 변환하는 단계; 및 상기 변환단계에서 변환된 정보를 이용하여, 상기 영상을 제2 세그먼테이션 기법에 따라 분할하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 이종의 영상 세그먼테이션 기법들을 복합적으로 적용하여 최적화함으로써, 영상 세그먼테이션의 정밀도와 안정도를 향상시킴과 동시에 복잡도를 저감시킬 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 복합 영상 세그먼테이션 시스템의 블럭도,
도 2는 다중 도메인 적용형 TD 기반 세그먼테이션이 수행되는 과정을 나타낸 도면,
도 3은 다중 도메인 적용형 TD 기반 세그먼테이션의 흐름도,
도 4는 SB 기법 적용형 TD 기반 세그먼테이션이 수행되는 과정을 나타낸 도면,
도 5는 SB 기법 적용형 TD 기반 세그먼테이션의 흐름도,
도 6은 시멘틱 적용형 TD 기반 세그먼테이션이 수행되는 과정을 나타낸 도면, 그리고,
도 7은 시멘틱 및 SB 기법 적용형 LS 기반 세그먼테이션이 수행되는 과정을 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 복합 영상 세그먼테이션 시스템의 블럭도이다. 본 발명의 실시예에 따른 시스템은, 전혀 다른 이종의 세그먼테이션 기법들을 복합적으로 적용하여, 영상 세그먼테이션을 수행한다.
이와 같은 기능을 수행하는 복합 영상 세그먼테이션 시스템은, 도 1에 도시된 바와 같이, DL(Deep Learning) 기반 분할부(110), 분석부(120), 다중 도메인 적용부(131), SB(Split-Bregman) 기법 적용부(132), 시멘틱 적용부(133) 및 PDE(Partial Differential Equation) 기반 분할부(140)를 포함한다.
DL 기반 분할부(110)는 입력되는 영상을 DL(Deep Learning) 기반의 세그먼테이션 기법에 따라 다수의 영역들로 분할(세그먼테이션)한다. PDE 기반 분할부(140)는 DL 기반 분할부(110)에서의 영상 세그먼테이션 결과를 참조하여, PDE(Partial Differential Equation) 기반의 세그먼테이션 기법에 따라 입력 영상을 다수의 영역들로 분할한다.
PDE 기반 분할부(140)는 TD(Topological Derivative) 기반 분할부(141)과 LS(Level Set) 기반 분할부(142)를 포함한다.
TD 기반 분할부(141)는 TD 기반의 세그먼테이션 기법에 따라 영상을 분할하고, LS 기반 분할부(142)는 LS 기반의 세그먼테이션 기법에 따라 영상을 분할한다. 따라서, PDE 기반의 세그먼테이션은, TD 기반의 세그먼테이션과 LS 기반의 세그먼테이션이 선택적으로 적용될 수 있는 것이다.
TD 기반의 세그먼테이션 기법은 DL 기반의 세그먼테이션 기법 보다 정밀도가 높다는 장점이 있지만, 복잡도가 높다는 단점이 있다.
반면, DL 기반의 세그먼테이션 기법은 TD 기반의 세그먼테이션 기법 보다 복잡도가 낮다는 장점이 있지만, 정밀도가 낮다는 단점이 있다. 또한, DL 기반의 세그먼테이션 기법은 사전 학습이 선행되어야 한다는 단점이 있지만, 학습으로 인해 결과가 안정적이며 시멘틱 기반의 세그먼테이션이 가능하다는 장점이 있다.
분석부(120), 다중 도메인 적용부(131), SB 기법 적용부(132) 및 시멘틱 적용부(133)는, DL 기반 분할부(110)와 PDE 기반 분할부(140)를 유연하게 정합시키기 위한 구성들이다. 이들에 의해, DL 기반의 세그먼테이션 기법과 TD 기반의 세그먼테이션 기법의 장점들만이 취합된 복합 영상 세그먼테이션 방법이 창출될 수 있다.
분석부(120)는 DL 기반 분할부(110)에 의한 영상 분할 결과를 분석하여, 영상 분할 정보를 PDE 기반 분할부(140)에 입력될 수 있는 정보(이를 테면, 초기치, 임계치 등)으로 변환하는 기능을 수행한다.
다중 도메인 적용부(131), SB(Split-Bregman) 기법 적용부(132) 및 시멘틱 적용부(133)는 PDE 기반 세그먼테이션 기법을 확장하는데 필요한 구성들이다. 이들은 선택적으로 활성화되어 동작한다.
다중 도메인 적용부(131)는 TD 기반 분할부(141)의 동작을 확장하기 위한 구성으로, TD 기반 세그먼테이션이 다중 도메인으로 수행되어, 다수의 영상 특성 데이터들을 입력으로 다수의 TD들을 산출하여 영상 세그먼테이션을 수행하도록 하기 위한 구성이다.
도 2에 도시된 바와 같이, 다중 도메인 적용부(131) 및 TD 기반 분할부(141)가 선택/활성화 되어, TD 기반의 세그먼테이션이 수행되는 과정을 도 3에 나타내었다.
도 3에 도시된 바와 같이, 먼저, 입력 영상으로부터 이종의 영상 특성 데이터들을 획득한다(S210). S210단계에서 획득되는 영상 특성 데이터들은 영상을 표현하는 서로 독립적으로 데이터들이다.
환원하면, S210단계는, 영상을 구성하는 픽셀 각각을, 다수의 영상 특성 데이터들로 표현하는 과정이라 볼 수 있다.
이용 가능한 영상 특성 데이터들로, 휘도(intensity), 컬러(color), 에지(edge), 그레디언트(gradient), 고유 벡터(eigen-vector) 등을 들 수 있는데, 예시적인 것에 불과하다. 영상을 표현하는 데이터라면, 어느 것이라도 영상 특성 데이터로 이용될 수 있다.
다음, S210단계에서 획득된 영상 특성 데이터들 각각에 대한 솔루션들을 계산한다(S220). 영상 특성 데이터들을 L개라고 할 때, l(1≤l≤L) 번째의 영상 특성 데이터
Figure 112016066300646-pat00001
는 다음의 식을 통해 계산된다.
Figure 112016066300646-pat00002
여기서, K는 diffusion tensor이고, β는 가중치이며, vl은 l 번째의 입력 영상 특성 데이터이고, ul은 l 번째의 출력 영상 특성 데이터이다.
이후, S210단계에서 획득된 영상 특성 데이터들 각각을 입력으로 각각의 TD(Topological Derivertive)들을 계산한다(S230). S230에서의 계산에는 S220단계에서 계산된 솔루션들이 이용된다. TD들은 다음의 식을 통해 계산된다.
Figure 112016066300646-pat00003
여기서,
Figure 112016066300646-pat00004
는 계산되는 L개의 TD들로 다음과 같다.
Figure 112016066300646-pat00005
Figure 112016066300646-pat00006
와
Figure 112016066300646-pat00007
각각은, 입력 영상 특성데이터들과 출력 영상 특성 데이터들로, 다음과 같다.
Figure 112016066300646-pat00008
Figure 112016066300646-pat00009
는 클래스들을 나타내는 변수로 다음과 같다.
Figure 112016066300646-pat00010
다음, S230단계에서 계산된 TD들에 가중치들을 각각 적용하여 합산한다(S240). TD들에 대한 가중 합 연산은 다음의 식으로 표현될 수 있다.
Figure 112016066300646-pat00011
Figure 112016066300646-pat00012
은 l 번째 TD에 적용할 가중치로 다음과 같다.
Figure 112016066300646-pat00013
가중치들은 영상 특성 데이터(도메인)의 중요도에 따라 적응적으로 결정된다. 나아가, 가중치들을 결정함에 있어 DL 기반의 세그먼테이션 결과가 참조될 수 있다.
이후, S240단계에서의 가중 합 결과를 소팅하고(S250), 영상 특성 데이터들과 클래스 값들을 업데이트 한다(S260). 구체적으로, S250단계에서는 가중 합의 부호가 음(-) 인 픽셀을 소팅하고, S260단계에서는 소팅된 픽셀의 영상 특성 데이터를 최소 TD의 클래스로 업데이트 한다.
또한, Δs를 이용하여 클래스
Figure 112016066300646-pat00014
에 대한 후보들
Figure 112016066300646-pat00015
을 생성하고, 각 후보들에 대한 코스트를 계산하여, 코스트가 최소인 후보로 클래스
Figure 112016066300646-pat00016
를 업데이트 한다.
다음, S260단계에서의 업데이트 결과를 입력으로 하는 전체 코스트 함수의 값을 계산한다(S270). 하나의 영상 특성 데이터에 대한 코스트 함수는 다음의 식과 같다.
Figure 112016066300646-pat00017
그리고, 전체 코스트 함수는 다수의 영상 특성 데이터들에 대한 코스트 함수들의 평균으로 다음과 같다.
Figure 112016066300646-pat00018
S220단계 내지 S270단계는, S270단계에서 계산된 전체 코스트 함수의 값이 임계 값 미만으로 수렴할 때까지 반복된다(S280). 반복이 완료되면(S280-Y), 유사한 클래스들을 동일 영역으로 라벨링 하여(S290), 영상 세그먼테이션을 완료한다(S295).
다시, 도 1을 참조하여 설명한다.
SB 기법 적용부(132)는 TD 기반 분할부(141)와 LS 기반 분할부(142)의 동작을 확장하기 위한 구성이다.
일 예로, SB 기법 적용부(132)는 Shape Sensitivity를 분석하기 위한 수식적 모듈을 TD 기반 세그먼테이션을 위한 비용(cost) 함수에 적용하고, SB 기법을 적용하여 영상 세그먼테이션을 수행하도록 하기 위한 구성이다.
도 4에 도시된 바와 같이, SB 기법 적용부(132) 및 TD 기반 분할부(141)가 선택/활성화 되어, TD 기반의 세그먼테이션이 수행되는 과정을 도 5에 나타내었다.
도 5에 도시된 바와 같이, 먼저, 입력 영상(v)을 산출하고자 하는 세그먼테이션 영상(u)의 초기 값으로 설정한다(S110).
그리고, VPE(Variational Problem Equation)의 해(solution :
Figure 112016066300646-pat00019
)를 계산한다(S320). VPE는 다음의 수학식으로 표현된다.
Figure 112016066300646-pat00020
Figure 112016066300646-pat00021
Figure 112016066300646-pat00022
여기서, K는 DT(Diffusion Tensor)이고, β는 가중치(weight parameter)로 0~1 사이의 값이다. η은 약분으로 제거된다.
이후, TD(Topological Derivative: DT)를 계산한다(S330). TD(DT)는 다음의 수학식으로 표현된다.
Figure 112016066300646-pat00023
여기서, Ci는 세그먼테이션 영상(u)에 나타나는 세그먼트들의 종류를 나타낸다.
다음, TD(DT)를 소팅하고(S340), 소팅 결과를 이용하여 세그먼테이션 영상(u)의 픽셀 값들 중 일부를 변환하여, 세그먼테이션 영상(u)을 업데이트 한다(S350).
구체적으로, S340단계에서는 세그먼테이션 영상(u)에서 임계값 보다 작은 음(-)의 TD(DT)를 갖는 픽셀들이 소팅되고, S350단계에서는 소팅된 픽셀들을 다른 값으로 변경한다.
여기서, 임계값은 DL 기반의 영상 세그먼테이션 결과를 참조로 결정할 수 있다.
이후, VPE의 해(
Figure 112016066300646-pat00024
), 원본 영상(v) 및 세그먼테이션 영상(u)을 코스트 함수에 대입하여 코스트를 계산한다(S360). 코스트 함수는 다음의 수학식으로 표현된다.
Figure 112016066300646-pat00025
위 코스트 함수는 디지털 도메인에서 다음과 같이 표현된다.
Figure 112016066300646-pat00026
여기서, KH는 코스트 함수의 첫 번째 항인 평탄도(Smoothness Evaluation)를 나타내는 성분의 연산기(
Figure 112016066300646-pat00027
)이고, MH는 코스트 함수의 두 번째 항인 불일치도(Mismatch Evaluation)를 나타내는 성분의 연산기(
Figure 112016066300646-pat00028
)이다.
이들은 다음과 같은 2D 필터들로 구현한다.
Figure 112016066300646-pat00029
Figure 112016066300646-pat00030
위에 제시된 바와 같이, KH는 필터를 구성하는 계수들이 상하 대칭(2행을 기분으로 대칭), 좌우 대치(2열을 기준으로 대칭), 대각 대칭(대각선을 기준으로 대칭)인 3×3 필터이다. 여기서, a1은 양의 필터 계수이고, a2는 음의 필터 계수이다. KH는 미분기의 성질을 갖는 필터이다. KH는 행렬의 중앙에 위치하는 필터 계수를 제외한 모든 필터 계수들이 동일하다.
KH와 마찬가지로, MH도 필터를 구성하는 계수들이 상하 대칭(2행을 기분으로 대칭), 좌우 대치(2열을 기준으로 대칭), 대각 대칭(대각선을 기준으로 대칭)인 3×3 필터이다. C1, C2, C3은 모두 양의 필터 계수이다. MH는 적분기의 성질을 갖는 필터이다. MH는 꼭지점 부분[(1,1), 1.3), (3.1), (3.3)]에 위치하는 필터 계수들이 동일하고, 중앙에 위치하는 필터 계수의 상부(1,2), 하부(3,2), 좌측(2,1) 및 우측(2,3)에 위치하는 필터 계수들이 동일하다.
여기서, 필터 계수들은 DL 기반의 영상 세그먼테이션 결과를 참조로 결정할 수 있다.
또한, 위 코스트 함수는, 행렬 곱(×) 연산을 포함하지 않으며, 컨볼루션(*) 연산과 원소 간 곱(·) 연산으로 표현된다는 점에서, 복잡도가 현저하게 줄어들 것임을 예측할 수 있다.
S360단계에서 계산된 코스트가 설정된 임계치 미만인 경우(S370-Y), S350단계에서 업데이트된 세그먼테이션 영상(u)에 대해 SB 기법을 적용하고(S380), 그 결과를 최종 세그먼테이션 영상으로 결정한다(S390).
하지만, S360단계에서 계산된 코스트가 설정된 임계치 이상인 경우(S370-N), 적정의 세그먼테이션 영상(u)을 찾기 위해 S320단계부터 재수행한다.
다시, 도 1을 참조하여 설명한다.
시멘틱 적용부(133)는 TD 기반 분할부(141)와 LS 기반 분할부(142)의 동작을 확장하기 위한 구성으로, DL 기반 분할부(110)에 의한 시멘틱 세그먼테이션 결과를 반영하여 적응적인 영상 세그먼테이션을 수행하도록 하기 위한 구성이다.
도 6에 도시된 바와 같이 시멘틱 적용부(133) TD 기반 분할부(141)가 선택/활성화 되어 TD 기반의 세그먼테이션을 수행하거나, 도 7에 도시된 바와 같이 시멘틱 적용부(133), SB 적용부(132) 및 LS 기반 분할부(142)가 선택/활성화 되어 LS 기반의 세그먼테이션이 수행할 수 있다.
도 7에 도시된 활성화 상태에서의 영상 세그먼트는, DL 기반 분할부(110)에 의한 영상 세그멘테이션 결과와 시멘틱 세그먼테이션 결과를 함께 고려하여 LS 기반의 비용 함수를 계산할 수 있다.
또한, SB 기법과 Lagrangian 기법으로, 변수들에 대한 Solution을 구하도록 하며, Sign Distance Function에 시멘틱 세그먼테이션 결과를 적용하도록 구현할 수 있다.
지금까지, DL과 PDE을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
위 실시예에서, DL 기반 세그먼테이션, PDE 기반 세그먼테이션, TD 기반 세그먼테이션, LS 기반 세그먼테이션 등은 세그먼테이션의 예로 언급한 것이다. 다른 종류의 세그먼테이션으로 대체될 수 있음은 물론이다.
또한, 위 실시예에서는, DL 기반 세그먼테이션 결과를 참조로 PDE 기반 세그먼테이션을 수행하는 것을 상정하였으나, 바뀌어도 무방하다. 즉, PDE 기반 세그먼테이션을 참조로 DL 기반 세그먼테이션을 수행하는 경우에도 본 발명의 기술적 사상이 적용될 수 있다.
나아가, 의료 영상 이외의 다른 영상에 대해서도 본 발명이 적용될 수 있음은 물론이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : DL 기반 분할부 120 : 분석부
131 : 다중 도메인 적용부 132 : 시멘틱 적용부
133 : SB 기법 적용부 140 : PDE 기반 분할부
141 : TD 기반 분할부 142 : LS 기반 분할부

Claims (18)

  1. 영상을 제1 세그먼테이션 기법에 따라 분할하는 제1 분할 단계; 및
    상기 제1 분할 단계에서의 분할 결과를 참조하여, 상기 영상을 제2 세그먼테이션 기법에 따라 분할하는 제2 분할 단계;를 포함하고,
    상기 제1 세그먼테이션 기법과 상기 제2 세그먼테이션 기법은,
    기반이 서로 다른 이종(異種)의 세그먼테이션 기법이며,
    상기 제2 세그먼테이션 기법의 정밀도는, 상기 제1 세그먼테이션 기법의 정밀도 보다 높고,
    상기 제2 세그먼테이션 기법은,
    TD(Topological Derivative) 기반의 세그먼테이션 기법이며,
    상기 제2 분할 단계는,
    상기 영상을 초기 세그먼테이션 영상으로 설정하는 단계;
    세그먼테이션 영상을 업데이트 하는 단계;
    원본 영상과 업데이트된 세그먼테이션 영상을 코스트 함수에 대입하여 코스트를 계산하는 단계; 및
    계산된 코스트가 설정된 임계치 미만이면, 업데이트된 세그먼테이션 영상을 최종 세그먼테이션 영상으로 결정하는 단계;를 포함하는 것을 특징으로 하는 영상 세그먼테이션 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 제1 세그먼테이션 기법의 복잡도는, 상기 제2 세그먼테이션 기법의 복잡도 보다 낮은 것을 특징으로 하는 영상 세그먼테이션 방법.
  7. 청구항 6에 있어서,
    상기 제1 세그먼테이션 기법은,
    영상 학습 기반의 세그먼테이션 기법인 것을 특징으로 하는 영상 세그먼테이션 방법.
  8. 청구항 7에 있어서,
    상기 제1 세그먼테이션 기법은,
    시멘틱 기반의 영상 분할이 가능한 세그먼테이션 기법인 것을 특징으로 하는 영상 세그먼테이션 방법.
  9. 청구항 8에 있어서,
    상기 영상 학습 기반의 세그먼테이션 기법은,
    DL(Deep Learning) 기반의 세그먼테이션 기법인 것을 특징으로 하는 영상 세그먼테이션 방법.
  10. 청구항 1에 있어서,
    상기 제1 분할 단계에서의 분할 결과를 상기 제2 세그먼테이션 기법의 입력 정보로 변환하는 단계;를 더 포함하고,
    상기 제2 분할 단계는,
    상기 변환 단계에서 변환된 정보를 이용하여, 상기 영상을 분할하는 것을 특징으로 하는 영상 세그먼테이션 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 영상을 제1 세그먼테이션 기법에 따라 분할하는 제1 분할부; 및
    상기 제1 분할부에서의 분할 결과를 참조하여, 상기 영상을 제2 세그먼테이션 기법에 따라 분할하는 제2 분할부;를 포함하고,
    상기 제1 세그먼테이션 기법과 상기 제2 세그먼테이션 기법은,
    기반이 서로 다른 이종(異種)의 세그먼테이션 기법이며,
    상기 제2 세그먼테이션 기법의 정밀도는, 상기 제1 세그먼테이션 기법의 정밀도 보다 높고,
    상기 제2 세그먼테이션 기법은,
    TD(Topological Derivative) 기반의 세그먼테이션 기법이며,
    상기 제2 분할부는,
    상기 영상을 초기 세그먼테이션 영상으로 설정하고, 세그먼테이션 영상을 업데이트 하며, 원본 영상과 업데이트된 세그먼테이션 영상을 코스트 함수에 대입하여 코스트를 계산하고, 계산된 코스트가 설정된 임계치 미만이면 업데이트된 세그먼테이션 영상을 최종 세그먼테이션 영상으로 결정하는 것을 특징으로 하는 영상 세그먼테이션 시스템.
  16. 영상을 제1 세그먼테이션 기법에 따라 분할하는 제1 분할 단계; 및
    상기 제1 분할 단계에서의 분할 결과를 제2 세그먼테이션 기법의 입력 정보로 변환하는 단계;를 포함하고,
    상기 제1 세그먼테이션 기법과 상기 제2 세그먼테이션 기법은,
    기반이 서로 다른 이종(異種)의 세그먼테이션 기법이며,
    상기 제2 세그먼테이션 기법의 정밀도는, 상기 제1 세그먼테이션 기법의 정밀도 보다 높고,
    상기 제2 세그먼테이션 기법은,
    TD(Topological Derivative) 기반의 세그먼테이션 기법으로, 상기 영상을 초기 세그먼테이션 영상으로 설정하고, 세그먼테이션 영상을 업데이트 하며, 원본 영상과 업데이트된 세그먼테이션 영상을 코스트 함수에 대입하여 코스트를 계산하고, 계산된 코스트가 설정된 임계치 미만이면 업데이트된 세그먼테이션 영상을 최종 세그먼테이션 영상으로 결정하는 것을 특징으로 하는 영상 세그먼테이션 방법.
  17. 영상을 제1 세그먼테이션 기법에 따라 분할하는 제1 분할부; 및
    상기 제1 분할부에서의 분할 결과를 제2 세그먼테이션 기법의 입력 정보로 변환하는 변환부;를 포함하고,
    상기 제1 세그먼테이션 기법과 상기 제2 세그먼테이션 기법은,
    기반이 서로 다른 이종(異種)의 세그먼테이션 기법이며,
    상기 제2 세그먼테이션 기법의 정밀도는, 상기 제1 세그먼테이션 기법의 정밀도 보다 높고,
    상기 제2 세그먼테이션 기법은,
    TD(Topological Derivative) 기반의 세그먼테이션 기법으로, 상기 영상을 초기 세그먼테이션 영상으로 설정하고, 세그먼테이션 영상을 업데이트 하며, 원본 영상과 업데이트된 세그먼테이션 영상을 코스트 함수에 대입하여 코스트를 계산하고, 계산된 코스트가 설정된 임계치 미만이면 업데이트된 세그먼테이션 영상을 최종 세그먼테이션 영상으로 결정하는 것을 특징으로 하는 영상 세그먼테이션 시스템.
  18. 영상을 제1 세그먼테이션 기법에 따라 분할한 분할 결과를 제2 세그먼테이션 기법의 입력 정보로 변환하는 단계; 및
    상기 변환단계에서 변환된 정보를 이용하여, 상기 영상을 제2 세그먼테이션 기법에 따라 분할하는 단계;를 포함하고,
    상기 제1 세그먼테이션 기법과 상기 제2 세그먼테이션 기법은,
    기반이 서로 다른 이종(異種)의 세그먼테이션 기법이며,
    상기 제2 세그먼테이션 기법의 정밀도는, 상기 제1 세그먼테이션 기법의 정밀도 보다 높고,
    상기 제2 세그먼테이션 기법은,
    TD(Topological Derivative) 기반의 세그먼테이션 기법이며,
    상기 분할 단계는,
    상기 영상을 초기 세그먼테이션 영상으로 설정하는 단계;
    세그먼테이션 영상을 업데이트 하는 단계;
    원본 영상과 업데이트된 세그먼테이션 영상을 코스트 함수에 대입하여 코스트를 계산하는 단계; 및
    계산된 코스트가 설정된 임계치 미만이면, 업데이트된 세그먼테이션 영상을 최종 세그먼테이션 영상으로 결정하는 단계;를 포함하는 것을 특징으로 하는 영상 세그먼테이션 방법.
KR1020160086823A 2016-07-08 2016-07-08 Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템 KR101830512B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160086823A KR101830512B1 (ko) 2016-07-08 2016-07-08 Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160086823A KR101830512B1 (ko) 2016-07-08 2016-07-08 Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180006120A KR20180006120A (ko) 2018-01-17
KR101830512B1 true KR101830512B1 (ko) 2018-02-20

Family

ID=61025982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160086823A KR101830512B1 (ko) 2016-07-08 2016-07-08 Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101830512B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565849B1 (ko) 2018-05-14 2023-08-11 한국전자통신연구원 동영상 내 작은 물체를 실시간으로 세분화하는 방법 및 장치
KR102250954B1 (ko) * 2018-11-27 2021-05-12 재단법인 아산사회복지재단 뇌 mri 영상의 뇌 영역별 분할을 통한 치매 예측 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101606760B1 (ko) * 2015-07-23 2016-03-28 연세대학교 산학협력단 영상 내 객체 기반 영상 감정 변환 장치 및 그 방법
US20160171707A1 (en) * 2014-12-10 2016-06-16 Ricoh Co., Ltd. Realogram Scene Analysis of Images: Superpixel Scene Analysis
KR101667306B1 (ko) 2015-04-14 2016-10-19 전자부품연구원 Topological Derivative 기반 저 복잡도 영상 세그먼테이션 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171707A1 (en) * 2014-12-10 2016-06-16 Ricoh Co., Ltd. Realogram Scene Analysis of Images: Superpixel Scene Analysis
KR101667306B1 (ko) 2015-04-14 2016-10-19 전자부품연구원 Topological Derivative 기반 저 복잡도 영상 세그먼테이션 방법 및 시스템
KR101606760B1 (ko) * 2015-07-23 2016-03-28 연세대학교 산학협력단 영상 내 객체 기반 영상 감정 변환 장치 및 그 방법

Also Published As

Publication number Publication date
KR20180006120A (ko) 2018-01-17

Similar Documents

Publication Publication Date Title
Chakraborty et al. Modified cuckoo search algorithm in microscopic image segmentation of hippocampus
US9792694B2 (en) Segmentation using hybrid discriminative generative label fusion of multiple atlases
KR102380026B1 (ko) 3d 이미지에서 이소성 골화증의 분석을 위한 시스템 및 방법
Wen et al. A novel statistical cerebrovascular segmentation algorithm with particle swarm optimization
Rashid et al. Fully convolutional neural network for lungs segmentation from chest X-rays
Zhang et al. Automated semantic segmentation of red blood cells for sickle cell disease
Liu et al. A framework of wound segmentation based on deep convolutional networks
CN109360191B (zh) 一种基于变分自编码器的图像显著性检测方法
KR20220129405A (ko) 전역 어텐션 기반 컨볼루션 네트워크를 이용한 이미지 분할 방법 및 장치
Yang et al. A multiorgan segmentation model for CT volumes via full convolution-deconvolution network
CN112990222A (zh) 一种基于图像边界知识迁移的引导语义分割方法
Saueressig et al. Exploring graph-based neural networks for automatic brain tumor segmentation
WO2023108968A1 (zh) 基于知识驱动的深度学习图像分类方法和系统
KR101830512B1 (ko) Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템
García-Aguilar et al. Optimized instance segmentation by super-resolution and maximal clique generation
CN110991408B (zh) 基于深度学习方法分割脑白质高信号的方法和装置
KR101962110B1 (ko) 영상 분할 방법 및 장치
Tripathi et al. An Object Aware Hybrid U-Net for Breast Tumour Annotation
EP4128150A1 (en) Segmentation in multi-energy ct data
Brahim et al. Efficient 3D deep learning for myocardial diseases segmentation
Bouchet et al. Intuitionistic fuzzy sets applied to color image processing.
Guo et al. Dual network generative adversarial networks for pediatric echocardiography segmentation
Arfan Jaffar A dynamic fuzzy genetic algorithm for natural image segmentation using adaptive mean shift
Kurzendorfer et al. Random forest based left ventricle segmentation in LGE-MRI
Zheng et al. 3D consistent biventricular myocardial segmentation using deep learning for mesh generation

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant