KR100647322B1 - 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 - Google Patents

객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 Download PDF

Info

Publication number
KR100647322B1
KR100647322B1 KR1020050017216A KR20050017216A KR100647322B1 KR 100647322 B1 KR100647322 B1 KR 100647322B1 KR 1020050017216 A KR1020050017216 A KR 1020050017216A KR 20050017216 A KR20050017216 A KR 20050017216A KR 100647322 B1 KR100647322 B1 KR 100647322B1
Authority
KR
South Korea
Prior art keywords
feature point
feature
shape
average shape
average
Prior art date
Application number
KR1020050017216A
Other languages
English (en)
Other versions
KR20060097074A (ko
Inventor
김회율
황원준
기석철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050017216A priority Critical patent/KR100647322B1/ko
Priority to US11/365,688 priority patent/US7711156B2/en
Publication of KR20060097074A publication Critical patent/KR20060097074A/ko
Application granted granted Critical
Publication of KR100647322B1 publication Critical patent/KR100647322B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의 특징점 자동 탐색장치 및 방법이 개시된다. 객체의 특징점 자동 탐색장치는 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 학습하여, 상기 객체의 평균모양과 상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 포함하는 모양모델을 생성하는 모양모델 생성부; 입력영상의 포즈에 따라서 상기 평균모양을 이루는 각 특징점의 초기위치를 재설정하는 초기위치 재설정부; 및 상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 이용하여 상기 초기위치가 재설정된 상기 평균모양을 상기 입력영상에 적응화시켜 상기 입력영상의 특징점을 추출하는 특징점 추출부로 이루어진다.

Description

객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의 특징점 자동탐색장치 및 방법 {Apparatus and method of generating shape model of object and apparatus and method of automatically searching feature points of object employing the same}
도 1은 본 발명의 일실시예에 따른 객체의 특징점 자동탐색장치의 구성을 나타내는 블럭도,
도 2는 도 1에 있어서 객체 모양모델 생성부의 세부적인 구성을 보여주는 블럭도,
도 3은 도 2에서 학습 데이터베이스에 저장되는 트레이닝 세트에서 레이블링된 랜드마크의 분포를 보여주는 도면,
도 4는 도 2에 있어서 통계적 특징데이터 생성부에서 사용되는 2차원 템플릿의 일예를 보여주는 도면,
도 5는 2차원 메인 템플릿에서 통계적 특징데이터 생성시 사용되는 제1 서브 템플릿의 일예를 보여주는 도면,
도 6은 도 2에 있어서 통계적 특징데이터 생성부의 세부적인 구성을 보여주는 블럭도,
도 7은 정규화시 사용되는 얼굴영역의 위치를 나타내는 도면,
도 8은 도 1에 있어서 전처리부의 세부적인 구성을 보여주는 블럭도,
도 9는 도 1에 있어서 초기위치 재설정부의 세부적인 구성을 보여주는 블럭도, 및
도 10은 도 1에 있어서 특징점 검출부의 세부적인 구성을 보여주는 블럭도이다.
본 발명은 객체의 특징점 자동탐색장치 및 방법에 관한 것으로서, 특히 포즈 변화가 심한 새로운 영상에서 객체의 특징점을 정확하게 탐색하기 위한 장치 및 방법에 관한 것이다.
능동형상모델(Active Shape Model, 이하 ASM이라 함)은 미리 주어진 트레이닝 세트들을 이용하여 탐색하고자 하는 객체의 통계적인 모양모델을 생성한 다음, 통계적인 모양모델을 이용하여 새로운 영상에 포함된 객체의 모양을 추출할 수 있는 분석적 모델이다. 여기서, 각 트레이닝 세트는 탐색하고자 하는 객체의 특징점들이 레이블링(labeling)되어 있는 얼굴영상을 의미하며, 각 트레이닝 세트에서 모양은 n개의 레이블링된 랜드마크 점들 즉, 특징점들의 집합이다. ASM에서는 객체의 모양이 변할 때 서로 다르게 레이블링된 특징점들이 어떠한 상관관계를 가지면서 움직이는지를 모델링한다. 레이블링된 특징점들은 하나의 벡터로 만들 수 있으며, 트레이닝 세트들에 대하여 생성된 모든 벡터들에 대하여 주성분분석(Principal Component Analysis)를 수행하여 적절한 수의 계수들을 이용하여 모양을 기술할 수 있게 된다. ASM에 따르면 새로운 영상에 있는 객체로 통계적인 모양모델을 반복적으로 변형하여 매칭시킬 수 있으며, 통계적인 모양모델에서 모양 변화는 레이블링된 트레이닝 세트들에서 보여지는 방향으로만 변화되도록 제한된다.
그런데, 현재 얼굴 영상의 특징점 탐색에 사용되는 ASM은 복수개의 정면 얼굴영상들로 이루어진 트레이닝 세트들로부터 얻어진 평균 얼굴영상의 특징점 위치를 이용하기 때문에 포즈 변화가 심한 얼굴영상이 입력되는 경우 특징점의 위치가 발산되는 등 특징점을 제대로 탐색하기 어려운 문제점이 있다. 또한, 얼굴영상에서 특징점이 이동될 위치를 결정하기 위하여 1차원 템플릿으로 구성된 ASM 프로파일을 사용하기 때문에 로컬 미니멈(local minimum)에 빠질 가능성이 높은 문제점이 있다.
상기한 ASM과 관련된 문헌으로는 T. F. Cootes, C. J. Taylor, D. H. Cooper 및 J. Graham에 의한 "Active Shape Models-Their Training and Application, Department of Medical Biophysics, University of Manchester, Oxford Road, Manchester M13 9PT. England, Computer Vision and Image Understanding Vol. 61, No. 1, pp. 38-59, January 1995"를 들 수 있다.
본 발명이 이루고자 하는 기술적 과제는 특징점을 추출하고자 하는 객체에 대한 복수의 트레이닝 세트에서, 평균 모양의 각 특징점에 대한 2 차원 템플릿을 이용하여 얻어진 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 구비한 모양모델을 생성하기 위한 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기한 모양모델을 이용하여 포즈 변화가 심한 새로운 영상의 특징점들을 정확하게 탐색하기 위한 특징점 자동탐색장치 및 방법을 제공하는데 있다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 모양모델 생성장치는 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 저장한 학습 데이터베이스; 상기 복수의 트레이닝 세트의 평균모양을 생성하는 평균모양 생성부; 및 상기 평균모양을 이루는 각 특징점의 2차원 메인 템플릿에 대하여, 2차원 서브 템플릿을 탐색단위로 하여 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성하는 통계적 특징데이터 생성부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 모양모델 생성방법은 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 저장한 학습 데이터베이스를 제공하는 단계; 상기 복수의 트레이닝 세트의 평균모양을 생성하는 단계; 및 상기 평균모양을 이루는 각 특징점의 2차원 메인 템플릿에 대하여, 2차원 서브 템플릿을 탐색단위로 하여 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 특징점 자동탐색장치는 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 학습하여, 상기 객체의 평균모양과 상기 평균모양을 이루는 각 특징점의 통계적 특 징데이터를 포함하는 모양모델을 생성하는 모양모델 생성부; 입력영상의 포즈에 따라서 상기 평균모양을 이루는 각 특징점의 초기위치를 재설정하는 초기위치 재설정부; 및 상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 이용하여 상기 초기위치가 재설정된 상기 평균모양을 상기 입력영상에 적응화시켜 상기 입력영상의 특징점을 추출하는 특징점 추출부를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 특징점 자동탐색방법은 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 학습하여, 상기 객체의 평균모양과 상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 포함하는 모양모델을 생성하는 단계; 입력영상의 포즈에 따라서 상기 평균모양을 이루는 각 특징점의 초기위치를 재설정하는 단계; 및 상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 이용하여 상기 초기위치가 재설정된 상기 평균모양을 상기 입력영상에 적응화시켜 상기 입력영상의 특징점을 추출하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에서는 상기 객체의 모양모델 생성방법 및 객체의 특징점 자동탐색방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 객체의 모양모델 생성장치 및 방법과 객체의 특징점 자동탐색장치 및 방법에 대해 상세히 설명하기로 한다. 이에 앞서 먼저 본 발명에 적용된 ASM 알고리즘의 기본 원리에 대하여 설명하면 다음과 같다.
본 발명에서 트레이닝 세트로 사용되는 얼굴 영상의 특징점들(즉, 랜드마크들)의 분포는 다음 표 1과 같이 나타낼 수 있으며, 반드시 이에 한정되는 것은 아니다.
전체 랜드마크 수 76
얼굴의 윤곽선에 사용된 랜드마크의 수 15
왼쪽, 오른쪽 눈썹 각각에 사용된 랜드마크의 수 8
왼쪽, 오른쪽 눈 각각에 사용된 랜드마크의 수 8
코에 사용된 랜드마크의 수 7
입에 사용된 랜드마크의 수 22
각 트레이닝 세트에서의 모양은 n(여기서는 76)개의 레이블링된 특징점들의 집합이며, 다음 수학식 1과 같이 나타낼 수 있다.
Figure 112005011075137-pat00001
각 얼굴영상의 특징점들은 입력된 얼굴 영상의 특성에 따라서, 서로 다른 지역적 좌표계에 의해 배치되어 있다. 즉, 각 얼굴영상은 촬영 때의 상황에 따라서 얼굴의 크기 즉, 스케일(s), 얼굴의 회전정도 즉, 방향(θ), 얼굴 중심점의 위치 즉, 이동(tx, ty)가 다르기 때문에, 이러한 얼굴영상으로 부터 추출된 특징점 데이터들은 얼굴은 형태적인 특성은 보존하면서 기준이 되는 공통된 좌표계로 근사적으로 정렬(alignment)될 필요가 있다. 정렬 알고리즘은 다음 수학식 2와 같이 나타날 수 있다.
Figure 112005011075137-pat00002
여기서, 함수
Figure 112005011075137-pat00003
는 θ 만큼 회전, s 만큼 스케일링, (tx, ty) 만큼 이동을 수행한다. 예를 들어, 단일 특징점 (x,y)가 주어진다면, 다음 수학식 3과 같이 나타낼 수 있다.
Figure 112005011075137-pat00004
한편,
Figure 112005011075137-pat00005
는 N개의 정렬된 트레이닝 세트들의 평균 모양으로서, 다음 수학식 4와 같이 나타낼 수 있다.
Figure 112005011075137-pat00006
그리고, 각 트레이닝 세트의 모양과 평균 모양간의 편차(dx i )는 다음 수학식 5와 같이 나타낼 수 있다.
Figure 112005011075137-pat00007
이때, 공분산 행렬(S)는 다음 수학식 6과 같이 나타낼 수 있다.
Figure 112005011075137-pat00008
공분산 행렬(S)의 고유벡터들(eigen vectors) p k(여기서 k=1,...,2n)은 다음 수학식 7에 의한 고유치 해석을 통해 얻어진다.
Figure 112005011075137-pat00009
여기서,
Figure 112005011075137-pat00010
는 공분산 행렬(S)의 k번째 고유값(eigen value)이고,
Figure 112005011075137-pat00011
가 성립한다.
그러면, 고유벡터 행렬 P는 해당하는 고유값을 갖는 각 고유벡터들을 내림차순으로 정렬하여 다음 수학식 8과 같이 나타낼 수 있다.
Figure 112005011075137-pat00012
따라서, 임의의 모양은 다음 수학식 9와 같이 트레이닝 세트들의 평균 모양(
Figure 112005011075137-pat00013
)을 공분산 행렬(S)를 이용하여 얻어진 고유벡터 행렬(P)과 가중치벡터(b)의 곱으로 변형시켜 나타낼 수 있다.
Figure 112005011075137-pat00014
각 고유벡터에 의해 표현되는 변화 정도는 대응되는 고유값과 동일하므로, 모양에서 대부분의 변화 정도를 큰 고유값을 갖는 t(여기서, t<2n)개의 고유벡터를 이용하여 나타낼 수 있다. t 값이 크면 모양의 변화 정도를 세밀하게 나타낼 수 있는 반면, t 값이 작으면 모양의 변화 정도를 세밀하게 나타낼 수 없다. 여기서, t 값은 다음 수학식 10에서와 같이 전체 변화 정도의 98 % 이상이 되도록 선택하는 것이 바람직하다.
Figure 112005011075137-pat00015
선택된 t 값을 이용하여 상기 수학식 9는 다음 수학식 11로 근사화될 수 있다.
Figure 112005011075137-pat00016
여기서, P t = (p 1, p 2, ... , p t)는 처음 t 개의 고유벡터들의 행렬이고, b t = (b 1, b 2, ... , b t)T는 모양 파라미터 벡터이다. b t 는 P t 가 고유벡터들로 이루어진 행렬이므로, P t 의 역행렬이 전치행렬과 동일한 특성을 이용하면 다음 수학식 12를 통해 얻어진다.
Figure 112005011075137-pat00017
모양 파라미터(bk)를 적절한 범위내에서 변화시키면 트레이닝 세트와 유사한 새로운 모양들을 표현하는 것이 가능하다. 통계적인 모양모델과 유사한 모양을 유지하기 위해서 모양 파라미터(bk)의 범위에 제한을 가할 수 있으며, 대체적으로 다음 수학식 13과 같이 모양 파라미터(bk)의 범위를 선택할 수 있다. 이 범위 이외의 값을 갖는 모양 파라미터(bk)를 이용하여 모양을 합성할 경우 원하는 모양과는 상이한 모양이 나타날 수 있다.
Figure 112005011075137-pat00018
한편, 정렬된 트레이닝 세트들의 평균 모양(
Figure 112005011075137-pat00019
)에 속한 특징점에서부터 시작하여, 입력된 얼굴영상의 특징점들로 좌표를 이동시키는 과정은 다음과 같다.
첫번째, 평균 모양(
Figure 112005011075137-pat00020
)에 속한 각 특징점의 좌표값 주변의 이미지 픽셀정보를 탐색하여 새롭게 이동할 위치의 좌표값을 찾는다.
두번째, 모든 특징점에 대하여 찾아진 새로운 좌표값으로 이루어지는 중간 모양(x int)을 이용하여 수학식 12에서와 같이 모양 파라미터(b)를 갱신한다.
세번째, 수렴이 이루어질 때까지 첫번째와 두번째의 과정을 반복한다.
새롭게 이동할 위치의 좌표값을 찾기 위한 첫번째 과정을 위하여, 우선 평균 모양(
Figure 112005011075137-pat00021
)에 속한 각 특징점 주위의 이미지 구조에 대한 통계적 모델을 수립하고, 탐색시 통계적 모델과 가장 정합되는 픽셀을 이동할 위치로 결정한다.
각 특징점에 대한 통계적 모델을 수립하기 위하여, 평균 모양(
Figure 112005011075137-pat00022
)에 속한 각 특징점에 대하여, i 번째 트레이닝 세트에 속한 특징점으로부터 직교방향으로 양쪽에서 k개의 픽셀들을 샘플링하여 1 차원 프로파일을 생성한다. 하나의 벡터 g i에 (2k+1) 개의 픽셀들이 포함된다. 전체적인 빛(global intensity)의 변화에 의한 영향을 감소시키기 위하여, 1 차원 프로파일에서 해당 픽셀의 그레이 레벨의 절대치보다 이웃 픽셀과의 그레이 레벨의 차이값을 샘플링한다. 이후, 다음 수학식 14에서와 같이 각 벡터 g i를 정규화한다.
Figure 112005011075137-pat00023
여기서, gij는 벡터 g i를 구성하는 각 픽셀을 의미한다.
상기와 같은 정규화 과정을 N개의 전체 트레이닝 세트에 대하여 반복적으로 수행하고, 평균 모양(
Figure 112005011075137-pat00024
)에서 주어진 특징점에 대한 정규화된 1차원 프로파일 {g i} 를 얻는다. 정규화된 1차원 프로파일 {g i}이 다변량 가우시안 분포를 가지는 것으로 가정하여 평균(
Figure 112005011075137-pat00025
)과 공분산(
Figure 112005011075137-pat00026
)을 추정한다. 추정된 평균(
Figure 112005011075137-pat00027
)과 공분산(
Figure 112005011075137-pat00028
)은 평균 모양(
Figure 112005011075137-pat00029
)에서 주어진 특징점에 대한 그레이 레벨 프로파일의 통계적 특징데이터로 제공된다.
상기와 같은 과정을 평균 모양(
Figure 112005011075137-pat00030
)을 이루는 모든 특징점에 대하여 수행하여 각 특징점에 대한 평균(
Figure 112005011075137-pat00031
)과 공분산(
Figure 112005011075137-pat00032
)을 얻어 각 특징점에 대한 통계적 특징데이터로 결정한다.
주어진 특징점의 1차원 프로파일 상에서 얻어진 새로운 샘플 g s 와 해당 특징점의 통계적 특징데이터와 정합하는지 여부는 다음 수학식 15에 의해 판단할 수 있다.
Figure 112005011075137-pat00033
여기서, 함수
Figure 112005011075137-pat00034
는 샘플 g s 와 평균(
Figure 112005011075137-pat00035
) 간의 마할라노비스 거리(Mahalanobis distance)를 나타내며, 이 값이 작다는 것은 새로운 샘플 g s 이 해당 특징점의 통계적 특징데이터 분포로부터 나올 확률이 크다는 것을 의미한다.
탐색과정동안, 1차원 프로파일에서 이동된 특징점의 양쪽에서 m (여기서, m>k)개의 픽셀들을 샘플링하고, (2m+1) 개의 픽셀 중 얻을 수 있는 모든 2(m-k)+1 개의 샘플 g s 에 대하여 상기 수학식 15에 정의된 함수
Figure 112005011075137-pat00036
를 이용하여 가장 작은 값을 갖는 샘플 g s 로 특징점의 위치를 이동시키게 된다.
상기와 같은 과정을 평균 모양(
Figure 112005011075137-pat00037
)을 이루는 모든 특징점에 대하여 반복적으로 수행하여, 각 특징점에 대하여 새로운 위치를 결정한다. 이후, 새롭게 결정된 특징점의 위치에 평균 모양(
Figure 112005011075137-pat00038
)을 정합시키기 위한 모양 파라미터(b)를 갱신한다. 즉, 각 특징점에 대하여 새로운 위치를 결정하여 이를 벡터 x 로 표현하고, 상기 수학식 12를 이용하여 현재의 벡터 x 에 대응하는 모양 파라미터(b)를 구한다, 다음, 모양 파라미터(b)의 각 원소들이 모양모델의 제한조건 즉, 예를 들면 상기 수학식 13의 조건을 만족하는지 확인 및 조정한다. 예를 들면, 모양 파라미터(b)의 원소 b1의 절대값
Figure 112005011075137-pat00039
이
Figure 112005011075137-pat00040
보다 큰 경우에는 b1의 값이
Figure 112005011075137-pat00041
와
Figure 112005011075137-pat00042
사이의 임의의 값을 갖도록 강제로 b1의 값을 설정한다. 이러한 과정을 행하는 이유는 특징점들이 새로운 위치로 이동하더라도 최소한 평균모양에 유사한 형태를 유지하면서 변하도록 하기 위해서이다.
한편, 상기 ASM 알고리즘에서의 효율 및 탐색과정에서의 반복횟수를 줄이기 위하여 낮은 해상도의 이미지에서부터 시작하여 높은 해상도의 이미지로 업데이트 되는 다해상도(Multi-resolution) ASM을 사용한다. 즉, 레벨 L(L=Lmax, Lmax-1, ... , 2,1,0)로 여러 해상도를 갖는 이미지 피라미드를 적용하게 되면, 각 레벨에서의 탐색과정에서 동일한 (2k+1)개의 픽셀정보를 탐색하더라도 탐색영역이 원래 이미지에서의 탐색과 비교시 2L배 확대되기 때문에, 큰 이동폭을 갖게 되어 탐색효율이 증대된다. 이때, 현재 레벨의 해상도에서 한 단계 낮은 해상도로 넘어가는 조건은, 새롭게 찾은 특징점의 위치와 현재 특징점의 위치와 비교하여 1차원 프로파일의 50% 이내로 이동하는 갯수의 비율을 측정하여 결정하게 된다.
도 1은 본 발명에 따른 특징점 자동탐색장치의 구성을 나타낸 블럭도로서, 통계적 모양모델 생성부(110), 전처리부(130), 초기위치 재설정부(150) 및 특징점 추출부(170)를 포함하여 이루어진다.
도 1을 참조하면, 모양모델 생성부(110)는 학습 데이터베이스(도 2의 210)에 수집된 복수의 트레이닝 세트들로부터 특징점을 추출하고자 하는 객체의 모양모델을 생성한다. 이때, 각 트레이닝 세트는 복수개의 특징점이 레이블링되어 있다. 객체의 모양모델은 복수의 트레이닝 세트들의 평균모양을 가지며, 평균 모양에 이루는 각 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 포함한다. 본 발명에서는 각 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성할 때, 특징점에 대한 프로파일로 1 차원 프로파일 대신 2 차원 템플릿을 사용함으로써, 수학식 15로 얻어지는 함수
Figure 112005011075137-pat00043
의 최소값이 엉뚱한 위치에서 발견되어지는 로컬 미니멈에 빠질 가능성을 대폭 감소시킨다. 즉, 1차원 프로파일에 비하여 사용되는 정보량이 많기 때문에 오류가 발생할 확률이 줄어들게 된다.
전처리부(230)는 특징점을 탐색하고자 입력되는 얼굴영상에서 눈의 위치를 검출하고 얼굴영상의 크기를 정규화하는 전처리과정을 수행한다.
초기위치 재설정부(250)는 모양모델 생성부(210)에서 생성된 각 특징점의 통계적 특징데이터를 이용하여 입력되는 얼굴영상의 포즈에 따라서 적응적으로 모양모델 생성부(210)로부터 로딩되는 모양모델의 특징점의 초기위치를 재설정한다.
입력된 얼굴영상에서 특징점을 추출할 때, 로딩되는 얼굴의 각 구성요소에 대한 모양모델을 이루는 특징점의 초기위치가 매우 중요하다. 모양모델 생성부(210)로부터 로딩되는 평균모양의 특징점은 학습 데이터베이스에 수집된 복수의 정면 영상들의 평균 영상으로부터 얻어지기 때문에 입력된 얼굴영상이 포즈 변화가 심한 영상인 경우 ASM 적응화 성능을 보장하기 어렵다. 따라서, 초기위치 재설정부(250)는 ASM 적응화 과정을 수행하기에 앞서 전처리부(230)에서 전처리된 얼굴영상에 로딩될 모양모델의 특징점의 초기위치를 재설정한다. 이에 따르면, 보다 적은 횟수의 적응화과정으로 입력된 얼굴영상에서 특징점을 정확하게 추출할 수 있게 된다.
특징점 추출부(270)는 사전에 얻어진 모양모델에 속한 특징점의 통계적 특징데이터를 이용하여, 로딩된 평균모양을 입력된 얼굴영상에 적응화시켜, 입력된 얼굴영상의 각 구성요소에 대한 특징점들을 추출하고, 추출된 특징점들의 (x,y) 좌표값을 출력한다. 여기서, 모양모델 적응화란, 입력된 얼굴영상에 로딩된 모양모델의 특징점들을 직선으로 연결하고, 각 모양모델의 특징점에서 직선에 대한 법선방 향의 픽셀들에 대하여 탐색을 실시하여, 해당하는 프로파일에서 트레이닝 세트에서 학습된 값과 최대 상관이 일어나는 픽셀을 새로운 특징점으로 변경하는 과정을 반복적으로 수행함으로써, 입력된 영상에서 눈썹, 눈, 코, 입 및 얼굴 윤곽선에 대한 특징점을 찾아내는 것을 의미한다. 이와 같은 모양모델 적응화과정은 전술한 ASM 알고리즘의 기본 원리와 동일하다. 본 발명에서는 일반적인 모양모델 적응화과정을 그대로 적용시키면서 특징점에 대한 프로파일로 1 차원 프로파일 대신 2 차원 템플릿을 사용함으로써, 수학식 15로 얻어지는 함수
Figure 112005011075137-pat00044
의 최소값이 엉뚱한 위치에서 발견되어 지는 로컬 미니멈에 빠질 가능성을 대폭 감소시킨다.
한편, 탐색영역이 너무 넓어 엉뚱한 곳에 있는 특징점들을 추출하거나, 탐색영역이 너무 작아 모양모델 적응화에 소요되는 시간이 과도하게 증가하는 문제점을 해결하기 위하여, 모양모델의 각 특징점의 탐색영역을 미리 제한한 상태에서 모양모델 적응화를 수행하는 것도 가능하다. 예를 들어, 눈의 경우 눈의 윗쪽 특징점들의 탐색영역은 눈썹과의 거리의 1/2 이하가 되도록 제한하고, 눈의 아래쪽 특징점들의 탐색영역은 눈 상하폭의 1/2 이하가 되도록 제한한다. 또한, 코의 경우 콧구멍 및 콧망울에 해당하는 특징점들의 탐색영역은 윗입술과의 거리의 1/1 이하가 되도록 제한하고, 입술의 경우 입술 윗쪽 특징점들의 탐색영역의 콧망울과의 거리의 1/2 이하가 되도록 제한하며, 입술 아랫쪽 특징점들의 탐색영역은 입술 상하폭의 1/3 이하가 되도록 제한한다.
도 3은 도 2에 있어서 모양모델 생성부(210)의 세부적인 구성을 보여주는 블 럭도로서, 학습 데이터베이스(310), 평균모양 생성부(330) 및 통계적 특징데이터 생성부(350)를 포함하여 이루어진다.
도 3을 참조하면, 학습 데이터베이스(310)는 도 3에서와 같이 복수의 특징점(310)이 레이블링되어 있는 복수의 트레이닝 세트를 저장한다. 여기서 특징점의 갯수는 예를 들어 76개로 설정한다.
평균 모양 생성부(330)는 학습 데이터베이스(310)에 저장된 모든 트레이닝 세트들을 구성하는 각 특징점의 (x, y) 좌표값을 평균하여, 평균된 좌표값에 위치한 특징점들을 갖는 평균 모양을 생성한다.
통계적 특징데이터 생성부(350)는 평균 모양 생성부(330)에서 생성된 평균 모양을 이루는 각 특징점에 대하여, 각 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성한다. 이때, 도 4에 도시된 바와 같이, m×n(예를 들어, m=3, n=9) 사이즈의 메인 템플릿(470)을 임의의 특징점에 대한 전체 탐색 범위로 설정하는 것을 예로 들기로 한다. 메인 템플릿(470)은 평균 모양을 이루는 각 특징점(410, 420) 간을 직선으로 연결하여 평균 모양의 경계선(430)을 생성하고, 임의의 특징점(420)에서 이미지 구조(450)에 법선 방향으로 특징점(420)의 양쪽에서 얻어지는 픽셀들로 구성한다. 다음, 메인 템플릿(470) 내에서 얻어질 수 있는 m×o (o<n이며 예를 들어, 3≤o≤2 ) 사이즈의 복수개(여기서는 9개)의 제1 서브 템플릿(510~590)의 그레이 레벨 평균과 그레이 레벨 공분산을 산출한다. 이러한 제1 서브 템플릿의 그레이 레벨 평균과 그레이 레벨 공분산 산출과정은 학습 데이터베이스(210)에 저장된 모든 트레이닝 세트에 대하여 수행됨으로써, 각 특징점에 대하여 특징점 주위의 이미지 구조에 대한 통계적 특징데이터로 제공된다. 즉, 제1 서브템플릿은 임의의 특징점에 대하여 전체 탐색 범위인 3×9 사이즈의 메인 템플릿에서 특징점의 통계적 특징데이터를 생성하는데 사용되는 탐색 단위를 나타내는 것으로서, 예를 들면 3×3 사이즈로 이루어진다.
도 6은 도 3에 있어서 통계적 특징데이터 생성부(250)의 세부적인 구성을 보여주는 블럭도로서, 정규화부(610), 서브 템플릿 입력부(630), 평균 산출부(650), 및 공분산 산출부(670)를 포함하여 이루어진다.
도 6를 참조하면, 정규화부(610)는 설정된 얼굴영역의 특성 즉, 트레이닝 세트에 있는 모든 얼굴영상의 평균적인 특성을 충분히 반영하기 위하여 설정된 얼굴영역의 그레이 레벨 평균을 반영하여 각 특징점에 대한 m×n(예를 들면, 3×9) 메인 템플릿에 포함된 모든 픽셀들의 그레이 레벨을 정규화한다.
각 메인 템플릿에 포함된 픽셀들의 그레이 레벨값에 대한 정규화과정은 다음 수학식 16에서와 같이 수행될 수 있다.
Figure 112005011075137-pat00045
여기서,
Figure 112005011075137-pat00046
는 i 번째 특징점에서 얻어지는 메인 템플릿에 속하는 픽셀들(
Figure 112005011075137-pat00047
)의 그레이 레벨의 평균을 의미하고,
Figure 112005011075137-pat00048
은 각 픽셀(
Figure 112005011075137-pat00049
)과 평균(
Figure 112005011075137-pat00050
) 간의 분산을 의미하고, N은 메인 템플릿에 속하는 샘플의 수를 의미한다. n은 특정한 얼굴영상을 전체적인 특성을 반영하기 위하여 도 7에 도시된 바와 같은 얼굴영역(710)의 그레이 레벨 평균을 의미한다.
이에 따르면, m×n(예를 들면, 3×9) 메인 템플릿을 이용하여 구성된 벡터(g i)에 얼굴영역의 특성이 반영될 수 있다.
서브 템플릿 입력부(630)는 모든 트레이닝 세트에서 평균 모양을 이루는 각 특징점에 대응하는 위치의 랜드마크에 대하여 탐색범위인 메인 템플릿으로부터 얻어지는 복수개의 제1 서브 템플릿을 입력한다.
평균 산출부(650)는 각 특징점에 대하여 입력되는 복수개의 제1 서브 템플릿을 이용하여 각 특징점에 대한 제1 통계적 특징데이터인 템플릿 평균을 산출한다.
공분산 산출부(670)는 각 특징점에 대하여 입력되는 복수개의 제1 서브 템플릿을 이용하여 각 특징점에 대한 제2 통계적 특징데이터인 템플릿 공분산을 산출한다.
도 8은 도 1에 있어서 전처리부(130)의 세부적인 구성을 보여주는 블럭도로서, 흑백화부(810), 얼굴영역 검출부(830), 눈검출부(850), 및 얼굴정규화부(870)를 포함하여 이루어진다.
도 8을 참조하면, 흑백화부(810)는 입력된 얼굴영상이 칼라 이미지인 경우 흑백 이미지로 변환한다. 이에 따르면, RGB 방식의 칼라 이미지에는 색상성분과 함께 휘도성분이 함께 포함되어 있기 때문에 특징점 추출시 밝기 변화에 의한 오류를 방지할 수 있다.
얼굴영역 검출부(830)는 입력된 얼굴영상에서 가버필터(Gabor filter)를 이용하여 얼굴영역을 검출한다. 여기서, 가버필터를 이용한 얼굴영역 검출방법은 입력된 얼굴영상에 다양한 방향성과 주파수를 갖는 가버필터들의 집합을 적용시키고, 그 반응값에 따라서 얼굴영역을 검출하는 것으로서, 영상처리 분야에서 일반적으로 사용되는 전처리과정의 일종이므로 이에 대한 상세한 설명은 생략하기로 한다.
눈검출부(850)는 얼굴영역 검출부(830)를 통해 검출된 얼굴영역에서 원형의 모양을 가지면서 얼굴영역이 상부에 위치하고 흰색 가운데에 검은색을 띄는 부위 인 두 눈의 중심점 즉, 동공을 검출한다. 여기서, 두 눈의 중심점을 가장 먼저 검출하는 이유는 좌우로 대칭을 이루고 있는 두 눈의 중심점이 가장 검출하기 쉽고, 두 눈의 중심점 위치가 결정되면 얼굴의 다른 구성요소들의 위치는 적당한 비례관계에 의해 쉽게 검출될 수 있기 때문이다. 여기서는 눈의 에지를 추출한 후, 추출된 눈의 에지 정보를 기초로 두 눈의 중심점을 검출하는 에지검출방법 혹은 임계값을 기준으로 256 단계의 명도값을 가지는 흑백얼굴영상을 검은색과 흰색으로 구분하고 두 눈의 중심점이 검은색을 띄게 되는 것을 이용하여 검은색을 가진 원형 영역을 두분의 중심점으로 검출하는 이진화방법 등 다양한 방법을 적용할 수 있다. 또한, 이진화방법을 적용하는 경우 임계값을 얼굴영상의 상태에 따라 적절히 변화시키고 눈썹과 눈이 모두 검게 일정한 영역을 가지고 나타날 때까지 임계값을 증가 시켜 가면서 이진화를 수행할 수 있다.
얼굴정규화부(870)는 눈검출부(850)를 통하여 검출된 눈의 위치를 기초로 얼굴영역의 크기를 정규화한다.
도 9는 도 1에 있어서 초기위치 재설정부(150)의 세부적인 구성을 보여주는 블럭도로서, 얼굴영상 입력부(910), 통계적 특징데이터 입력부(930) 및 최적화부(950)를 포함하여 이루어진다.
도 9를 참조하면, 얼굴영상 입력부(910)는 전처리부(도 1의 130)에서 전처리된 얼굴영상을 입력한다.
통계적 특징데이터 입력부(930)는 모양모델 생성부(도 1의 110)로부터 제공되는 평균모양의 특징점의 통계적 특징데이터인 메인 템플릿의 그레이 레벨 평균과 그레이 레벨 공분산을 입력한다.
최적화부(950)는 평균모양을 이루는 각 특징점의 초기위치를 각 특징점에 대하여 제공되는 메인 템플릿의 그레이 레벨 평균과 그레이 레벨 공분산을 이용하여 얼굴영상 입력부(910)에서 입력된 얼굴영상의 포즈에 적응적으로 최적화시켜, 각 특징점에 대하여 새로운 초기위치를 재설정한다.
여기서는 평균모양을 이루는 각 특징점의 초기위치를 입력되는 새로운 영상의 포즈에 따라서 적응적으로 재설정하기 위하여, 여러가지 최적화 기법 중 유전자 알고리즘(Genetic Algorithm)을 이용할 수 있다. 그 외에도 시뮬레이션된 어닐링(Simulated Annealing) 기법과 같은 전역 최적화기법이나, 포웰 방법(Powell's method)이나 Simplex와 같은 로컬 최적화기법을 사용할 수도 있다.
최적화부(950)에서 유전자 알고리즘을 이용한 초기위치 재설정 과정을 설명하면 다음과 같다.
먼저, 예를 들어 76개의 특징점을 나타내는 (x,y) 좌표 쌍으로 이루어진 벡터를 무작위로 120개 생성한다. 하나의 특징점 집단으로 이루어지는 벡터(x)는 다음 수학식 17과 같이 나타낼 수 있다.
Figure 112005011075137-pat00051
t의 값을 예를 들어 4로 설정하고, 상기 수학식 13에서 정의되는 모양 파라미터(bk)의 범위를 만족시킬 수 있도록 모양 파라미터(bk)를 구한다. 4개의 모양 파라미터(b1,b2,b3,b4)를 이용하고, 상기 수학식 11에 의거하여 120개의 벡터(x)를 얻는다. 이에 대하여 좀 더 세부적으로 설명하기로 한다.
먼저, 단계 1에서는 각각 길이가 16 비트인 120 개의 염색체를 랜덤하게 생성한다. 예를 들어, 염색체 1번은 '1001 0011 0101 1110', 염색체 2번은 '0101 1011 1101 1111', 염색체 120번은 '0100 0011 0001 0000'와 같이 생성할 수 있다.
단계 2에서는 4 비트당 하나의 계수(coefficient)를 생성한다. 4 비트가 '1001'인 경우를 예로 들어 계수가 결정되는 과정은 다음 수학식 18과 같다.
Figure 112005011075137-pat00052
여기서, COEFVAR-SCALE 는 3, COEFVAR-STEP 는 15의 값을 가진다. intco 의 최소값과 최대값은 0(0000)과 15(1111)로 intco 는 그 사이의 값을 가진다. 따라서,
Figure 112005011075137-pat00053
은 0에서 2 사이의 값을 가지게 되며, 이와 같이 계수값을 구하게 되면 각 계수값은 수학식 13에 정의된 제한조건을 만족하게 된다.
단계 3에서는 이와 같이 길이가 16인 하나의 염색체를 이용하여 4개의 계수값을 구한다. 염색체 1번인 '1001 0011 0101 1110'를 예를 들면, '1001'은 계수 1, '0011'은 계수 2, '0101'는 계수 3, '1110'은 계수 4를 구성하게 된다.
단계 4에서는 4개의 계수값을 이용하여 벡터 x를 구한다. 벡터 x는 상기 수학식 11에서 t의 값을 4로 설정하여 구할 수 있다. 그 결과, 길이가 16인 염색체 120 개를 이용하여 120 개의 벡터 x를 생성할 수 있다. 여기서 계수값을 4개만 이용하는 이유는 다음과 같다. ASM의 학습 과정에서 PCA를 적용하여 고유벡터와 고유값을 얻을 경우 얻어진 고유값은 그에 대응하는 고유벡터의 분산이 되는데, 따라서 적은 수의 고유벡터를 이용 즉 고유값이 큰 고유벡터를 이용하여 대략적인 x를 구할 수 있다. 더욱 세밀하게 벡터 x를 구하기 위해서는 더 많은 고유벡터를 사용할 수 있다.
상기한 바와 같이 단계 1 내지 4를 수행하여 구해진 120 개의 랜덤 벡터 x는 ASM의 제한 조건을 만족하는 랜덤 벡터이므로 각 x가 평균모양을 유지하게 된다. 따라서 얼굴모양과 전혀 유사하지 않은 벡터 x가 유전자 알고리즘을 통해서 최적의 초기치로 선택될 가능성을 배제할 수 있게 된다.
다음, 얻어진 벡터(x)의 적합도를 평가하기 위하여 사용되는 목적함수(f(x))는 다음 수학식 19와 같이 나타낼 수 있다.
Figure 112005011075137-pat00054
여기서,
Figure 112005011075137-pat00055
는 입력되는 새로운 영상에 대하여 (xi, yi)를 중심으로 예를 들면 3×9 템플릿을 설정한 후, 3×9 템플릿에 포함된 각 픽셀과 이웃하는 픽셀간의 그레이 레벨 차이값에 대하여 수학식 16에 의한 정규화 과정을 수행한 후 얻어진 것이다.
Figure 112005011075137-pat00056
는 모양모델 생성부(210)로부터 제공되는 평균모양(
Figure 112005011075137-pat00057
)을 이루는 i 번째 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 나타내기 위하여 사용된 3×9 템플릿의 평균을 나타낸다.
Figure 112005011075137-pat00058
는 모양모델 생성부(210)로부터 제공되는 평균모양(
Figure 112005011075137-pat00059
)을 이루는 i 번째 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 나타내기 위하여 사용된 3×9 템플릿의 공분산행렬의 역행렬을 나타낸다.
다음, 120개의 벡터(x)와 목적함수(f(x))를 이용하여 유전자 알고리즘을 수 행한다. 이때, 교배(crossover) 확률은 0.98로 설정하고, 선택 메카니즘은 사이즈가 7인 토너먼트 선택법(tournament selection)으로 결정하고, 수렴 조건은 단순히 소정 횟수, 예를 들면 60 회 반복 수행하는 것으로 설정하거나, 상기 목적함수(f(x))의 값이 일정한 범위 이내에 드는 경우로 설정할 수 있다. 이는 Fernando G. Lobo, Georges R. Harik 및 David E. Goldberg가 만든 유전자 알고리즘 프로그램의 소스 코드에 120개의 벡터(x)와 목적함수(f(x))를 입력하여 수행할 수 있다. 상기한 소스 코드는 Fernando G. Lobo, Georges R. Harik 및 David E. Goldberg가 작성한 문헌, "Linkage Learning Genetic Algorithm in C++, IlliGAL Report No. 98006 April 1998"에 자세히 개시되어 있다.
수렴 조건에 따라 최종 구해진 벡터(x)를 이루는 76개의 특징점의 좌표가 입력된 새로운 영상의 포즈에 따라 적응적으로 재설정된 특징점의 초기위치가 된다.
한편, 모델 기반 이미지 해석에 적용되는 유전자 알고리즘에 대해서는 A. Hill 및 C. J. Taylor에 의한 논문 "Model-Based Image Interpretation Using Genetic Algorithm" (Image and Vision Computing, vol 10 no 5, June 1992, pp295-300)에 보다 자세히 기재되어 있다.
도 10은 도 1에 있어서 특징점 추출부(170)의 세부적인 구성을 보여주는 블럭도로서, 얼굴영상 입력부(1010), 평균모양 입력부(1030), 통계적 특징데이터 입력부(1050) 및 모양모델 적응화부(1070)를 포함하여 이루어진다.
도 10을 참조하면, 얼굴영상 입력부(1010)는 전처리부(도 1의 130)에서 전처리된 특징점을 탐색하고자 하는 새로운 얼굴영상을 입력한다.
평균모양 입력부(1030)는 초기위치 재설정부(도 1의 150)에서 초기위치가 재설정된 특징점으로 이루어진 평균모양을 입력한다.
통계적 특징데이터 입력부(1050)는 모양모델 생성부(도 1의 110)으로부터 제공되는 각 특징점의 통계적 특징데이터인 메인 템플릿의 그레이 레벨 평균(
Figure 112005011075137-pat00060
)과 그레이 레벨 공분산(
Figure 112005011075137-pat00061
)을 입력한다.
모양모델 적응화부(1070)는 초기위치가 재설정된 평균모양의 각 특징점의 통계적 특징데이터를 이용하여 모양모델을 입력된 얼굴영상에 적응화시켜, 입력된 얼굴영상의 각 구성요소에 대한 특징점들을 추출한다. 이때, 각 특징점에 대하여 상기 수학식 15에서와 같이 그레이 레벨 평균(
Figure 112005011075137-pat00062
)과 제2 서브 템플릿(g s) 간의 마할라노비스 거리를 산출하고, 일정한 수렴 조건에서 최소값을 갖는 제2 서브 템플릿(g s)으로부터 얻어지는 픽셀의 위치를 특징점의 최종 위치로 결정한다. 여기서, 제2 서브 템플릿은 임의의 특징점에 대하여 전체 탐색 범위인 3×9 사이즈의 메인 템플릿에서 새로운 영상의 특징점을 탐색하는데 사용되는 탐색 단위를 나타내는 것으로서, 예를 들면 3×7 사이즈로 이루어진다. 모양모델 적응화과정에서도 상기 수학식 16에서와 같이 각 특징점에 대한 메인 템플릿에 포함된 모든 픽셀들의 그레이 레벨을 정규화한다.
상기 실시예에서는 단일 해상도에서의 ASM 적응화과정을 예를 들어 설명하였으나, 기본적으로 통상적인 다해상도(Multi-Resolution) ASM 적응화과정이 적용될 수 있다.
상기한 실시예에서는 얼굴영상을 일 예로 들었으나, 얼굴영상 이외에 의료영상에 포함된 관절, 뼈 등에 대해서도 용이하게 적용할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따른 모양모델 생성장치 및 방법은 특징점을 추출하고자 하는 객체에 대한 복수의 트레이닝 세트에서, 평균 모양의 각 특징점에 대한 프로파일로 2차원 템플릿을 사용하여 각 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 얻음으로써 특징점 탐색시 로컬 미니멈에 빠질 가능성을 대폭 감소시킬 수 있다.
또한, 본 발명에 따른 모양모델을 이용한 특징점 자동탐색장치 및 방법은 복 수개의 트레이닝 세트들로부터 얻어져 입력되는 새로운 영상에 로딩되는 모양모델을 이루는 특징점들의 초기위치를, 입력되는 새로운 영상의 포즈에 따라 적응적으로 변경시키고, 각 특징점에 대한 프로파일로 2차원 템플릿을 사용함으로써, 포즈 변화가 심한 영상에서도 객체의 윤곽선이나 객체의 구성요소에 대한 특징점을 정확하게 탐색할 수 있다.
이와 같은 특징점 자동탐색장치 및 방법에 의하여 얼굴내 특징점의 분포 및 위치를 탐색함으로써 얼굴의 구성요소 즉, 눈썹, 눈, 코, 입과 얼굴의 윤곽선 등의 위치를 정확하게 찾을 수 있고, 그 결과 구성요소 기반 얼굴인식(component-based face recognition)시 인식율을 보다 향상시킬 수 있다. 또한, 특징점 탐색결과를 이용하여 3차원 얼굴인식을 위한 얼굴정규화를 수행할 수 있다. 또한, 특징점 탐색결과를 사용자의 얼굴을 모방한 캐리커쳐(caricature) 혹은 아바타 생성에 적용할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (19)

  1. 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 학습하여, 상기 객체의 평균모양과 상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 포함하는 모양모델을 생성하는 모양모델 생성부;
    입력영상의 포즈에 따라서 상기 평균모양을 이루는 각 특징점의 초기위치를 재설정하는 초기위치 재설정부; 및
    상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 이용하여 상기 초기위치가 재설정된 상기 평균모양을 상기 입력영상에 적응화시켜 상기 입력영상의 특징점을 추출하는 특징점 추출부를 포함하는 것을 특징으로 하는 객체의 특징점 탐색장치.
  2. 제1 항에 있어서, 상기 모양모델 생성부는
    객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 저장한 학습 데이터베이스;
    상기 복수의 트레이닝 세트의 평균모양을 생성하는 평균모양 생성부; 및
    상기 평균모양을 이루는 각 특징점의 2차원 메인 템플릿에 대하여, 2차원 서브 템플릿을 탐색단위로 하여 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성하는 통계적 특징데이터 생성부를 포함하는 것을 특징으로 하는 객체의 특징점 탐색장치.
  3. 제2 항에 있어서, 상기 통계적 특징데이터 생성부는 상기 객체에서 그 특성을 잘 나타내는 일정한 영역의 그레이레벨 평균을 이용하여 각 특징점의 2차원 메인 템플릿에 속한 모든 픽셀에 대하여 정규화를 수행하는 것을 특징으로 하는 객체의 특징점 탐색장치.
  4. 제1 항에 있어서, 상기 초기위치 재설정부는 상기 입력영상에 대하여 얻어진 복수의 특징점으로 이루어지는 복수의 개체군에 대하여 상기 각 특징점의 통계적 특성데이터로부터 생성되는 목적함수를 이용하여 유전자 알고리즘을 수행하는 것을 특징으로 하는 객체의 특징점 탐색장치.
  5. 제1 항에 있어서, 상기 특징점 추출부는
    상기 입력영상에서 상기 초기위치가 재설정된 평균모양을 이루는 각 특징점의 2차원 메인 템플릿 내에서 2차원 서브 템플릿을 탐색단위로 한 모양모델 적응화과정을 수행하여 상기 입력영상의 특징점을 추출하는 모양모델 적응화부를 포함하는 것을 특징으로 하는 객체의 특징점 탐색장치.
  6. 제5 항에 있어서, 상기 모양모델 적응화부는 상기 입력영상에서 그 특성을 잘 나타내는 일정한 영역의 그레이레벨 평균을 이용하여 각 특징점의 2차원 메인 템플릿에 속한 모든 픽셀에 대하여 정규화를 수행하는 것을 특징으로 하는 객체의 특징점 탐색장치.
  7. 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 학습하여, 상기 객체의 평균모양과 상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 포함하는 모양모델을 생성하는 단계;
    입력영상의 포즈에 따라서 상기 평균모양을 이루는 각 특징점의 초기위치를 재설정하는 단계; 및
    상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 이용하여 상기 초기위치가 재설정된 상기 평균모양을 상기 입력영상에 적응화시켜 상기 입력영상의 특징점을 추출하는 단계를 포함하는 것을 특징으로 하는 객체의 특징점 탐색방법.
  8. 제7 항에 있어서, 상기 모양모델 생성단계는
    객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 저장한 학습 데이터베이스를 제공하는 단계;
    상기 복수의 트레이닝 세트의 평균모양을 생성하는 단계; 및
    상기 평균모양을 이루는 각 특징점의 2차원 메인 템플릿에 대하여, 2차원 서브 템플릿을 탐색단위로 하여 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 객체의 특징점 탐색방법.
  9. 제8 항에 있어서, 상기 통계적 특징데이터 생성단계에서는 다음 수학식
    Figure 112005011075137-pat00063
    (여기서,
    Figure 112005011075137-pat00064
    는 i 번째 특징점에서 얻어지는 메인 템플릿에 속하는 픽셀들(
    Figure 112005011075137-pat00065
    )의 그레이 레벨의 평균을 의미하고,
    Figure 112005011075137-pat00066
    은 각 픽셀(
    Figure 112005011075137-pat00067
    )과 평균(
    Figure 112005011075137-pat00068
    ) 간의 분산을 의미하고, N은 메인 템플릿에 속하는 샘플의 수를 의미한다. n은 상기 일정한 영역의 그레이 레벨 평균을 의미한다.)
    을 이용하여 각 특징점의 2차원 메인 템플릿에 속한 모든 픽셀에 대하여 정규화를 수행하는 것을 특징으로 하는 객체의 특징점 탐색방법.
  10. 제7 항에 있어서, 상기 초기위치 재설정단계는 상기 입력영상에 대하여 얻어진 복수의 특징점으로 이루어지는 복수의 개체군에 대하여 상기 각 특징점의 통계적 특성데이터로부터 생성되는 목적함수를 이용하여 유전자 알고리즘을 수행하는 것을 특징으로 하는 객체의 특징점 탐색방법.
  11. 제10 항에 있어서, 상기 목적함수는 다음 수학식
    Figure 112005011075137-pat00069
    (여기서,
    Figure 112005011075137-pat00070
    는 입력영상에 대하여 (xi, yi)를 중심으로 메인 템플릿을 설정한 후, 메인 템플릿에 포함된 각 픽셀과 이웃하는 픽셀간의 그레이 레벨 차이값에 대하여 정규화 과정을 수행한 후 얻어진 값을 나타내고,
    Figure 112005011075137-pat00071
    는 평균모양(
    Figure 112005011075137-pat00072
    )을 이루는 i 번째 특징점에 대한 메인 템플릿의 평균을 나타내고,
    Figure 112005011075137-pat00073
    는 평균모양(
    Figure 112005011075137-pat00074
    )을 이루는 i 번째 특징점의 메인 템플릿의 공분산행렬의 역행렬을 나타낸다.)
    으로 정의되는 것을 특징으로 하는 객체의 특징점 탐색방법.
  12. 제10 항에 있어서, 상기 특징점 추출단계는
    상기 입력영상에서 상기 초기위치가 재설정된 평균모양을 이루는 각 특징점의 2차원 메인 템플릿 내에서 2차원 서브 템플릿을 탐색단위로 한 모양모델 적응화과정을 수행하여 상기 입력영상의 특징점을 추출하는 단계를 포함하는 것을 특징으로 하는 객체의 특징점 탐색방법.
  13. 제12 항에 있어서, 상기 모양모델 적응화단계에서는 다음 수학식
    Figure 112005011075137-pat00075
    (여기서,
    Figure 112005011075137-pat00076
    는 i 번째 특징점에서 얻어지는 메인 템플릿에 속하는 픽셀들(
    Figure 112005011075137-pat00077
    )의 그레이 레벨의 평균을 의미하고,
    Figure 112005011075137-pat00078
    은 각 픽셀(
    Figure 112005011075137-pat00079
    )과 평균(
    Figure 112005011075137-pat00080
    ) 간의 분산을 의미하고, N은 메인 템플릿에 속하는 샘플의 수를 의미한다. n은 입력영상의 일정한 영역의 그레이 레벨 평균을 의미한다.)
    을 이용하여 각 특징점의 2차원 메인 템플릿에 속한 모든 픽셀에 대하여 정규화를 수행하는 것을 특징으로 하는 객체의 특징점 탐색방법.
  14. 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 학습하여, 상기 객체의 평균모양과 상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 포함하는 모양모델을 생성하는 단계;
    입력영상의 포즈에 따라서 상기 평균모양을 이루는 각 특징점의 초기위치를 재설정하는 단계; 및
    상기 평균모양을 이루는 각 특징점의 통계적 특징데이터를 이용하여 상기 초 기위치가 재설정된 상기 평균모양을 상기 입력영상에 적응화시켜 상기 입력영상의 특징점을 추출하는 단계를 포함하는 객체의 특징점 탐색방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 저장한 학습 데이터베이스;
    상기 복수의 트레이닝 세트의 평균모양을 생성하는 평균모양 생성부; 및
    상기 평균모양을 이루는 각 특징점의 2차원 메인 템플릿에 대하여, 2차원 서브 템플릿을 탐색단위로 하여 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성하는 통계적 특징데이터 생성부를 포함하는 것을 특징으로 하는 객체의 모양모델 생성장치.
  16. 제15 항에 있어서, 상기 통계적 특징데이터 생성부는 상기 객체에서 그 특성을 잘 나타내는 일정한 영역의 그레이레벨 평균을 이용하여 각 특징점의 2차원 메인 템플릿에 속한 모든 픽셀에 대하여 정규화를 수행하는 것을 특징으로 하는 객체의 모양모델 생성장치.
  17. 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 저장한 학습 데이터베이스를 제공하는 단계;
    상기 복수의 트레이닝 세트의 평균모양을 생성하는 단계; 및
    상기 평균모양을 이루는 각 특징점의 2차원 메인 템플릿에 대하여, 2차원 서브 템플릿을 탐색단위로 하여 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 객체의 모양모델 생성방법.
  18. 제17 항에 있어서, 상기 통계적 특징데이터 생성단계에서는 다음 수학식
    Figure 112005011075137-pat00081
    (여기서,
    Figure 112005011075137-pat00082
    는 i 번째 특징점에서 얻어지는 메인 템플릿에 속하는 픽셀들(
    Figure 112005011075137-pat00083
    )의 그레이 레벨의 평균을 의미하고,
    Figure 112005011075137-pat00084
    은 각 픽셀(
    Figure 112005011075137-pat00085
    )과 평균(
    Figure 112005011075137-pat00086
    ) 간의 분산을 의미하고, N은 메인 템플릿에 속하는 샘플의 수를 의미한다. n은 상기 일정한 영역의 그레이 레벨 평균을 의미한다.)
    을 이용하여 각 특징점의 2차원 메인 템플릿에 속한 모든 픽셀에 대하여 정규화를 수행하는 것을 특징으로 하는 객체의 모양모델 생성방법.
  19. 객체에 대하여 복수개의 특징점이 레이블링되어 있는 복수의 트레이닝 세트를 저장한 학습 데이터베이스를 제공하는 단계;
    상기 복수의 트레이닝 세트의 평균모양을 생성하는 단계; 및
    상기 평균모양을 이루는 각 특징점의 2차원 메인 템플릿에 대하여, 2차원 서브 템플릿을 탐색단위로 하여 특징점 주위의 이미지 구조에 대한 통계적 특징데이터를 생성하는 단계를 포함하는 객체의 모양모델 생성방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050017216A 2005-03-02 2005-03-02 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 KR100647322B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050017216A KR100647322B1 (ko) 2005-03-02 2005-03-02 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
US11/365,688 US7711156B2 (en) 2005-03-02 2006-03-02 Apparatus and method for generating shape model of object and apparatus and method for automatically searching for feature points of object employing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050017216A KR100647322B1 (ko) 2005-03-02 2005-03-02 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060097074A KR20060097074A (ko) 2006-09-13
KR100647322B1 true KR100647322B1 (ko) 2006-11-23

Family

ID=37010397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050017216A KR100647322B1 (ko) 2005-03-02 2005-03-02 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법

Country Status (2)

Country Link
US (1) US7711156B2 (ko)
KR (1) KR100647322B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871557B1 (ko) 2007-04-27 2008-12-01 금오공과대학교 산학협력단 영상-기반 보안을 위한 얼굴 검출 및 판별 방법
KR101334794B1 (ko) * 2012-08-08 2013-11-29 성균관대학교산학협력단 특징정보를 이용하는 꽃 인식 장치 및 방법
WO2024005619A1 (ko) * 2022-06-28 2024-01-04 주식회사 브이알크루 비주얼 로컬라이제이션을 위한 방법 및 장치

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100647322B1 (ko) * 2005-03-02 2006-11-23 삼성전자주식회사 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
US7760917B2 (en) * 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US8036764B2 (en) * 2007-11-02 2011-10-11 Caterpillar Inc. Virtual sensor network (VSN) system and method
US8224468B2 (en) * 2007-11-02 2012-07-17 Caterpillar Inc. Calibration certificate for virtual sensor network (VSN)
US7917333B2 (en) 2008-08-20 2011-03-29 Caterpillar Inc. Virtual sensor network (VSN) based control system and method
BRPI1008771A2 (pt) 2009-02-27 2019-07-02 Body Surface Translations Inc estimativa de parâmetros físicos usando representações tridimensionais
JP5106459B2 (ja) * 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
US20120230583A1 (en) * 2009-11-20 2012-09-13 Nec Corporation Object region extraction device, object region extraction method, and computer-readable medium
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
US8755570B2 (en) * 2011-04-27 2014-06-17 Steve Gomas Apparatus and method for estimation of livestock weight
US8793004B2 (en) 2011-06-15 2014-07-29 Caterpillar Inc. Virtual sensor system and method for generating output parameters
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US9286323B2 (en) * 2013-02-25 2016-03-15 International Business Machines Corporation Context-aware tagging for augmented reality environments
US20150100289A1 (en) * 2013-10-09 2015-04-09 Technion Research & Development Foundation Limited Method and system for shapewise comparison
JP6325405B2 (ja) * 2014-09-22 2018-05-16 株式会社東芝 特徴点検出装置、方法及びプログラム
US10134177B2 (en) * 2015-01-15 2018-11-20 Samsung Electronics Co., Ltd. Method and apparatus for adjusting face pose
KR101700030B1 (ko) * 2015-04-29 2017-01-25 포항공과대학교 산학협력단 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치
EP3136290A1 (en) 2015-08-28 2017-03-01 Thomson Licensing Method and device for determining the shape of an object represented in an image, corresponding computer program product and computer readable medium
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
CN105184286A (zh) * 2015-10-20 2015-12-23 深圳市华尊科技股份有限公司 一种车辆检测方法及检测装置
JP6348093B2 (ja) * 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
KR102518243B1 (ko) * 2016-01-05 2023-04-06 한국전자통신연구원 관상학적 특징 정보를 이용한 얼굴인식 장치 및 방법
CN111127446B (zh) * 2019-12-26 2023-04-07 中国科学院合肥物质科学研究院 一种面向步态分析的足底压力图像分区方法
KR102374275B1 (ko) * 2020-02-11 2022-03-15 (주)헬스허브 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치
KR102363721B1 (ko) * 2020-03-05 2022-02-16 (주)헬스허브 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법
KR102525231B1 (ko) * 2020-11-04 2023-04-24 주식회사 엔씨소프트 기계 학습 모델 생성 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010087487A (ko) * 2000-03-07 2001-09-21 윤종용 가버 필터링 반응값의 차원 공간 변환을 이용한 얼굴 인식방법 및 그 장치
KR20020014298A (ko) * 2000-08-17 2002-02-25 윤종용 캐리커처 영상 생성 장치 및 방법
JP2003271958A (ja) 2002-03-15 2003-09-26 Sony Corp 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置
JP2003296735A (ja) 2002-03-29 2003-10-17 Nec Corp 顔メタデータ生成方法および顔メタデータ生成装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002095677A2 (en) * 2000-03-08 2002-11-28 Cyberextruder.Com, Inc. Apparatus and method for generating a three-dimensional representation from a two-dimensional image
JP4483042B2 (ja) * 2000-07-12 2010-06-16 コニカミノルタホールディングス株式会社 影成分除去装置および影成分除去方法
US6845171B2 (en) * 2001-11-19 2005-01-18 Microsoft Corporation Automatic sketch generation
US7200266B2 (en) * 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
TWI226589B (en) * 2003-04-28 2005-01-11 Ind Tech Res Inst Statistical facial feature extraction method
US7454039B2 (en) * 2004-07-12 2008-11-18 The Board Of Trustees Of The University Of Illinois Method of performing shape localization
KR100647322B1 (ko) * 2005-03-02 2006-11-23 삼성전자주식회사 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010087487A (ko) * 2000-03-07 2001-09-21 윤종용 가버 필터링 반응값의 차원 공간 변환을 이용한 얼굴 인식방법 및 그 장치
KR20020014298A (ko) * 2000-08-17 2002-02-25 윤종용 캐리커처 영상 생성 장치 및 방법
JP2003271958A (ja) 2002-03-15 2003-09-26 Sony Corp 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置
JP2003296735A (ja) 2002-03-29 2003-10-17 Nec Corp 顔メタデータ生成方法および顔メタデータ生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871557B1 (ko) 2007-04-27 2008-12-01 금오공과대학교 산학협력단 영상-기반 보안을 위한 얼굴 검출 및 판별 방법
KR101334794B1 (ko) * 2012-08-08 2013-11-29 성균관대학교산학협력단 특징정보를 이용하는 꽃 인식 장치 및 방법
WO2024005619A1 (ko) * 2022-06-28 2024-01-04 주식회사 브이알크루 비주얼 로컬라이제이션을 위한 방법 및 장치

Also Published As

Publication number Publication date
KR20060097074A (ko) 2006-09-13
US7711156B2 (en) 2010-05-04
US20060210168A1 (en) 2006-09-21

Similar Documents

Publication Publication Date Title
KR100647322B1 (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN110363047B (zh) 人脸识别的方法、装置、电子设备和存储介质
EP2905724B1 (en) Object detection system and method
US7058209B2 (en) Method and computer program product for locating facial features
US7995841B2 (en) Hybrid graph model for unsupervised object segmentation
CN110909618B (zh) 一种宠物身份的识别方法及装置
US20160275339A1 (en) System and Method for Detecting and Tracking Facial Features In Images
US20080123975A1 (en) Abnormal Action Detector and Abnormal Action Detecting Method
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
US11380010B2 (en) Image processing device, image processing method, and image processing program
US20090141982A1 (en) Information processing apparatus, information processing method, computer program, and recording medium
JP2008506201A (ja) 視覚追跡のための適応型判別生成モデル及び逐次的フィッシャー判別分析並びにアプリケーション
CN112581540B (zh) 一种大场景下基于人体姿态估计的相机标定方法
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11748864B2 (en) Person verification device and method and non-transitory computer readable media
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
US10657625B2 (en) Image processing device, an image processing method, and computer-readable recording medium
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
CN115661860A (zh) 一种狗行为动作识别技术的方法、装置、系统及存储介质
EP3076370B1 (en) Method and system for selecting optimum values for parameter set for disparity calculation
KR20130121360A (ko) 이미지 정렬에 대한 최적 그래디언트 추적
JP6814374B2 (ja) 検出方法、検出プログラム及び検出装置
Lacey et al. Smart Feature Detection Using an Invariance Network Architecture.
CN112488058A (zh) 面部跟踪方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121016

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141022

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee