KR20150021526A - 데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법 - Google Patents

데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법 Download PDF

Info

Publication number
KR20150021526A
KR20150021526A KR20147035864A KR20147035864A KR20150021526A KR 20150021526 A KR20150021526 A KR 20150021526A KR 20147035864 A KR20147035864 A KR 20147035864A KR 20147035864 A KR20147035864 A KR 20147035864A KR 20150021526 A KR20150021526 A KR 20150021526A
Authority
KR
South Korea
Prior art keywords
individual
video camera
frame
face
color video
Prior art date
Application number
KR20147035864A
Other languages
English (en)
Inventor
하르샤바르드하나 나라야나 키커리
마이클 에프 코에니그
제프리 콜
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20150021526A publication Critical patent/KR20150021526A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Collating Specific Patterns (AREA)

Abstract

시간에 따른 그리고 개인이 한 환경 내를 이동함에 따른 개인의 얼굴의 특성을 수집하여 사기 개인에 대한 얼굴 특성의 훈련 데이터베이스를 생성하는 것을 일반적으로 포함하는 얼굴 인식 훈련 데이터베이스 생성 기법 실시예가 제공된다. 얼굴 특성이 시간에 따라 캡처되기 때문에, 이들은 다양한 각도와 거리, 여러 다른 해상도 및 여러 다른 환경 조건(가령, 조명 및 혼탁 조건) 하에서 관찰된 개인의 얼굴을 나타낼 것이다. 덧붙여, 개인의 얼굴 특성이 주기적으로 수집되는 장기간 동안, 이들 특성은 개인의 외관의 변화를 나타낼 수 있다. 이는 얼굴 인식 시스템에서 사용되기 위한 풍부한 훈련 자원을 생성한다. 덧붙여, 개인의 얼굴 인식 훈련 데이터베이스가 얼굴 인식 시스템에 의해 필요해지기 전에 구축될 수 있기 때문에, 사용되면 훈련이 더 빨라질 것이다.

Description

데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법{SELF LEARNING FACE RECOGNITION USING DEPTH BASED TRACKING FOR DATABASE GENERATION AND UPDATE}
이미지에 나타난 개인을 개인 얼굴의 외관으로부터 인식하는 문제가 수년 동안 연구되었다. 얼굴 인식 시스템 및 프로세스는 본질적으로 개인 얼굴의 소정 유형의 모델을 입력 이미지로부터 추출된 개인 얼굴의 이미지 또는 특성(characterization)에 비교함으로써 동작한다. 일반적으로 개인 얼굴의 이미지(또는 이의 특성)를 이용해 얼굴 인식 시스템을 훈련시킴으로써 이들 얼굴 모델은 회득된다. 따라서 일반적으로 얼굴 인식 시스템을 훈련시키기 위해 얼굴 이미지 또는 특성을 훈련하는 데이터베이스가 필요하다.
개요
본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예는 시간에 따라 그리고 개인이 한 환경을 통과하여 이동함에 따라 캡처된 개인의 얼굴의 특성(characterization)을 수집하여, 상기 개인에 대한 얼굴 특성의 훈련 데이터베이스를 생성하는 것을 일반적으로 포함한다. 하나의 실시예에서, 환경에서 검출된 개인 각각에 대해 얼굴 인식 훈련 데이터베이스를 생성하기 위해 컴퓨터로 구현되는 프로세스가 채용된다. 상기 프로세스는 동시-캡처되는 프레임 쌍(contemporaneously-captured frame pair)의 시퀀스를 입력하는 것으로 시작된다. 프레임 쌍 각각은 컬러 비디오 카메라로부터 출력된 비디오 및 심도 비디오 카메라로부터 출력된 프레임을 포함한다. 그 후, 얼굴 검출 방법 및 컬러 비디오 카메라 프레임이 사용되어 환경 내 잠재적 개인(potential person)을 검출할 수 있다. 덧붙여, 모션 검출 방법 및 심도 비디오 카메라 프레임이 사용되어 상기 환경 내 잠재적 개인을 검출할 수 있다.
앞서 언급된 얼굴 검출 방법 및 모션 검출 방법을 통해 생성된 검출 결과가 사용되어 환경 내 한 명 이상의 개인의 위치를 결정할 수 있다. 얼굴 검출 방법을 통해 생성된 검출 결과는 검출된 잠재적 개인 각각에 대해 개인의 얼굴을 나타내는 컬러 비디오 카메라 프레임의 일부분의 얼굴 특성을 더 포함한다. 모션 검출 방법을 통해 단독으로 검출된 개인 각각에 대해, 상기 프로세스는 컬러 비디오 카메라의 동시-캡처된 프레임 내 상기 개인의 대응하는 위치를 식별하는 것과 상기 컬러 비디오 카메라 프레임의 상기 일부분의 얼굴 특성을 생성하는 것을 더 포함한다.
환경 내 검출된 개인 각각에 대해, 상기 개인에 대해 생성된 얼굴 특성 각각은 상기 개인에 대해 특정하게 구축된 미확인 개인 식별자에게 할당되고 상기 프로세스를 구현하도록 사용되는 컴퓨터와 연관된 메모리에 저장된다. 그 후 개인 각각의 신원을 확인하기 위한 시도가 이뤄진다. 상기 시도가 한 개인에 대해 성공적인 경우, 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당된다.
지금까지의 개요는 이하의 상세한 설명에서 더 상세히 기재될 개념들의 모음을 단순화된 형태로 소개하기 위해 제공된 것임을 알아야 한다. 이 개요는 청구되는 발명의 핵심 특징 또는 필수 특징을 식별하려는 것이 아니며 본 발명의 범위를 결정하는 데 보조하기 위해 사용되는 것이 아니다.
본 발명의 특정 특징, 양태, 및 이점이 다음의 기재, 이하의 특허청구범위, 및 첨부된 도면과 관련하여 더 잘 이해될 것이다.
도 1a-b는 한 환경에서 검출되는 개인 각각에 대한 얼굴 인식 훈련 데이터베이스를 생성하기 위한 컴퓨터로 구현되는 프로세스의 하나의 실시예를 일반적으로 정리한 흐름도이다.
도 2a-e는 동시-캡처된 프레임 쌍의 새 시퀀스를 기초로 한 환경에서 검출된 개인 각각에 대한 얼굴 인식 훈련 데이터베이스를 생성 또는 보충하기 위한 컴퓨터로 구현되는 프로세스의 하나의 실시예를 일반적으로 정리한 흐름도이다.
도 3은 개인이 개인을 식별하기 위한 지정 횟수를 초과한 시도 동안 식별되지 않은 채 남아 있을 때마다 미확인 개인 식별자에 할당된 얼굴 특성을 폐기하기 위한 컴퓨터로 구현되는 프로세스의 하나의 실시예를 정리한 흐름도이다.
도 4는 지정 최대 거리를 초과하는 컬러 비디오 카메라로부터의 거리에서 환경 내에 위치하는 개인의 줌 인된 이미지를 캡처하기 위한 컴퓨터로 구현되는 프로세스의 하나의 실시예를 정리한 흐름도이다.
도 5a-c는 서로 다른 시점에서 장면을 캡처하는 컬러 비디오 카메라와 심도 비디오 카메라의 추가 쌍에 의해 출력되는 동시-캡처되는 프레임 쌍의 시퀀스를 기초로 하여 한 환경에서 검출되는 개인 각각에 대한 얼굴 인식 훈련 데이터베이스를 생성 또는 보충하기 위한 컴퓨터로 구현되는 프로세스의 하나의 실시예를 일반적으로 정리하는 흐름도이다.
도 6a-f는 환경 내 상이한 장면을 캡처하는 컬러 비디오 카메라와 심도 비디오 카메라의 추가 쌍에 의해 출력된 동시-캡처된 프레임 쌍의 시퀀스를 기초로 하여 환경 내에서 검출된 개인 각각에 대한 얼굴 인식 훈련 데이터베이스를 생성 또는 보충하기 위한 컴퓨터로 구현되는 프로세스의 하나의 실시예를 일반적으로 정리하는 흐름도이다.
도 7a-d는 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예에서 사용되기 위한 컴퓨터로 구현되는 모션 검출 프로세스의 하나의 실시예를 일반적으로 정리한 흐름도이다.
도 8은 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예가 구현될 수 있는 적절한 이동형 로봇 장치의 단순화된 구성요소도이다.
도 9는 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법을 구현하기 위한 예시적 시스템을 구성하는 범용 컴퓨팅 장치를 도시한 다이어그램이다.
얼굴 인식 훈련 데이터베이스(face recognition training database) 생성 기법 실시예에 대한 이하의 기재에서, 본 명세서의 일부를 형성하며 상기 기법이 실시될 수 있는 특정 실시예를 예시로서 도시한 첨부된 도면이 참조된다. 본 발명의 기법의 범위 내에서 또 다른 실시예가 사용될 수 있고 구조적 변경이 이뤄질 수 있음이 자명하다.
또한 명료성을 위해 특정 용어가 본 발명을 기재하는 데 사용될 것이며, 본 발명이 이렇게 선택된 특정 용어에 한정되는 것을 의도한 것은 아님이 자명하다. 덧붙여, 각각의 특정 용어는 유사한 목적을 이루기 위해 일반적으로 유사한 방식으로 동작하는 이들의 기술적 균등물을 모두 포함하는 것이 자명할 것이다. 본 명세서에서, "하나의 실시예" 또는 "실시예"라는 언급은 상기 실시예와 관련하여 기재되는 특정 특징부, 구조물, 또는 특징이 본 발명의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 본 명세서의 다양한 위치에서의 "하나의 실시예에서"라는 구문의 등장이 반드시 모두 동일한 실시예를 지칭하는 것은 아니며, 개별 또는 대안적 실시예가 타 실시예와 상호 배타적인 것도 아니다. 덧붙이자면, 본 발명의 하나 이상의 실시예를 나타내는 프로세스 흐름의 순서가 본질적으로 임의의 특정 순서를 의미하는 것은 아니며 본 발명의 어떠한 한정도 의미하는 것이 아니다.
1.0 얼굴 인식 시스템에서 사용되기 위한 훈련 데이터베이스 생성
본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예가 일반적으로 시간에 따라 개인이 한 환경 내에 이동함에 따라 캡처된 개인 얼굴의 특성(characterization)을 수집하여 상기 개인에 대한 얼굴 특성들의 훈련 데이터베이스를 생성하는 것을 포함한다. 얼굴 특성은 시간에 따라 캡처되기 때문에, 다양한 각도 및 거리, 여러 다른 해상도, 및 여러 다른 환경적 조건(가령, 조명 및 혼탁(haze) 조건) 하에서 본 개인 얼굴을 나타낼 것이다. 또한 덧붙여, 개인의 얼굴 특성이 주기적으로 수집되는 긴 시간 동안, 이들 특성은 개인의 외관의 변화(evolution)를 나타낼 수 있다. 예를 들면, 개인의 체중이 증가하거나 감소할 수 있고, 개인의 얼굴의 모(hair)가 자라거나 제거됐을 수 있으며, 머리모양을 바꿨거나, 여러 다른 모자를 쓰는 경우 등이 있다. 따라서 최종 훈련 데이터베이스가 훈련이 시작되기 전부터 구축되고 채워질 수 있으며, 앞서 언급된 개인의 표정 및 얼굴 외관의 변경을 캡처하기 위해 시간에 따라 추가될 수 있다. 이는 얼굴 인식 시스템에서 사용되기 위한 풍부한 훈련 자원을 생성한다. 덧붙여, 개인 얼굴 인식 훈련 데이터베이스가 얼굴 인식 시스템에 의해 요구되기 전에 구축될 수 있기 때문에, 채용되면, 훈련이 더 빨라질 것이다. 또한, 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예는 한 환경에서 발견되는 복수의 사람에 대해 훈련 데이터베이스를 생성할 수 있다. 또한 기존 데이터베이스가 얼굴의 점진적 변경(incremental change)에 의해 업데이트될 수 있다. 이로 인해서, 시간 주기 동안 이들 특징이 실질적으로 변경된 때라도 개인의 인식을 가능하게 하기에 충분히 점진적으로, 개인 얼굴 변경이 캡처될 수 있다. 예를 들어, 한 개인이 턱수염을 기르는 중인 경우, 그의 얼굴 특징이 천천히 변경될 것이다. 그러나 날마다 변경은 작지만 충분히 부분적인 턱수염을 갖는 새 얼굴이 데이터베이스에 추가될 수 있다. 이러한 방식으로, 개인의 턱수염이 완전히 자랐을 때, 그의 얼굴을 이용해 어떠한 수동 훈련도 이뤄지지 않았어도 그는 여전히 인식될 수 있다. 동일한 원리가 나이, 체중 등으로 인한 임의의 점진적 변경에 적용된다.
본 명세서 전체에서 사용될 때 "환경(environment)"이라는 용어는 한 개인의 임의의 외부 환경으로서 넓게 해석되어야 할 것이다. 이는 실내 설정, 실외 설정, 또는 둘의 조합을 포함한다.
1.1 얼굴 인식 훈련 데이터베이스를 생성하기 위한 프로세스
도 1a-b를 참조하면, 한 환경 내에 위치하는 것으로 검출되는 각각의 개인에 대해 얼굴 인식 훈련 데이터베이스를 생성하기 위한, 컴퓨터로 구현되는 프로세스의 하나의 실시예가 제공된다. 프로세스는 동시에 캡처되는 프레임 쌍(frame pair)들의 시퀀스를 입력하는 동작(프로세스 동작(100))으로 시작된다. 각각의 프레임 쌍은 컬러 비디오 카메라(color video camera)로부터 출력된 프레임과 심도 비디오 카메라(depth video camera)로부터 출력된 프레임을 포함한다. 각각의 카메라가 동시에 장면(scene)의 한 이미지를 캡처하도록 상기 카메라들은 동기화된다. 따라서 장면이 캡처될 때마다 컬러 및 심도 프레임의 동시 쌍(contemporaneous pair)이 생성된다. 그 후, 환경에서 잠재적 개인(potential person)을 검출하기 위해 얼굴 검출 방법 및 컬러 비디오 카메라 프레임이 사용된다(프로세스 동작(102)). 앞서 언급된 작업을 이루기 위해 컬러 비디오 프레임을 사용하는 임의의 적절한 얼굴 검출 방법이 채용될 수 있다. 덧붙여, 환경 내 잠재적 개인을 검출하기 위해 모션 검출 방법 및 심도 비디오 카메라 프레임이 사용된다(프로세스 동작(104)). 앞서 언급된 작업을 이루기 위해 심도 비디오 프레임을 사용하는 임의의 적절한 모션 검출 방법이 채용될 수 있음이 자명하다. (도 1a에 도시된 바와 같이) 하나의 구현예에서, 프로세스 동작(102 및 104)은 적절하게 동시에 이뤄진다.
앞서 언급된 얼굴 및 모션 검출 방법을 통해 생성된 검출 결과가 사용되어 환경 내 한 명 이상의 개인의 위치를 결정할 수 있다(프로세스 동작(106)). 또한 얼굴 검출 방법을 통해 생성된 검출 결과는 검출되는 각각의 잠재적 개인에 대해, 개인의 얼굴을 나타내는 컬러 비디오 카메라 프레임의 일부분의 얼굴 특성(facial characterization)을 포함한다. 얼굴 특성의 유형은 채용된 특정 얼굴 검출 방법에 특정적이고 생성되는 훈련 데이터베이스를 사용할 앞서 언급된 얼굴 인식 시스템과 호환 가능하다. 그 후 모션 검출 방법을 통해서 단독으로 검출된 개인 각각이 식별되고(프로세스 동작(108)), 각각의 식별된 개인의 대응하는 위치가 컬러 비디오 카메라의 동시-캡처된(contemporaneously-captured) 프레임에서 발견된다(프로세스 동작(110)). 덧붙여, 컬러 비디오 카메라 프레임의 상기 일부분의 얼굴 특성이 식별된 개인 각각에 대해 생성된다(프로세스 동작(112)).
프로세스는 환경 내에서 검출된 개인들 중 앞서 선택되지 않은 개인을 선택하는 것으로 계속된다(프로세스 동작(114)). 선택된 개인에 대해 생성된 얼굴 특성 각각이 해당 개인에 대해 특정하게 구축된 미확인 개인 식별자(unknown person identifier)에게 할당되고(프로세스 동작(116)), 프로세스를 구현하기 위해 사용되는 컴퓨터와 연관된 메모리에 저장된다(프로세스 동작(118)). 상기 언급된 컴퓨터는, 예를 들어, 본 명세서의 예시적 동작 환경 섹션에서 기재된 컴퓨터들 중 하나이다.
지금까지의 절차에서 얼굴 특성이 미확인 개인 식별자에게 할당되었음을 알 것이다. 이러한 방식으로 검출된 개인의 신원이 아직 확인되지 않은 경우라도, 얼굴 특성이 생성되고 저장된다. 따라서 검출된 개인의 신원이 결국 확정되는 경우, 저장된 얼굴 특성이 해당 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당될 수 있다. 이를 위해, 프로세스가 개인의 신원을 확인(ascertain)하기 위해 시도함으로써 계속된다(프로세스 동작(120)). 이 식별 동작은 임의의 적절한 종래의 방법, 가령, 미확인 개인이 식별 정보를 제공하도록 컴퓨터와 대화하게끔 초대하는 방법을 이용해 이뤄진다. 그 후, 시도가 성공적이었는지 여부가 결정된다(프로세스 동작(122)). 성공적이었던 경우, 선택된 개인에 대해 구축된 미확인 개인 식별자에게 할당된 얼굴 특성 각각이 해당 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스로 재할당된다(프로세스 동작(124)). 프로세스 동작(120)의 시도가 성공적이었는지 여부와 무관하게, 그 다음으로, 모든 검출된 개인이 선택되었는지 여부가 결정된다(프로세스 동작(126)). 모두 선택된 것이 아닌 경우, 모든 검출된 개인이 선택되고 고려될 때까지, 프로세스 동작(114 내지 126)이 반복된다. 그 때 프로세스가 종료된다.
1.2 후속- 캡처되는 프레임 쌍 시퀀스
후속-캡처되는(subsequently-captured) 프레임 쌍의 시퀀스에서 검출되는 개인이 새로운 미확인 개인 식별자와 연관되는 상황 - 이러한 식별자가 동일한 개인에게 이전에 발행됐음에도 - 을 방지하기 위해, 앞서 언급된 프로세스에서 검출된 개인 각각의 위치가 추적된다. 이러한 목적으로 임의의 적절한 종래의 추적 방법이 채용될 수 있다. 따라서 미래의 프레임 쌍 시퀀스를 분석할 때, 검출된 개인이 이전에 검출되었고 미확인 개인 지시자 또는 얼굴 인식 훈련 데이터베이스와 연관됐다는 것이 알려질 것이다. 이러한 방식으로 개인에 대해 생성된 얼굴 특성이 적절한 집합(collection)에 할당될 수 있고 새로운 미확인 개인 식별자가 구축될 필요가 없다.
상기 내용을 가정하면, 후속-캡처되는 프레임 쌍 시퀀스에서 검출되는 개인이 어떻게 처리될 것인지에 대해 많은 가능성이 존재한다. 예를 들어, 검출된 개인이 이전에 검출됐었고 추적된 경우, 새 시퀀스로부터 생성된 임의의 얼굴 특성은, 해당 개인이 이전에 식별되지 않았던 경우 상기 해당 개인의 기존 미확인 개인 식별자에게 할당될 것이고, 또는 상기 개인이 이전에 식별됐던 경우, 상기 개인의 얼굴 인식 훈련 데이터베이스에 할당될 것이다. 다른 한편, 검출된 개인이 장면(scene)에 대해 새로운 경우, 미확인 개인 식별자가 생성되고 생성된 얼굴 특성에 할당될 것이다. 덧붙여, 얼굴 특성이 미확인 개인 지시자에게 할당될 때면 언제나(기존의 것 또는 새로운 것인지에 무관하게), 개인을 식별하기 위한 시도가 이뤄질 것이다.
더 구체적으로, 도 2a-e를 참조하면, 하나의 실시예에서, 동시-캡처되는 프레임 쌍의 새 시퀀스가 이용 가능해질 때 입력된다(프로세스 동작(200)). 그 후 도 1의 프로세스 동작(102 내지 112)이 새 프레임 쌍 시퀀스를 이용해 수행된다.
그 후 프로세스는 새 프레임 쌍 시퀀스를 이용해 환경에서 검출된 개인들 중 하나를 선택함으로써 계속된다(프로세스 동작(202)). 그 후 선택된 개인이 새 시퀀스에 선행하는 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐던 위치를 갖는 개인에게 대응하는지 여부가 결정된다(프로세스 동작(204)). 앞서 언급한 바와 같이, 하나의 실시예에서, 이는 이전에 검출된 개인의 위치를 시간에 따라 추적함으로써 이뤄진다. 개인이 이러한 이전에 검출된 개인에 대응한다고 결정된 경우, 그 후, 개인의 신원이 이전에 확인(ascertain)됐는지 여부가 결정된다(프로세스 동작(206)). 개인의 신원이 이전에 확인됐던 경우, 이 개인에 대하여 동시-캡처된 프레임 쌍의 새 시퀀스로부터 생성된 얼굴 특성들 중 이전에 선택되지 않은 얼굴 특성이 선택된다(프로세스 동작(208)). 얼굴 특성들은 앞서 기재된 바와 같이 생성된다. 선택된 얼굴 특성이 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당된 각각의 얼굴 특성과 지정 정도만큼 상이한지 여부가 결정된다(프로세스 동작(210)). 지정 정도만큼 상이한 경우, 선택된 얼굴 특성은 선택된 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당되고(프로세스 동작(212)), 컴퓨터와 연관된 메모리에 저장된다(프로세스 동작(214)). 지정 정도만큼 상이하지 않은 경우, 선택된 얼굴 특성은 폐기된다(프로세스 동작(216)). 어느 이벤트라도, 그 후, 새로운 프레임 쌍 시퀀스로부터 선택된 개인에 대해 생성된 모든 얼굴 특성이 선택되었는지 여부가 결정된다(프로세스 동작(218)). 모든 얼굴 특성이 선택되지 않은 경우, 모든 얼굴 특성이 선택되고 고려될 때까지, 프로세스 동작(208 내지 218)이 반복된다.
그러나, 프로세스 동작(206)에서 선택된 개인의 신원이 이전에 확인되지 않았다고 결정된 경우, 이 개인에 대하여 동시-캡처된 프레임 쌍의 새 시퀀스로부터 생성된 얼굴 특성 중 이전에 선택되지 않은 얼굴 특성이 선택된다(프로세스 동작(220)). 그 후 선택된 얼굴 특성이 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각과 지정 정도만큼 상이한지 여부가 결정된다(프로세스 동작(222)). 선택된 얼굴 특성이 지정 정도만큼 상이한 경우, 상기 선택된 얼굴 특성은 선택된 개인에 대해 구축된 미확인 개인 식별자에게 할당되고(프로세스 동작(224)), 컴퓨터와 연관된 메모리에 저장된다(프로세스 동작(226)). 선택된 얼굴 특성이 지정 정도만큼 상이하지 않은 경우, 상기 선택된 얼굴 특성은 폐기된다(프로세스 동작(228)). 어느 경우라도, 그 후, 새 프레임 쌍 시퀀스로부터 선택된 개인에 대해 생성된 모든 얼굴 특성이 선택됐었는지 여부가 결정된다(프로세스 동작(230)). 모든 얼굴 특성이 선택된 것이 아닌 경우, 모든 얼굴 특성이 선택되고 고려될 때까지 프로세스 동작(220 내지 230)이 반복된다. 그 후 프로세스는 개인의 신원을 확인하기 위해 시도하는 것으로 계속된다(프로세스 동작(232)). 앞서와 같이, 이 식별 동작은 임의의 적절한 종래 방법, 가령, 미확인 개인을 식별 정보를 제공하도록 컴퓨터와 대화하게끔 초대하는 방법을 이용해 이뤄진다. 그 후, 시도가 성공적이었는지 여부가 결정된다(프로세스 동작(234)). 시도가 성공적이었던 경우, 선택된 개인에 대해 구축된 미확인 개인 식별자에게 할당된 얼굴 특성 각각이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에게 재할당된다(프로세스 동작(236)).
또한 선택된 개인이 환경에서 새로운 것이거나 과거에 검출되지 않았던 가능성이 존재한다. 이를 위해, 프로세스 동작(204)에서 선택된 개인이 상기 새 시퀀스에 선행하는 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐던 위치를 갖는 개인에 대응하지 않는다고 결정된 경우, 선택된 개인에 대해 생성된 얼굴 특성 각각이 상기 개인에 대해 특정하게 구축된 미확인 개인 식별자에게 할당되고(프로세스 동작(238), 프로세스를 이행하기 위해 사용 중인 컴퓨터와 연관된 메모리에 저장된다(프로세스 동작(240)). 그 후, 개인의 신원을 확인하기 위한 시도가 이뤄진다(프로세스 동작(242)). 그 후, 시도가 성공적이었는지 여부가 결정된다(프로세스 동작(244)). 시도가 성공적이었던 경우, 상기 선택된 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당된다(프로세스 동작(246)).
앞서 정리한 바와 같이 현재 선택된 개인이 고려되면, 새 프레임 쌍 시퀀스를 이용해 환경에서 검출된 모든 개인이 선택됐는지 여부가 결정된다(프로세스 동작(248)). 검출된 모든 개인이 선택됐던 것이 아닌 경우, 모든 검출된 개인이 선택되고 고려될 때까지 프로세스 동작(202 내지 248)이 반복된다. 이 시점에서 프로세스의 현재 반복구간(iteration)이 종료된다. 그러나 동시-캡처된 프레임 쌍이 이용 가능해 질 다음 번까지 프로세스는 반복될 수 있다.
일반적으로 얼굴 인식 방법은 개인 얼굴의 이미지로부터 개인을 식별할 때 얼굴 특성, 가령, 앞서 기재된 것들을 이용한다. 개인의 신원을 확인하도록 시도하기 위한 앞서 언급된 프로세스 동작과 관련하여, 상기 개인에 대해 생성되고 개인의 미확인 개인 식별자에 할당되는 얼굴 특성이 시도 중에 채용될 수 있다.
1.2.1 식별 불가능 개인
또한 상기의 프로세스에서 검출된 개인이 결코 식별되지 않을 가능성도 존재한다. 메모리 공간을 보존하기 위해, 도 3에 정리된 하나의 실시예에서, 프로세스 동작(122, 234, 또는 244) 중 어느 한 동작에서, 선택된 개인의 신원이 확인되지 않았다고 결정된 경우, 상기 개인의 신원이 확인되지 않은 채 동시-캡처된 프레임 쌍이 입력되고 프로세싱된 횟수가 누산(tally)된다(프로세스 동작(300)). 그 후, 누산된 횟수가 지정 최대 수, 가령, 100을 초과하는지 여부가 결정된다(프로세스 동작(302)). 누산 횟수가 저장 최대 수를 초과하지 않는 경우, 앞서 정리된 프로세스가 변함없이 계속되고, 이 메모리 보존 절차가 종료된다. 그러나 누산 횟수가 지정 최대 수를 초과하는 경우, 선택된 개인에 대해 구축된 미확인 개인 식별자에게 할당된 각각의 얼굴 특성이 컴퓨터의 메모리로부터 삭제된다(프로세스 동작(304)).
1.2.2 줌 스킴
본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예와 관련하여 채용될 수 있는 많은 얼굴 인식 방법이 종종 환경에서 검출되지만 카메라로부터 상당한 거리에 위치하는 개인을 인식할 수 없을 것이다. 반드시는 아니더라도, 개인이 모션 검출 방법을 통해서만 검출될 때 상기의 상황은 발생할 수 있다. 이 상황은 줌 스킴(zooming scheme)을 이용해 해결될 수 있다. 이 줌 스킴은 개인에 대해 생성된 각각의 얼굴 특성을 상기 개인에 대해 구축된 미확인 개인 식별자에게 할당하기 전에 이뤄진다. 더 구체적으로, 도 4를 참조하면, 하나의 실시예에서, (앞서 언급된 방법들 중 임의의 것에 의해) 환경 내에 존재하는 것으로 검출된, 이전에 선택되지 않은 개인이 선택된다(프로세스 동작(400)). 그 후 선택된 개인이 컬러 비디오 카메라로부터 지정 최대 거리, 가령, 3미터를 초과하는 거리에서 환경 내에 위치하는지 여부가 결정된다(프로세스 동작(402)). 선택된 개인이 컬러 비디오 카메라로부터 지정 최대 거리를 초과하는 거리에 위치하는 경우, 상기 선택된 개인의 위치가 줌 능력을 갖는 컬러 카메라를 제어하는 제어기(controller)로 제공된다(프로세스 동작(404)). 상기 제어기에 의해 컬러 카메라는 선택된 개인의 얼굴을, 상기 컬러 비디오 카메라에서 상기 개인까지의 거리에 비례하는 정도로, 줌 인(zoom in)할 수 있고, 그 후 개인의 얼굴의 줌된 이미지를 캡처할 수 있다. 상기 컬러 카메라는 앞서 언급된 컬러 비디오 카메라이거나 환경의 이미지를 캡처하기 위해 배치된 별도의 카메라일 수 있다. 줌의 정도는, 카메라에서 선택된 개인까지의 거리가 주어질 때, 최종 이미지가 얼굴 인식하기 좋은 해상도로 개인의 얼굴을 나타내도록 계산된다. 그 후 줌된 이미지가 입력되고(프로세스 동작(406)), 상기 개인의 얼굴을 나타내는 줌된 이미지의 일부분의 얼굴 특성이 생성된다(프로세스 동작(408)). 그 후 이 얼굴 특성은 선택된 개인에 대해 생성된 다른 모든 것들과 함께 상기 개인에 대해 구축된 미확인 개인 식별자로 할당된다.
1.3 추가 컬러 비디오 카메라 및 심도 비디오 카메라
본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예가 동작하는 환경은 꽤 클 수 있다. 따라서 하나의 실시예에서, 컬러 비디오 카메라와 심도 비디오 카메라의 둘 이상의 쌍이 채용되어 환경을 커버할 수 있다. 환경에서 카메라의 둘 이상의 쌍이 이용 가능하다고 가정하면, 이들은 동일한 장면을, 상이한 시점에서 캡처하도록 구성될 수 있다. 이 시나리오에 의해 상이한 카메라 쌍에 의해 검출되는 동일한 사람에 대해서나, 하나의 카메라 쌍이, 다른 카메라 쌍은 "볼" 수 있는 한 개인을 "볼" 수 없을 때 상이한 사람에 대해서나, 동일한 시간 주기 동안 더 많은 얼굴 특성이 생성될 수 있다. 이와 관련하여, 각각의 카메라 쌍이 장면 내 개인의 위치를 알아서, 개인이 또 다른 카메라 쌍을 이용해 검출된 개인과 동일한 개인인지 또는 상이한 개인인지 여부가 쉽게 결정될 수 있다. 하나의 실시예에서, 이는 카메라 쌍을 프레임 쌍을 실질적으로 동시에 캡처하도록 구성함으로써 이뤄진다. 이러한 방식으로, 하나의 카메라 쌍에 의해 계산된 개인의 위치가, 동일 개인인 경우, 또 다른 쌍에 의해 계산된 것과 정합될 것이고, 상이한 개인인 경우, 정합되지 않을 것이다.
1.3.1 동일한 장면을 상이한 시점에서 캡처하기
더 구체적으로, 도 5a-c를 참조하면, 장면을 상이한 시점에서 캡처하는 컬러 비디오 카메라와 심도 비디오 카메라의 각각의 추가 쌍에 대해, 동시-캡처되는 프레임 쌍의 추가 시퀀스가 입력된다(프로세스 동작(500)). 그 후, 얼굴 검출 방법 및 추가 카메라 쌍의 컬러 비디오 카메라에 의해 출력되는 컬러 비디오 카메라 프레임이 사용되어 환경 내 잠재적 개인을 검출할 수 있다(프로세스 동작(502)). 덧붙여, 모션 검출 방법 및 상기 추가 카메라 쌍의 심도 비디오 카메라에 의해 출력된 심도 비디오 카메라 프레임이 사용되어 환경 내 잠재적 개인을 검출할 수 있다(프로세서 동작(504)). 앞서 언급된 얼굴 및 모션 검출 방법을 통해 생성된 검출 결과가 사용되어 환경 내 한 명 이상의 개인의 위치를 결정할 수 있다(프로세스 동작(506)). 또한 얼굴 검출 방법을 통해 생성된 상기 검출 결과는 검출된 각각의 잠재적 개인에 대해, 개인의 얼굴을 나타내는 컬러 비디오 카메라 프레임의 일부분의 얼굴 특성도 포함한다.
그 후 모션 검출 방법을 통해서 단독으로 검출된 개인 각각이 식별되고(프로세스 동작(508)), 각각의 식별된 개인의 대응하는 위치가 추가 카메라 쌍의 컬러 비디오 카메라의 동시-캡처되는 프레임에서 발견된다(프로세스 동작(510)). 덧붙여, 식별된 개인 각각에 대해 컬러 비디오 카메라 프레임의 상기 일부분의 얼굴 특성이 생성된다(프로세스 동작(512)).
프로세스는 추가 컬러 비디오 카메라와 심도 비디오 카메라의 쌍으로부터 출력된 프레임 쌍을 기초로 하여 환경에서 검출된 개인들 중 이전에 선택되지 않은 개인을 선택함으로써 계속된다(프로세스 동작(514)). 그 후 개인의 식별된 위치를 기초로 하여, 개인이 다른 컬러 비디오 카메라 및 심도 비디오 카메라의 쌍을 이용해 검출됐었는지 여부가 결정된다(프로세스 동작(516)). 개인이 다른 카메라 쌍을 이용해 검출됐던 경우, 추가 컬러 비디오 카메라 및 심도 비디오 카메라 쌍으로부터 출력된 프레임 쌍을 기초로 하여 선택된 개인에 대해 생성된 얼굴 특성 각각이, 다른 컬러 비디오 카메라 및 심도 비디오 카메라 쌍을 이용한 개인의 검출을 기초로 하여 상기 개인에 대해 구축된 미확인 개인 식별자로 할당된다(프로세스 동작(518)). 개인이 다른 카메라 쌍을 이용해 검출되지 않았던 경우, 추가 컬러 비디오 카메라 및 심도 비디오 카메라 쌍으로부터 출력된 프레임 쌍을 기초로 하여 선택된 개인에 대해 생성된 얼굴 특성 각각이 상기 개인에 대해 구축된 미확인 개인 식별자에게 할당된다(프로세스 동작(520)). 어느 경우라도, 추가 컬러 비디오 카메라 및 심도 비디오 카메라 상으로부터 출력된 프레임 쌍을 기초로 선택된 개인에 대해 생성된 얼굴 특성 각각은 컴퓨터와 연관된 메모리에 저장된다(프로세스 동작(522)). 덧붙여, 또한 개인의 신원을 확인하기 위한 시도가 이뤄진다(프로세스 동작(524)). 그 후 시도가 성공적이었는지 여부가 결정된다(프로세스 동작(526)). 시도가 성공적이었던 경우, 선택된 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당된다(프로세스 동작(528)). 프로세스 동작(526)의 시도가 성공적이었는지 여부와 무관하게, 그 다음으로, 모든 검출된 개인이 선택됐었는지 여부가 결정된다(프로세스 동작(530)). 모든 검출된 개인이 선택됐던 것은 아닌 경우, 모든 검출된 개인이 선택되고 고려될 때까지 프로세스 동작(514 내지 530)이 반복된다. 이 시점에서 프로세스는 종료되지만, 동시-캡처된 프레임 쌍의 새 시퀀스가 컬러 비디오 카메라와 심도 비디오 카메라의 추가 쌍으로부터 입력될 때마다 반복될 수 있다.
1.3.2 상이한 장면 캡처
둘 이상의 카메라 쌍이 환경에서 이용 가능하다고 가정할 때 상기 카메라 쌍들이 상이한 장면을 캡처하도록 구성될 수 있는 것이 또한 가능하다. 이 구성은 하나의 카메라 쌍이 전체 환경을 커버할 수 없는 상황에서 유용하다. 이를 가정할 때, 하나의 카메라 쌍에 의해 커버되는 하나의 장면에서 검출되는 개인이 추적될 수 있고, 상기 개인이 또 다른 카메라 쌍에 의해 커버되는 환경의 일부로 이동하는 경우, 개인이 하나의 장면을 떠나 또 다른 장면으로 감에 따른 개인의 위치에 대한 지식이 사용되어 새 장면에서 검출된 개인이 이전 장면에서 검출된 개인과 동일한지가 확인될 수 있다. 덧붙여, 얼굴 인식 방법, 또는 개인을 식별하는 그 밖의 다른 임의의 방법이 새 장면에서 검출된 개인이 이전 장면에서 검출된 개인과 동일함을 확인하도록 적절하게 채용될 수 있다. 이는 환경의 새로운 부분 내 개인에 대해 생성된 얼굴 특성을 올바른 미확인 개인 식별자(또는 상기 개인이 이전에 식별됐던 경우 올바른 얼굴 인식 훈련 데이터베이스)에 할당하는 것을 용이하게 한다.
더 구체적으로, 도 6a-f를 참조하면, 컬러 비디오 카메라와 심도 비디오 카메라의 추가 쌍이 환경 내 상이한 장면을 캡처한다고 가정하면, 동시-캡처된 프레임 쌍의 추가 시퀀스가 입력된다(프로세스 동작(600)). 그 후, 얼굴 검출 방법 및 추가 카메라 쌍의 컬러 비디오 카메라에 의해 출력되는 컬러 비디오 카메라 프레임이 사용되어 환경 내 잠재적 개인을 검출할 수 있다(프로세스 동작(602)). 덧붙여, 모션 검출 방법 및 추가 카메라 쌍의 심도 비디오 카메라에 의해 출력된 심도 비디오 카메라 프레임이 사용되어 환경 내 잠재적 개인을 검출할 수 있다(프로세스 동작(604)). 앞서 언급된 얼굴 및 모션 검출 방법을 통해 생성된 검출 결과가 사용되어 환경 내 한 명 이상의 개인의 위치를 결정할 수 있다(프로세스 동작(606)). 얼굴 검출 방법을 통해 생성된 검출 결과는 각각의 검출된 잠재적 개인에 대해 개인의 얼굴을 도시하는 컬러 비디오 카메라 프레임의 일부분의 얼굴 특성을 더 포함한다.
그 후 모션 검출 방법을 통해 단독으로 검출된 개인 각각이 식별되고(프로세스 동작(608)), 추가 카메라 쌍의 컬러 비디오 카메라의 동시-캡처된 프레임 내 각각의 식별된 개인의 대응하는 위치가 발견된다(프로세스 동작(610)). 덧붙여, 식별된 개인 각각에 대해 컬러 비디오 카메라 프레임의 상기 일부분의 얼굴 특성이 생성된다(프로세스 동작(612)).
상기 프로세스는 추가 컬러 비디오 카메라 및 심도 비디오 카메라 쌍으로부터 출력된 프레임 쌍을 기초로 하여 환경에서 검출된 개인들 중 이전에 선택되지 않은 개인의 선택으로 계속된다(프로세스 동작(614)). 그 후 선택된 개인이 컬러 비디오 카메라 및 심도 비디오 카메라 쌍을 이용해 환경 내 또 다른 장면에서 이전에 검출됐었는지 여부가 결정된다(프로세스 동작(616)). 앞서 언급된 바와 같이, 이는 개인이 한 장면을 떠나 다른 장면으로 감에 따른 개인의 위치의 추적, 얼굴 인식 방법, 또는 개인을 식별하는 그 밖의 다른 임의의 방법을 기초로 할 수 있다. 선택된 개인이 다른 장면에서 이전에 검출됐었던 경우, 선택된 개인의 신원이 이전에 확인됐었는지 여부가 추가로 결정된다(프로세스 동작(618)). 선택된 개인이 이전에 식별되지 않았던 경우, 동시-캡처된 프레임 쌍의 추가 시퀀스로부터 생성되는 얼굴 특성들 중 이전에 선택되지 않은 얼굴 특성이 선택되고(프로세스 동작(620)), 선택된 얼굴 특성이 상기 선택된 개인에 대해 이전에 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각과 지정 정도만큼 상이한지 여부가 결정된다(프로세스 동작(622)). 지정 정도만큼 상이한 경우, 상기 선택된 얼굴 특성은 상기 개인에 대해 이전에 구축된 미확인 개인 식별자에게 할당되고(프로세스 동작(624)), 컴퓨터와 연관된 메모리에 저장된다(프로세스 동작(626)). 지정 정도만큼 상이하지 않은 경우, 상기 선택된 얼굴 특성은 폐기된다(프로세스 동작(628)). 그 후 동시-캡처된 프레임 쌍의 추가 시퀀스로부터 생성된 모든 얼굴 특성이 선택됐는지 여부가 결정된다(프로세스 동작(630)). 모든 얼굴 특성이 선택됐던 것은 아닌 경우, 모든 얼굴 특성이 선택되고 고려될 때까지 프로세스 동작(620 내지 630)이 반복된다. 그 후, 선택된 개인의 신원을 확인하기 위한 시도가 이뤄진다(프로세스 동작(632)). 그 후 상기 시도가 성공적이었는지 여부가 결정된다(프로세스 동작(634)). 시도가 성공적이었던 경우, 선택된 개인에 대해 확립된 미확인 개인 식별자로 할당된 얼굴 특성 각각이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당된다(프로세스 동작(636)).
그러나 프로세스 동작(618)에서 선택된 개인이 이전에 식별됐었다고 결정된 경우, 동시-캡처된 프레임 쌍의 추가 시퀀스로부터 생성된 얼굴 특성들 중 이전에 선택되지 않은 얼굴 특성이 선택되고(프로세스 동작(638)), 선택된 얼굴 특성이 상기 선택된 개인에 대해 이전에 구축된 얼굴 인식 훈련 데이터베이스에 할당된 얼굴 특성 각각과 지정 정도만큼 상이한지 여부가 결정된다(프로세스 동작(640)). 지정 정도만큼 상이한 경우, 선택된 얼굴 특성은 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당되고(프로세스 동작(642)) 컴퓨터와 연관된 메모리에 저장된다(프로세스 동작(644)). 지정 정도만큼 상이하지 않은 경우, 상기 선택된 얼굴 특성은 폐기된다(프로세스 동작(646)). 그 후 동시-캡처된 프레임 쌍의 추가 시퀀스로부터 생성된 모든 얼굴 특성이 선택됐는지 여부가 결정된다(프로세스 동작(648)). 모든 얼굴 특성이 선택됐던 것은 아닌 경우, 모든 얼굴 특성이 선택되고 고려될 때까지 프로세스 동작(638 내지 648)이 반복된다.
그러나 프로세스 동작(616)에서, 선택된 개인이 환경 내 또 다른 장면에서 이전에 검출되지 않았었다고 결정된 경우, 상기 프로세스는 추가 컬러 비디오 카메라 및 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 하여 선택된 개인에 대해 생성된 얼굴 특성 각각을 상기 개인에 대해 새롭게 구축된 미확인 개인 식별자로 할당하는 것으로 계속된다(프로세스 동작(650)). 이들 얼굴 특성 각각은 컴퓨터와 연관된 메모리에 저장된다(프로세스 동작(652)). 선택된 개인의 신원을 확인하기 위한 시도가 이뤄진다(프로세스 동작(654)). 그 후 상기 시도가 성공적이었는지 여부가 결정된다(프로세스 동작(656)). 선택된 개인의 신원이 확인된 경우, 상기 개인에 대해 구축된 미확인 개인 식별자로 할당된 얼굴 특성 각각이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당된다(프로세스 동작(658)).
선택된 개인이 앞서 기재된 바와 같이 고려되면, 모든 검출된 개인이 선택됐었는지 여부가 결정된다(프로세스 동작(660)). 모든 검출된 개인이 선택됐던 것은 아닌 경우, 모든 검출된 개인이 선택되고 고려될 때까지 프로세스 동작(614 내지 660)이 반복된다. 이 시점에서 프로세스는 종료하지만 동시-캡처되는 프레임 쌍의 새로운 시퀀스가 컬러 비디오 카메라 및 심도 비디오 카메라의 추가 쌍으로부터 입력될 때면 언제나 반복될 수 있다.
1.4 모션 검출
임의의 모션 검출 방법이 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예에서 사용되도록 채택될 수 있지만, 하나의 실시예에서 다음의 방법이 채용된다. 일반적으로 이 방법은 심도 비디오 카메라 프레임으로부터 추출된 심도 데이터에서의 단기 변화를 활용하여 환경에서 잠재적 개인을 검출할 수 있다.
더 구체적으로 도 7a-d를 참조하면, 하나의 실시예에서, 모션 검출 프로세스가 제 1 심도 비디오 카메라 프레임의 모든 픽셀을 배경 픽셀(background pixel)로 지정하는 것을 포함한다(프로세스 동작(700)). 그 후 새로운 후속-캡처되는 심도 프레임이 이용 가능한지 여부가 결정된다(프로세스 동작(702)). 이용 가능하지 않은 경우, 새로운 프레임이 이용 가능할 때까지 프로세스 동작(702)이 반복된다. 새로운 심도 프레임이 입력될 때, 심도 프레임의 이전에 선택되지 않은 픽셀이 선택되고(프로세스 동작(704)), 선택된 픽셀의 심도 값이 환경 내 동일한 위치를 나타내는 현재 고려되는 프레임 바로 전에 캡처된 심도 프레임의 픽셀의 값으로부터 지정 크기를 초과하여 변경됐는지 여부가 결정된다(프로세스 동작(706)). 심도 값이 지정 크기를 초과하여 변경된 경우, 선택된 픽셀은 전경 픽셀(foreground pixel)이도록 지정된다(프로세스 동작(708)). 그 후, 심도 프레임 중 이전에 선택되지 않은 임의의 픽셀이 남아 있는지 여부가 결정된다(프로세스 동작(710)). 남아 있는 픽셀이 존재하는 경우, 프로세스 동작(704 내지 710)이 반복된다. 남아 있는 픽셀이 없는 경우, 현재 고려 중인 심도 프레임이 시퀀스의 마지막 프레임인지 여부가 결정된다(프로세스 동작(712)). 현재 고려 중인 심도 프레임이 마지막 프레임이 아닌 경우, 프로세스 동작(702 내지 712)이 반복된다.
그러나 상기 현재 고려 중인 심도 프레임이 마지막 프레임인 경우, 상기 마지막 프레임의 전경 픽셀들 중에서 시드 포인트(seed point)가 구축되고 이 포인트와 연관된 픽셀이 블롭(blob)의 일부분이도록 할당된다(프로세스 동작(714)). 그 후, (초기에는 단지 시드 포인트 픽셀일) 상기 블롭에 할당된 픽셀에 이웃하며 상기 블롭에 이미 할당된 것이 아닌 이전에 선택되지 않은 픽셀이 선택된다(프로세스 동자(716)). 우선, 선택된 픽셀이 상이한 블롭에 할당되는지 여부가 결정된다(프로세스 동작(718)). 선택된 픽셀이 상이한 블롭에 할당된 경우, 2개의 블롭이 하나의 블롭으로 조합된다(프로세스 동작(720)). 그 후 상기 조합된 블롭에 할당된 픽셀에 이웃하며 상기 조합된 블롭에 이미 할당된 것이 아닌 이전에 선택되지 않은 임의의 픽셀이 존재하는지 여부가 결정된다(프로세스 동작(722)). 해당 픽셀이 존재하는 경우, 이들 픽셀 중 이전에 선택되지 않은 픽셀이 선택되고(프로세스 동작(724)), 프로세스 동작(718 내지 724)이 반복된다. 그러나 프로세스 동작(718)에서 선택된 픽셀이 상이한 블롭에 할당되지 않았다고 결정될 때마다, 상기 선택된 픽셀의 심도 값이 상기 블롭에 할당된 픽셀의 현재 평균과 지정 허용오차 내에서 동일한지 여부가 결정된다(프로세스 동작(726)). 동일한 경우, 상기 선택된 픽셀이 상기 블롭에 할당된다(프로세스 동작(728)). 동일하지 않은 경우, 어떠한 동작도 이뤄지지 않는다. 그러나 어느 경우라도, 다음에, 상기 블롭(조합된 것 또는 조합되지 않은 것)에 할당된 픽셀에 이웃하며 상기 블롭에 이미 할당된 것이 아닌 이전에 선택되지 않은 임의의 픽셀이 존재하는지 여부가 결정된다(프로세스 동작(730)). 이러한 픽셀이 존재하는 경우, 프로세스 동작(716 내지 730)이 반복된다. 이러한 픽셀이 존재하지 않는 경우, 어떠한 동작도 이뤄지지 않는다. 따라서 시드 포인트 픽셀을 둘러 싸는 픽셀들 각각이 고려되고, 요구되는 심도 값을 가진다면 블롭들이 조합되거나 픽셀이 블롭에 할당되는 결과가 도출되고, 그 후, (조합되거나 그 밖의 다른 방식으로) 확대된 블롭을 둘러 싸는 픽셀들이 고려되는데, 이러한 방식으로 블롭을 계속 성장시킬 수 있다. 이는, 블롭에 할당되지 않고 상기 블롭에 할당된 픽셀의 현재 평균과 지정 허용오차 내에서 동일한 심도 값을 갖는 어떠한 이웃하는 픽셀도 발견될 수 없을 때까지 계속된다.
그 후, 블롭에 할당되지 않은 전경 픽셀이 존재하는지 여부가 결정된다(프로세스 동작(732)). 이러한 픽셀이 남아 있는 경우, 마지막 프레임 중 할당되지 않은 전경 픽셀들 중에서 시드 포인트가 구축되고 이 포인트와 연관된 픽셀이 새로운 블롭의 일부이도록 할당된다(프로세스 동작(734)). 그 후 할당되지 않은 어떠한 전경 픽셀도 남아 있지 않을 때까지 프로세스 동작(716 내지 734)이 반복된다.
할당되지 않은 어떠한 전경 픽셀도 남아 있지 않으면(따라서 어떠한 새로운 블롭도 형성될 수 없으면), 블롭들 중 이전에 선택되지 않은 블롭이 선택된다(프로세스 동작(736)). 그 후 블롭이 인간을 나타내는 블록을 지시하는 지정 기준들의 세트를 충족시키는지 여부가 결정된다(프로세스 동작(738)). 상기 블롭이 충족시키지 않는 경우, 상기 블롭은 제거된다(프로세스 동작(740)). 그러나 선택된 블롭이 지정 기준을 총족시키는 경우, 상기 블롭은 환경 내에 위치하는 잠재적 개인을 나타내는 것으로 지정된다(프로세스 동작(742)).
인간을 나타내는 블롭을 지시하도록 사용되는 기준이 임의의 종래의 기준들의 집합일 수 있다. 덧붙여, 상기 기준은 블롭이 실제 공간 차원에서 보통의 인체 파라미터에 들어 맞는지 여부를 포함할 수 있다. 예를 들면, 블롭이 인간의 가슴과 머리에 대응하는 장방향 영역을 보여주는가가 있다.
2.0 컬러 비디오 카메라 및 심도 비디오 카메라
본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예에 의해 채용되는 앞서 언급된 컬러 비디오 카메라와 심도 비디오 카메라가 이하에서 더 상세히 기재될 것이다. 일반적으로 컬러 비디오 카메라는 자신이 캡처한 장면의 디지털 컬러 이미지의 연속 시퀀스를 출력한다. 이들 이미지는 종종, 서의 기재에서 그랬던 것처럼, 프레임 또는 이미지 프레임이라고 지칭된다. 적합한 컬러 비디오 카메라의 예시로는 종래의 RGB 비디오 카메라가 있다. 심도 비디오 카메라는 자신이 캡처한 장면의 디지털 심도 이미지의 연속 시퀀스를 출력한다. 이들 이미지는 종종, 앞서의 기재에서 그랬던 것처럼, 프레임 또는 심도 프레임이라고 지칭된다. 심도 프레임의 픽셀 값이 환경에서 심도 카메라와 물체 간의 거리를 나타낸다. 예를 들어, 한 가지 적합한 심도 비디오 카메라로는 종래의 적외선 기반 심도 카메라가 있다. 이 유형의 카메라는 알려진 적외선 패턴을 환경에 투영시키고 적외선 이미저가 캡처할 때의 패턴의 변형을 기초로 심도를 결정한다.
앞서 기재된 바와 같이, 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법의 실시예는 컬러 프레임과 심도 프레임의 동시 캡처된 쌍 간의 픽셀 상관(pixel correlation)을 이용할 수 있다. 즉, 쌍의 프레임들 중 하나의 프레임 내 어느 픽셀이 다른 프레임 내 특정 픽셀과 장면 내 동일한 위치를 나타내는지를 아는 것이 종종 유용하다. 동시 프레임의 쌍이 캡처될 때마다 이 픽셀 상관을 확인하기 위해 종래의 방법이 사용될 수 있지만, 하나의 실시예에서, 픽셀 조화를 형성하는 사전-계산(pre-compute)되는 변환이 채용된다. 더 구체적으로, 컬러 비디오 카메라 및 심도 비디오 카메라가 동일한 방식으로 함께 이동하도록 동기화되는 경우, 이들 간의 상대적 변환이 변하지 않을 것이다. 따라서 변환이 사전-계산 및 사용되어 캡처되는 동시 프레임의 쌍 각각에 대해 픽셀 상관을 결정할 수 있다.
본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예가 또한 고정-위치(fixed-location) 컬러 비디오 카메라 및 심도 비디오 카메라를 채용할 수 있다. 고정-위치는, 환경 내 특정 위치에 카메라가 배치되고, 상기 특정 위치로부터 자력으로 이동하지 않음을 의미한다. 이는, 물론, 카메라가 환경 내에서 재배치되는 것까지 막지는 않는다. 그러나 이들이 동작 중에 동일 위치로 유지되는 것이 자명하다. 덧붙여, 고정 위치 카메라가 위치를 이동하지 않지만, 이는 카메라가 상기 위치에 있으면서 팬(pan), 틸트(tilt), 회전, 또는 줌을 할 수 없음을 의미하지는 않는다.
대안적으로, 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예가 이동하는 컬러 비디오 카메라와 심도 비디오 카메라를 채용할 수 있다. 예를 들어, 카메라가 이동형 로봇 장치에 장착될 수 있다. 일반적으로 적합한 이동형 로봇 장치는 다음의 속성을 보이는 임의의 종래의 이동형 로봇 장치일 수 있다. 첫째, 도 8을 참조하면, 로봇 장치(800)는 이동하도록 의도된 환경을 주변을 이동할 수 있다. 따라서 이동형 로봇 장치(800)는 장치를 환경을 통과해 이동시키기 위한 운동 섹션(locomotive section)(802)을 포함한다. 이동형 로봇 장치(800)는 또한 적용 가능한 환경에 걸쳐 사람을 추적하고 따르도록 채용된 센서를 가진다. 구체적으로, 이들 센서는 앞서 언급된 컬러 비디오 카메라(804) 및 심도 비디오 카메라(806)를 포함한다. 상기 컬러 비디오 카메라 및 심도 비디오 카메라(804, 806)는, 환경의 여러 다른 부분들이 캡처될 수 있도록 재위치설정될 수 있다. 이를 위해, 상기 컬러 비디오 카메라 및 심도 비디오 카메라(804, 806)는 앞서 언급된 운동 섹션(802) 위에 일반적으로 배치되는 이동형 로봇 장치(800)의 헤드 섹션(head section)(808) 내에 하우징될 수 있다. 카메라 자체를 방향전환(redirect)시킴으로써, 또는 헤드 섹션(808)을 이동시킴으로써, 또는 둘 모두에 의해, 카메라(804, 806)의 시점이 변경될 수 있다. 후자 시나리오의 예시로는, 카메라가 상하로 피봇하여 틸트 모션을 제공하면서 헤드 섹션이 수직 축을 중심으로 회전하여 360도 팬(pan) 모션을 제공하는 설정이 있다. 카메라는 또한 줌 기능을 갖는다.
또한 이동형 로봇 장치(800)는 종래 방식으로 운동 섹션(802)을 제어하여 로봇 장치를 환경에 걸쳐 이동시키고, 헤드 섹션(808), 또는 카메라(804, 806) 또는 둘 모두의 움직임을 제어하여 환경 내 여러 다른 장면을 캡처하는 제어 유닛(810)을 포함한다. 덧붙여, 제어 유닛(810)은 컴퓨팅 장치(812)(가령, 본 명세서의 예시적 동작 환경 섹션에서 기재된 것들)를 포함한다. 이 컴퓨팅 장치(812)는 운동 섹션 및 헤드 섹션으로의 움직임 제어 신호를 개시하고, 상기 컬러 비디오 카메라 및 심도 비디오 카메라에 의해 캡처된 프레임을 얼굴 인식 훈련 데이터베이스를 생성하기 위해 앞서 기재된 방식으로 이용하는 제어 모듈을 포함한다. 운동 섹션 및 헤드 섹션의 움직임의 제어는 종래의 방법을 이용해 이뤄진다. 반면에, 후자 기능은 얼굴 인식 훈련 데이터베이스 생성 서브-모듈에 의해 다뤄진다.
동작 중에, 도 7a-d와 관련하여 앞서 기재된 모션 검출 프로세스가 이동형 로봇 장치가 정지 상태이고 카메라가 운동 중이 아닐 때(가령, 팬, 틸트, 회전, 또는 줌을 하는 중이 아닐 때) 수행될 것이다. 이는 카메라의 상대적 모션으로 인한 위양성(false positive)을 방지한다.
3.0 예시적 동작 환경
본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예는 수 많은 유형의 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 설정 내에서 동작된다. 도 9는 얼굴 인식 훈련 데이터베이스 생성 기법의 다양한 실시예 및 요소들이, 본 명세서에 기재된 바와 같이, 구현될 수 있는 범용 컴퓨터 시스템의 단순화된 예시를 도시한다. 도 9의 점선으로 나타나는 임의의 박스가 단순화된 컴퓨팅 장치의 대안적 실시예를 나타내고, 이들 대안적 실시예 중 임의의 것 또는 모두가, 이하에서 기재될 바와 같이, 본 명세서 전체에서 기재되는 다른 대안적 실시예와 조합되어 사용될 수 있음이 자명하다.
예를 들어, 도 9는 단순화된 컴퓨팅 장치(10)를 보여주는 일반적인 시스템 다이어그램을 도시한다. 일반적으로 이러한 컴퓨팅 장치는 적어도 약간의 최소 계산 능력을 갖는 장치, 비-제한적 예를 들면, 개인 컴퓨터, 서버 컴퓨터, 핸드-헬드 컴퓨팅 장치, 랩톱 또는 모바일 컴퓨터, 통신 장치, 가령, 휴대전화기 및 PDA의 멀티프로세서 시스템, 마이크로프로세서-기반 시스템, 셋 톱 박스, 프로그램 가능한 소비자 전자기기, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 오디오 또는 비디오 미디어 플레이어 등에서 발견될 수 있다.
장치가 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예를 구현하도록 하기 위해, 상기 장치는 충분한 계산 능력과 시스템 메모리가 기본 계산 동작을 가능하게 해야 한다. 구체적으로, 도 9에 도시된 바와 같이, 일반적으로 계산 능력은 하나 이상의 프로세싱 유닛(들)(12)로 예시되고 또한 하나 또는 모두가 시스템 메모리(16)와 통신하는 하나 이상의 GPU(14)를 포함할 수 있다. 범용 컴퓨팅 장치의 프로세싱 유닛(들)(12)은 특수 마이크로프로세서, 가령, DSP, VLIW, 또는 그 밖의 다른 마이크로-제어기이거나, 하나 이상의 프로세싱 코어, 가령, 멀키-코어 CPU 내에 특수 GPU 기반 코어를 갖는 종래의 CPU일 수 있다.
덧붙여, 도 9의 단순화된 컴퓨팅 장치가 다른 구성요소, 가령, 통신 인터페이스(18)를 더 포함할 수 있다. 도 9의 단순화된 컴퓨팅 장치는 하나 이상의 종래의 컴퓨터 입력 장치(20)(가령, 포인팅 장치, 키보드, 오디오 입력 장치, 비디오 입력 장치, 햅틱 입력 장치, 유선 또는 무선 데이터 전송물을 수신하기 위한 장치 등)를 더 포함할 수 있다. 상기 도 9의 단순화된 컴퓨팅 장치는 그 밖의 다른 선택사항적 구성요소, 가령, 하나 이상의 종래의 디스플레이 장치(들)(24) 및 그 밖의 다른 컴퓨터 출력 장치(22)(가령, 오디오 출력 장치, 비디오 출력 장치, 유선 또는 무선 데이터 전송물을 송신하기 위한 장치 등)을 더 포함할 수 있다. 범용 컴퓨터를 위한 통상의 통신 인터페이스(18), 입력 장치(20), 출력 장치(22), 및 저장 장치(26)가 해당 분야의 통상의 기술자에게 잘 알려져 있으며, 본 명세서에서 상세히 기재되지 않을 것이다.
도 9의 단순화된 컴퓨팅 장치가 다양한 컴퓨터 판독형 매체를 더 포함할 수 있다. 컴퓨터 판독형 매체는 저장 장치(26)를 통해 컴퓨터(10)에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있으며, 정보, 가령, 컴퓨터 판독형 또는 컴퓨터 실행형 명령, 데이터 구조, 프로그램 모듈, 또는 그 밖의 다른 데이터를 저장하기 위한, 이동식(28) 및/또는 비이동식(30)인 휘발성 및 비휘발성 매체를 모두 포함한다. 비-제한적 예시를 들면, 컴퓨터 판독형 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체의 비-제한적 예를 들면, 컴퓨터 또는 기계 판독형 매체 또는 저장 장치, 가령, DVD, CD, 플로피 디스크, 테이프 드라이브, 하드 드라이브, 광학 드라이브, 솔리드 스테이트 메모리 장치, RAM, ROM, EEPROM, 플래시 메모리 또는 그 밖의 다른 메모리 기법, 자기 카세트, 자기 테이프, 자기 디스크 스토리지, 또는 그 밖의 다른 자기 저장 장치 또는 원하는 정보를 저장하기 위해 사용될 수 있고 하나 이상의 컴퓨팅 장치에 의해 액세스될 수 있는 그 밖의 다른 임의의 장치가 있다.
정보, 가령, 컴퓨터 판독형 또는 컴퓨터 실행형 명령, 데이터 구조, 프로그램 모듈 등의 유지(retention)가 또한 다양한 앞서 언급된 통신 매체들 중 임의의 것을 이용해 하나 이상의 변조된 데이터 신호 또는 반송파, 또는 그 밖의 다른 전송 메커니즘 또는 통신 프로토콜을 인코딩함으로써 이뤄질 수 있고, 임의의 유선 또는 무선 정보 전달 메커니즘을 포함한다. 일반적으로 "변조된 데이터 신호" 또는 "반송파"라는 용어는 특정들 중 하나 이상이 신호에 정보를 인코딩하기 위한 방식으로 설정 또는 변경된 신호를 지칭한다. 예를 들어, 통신 매체는 유선 매체, 가령, 하나 이상의 변조된 데이터 신호를 운반하는 유선 네트워크 또는 직접 배선된 연결, 및 무선 매체, 가령, 음향, RF, 적외선, 레이저 및 하나 이상의 변조된 데이터 신호 또는 반송파를 송신 및/또는 수신하기 위한 그 밖의 다른 무선 매체를 포함한다. 상기 중 임의의 것들의 조합이 또한 통신 매체의 범위 내에 속할 수 있다.
덧붙여, 본 명세서에 기재된 다양한 얼굴 인식 훈련 데이터베이스 생성 기법 실시예들 중 일부 또는 전부를 구현하는 소프트웨어, 프로그램, 및/또는 컴퓨터 프로그램 프로덕트 또는 이의 일부가 컴퓨터 또는 기계 판독형 매체 또는 저장 장치와 통신 매체의 임의의 바람직한 조합에서 컴퓨터 실행형 명령 또는 그 밖의 다른 데이터 구조의 형태로 저장, 수신, 송신, 또는 판독될 수 있다.
마지막으로, 본 명세서에 기재된 얼굴 인식 훈련 데이터베이스 생성 기법 실시예가 컴퓨팅 장치에 의해 실행되는 컴퓨터 실행형 명령, 가령, 프로그램 모듈의 일반적인 맥락에서 추가로 기재될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상화 데이터 유형을 구현하는 루틴, 프로그램, 객체, 구성요소, 데이터 구조 등을 포함한다. 본 명세서에 기재된 실시예는 또한 작업이 하나 이상의 원격 프로세싱 장치에 의해 수행되는 분산 컴퓨팅 환경에서 또는 하나 이상의 통신 네트워크를 통해 링크된 하나 이상의 장치의 클라우드 내에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 컴퓨터 저장 매체와 원격 컴퓨터 저장 매체, 가령 매체 저장 장치 모두에 위치할 수 있다. 또한, 앞서 언급된 명령은 부분적으로 또는 전체적으로 프로세서를 포함할 수도 있고 포함하지 않을 수도 있는 하드웨어 로직 회로로서 구현될 수 있다.
4.0 그 밖의 다른 실시예
얼굴 인식 훈련 데이터베이스 생성 기법 실시예에 대한 상기의 기재에서, 심도 비디오 카메라 및 이러한 카메라로부터의 심도 프레임을 이용하는 모션 검출 방법이 채용되었다. 그러나 또한 컬러 비디오 카메라만 이용해 환경 내 개인을 검출할 수 있는 종래의 모션 검출 방법도 존재한다. 이런 경우, 대안적 실시예에서, 심도 비디오 카메라는 제거되고 컬러 비디오 카메라만 환경 내 잠재적 개인을 검출하도록 사용된다. 따라서 앞서 기재된 프로세스는 컬러 비디오 카메라로부터 출력된 프레임들의 시퀀스가 입력되도록 수정될 것이다. 그 후 이들 이미지 프레임은 얼굴 검출 방법과 함께 사용되어, 환경 내 잠재적 개인을 검출할 수 있고, 또한 적절한 모션 검출 방법과 함께 사용되어, 환경 내 잠재적 개인을 검출할 수 있다. 마찬가지로, 앞서 기재된 바와 같이 프레임들의 새 시퀀스가 사용될 때, 이들은 컬러 비디오 카메라로부터 출력된 프레임들의 새 시퀀스와 마찬가지일 것이다.
또한, 언급된 실시예들 중 임의의 것 또는 전부는 추가 하이브리드 실시예를 형성하기 위해 바람직한 임의의 조합으로 사용될 수 있음이 자명하다. 덧붙여, 본 발명의 대상이 구조물의 특징부 및/또는 방법의 동작에 특정적인 언어로 기재되었지만, 이하의 특허청구범위에서 정의되는 발명의 대상은 앞서 기재된 특정 특징부나 동작에 반드시 한정되는 것이 아님을 이해할 것이다. 오히려 앞서 기재된 특정 특징부 및 동작은 청구항을 구현하는 예시적 형태로서 개시된 것이다.

Claims (10)

  1. 환경 내에 위치하는 것으로 검출되는 개인 각각에 대한 얼굴 인식 훈련 데이터베이스를 생성하기 위한 컴퓨터로 구현되는 프로세스로서,
    컴퓨터를 이용하여,
    (a) 동시-캡처되는 프레임 쌍(contemporaneously-captured frame pair)의 시퀀스를 입력하는 프로세스 동작 - 각각의 프레임 쌍은 컬러 비디오 카메라로부터 출력된 프레임과 심도 비디오 카메라로부터 출력된 프레임을 포함함 - ,
    (b) 얼굴 검출 방법 및 상기 컬러 비디오 카메라의 프레임을 이용해 환경 내 잠재적 개인(potential person)을 검출하는 프로세스 동작,
    (c) 모션 검출 방법 및 상기 심도 비디오 카메라의 프레임을 이용해 상기 환경 내 잠재적 개인을 검출하는 프로세스 동작,
    (d) 상기 얼굴 검출 방법 및 모션 검출 방법을 통해 생성된 검출 결과를 이용해 상기 환경 내 한 명 이상의 개인의 위치를 결정하는 프로세스 동작 - 상기 검출 결과는 상기 얼굴 검출 방법을 통해 생성되며 검출된 각각의 개인에 대해 상기 개인의 얼굴을 나타내는 컬러 비디오 카메라의 일부분의 얼굴 특성을 포함함 - ,
    (e) 상기 모션 검출 방법을 통해 단독으로 검출된 개인 각각에 대해,
    상기 컬러 비디오 카메라의 동시-캡처된 프레임 내 상기 개인의 대응하는 위치를 식별하는 프로세스 동작, 및
    상기 개인의 얼굴을 나타내는 상기 컬러 비디오 카메라 프레임의 일부분의 상기 얼굴 특성을 생성하는 프로세스 동작,
    (f) 상기 환경 내 검출된 개인 각각에 대해,
    개인에 대해 생성된 각각의 얼굴 특성을 개인에 대해 구축된 미확인 개인 식별자에 할당하는 프로세스 동작,
    상기 얼굴 특성 각각을 상기 컴퓨터와 연관된 메모리에 저장하는 프로세스 동작,
    상기 개인의 신원을 확인하려 시도하는 프로세스 동작, 및
    개인의 신원이 확인되면, 상기 개인에 대해 구축된 상기 미확인 개인 식별자에 할당된 얼굴 특성 각각을 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당하는 프로세스 동작을
    포함하는 프로세스를 수행하는,
    컴퓨터로 구현되는 프로세스.
  2. 제1항에 있어서,
    동시-캡처된 프레임 쌍의 새 시퀀스를 입력하는 프로세스 동작 - 프레임 쌍 각각은 컬러 비디오 카메라로부터 출력된 프레임과 심도 비디오 카메라로부터 출력된 프레임을 포함함 - ,
    프로세스 동작(b) 내지 (e)를 반복하는 프로세스 동작,
    환경 내에서 검출되고 동시-캡처된 프레임 쌍의 새 시퀀스에서 나타나는 개인 각각에 대해,
    상기 개인이 상기 새 시퀀스에 선행한 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐었던 위치를 갖는 개인에 대응하는지 여부를 결정하는 프로세스 동작,
    상기 개인이 상기 새 시퀀스에 선행한 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐었던 위치를 갖는 개인에 대응한다고 결정되면, 상기 개인의 신원이 이전에 확인됐었는지 여부를 결정하는 프로세스 동작,
    상기 개인의 신원이 이전에 확인됐었다고 결정되면, 동시-캡처된 프레임 쌍의 상기 새 시퀀스로부터 생성된 얼굴 특성 각각에 대해, 상기 얼굴 특성이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당된 얼굴 특성 각각과 지정 정도만큼 상이한지 여부를 결정하는 프로세스 동작,
    동시-캡처된 프레임 쌍의 상기 새 시퀀스로부터 생성된 얼굴 특성 각각에 대해, 상기 얼굴 특성이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당된 얼굴 특성 각각과 지정 정도만큼 상이하다고 결정되면, 상기 얼굴 특성을 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당하고 상기 얼굴 특성을 상기 컴퓨터와 연관된 메모리에 저장하는 프로세스 동작을 더 포함하는,
    컴퓨터로 구현되는 프로세스.

  3. 제1항에 있어서,
    동시-캡처된 프레임 쌍의 새 시퀀스를 입력하는 프로세스 동작 - 프레임 쌍 각각은 컬러 비디오 카메라로부터 출력된 프레임과 심도 비디오 카메라로부터 출력된 프레임을 포함함 - ,
    프로세스 동작(b) 내지 (e)를 반복하는 프로세스 동작,
    환경 내에서 검출되고 동시-캡처된 프레임 쌍의 새 시퀀스에 나타나는 개인 각각에 대해,
    상기 개인이 상기 새 시퀀스에 선행한 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐었던 위치를 갖는 개인에 대응하는지 여부를 결정하는 프로세스 동작,
    상기 개인이 상기 새 시퀀스에 선행한 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐었던 위치를 갖는 개인에 대응한다고 결정되면, 상기 개인의 신원이 이전에 확인됐었는지 여부를 결정하는 프로세스 동작,
    상기 개인의 신원이 이전에 확인되지 않았었다고 결정되면, 동시-캡처된 프레임 쌍의 상기 새 시퀀스로부터 생성된 얼굴 특성 각각에 대해, 상기 얼굴 특성이 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각과 지정 정도만큼 상이한지 여부를 결정하는 프로세스 동작,
    동시-캡처된 프레임 쌍의 상기 새 시퀀스로부터 생성된 얼굴 특성 각각에 대해, 상기 얼굴 특성이 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각과 지정 정도만큼 상이하다고 결정되면,
    상기 얼굴 특성을 상기 개인에 대해 구축된 미확인 개인 식별자에 할당하고 상기 얼굴 특성을 상기 컴퓨터와 연관된 메모리에 저장하는 프로세스 동작,
    상기 개인의 신원을 확인하려 시도하는 프로세스 동작, 및
    상기 개인의 신원이 확인되면, 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각을 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당하는 프로세스 동작을 더 포함하는,
    컴퓨터로 구현되는 프로세스.
  4. 제1항에 있어서,
    동시-캡처된 프레임 쌍의 새 시퀀스를 입력하는 프로세스 동작 - 프레임 쌍 각각은 컬러 비디오 카메라로부터 출력된 프레임과 심도 비디오 카메라로부터 출력된 프레임을 포함함 - ,
    프로세스 동작(b) 내지 (e)를 반복하는 프로세스 동작;
    환경 내에서 검출되고 동시-캡처된 프레임 쌍의 새 시퀀스에 나타나는 개인 각각에 대해,
    상기 개인이 상기 새 시퀀스에 선행한 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐었던 위치를 갖는 개인에 대응하는지 여부를 결정하는 프로세스 동작,
    상기 개인이 상기 새 시퀀스에 선행한 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐었던 위치를 갖는 개인에 대응한다고 결정되면, 상기 개인의 신원이 이전에 확인됐었는지 여부를 결정하는 프로세스 동작,
    상기 개인의 신원이 이전에 확인되지 않았었다고 결정되면, 상기 개인의 신원이 확인되지 않은 채 동시-캡처된 프레임 쌍의 시퀀스가 입력되고 프로세싱됐던 횟수를 결정하는 프로세스 동작, 및 상기 횟수가 지정 최대 수를 초과하는지 여부를 결정하는 프로세스 동작,
    상기 개인의 신원이 확인되지 않은 채 동시-캡처된 프레임 쌍의 시퀀스가 입력되고 프로세싱됐던 횟수가 지정 최대 수를 초과한다고 결정되면, 상기 메모리에서 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각을 삭제하는 프로세스 동작을 더 포함하는,
    컴퓨터로 구현되는 프로세스.
  5. 제1항에 있어서,
    동시-캡처된 프레임 쌍의 새 시퀀스를 입력하는 프로세스 동작 - 프레임 쌍 각각은 컬러 비디오 카메라로부터 출력된 프레임과 심도 비디오 카메라로부터 출력된 프레임을 포함함 - ,
    프로세스 동작(b) 내지 (e)를 반복하는 프로세스 동작,
    환경 내에서 검출되고 동시-캡처된 프레임 쌍의 새 시퀀스에 나타나는 개인 각각에 대해,
    상기 개인이 상기 새 시퀀스에 선행한 동시-캡처된 프레임 쌍의 시퀀스를 이용해 이전에 결정됐었던 위치를 갖는 개인에 대응하는지 여부를 결정하는 프로세스 동작,
    상기 개인이 상기 새 시퀀스에 선행한 동시-캡처된 프레임 쌍을 이용해 이전에 결정됐었던 위치를 갖는 개인에 대응하지 않는다고 결정되면,
    상기 개인에 대해 생성된 얼굴 특성 각각을 상기 개인에 대해 구축된 미확인 개인 식별자에 할당하는 프로세스 동작,
    상기 얼굴 특성 각각을 상기 컴퓨터와 연관된 메모리에 저장하는 프로세스 동작,
    상기 개인의 신원을 확인하려 시도하는 프로세스 동작, 및
    상기 개인의 신원이 확인되면, 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각을 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당하는 프로세스 동작을 더 포함하는,
    컴퓨터로 구현되는 프로세스.
  6. 제1항에 있어서, 상기 개인에 대해 생성된 얼굴 특성 각각을 상기 개인에 대해 구축된 미확인 개인 식별자에 할당하는 프로세스 동작을 수행하기 전에,
    상기 컬러 비디오 카메라로부터 지정 최대 거리를 초과하는 거리에서 검출된 개인 각각에 대해
    개인의 위치를 줌 능력을 갖는 컬러 카메라를 제어하는 제어기로 제공하는 프로세스 동작 - 상기 제어기는, 상기 개인의 위치를 기초로 하여, 상기 개인의 얼굴을 상기 컬러 비디오 카메라에서 상기 개인까지의 거리에 비례하는 정도로 줌 인(zoom in)하고 상기 개인의 얼굴의 줌된 이미지를 캡처할 수 있음 - ,
    상기 개인의 얼굴의 상기 줌된 이미지를 입력하는 프로세스 동작, 및
    상기 개인의 얼굴을 나타내는 상기 줌된 이미지의 일부분의 상기 얼굴 특성을 생성하는 프로세스 동작
    을 수행하는 것을 더 포함하는,
    컴퓨터로 구현되는 프로세스.
  7. 제1항에 있어서, 동시-캡처되는 프레임 쌍의 추가 시퀀스를 입력하는 프로세스 동작 - 추가 프레임 쌍 각각은 추가 컬러 비디오 카메라로부터 출력된 프레임과 추가 심도 비디오 카메라로부터 출력된 프레임을 포함하고, 상기 추가 컬러 비디오 카메라 및 심도 비디오 카메라는 다른 컬러 비디오 카메라 및 심도 비디오 카메라와 환경 내 동일한 장면을 상이한 시점에서 캡처하고 추가 프레임 쌍 각각은 상기 다른 컬러 비디오 카메라 및 심도 비디오 카메라로부터 출력된 프레임 쌍과 실질적으로 동시에 캡처됨 - ,
    얼굴 검출 방법 및 상기 추가 컬러 비디오 카메라로부터의 프레임을 이용해 환경 내 잠재적 개인을 검출하는 프로세스 동작,
    모션 검출 방법 및 상기 추가 심도 비디오 카메라로부터의 프레임을 이용해 환경 내 잠재적 개인을 검출하는 프로세스 동작,
    상기 얼굴 검출 방법 및 모션 검출 방법을 통해 생성된 검출 결과를 이용해 상기 환경 내 한 명 이상의 개인의 위치를 결정하는 프로세스 동작 - 상기 얼굴 검출 방법을 통해 생성된 검출 결과는 검출된 개인 각각에 대해 상기 개인의 얼굴을 나타내는 상기 컬러 비디오 카메라 프레임의 일부분의 얼굴 특성을 포함함 - ,
    상기 모션 검출 방법을 통해 단독으로 검출된 개인 각각에 대해,
    상기 추가 컬러 비디오 카메라의 동시-캡처된 프레임에서 상기 개인의 대응하는 위치를 식별하는 프로세스 동작,
    상기 개인의 얼굴을 나타내는 상기 추가 컬러 비디오 카메라의 일부분의 상기 얼굴 특성을 생성하는 프로세스 동작,
    상기 추가 컬러 비디오 카메라 및 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 하여 상기 환경 내 검출된 개인 각각에 대해,
    개인의 식별된 위치를 기초로 하여, 상기 개인이 상기 다른 컬러 비디오 카메라 및 심도 비디오 카메라를 이용해 검출된 적이 있는지 여부를 결정하는 프로세스 동작,
    상기 개인이 상기 다른 컬러 비디오 카메라 및 심도 비디오 카메라를 이용해 검출된 적이 있다고 결정되면, 상기 추가 컬러 비디오 카메라 및 상기 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 하여 상기 개인에 대해 생성된 얼굴 특성 각각을, 상기 다른 컬러 비디오 카메라 및 심도 비디오 카메라를 이용한 개인의 검출을 기초로 하여 상기 개인에 대해 구축된 미확인 개인 식별자에 할당하는 프로세스 동작, 및 상기 추가 컬러 비디오 카메라 및 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 하여 상기 개인에 대해 생성된 상기 얼굴 특성 각각을 상기 컴퓨터와 연관된 메모리에 저장하는 프로세스 동작,
    상기 개인이 상기 다른 컬러 비디오 카메라 및 심도 비디오 카메라를 이용해 검출된 적이 없다고 결정되면, 상기 추가 컬러 비디오 카메라 및 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 상기 개인에 대해 생성된 얼굴 특성 각각을 상기 개인에 대해 구축된 미확인 개인 식별자에 할당하는 프로세스 동작, 및 상기 개인의 신원이 확인되면, 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각을 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당하는 프로세스 동작을 더 포함하는,
    컴퓨터로 구현되는 프로세스.
  8. 제1항에 있어서,
    동시-캡처되는 프레임 쌍의 추가 시퀀스를 입력하는 프로세스 동작 - 추가 프레임 쌍 각각은 추가 컬러 비디오 카메라로부터 출력된 프레임과 추가 심도 비디오 카메라로부터 출력된 프레임을 포함하고, 상기 추가 컬러 비디오 카메라 및 심도 비디오 카메라는 다른 컬러 비디오 카메라 및 심도 비디오 카메라와 환경 내 상이한 장면을 캡처함 - ,
    얼굴 검출 방법 및 상기 추가 컬러 비디오 카메라로부터의 프레임을 이용해 환경 내 잠재적 개인을 검출하는 프로세스 동작,
    모션 검출 방법 및 상기 추가 심도 비디오 카메라로부터의 프레임을 이용해 환경 내 잠재적 개인을 검출하는 프로세스 동작,
    상기 얼굴 검출 방법 및 모션 검출 방법을 통해 생성된 검출 결과를 이용해 상기 환경 내 한 명 이상의 개인의 위치를 결정하는 프로세스 동작 - 상기 얼굴 검출 방법을 통해 생성된 검출 결과는 검출된 개인 각각에 대해 상기 개인의 얼굴을 나타내는 상기 컬러 비디오 카메라 프레임의 일부분의 얼굴 특성을 포함함 - ,
    상기 모션 검출 방법을 통해 단독으로 검출된 개인 각각에 대해,
    상기 추가 컬러 비디오 카메라의 동시-캡처된 프레임에서 상기 개인의 대응하는 위치를 식별하는 프로세스 동작,
    상기 개인의 얼굴을 나타내는 상기 추가 컬러 비디오 카메라의 일부분의 상기 얼굴 특성을 생성하는 프로세스 동작,
    상기 추가 컬러 비디오 카메라 및 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 하여 상기 환경 내 검출된 개인 각각에 대해,
    검출된 개인이 상기 환경 내 상이한 장면에서 이전에 검출됐었는지 여부를 결정하는 프로세스 동작,
    상기 개인이 상기 환경 내 상이한 장면에서 이전에 검출된 경우, 상기 개인의 신원이 이전에 확인됐었는지 여부를 결정하는 프로세스 동작,
    상기 개인의 신원이 이전에 확인되지 않았었다고 결정되면, 동시-캡처되는 프레임 쌍의 상기 추가 시퀀스로부터 생성된 얼굴 특성 각각에 대해, 상기 얼굴 특성이 상기 개인에 대해 이전에 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각과 지정 정도만큼 상이한지 여부를 결정하는 프로세스 동작,
    동시-캡처되는 프레임 쌍의 상기 추가 시퀀스로부터 생성된 얼굴 특성 각각에 대해, 상기 얼굴 특성이 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각과 지정 정도만큼 상이하다고 결정되면, 상기 얼굴 특성을 상기 개인에 대해 이전에 구축된 미확인 개인 식별자에 할당하는 프로세스 동작 및 상기 얼굴 특성을 상기 컴퓨터와 연관된 메모리에 저장하는 프로세스 동작,
    상기 개인의 신원을 확인하려 시도하는 프로세스 동작, 및
    상기 개인의 신원이 확인되면, 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각을 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당하는 프로세스 동작,
    상기 개인이 상기 환경 내 상이한 장면에서 이전에 검출되지 않은 경우,
    상기 추가 컬러 비디오 카메라 및 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 하여 상기 개인에 대해 생성된 얼굴 특성 각각을 상기 개인에 대해 새롭게 구축된 미확인 개인 식별자에 할당하는 프로세스 동작,
    상기 추가 컬러 비디오 카메라 및 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 상기 개인에 대해 생성된 상기 얼굴 특성 각각을 상기 컴퓨터와 연관된 메모리에 저장하는 프로세스 동작,
    상기 개인의 신원을 확인하려 시도하는 프로세스 동작, 및
    상기 개인의 신원이 확인되면, 상기 개인에 대해 구축된 미확인 개인 식별자에 할당된 얼굴 특성 각각을 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 재할당하는 프로세스 동작을 더 포함하는,
    컴퓨터로 구현되는 프로세스.
  9. 제1항에 있어서,
    동시-캡처되는 프레임 쌍의 추가 시퀀스를 입력하는 프로세스 동작 - 추가 프레임 쌍 각각은 추가 컬러 비디오 카메라로부터 출력된 프레임과 추가 심도 비디오 카메라로부터 출력된 프레임을 포함하고, 상기 추가 컬러 비디오 카메라 및 심도 비디오 카메라는 다른 컬러 비디오 카메라 및 심도 비디오 카메라와 환경 내 상이한 장면을 캡처함 - ,
    얼굴 검출 방법 및 상기 추가 컬러 비디오 카메라로부터의 프레임을 이용해 환경 내 잠재적 개인을 검출하는 프로세스 동작;
    모션 검출 방법 및 상기 추가 심도 비디오 카메라로부터의 프레임을 이용해 환경 내 잠재적 개인을 검출하는 프로세스 동작;
    상기 얼굴 검출 방법 및 모션 검출 방법을 통해 생성된 검출 결과를 이용해 상기 환경 내 한 명 이상의 개인의 위치를 결정하는 프로세스 동작 - 상기 얼굴 검출 방법을 통해 생성된 검출 결과는 검출된 개인 각각에 대해 상기 개인의 얼굴을 나타내는 상기 컬러 비디오 카메라 프레임의 일부분의 얼굴 특성을 포함함 - ,
    상기 모션 검출 방법을 통해 단독으로 검출된 개인 각각에 대해,
    상기 추가 컬러 비디오 카메라의 동시-캡처된 프레임에서 상기 개인의 대응하는 위치를 식별하는 프로세스 동작,
    상기 개인의 얼굴을 나타내는 상기 추가 컬러 비디오 카메라의 일부분의 상기 얼굴 특성을 생성하는 프로세스 동작,
    상기 추가 컬러 비디오 카메라 및 추가 심도 비디오 카메라로부터 출력된 프레임 쌍을 기초로 하여 상기 환경 내 검출된 개인 각각에 대해,
    상기 검출된 개인이 상기 환경 내 상이한 장면에서 이전에 검출됐었는지 여부를 결정하는 프로세스 동작,
    상기 개인이 상기 환경 내 상이한 장면에서 이전에 검출됐었던 경우,
    상기 개인의 신원이 이전에 확인됐었는지 여부를 결정하는 프로세스 동작,
    상기 개인의 신원이 이전에 확인됐었다고 결정되면, 동시-캡처되는 프레임 쌍의 상기 추가 시퀀스로부터 생성된 얼굴 특성 각각에 대해, 상기 얼굴 특성이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당된 얼굴 특성 각각과 지정 정도만큼 상이한지 여부를 결정하는 프로세스 동작,
    동시-캡처되는 프레임 쌍의 상기 추가 시퀀스로부터 생성된 얼굴 특성 각각에 대해, 상기 얼굴 특성이 상기 개인에 대해 구축된 얼굴 인식 훈련 데이터베이스에 할당된 얼굴 특성 각각과 지정 정도만큼 상이하다고 결정되면, 상기 얼굴 특성을 상기 개인에 대해 구축된 얼굴 인식 훈력 데이터베이스에 할당하는 프로세스 동작 및 상기 얼굴 특성을 상기 컴퓨터와 연관된 메모리에 저장하는 프로세스 동작을 더 포함하는,
    컴퓨터로 구현되는 프로세스.
  10. 제1항에 있어서, 상기 모션 검출 방법 및 상기 심도 비디오 카메라 프레임을 이용해 환경 내 잠재적 개인을 검출하는 프로세스 동작은,
    첫 번째 심도 비디오 카메라 프레임의 모든 픽셀을 배경 픽셀로 지정하는 프로세스 동작,
    상기 동시-캡처되는 프레임 쌍의 시퀀스에 포함된 각각의 후속-캡처되는 심도 프레임(subsequently-captured depth frame)의 픽셀 각각에 대해, 프레임이 캡처됐던 순서로,
    픽셀의 심도 값이 상기 환경 내 동일 위치를 나타내는 현재 고려 중인 프레임 바로 전에 캡처된 심도 프레임 내 픽셀의 값과 지정 크기를 초과하여 변경됐는지 여부를 식별하는 프로세스 동작,
    상기 픽셀의 심도 값이 상기 지정 크기를 초과하여 변경됐을 경우, 상기 픽셀을 전경 픽셀로 지정하는 프로세스 동작,
    동시-캡처되는 프레임 쌍의 시퀀스에 포함된 마지막 프레임이, 상기 마지막 프레임의 픽셀 심도 값이 지정 크기를 초과하여 변경됐는지 여부를 식별하기 위해 프로세싱되면,
    (ⅰ) 상기 마지막 프레임의 전경 픽셀들 중에 시드 포인트(seed point)를 구축하고 상기 시드 포인트와 연관된 픽셀을 별도의 블롭(blob)의 일부분이도록 할당하는 프로세스 동작,
    (ⅱ) 상기 블롭에 할당된 픽셀에 이웃하며, 상기 블롭에 이미 할당된 것이 아닌 픽셀 각각에 대해, 이웃하는 픽셀의 심도 값이 상기 블롭에 할당된 픽셀들의 현재 평균과 지정 허용오차 내에서 동일한지 여부를 재귀적으로 결정하고, 동일한 경우, 블롭에 할당되지 않으며 상기 블롭에 할당된 픽셀들의 현재 평균과 상기 지정 허용오차 내에서 동일한 심도 값을 갖는 어떠한 이웃하는 픽셀도 발견될 수 없을 때까지, 해당 이웃하는 픽셀을 상기 블롭의 일부분이도록 할당하는 프로세스 동작, 및
    (ⅲ) 재귀적 결정 동작(ⅱ)의 수행 중에 상이한 블롭에 할당된 이웃하는 픽셀이 발견될 경우, 두 블롭을 하나의 블롭으로 조합하고 재귀적 결정 동작(ⅱ)을 계속하는 프로세스 동작, 및
    (ⅳ) 더 이상의 블롭이 형성될 수 없을 때까지, 할당되지 않은 전경 픽셀에 대해 프로세스 동작(ⅰ) 내지 (ⅲ)을 반복하는 프로세스 동작,
    더 이상의 블롭이 형성될 수 없으면, 블롭 각각에 대해,
    블롭이 인간을 표현하는 블롭을 지시하는 지정 기준들의 세트에 충족하는지 여부를 결정하는 프로세스 동작,
    상기 지정 기준들의 세트를 충족하지 않는 블롭 각각을 제거하는 프로세스 동작, 및
    나머지 블롭 각각을 상기 환경 내 위치하는 상이한 잠재적 개인을 나타내도록 지정하는 프로세스 동작을 더 포함하는,
    컴퓨터로 구현되는 프로세스.
KR20147035864A 2012-06-22 2013-06-19 데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법 KR20150021526A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/530,925 2012-06-22
US13/530,925 US8855369B2 (en) 2012-06-22 2012-06-22 Self learning face recognition using depth based tracking for database generation and update
PCT/US2013/046447 WO2013192253A1 (en) 2012-06-22 2013-06-19 Self learning face recognition using depth based tracking for database generation and update

Publications (1)

Publication Number Publication Date
KR20150021526A true KR20150021526A (ko) 2015-03-02

Family

ID=48699349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20147035864A KR20150021526A (ko) 2012-06-22 2013-06-19 데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법

Country Status (7)

Country Link
US (2) US8855369B2 (ko)
EP (1) EP2864930B1 (ko)
JP (1) JP2015520470A (ko)
KR (1) KR20150021526A (ko)
CN (1) CN103400106B (ko)
ES (1) ES2704277T3 (ko)
WO (1) WO2013192253A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6112823B2 (ja) * 2012-10-30 2017-04-12 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータにより読み取り可能なプログラム
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
KR102161783B1 (ko) * 2014-01-16 2020-10-05 한국전자통신연구원 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법
CN103792943B (zh) * 2014-02-19 2017-01-11 北京工业大学 基于距离信息和实例学习的机器人自主运动控制方法
WO2015130309A1 (en) * 2014-02-28 2015-09-03 Hewlett-Packard Development Company, L.P. Customizable profile to modify an identified feature in video feed
US9552519B2 (en) * 2014-06-02 2017-01-24 General Motors Llc Providing vehicle owner's manual information using object recognition in a mobile device
US9384386B2 (en) 2014-08-29 2016-07-05 Motorola Solutions, Inc. Methods and systems for increasing facial recognition working rang through adaptive super-resolution
US9544679B2 (en) * 2014-12-08 2017-01-10 Harman International Industries, Inc. Adjusting speakers using facial recognition
CN104463899B (zh) * 2014-12-31 2017-09-22 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
CN106778546A (zh) * 2016-11-29 2017-05-31 聚鑫智能科技（武汉）股份有限公司 一种基于可见光和非可见光的视觉识别方法及系统
CN108154375B (zh) * 2016-12-06 2019-10-15 阿里巴巴集团控股有限公司 一种业务数据处理方法及装置
JP2018093412A (ja) * 2016-12-06 2018-06-14 株式会社日立製作所 演算装置、送信プログラム、送信方法
CN106650656B (zh) * 2016-12-16 2023-10-27 中新智擎科技有限公司 一种用户身份识别装置和机器人
JP6844692B2 (ja) * 2017-04-07 2021-03-17 日本電気株式会社 学習データ生成装置、学習データ生成方法、およびプログラム
WO2018188993A1 (en) * 2017-04-14 2018-10-18 Koninklijke Philips N.V. Person identification systems and methods
WO2018191648A1 (en) 2017-04-14 2018-10-18 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
US10242486B2 (en) * 2017-04-17 2019-03-26 Intel Corporation Augmented reality and virtual reality feedback enhancement system, apparatus and method
US10671840B2 (en) 2017-05-04 2020-06-02 Intel Corporation Method and apparatus for person recognition using continuous self-learning
US10943088B2 (en) * 2017-06-14 2021-03-09 Target Brands, Inc. Volumetric modeling to identify image areas for pattern recognition
CN109948468A (zh) * 2019-02-28 2019-06-28 南京甬宁科学仪器有限公司 一种激光显微镜图像分析识别系统
GB2586996B (en) * 2019-09-11 2022-03-09 Canon Kk A method, apparatus and computer program for acquiring a training set of images
CN111401205B (zh) * 2020-03-11 2022-09-23 深圳市商汤科技有限公司 动作识别方法及装置、电子设备、计算机可读存储介质
CN111709974B (zh) * 2020-06-22 2022-08-02 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置
CN114827435B (zh) * 2021-01-28 2024-05-07 深圳绿米联创科技有限公司 免IR-Cut的视频流处理方法及装置、智能门锁及介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US6819783B2 (en) * 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
US5991429A (en) * 1996-12-06 1999-11-23 Coffin; Jeffrey S. Facial recognition system for security access and identification
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
AU2001282483A1 (en) * 2000-08-29 2002-03-13 Imageid Ltd. Indexing, storage and retrieval of digital images
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US7024033B2 (en) 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
US7050607B2 (en) 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
JP2003346149A (ja) * 2002-05-24 2003-12-05 Omron Corp 顔照合装置および生体情報照合装置
US7843495B2 (en) * 2002-07-10 2010-11-30 Hewlett-Packard Development Company, L.P. Face recognition in a digital imaging system accessing a database of people
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2005044330A (ja) 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US7668346B2 (en) 2006-03-21 2010-02-23 Microsoft Corporation Joint boosting feature selection for robust face recognition
JP4836633B2 (ja) * 2006-03-31 2011-12-14 株式会社東芝 顔認証装置、顔認証方法および入退場管理装置
JP2008017169A (ja) * 2006-07-06 2008-01-24 Nikon Corp 電子カメラ
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
US8010471B2 (en) 2007-07-13 2011-08-30 Microsoft Corporation Multiple-instance pruning for learning efficient cascade detectors
US8804997B2 (en) * 2007-07-16 2014-08-12 Checkvideo Llc Apparatus and methods for video alarm verification
CN103369391B (zh) * 2007-11-21 2016-12-28 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
CN100543764C (zh) * 2007-12-25 2009-09-23 西南交通大学 一种具有光照鲁棒性的人脸特征提取方法
JP2011516966A (ja) 2008-04-02 2011-05-26 グーグル インコーポレイテッド デジタル画像集合内に自動顔認識を組み込む方法および装置
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
US8442355B2 (en) * 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
US20110078097A1 (en) 2009-09-25 2011-03-31 Microsoft Corporation Shared face training data
JP4844670B2 (ja) * 2009-11-13 2011-12-28 日本ビクター株式会社 映像処理装置および映像処理方法
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9858475B2 (en) * 2010-05-14 2018-01-02 Intuitive Surgical Operations, Inc. Method and system of hand segmentation and overlay using depth data
US8918209B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
EP2633474A4 (en) 2010-10-28 2017-03-22 Telefonaktiebolaget LM Ericsson (publ) A face data acquirer, end user video conference device, server, method, computer program and computer program product for extracting face data
WO2012071677A1 (en) 2010-11-29 2012-06-07 Technicolor (China) Technology Co., Ltd. Method and system for face recognition
US9235977B2 (en) * 2011-02-22 2016-01-12 Richard Deutsch Systems and methods for monitoring caregiver and patient protocol compliance
US9530221B2 (en) * 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
US9060095B2 (en) * 2012-03-14 2015-06-16 Google Inc. Modifying an appearance of a participant during a video conference
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device

Also Published As

Publication number Publication date
CN103400106B (zh) 2017-06-16
CN103400106A (zh) 2013-11-20
EP2864930A1 (en) 2015-04-29
WO2013192253A1 (en) 2013-12-27
US20150092986A1 (en) 2015-04-02
JP2015520470A (ja) 2015-07-16
US20130343600A1 (en) 2013-12-26
EP2864930B1 (en) 2018-11-28
ES2704277T3 (es) 2019-03-15
US9317762B2 (en) 2016-04-19
US8855369B2 (en) 2014-10-07

Similar Documents

Publication Publication Date Title
KR20150021526A (ko) 데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법
US11789545B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN105611230B (zh) 图像处理装置及图像处理方法
Wheeler et al. Face recognition at a distance system for surveillance applications
JP5088507B2 (ja) 同一性判定装置、同一性判定方法および同一性判定用プログラム
KR102152318B1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
US20150363670A1 (en) Image recognition method and camera system
CN102819847B (zh) 基于ptz移动摄像头的运动轨迹提取方法
CN107851318A (zh) 用于对象跟踪的系统和方法
CN107408303A (zh) 用于对象跟踪的系统和方法
CN108268864A (zh) 人脸识别方法、系统、电子设备和计算机程序产品
CN105426827A (zh) 活体验证方法、装置和系统
CN105760846A (zh) 基于深度数据的目标检测与定位方法及系统
CN112419233B (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN106033601A (zh) 检测异常情形的方法和装置
KR101762010B1 (ko) 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법
CN112785564B (zh) 一种基于机械臂的行人检测跟踪系统与方法
RU2712417C1 (ru) Способ и система распознавания лиц и построения маршрута с помощью средства дополненной реальности
JP2019029747A (ja) 画像監視システム
KR102498384B1 (ko) 나이변화에 따른 얼굴예측 및 ai를 활용한 cctv 기반의 실종자 검색방법
Tanaka et al. Dynamically visual learning for people identification with sparsely distributed cameras
CN115909173A (zh) 物体跟踪方法、跟踪模型训练方法、装置、设备和介质
KR101427488B1 (ko) 적외선을 이용한 객체 인식 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application