KR102251477B1 - 얼굴 인식-기반 인증 - Google Patents
얼굴 인식-기반 인증 Download PDFInfo
- Publication number
- KR102251477B1 KR102251477B1 KR1020197006033A KR20197006033A KR102251477B1 KR 102251477 B1 KR102251477 B1 KR 102251477B1 KR 1020197006033 A KR1020197006033 A KR 1020197006033A KR 20197006033 A KR20197006033 A KR 20197006033A KR 102251477 B1 KR102251477 B1 KR 102251477B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- target object
- projection information
- projection
- face
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 184
- 210000005252 bulbus oculi Anatomy 0.000 claims description 28
- 230000004071 biological effect Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 6
- 210000000887 face Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 description 82
- 210000001508 eye Anatomy 0.000 description 51
- 230000000875 corresponding effect Effects 0.000 description 48
- 230000008859 change Effects 0.000 description 41
- 230000001815 facial effect Effects 0.000 description 32
- 238000001514 detection method Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 22
- 230000009471 action Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 210000000214 mouth Anatomy 0.000 description 14
- 238000005094 computer simulation Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000000193 eyeblink Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 5
- 210000001331 nose Anatomy 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 4
- 238000010835 comparative analysis Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229960000074 biopharmaceutical Drugs 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G06K9/00261—
-
- G06K9/00268—
-
- G06K9/00906—
-
- G06K9/2054—
-
- G06K9/4652—
-
- G06K9/4661—
-
- G06K9/58—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
- G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
- H04M1/667—Preventing unauthorised calls from a telephone set
- H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2358/00—Arrangements for display data security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/54—Details of telephonic subscriber devices including functional features of a projector or beamer module assembly
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
얼굴 인식-기반 인증은, 타깃 대상의 제 1 이미지를 획득하는 단계, 디스플레이 디바이스에 의해 디스플레이와 관련된 프로젝션 정보를 갱신하는 단계, 상기 타깃 대상의 제 2 이미지를 획득하는 단계로서 상기 제 2 이미지는 상기 프로젝션 정보가 갱신된 후의 상기 타깃 대상의 이미지인, 상기 제 2 이미지를 획득하는 단계, 상기 제 1 이미지 및 상기 제 2 이미지에 적어도 부분적으로 기초하여 이미지 차이 데이터를 획득하는 단계, 및 상기 이미지 차이 데이터에 적어도 부분적으로 기초하여 상기 타깃 대상이 가상의 대상인지를 결정하는 단계를 포함한다.
Description
본 출원은 2016년 9월 30일자로 출원되었고, 발명의 명칭이 "단말기 디바이스, 스마트폰, 및 얼굴 인식 기반의 인증 방법 및 시스템(A TERMINAL DEVICE, A SMART PHONE, AND A FACIAL RECOGNITION-BASED AUTHENTICATION METHOD AND SYSTEM)"인, 중화인민공화국 특허출원 제201610873804.1호의 우선권을 주장하며, 위의 특허출원은 모든 목적을 위해 참고로서 본 명세서에 통합된다.
본 발명은 신원 확인(identity verification) 분야에 관한 것이다. 특히, 본 출원은 얼굴 인식-기반 인증을 위한 단말기 디바이스, 스마트폰, 방법 및 시스템에 관한 것이다.
생체인식(biometrics)은 개인들을 식별하기 위하여, 컴퓨터들, 광학, 음향 및 생물학적 센서들, 생체 통계학의 원리들, 및 다른 하이테크 방법들을 조합하고, 인체의 고유한 생리학적 특징들(예를 들어, 지문, 성문(voice print), 얼굴, 홍채, 등)뿐만 아니라 거동 특징들(예를 들어, 수기, 음성, 보행, 등)을 사용함으로써, 개인 신원들을 인증하는 방법이다. 얼굴 인식 기술은 정확하고 비-침습적이며 실시간으로 다른 생체인식 기술에 비해 이점들을 갖는다. 따라서 비디오 모니터링, 얼굴 인식-기반 출석 확인 및 신원 인증 시스템들과 같은 다양한 사회 부문들에 널리 적용된다.
신원 인증 분야, 특히 얼굴 인식-기반 신원 인증 분야에서, 관련 기술은 일반적으로 다음 두 가지 기술들에 따라 신원들을 인증한다:
제 1 기술에서, 얼굴 이미지 인식-기반의 신원 인증 시스템은 사용자들의 얼굴 이미지를 캡처하기 위해 카메라를 사용하여 인식 및 인증을 수행한다. 얼굴 인식 과정에서 시스템은 얼굴 이미지들에 대한 특성 정보를 추출한다. 그러나 사람의 사진과 비디오 카메라에 의해 획득된 얼굴 이미지들은 거의 동일한 특성들을 갖는다. 따라서, 이미지- 캡처 디바이스 앞에서 얼굴의 사진을 회전, 뒤집기, 굽힘 및 다른 이러한 조작을 적용하여 실제 사람의 효과들을 시뮬레이션하고 인증 시스템을 속이는 것이 가능하다. 따라서 얼굴 이미지 인식-기반의 신원 인증 시스템은 합법적인 사용자들의 사진과 합법적인 사용자들의 3차원 모델들에 의한 공격에 취약하다.
제 2 기술에서, 얼굴 이미지 인식-기반의 신원 인증 시스템에서, 이미지 프레임 내의 사람의 얼굴은 얼굴 인식, 특징점 추출, 얼굴 특징점 비교, 동작 인식, 등을 겪는다. 살아있는 실제 사람은 주로 얼굴 표현 활동의 형태들을 사용하여 평가된다. 사용자는 하나 이상의 동작들(예를 들어, 머리를 끄덕이거나 흔들거나, 눈-깜박임 또는 입-벌림)을 수행하라고 촉구받고, 시스템은 사용자에 의해 수행된 대응 동작들을 수신하다. 사람의 동작들은 촬영된 연속 이미지들을 사용하여 계산되고 분석된다. 특히, 실시간 이미지들은 얼굴 이미지들을 획득하기 위해 비디오 카메라를 통한 사용자의 촬영이다. 대표적인 특징점들은 얼굴 이미지들로부터 추출되고, 이러한 점들은 코, 눈썹, 입 및 다른 이러한 특징들을 포함하지만, 이에 한정되는 것은 아니다. 규칙-기반 방법들 또는 기계 학습과 같은 방법들이 이후, 연속적인 다중-프레임 이미지들의 특징점들의 연속적인 변경들에 적용되어, 특정 동작이 있는지를 평가한다(머리를 끄덕이거나 흔드는 것, 눈-깜박임 또는 입-벌림을 포함하지만, 이에 한정되지 않음). 그러면 시스템은 사용자 동작의 정확성을 평가하고, 따라서 실시간 이미지들이 실제 사람에 대응하는지를 결정한다.
이러한 얼굴 이미지 인식-기반의 신원 인증 시스템은 다음 세 가지 형태의 공격들을 받는다.
1. 비디오 재생 공격: 사전에 기록된 적절한 동작들의 비디오 이미지들을 사용하여 동작들이 시뮬레이션되고, 이러한 방식으로 얼굴의 라이브 인식 시스템(facial live recognition system)이 공격을 받는다.
2. 연속적인 픽쳐 공격: 연속적인 이미지 슬라이드들을 재생함으로써 동작들이 시뮬레이션되고, 이러한 방식으로 얼굴의 라이브 인식 시스템이 공격을 받는다.
3. 얼굴 동작 소프트웨어 시뮬레이션 공격: 비디오 재생 공격 및 얼굴 동작 소프트웨어 시뮬레이션 공격은 합법적인 사용자의 사진을 획득한다. 머리-끄덕임, 흔들림, 눈-깜박임, 및 다른 이러한 동작들의 이미지들이 소프트웨어 시뮬레이션을 통해 합성되며, 이러한 방식으로 얼굴의 라이브 인식 시스템이 공격을 받는다.
기존의 라이브 인식-기반 인증 시스템들(existing live recognition-based authentication system)이 불법 사용자들이 위에서 설명한 합법적인 사용자들의 시뮬레이션된 동작을 사용하는 비디오 또는 이미지 공격들에 여전히 취약하기 때문에, 이 문제를 해결하기 위한 효과적인 해결책이 필요하다.
본 발명의 다양한 실시예들이 다음의 상세한 설명 및 첨부 도면들에 개시된다.
여기에 기술된 도면은 본 발명의 이해를 강화하고, 본 출원의 일부를 형성하기 위한 것이다. 본 발명의 예시적인 실시예들 및 그 설명들은 본 발명을 설명하기 위한 것이며, 본 발명의 부적절한 제한을 구성하려는 것은 아니다.
도 1은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증을 위한 단말기의 구조 블록도.
도 2는 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증을 위한 단말기의 구조 블록도.
도 3은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증을 위한 시스템의 도면.
도 4는 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도.
도 5a는 본 출원의 다양한 실시예들에 따른 단말기의 전면 비디오 카메라에 의해 획득된 사람의 얼굴 대상의 도면.
도 5b는 본 출원의 다양한 실시예들에 따라 단말기 관련 휘도가 증가한 후 단말기의 전면 비디오 카메라에 의해 획득된 사람의 얼굴 대상의 도면.
도 6은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 시스템을 위한 방법의 상호작용 도면.
도 7은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도.
도 8은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도.
도 9는 본 출원의 다양한 실시예들에 따른 스마트폰의 도면.
도 10은 본 출원의 다양한 실시예들에 따른 컴퓨터 단말기의 구조 블록도.
도 2는 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증을 위한 단말기의 구조 블록도.
도 3은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증을 위한 시스템의 도면.
도 4는 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도.
도 5a는 본 출원의 다양한 실시예들에 따른 단말기의 전면 비디오 카메라에 의해 획득된 사람의 얼굴 대상의 도면.
도 5b는 본 출원의 다양한 실시예들에 따라 단말기 관련 휘도가 증가한 후 단말기의 전면 비디오 카메라에 의해 획득된 사람의 얼굴 대상의 도면.
도 6은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 시스템을 위한 방법의 상호작용 도면.
도 7은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도.
도 8은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도.
도 9는 본 출원의 다양한 실시예들에 따른 스마트폰의 도면.
도 10은 본 출원의 다양한 실시예들에 따른 컴퓨터 단말기의 구조 블록도.
본 발명은, 장치; 시스템; 물질의 조성; 컴퓨터 판독 가능한 저장 매체상에서 구현되는 컴퓨터 프로그램 제품; 및/또는 프로세서에 결합된 메모리에 저장된 및/또는 이러한 메모리에 의해 제공된 명령들을 실행하도록 구성된 프로세서와 같은 프로세서를 하나의 프로세스로서 포함하는 다양한 방식들로 구현될 수 있다. 본 명세서에서, 이러한 구현들, 또는 본 발명이 취할 수 있는 임의의 다른 형태는 기술들로서 언급될 수 있다. 일반적으로, 개시된 프로세스들의 단계들의 순서는 본 발명의 범주 내에서 변경될 수 있다. 달리 언급되지 않으면, 업무를 수행하도록 구성되는 것으로 기술된 프로세서 또는 메모리와 같은 구성요소는, 주어진 시간에 작업을 수행하도록 일시적으로 구성되는 범용 구성요소로서, 또는 작업을 수행하도록 제작되는 특수 구성요소로서 구현될 수 있다. 본 명세서에서 사용되는 "프로세서"는 하나 이상의 디바이스들, 회로들, 및/또는 컴퓨터 프로그램 명령들과 같은 데이터를 처리하도록 구성된 처리 코어들을 지칭한다.
본 발명의 하나 이상의 실시예들의 상세한 설명은 본 발명의 원리들을 도시하는 첨부 도면들과 함께 아래에 제공된다. 본 발명은 이러한 실시예들과 관련하여 기술되지만, 본 발명은 임의의 실시예에 한정되지 않는다. 본 발명의 범주는 오로지 청구항들에 의해 제한되고, 본 발명은 다양한 대안들, 수정들 및 등가물들을 포함한다. 다양한 특정 세부사항들은 본 발명의 철저한 이해를 제공하기 위하여 다음의 설명에서 설명된다. 이들 세부사항들은 예시의 목적으로 제공되고, 본 발명은 이들 특정 세부사항들의 일부 또는 전부 없이 청구항들에 따라 실시될 수 있다. 명확성을 위해, 본 발명에 관련된 기술분야에서 알려진 기술 자료들은 본 발명이 불필요하게 모호하게 되지 않도록 상세하게 기술되지 않았다.
당업자들이 본 발명의 기술적인 방안들(기술들)을 더 잘 이해할 수 있도록, 본 발명의 실시예들에서 기술 방안들이 본 발명의 실시예들의 도면들에 비추어 명확하고 완전하게 기술된다. 명백하게, 기술된 실시예들은 본 발명의 오로지 일부 실시예들일 뿐이며 모든 실시예들인 것은 아니다. 본 발명의 실시예들에 기초하여 당업자들에 의해 획득된 다른 모든 실시예들은 추가의 창조 노력이 지출되지 않는 한 본 발명의 보호 범위 내에 있을 것이다.
본 발명의 설명 및 청구 범위, 및 위에서 기술된 도면들에서 용어들 "제 1", "제 2", 등은 유사한 대상들을 구별하기 위한 것이며, 특정 시퀀스들 또는 시간상 순서들을 기술하기 위한 것이 되어야 하는 것이 아니라는 점에 주목해야 한다. 이러한 방식으로 사용된 데이터가 적절한 상황들 하에서 교환 가능하여, 본 명세서에서 기술된 본 발명의 실시예들이 본 명세서의 도면들 또는 설명들에서와 다른 순서에 시퀀스들에 따라 구현될 수 있음을 이해해야 한다. 또한, "포함하는" 또는 "갖는"이라는 용어들 및 그의 변형들은 비-배타적인 것으로 의도된다. 예를 들어, 일련의 단계들 또는 유닛들을 포함하는 프로세스들, 방법들, 시스템들, 제품들 또는 장비는 명확하게 나열된 단계들 또는 유닛들로만 제한될 필요는 없고, 오히려 명확하게 나열되지 않았거나 이러한 프로세스들, 방법들, 제품들 또는 장비에 본질적인 다른 단계들 또는 유닛들을 포함할 수도 있다.
본 출원의 다양한 실시예들을 기술하는 프로세스에서 출현할 용어들 중 일부는 다음의 설명에 적용될 수 있다:
비디오 디바이스: 비디오 캡처 및 스틸 이미지 캡처(예를 들어, 비디오 카메라, 스마트폰, 태블릿, 등)와 같은 기능들을 갖는 디바이스. 이미지들이 렌즈를 통해 캡처된 후, 비디오 디바이스 내부의 광-감지 구성요소 회로 및 제어 구성요소는 이미지들을 처리하여 단말기 디바이스가 인식할 수 있는 디지털 신호로 변환한다. 이미지들이 (예를 들어, 병렬 포트, USB, 블루투스, WiFi, 등을 통해) 단말기 디바이스로 전달된 후, 이미지는 소프트웨어로 복원될 수 있다.
타깃 대상(Target object): 비디오 디바이스를 통해 이미지 정보가 획득될 수 있는 임의의 대상. 타깃 대상은 실제 대상 또는 가상의 대상일 수 있다.
이미지: 비디오 디바이스에 의해 획득된 타깃 대상의 사진, 픽쳐 또는 비디오. 본 명세서에 기술된 다양한 실시예들에서, 제 1 이미지들은 프로젝션 정보의 수정 이전에 비디오 디바이스에 의해 획득된 타깃 대상들의 이미지들에 대응하고, 제 2 이미지들은 프로젝션 정보의 수정 후에 비디오 디바이스에 의해 획득된 타깃 대상들의 이미지들에 대응한다.
프로젝션 정보(Projection information): 타깃 대상에 투영하여 타깃 대상으로부터의 반사를 일으키는 정보. 프로젝션 정보는 프로젝션 디바이스(예를 들어, 디스플레이 스크린) 상에 디스플레이된 콘텐츠(예를 들어, 텍스트, 픽쳐, 등) 및/또는 프로젝션 디바이스의 디스플레이 파라미터들(예를 들어, 컬러, 휘도, 등)을 포함할 수 있다. 프로젝션 정보는 프로젝션 디바이스에 디스플레이된(또는 그렇지 않으면 출력되는) 콘텐츠를 갱신하거나 프로젝션 디바이스의 디스플레이 파라미터를 갱신함으로써 갱신될 수 있다. 프로젝션 정보는, 프로젝션 휘도, 프로젝션 컬러, 및 프로젝션 그래픽들(예를 들어, 사용자 인터페이스, 비디오, 이미지, 등과 같은 디스플레이되는 콘텐츠) 중 적어도 하나를 포함할 수 있다.
가상의 대상: 실제 대상(예를 들어, 사람의 얼굴, 등과 같은 실체 대상)의 사진, 3-차원 모델(예를 들어, 왁스 모델), 비디오, 연속된 픽쳐들의 슬라이드들, 또는 사진-기반 소프트웨어 시뮬레이션들로부터 합성되고 실제 대상의 동작을 포함하는 이미지들.
본 명세서에 사용된 바와 같이, 단말기는 일반적으로 네트워크 시스템 내에서(예를 들어, 사용자에 의해) 사용되며 하나 이상의 서버들과 통신하는데 사용되는 디바이스를 지칭한다. 본 개시사항의 다양한 실시예들에 따라, 단말기는 통신 기능을 지원하는 구성요소들을 포함한다. 예를 들어, 단말기는 스마트폰, 태블릿 디바이스, 모바일폰, 비디오 폰, 전자-북 리더, 데스크톱 컴퓨터, 랩톱 컴퓨터, 넷북 컴퓨터, 개인용 컴퓨터, PDA(Personal Digital Assistant), 휴대용 멀티미디어 플레이어(PMP), MP3 플레이어, 모바일 의료 디바이스, 카메라, 착용형 디바이스(예컨대, 머리 장착형 디바이스(HMD), 전자 의복들, 전자 브레이스(electronic braces), 전자 목걸이, 전자 액세서리, 전자 문신 또는 스마트 시계), 스마트 가전(smart home appliance), 차량 탑재 이동국(vehicle-mounted mobile stations), 등일 수 있다. 단말기는 다양한 운영체계들을 구동할 수 있다.
단말기는 다양한 입/출력 모듈들을 가질 수 있다. 예를 들어, 단말기는 터치 스크린 또는 다른 디스플레이, 하나 이상의 센서들, 음향 입력(예를 들어, 사용자의 음성)이 입력될 수 있는 마이크로폰, 카메라, 마우스 또는 그것에 접속된 다른 외부 입력 디바이스, 등을 가질 수 있다.
도 1은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증을 위한 단말기의 구조 블록도이다.
도 1을 참조하면, 얼굴 인식-기반 인증을 위한 단말기(100)가 제공된다. 단말기(100)는 도 2의 단말기(200), 도 3의 시스템(300), 도 9의 스마트폰(900), 및/또는 도 10의 컴퓨터 단말기(1000)와 관련하여 구현될 수 있다. 단말기(100)는 도 4의 프로세스(400), 도 6의 프로세스(600), 도 7의 프로세스(700) 및/또는 도 8의 프로세스(800)를 적어도 부분적으로 구현할 수 있다.
다양한 실시예들에 따르면, 얼굴 인식-기반 인증을 위한 방법들은 컴퓨터 디바이스, 모바일 디바이스 또는 유사한 동작 수단들에서 구현될 수 있다.
단말기(100)는 모바일 디바이스일 수 있다. 도 1에 도시된 바와 같이, 단말기(100)는 하나 이상의 프로세서들(110), 메모리(120), 및 통신 모듈들(130)을 포함한다. 프로세서들(110)은 예를 들어 마이크로프로세서(MCU) 또는 프로그램 가능 논리 디바이스들(FPGA)과 같은 처리 수단들을 포함한다. 메모리(120)는 프로세서(110)에 의해 실행될 때 얼굴 인식-기반 인증을 위한 방법을 구현하는 명령들을 포함하는 데이터를 저장하도록 구성된다. 통신 모듈(130)은 무선 또는 유선 통신을 포함하는 통신 기능을 수행하도록 구성된다. 무선 통신은 WiFi, 블루투스, 적외선, 셀룰러 통신, 등을 포함하는 다양한 프로토콜들 또는 기술들을 사용하는 통신을 포함할 수 있다. 당업자들은 도 1에 도시된 구조들이 단지 예시적인 것이며 전자 디바이스의 구조들을 제한하지 않음을 이해할 것이다. 단말기(100)는 하나 이상의 디스플레이 디바이스, 마이크로폰, 스피커, 사용자 인터페이스, 디스플레이(예를 들어, 터치스크린), 네트워크 인터페이스, 등을 더 포함할 수 있다.
메모리(120)는 애플리케이션 소프트웨어의 소프트웨어 프로그램들 및 모듈들, 예를 들어 얼굴 인식-기반 인증을 위한 방법(들)에 대응하는 프로그램 명령들/모듈들을 저장하는데 사용된다. 메모리(120)에 저장된 소프트웨어 프로그램들 및 모듈들을 실행함으로써, 프로세서(110)는 다양한 기능 애플리케이션들 및 데이터 처리를 실행(즉, 얼굴 인식-기반 인증을 위한 방법(들)을 구현)한다. 일부 실시예들에서, 메모리(120)는 고속 랜덤 액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(120)는 하나 이상의 자기 저장 디바이스, 플래시 메모리 또는 다른 비-휘발성 고체-상태 메모리와 같은 비-휘발성 메모리를 포함한다. 일부 실시예들에서, 메모리(120)는 프로세서(110)에 대해 원격으로 배치된 메모리를 포함한다. 이러한 원격 메모리는 네트워크를 통해 단말기(100)에 연결될 수 있다. 네트워크의 예들은 인터넷, 회사 인트라넷, 근거리 통신망, 이동 통신 네트워크, 및 이들의 조합을 포함하지만, 이들로 제한되는 것은 아니다.
통신 모듈(130)은 네트워크를 통해 데이터를 수신하고 송신하도록 구성된다. 네트워크의 특정 예들은 단말기(100)에 대한 통신 공급자들에 의해 제공된 무선 네트워크들을 포함한다. 일부 실시예들에서, 통신 모듈(130)은 기지국을 통해 다른 네트워크들에 연결되어 인터넷과 통신할 수 있는 네트워크 인터페이스 제어기(NIC)를 포함한다. 일부 실시예들에서, 통신 모듈(130)은 인터넷과 같은 네트워크와 무선으로 통신하도록 구성된 무선 주파수(RF) 모듈을 포함하거나, 그렇지 않을 경우 이에 대응한다.
단말기(100)는 하드웨어 구성요소들(회로들을 포함), 소프트웨어 구성요소들(컴퓨터-판독가능 매체에 저장된 컴퓨터 코드를 포함), 또는 하드웨어 구성요소들과 소프트웨어 구성요소들의 조합들을 포함할 수 있다. 도 1에 도시된 단말기(100)는 모바일 디바이스에 존재할 수 있는 구성요소들의 유형들을 나타낼 목적을 갖는 특별한 특정 실시예의 단지 하나의 예이다.
일부 실시예들에서, 단말기(100)는 터치 디스플레이 디바이스("터치스크린" 또는 "터치 디스플레이 스크린"으로도 불리는)를 포함한다. 일부 실시예들에서, 단말기(100)는 그래픽 사용자 인터페이스(GUI)를 포함한다. 사용자는 손가락 접촉 및/또는 터치-감응 표면을 터치하는 제스처들에 의해 GUI와 인간-기계 상호작용을 행할 수 있다. 인간-기계 상호작용 기능은 선택적으로, 웹 페이지 생성, 그리기, 텍스트 처리, 전자 문서 제작, 게임, 화상 회의, 인스턴트 메시징, 전자-메일 송/수신, 인터페이스 호출, 디지털 비디오 재생, 디지털 오디오 재생, 및/또는 인터넷 브라우징, 등의 상호작용들 중 하나 이상을 포함한다. 전술한 인간-기계 상호작용 기능들을 실행하기 위한 실행가능 명령들은 하나 이상의 프로세서에 의해 실행 가능한 컴퓨터 프로그램 제품 또는 판독가능 저장 매체 내에 구성/저장된다.
도 2는 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증을 위한 단말기의 구조 블록도이다.
도 2를 참조하면, 얼굴 인식-기반 인증을 위한 단말기(200)가 제공된다. 단말기(200)는 도 1의 단말기(100), 도 3의 시스템(300), 도 9의 스마트폰(900) 및/또는 도 10의 컴퓨터 단말기(1000)와 관련하여 구현될 수 있다. 단말기(200)는 도 4의 프로세스(400), 도 6의 프로세스(600), 도 7의 프로세스(700) 및/또는 도 8의 프로세스(800)를 적어도 부분적으로 구현할 수 있다.
단말기(200)는 디스플레이 스크린(210), 비디오 디바이스(220)(예를 들어, 카메라와 같은 비디오 캡처 디바이스) 및 프로세서(230)를 포함할 수 있다.
단말기(200)는 스마트폰, 태블릿 컴퓨터, 노트북 컴퓨터 또는 다른 스마트 디바이스에 대응할 수 있다. 일부 실시예들에서, 단말기(200)는 비디오 카메라 수단에 외부적으로 연결된 디바이스(예를 들어, 데스크탑 컴퓨터)이다. 예를 들어, 단말기(200)가 스마트폰인 경우, 디스플레이 스크린(210)은 스마트폰 디스플레이 스크린에 대응할 수 있고, 비디오 수단(220)(예를 들어, 비디오 카메라)은 스마트폰의 카메라(예를 들어, 스마트폰의 전면 카메라 )이고, 프로세서(230)는 스마트폰의 프로세서에 대응할 수 있다. 단말기(200)가 데스크탑 컴퓨터인 경우, 디스플레이 스크린(210)은 데스크탑 컴퓨터의 디스플레이 스크린에 대응할 수 있으며, 프로세서(230)는 데스크탑 컴퓨터 프로세서에 대응할 수 있다. 데스크탑 컴퓨터가 일반적으로 비디오 카메라로 구성되지 않기 때문에, 외부 비디오 카메라가 컴퓨터에 연결될 수 있고, 이 경우 비디오 수단(220)(예를 들어, 비디오 카메라)은 외부 비디오 카메라에 대응할 수 있다.
디스플레이 스크린(210)은 프로젝션 정보를 투영(예를 들어, 디스플레이)하도록 구성된다. 프로젝션 정보는 디스플레이 스크린에 의해 디스플레이된 콘텐츠일 수 있다. 프로젝션 정보는 디스플레이 스크린의 디스플레이 콘텐츠를 갱신함으로써 갱신될 수 있다.
일부 실시예들에서, 디스플레이 스크린(210)은 단말기 디바이스의 디스플레이이다. 예를 들어, 디스플레이 스크린(210)은 단말기(200)의 입/출력 디바이스일 수 있다. 디스플레이 스크린(210)은 특정 전자 정보 콘텐츠를 스크린상에 디스플레이할 수 있고, 그러한 정보를 반영하기 위한 디스플레이 도구이다. 예를 들어, 디스플레이 스크린(210)은 (스크린상에 디스플레이되는) 전자 정보 콘텐츠를 인간의 눈에 반사할 수 있다. 프로젝션 정보는 디스플레이 스크린상에 디스플레이된 콘텐츠일 수 있다. 콘텐츠(예를 들어, 프로젝션 정보)는 하나 이상의 픽쳐들, 텍스트, 테이블들, 등을 포함할 수 있다. 프로젝션 정보는 디스플레이 스크린상에 디스플레이된 콘텐츠를 갱신함으로써 갱신될 수 있다. 디스플레이 스크린(210)은 실시간으로 프로젝션 정보를 투영할 수 있다. 예를 들어, 디스플레이 스크린(210)에 의해 디스플레이되는 프로젝션 정보는 디스플레이 스크린(210)에 의해 디스플레이될 콘텐츠를 처리하는 단말기(200)와 동시에 디스플레이될 수 있다. 프로젝션 정보는 하나 이상의 컬러 정보, 형상 정보, 휘도 정보 및 하나 이상의 다른 특성들과 관련된 정보 중 하나 이상을 포함할 수 있다.
다양한 실시예들에 따라, 프로젝션 정보가 디스플레이된(예컨대, 사용자 상에 투영된) 후, 하나 이상의 이미지들이 하나 이상의 이미지 처리(예를 들어, 전처리) 기술들에 따라 처리될 수 있다.
일부 실시예들에서, 이미지가 충분한 해상도(예를 들어, 미리 정의된 임계값을 초과하는 해상도)인 경우, 캡처된 이미지들로부터의 콘텐츠가 추출되고 비교될 수 있다. 예를 들어, 콘텐츠에 대응하는 프로젝트 정보가 갱신되는 경우, 콘텐츠(예를 들어, 픽쳐들, 텍스트, 테이블, 등 중 하나 이상)에 대응하는 프로젝트 정보는, 프로젝트 정보가 갱신되기 전의 캡처된 이미지로부터, 및 프로젝션 정보가 갱신된 후 캡처된 이미지로부터 추출되고, 타깃 대상이 가상의 대상인지(두 이미지들 사이의 차이가 프로젝션 정보에 대한 갱신과 일치하는지)를 결정하도록 비교될 수 있다.
다양한 실시예들에 따르면, 디스플레이 스크린의 디스플레이 콘텐츠(예를 들어, 프로젝션 정보)의 갱신은, 디스플레이 스크린(210)의 디스플레이 휘도 변경, 디스플레이 스크린(210)의 디스플레이 컬러 변경, 또는 디스플레이 스크린(210)상의 특정 그래픽의 형태 변경을 포함하지만, 이들에 한정되는 것은 아니다.
비디오 수단(220)(예를 들어, 비디오 카메라)은, 디스플레이 스크린(210)을 통해 타깃 대상에 프로젝션 정보를 투영(예를 들어, 디스플레이)한 후에 현재 타깃 대상의 제 1 이미지를 캡처하고, 프로젝션 정보가 수정된(예를 들어, 갱신된) 후에, 갱신된 프로젝션 정보를 통해 타깃 대상의 제 2 이미지를 캡처하도록, 구성된다.
비디오 디바이스(220)는 비디오 처리 및 스틸-이미지 캡처와 같은 기능을 갖는 비디오 입력 디바이스(비디오 카메라, 등과 같은)일 수 있다. 비디오 디바이스(220) 내부의 렌즈, 광 감지 구성요소 회로 및 제어 구성요소를 통해 이미지들을 캡처한 후, 이미지들을 처리하여 단말기 디바이스에 의해 인식 가능한 디지털 신호로 변환한다. 이후, 무선(예를 들어, 블루투스, WiFi, 적외선, 등) 연결 또는 유선(예를 들어, 병렬 포트, USB, 마이크로 USB, 파이어 와이어, 등) 연결을 통해 단말기 디바이스에 디지털 신호를 입력한 후, 이미지는 소프트웨어로 복원된다. 타깃 대상은 이미지 정보가 비디오 카메라를 통해 획득될 필요가 있는 임의의 대상일 수 있다. 디스플레이 스크린(210)이 디스플레이 스크린상의 디스플레이 콘텐츠를 타깃 대상에 투영(예를 들어, 디스플레이)한 후에, 비디오 디바이스(220)는 타깃 대상의 현재 이미지(제 1 이미지로서 작용할 수 있음)를 캡처(예를 들어, 촬영)하고, 그에 따라 획득할 수 있다. 디스플레이 스크린(210)이 그 스크린상에 디스플레이된 콘텐츠를 갱신한 후, 비디오 디바이스(220)는 디스플레이 스크린이 갱신된 프로젝션 정보를 투영한 타깃 대상의 이미지(이를 제 2 이미지로 제공할 수 있음)를 캡처하고, 그에 따라 획득한다.
다양한 실시예들에 따라, 비디오 디바이스(220)(예를 들어, 비디오 카메라)는 디스플레이 디바이스가 스크린의 디스플레이 콘텐트를 갱신하기 전에 타깃 대상의 제 1 이미지를, 및 디스플레이 디바이스가 스크린의 디스플레이 콘텐트를 갱신한 후 타깃 대상의 제 2 이미지를 캡처하거나 그렇지 않으면 획득하도록 구성된다. 제 2 이미지는 디스플레이 디바이스가 스크린의 디스플레이 콘텐트를 갱신한 후에 타깃 대상의 피드백 정보를 포함한다. 피드백 정보는, 실-시간 이미지들의 휘도가 디스플레이 스크린에 의해 디스플레이된 휘도에 따라 변하였는지; 실시간 이미지들의 컬러가 디스플레이 스크린에 의해 디스플레이된 컬러에 따라 변하였는지; 타깃 대상의 반사된 이미지(예를 들어, 타깃 대상의 안구의 반사)가 디스플레이 스크린에 의해 현재 디스플레이된 형상을 나타내거나 그렇지 않으면 포함하는지, 등을 포함할 수 있다. 피드백 정보는 제 2 이미지 내에 구성될 수 있거나, 또는 이로부터 유도될 수 있다.
프로세서(230)는 제 1 이미지 및 제 2 이미지를 처리 또는 분석하도록 구성된다. 예를 들어, 프로세서(230)는 제 1 이미지와 제 2 이미지를 비교하도록 구성될 수 있다. 프로세서(230)는 타깃 이미지가 가상의 대상인지를 결정하는 것과 관련하여 제 1 이미지와 제 2 이미지를 비교한 결과들을 사용할 수 있다. 예를 들어, 프로세서(230)는 획득된 이미지 차이 데이터를 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 사용할 수 있다.
프로세서(230)는 이미지 처리 기능을 갖는 CPU일 수 있다. 일부 실시예들에서, 가상의 대상은 타깃 대상의 2-차원 이미지 또는 3-차원 모델이다. 타깃 대상의 제 1 및 제 2 이미지들이 비디오 디바이스로 획득된(예컨대, 얻어진) 후, 프로세서(230)는 제 1 이미지 및 제 2 이미지에 포함된 정보 데이터를 비교할 수 있다. 따라서, 프로세서(230)는 이미지 차이 데이터를 획득하고, 이미지 차이 데이터를 현재 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 사용한다.
가상의 대상은 타깃 대상의 사진, 타깃 대상의 3-차원 모델(왁스 유사물, 등과 같은), 비디오, 연속 픽쳐들의 슬라이드들, 또는 사진-기반의 소프트웨어 시뮬레이션들로부터 합성되고, 동작들을 포함하는 이미지들(예를 들어, 동작을 집합적으로 묘사하는 순차 이미지들)일 수 있다.
일부 실시예들에서, 사람의 얼굴인 타깃 대상을 일례로 들면, 디스플레이 스크린의 디스플레이 콘텐츠의 변화들에 대한 사람 얼굴의 피드백과 디스플레이 스크린의 디스플레이 콘텐츠의 변화들에 대한 픽쳐들, 비디오 또는 시뮬레이션 소프트웨어의 피드백 사이에 상당한 차이가 존재한다. 피드백은 디스플레이 스크린으로부터 디스플레이된 콘텐츠의 타깃 대상으로부터의 반사로부터 유도된 정보에 대응할 수 있다. 그러므로 타깃 대상에 대한 피드백 데이터는, 현재의 타깃이 실제 사람의 얼굴인지 또는 가상의 사람 얼굴(예를 들어, 사람의 얼굴의 사진 또는 비디오를 포함)을 포함하는지 평가하기 위한 기준으로서 사용될 수 있다.
다양한 실시예들에 따르면, 프로젝션 정보가 (예를 들어, 단말기의 디스플레이로부터의 프로젝션 정보의 디스플레이를 통해) 타깃 대상에 투영될 때, 타깃 대상의 현재 캡처로부터 획득된 제 1 이미지가 얻어진다. 프로젝션 정보가 수정된 후에, 갱신된 프로젝션 정보가 투영될 때, 타깃 대상을 캡처하여 획득된 제 2 이미지가 얻어진다. 제 1 이미지와 제 2 이미지가 비교되어, 이미지 차이 데이터가 획득된다. 제 1 이미지 및 제 2 이미지는 픽셀 단위로 또는 하나 이상의 다른 이미지 비교 기술에 따라 비교될 수 있다. 이미지 차이 데이터는 이미지의 위치, 크기, 형상, 컬러, 휘도의 차이, 및/또는 각 픽셀 컬러의 차이, 각 픽셀 휘도의 차이, 픽셀들의 두 컬러 사이의 차이, 픽셀들의 휘도 사이의 차이, 등을 나타내는 정보를 포함할 수 있다. 예를 들어, 이미지 차이 데이터는 제 1 이미지와 제 2 이미지 사이의 차이에 대응할 수 있다. 이미지 차이는 제 2 이미지가 제 1 이미지와 다른 정도의 측정치가될 수 있다. 일부 실시예들에서, 이미지 차이 데이터는 제 2 이미지가 단말기에 의해 디스플레이된 프로젝션 정보에 대한 변경에 대응하는 갱신된 콘텐츠를 포함하는지를 표시하거나, 이미지 차이 데이터는 제 2 이미지가 단말기에 의해 디스플레이된 프로젝션 정보에 대한 변경에 대응하는 갱신된 콘텐츠를 포함하는지의 표시가 유도되는 정보를 포함한다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 기준으로 작용한다.
일부 실시예들에서, 디스플레이 스크린의 하나 이상의 특성들(예를 들어, 디스플레이 휘도, 디스플레이 컬러, 디스플레이를 위한 콘텐츠, 등)이 수정되어 타깃 대상에 투영된다. 비디오 디바이스는 디스플레이 스크린이 변경되기 전후의 제 1 이미지(예를 들어, 타깃 대상의) 및 제 2 이미지(예를 들어, 타깃 대상의)를 획득하는데 사용되고, 제 1 이미지 및 제 2 이미지는 비교 분석된다. 제 1 이미지와 제 2 이미지의 사이의 차이에 대응하는 이미지 차이 데이터는 현재 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로 작용한다. 타깃 대상에 투영된 콘텐츠의 변경은 타깃 대상을 촬영하는 과정 도중에 획득된 콘텐츠를 변경할 것이다. 따라서, 인증을 회피하려는 악의적인 시도들에 사용된 콘텐츠가 2개의 이미지들의 캡처 사이의 차이를 포함하지 않는 콘텐츠를 사용하기 때문에, 다양한 실시예들은 보다 견고한 인증 프로세스를 제공한다. 다양한 실시예들에서, 단말기에 의해 디스플레이되는 프로젝션 정보는 의도적으로 갱신되고, 그러한 갱신 전후에 캡처된 이미지들(예를 들어, 제 1 이미지 및 제 2 이미지)은 캡처되는 타깃이 실제인지를 결정하는 것과 관련하여 사용될 수 있다(예를 들어, 타깃 대상이 실제로 진짜이면, 캡처된 이미지들은 갱신 전의 프로젝션 정보와 단말기에 의해 디스플레이된 정보가 갱신된 후에 디스플레이된 프로젝션 정보 사이의 차이에 대응하는 차이를 반영할 것이다). 인증을 시도하는 악의적인 당사자들에 의해 사용되는 콘텐츠(대응하는 동작의 비디오를 사전 기록, 연속된 픽쳐들의 슬라이드들의 표시 또는 컴퓨터 시뮬레이션들을 통해 합성된 머리-끄덕임, 또는 흔들기 또는 눈-깜빡임과 같은 동작들의 이미지들과 같은)는 일반적으로 2차원 이미지이다. 따라서, 2-차원 이미지에 투영된 프로젝션 정보가 수정되고, 악의적인 당사자가 동일한 가상의 대상을 사용하여 악의적인 인증을 시도하는 경우, 2-차원 이미지들 내의 임의의 두 영역들에 대한 변경 결과들 사이에 어떠한 차이도 없을 것이다. 다양한 실시예들에 따라, 타깃 대상이 2-차원 이미지(즉, 가상의 대상)인지를 평가하기 위한 전술한 방식(예를 들어, 프로젝션 정보를 갱신하는 것, 이미지 차이 데이터를 결정하는 것, 등)은 타깃 대상이 가상의 대상인지를 결정하는 것과 관련하여 사용될 수 있다. 따라서, 프로젝션 정보를 지속적으로 테스트 및 수정한 후에 다음의 사항: 캡처된 제 1 이미지 및 제 2 이미지의 상이한 영역들의 이미지 변동 결과들 사이의 차이가 존재하면, 타깃 대상은 가상의 대상이 아니라 오히려 살아있는 실체 대상인 것으로 간주된다는 것을 결정하는 것이 가능하다. 예를 들어, 다양한 실시예들에 따른 인증을 위한 프로세스는 디스플레이 변경들에 대한(예를 들어, 응답으로) 타깃 대상의 실시간 피드백에 기초하여 살아있는 대상(예를 들어, 살아있는 사람)의 검출 및 신원 인증에서 사용될 수 있고, 따라서 살아있는 사람-얼굴 검출의 정확도(live human-face detection accuracy)를 개선하고, 인증 시스템들 상의 가상의 대상들에 의한 공격들을 줄이는 기술적인 효과들을 달성한다.
다양한 실시예들은, 불법적인 사용자가 인식을 구현하기 위하여 라이브 액션들(live actions)을 이용하는 것에 의해 합법적인 사용자들의 시뮬레이션된 동작들을 사용하는 비디오 또는 이미지 공격들에 취약한 기존의 라이브 인식-기반 인증 시스템의 기술적인 문제를 해결한다.
일부 실시예들에서, 단말기 디바이스가 (예를 들어, 인증 기능을 활성화하는 것에 응답하여) 인증 기능을 활성화하는 경우, 단말기 디바이스는 타깃 대상이 가상의 대상인지를 결정하기 위하여 프로세서(230)를 활성화(예를 들어, 사용)할 수 있다.
일부 실시예들에서, 제 1 이미지는 적어도: 제 1 프로젝션 정보를 투영할 때 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지; 제 2 프로젝션 정보가 디스플레이(예를 들어 투영)될 때, 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함한다. 프로젝션 정보는 적어도 프로젝션 휘도, 프로젝션 컬러 및 프로젝션 그래픽 중 하나를 포함한다. 일부 실시예들에서, 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러 및 프로젝션 그래픽 중 하나 이상에 대한 변경을 포함한다.
일부 실시예들에서, 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러 및 프로젝션 그래픽 중 적어도 하나를 포함한다. 제 1 프로젝션 정보는 프로젝션 정보가 수정되기 이전(예를 들어, 단말기가 제 2 이미지에 대응하는 정보를 디스플레이하기 이전)의 프로젝션 정보에 대응할 수 있다. 제 2 프로젝션 정보는 수정 후의 프로젝션 정보(예를 들어, 제 2 이미지와 제 1 이미지 사이의 차이를 생성하고, 이를 통해 대상 이미지가 가상 이미지인지를 결정하기 위하여, 제 2 이미지에 대응하는 정보)에 대응할 수 있다. 제 1 이미지는 프로젝션 정보가 수정되기 전에 획득된 타깃 대상의 이미지(예를 들어, 제 1 프로젝션 정보에 기초한 타깃 대상의 이미지)에 대응할 수 있다. 제 1 이미지는 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함할 수 있다. 제 1 이미지는 제 1 프로젝션 정보가 투영될 때 캡처된 이미지에 대응할 수 있다. 제 2 이미지는 프로젝션 정보가 수정된 후에 획득된 타깃 대상의 이미지(예를 들어, 제 2 프로젝션 정보에 기초하여 생성된 타깃 대상의 이미지)에 대응할 수 있다. 제 2 정보는 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함할 수 있다. 제 2 이미지는 제 2 프로젝션 정보가 투영될 때 캡처된 이미지에 대응할 수 있다.
다양한 실시예들에 따르면, 타깃 대상이 살아있는 대상인지 또는 가상의 대상인지를 결정하는 것이 가능하다.
일부 실시예들에서, 프로세서(230)는 타깃 대상이 가상의 대상이라는 것을 결정하도록 구성된다. 이미지 차이 데이터가 무효인(null) 경우, 타깃 대상은 가상의 대상인 것으로 결정된다. 무효인 이미지 차이 데이터는 제 1 이미지 및 제 2 이미지의 이미지 데이터가 동일하다는 사실을 나타낸다. 예를 들어, 제 1 이미지와 제 2 이미지 사이의 차이에 대응하는 이미지 차이 데이터가 미리 정의된 임계값보다 낮으면, 타깃 대상은 또한 가상의 대상으로 간주될 수 있다. 다른 예로서, 이미지 데이터가 제 1 이미지와 제 2 이미지 사이의 차이 없음에 대응하면, 타깃 대상은 가상의 대상으로 간주될 수 있다.
일부 실시예들에서, 이미지 차이 데이터가 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 작용하는 경우, 이미지 차이 데이터가 무효이면(예를 들어, 제 1 이미지와 제 2 이미지가 동일한 이미지 데이터를 갖고, 이미지 차이 데이터가 없는 경우), 타깃 대상이 가상의 대상이라는 결정이 이루어질 수 있다. 차이 데이터가 무효가 아닌 경우(예를 들어, 제 1 이미지와 제 2 이미지가 동일한 데이터를 가지지 않고, 이미지 차이 데이터가 존재하거나, 제 1 이미지와 제 2 이미지 사이의 사전 설정된 임계값을 초과하는 이미지 데이터가 존재하는 경우), 타깃 대상이 살아있는 대상(또는 대상이 가상의 대상이 아닌 것)이라고 결정이 이루어질 수 있다.
일부 실시예들에서, 이미지 차이 데이터는: 제 1 얼굴 이미지를 제 2 얼굴 이미지와의 비교로부터 제 1 정도의 변동(variation) 및 제 1 배경 이미지를 제 2 배경 이미지와의 비교로부터 제 2 정도의 변동을 포함한다.
일부 실시예들에서, 프로세서(230)는, 제 1 정도의 변동이 전체 얼굴의 휘도 변동값 및/또는 컬러 변동값이고(예를 들어, 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인(또는 포함하는) 경우), 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 제 1 미리 결정된 변동 범위 내인 경우, 타깃 대상이 가상의 대상인 것으로 결정하도록 구성된다. 휘도 변동 또는 컬러 변동은 다양한 방식으로 계산될 수 있다. 예를 들어, 휘도 변동 또는 컬러 변동은 한 영역 내의 픽셀들 사이의 평균 휘도(또는 컬러) 차이, 영역 내의 픽셀들의 평균 RGB 컬러 차이, 등을 기초로 계산될 수 있다. 타깃 대상에 투영된 프로젝션 정보가 수정된다면, 제 1 정도의 변동은 타깃 대상을 캡처하여 획득된 얼굴 이미지를 기록하고 타깃 대상의 분산(variance)을 계산함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치한 배경 이미지를 캡처하고 배경 이미지의 분산을 계산함으로써 결정된다. 타깃의 캡처는 타깃 대상 내의 영역을 식별하는 것을 포함할 수 있다. 예를 들어, 타깃 대상을 캡처하는 것은 이미지의 지정된 비트 영역(예를 들어, 얼굴에 대응함)을 검출하기 위하여 얼굴 검출 기술을 사용하는 것을 포함할 수 있다. 타깃 대상은 얼굴에 대응할 수 있다; 프로젝션 정보의 갱신 전후의 2개의 이미지를 비교함으로써, 제 1 이미지에서의 얼굴에 대응하는 영역과 제 2 이미지에서의 얼굴에 대응하는 영역 사이의 차이가 계산될 수 있다. 제 1 이미지의 얼굴과 제 2 이미지의 얼굴에 대응하는 영역 사이의 차이는 휘도, 컬러, 콘텐츠 또는 하나 이상의 다른 특성들의 차이에 대응할 수 있다. 타깃 대상의 분산은 휘도, 컬러, 콘텐츠 또는 타깃 대상의 하나 이상의 다른 특성들의 차이에 대응할 수 있다. 배경 이미지는 타깃 대상 외부의 캡처된 이미지 영역에 대응할 수 있다. 예를 들어, 타깃 대상이 얼굴인 경우, 배경 영역은 얼굴의 영역 밖에 있는(예를 들어, 검출된) 이미지의 영역에 대응할 수 있다. 얼굴 인식 또는 검출 기술은 이미지 내의 얼굴을 식별하는데 사용될 수 있고, 이미지의 다른 또는 나머지 부분들은 배경 이미지 또는 배경 영역으로 간주될 수 있다. 휘도 변동값은 제 1 배경 이미지와 제 2 배경 이미지 사이의 차이일 수 있다. 제 1 배경 이미지와 제 2 배경 이미지의 차이는 휘도, 컬러, 콘텐츠 또는 하나 이상의 다른 특성의 차이에 대응할 수 있다.
일부 실시예들에서, 프로젝션 정보는 프로젝션 휘도 및/또는 프로젝션 컬러이고(또는 포함하고), 프로젝션 휘도는 디스플레이 스크린에 의해 디스플레이된 휘도이고; 프로젝션 컬러는 디스플레이 스크린에 의해 디스플레이된 컬러이고; 제 1 얼굴 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경되기 전에 타깃 대상의 캡처로부터 기록된 얼굴 이미지일 수 있고; 제 2 얼굴 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경된 후에 타깃 대상의 캡처로부터 기록된 얼굴 이미지일 수 있고; 제 1 배경 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경되기 전에 타깃 대상이 위치된 배경의 캡처로부터 획득된 배경 이미지일 수 있고; 제 2 배경 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경된 후 타깃 대상이 위치된 배경의 캡처로부터 획득된 배경 이미지일 수 있고; 제 1 정도의 변동은 제 1 얼굴 이미지와 제 2 얼굴 이미지를 비교하고, 제 1 얼굴 이미지와 제 2 얼굴 이미지 사이의 차이를 계산함으로써 획득될 수 있고; 제 2 정도의 변동은 제 1 배경 이미지와 제 2 배경 이미지를 비교하고, 제 1 배경 이미지와 제 2 배경 이미지 사이의 차이를 계산함으로써 획득될 수 있다. 제 1 정도의 변동 및 제 2 정도의 변동은 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 작용할 수 있다. 예를 들어, 제 1 정도의 변동이 전체 얼굴(예를 들어, 제 1 얼굴 이미지 및/또는 제 2 얼굴 이미지 내의 얼굴)의 휘도 변동값 및/또는 컬러 변동값이고, 제 1 정도 및 제 2 정도의 변동들 사이의 차이가 제 1 미리 결정된 변동 범위 내에 있는 경우, 타깃 대상은 가상의 대상으로 결정된다. 제 1 얼굴 이미지와 제 2 얼굴 이미지 사이의 차이는 휘도, 컬러, 콘텐츠 또는 하나 이상의 다른 특성들의 차이에 대응할 수 있다. 예를 들어 휘도의 차이는 "평균 휘도 = 모든 픽셀 휘도/픽셀들 수"에 따라 계산될 수 있다. 예를 들어, 제 1 얼굴 이미지의 평균 휘도가 계산될 수 있고, 제 2 얼굴 이미지의 평균 휘도가 계산할 수 있고, 제 1 얼굴 이미지의 평균 휘도와 제 2 얼굴 이미지의 평균 휘도 사이의 차이가 계산될 수 있다.
다양한 실시예들은 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 이미지들의 부분적인 휘도 변동을 사용한다. 디스플레이 스크린의 휘도가 변하기 때문에, 실시간으로 비디오 카메라에 의해 획득된 픽쳐 휘도의 얼굴 부분과 배경 부분의 휘도 변동의 정도는 일정한 차이를 갖는다. 실제 사람의 얼굴 부분의 휘도 변동은, 얼굴 부분의 디스플레이 스크린으로부터의 거리가 이전과 동일하지 않기 때문에 더 현저해질 수(예를 들어, 제 1 이미지 및 제 2 이미지의 컬러 또는 휘도의 변동 이미지가 검출될 수) 있지만, 배경 부분의 거리가 거의 동일하게 유지되므로 배경 부분의 휘도 변동은 눈에 띄지 않을 수 있다. 픽쳐, 비디오, 소프트웨어 시뮬레이션 및 다른 이러한 방법들에 대해, 얼굴 부분과 배경 부분의 디스플레이 스크린으로부터의 거리들은 일반적으로 유사하지 않지만, 휘도 변동의 정도는 동일할 것이다. 다양한 실시예들에 따르면, 휘도의 차이는 "평균 휘도 = 모든 픽셀 휘도/픽셀 수"에 기초하여 계산될 수 있다. 제 1 이미지에서 얼굴 영역의 평균 휘도가 계산되고, 제 2 이미지에서의 얼굴 영역의 평균 휘도가 계산되고, 제 1 이미지에서의 얼굴 영역의 평균 휘도와 제 2 이미지의 얼굴 영역의 평균 휘도 사이에서 차이가 계산된다. 컬러의 차이는 비슷한 방식으로 계산될 수 있다. 휘도 차이 및 컬러 차이의 결정은 상기에 한정되지 않는다. 예를 들어, 차이(예를 들어, 휘도 또는 컬러의)를 결정하기 위한 다양한 다른 프로세스들이 사용될 수 있다.
다양한 실시예들에 따르면, 이미지 차이 데이터는: 제 1 얼굴 이미지를 제 2 얼굴 이미지와 비교하는 제 1 정도의 변동 및 제 1 배경 이미지를 제 2 배경 이미지와 비교하는 것으로부터의 제 2 정도의 변동을 포함한다. 제 1 얼굴 이미지 및 제 2 얼굴 이미지가 타깃 대상 얼굴의 적어도 하나의 생물학적 특성에 대한 특징 정보를 포함하고, 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러에 대응하는 경우, 프로세서(230)는 제 1 정도의 변동이 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동값 및/또는 컬러 변동값이고, 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 제 2의 미리 결정된 변동 범위 내에 속하는 경우, 타깃 대상이 가상의 대상이라고 결정하도록 구성된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처하여 획득된 얼굴 이미지를 기록하고, 제 1 이미지의 얼굴 영역과 제 2 이미지의 얼굴 영역 사이의 차이를 계산함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치한 배경 이미지를 캡처하고 제 1 이미지의 배경 영역과 제 2 이미지의 배경 영역 사이의 차이를 계산함으로써 결정된다.
생물학적 특성들은 눈 특성들, 입 특성들, 눈썹 특성들, 귀 특성들, 코 특성들, 피부 특성들, 등을 포함할 수 있는 타깃 대상 얼굴의 본래의 생리적 특성들일 수 있다. 눈 특성들은: 동공 특성들(예를 들어, 동공의 크기 및/또는 위치), 홍채 특성들(예를 들어, 홍채의 형태 및/또는 위치), 및 안구 특성들(예를 들어, 안구의 크기 및/또는 안구에 의해 반사된 이미지), 등을 포함할 수 있다. 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 제 1 얼굴 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경되기 전에 타깃 대상의 캡처로부터 기록된 얼굴 이미지일 수 있다. 제 1 얼굴 이미지는 타깃 이미지 얼굴의 적어도 하나의 생물학적 특성에 대한 특성 정보를 포함할 수 있다. 제 2 얼굴 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경된 후 상기 타깃 대상의 캡처로부터 기록된 얼굴 이미지일 수 있다. 제 2 얼굴 이미지는 타깃 이미지 얼굴의 적어도 하나의 생물학적 특성에 대한 특성 정보를 포함한다. 제 1 배경 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경되기 전에 타깃 대상이 위치된 배경의 캡처로부터 획득된 배경 이미지일 수 있다. 제 2 배경 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경된 후 타깃 대상이 위치된 배경의 캡처로부터 획득된 배경 이미지일 수 있다; 제 1 정도의 변동은 제 1 얼굴 이미지와 제 2 얼굴 이미지를 비교함으로써 획득되고; 제 2 정도의 변동은 제 1 배경 이미지와 제 2 배경 이미지를 비교함으로써 획득된다. 제 1 정도의 변동 및 제 2 정도의 변동은 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 작용한다. 제 1 정도의 변동이 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동값 및/또는 컬러 변동값이고, 제 1 정도의 변동 및 제 2 정도의 변동 사이의 차이가 제 2 미리 결정된 변동 범위 내에 있는 경우, 타깃 대상이 가상의 대상이라는 결정이 이루어진다.
일부 실시예들에서, 생물학적 특성들은 피부 특성일 수 있다. 얼굴 또는 얼굴의 사진인 타깃 대상의 예로서, 타깃 대상이 사람의 얼굴 피부인 경우, 폰(phone)의 전면 카메라에 의해 획득된 제 2 이미지의 사람의 얼굴 피부는, 디스플레이 스크린의 휘도가 변함에 따라, 휘도가 변화할 것이다. 타깃 대상이 사람 얼굴의 사진이라면, 폰의 전면 카메라에서 획득된 제 2 이미지(사람의 얼굴 사진)의 사람 얼굴 피부는, 사진이 빛을 다르게 반사하기 때문에, 제 1 이미지에서의 얼굴 피부와 동일한 방식으로 휘도가 함께 변하지 않을 것이다. 예를 들어, 얼굴 피부와 사진 사이에서 광 반사 특성들은 다른 물질들 때문에 동일하지 않다: 그리고 얼굴은 3D 형태를 가지며, 사진은 2D이어서(예를 들어, 사진은 평평함), 빛의 반사에서 상이한 특성을 초래한다.
다양한 실시예들에 따르면, 얼굴의 다양한 부분들의 휘도 변동의 정도에 기초하여 타깃 대상이 가상의 대상인지가 결정된다. 디스플레이 스크린의 휘도 및/또는 컬러가 변화함에 따라, 비디오 카메라에 의해 실시간으로 획득된 픽쳐의 휘도에서 얼굴 부분과 배경 부분 사이의 휘도 및/또는 컬러의 정도에 차이가 나타난다. 실제 사람의 경우, 얼굴의 3D 구조로 인해, 얼굴의 고-강도의 광 부분들과 저-강도의 광 부분들 사이의 휘도 변동은 유사하지 않을 것이다. 픽쳐, 비디오, 소프트웨어 시뮬레이션 또는 다른 이러한 방법의 경우, 얼굴의 다양한 부분들의 휘도 변동 패턴은, 평평한 구조로 인하여 실제 사람의 휘도 변동 패턴과 상이할 것이다.
다양한 실시예들에 따르면, 이미지 차이 데이터는: 제 1 얼굴 이미지 및 제 2 얼굴 이미지의 적어도 하나의 생물학적 특성에 대한 이미지 변동값에 대응하는 차이를 포함한다. 프로젝션 정보에 대응하는 차이는 프로젝션 휘도 및/또는 프로젝션 컬러이다. 프로세서(230)는 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 임의의 2개의 생물학적 특성들의 휘도 변동 값들 및/또는 컬러 변동 값들을 획득할 수 있다. 임의의 둘 이상의 생물학적 특성들의 이미지 변동 값들이 제 3의 미리 결정된 변동 범위 내에 있는 경우, 타깃 대상이 가상의 대상이라는 결정이 이루어진다. 타깃 대상에 투영된(디스플레이된) 프로젝션 정보가 수정되면, 타깃 대상 얼굴의 적어도 하나의 생물학적 특성의 캡처로부터 획득된 특성 이미지를 기록함으로써 이미지 차이 데이터가 결정된다.
일부 실시예들에서, 제 1 얼굴 이미지는 디스플레이 스크린이 휘도 또는 컬러를 변경하기 전에 타깃 대상을 기록 및 캡처함으로써 획득된 얼굴 이미지일 수 있다. 제 1 얼굴 이미지는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성(예를 들어, 눈, 입, 등)에 대한 특성 정보를 포함할 수 있다. 제 2 얼굴 이미지는 디스플레이 스크린이 휘도 또는 컬러를 수정한 후에 타깃 대상을 기록 및 캡처함으로써 획득된 얼굴 이미지일 수 있다. 제 2 얼굴 이미지는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성(예를 들어, 눈, 입, 등)에 대한 특성 정보를 포함할 수 있다. 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 임의의 2개의 생물학적 특성들의 휘도 변동 값 및/또는 컬러 변동 값은 비디오 디바이스에 의해 획득된다. 임의의 둘 이상의 생물학적 특성들의 이미지 변동 값이 제 3의 미리 결정된 변동 범위 내에 있는 경우, 타깃 대상이 가상의 대상이라는 결정이 이루어진다.
다양한 실시예들은 사람 얼굴의 적어도 하나의 생물학적 특성(예를 들어, 눈, 입, 등)의 휘도 및/또는 컬러 변동의 정도에 기초하여 타깃 대상이 가상의 대상인지를 결정한다. 디스플레이 스크린의 휘도 및/또는 컬러가 변화함에 따라, 비디오 카메라에 의해 실시간으로 획득된 눈 및 입의 휘도 및/또는 컬러는 그에 따라 변할 것이다(캡처되는 타깃 대상이 실제로 사람과 같은 진짜 대상인 경우).
일부 실시예들에서, 프로젝션 정보는 프로젝션 그래픽들을 포함한다. 생물학적 특성이 안구인 경우, 이미지 차이 데이터는 안구에 의해 반사된 이미지 콘텐츠의 변동 값인 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서의 생물학적 특성의 이미지 변동 값이다. 프로세서(230)는 이미지 콘텐츠의 변동 값이 제 4 미리 결정된 변동 범위 내에 있는 경우 타깃 대상이 가상의 대상인 것으로 결정하도록 구성될 수 있다.
일부 실시예들에서, 타깃 대상이 안구 위에 투영된 그래픽 형태에 기초하여 가상의 대상인지에 대한 결정이 이루어진다. 제 1 얼굴 이미지는 디스플레이 스크린이 제 1 그래픽을 디스플레이하는 동안 타깃 대상을 기록 및 캡처함으로써 획득된 얼굴 이미지일 수 있고, 여기서 제 1 얼굴 이미지는 타깃 대상의 안구로부터 반사된 제 1 그래픽에 대한 이미지 콘텐츠 정보를 포함한다. 디스플레이 스크린이 제 2 그래픽을 표시하는 동안, 제 2 얼굴 이미지는 타깃 대상을 기록 및 캡처함으로써 획득된 얼굴 이미지일 수 있고, 여기서 제 2 얼굴 이미지는 타깃 대상의 안구로부터 반사된 제 1 그래픽에 대한 이미지 콘텐츠 정보를 포함한다. 프로젝션 정보는 프로젝션 그래픽들을 포함할 수 있다. 생물학적 특성이 안구라면, 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서 안구로부터 반사된 이미지 콘텐츠의 변동은 비디오 디바이스에 의해 획득된다. 이미지 콘텐츠가 동일하면(예를 들어, 제 1 얼굴 이미지와 제 2 얼굴 이미지 사이에서), 타깃 대상이 실제 사람이라는 결정이 이루어진다. 타깃 대상들이 유사하지 않은 경우, 타깃 대상이 가상의 대상이라는 결정이 이루어진다.
때때로 왁스 유사물 또는 다른 3-차원 모델은 3D 구조를 갖는 피부 및 얼굴과 같은 인간의 특성들을 갖는다. 따라서 그러한 모델은 악의적인 인증 시도와 관련하여 사용될 수 있다. 실제 사람의 안구는 구형이며 일반적으로 실제 사람의 얼굴 앞의 이미지를 반사한다. 그러나 픽쳐, 비디오 또는 소프트웨어 시뮬레이션 또는 다른 방법은 사람의 얼굴 앞의 이미지를 반사하지 않는다. 디스플레이 스크린의 휘도, 컬러들 및 형태들이 변함에 따라, 실제 사람의 안구에 의해 반사되는 이미지들도 달라질 것이다. 얼굴 이미지의 안구 부분의 이미지를 검출함으로써, 타깃 대상이 진짜인 사람인지의 결정이 이루어질 수 있다.
인증 시스템과의 인증을 시도하기 위해 합법적인 사용자의 3-차원 모델(왁스 유사물과 같은)을 사용하려는 악의적인 시도를 방지하는 것과 관련하여 다양한 실시예들이 사용될 수 있다. 따라서, 생물체 인식(living-thing recognition)에 기초한 인증 시스템의 보안성은 향상된다.
다양한 실시예들에 따르면, 얼굴 인식-기반 인증 방법은 컴퓨터 디바이스, 모바일 디바이스 또는 유사한 작동 수단에서 구현될 수 있다.
전술한 실행 환경들에서, 본 출원은 얼굴 인식-기반 인증 시스템의 실시예를 제공한다. 도 3에 도시된 바와 같이, 시스템은 디스플레이 디바이스(310), 비디오 처리 디바이스(320) 및 컴퓨터 단말기(330)를 포함한다.
도 3은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 시스템의 도면이다.
도 3을 참조하면, 얼굴 인식-기반 인증을 위한 시스템(300)이 제공된다. 시스템(300)은 도 1의 단말기(100), 도 2의 단말기(200), 도 9의 스마트폰(900), 및/또는 도 10의 컴퓨터 단말기(1000)와 관련하여 구현될 수 있다. 시스템(300)은 도 4의 프로세스(400), 도 6의 프로세스(600), 도 7의 프로세스(700) 및/또는 도 8의 프로세스(800)를 적어도 부분적으로 구현할 수 있다.
시스템(300)은 디스플레이 디바이스(310), 비디오 디바이스(320) 및 단말기(330)을 포함한다.
디스플레이 디바이스(310)는 프로젝션 정보를 투영(예를 들어, 디스플레이)하도록 구성된다. 프로젝션 정보는 디스플레이 디바이스(310)에 의해 디스플레이되는 콘텐츠에 대응하거나 또는 이를 포함할 수 있다. 일 예로서, 프로젝션 정보는 이미지, 비디오, 텍스트, 등을 포함할 수 있다. 일부 실시예들에서, 프로젝션 정보는 디스플레이 스크린의 콘텐츠를 갱신함으로써 갱신된다.
일부 실시예들에서, 디스플레이 디바이스(310)는 스마트 단말기 디바이스의 디스플레이 스크린일 수 있다. 예를 들면, 스마트 단말기 디바이스의 디스플레이 스크린은 단말기 디바이스의 입출력 디바이스일 수 있고, 특정의 전자 정보 콘텐츠를 화면상에 디스플레이할 수 있다. 디스플레이 스크린은 사람의 눈에 그러한 특정 전자 정보(예를 들어, 비디오, 이미지, 텍스트, 등)를 반사하기 위한 디스플레이 도구일 수 있다. 프로젝션 정보는 디스플레이 디바이스(310) 상에 디스플레이된 콘텐츠일 수 있다. 이러한 콘텐츠는 픽쳐들, 텍스트, 테이블, 등이 될 수 있다. 프로젝션 정보는 디스플레이 디바이스(310)에 디스플레이된 콘텐츠를 갱신함으로써 갱신될 수 있다. 디스플레이 디바이스(310)(예를 들어, 디스플레이 스크린)는 실시간으로 프로젝션 정보를 투영하는데 사용할 수 있다.
일부 실시예들에서, 디스플레이 디바이스(310)의 디스플레이 콘텐츠(예를 들어, 프로젝션 정보)의 갱신은, 디스플레이 디바이스(310)의 디스플레이 휘도를 변경하는 것, 디스플레이 디바이스(310)의 디스플레이 컬러를 변경하는 것, 디스플레이 디바이스(310)상의 특정 그래픽의 형태를 변경하는 것, 또는 디스플레이 디바이스(310)상의 콘텐츠를 변경하는 것(예를 들어, 다른 콘텐츠 유형, 다른 대상, 등을 디스플레이하는 것)을 포함하지만, 이에 한정되는 것은 아니다.
비디오 디바이스(320)는 하나 이상의 이미지들을 캡처하도록 구성된다. 예를 들어, 비디오 디바이스(320)는 제 1 이미지 및 제 2 이미지를 캡처할 수 있다. 비디오 디바이스(320)는 디스플레이 디바이스(310)와 통신한다. 비디오 디바이스(320)는 프로젝션 정보가 디스플레이 디바이스(310)를 통해 타깃 대상 상에 투영된 후 현재 타깃 대상의 제 1 이미지를 캡처하도록 구성될 수 있다. 비디오 디바이스(320)는 타깃 대상의 제 2 이미지를 캡처하도록 구성될 수 있다. 비디오 디바이스(320)는 프로젝션 정보가 갱신된 후 타깃 대상의 제 2 이미지를 캡처할 수 있다. 따라서, 타깃 이미지의 제 2 이미지는 갱신된 프로젝션 정보를 포함할 수 있다.
비디오 디바이스(320)는 비디오 처리 및 스틸 이미지 캡처와 같은 기능들을 갖는 비디오 입력 디바이스(비디오 카메라와 같은)일 수 있다. 렌즈를 통해 이미지를 캡처한 후, 비디오 디바이스(320) 내부의 광-감지 구성요소 회로 및 제어 구성요소는 이미지를 처리하여 단말기 디바이스가 인식할 수 있는 디지털 신호로 변환한다. 무선(예를 들어, 블루투스, WiFi, 적외선, 등) 연결 또는 유선(예를 들어, 병렬 포트, USB, 마이크로 USB, 파이어 와이어, 등) 연결을 통해 디지털 신호를 단말기 디바이스에 입력한 후, 이미지는 소프트웨어에 의해 저장된다. 타깃 대상은 이미지 정보가 비디오 카메라를 통해 획득될 필요가 있는 임의의 대상이 될 수 있다. 디스플레이 디바이스(310)가 디스플레이 스크린상의 디스플레이 콘텐츠를 타깃 대상에 투영(예를 들어, 디스플레이)한 후, 비디오 디바이스는 타깃 대상의 현재 이미지(제 1 이미지로서 작용하는)를 촬영하여 획득할 수 있다. 디스플레이 디바이스(310)가 그 스크린상에 디스플레이된 콘텐츠를 갱신한 후, 비디오 디바이스(320)는 디스플레이 스크린이 갱신된 프로젝션 정보를 투영한 타깃 대상의 이미지(제 2 이미지로 작용할 수 있는)를 캡처하여 획득한다.
일부 실시예들에서, 타깃 대상의 이미지는 적외선 비디오 카메라를 사용하여 획득(예를 들어, 얻어진)된다. 적외선 비디오 카메라는 사람의 얼굴(및 그 주변 또는 환경)의 다양한 부분들의 온도를 결정(예를 들어, 평가)할 수 있고, 따라서 실제 사람의 얼굴과 픽쳐, 비디오 또는 소프트웨어 시뮬레이션 사이의 차이들을 또한 평가할 수 있다.
단말기(330)는 제 1 이미지와 제 2 이미지를 비교하도록 구성된다. 단말기(330)는 획득된 이미지 차이 데이터(예를 들어, 제 1 이미지와 제 2 이미지의 비교의 결과)를 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 사용할 수 있다.
단말기(330)는 퍼스널 컴퓨터일 수 있다. 퍼스널 컴퓨터는 하나 이상의 프로세서들를 포함할 수 있다. 가상의 대상은 타깃 대상의 2-차원 이미지 또는 3-차원 모델일 수 있다. 타깃 대상의 제 1 이미지 및 제 2 이미지가 비디오 디바이스(또는 다른 이미징 디바이스)로 획득된 후에, 단말기(330)(예를 들어, 그 프로세서)는 제 1 이미지 및 제 2 이미지에 각각 포함된 정보 데이터를 비교할 수 있다. 따라서, 단말기(330)는 이미지 차이 데이터(예를 들어, 제 1 이미지와 제 2 이미지의 비교 결과)를 얻을 수 있다. 단말기(330)는 현재의 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 이미지 차이 데이터를 사용할 수 있다.
가상의 대상은 타깃 대상 또는 3-차원 모델(왁스 유사물)의 사진, 비디오, 연속된 픽쳐들의 슬라이드들, 또는 사진 기반 소프트웨어 시뮬레이션들로부터 합성되고 동작을 포함하는 이미지들일 수 있다.
다양한 실시예들에 따르면, 프로젝션 정보가 타깃 대상에 투영될 때, 타깃 대상의 현재 캡처로부터 획득된 제 1 이미지가 얻어진다. 프로젝션 정보가 수정된 후에, 갱신된 프로젝션 정보가 투영될 때, 타깃 대상의 캡처로부터 얻어진 제 2 이미지가 얻어진다. 제 1 이미지와 제 2 이미지가 비교되고, 이미지 차이 데이터가 획득된다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 기준으로서의 역할을 한다.
일부 실시예들에서, 디스플레이 디바이스의 스크린 디스플레이는 수정되고 타깃 대상에 투영된다. 비디오 디바이스는 디스플레이 디바이스가 변화하기 전후에(예를 들어, 프로젝션 정보가 갱신되고 디스플레이되기 전후) 타깃 대상의 제 1 이미지와 타깃 대상의 제 2 이미지를 획득하는데 사용되며, 비교 분석은 제 1 이미지 및 제 2 이미지에 대해 수행된다. 제 1 이미지 및 제 2 이미지의 차이 데이터(예를 들어, 비교 분석에 기초한 데이터는 제 1 이미지 및 제 2 이미지에 대해 수행됨)는 현재 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서의 역할을 한다. 디스플레이 변화들에 대한 타깃 대상의 실시간 피드백에 기초한 생물체 검출(living-thing detection) 및 신원 인증의 목적이 달성될 수 있고, 살아있는 사람-얼굴 검출의 정확도(live human-face detection accuracy)가 개선될 수 있고, 인증 시스템에 대한 인증을 위해 가상의 대상들을 사용하여 인증하려는 악의적인 시도는 감소될 수 있다.
다양한 실시예들은, 불법적인 사용자들은 인식을 구현하기 위하여 라이브 액션을 이용하는 것에 의해 합법적인 사용자들의 시뮬레이션된 동작들을 사용하는, 인증 시도들과 관련한 비디오들 또는 이미지들의 악의적인 사용에 취약한 라이브 인식-기반 인증 시스템들의 견고성을 향상시킨다.
일부 실시예들에서, 제 1 이미지는 제 1 프로젝션 정보를 투영할 때 타깃 대상의 적어도 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고; 제 2 이미지는 제 2 프로젝션 정보를 투영할 때 타깃 대상의 적어도 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함한다. 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러 및 프로젝션 그래픽들 중 하나 이상을 포함한다. 디스플레이된 이미지의 다양한 다른 특성들은 프로젝션 정보를 생성하는 것과 관련하여 수정될 수 있다.
일부 실시예들에서, 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러 및 프로젝션 그래픽들 중 하나 이상을 포함한다. 제 1 프로젝션 정보는 수정 전(예를 들어, 프로젝션 정보가 수정되기 전) 프로젝션 정보에 대응할 수 있다. 제 2 프로젝션 정보는 수정 후의 프로젝션 정보(예를 들면, 디스플레이된 프로젝션 정보가 갱신된 후에 디스플레이된 프로젝션 정보)에 대응할 수 있다. 제 1 이미지는 프로젝션 정보가 수정되기 전에 획득된 상기 타깃 대상의 이미지일 수 있고, 제 1 프로젝션 정보가 투영될 때 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함할 수 있다. 제 2 이미지는 프로젝션 정보가 수정된 후에 획득된 타깃 대상의 이미지일 수 있고, 제 2 프로젝션 정보가 투영될 때 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함할 수 있다. 따라서, 타깃 대상이 살아있는 대상인지 가상의 대상인지를 판단하는 것이 가능하다.
단말기(330)는 또한 이미지 차이 데이터가 무효인 경우 타깃 대상이 가상의 대상이라고 결정하도록 구성될 수 있다. 무효인 이미지 차이 데이터는 제 1 이미지와 일치하는 제 2 이미지에 대응할 수 있다. 예를 들어, 무효인 이미지 차이 데이터는 제 1 이미지의 이미지 데이터와 제 2 이미지의 이미지 데이터가 동일하다는 사실에 대응할 수 있다.
다양한 실시예들에 따르면, 이미지 차이 데이터가 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 작용하는 경우, 이미지 차이 데이터가 무효이면(예를 들어, 제 1 이미지와 제 2 이미지가 동일한 각각의 이미지 데이터를 갖고, 이미지 차이 데이터가 없는 경우), 타깃 대상이 가상의 대상이라는 결정이 이루어질 수 있다. 역으로, 이미지 차이 데이터가 무효가 아닌 경우(예를 들어, 상기 제 1 이미지 및 상기 제 2 이미지가 완전히 동일한 각각의 이미지 데이터를 갖지 않고(또는 제 1 이미지 및 제 2 이미지에 대해 대응하는 이미지 데이터가 유사성의 임계값 정도 내에 있지 않고), 이미지 차이 데이터가 존재하는 경우), 타깃 대상이 살아있는 대상이라는 결정이 이루어질 수 있다.
일부 실시예들에서, 이미지 차이 데이터는: 제 1 얼굴 이미지를 제 2 얼굴 이미지와 비교하는 것에 기초한 제 1 정도의 변동, 및 제 1 배경 이미지를 제 2 배경 이미지와 비교하는 것에 기초한 제 2 정도의 변동을 포함한다.
단말기(330)는, 프로젝션 정보가 프로젝션 휘도 및/또는 투영 컬러를 포함하는 경우, 제 1 정도의 변동이 전체 얼굴의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이는 제 1 미리 결정된 변동 범위 내에 있다면, 타깃 대상이 가상의 대상이라고 결정하도록 구성될 수 있다. 타깃 대상에 투영된 프로젝션 정보가 수정되는 경우, 제 1 정도의 변동은 타깃 대상을 캡처하여 얻어지는 얼굴 이미지를 기록(예를 들어, 캡처 및/또는 저장)함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치한 배경 이미지를 캡처함으로써 결정된다.
일부 실시예들에서, 이미지 차이 데이터는: 제 1 얼굴 이미지를 제 2 얼굴 이미지와 비교하는 것에 기초한 제 1 정도의 변동 및 제 1 배경 이미지를 제 2 배경 이미지와 비교하는 것에 기초한 제 2 정도의 변동을 포함한다. 제 1 얼굴 이미지 및 제 2 얼굴 이미지가 타깃 대상 얼굴의 적어도 하나의 생물학적 특성에 관한 특성 정보를 포함하는 경우, 그리고 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러를 포함할 때, 타깃 대상은, 제 1 정도의 변동이 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동 값 및/또는 컬러 변동 값이고 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 제 2 미리 결정된 변동 범위 내에 있다면, (예를 들어, 단말기(330)에 의해) 가상의 대상인 것으로 결정된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처하여 획득된 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
다양한 실시예들에 따라, 이미지 차이 데이터는: 제 2 얼굴 이미지와 관련하여 제 1 얼굴 이미지에 대한 적어도 하나의 생물학적 특성에 대한 이미지 변동 값을 포함한다. 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러를 포함하는 경우, 임의의 2개의 생물학적 특성들의 휘도 변동 값들 및/또는 컬러 변동 값들이 (예를 들어, 단말기(330)에 의해) 획득될 수 있다. 임의의 2 이상의 생물학적 특성들의 이미지 변동 값들이 미리 결정된 변동 범위(예를 들어, 제 3 미리 결정된 변동 범위) 내에 있는 경우, 타깃 대상은 가상의 대상인 것으로 결정된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 이미지 차이 데이터는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성을 캡처하는 것으로부터 얻어진 특성 이미지를 기록(예를 들어, 캡처 및/또는 저장)함으로써 결정될 수 있다.
일부 실시예들에서, 프로젝션 정보는 투영 그래픽들을 포함한다. 생물학적 특성이 안구인 경우, 이미지 차이 데이터는 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서의 생물학적 특성의 이미지 변동 값(예를 들면, 제 2 얼굴 이미지에서의 특성과 관련된 제 1 얼굴 이미지 내의 특성의 이미지 변동 값)에 대응할 수 있다. 예를 들어, 이미지 변동 값은 안구에 의해 반사된 이미지 콘텐츠의 변동 값(예를 들어, 제 2 이미지에서 안구에 의해 반사된 이미지 콘텐츠에 대해 제 1 이미지에서 안구에 의해 반사된 이미지 콘텐츠의 변동)을 포함할 수 있다. 단말기(330)는, 이미지 콘텐츠의 변동 값이 미리 결정된 변동 범위(예를 들어, 제 4 미리 결정된 변동 범위) 내에 있는 경우, 타깃 대상이 가상의 대상이라고 결정하도록 구성될 수 있다. 변동 범위는 2개의 이미지들 사이의 유사성 정도의 일정 범위에 대응할 수 있다.
다양한 실시예들은 얼굴 인식에 기초한 인증 방법을 포함한다. 도면들의 흐름도들에 도시된 단계들은 명령들을 실행할 수 있는 한 그룹의 컴퓨터들과 같은 컴퓨터 시스템에 의해 구현될 수 있음을 주목해야한다. 또한, 논리 시퀀스들이 흐름도에 도시되었지만, 도시되거나 기술된 단계들은 일부 상황들에서 본 명세서의 것들 이외의 순서들로 실행될 수 있다.
얼굴 인식에 기초하거나 또는 검출된 얼굴 이미지들 사이의 차이를 결정하는 것에 기초한 인증 방법들은, 도 1의 단말기(100)와 같은 단말기에 의해 구현될 수 있다. 도 1에 도시된 바와 같이, 단말기(100)는 하나 이상의 프로세서들(110)을 포함할 수 있다. 프로세서(110)는 마이크로프로세서(MCU) 또는 프로그램 가능한 로직 디바이스들(FPGA)와 같은 처리 수단들을 포함할 수 있지만, 이에 한정되는 것은 아니다. 단말기(100)는 메모리(120)를 포함할 수 있다. 메모리(120)는 데이터를 저장하도록 구성될 수 있다. 단말기(100)는 통신 모듈(130)을 포함할 수 있다. 통신 모듈(130)은 통신 기능들을 위해 구성될 수 있다. 또한, 단말기(100)는 디스플레이 디바이스, 입/출력 인터페이스들(I/O 인터페이스들), USB 포트(예를 들어, USB 포트는 I/O 인터페이스들로서의 역할을 하는 포트들 중 하나의 포트로 포함될 수 있다), 네트워크 인터페이스, 전원 공급장치 및/또는 카메라를 더 포함할 수 있다. 당업자들은 도 1에 도시된 구조들이 단지 예시적이며, 전자 디바이스의 구조들을 제한하지 않음을 이해할 수 있을 것이다. 예를 들어, 모바일 디바이스(100)는 도 1에 도시된 것보다 더 많거나 또는 더 적은 구성요소들을 더 포함할 수 있거나, 또는 도 1에 도시된 것과 상이한 구성을 가질 수 있다.
하나 이상의 프로세서들(110) 및/또는 다른 데이터 처리 회로들은 일반적으로 본 명세서에서 "데이터 처리 회로들"로 지칭될 수 있다. 데이터 처리 회로들은 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합으로 완전히 또는 부분적으로 구현될 수 있다. 또한, 데이터 처리 회로는 단일, 독립적인 처리 모듈 또는 단말기(100)(예를 들어, 이동 디바이스)와 완전히 또는 부분적으로 통합된 임의의 다른 구성요소일 수 있다. 예를 들어, 데이터 처리 회로 제어들은 (예를 들어, 인터페이스-연결 가변 저항 단자 경로를 선택하는) 프로세서로서 구현될 수 있다.
디스플레이 디바이스는 예를 들어, 터치-스크린 액정 디스플레이(LCD)일 수 있다. 액정 디스플레이는 사용자가 단말기(100)(예를 들어, 모바일 디바이스)의 사용자 인터페이스와 상호 작용할 수 있게 한다.
도 1의 단말기(100)는 하드웨어 구성요소들(회로들 포함), 소프트웨어 구성요소들(컴퓨터-판독가능 매체에 저장된 컴퓨터 코드 포함), 또는 하드웨어 구성요소들과 소프트웨어 구성요소들의 조합들을 포함할 수 있다. 도 1은 모바일 디바이스에 존재할 수 있는 구성요소들의 유형들을 나타내는 목적을 갖는 특별한 특정 실시예의 단지 하나의 예인 것을 주목해야 한다.
도 4는 본 발명의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도이다.
도 4를 참조하면, 얼굴 인식-기반 인증을 위한 프로세스(400)가 제공된다. 프로세스(400)는 도 1의 단말기(100), 도 2의 단말기(200), 도 3의 시스템(300), 도 9의 스마트폰(900) 및/또는 도 10의 컴퓨터 단말기(1000)에 의해 적어도 부분적으로 구현될 수 있다. 프로세스(400)는 도 6의 프로세스(600), 도 7의 프로세스(700) 및/또는 도 8의 프로세스(800)와 관련하여 구현될 수 있다.
410에서, 제 1 이미지가 획득된다. 제 1 이미지는 타깃 대상의 이미지일 수 있다. 예를 들어, 타깃 대상의 제 1 이미지는 비디오 카메라, 카메라, 등과 같은 이미지 캡처 디바이스에 의해 획득될 수 있다. 제 1 이미지는 타깃 대상에 투영되는(예를 들어, 디스플레이되는) 프로젝션 정보와 관련하여 획득될 수 있다. 예를 들어, 프로젝션 정보가 타깃 대상에 투영된 경우, 타깃 대상의 현재 캡처에서 획득된 제 1 이미지가 획득될 수 있다.
프로젝션 정보는 전자 디스플레이 스크린 위에 디스플레이된 콘텐츠(픽쳐, 텍스트, 등과 같은) 또는 전자 디스플레이 스크린 위에 표시된 파라미터 정보(디스플레이 스크린에 의해 디스플레이된 휘도, 컬러, 등과 같은)일 수 있다. 일부 실시예들에서, 프로젝션 정보는 다른 디바이스에 의해 타깃 대상에 투영되어, 타깃 대상이 다른 변동을 제공하도록 야기하는 정보일 수 있다. 타깃 대상은 비디오 디바이스를 통해 이미지 정보가 얻어지는 임의의 대상이 될 수 있다. 예를 들어, 타깃 대상은 살아있는 대상 또는 살아있는 대상의 사진, 비디오 이미지, 등일 수 있다. 일부 실시예들에서, 프로젝션 정보가 타깃 대상에 투영된 후, 현재 순간에 타깃 대상을 캡처함으로써 획득된 제 1 이미지를 얻는 것이 가능하다.
일부 실시예들에서, 타깃 대상의 이미지는 비디오 처리 및 스틸-이미지 캡처와 같은 기능들을 갖는 비디오 입력 디바이스(비디오 카메라와 같은)를 사용하여 캡처될 수 있다. 이미지가 렌즈를 통해 얻어진 후, 비디오 디바이스 내부의 광-감지 구성요소 회로 및 제어 구성요소는 이미지를 처리하여 단말기 디바이스가 인식할 수 있는 디지털 신호로 변환한다. 그런 다음 무선(예를 들어, 블루투스, WiFi, 적외선, 등) 연결 또는 유선(예를 들어, 병렬 포트, USB, 마이크로 USB, 파이어 와이어, 등) 연결을 통해 단말기 디바이스에 디지털 신호를 입력한 후, 이미지는 소프트웨어에 의해 처리(예를 들어, 복원)된다.
일부 실시예들에서, 타깃 대상이 사람의 얼굴 또는 사람의 사진인 경우, 프로젝션 정보는 스마트폰의 디스플레이 스크린을 통해 타깃 대상에 투영될 수 있고, 타깃 대상의 이미지(예컨대, 제 1 이미지)는 이미지 캡처 디바이스(예를 들면, 단말기의 전방 카메라)로 타깃 대상을 캡처함으로써 획득될 수 있다.
도 5a는 본 발명의 다양한 실시예들에 따른 단말기의 전면 비디오 카메라에 의해 획득된 사람의 얼굴 대상의 도면이다.
도 5a를 참조하면, 인증과 관련하여 캡처된 대상(500)이 제공된다. 캡처 및/또는 처리 대상(500)은 도 1의 단말기(100), 도 2의 단말기(200), 도 3의 시스템(300), 도 9의 스마트폰(900) 및/또는 도 10의 컴퓨터 단말기(1000)에 의해 또는 이들과 관련하여 수행될 수 있다. 대상(500)은 도 4의 프로세스(400), 도 6의 프로세스(600), 도 7의 프로세스(700), 및/또는 도 8의 프로세스(800)의 일부로서 인증과 관련하여 캡처, 처리 또는 사용될 수 있다.
대상(500)은 모바일폰과 같은 단말기(510)의 전면 카메라에 의해 획득(예를 들어, 캡처 및/또는 저장)된 얼굴일 수 있다. 도 5a에 도시된 바와 같이, 대상(500)(예를 들어, 얼굴)은: 눈썹(501), 눈(503), 입(505), 코(507) 및 귀(509)를 포함한다. 이러한 특징들은 이미지 식별 프로그램 또는 다른 적절한 프로그램들에 의해 식별될 수 있다. 예를 들어, 특징들은 얼굴 랜드마크 검출 또는 특징 점 검출에 기초하여 식별될 수 있다. 특징 점 검출은 기계 학습을 사용하여 처리될 수 있다. 예를 들어, 특징 점 검출은 개방 소스 라이브러리 Dlib, 등을 사용하여 처리될 수 있다.
도 4의 프로세스(400)로 돌아가서, 420에서, 제 2 이미지가 획득된다. 제 2 이미지는 타깃 대상의 이미지일 수 있다. 예를 들어, 타깃 대상의 제 2 이미지는 비디오 카메라, 카메라, 등과 같은 이미지 캡처 디바이스에 의해 획득될 수 있다. 제 2 이미지는 타깃 대상에 투영되는(예를 들어, 디스플레이 디바이스에 의해 디스플레이되고, 타깃 대상에 투영되는) 프로젝션 정보와 관련하여 획득될 수 있다. 예를 들어, 제 2 대상은 프로젝션 정보(예를 들어, 타깃 대상에 투영되는)가 수정된 후(예를 들어, 프로젝션 정보는 제 1 이미지가 캡처될 때 타깃 대상에 투영되는 프로젝션 정보와 관련하여 수정될 수 있다)에 획득될 수 있다 . 예를 들면, 프로젝션 정보가 수정된 후에, 갱신된 프로젝션 정보를 투영할 때 타깃 대상을 캡처함으로써 얻어진 제 2 이미지가 획득될 수 있다. 프로젝션 정보는, 단말기의 디스플레이상에 디스플레이되는 이미지의 컬러를 변경하는 것, 단말기의 디스플레이의 휘도를 변경하는 것, 단말기의 디스플레이상에 디스플레이된 이미지의 크기를 변경하는 것, 단말기의 디스플레이상에 디스플레이된 이미지를 변경하는 것, 등에 의해 수정될 수 있다.
프로젝션 정보가 수정된 후(예를 들어, 모바일 디바이스상에 디스플레이된 이미지의 컬러 또는 디스플레이 스크린의 휘도는 모바일 디바이스가 타깃 대상을 캡처하는 동안 수정될 수 있다), 프로젝션 정보는 타깃 대상위에 투영되고, 제 2 이미지는 타깃 대상을 캡처함으로써 얻어진다.
일 예로서, 타깃 대상이 사람의 얼굴 또는 사람의 사진인 경우, 프로젝션 정보는 스마트폰의 디스플레이 스크린을 통해 타깃 대상에 투영되고, 타깃 대상의 이미지는 전면 카메라로 타깃 대상을 캡처함으로써 얻어진다. 프로젝션 정보의 수정은 디스플레이 스크린의 휘도를 강화하는 것을 포함할 수 있다. 갱신된 프로젝션 정보(예를 들어, 휘도가 강화된 스마트폰 스크린에 의해 디스플레이된 정보)가 사람의 얼굴에 투영될 때, 타깃 대상의 이미지(예를 들어, 제 2 이미지)는 폰의 전면 카메라에 의해 캡처된다.
도 5b는 본 발명의 다양한 실시예들에 따라 단말기와 관련된 휘도가 증가된 후 단말기의 전면 비디오 카메라에 의해 얻어진 사람의 얼굴 대상의 도면이다.
도 5b를 참조하면, 인증과 관련하여 캡처된 대상(550)이 제공된다. 대상(550)의 캡처 및/또는 처리는, 도 1의 단말기(100), 도 2의 단말기(200), 도 3의 시스템(300), 도 9의 스마트폰(900), 도 10의 컴퓨터 단말기(1000)에 의해 또는 이들과 관련하여 수행될 수 있다. 대상(550)은, 도 4의 프로세스(400), 도 6의 프로세스(600), 도 7의 프로세스(700) 및/또는 도 8의 프로세스(800)의 일부로서 인증과 관련하여 캡처, 처리 또는 사용될 수 있다.
대상(550)은 모바일폰과 같은 단말기(560)의 전면 카메라에 의해 획득(예를 들어, 캡처 및/또는 저장)된 얼굴일 수 있다. 도 5b에 도시된 바와 같이, 대상(550)(예를 들어, 얼굴)은: 눈썹(551), 눈(553), 입(555), 코(557) 및 귀(559)를 포함한다.
도 4의 프로세스(400)로 돌아가서, 430에서, 이미지 차이 데이터가 획득된다. 이미지 차이 데이터는 제 1 이미지 및 제 2 이미지에 적어도 부분적으로 기초하여 획득될 수 있다. 예를 들어, 이미지 차이 데이터는 제 1 이미지와 제 2 이미지의 비교에 적어도 부분적으로 기초할 수 있다. 이미지 차이 데이터는, 제 1 이미지와 제 2 이미지 사이의 차이 또는 유사성의 정도를 나타낼 수 있다. 일부 실시예들에서, 제 1 이미지 및 제 2 이미지의 상이한 영역들과 관련된 이미지 데이터(예를 들어, 상이한 영역들에서의 이미지 변동의 결과들)가 획득되고(예를 들어, 각각의 제 1 이미지와 제 2 이미지로부터 추출), 제 1 이미지 및 제 2 이미지로부터 획득된 그러한 이미지 데이터가 비교되고, 이미지 차이 데이터가 획득된다. 이미지 차이 데이터는 제 1 이미지 및 제 2 이미지의 상이한 영역들과 관련된 이미지 데이터(예를 들어, 이미지 변동 결과들) 사이의 비교 결과에 대응한다. 제 1 이미지 및 제 2 이미지의 상이한 영역들과 연관된 이미지 데이터는 대상의 특정 특징을 포함하는 제 1 이미지 및 제 2 이미지 내의 영역들(예를 들어, 눈, 얼굴 일부, 대상에 투영된 정보를 반사하는 일부, 등)에 대응할 수 있다. 이미지 차이 데이터는, 타깃 대상의 영역 또는 타깃 대상의 특징(예를 들어, 타깃 대상의 얼굴상의 눈)에 대응하는 제 1 이미지의 부분을 식별하는 것, 상기 타깃 대상의 영역 또는 상기 타깃 대상의 특징에 대응하는 제 2 이미지의 대응하는 부분을 식별하는 것, 제 1 이미지의 부분과 제 2 이미지의 부분에 기초하여 차이 그래프를 생성하는 것, 및 제 1 이미지의 부분 및 제 2 이미지의 부분에 기초하여(예를 들어, 차이 그래프에 기초하여) 차이 영역을 결정하는 것에 기초하여 획득될 수 있다. 이미지 차이 데이터는 차이 영역의 위치, 크기, 휘도 차이, 컬러 차이와 관련된 정보, 원래 영역에서의 차이 영역의 위치, 크기 휘도, 컬러, 등을 포함할 수 있다.
제 1 이미지는 프로젝션 정보가 수정되기 전에 얻어진 타깃 대상의 이미지일 수 있다. 제 2 이미지는 프로젝션 정보가 수정된 후에 얻어진 타깃 대상의 이미지일 수 있다. 제 1 이미지 및 제 2 이미지의 상이한 영역들과 관련된 이미지 데이터(예를 들어, 상이한 영역들에서 이미지 변동 결과들)가 획득(예를 들어, 각각의 제 1 이미지 및 제 2 이미지로부터 추출)될 수 있고, 제 1 이미지 및 제 2 이미지로부터 획득된 이러한 이미지 데이터를 비교하고, 제 1 이미지 및 제 2 이미지 내의 상이한 영역들의 이미지 변동 결과들 사이의 이미지 차이 데이터를 획득하는 것이 가능하다.
일 예로서, 타깃 대상이 사람의 얼굴 또는 사람 얼굴의 사진에 대응하는 경우, 제 1 이미지 및 제 2 이미지의 상이한 영역들은 각각 얼굴 영역 및 배경 영역일 수 있다.
타깃 대상은 살아있는 대상 또는 살아있는 대상의 사진 또는 비디오 이미지 또는 시뮬레이션 소프트웨어에 의해 시뮬레이션된 가상의 대상일 수 있다. 살아있는 대상은 3-차원 실체이다. 대조적으로, 가상의 대상은 일반적으로 2-차원 이미지이다. 따라서, 타깃 대상에 투영된 프로젝션 정보가 수정된 후에, 가상의 대상과는 대조적으로 살아있는 대상의 프로젝션 피드백에서 실질적인 차이는 명백해질 것이다. 따라서, 타깃 대상으로부터의 이미지 차이 데이터 피드백은 현재 대상이 살아있는 대상(예를 들어, 실제 사람의 얼굴)인지 또는 가상의 대상(예를 들어, 사람의 얼굴을 포함하는 사진 또는 비디오)인지를 결정하는데 사용될 수 있다.
일 예로서, 타깃 대상이 얼굴 또는 얼굴의 사진에 대응하는 경우, 타깃 대상이 사람의 얼굴이면, 단말기(예를 들어, 스마트폰)의 전방 카메라에 의해 얻어진 제 2 이미지 내의 사람의 얼굴은, 디스플레이 스크린의 휘도가 (예를 들어, 제 1 이미지가 캡처된 시간과 제 2 이미지가 캡처된 시간으로부터 프로젝션 정보가 수정된 결과로서) 변함에 따라, 휘도가 변할 것이다. 타깃 대상이 사람 얼굴의 사진에 대응하는 경우, 단말기(예를 들어, 스마트폰)의 전면 카메라에서 얻어진 제 2 이미지의 사람 얼굴(예를 들어, 그 사람 얼굴의 사진)은 휘도가 함께 변하지 않을 것이다.
일부 실시예들에서, 이미지 차이 데이터는 제 1 이미지(또는 그 안의 대상)가 제 2 이미지(또는 그 안의 대상)와 다른 방식 또는 정도를 나타낸다. 이미지 차이 데이터는 제 1 이미지가 제 2 이미지와 다른 정도가 유도될 수 있는 정보를 포함할 수 있다. 대조적으로, 일부 실시예들에서, 이미지 차이 데이터는 제 1 이미지와 제 2 이미지가 유사한 방식 또는 정도, 등을 나타낼 수 있다.
440에서, 타깃 대상이 가상의 대상인지를 결정한다. 이미지 차이 데이터에 적어도 부분적으로 기초하여 타깃 대상이 가상의 대상인지가 결정될 수 있다. 예를 들어, 타깃 대상이 가상의 대상인지의 결정은 제 1 이미지의 적어도 일부와 제 2 이미지의 일부 사이의 차이(또는 차이의 정도)에 적어도 부분적으로 기초할 수 있다. 다른 예로서, 타깃 대상이 가상의 대상인지의 결정은 제 1 이미지의 적어도 일부와 제 2 이미지의 적어도 일부 사이의 차이가 프로젝션 정보에 대한 수정(또는 제 1 이미지가 캡처되는 시간에 투영된 프로젝션 정보와 제 2 이미지가 캡처되는 시간에 투영된 프로젝션 정보 사이의 차이)과 일치(예를 들어, 정합)하는지의 결정에 적어도 부분적으로 기초할 수 있다. 타깃 대상은, 이미지 차이 데이터가 제 1 이미지의 적어도 일부와 제 2 이미지의 일부 사이의 차이가 임계값 차이를 초과하는 것(예를 들어, 차이의 정도 또는 범위가 임계값을 초과하는지 여부)을 표시하는 (즉, 그러한 표시가 유도될 수 있는) 경우, 가상의 대상인 것으로 결정될 수 있다.
일부 실시예들에서, 타깃 대상이 가상의 대상이 아닌 것으로 결정되는 경우(예를 들어, 타깃 대상이 실제 대상으로 결정되는 경우), 인증이 진행될 수 있다. 예를 들어, 타깃 대상이 가상의 대상인지의 결정은 인증 프로세스의 일부가 될 수 있다. 일부 실시예들에서, 타깃 대상이 가상의 대상인 것으로 결정되는 경우에, 타깃 대상와 연관된 인증은 거절될 수 있거나, 그렇지 않으면 인증 프로세스가 종료될 수 있다.
가상의 대상은 타깃 대상의 2-차원 이미지 또는 3-차원 모델일 수 있다. 타깃 대상의 제 1 이미지 및 타깃 대상의 제 2 이미지가 비디오 디바이스(또는 다른 이미지 캡처 디바이스)로 얻어진 후, 제 1 이미지와 제 2 이미지의(또는 사이의) 이미지 차이 데이터(예를 들면, 휘도 변동 값들)는 비교되고, 이에 의해 타깃 대상이 가상의 대상인지를 결정하는 것이 가능하다. 타깃 대상이 가상의 대상인지의 결정은 제 1 이미지와 제 2 이미지 사이의 차이가 프로젝션 정보의 갱신과 불일치하는지에 기초할 수 있다. 제 1 이미지와 제 2 이미지 사이의 차이가 프로젝션 정보의 갱신과 일치하지 않으면, 제 1 이미지와 제 2 이미지 사이의 차이는 불일치할 수 있다. 예를 들어, 스크린이 (프로젝션 정보를 갱신하는 것과 관련하여) 휘도를 향상시키는 경우, 제 2 이미지는 제 1 이미지보다 더 어둡게 될 수 있다. 다른 예로서, 스크린이 (프로젝션 정보를 갱신하는 것과 관련하여) 휘도를 향상시키는 경우, 타깃 대상의 눈으로부터의 반사에 대응하는 제 2 이미지의 영역들은 대응하는 갱신을 가져야 한다; 눈으로부터의 반사가 상이한 반사 또는 반사의 특성의 변화를 초래하지 않으면, 타깃 대상은 가상의 대상으로 간주될 수 있다. 다른 예로서, 스크린이 (프로젝션 정보를 갱신하는 것과 관련하여) 휘도를 변경하고, 프로젝션 정보가 감소된 레벨의 휘도를 갖도록 갱신되는 경우, 프로젝션 정보에 대한 그러한 갱신은 제 1 이미지와 제 2 이미지 사이의 차이로 표시되어야 한다; 제 2 이미지가 제 1 이미지의 휘도보다 밝은 휘도를 나타내고, 프로젝션 정보의 갱신이 휘도 증가인 경우, 타깃 대상은 가상의 대상으로 결정될 수 있다. 다른 예로서, 스크린이 (프로젝션 정보를 갱신하는 것과 관련하여) 투영되는 이미지를 변경하고, 프로젝션 정보가 투영되는 픽쳐의 크기가 변경되도록 갱신되는 경우, 프로젝션 정보에 대한 그러한 갱신은 제 1 이미지와 제 2 이미지의 차이로 표시되어야 한다; 제 2 이미지가 제 1 이미지에서 표시된 대응하는 픽쳐의 크기와 상이한 크기를 갖지 않는 픽쳐를 나타내는 경우, 또는 크기의 차이가 충분하지 않은 경우(예를 들어, 프로젝션 정보의 갱신에 기초하여 결정된 하나 이상의 임계값들을 초과하지 않는 경우), 타깃 대상은 가상의 대상으로 결정될 수 있다.
가상의 대상은 타깃 대상 또는 3-차원 모델(왁스 유사물과 같은)의 사진, 비디오, 연속적인 픽쳐들의 슬라이드, 또는 사진-기반 소프트웨어 시뮬레이션으로부터 합성되고 동작을 포함하는 이미지들일 수 있다.
다양한 실시예들에 따르면, 프로젝션 정보가 타깃 대상에 투영될 때, 타깃 대상의 현재 캡처로부터 획득된 제 1 이미지가 얻어진다. 프로젝션 정보가 수정된 후에, 갱신된 프로젝션 정보가 투영될 때, 타깃 대상을 캡처하여 획득된 제 2 이미지가 얻어진다. 제 1 이미지와 제 2 이미지가 비교되고, 이미지 차이 데이터가 얻어진다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 기준으로서의 역할을 한다.
다양한 실시예들에 따르면, 타깃 대상에 현재 투영된 콘텐츠는 디스플레이 스크린상에 디스플레이된 콘텐츠 또는 디스플레이 스크린의 스크린 파라미터를 수정하기 위하여 수정(예를 들어, 갱신)되고, 수정 결과(예를 들어, 결과의 프로젝션 정보)는 타깃 대상에 투영된다. 그런 다음 비디오 디바이스(또는 다른 이미지 캡처 디바이스)는, 데이터가 타깃 대상에 투영하기 위해 변경되기 이전 및 이후, 타깃 대상의 제 1 이미지와 타깃 대상의 제 2 이미지를 캡처하기 위하여 사용된다. 이미지 차이 데이터는 현재 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서의 역할을 할 수 있다. 이미지 차이 데이터는 제 1 이미지의 데이터와 제 2 이미지의 데이터 사이의 차이에 기초하여 계산될 수 있다. 다양한 실시예들에 따라, 타깃 대상에 투영된 콘텐츠를 변경(예를 들어, 갱신)하는 것은 타깃 대상을 캡처하는 프로세스 동안에 촬영된 콘텐츠를 변경할 것이다. 사기성 인증 시도와 관련하여 악의적인 당사자에 의해 사용된 사기성 콘텐츠(예컨대, 대응 동작들의 사전기록 비디오, 연속 픽쳐들의 상영 슬라이드들, 컴퓨터 시뮬레이션들을 통해 합성된 머리-끄덕임 또는 흔듬 또는 눈-깜빡임과 같은 동작들의 이미지들)은 일반적으로 2-차원 이미지들이다. 3D 모델이 또한 사기성 인증 시도와 관련하여 악의적인 당사자들에 의해 사용될 수 있다. 따라서, 2-차원 이미지에 투영된 프로젝션 정보가 수정될 때, 2-차원 이미지들 내의 임의의 2개의 영역들에 대한 변경 결과들 사이에 어떠한 차이도 없을 것이다. 따라서, 다양한 실시예들에 따라, 타깃 대상이 가상의 대상인지를 결정하는 것은 타깃 대상이 2-차원 이미지(예를 들어, 가상의 대상)인지의 결정에 적어도 부분적으로 기초할 수 있다. 일부 실시예들에서, 수정된 프로젝션 정보를 연속적으로(또는 주기적으로) 테스트한 후에, 다음 사항을 결정하는 것이 가능하다: 캡처된 제 1 이미지 및 제 2 이미지의 상이한 영역들의 이미지 변동 결과들 사이에 차이가 존재하는 경우, 타깃 대상은 가상의 대상이 아니라, 오히려 살아있는 실체 대상이다. 다양한 실시예들에 따르면, 생물의 검출(예를 들어, 타깃 대상이 실제 사람에 대응하는지)은 변경들을 디스플레이하기 위한 타깃 대상의 실시간 피드백에 기초하여 이루어질 수 있다. 따라서, 살아있는 사람-얼굴 검출의 정확도는 향상될 수 있고, 인증 시스템상의 가상의 대상에 의한 악의적인 공격(예를 들어, 사기성 인증 시도)이 감소될 수 있다.
다양한 실시예들은, 불법적인 사용자들이 인식을 구현하기 위해 라이브 액션들을 이용하는 것에 의해 합법적인 사용자들의 시뮬레이션된 동작들을 이용하는, 비디오 또는 이미지 공격들(예를 들어, 사기성 인증 시도들)에 취약한 기존의 라이브 인식-기반 인증 시스템들의 기술적인 문제점을 해결한다.
일부 실시예들에서, 단말기가 인증 기능을 활성화할 때, 프로젝션 정보는 단말기 디바이스의 디스플레이 스크린에 의해 투영된다. 프로젝션 정보는 디스플레이 스크린에 의해 디스플레이된 콘텐츠를 포함하고, 프로젝션 정보는 디스플레이 스크린의 디스플레이 콘텐츠를 갱신함으로써 갱신된다.
단말기는 스마트폰, 태블릿 컴퓨터, 노트북 컴퓨터 또는 다른 스마트 디바이스일 수 있다. 또한, 비디오 카메라 수단에 외부적으로 연결된 디바이스(데스크톱 컴퓨터와 같은)일 수 있다. 예를 들어, 단말기가 스마트폰인 경우, 디스플레이 스크린은 스마트폰의 디스플레이 스크린일 수 있다. 단말기 디바이스가 인증 기능을 활성화할 때, 프로젝션 정보는 단말기의 디스플레이 스크린에 의해 투영된다. 프로젝션 정보는 전자 디스플레이 스크린상에 디스플레이된 콘텐트(픽쳐들 또는 텍스트와 같은) 또는 전자 디스플레이 스크린상에 디스플레이된 파라미터 정보(디스플레이 스크린에 의해 디스플레이된 휘도 또는 컬러와 같은)일 수 있다. 일부 실시예들에서, 프로젝션 정보는 다른 디바이스(예를 들어, 제 1 이미지 및/또는 제 2 이미지를 캡처하는 디바이스와 다른 디바이스 또는 타깃 대상이 가상의 대상인지를 결정하는 디바이스와 다른 디바이스)에 의해 타깃 대상에 투영된 정보일 수 있다. 이러한 다른 디바이스는 타깃 대상이 상이한 변동들을 나타낼 수 있게 한다. 예를 들어, 광원의 각도와 카메라 각도는 상이할 수 있고, 따라서 상이한 변경들을 생성할 수 있다. 프로젝션 디바이스가 타깃 대상에 대해 왼쪽에 위치하면, 타깃 대상(예를 들어, 얼굴)의 왼쪽 측면이 타깃 대상의 오른쪽 측면과 다른 특정 특성(예를 들어, 휘도)의 변경들을 갖도록 야기할 것이다.
일부 실시예들에서, 제 1 이미지는 적어도: 제 1 프로젝션 정보를 투영할 때 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고, 제 2 이미지는 적어도: 제 2 프로젝션 정보를 투영할 때 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함한다. 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러, 프로젝션 그래픽들, 등 중 하나 이상을 포함할 수 있다.
프로젝션 정보는: 프로젝션 휘도, 프로젝션 컬러 및 프로젝션 그래픽들 중 적어도 하나를 포함할 수 있다. 제 1 프로젝션 정보는 수정 이전의 프로젝션 정보(예를 들어, 제 2 이미지의 캡처를 위해 갱신되기 전에 투영되는 프로젝션 정보)에 대응할 수 있다. 제 2 프로젝션 정보는 수정에 뒤이은 프로젝션 정보(예를 들면, 제 2 이미지의 캡처를 위해 갱신된 후에 투영된 프로젝션 정보)일 수 있다. 제 1 이미지는 프로젝션 정보가 변경(예를 들어, 갱신)되기 전에 캡처된 타깃 대상의 이미지일 수 있고, 제 1 프로젝션 정보가 투영될 때 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함할 수 있다. 제 2 이미지는 프로젝션 정보가 수정(예를 들어, 갱신)된 후에 얻어진 타깃 대상의 이미지일 수 있고, 제 2 프로젝션 정보가 투영될 때 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함할 수 있다.
다양한 실시예들에 따라, 타깃 대상이 살아있는 대상인지 또는 가상의 대상인지를 결정하는 것이 가능하다.
다양한 실시예들에 따라, 이미지 차이 데이터에 적어도 부분적으로 기초하여 타깃 대상이 가상의 대상인지를 결정하는 것은, 이미지 차이 데이터가 무효이면 타깃 대상이 가상의 대상이라고 결정하는 것을 포함한다. 무효인 이미지 차이 데이터는 제 1 이미지와 제 2 이미지의 이미지 데이터가 동일하다는 사실을 나타낸다.
다양한 실시예들에 따라, 이미지 차이 데이터가 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서의 역할을 하는 경우, 이미지 차이 데이터가 무효로 결정되면(예를 들어, 제 1 및 제 2 이미지들이 동일한 이미지 데이터를 갖고, 이미지 차이 데이터가 존재하지 않는 경우), 타깃 대상이 가상의 대상이라는 결정이 이루어질 수 있다. 차이 데이터가 무효가 아닌 것으로 결정되면(예를 들어, 제 1 및 제 2 이미지들이 완전히 동일한 데이터를 가지지 않고, 이미지 차이 데이터가 존재하는 경우), 타깃 대상이 살아있는 대상이라는 결정이 이루어질 수 있다.
다양한 실시예들에 따라, 이미지 차이 데이터에 적어도 부분적으로 기초하여 타깃 대상이 가상의 대상인지를 결정하는 것은 다음 중 하나 이상을 포함한다:
기술 1: 이미지 차이 데이터는: 제 1 얼굴 이미지를 제 2 얼굴 이미지와 비교하는 것에 기초하여 획득된 제 1 정도의 변동 및 제 1 배경 이미지를 제 2 배경 이미지와 비교하는 것에 기초하여 획득된 제 2 정도의 변동을 포함한다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 사용되고, 타깃 대상이 가상의 대상인지를 결정하는 것은: 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 제 1 정도의 변동이 전체 얼굴의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동 및 상기 제 2 정도의 변동 사이의 차이가 제 1 미리 결정된 변동 범위 내에 있다면, 타깃 대상이 가상의 대상이라고 결정하는 것을 포함한다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처함으로써 획득된 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
기술 1에서, 프로젝션 정보가 프로젝션 휘도 및/또는 투영 컬러일 때, 프로젝션 휘도는 디스플레이 스크린에 의해 디스플레이된 휘도일 수 있고; 프로젝션 컬러는 디스플레이 스크린에 의해 디스플레이된 컬러일 수 있고; 제 1 얼굴 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경되기 전에 타깃 대상의 캡처로부터 기록된 얼굴 이미지일 수 있고; 제 2 얼굴 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경된 후에 타깃 대상의 캡처로부터 기록된 얼굴 이미지일 수 있고; 제 1 배경 이미지는 상기 디스플레이 스크린의 휘도 또는 컬러가 변경되기 전에 타깃 대상이 위치된 배경의 캡처로부터 획득된 배경 이미지일 수 있고; 제 2 배경 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경된 후 타깃 대상이 위치된 배경의 캡처로부터 획득된 배경 이미지일 수 있고; 제 1 정도의 변동은 제 1 얼굴 이미지와 제 2 얼굴 이미지를 비교함으로써 획득될 수 있고; 제 2 정도의 변동은 제 1 배경 이미지와 제 2 배경 이미지를 비교함으로써 획득될 수 있다. 제 1 정도의 변동 및 제 2 정도의 변동은 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서의 역할을 하고; 제 1 정도의 변동이 전체 얼굴의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 제 1 미리 결정된 변동 범위 내에 있으면, 타깃 대상은 가상의 대상이라고 결정된다.
기술 1은 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 이미지들의 부분적인 휘도 변동을 이용한다. 디스플레이 스크린의 휘도가 변하기 때문에, 비디오 카메라에 의해 실시간으로 얻어진 픽쳐의 휘도에서 얼굴 부분 및 배경 부분의 휘도 변동의 정도는 다음과 같은 차이들을 가질 것이다: 실제 사람의 얼굴 부분의 휘도 변동은, 실제 사람의 얼굴 부분으로부터 디스플레이 스크린까지의 거리가 동일하지 않을 것이기 때문에, 더 명백하게 될 것이지만, 배경 부분의 휘도 변동은 명백하지 않을 것이다. 픽쳐들, 비디오, 소프트웨어 시뮬레이션, 및 다른 이러한 방법들에 대해, 얼굴 부분과 배경 부분의 디스플레이 스크린과의 거리들은 근본적으로 다를 것이지만, 휘도 변동의 정도는 동일할 것이다.
기술 2: 이미지 차이 데이터는: 제 1 얼굴 이미지를 제 2 얼굴 이미지와 비교하는 것에 기초하여 획득된 제 1 정도의 변동, 및 제 1 배경 이미지를 제 2 배경 이미지와 비교하는 것에 기초하여 획득된 제 2 정도의 변동을 포함한다. 제 1 얼굴 이미지 및 제 2 얼굴 이미지는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성에 대한 특성 정보를 포함한다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 사용되고, 타깃 대상이 가상의 대상인지를 결정하는 것은: 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 제 1 정도의 변동이 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 제 2 미리 결정된 변동 범위 내에 있다면, 타깃 대상이 가상의 대상이라고 결정하는 것을 포함한다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처함으로써 획득된 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
기술 2에서, 생물학적 특성들은 눈 특성들, 입 특성들, 눈썹 특성들, 귀 특성들, 코 특성들, 피부 특성들, 등을 포함할 수 있는 타깃 대상 얼굴의 고유한 생리적 특성들일 수 있다. 일부 실시예들에서, 눈 특성들은: 눈동자 특성들, 홍채 특성들 및 안구 특성들을 포함할 수 있다. 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 제 1 얼굴 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경되기 전에 타깃 대상의 캡처로부터 기록된 얼굴 이미지일 수 있다. 제 1 얼굴 이미지는 타깃 이미지 얼굴의 적어도 하나의 생물학적 특성에 대한 특성 정보를 포함한다. 제 2 얼굴 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경된 후 타깃 대상의 캡처로부터 기록된 얼굴 이미지일 수 있다. 제 2 얼굴 이미지는 타깃 이미지 얼굴의 적어도 하나의 생물학적 특성에 대한 특성 정보를 포함한다. 제 1 배경 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경되기 전에 타깃 대상이 위치된 배경의 캡처로부터 획득된 배경 이미지일 수 있다. 제 2 배경 이미지는 디스플레이 스크린의 휘도 또는 컬러가 변경된 후 타깃 대상이 위치된 배경의 캡처로부터 획득된 배경 이미지일 수 있다. 제 1 정도의 변동은 제 1 얼굴 이미지와 제 2 얼굴 이미지를 비교하는 것에 기초하여 획득될 수 있다. 제 2 정도의 변동은 제 1 배경 이미지와 제 2 배경 이미지를 비교하는 것에 기초하여 획득될 수 있다. 일부 실시예들에서, 제 1 정도의 변동 및 제 2 정도의 변동은 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서의 역할을 한다. 예를 들어, 제 1 정도의 변동이 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동 및 제 2 정도의 변동 사이의 차이가 제 2 미리 결정된 변동 범위 내에 있다면, 타깃 대상은 가상의 대상으로 결정된다.
일부 실시예들에서, 생물학적 특성들은 피부 특성들을 포함한다. 얼굴 또는 얼굴의 사진인 타깃 대상의 일 예로서, 타깃 대상이 사람의 얼굴 피부인 경우, 단말기(예를 들어, 폰(phone))의 전면 카메라에 의해 캡처된 제 2 이미지 내의 사람의 얼굴 피부는 디스플레이 스크린의 휘도가 변함에 따라 휘도가 변할 것이다. 타깃 대상이 사람의 얼굴 사진인 경우, 단말기의 전면 카메라에 의해 캡처된 제 2 이미지(예를 들어, 사람의 얼굴 사진) 내의 사람의 얼굴 피부는 휘도가 함께 변하지 않을 것이다.
일부 실시예들에서, 타깃 대상이 가상의 대상인지의 결정은 (예를 들어, 타깃 대상이 얼굴인 경우) 얼굴의 다양한 부분들의 휘도 변동의 정도에 기초한다. 디스플레이 스크린의 휘도 및/또는 컬러가 변함에 따라, 비디오 카메라에 의해 실시간으로 얻어진 픽쳐의 휘도에서 얼굴 부분과 배경 부분 사이의 휘도 및/또는 컬러의 정도에 차이가 있을 것이다. 실제 사람의 경우, 얼굴의 3D 구조로 인해, 얼굴의 고-강도 광 부분들과 저-강도 광 부분들 사이의 휘도 변동이 다를 수 있다. 픽쳐, 비디오, 소프트웨어 시뮬레이션 또는 다른 그러한 방법의 경우, 얼굴의 다양한 부분들의 휘도 변동 패턴은 평평한 구조로 인하여 실제 사람의 휘도 변동 패턴과 다를 것이다.
기술 3: 이미지 차이 데이터는: 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서 적어도 하나의 생물학적 특성에 대한 이미지 변동 값을 포함한다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 사용되고, 타깃 대상이 가상의 대상인지를 결정하는 것은: 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 임의의 2개의 생물학적 특성들의 휘도 변동 값들 및/또는 컬러 변동 값들을 획득하는 것을 포함한다. 임의의 2이상의 생물학적 특성들의 이미지 변동 값들이 제 3의 미리 결정된 변동 범위 내에 있는 경우, 타깃 대상은 가상의 대상으로 결정되고, 여기에서 타깃 대상에 투영된 프로젝션 정보가 수정되면, 이미지 차이 데이터는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성의 캡처로부터 획득된 특성 이미지를 기록함으로써 결정된다.
기술 3에서, 제 1 얼굴 이미지는 디스플레이 스크린이 휘도 또는 컬러를 변경하기 전에 타깃 대상을 기록 및 캡처함으로써 획득된 얼굴 이미지일 수 있다. 제 1 얼굴 이미지는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성(예를 들어, 눈, 입, 등)에 대한 특성 정보를 포함할 수 있다. 제 2 얼굴 이미지는 디스플레이 스크린이 휘도 또는 컬러를 수정한 후에 타깃 대상을 기록 및 캡처함으로써 획득된 얼굴 이미지일 수 있다. 제 2 얼굴 이미지는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성(예를 들어, 눈, 입, 등)에 대한 특성 정보를 포함한다. 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러를 포함하는 경우, 임의의 2개의 생물학적 특성들의 휘도 변동 값 및/또는 컬러 변동 값은 비디오 디바이스에 의해 획득될 수 있다. 임의의 2이상의 생물학적 특성들의 이미지 변동 값들이 제 3의 미리 결정된 변동 범위 내에 있는 경우, 타깃 대상은 가상의 대상으로 결정된다.
다양한 실시예들에 따라, 사람 얼굴의 적어도 하나의 생물학적 특성(예를 들어, 눈, 입, 등)의 휘도 및/또는 컬러 변동의 정도에 기초하여 타깃 대상이 가상의 대상인지가 결정된다. 디스플레이 스크린의 휘도 및/또는 컬러가 변함에 따라, 비디오 카메라에 의해 실시간으로 얻어진 눈 및 입의 휘도 및/또는 컬러는 그에 따라 변할 것이다.
기술 4: 프로젝션 정보는 투영 그래픽들을 포함한다. 생물학적 특성이 안구인 경우, 이미지 차이 데이터는 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서 생물학적 특성의 이미지 변동 값을 포함할 수 있다. 이미지 변동은 안구에 의해 반사된 이미지 콘텐츠의 변동 값을 포함할 수 있다. 이미지 콘텐츠의 변동 값이 미리 결정된 범위(예를 들어, 제 4 미리 결정된 변동 범위) 내에 있으면, 타깃 대상은 가상의 대상인 것으로 결정된다.
기술 4에서, 안구 내에(예를 들어, 안구에) 투영된 그래픽의 특성들은 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 역할을 한다. 예를 들어, 안구 내에 투영된 그래픽 형태에 기초하여(예를 들어, 안구에 투영된 그래픽의 적어도 일부의 반사를 포함하는 이미지의 캡처에 기초하여) 타깃 대상이 가상의 대상인지가 결정될 수 있다. 제 1 얼굴 이미지는 디스플레이 스크린이 제 1 그래픽을 디스플레이하는 동안 타깃 대상을 기록하고 캡처함으로써 획득된 얼굴 이미지일 수 있다. 제 1 얼굴 이미지는 타깃 대상의 안구로부터 반사된 제 1 그래픽에 대한 이미지 콘텐츠 정보를 포함한다. 디스플레이 스크린이 제 2 그래픽을 디스플레이하는 동안, 제 2 얼굴 이미지는 타깃 대상을 기록하고 캡처함으로써 획득된 얼굴 이미지일 수 있다. 제 2 얼굴 이미지는 타깃 대상 안구로부터 반사된 제 1 그래픽에 대한 이미지 콘텐츠 정보를 포함한다. 프로젝션 정보는 프로젝션 그래픽을 포함할 수 있다. 생물학적 특성이 안구인 경우(또는 이를 포함하는 경우), 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서 안구로부터 반사된 이미지 콘텐츠에서의 변동은 비디오 디바이스에 의해 획득된다. 이미지 콘텐츠가 동일하면(예를 들어, 제 1 얼굴 이미지의 이미지 콘텐츠 및 제 2 얼굴 이미지의 이미지 콘텐츠가 일치하는 경우), 타깃 대상은 실제 사람으로 결정된다. 타깃 대상들이 유사하지 않거나 이미지 콘텐츠가 동일하지 않은 경우(예를 들어, 제 1 얼굴 이미지의 이미지 콘텐츠 및 제 2 얼굴 이미지의 이미지 콘텐츠가 일치하는 경우), 타깃 대상은 가상의 대상으로 결정된다.
왁스 유사물 또는 다른 3-차원 모델은 3D 구조를 갖는 피부 및 얼굴과 같은 인간의 특성들을 가질 수 있다. 따라서, 이러한 왁스 유사물 또는 다른 3-차원 모델은 전술한 3가지 기술들(예를 들어, 기술 1, 기술 2 및 기술 3)에 기초하여 시스템에 대한 인증을 위한 악의적인 시도와 관련하여 사용될 수 있다. 실제 사람의 안구는 일반적으로 구형이며 사람의 얼굴 앞의 이미지를 반사할 것이다. 그러나 픽쳐, 비디오, 소프트웨어 시뮬레이션 또는 다른 그러한 방법은 사람의 얼굴 앞의 이미지를 반사하지 않을 것이다. 디스플레이 스크린의 휘도, 컬러 및 형태가 변하기 때문에, 실제 사람의 안구에 의해 반사되는 이미지들도 또한 변할 것이다. 따라서, 타깃 대상이 실제 사람인지의 결정은 얼굴 이미지의 안구 부분의 이미지를 검출하는 것에 기초할 수 있다.
다양한 실시예들에 따르면, 2개의 캡처된 이미지들 사이의 차이들이 인지될 수 있다(예를 들어, 검출될 수 있다). 도 5a 및 도 5b에 도시된 바와 같이, 프로젝션 정보가 변경될 수 있고, 대응하는 이미지들이 캡처될 수 있다. 도 5a에서, 더 밝은 스크린이 디스플레이 스크린으로부터 디스플레이(예를 들어, 투영)될 수 있다. 대조적으로, 도 5b에서, 더 어두운 스크린이 디스플레이 스크린으로부터 디스플레이(예를 들어, 투영)될 수 있다. 따라서, 얼굴(550)은 얼굴(500)보다 더 어두울 수 있다. 얼굴(550)의 휘도와 얼굴(500)의 휘도에서의 차이가 검출될 수 있다. 일부 실시예들에서, 정보는 타깃 대상의 적어도 일부분에 의해 반사될 수 있다. 예를 들어, 타깃 대상의 이미지는 반사되는 정보를 캡처할 수 있다. 도 5a에 도시된 바와 같이, 눈(503)은 타깃 대상에 투영되는 특정 정보를 반사할 수 있다. 반사되는 특정 정보는 투영되는 이미지의 적어도 일부와 같은 콘텐츠를 포함할 수 있다. 일부 실시예들에서, 눈으로부터 반사된 정보는 프로젝션 정보의 휘도의 광 또는 표시일 수 있다. 대조적으로, 프로젝션 정보가 더 어두운 레벨의 휘도를 갖도록 갱신되는 경우, 투영된 정보는 타깃 대상에 의해 반사되지 않을 수 있거나, 프로젝션 정보로부터 상이한 유형의 정도의 정보가 반사될 수 있다. 도 5b에 도시된 바와 같이, 눈(553)은 도 5a의 눈(503)과 동일한 반사 콘텐츠를 포함하지 않는다. 일부 실시예들에서, 휘도 변동 값은 도 5b의 얼굴(550)의 휘도 및 도 5a의 얼굴의 휘도에 기초하여 계산된다.
다양한 실시예들에 따르면, 악의적인 당사자가 인증 시스템에 대한 악의적인 또는 사기성 인증 시도와 관련하여 합법적인 사용자의 3-차원 모델(왁스 유사물과 같은)을 사용하는 것을 방지하는 것이 나타날 수 있고, 따라서 생물체 인식에 기초한 인증 시스템의 보안이 개선된다.
도 6은 본 발명의 다양한 실시예들에 따른 얼굴 인식-기반 인증 시스템을 위한 방법의 상호 작용 도면이다.
도 6을 참조하면, 얼굴 인식-기반 인증을 위한 프로세스(600)가 제공된다. 프로세스(600)는 도 1의 단말기(100), 도 2의 단말기(200), 도 3의 시스템(300), 도 9의 스마트폰(900) 및/또는 도 10의 컴퓨터 단말기(1000)에 의해 적어도 부분적으로 구현될 수 있다. 프로세스(600)는 도 4의 프로세스(400), 도 7의 프로세스(700) 및/또는 도 8의 프로세스(800)와 관련하여 구현될 수 있다.
프로세스(600)는 인증 시스템에 대한 인증 시도와 관련하여 타깃 대상(예를 들어, 사용자(602))의 인증을 포함할 수 있다. 인증 시스템은 디스플레이 디바이스(예를 들어, 스크린(606)) 및 이미지 캡처 디바이스(예컨대, 비디오 카메라(608))를 포함할 수 있다. 인증 시스템은 단말기(예를 들어, 스마트폰, 등)를 더 포함할 수 있다. 단말기는 인증 시도와 관련하여 애플리케이션(604)을 실행할 수 있다.
610에서, 인증 시도가 호출된다. 인증 시도의 호출은 (예를 들어, 사용자(602)에 의해 사용되는 또는 사용자(602)와 관련된 단말기상의) 실행중인 애플리케이션(604)을 포함할 수 있다. 예를 들면, 사용자(602)는 애플리케이션(604)을 개방 또는 실행하도록 선택할 수 있다. 일부 실시예들에서, 애플리케이션(604)은 시스템(예를 들어, 서버, 단말기, 등에 의해 호스팅되는 시스템)에 대한 사용자(602)의 인증과 관련하여 개방되거나 또는 호출될 수 있다. 인증 시도의 호출은 타깃 위치(예컨대, 사용자(602)의 얼굴) 또는 타깃 대상을 선택 또는 결정하는 것을 포함할 수 있다.
615에서, 이미지가 획득된다. 이미지는 비디오 카메라(608)와 같은 이미지 캡처 디바이스에 의해 획득될 수 있다. 이미지 캡처 디바이스는 사용자(602)에 의해 사용되는 단말기에 포함되거나 그렇지 않으면 그에 연결될 수 있다. 예를 들어, 비디오 카메라(608)는 단말기의 전면 카메라(예를 들어, 단말기의 디스플레이가 위치한 쪽과 동일한 단말기 쪽의 카메라)에 대응할 수 있다.
일 예로서, 사용자 타깃 위치의 이미지(예를 들어, 얼굴 이미지)는 비디오 카메라(608)에 의해 획득된다.
620에서, 사전-변동 이미지가 디스플레이된다. 사전-변동 이미지는 인증 시도와 관련하여 프로젝션 정보가 갱신(예를 들어, 수정)되기 전에 디스플레이되는 이미지에 대응할 수 있다. 사전-변동 이미지는 적어도 부분적으로 타깃 위치에 기초하여 디스플레이될 수 있다. 예를 들어, (예를 들어, 사용자(602)의) 타깃 위치가 획득된 후, 사전-변동 이미지는 애플리케이션(604)에 의해 디스플레이될 수 있다. 예를 들어, 애플리케이션(604)은 디스플레이 디바이스(예를 들어, 단말기의 디스플레이)가 사전-변동 이미지를 디스플레이하도록 할 수 있다. 사전-변동 이미지는 비디오 카메라(608)에 의해 캡처되어, 애플리케이션(604)에 제공될 수 있다.
625에서, 변동이 디스플레이된다. 예를 들어, 단말기는 변동(예를 들어, 프로젝션 정보를 갱신)을 결정하고, 변동을 디스플레이할 수 있다. 변동의 일 예로서, 변동의 디스플레이와 같은 완전 백색 스크린은 디스플레이 디바이스가 백색 스크린을 투영하게 한다. 일부 실시예들에서, 애플리케이션(604)은 단말기로 하여금 변동을 디스플레이하게 한다. 예를 들어, 애플리케이션(604)은 변동을 결정하거나 변동을(예를 들어, 인증 애플리케이션, 서버, 등으로부터) 수신할 수 있고, 단말기로 하여금 스크린(606) 상에 변동을 디스플레이하게 할 수 있다. 사전-변동 이미지는 타깃 위치에 적어도 부분적으로 기초하여 디스플레이될 수 있다. 예를 들어, (예를 들어, 사용자(602)의) 타깃 위치가 획득된 후에, 사전-변동 이미지는 애플리케이션(604)에 의해 디스플레이될 수 있다.
630에서, 변동은 타깃 대상(예컨대, 사용자(602))에 투영된다. 예를 들어, 스크린(606)에 의해 디스플레이되거나 스크린(606)으로부터의 디스플레이에서 변동에 의해 유발된 정보에 포함된 변동은 타깃 대상의 적어도 일부분에(예를 들어, 사용자(602)의 안구에) 투영될 수 있다.
635에서, 이미지(예를 들어, 제 2 이미지)가 획득된다. 이미지는 비디오 카메라(608)와 같은 이미지 캡처 디바이스에 의해 획득될 수 있다. 이미지 캡처 디바이스는 사용자(602)에 의해 사용되는 단말기에 포함되거나 그렇지 않으면 그에 연결될 수 있다. 예를 들어, 비디오 카메라(608)는 단말기의 전면 카메라(예를 들어, 단말기의 디스플레이가 있는 쪽과 동일한 단말기 쪽의 카메라)에 대응할 수 있다.
일부 실시예들에서, 변경(예를 들어, 프로젝션 정보에 대한 갱신)이 디스플레이 스크린의 디스플레이에 대해 이루어진(휘도의 변경, 상이한 컬러들의 디스플레이, 및 상이한 형태들의 디스플레이를 포함하지만 이에 한정되지는 않음) 후, 타깃 대상(예를 들어, 사용자 타깃 위치와 같은 타깃 위치)의 이미지는 단말기 디바이스에 연결된 이미지 캡처 디바이스(예컨대, 비디오 카메라(608))에 의해 캡처된다. 이미지 캡처 디바이스는 단말기의 전면 카메라에 대응할 수 있다.
640에서, 변동-후 이미지가 디스플레이된다. 변동-후 이미지는 인증 시도와 관련하여 프로젝션 정보가 갱신(예를 들어, 수정)된 후 디스플레이되는 이미지에 대응할 수 있다. 변동-후 이미지는 타깃 위치에 적어도 부분적으로 기초하여 디스플레이될 수 있다. 예를 들어, (예를 들어, 사용자(602)의) 타깃 위치가 획득된 후, 사전-변동 이미지는 애플리케이션(604)에 의해 디스플레이될 수 있다. 예를 들어, 애플리케이션(604)은 디스플레이 디바이스(예를 들어, 단말기의 디스플레이)가 사전-변동 이미지를 디스플레이하게 한다. 변동-후 이미지는 비디오 카메라(608)에 의해 캡처되어, 애플리케이션(604)에 제공될 수 있다.
일부 실시예들에서, 디스플레이 스크린 프로젝션 정보가 수정된 후에 획득된 사용자 타깃 위치 이미지가 출력된다.
645에서, 변동 이전에 획득된 이미지(예를 들어, 제 1 이미지) 및 변동 이후에 획득된 이미지(예를 들어, 제 2 이미지)가 비교된다. 예를 들면, 변동 전에 획득된 이미지로부터의 이미지 데이터가 변동 후에 획득된 이미지로부터의 이미지 데이터와 비교될 수 있다. 일부 실시예들에서, 피드백 정보는, 변동 이전에 획득된 이미지와 변동 후에 획득된 이미지의 비교에 기초하여 획득될 수 있다. 피드백 정보는 변동 전에 획득된 이미지와 변동 후 획득된 이미지의 비교 결과에 대응할 수 있다.
650에서, 타깃 대상이 실제 사람에 대응하는지가 결정된다. 예를 들어, 사용자(602)가 실제 사람인지가 결정된다. 일부 실시예들에서, 애플리케이션(604)은 사용자(602)가 실제 사람인지를 결정한다. 타깃 대상이 실제 사람에 대응하는지를 결정하는 것은 변동 이전에 획득된 이미지와 변동 이후에 획득된 이미지의 비교에 기초할 수 있다. 예를 들어, 타깃 대상이 실제 사람에 대응하는지를 결정하는 것은 645의 결과에 기초할 수 있다.
650에서 타깃 대상이 실제 사람에 대응하는 것으로 결정되는 경우, 프로세스(600)는 사용자를 인증하는 단계를 더 포함할 수 있다. 사용자는 하나 이상의 인증 기술들에 따라 인증될 수 있다. 예를 들어, 사용자는 사용자 식별자 및 토큰 또는 패스워드의 입력, 및 이러한 사용자 식별자 및 토큰 또는 패스워드와 사용자의 등록과 관련하여 저장된 정보와의 비교에 기초하여 인증될 수 있다. 다른 예로서, 사용자의 신원은 사용자의 픽쳐(예를 들어, 제 1 이미지, 제 2 이미지, 또는 프로세스(600)를 통해 동시에 캡처된 다른 이미지)와 사용자의 등록과 관련하여 저장된 참조 이미지의 비교에 기초하여 확인될 수 있다. 사용자의 인증에 기초하여, 사용자는 사용자의 인증과 관련된 도메인(예를 들어, 단말기, 네트워크 자원, 등) 또는 서비스(예를 들어, 사용자가 인증된 웹 서비스)에 대한 액세스를 허가받을 수 있다.
일부 실시예들에서, 디스플레이 변동 전후로부터의 이미지 데이터 비교 결과들은 사용자(602)가 실제 사람인지를 결정하기 위한 기준으로서의 역할을 한다.
다양한 실시예들에 따라, 살아있는 사람-얼굴 검출의 프로세서는 스크린 디스플레이에 대한 변경들을 포함한다. 일 예로서, 스크린 디스플레이에 대한 변경들은 휘도의 변경, 상이한 컬러들의 디스플레이, 및 상이한 형태들의 디스플레이를 포함하나, 이에 한정되는 것은 아니다. 스크린 디스플레이에 대한 변경 후에, 이미지들의 디스플레이 변동에 대한 피드백은 이미지 캡처 디바이스(예를 들어, 비디오 카메라)에 의해 획득된다. 피드백은: 실시간 이미지 휘도가 디스플레이 휘도에 따라 변하는지, 실시간 이미지 컬러가 디스플레이 컬러에 따라 변하는지, 안구들에 의해 반사된 이미지가 현재 디스플레이된 형태를 도시하는지, 등을 포함할 수 있지만, 이에 한정되지는 않는다. 디스플레이에 대한 사람의 얼굴 피드백과 디스플레이에 대한 픽쳐, 비디오 또는 컴퓨터 시뮬레이션의 피드백 사이의 차이점이 존재한다. 피드백은 타깃 대상(예를 들어, 사용자)이 실제 사람인지를 결정하고 보안성을 향상시키는데 사용될 수 있다.
다양한 실시예들은 살아있는-얼굴 검출을 개선하는 방법을 제공한다. 살아있는-얼굴 검출의 이러한 방법이 종래 기술에 따른 생물체 검출에서 일반적으로 이용되는 동작 인식 검출과 결합된다면, 살아있는-얼굴 검출의 유효성은 향상될 수 있다.
전술한 모든 방법 실시예들이 설명을 단순화하기 위해 일련의 동작들의 조합으로 제공되었음을 주목해야 한다. 그러나 당업자들은, 일부 단계들이 본 발명에 따라 다른 시퀀스를 이용할 수 있고 동시에 구현될 수 있기 때문에, 본 발명이 설명된 동작 시퀀스들에 의해 제한되지 않는다는 것을 알아야 한다. 또한, 당업자라면, 발명의 상세한 설명에 기재된 실시예들이 바람직한 실시예들이고, 거기에 포함된 동작들 및 모듈들은 본 발명에 의해 반드시 요구되는 것은 아니라는 것을 알아야 한다.
위의 구현들의 설명을 통하여, 당업자들은 실시예들에 기초한 방법들이 필요한 범용 하드웨어 플랫폼으로 소프트웨어를 통해 실현될 수 있음을 명확히 이해할 수 있다. 물론 하드웨어가 사용될 수 있지만, 많은 경우, 소프트웨어를 사용하는 것이 바람직한 구현이다. 이러한 이해에 기초하여, 본 발명의 기술들은, 본질적으로 또는 종래 기술에 기여하는 부분에 관하여, 소프트웨어 제품들의 형태로 실현 가능하다. 이들 컴퓨터 소프트웨어 제품들은 저장 매체(ROM/RAM, 자기 디스크 및 광학 디스크와 같은)에 저장될 수 있고, 단말기 장비(모바일폰, 컴퓨터, 서버 또는 네트워크 장비가 될 수 있는)의 일부가 본 발명의 실시예들의 방법들을 실행하게 하는데 사용되는 특정 수의 명령들을 포함할 수 있다.
다양한 실시예들이 얼굴 인식-기반 인증 방법을 제공한다. 도면들의 흐름도들에 도시된 단계들은 명령을 실행할 수 있는 한 그룹의 컴퓨터들과 같은 컴퓨터 시스템에서 실행될 수 있음을 주목해야 한다. 또한, 논리 시퀀스들이 흐름도들에 도시되어 있지만, 도시되거나 기술된 단계들은 일부 상황들에서 본 명세서의 순서들 이외의 순서들로 실행될 수 있다.
얼굴 인식-기반 인증 방법은 컴퓨터 디바이스, 모바일 디바이스 또는 유사한 동작 수단에서 실행될 수 있다. 예를 들어, 얼굴 인식-기반 인증 방법은 도 1의 단말기(100)에 의해 수행될 수 있다.
도 7은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도이다.
도 7을 참조하면, 얼굴 인식-기반 인증을 위한 프로세스(700)가 제공된다. 프로세스(700)는 도 1의 단말기(100), 도 2의 단말기(200), 도 3의 시스템(300), 도 9의 스마트폰(900) 및/또는 도 10의 컴퓨터 단말기(1000)에 의해 적어도 부분적으로 구현될 수 있다. 프로세스(700)는 도 4의 프로세스(400), 도 6의 프로세스(600) 및/또는 도 8의 프로세스(800)와 관련하여 구현될 수 있다.
710에서, 제 1 이미지가 획득된다. 제 1 이미지의 획득은 비디오 카메라, 등과 같은 이미지 캡처 디바이스에 의해 제 1 이미지를 캡처하는 것을 포함할 수 있다. 일부 실시예들에서, 이미지 캡처 디바이스는 스마트폰과 같은 단말기상의 전면 카메라이다. 제 1 이미지는 프로젝션 정보를 디스플레이 스크린을 통해 타깃 대상에 투영한 후의 현재 타깃 대상의 이미지에 대응할 수 있다.
디스플레이 스크린은 스마트 단말기 디바이스의 디스플레이 스크린일 수 있다. 프로젝션 정보는 디스플레이 스크린을 통해 디스플레이된 정보일 수 있다. 타깃 대상은 비디오 디바이스(예를 들어, 이미지 캡처 디바이스)를 통해 이미지 정보가 얻어지는 임의의 대상일 수 있다. 프로젝션 정보가 디스플레이를 통해 타깃 대상에 투영된 후, 타깃 대상의 현재의 캡처로부터 획득된 제 1 이미지가 얻어진다.
다양한 실시예들에 따르면, 디스플레이 스크린은 스마트폰, 태블릿 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터 또는 다른 외부 연결된 디스플레이 디바이스의 디스플레이 스크린이다.
720에서, 제 2 이미지가 획득된다. 제 2 이미지의 획득은 비디오 카메라, 등과 같은 이미지 캡처 디바이스에 의해 제 2 이미지를 캡처하는 것을 포함할 수 있다. 일부 실시예들에서, 이미지 캡처 디바이스는 스마트폰과 같은 단말기상의 전면 카메라이다. 제 2 이미지는 디스플레이 스크린에 의해 디스플레이된 프로젝션 정보가 수정(예를 들어, 갱신)된 후 획득될 수 있다. 디스플레이 스크린상에 디스플레이될 프로젝션 정보가 수정된 후에, 제 2 이미지가 캡처된다. 제 2 이미지는 프로젝션 정보가 갱신된 타깃 대상의 이미지에 대응할 수 있다.
다양한 실시예들에 따르면, 디스플레이 스크린의 프로젝션 정보(예를 들어, 컬러 또는 휘도)가 수정된 후, 타깃 대상의 제 2 이미지가 이미지 캡처 디바이스에 의해 획득되고, 제 2 이미지는 갱신된 프로젝션 정보에 기초하게 된다.
일부 실시예들에서, 이미지 캡처 디바이스는 병렬 포트 또는 USB를 통해 디스플레이 스크린에 연결된 비디오 카메라일 수 있다. 이미지 캡처 디바이스는 스마트폰, 태블릿 컴퓨터 또는 노트북 컴퓨터의 전면 카메라, 또는 데스크톱 컴퓨터에 외부적으로 연결된 비디오 카메라일 수 있다.
730에서, 이미지 차이 데이터가 획득된다. 이미지 차이 데이터는 제 1 이미지 및 제 2 이미지에 적어도 부분적으로 기초하여 획득될 수 있다. 예를 들면, 이미지 차이 데이터는 제 1 이미지와 제 2 이미지의 비교에 기초하여 획득될 수 있다. 일부 실시예들에서, 이미지 차이 데이터는 제 1 이미지에 대한 이미지 데이터와 제 2 이미지에 대한 이미지 데이터의 비교에 기초하여 획득된다. 단말기는 이미지 차이 데이터를 획득하는 것과 관련하여 제 1 이미지와 제 2 이미지를 비교할 수 있다. 이미지 차이 데이터의 결정은, 제 1 이미지 및 제 2 이미지에서 타깃 대상을 검출 및 위치 파악하는 것, 타깃 대상을 포함하는 제 1 이미지의 영역과 타깃 대상을 포함하는 제 2 이미지의 영역을 비교하는 것을 포함할 수 있고, 비교에 기초하여 차이 그래프(또는 다른 표현)를 생성할 수 있고, 제 1 이미지 및 제 2 이미지의 하나 이상의 특성들(예를 들어, 휘도, 컬러, 등) 사이의 차이를 계산할 수 있고, 차이 그래프에서 차이 영역을 검출할 수 있고, 차이 영역과 관련된 결과들을 결정할 수 있다.
제 1 이미지는 프로젝션 정보가 수정되기 전에 얻어진 타깃 대상의 이미지일 수 있다. 제 2 이미지는 프로젝션 정보가 수정된 후에 얻어진 타깃 대상의 이미지일 수 있다. 제 1 이미지와 제 2 이미지에 대한 이미지 차이 데이터는 제 1 이미지와 제 2 이미지를 비교함으로써 얻어진다.
740에서, 타깃 대상이 가상의 대상인지가 결정된다. 타깃 대상이 가상의 대상인지의 결정은 이미지 차이 데이터에 기초할 수 있다. 예를 들어, 제 1 이미지와 제 2 이미지의 비교의 결과는 타깃 대상이 가상의 대상인지를 결정하는 것과 관련하여 사용될 수 있다.
다양한 실시예들에 따르면, 이미지 차이 데이터(예를 들어, 휘도 변동 값들)가 결정된다(예를 들어, 계산된다). 이미지 차이 데이터는 제 1 이미지와 제 2 이미지의 비교에 기초하여 결정될 수 있다. 예를 들어, 제 1 이미지와 제 2 이미지 각각에 대한 이미지 데이터가 비교되어 이미지 차이 데이터를 획득한다. 따라서, 타깃 대상이 가상의 대상인지를 결정하는 것이 가능하다.
가상의 대상은 타깃 대상 또는 3-차원 모델(왁스 유사물과 같은)의 사진, 비디오, 연속적인 픽쳐들의 슬라이드들 또는 사진-기반 소프트웨어 시뮬레이션들로부터 합성되고 동작을 포함하는 이미지들일 수 있다.
다양한 실시예들에 따르면, 프로젝션 정보가 타깃 대상에 투영되는 경우에, 타깃 대상의 현재 캡처로부터 획득된 제 1 이미지가 얻어진다. 프로젝션 정보가 수정된 후에, 갱신된 프로젝션 정보가 투영될 때, 타깃 대상의 캡처로부터 획득된 제 2 이미지가 얻어진다. 제 1 이미지와 제 2 이미지가 비교되어, 이미지 차이 데이터가 얻어진다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 기준으로서의 역할을 한다.
일부 실시예들에서, 타깃 대상에 현재 투영된 콘텐츠를 수정하는(예를 들어, 프로젝션 정보를 수정하는) 것은 디스플레이 스크린상에 디스플레이된 콘텐츠 또는 디스플레이 스크린의 스크린 파라미터들을 수정하는 것, 및 타깃 대상에 수정 결과들을 투영하는 것을 포함한다. 다음에, 이미지 캡처 디바이스(예를 들면, 비디오 카메라, 단말기상의 전면 카메라, 등)는, 데이터(예를 들면, 디스플레이 스크린상에 디스플레이된 콘텐츠)가 타깃 대상에 투영하기 위해 변경되기 전후에, 타깃 대상의 제 1 이미지 및 제 2 이미지를 획득하기 위하여 사용된다. 제 1 이미지와 제 2 이미지의 이미지 차이 데이터는 현재 타깃 대상이 가상의 대상인지를 결정하는 기준으로서의 역할을 한다. 예를 들어, 제 1 이미지와 제 2 이미지 사이의 차이에 대응하는 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 것과 관련하여 사용된다. 타깃 대상에 투영된 콘텐츠를 변경하는 것은 타깃 대상을 캡처하는 프로세스 동안에 촬영된 콘텐츠를 변경할 것이다. 공격자에 의해 이용된 악의적인 또는 사기성 인증 시도(대응 동작의 비디오를 사전 기록, 연속된 픽쳐들의 슬라이드들의 표시, 컴퓨터 시뮬레이션들을 통해 합성된 머리-끄덕임 또는 흔들기 또는 눈-깜박임과 같은 동작들의 이미지들과 같은)에 사용할 수 있는 콘텐츠는 일반적으로 2-차원 이미지이다. 따라서, 2-차원 이미지에 투영된 프로젝션 정보가 수정될 때, 2-차원 이미지들 내의 임의의 2개의 영역들에 대한 변경 결과들 사이에 어떠한 차이도 존재하지 않는다. 예를 들면, 타깃 대상이 가상의 대상(예를 들면, 대응하는 동작들의 비디오의 사전 기록, 연속된 픽쳐들의 슬라이드들의 표시, 컴퓨터 시뮬레이션들을 통해 합성된 머리-끄덕임 또는 흔들기 또는 눈-깜박임과 같은 동작들의 이미지들)인 경우 캡처된 이미지들에 대응하는 이미지 차이 데이터는, 제 1 이미지와 제 2 이미지가 일치하는 것을 나타낼 것이다. 다양한 실시예들에 따르면, 타깃 대상이 가상의 대상인지를 결정하는 프로세스에서, 타깃 대상이 또한 2-차원 이미지(예를 들어, 가상의 대상)인지를 결정하기 위해 이미지 차이 데이터를 사용하는 것이 가능하다. 일부 실시예들에서, 수정된 프로젝션 정보를 동적으로 또는 주기적으로 테스트한 후에 다음을 결정하는(예를 들어, 프로젝션 정보를 수정하기 전후에 대응하는 이미지를 획득하는) 것이 가능하다: 캡처된 제 1 이미지 및 제 2 이미지 내의 상이한 영역들의 이미지 변동 결과들 사이에 차이가 존재하면, 타깃 대상이 가상의 대상이 아니라, 살아있는 실체의 대상이라고 결정한다. 예를 들어, 다양한 실시예들은 변경들을 디스플레이하기 위해 타깃 대상의 실시간 피드백에 기초한 생물체 검출을 제공하고, 따라서 살아있는 사람-얼굴 검출의 정확도를 개선하고, 인증 시스템들상의 가상의 대상에 의한 인증을 위한 악의적이거나 사기적인 시도들을 감소시킨다.
다양한 실시예들은, 악의적인 사용자들이 인식을 구현하기 위해 라이브 액션들을 이용하는 것에 의해 합법적인 사용자들의 시뮬레이션된 동작들을 사용하는, 비디오 또는 이미지 공격에 취약한 기존의 라이브 인식-기반 인증 시스템을 개선한다.
상술한 모든 방법 실시예들이 설명을 단순화하기 위해 일련의 동작들의 조합으로 제시되었음을 주목해야 한다. 그러나 당업자들은, 일부 단계들이 다른 시퀀스를 이용할 수 있고, 본 발명에 따라 동시에 구현될 수 있기 때문에, 본 발명이 설명된 동작 시퀀스들에 의해 제한되지 않는다는 것을 알아야 한다. 또한, 당업자들은, 발명의 상세한 설명에 기재된 실시예들이 바람직한 실시예들이고, 거기에 포함된 동작들 및 모듈들이 본 발명에 의해 반드시 요구되는 것은 아니라는 것을 알아야 한다.
위의 구현들의 설명들을 통하여, 당업자들은 실시예들에 기초한 방법들이 필요한 범용 하드웨어 플랫폼으로 소프트웨어를 통해 구현될 수 있음을 명확히 이해할 수 있다. 물론 하드웨어가 또한 사용될 수 있지만, 많은 경우 소프트웨어를 사용하는 것이 바람직하다. 이러한 이해에 기초하여, 본질적으로 또는 종래 기술에 기여하는 부분과 관련하여, 본 발명의 기술 방안은 소프트웨어 제품의 형태로 실현 가능하다. 이들 컴퓨터 소프트웨어 제품들은 저장 매체(ROM/RAM, 자기 디스크 및 광학 디스크와 같은)에 저장될 수 있고, 단말기 장비(모바일폰, 컴퓨터, 서버 또는 네트워크 장비가 될 수 있는)의 일부가 본 발명의 실시예들의 방법들을 실행하게 하는데 사용되는 특정 수의 명령들을 포함할 수 있다.
다양한 실시예들은 얼굴 인식-기반 인증 방법을 제공한다. 도면들의 흐름도들에 도시된 단계들이 명령들을 실행할 수 있는 한 그룹의 컴퓨터와 같은 컴퓨터 시스템에서 실행될 수 있음을 주목해야 한다. 또한, 논리 시퀀스들이 흐름도들에 도시되었지만, 도시되거나 기술된 단계들은 일부 상황들에서 본 명세서의 것들 이외의 순서들로 실행될 수 있다.
얼굴 인식-기반 인증 방법은 모바일 디바이스, 컴퓨터 디바이스 또는 유사한 동작 수단에서 실행될 수 있다. 예를 들어, 얼굴 인식-기반 인증 방법은 도 1의 단말기(100)에 의해 수행될 수 있다.
도 8은 본 출원의 다양한 실시예들에 따른 얼굴 인식-기반 인증 방법의 흐름도이다.
도 8을 참조하면, 얼굴 인식-기반 인증을 위한 프로세스(800)가 제공된다. 프로세스(800)는 도 1의 단말기(100), 도 2의 단말기(200), 도 3의 시스템(300), 도 9의 스마트폰(900), 및/또는 도 10의 컴퓨터 단말기(1000)에 의해 적어도 부분적으로 구현될 수 있다. 프로세스(800)는 도 4의 프로세스(400), 도 6의 프로세스(600) 및/또는 도 7의 프로세스(700)와 관련하여 구현될 수 있다.
810에서, 제 1 이미지가 획득된다. 제 1 이미지의 획득은 비디오 카메라, 등과 같은 이미지 캡처 디바이스에 의해 제 1 이미지를 캡처하는 것을 포함할 수 있다. 일부 실시예들에서, 이미지 캡처 디바이스는 스마트폰과 같은 단말기상의 전면 카메라이다. 제 1 이미지는 현재 타깃 대상의 제 1 이미지에 대응할 수 있다. 제 1 이미지는 모바일 디바이스로 캡처될 수 있다.
모바일 디바이스는 스마트폰, 태블릿 컴퓨터, 노트북 컴퓨터 또는 비디오 카메라를 갖는 다른 스마트 디바이스일 수 있다. 타깃 대상은 이미지 캡처 디바이스(예를 들어, 비디오 카메라)를 통해 이미지 정보가 획득되는 임의의 대상일 수 있다. 타깃 대상의 현재 이미지는 모바일 디바이스의 비디오 카메라에 의해 획득될 수 있고, 제 1 이미지로서 작용할 수 있다.
일부 실시예들에서, 단말기는 스마트폰이다.
820에서, 갱신된 프로젝션 정보가 획득된다. 프로젝션 정보는 제 1 이미지가 획득된 후에 갱신될 수 있다. 프로젝션 정보는 단말기에 의해 디스플레이되는 콘텐츠를 변경하거나 단말기에 의해 콘텐츠가 디스플레이되는 방식을 변경하도록(예를 들어, 콘텐츠의 컬러 변경, 디스플레이의 휘도 변경, 등) 갱신될 수 있다. 단말기(예컨대, 모바일 디바이스)의 디스플레이 스크린에 의해 디스플레이된 디스플레이 콘텐츠를 수정한 후에, 모바일 디바이스에 의해 타깃 대상에 투영될 프로젝션 정보가 얻어진다.
일부 실시예들에서, 디스플레이 스크린은 특정 전자 정보 콘텐츠를 스크린상에 디스플레이할 수 있는 모바일 디바이스의 입/출력 디바이스인 모바일 디바이스의 디스플레이에 대응하고, 그러한 정보를 인간의 눈에 반사시키는 디스플레이 도구이다. 프로젝션 정보는 디스플레이 스크린상에 디스플레이된 콘텐츠일 수 있다. 프로젝션 정보는 디스플레이 스크린상에 디스플레이된 콘텐츠를 갱신함으로써 갱신될 수 있다. 디스플레이 스크린은 프로젝션 정보를 실시간으로 투영할 수 있다.
예를 들어, 단말기(예를 들어, 모바일 디바이스)가 스마트폰인 경우, 디스플레이 스크린의 디스플레이 콘텐츠의 수정은 폰 스크린의 휘도, 폰 스크린의 컬러, 폰 스크린상의 그래픽의 형태, 또는 텍스트 및 픽쳐들을 포함한 폰 스크린의 특정 콘텐츠의 변경일 수 있다. 전술한 수정들 중 어느 하나에 의해, 타깃 대상에 투영된 프로젝션 정보가 변경될 수 있다.
타깃 대상은 사람(예를 들어, 단말기의 사용자)의 얼굴일 수 있다.
830에서, 제 2 이미지가 획득된다. 제 2 이미지의 획득은 비디오 카메라, 등과 같은 이미지 캡처 디바이스에 의해 제 2 이미지를 캡처하는 것을 포함할 수 있다. 일부 실시예들에서, 이미지 캡처 디바이스는 스마트폰과 같은 단말기상의 전면 카메라이다. 제 2 이미지는 디스플레이 스크린에 의해 디스플레이된 프로젝션 정보가 수정(예를 들어, 갱신)된 후에 획득될 수 있다.
모바일 디바이스의 디스플레이 스크린에 의해 디스플레이된 디스플레이 콘텐츠가 수정되고 모바일 기기에 의해 타깃 대상에 투영될 프로젝션 정보가 획득된 후에, 프로젝션 정보는 타깃 대상에 투영되고, 제 2 이미지로서 역할을 할 타깃 대상의 이미지는 모바일 디바이스의 비디오 카메라(예를 들어, 전면 카메라, 등)에 의해 획득된다.
840에서, 제 1 이미지 및 제 2 이미지의 상이한 영역들에서 이미지 변동 결과들이 획득된다. 일부 실시예들에서, 단말기는 이미지 변동 결과들을 획득한다. 이미지 변동 결과들의 획득은 제 1 이미지 및 제 2 이미지의 상이한 영역들에서 이미지 변동 결과들을 추출하는 것을 포함할 수 있다. 예를 들어, 제 1 이미지의 영역 및 제 2 이미지의 영역이 추출될 수 있다. 추출된 제 1 이미지의 영역 및 제 2 이미지의 영역은 대응하는 대상 또는 타깃 대상의 일부(예를 들어, 사용자의 안구)를 포함하는 제 1 이미지 및 제 2 이미지의 영역들에 대응할 수 있다. 제 1 이미지와 제 2 이미지 사이의 차이에 대응하는 이미지 차이 데이터가 획득될 수 있다. 예를 들면, 이미지 차이 데이터는 제 1 이미지와 제 2 이미지의 비교에 기초하여 획득될 수 있다. 일부 실시예들에서, 제 1 이미지에 대한 이미지 데이터와 제 2 이미지에 대한 이미지 데이터가 비교되고, 이러한 비교의 결과에 기초하여, 이미지 차이 데이터가 획득된다. 일부 실시예들에서, 이미지 차이 데이터는 추출되는 제 1 이미지의 영역과 제 2 이미지의 영역의 비교에 기초하여 결정된다. 예로서, 이미지 차이는 휘도 변경과 같은 이미지 변동 결과들에 따라 결정될 수 있다. 이미지 변동 결과들에서 휘도 변경이 임계값보다 큰 경우, 휘도가 변경된 것으로 결정될 수 있다. 휘도 이미지 변동 결과들에 기초하여 휘도가 변경된 것으로 결정될 수 있다.
제 1 이미지는 프로젝션 정보가 수정되기 전에 얻어진 타깃 대상의 이미지일 수 있다. 제 2 이미지는 프로젝션 정보가 수정된 후에 얻어진 타깃 대상의 이미지일 수 있다. 이미지 캡처 디바이스(예를 들어, 비디오 디바이스)가 타깃 대상의 제 1 이미지 및 제 2 이미지를 획득한 후에, 프로세서는 이미지 차이 데이터를 얻기 위해 제 1 이미지 및 제 2 이미지에 포함된 이미지 데이터를 비교할 수 있다.
850에서, 타깃 대상이 가상의 대상인지가 결정된다. 타깃 대상이 가상의 대상인지의 결정은 이미지 차이 데이터에 기초할 수 있다. 예를 들어, 제 1 이미지와 제 2 이미지의 비교의 결과는 타깃 대상이 가상의 대상인지를 결정하는 것과 관련하여 사용될 수 있다.
일부 실시예들에서, 프로젝션 수정되기 전후의 타깃 대상의 제 1 이미지와 제 2 이미지를 비교함으로써 이미지 차이 데이터가 획득된 후에, 이미지 차이 데이터는 타깃 대상이 가상의 대상 또는 실제 대상(예를 들어, 사용자와 같은 실제 대상)인지를 결정하기 위한 기준으로서의 역할을 한다. 이미지 차이 데이터가 무효인 경우, 프로젝션 정보가 수정되기 전후에, 타깃 대상의 제 1 이미지와 제 2 이미지가 동일한 것으로 간주되고, 대응 타깃 대상은 가상의 대상이라고 결정된다. 이미지 차이 데이터가 무효가 아닌 경우, 프로젝션 정보가 수정되기 전후에, 타깃 대상의 제 1 이미지 및 제 2 이미지가 동일하지 않은 것으로 간주되고, 대응하는 타깃 대상은 실제 대상이라고 결정된다.
타깃 대상이 인간의 눈인 예로서, 디스플레이 스크린의 디스플레이 콘텐츠에서 변경들에 대한 인간의 눈의 피드백과 디스플레이 스크린의 디스플레이 콘텐츠에서 변경들에 대한 픽쳐들, 비디오 또는 시뮬레이션 소프트웨어의 피드백 사이에는 큰 차이가 존재한다(예를 들어, 타깃 대상이 사람의 눈이라면, 실제 눈으로부터의 피드백은 시뮬레이션된 눈으로부터의 피드백과 다르다). 따라서, 타깃 대상에 대한 피드백 데이터는 현재 타깃 대상이 진정한 사람의 얼굴인지 또는 가상의 사람의 얼굴(예를 들어, 사람 얼굴의 사진 또는 비디오가 포함)을 포함하는 시뮬레이션된 대상인지를 결정하기 위한 기초로 사용될 수 있다.
다양한 실시예들에 따라, 모바일 디바이스의 디스플레이 스크린에 의해 디스플레이된 디스플레이 콘텐츠는 수정되어 타깃 대상에 투영된다. 모바일 디바이스의 이미지 캡처 디바이스(예를 들면, 비디오 디바이스)는 디스플레이 스크린이 변경되기 전후의 타깃 대상의 제 1 이미지 및 제 2 이미지를 얻기 위하여 사용되고, 제 1 이미지와 제 2 이미지는 비교 분석을 거친다. 제 1 이미지와 제 2 이미지의 차이 데이터는 현재 타깃 대상이 가상의 대상인지를 결정하는 기준으로서의 역할을 한다. 타깃 대상에 투영된 콘텐츠의 변경은 타깃 대상을 캡처하는 프로세스 동안에 획득된 콘텐츠를 변경할 것이다. 공격자에 의해 사용된 악의적인 또는 사기성 인증 시도에 사용할 수 있는 콘텐츠(대응 동작들의 비디오의 사전 기록, 연속된 픽쳐들의 슬라이드들의 표시, 컴퓨터 시뮬레이션들을 통해 합성된 머리-끄덕임 또는 흔들기 또는 눈-깜박임과 같은 동작들의 이미지들과 같은)는 일반적으로 2-차원 이미지이다. 따라서, 2-차원 이미지에 투영된 프로젝션 정보가 수정될 때, 2-차원 이미지들 내의 임의의 2개의 영역들에 대한 변동 결과들 사이에 어떠한 차이도 없을 것이다. 예를 들면, 타깃 대상이 가상의 대상(예를 들면, 대응 동작들의 비디오의 사전 기록, 연속된 픽쳐들의 슬라이드들의 표시, 컴퓨터 시뮬레이션들을 통해 합성된 머리-끄덕임 또는 흔들기 또는 눈-깜박임과 같은 동작들의 이미지들)인 경우 캡처된 이미지들에 대응하는 이미지 차이 데이터는 제 1 이미지와 제 2 이미지가 일치하는 것을 나타낼 것이다. 다양한 실시예들에 따라, 타깃 대상이 가상의 대상인지를 결정하는 프로세스에서, 타깃 대상이 또한 2-차원 이미지(예를 들어, 가상의 대상)인지를 결정하기 위해 이미지 차이 데이터를 사용하는 것이 가능하다. 일부 실시예들에서, 수정된 프로젝션 정보를 동적으로 또는 주기적으로 테스트(예를 들어, 프로젝션 정보를 수정하기 전후에 대응하는 이미지를 획득하는)한 후에 다음을 결정할 수 있다: 캡처된 제 1 이미지 및 제 2 이미지에서 상이한 영역들의 이미지 변동 결과들 사이에 차이가 존재하면, 타깃 대상이 가상의 대상이 아니라 살아있는 실체의 대상이라고 결정하는 것. 예를 들어, 다양한 실시예들은 변경들을 디스플레이하기 위해 타깃 대상의 실시간 피드백에 기초한 생물체 검출 및 신원 인증을 제공하고, 따라서 살아있는 사람-얼굴 검출 정확도를 향상시키고, 인증 시스템들상의 가상의 대상들에 의한 인증을 위한 악의적인 또는 사기성 시도를 감소시킨다.
다양한 실시예들은, 악의적인 사용자들이 인식을 구현하기 위해 라이브 액션들을 이용하는 것에 의해 합법적인 사용자의 시뮬레이션된 동작들을 사용하는, 비디오 또는 이미지 공격들에 취약한 기존의 라이브 인식-기반 인증 시스템을 개선한다.
다양한 실시예들에 따르면, 모바일 디바이스로서의 폰(phone) 및 타깃 대상으로서의 사람의 얼굴의 예를 다시 고려하면, 폰 디스플레이 스크린에 의해 디스플레이된 콘텐츠(텍스트 또는 픽쳐들과 같은)가 수정되어 대응하는 프로젝션 정보를 얻고, 이러한 정보는 얼굴에 투영된다. 이후, 사람의 안구는 폰 디스플레이 스크린에 의해 현재 디스플레이된 콘텐츠를 반사한다. 따라서, 사람의 안구에 의해 반사된 정보는 폰 디스플레이 스크린에 의해 디스플레이된 콘텐츠가 변경되기 전후에 동일하지 않을 것이다. 따라서, 폰이 콘텐츠를 변경하기 전후에 폰의 비디오 카메라에 의해 촬영된 얼굴의 제 1 이미지와 제 2 이미지는 상이할 것이다. 타깃 대상이 얼굴의 사진이거나 다른 2-차원 또는 3-차원 모델인 경우, 폰이 콘텐츠를 변경하기 전후에 폰의 비디오 카메라에 의해 촬영된 얼굴의 제 1 이미지와 제 2 이미지는 동일할 것이다. 따라서, 다양한 실시예들은 생물체 인식-기반 인증 시스템의 보안성을 향상시킨다.
다양한 실시예들에 따르면, 얼굴 인식-기반 인증 방법을 구현하기 위해 스마트폰 또는 태블릿과 같은 단말기가 제공된다.
도 9는 본 발명의 다양한 실시예들에 따른 단말기의 도면이다.
도 9에서, 얼굴 인식-기반 인증을 위한 단말기(900)가 제공된다. 단말기(900)는 도 1의 단말기(100), 도 2의 단말기(200), 도 3의 시스템(300), 및/또는 도 10의 컴퓨터 단말기(1000)와 관련하여 구현될 수 있다. 단말기(900)는 도 4의 프로세스(400), 도 6의 프로세스(600), 도 7의 프로세스(700) 및/또는 도 8의 프로세스(800)를 적어도 부분적으로 구현할 수 있다.
도 9에 도시된 바와 같이, 단말기(900)(예를 들어, 스마트폰(900))는: 디스플레이 스크린(910), 이미지 캡처 디바이스(920)(예를 들어, 비디오 카메라) 및 프로세서(930)를 포함한다.
디스플레이 스크린(910)은 프로젝션 정보를 투영(예를 들어, 디스플레이)하도록 구성된다. 프로젝션 정보는 디스플레이 스크린에 의해 디스플레이되는 콘텐츠를 포함하고, 프로젝션 정보는 디스플레이 스크린의 디스플레이 콘텐츠를 갱신함으로써 갱신된다. 이미지 캡처 디바이스(920)(예를 들어, 비디오 카메라)는, 프로젝션 정보가 디스플레이 스크린에 의해 타깃 대상에 투영된 후에 현재 타깃 대상의 제 1 이미지를 캡처하도록 구성되고, 프로젝션 정보가 수정된 후에, 프로젝션이 갱신된 타깃 대상의 제 2 이미지를 캡처하도록 구성된다. 프로세서(930)는, 제 1 이미지에 대한 이미지 데이터, 제 2 이미지에 대한 이미지 데이터, 제 1 이미지 및 제 2 이미지의 상이한 영역들로부터의 이미지 변동 결과들을 획득하여 제 1 이미지 및 제 2 이미지를 비교하고, 제 1 이미지와 제 2 이미지의 상이한 영역들 사이의 이미지 차이 데이터(예를 들어, 상이한 영역들의 이미지 변동 결과)를 획득하고, 이미지 차이 데이터를 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 사용하도록 구성된다.
일부 실시예들에서, 상술한 도 9에 도시된 스마트폰은, 터치 디스플레이 디바이스("터치 스크린" 또는 "터치 디스플레이 스크린"으로도 불림)를 구비한다. 일부 실시예들에서, 상술한 도 9에 도시된 스마트폰은 그래픽 사용자 인터페이스(GUI)를 갖는다. 사용자는 터치-감응 표면을 터치하는 손가락 접촉 및/또는 제스처에 의해 GUI와 인간-기계 상호 작용을 관계시킬 수 있다. 인간-기계 상호 작용 기능은 본 명세서에서 선택적으로 다음의 상호작용들: 웹 페이지 생성, 그리기, 텍스트 처리, 전자 문서 제작, 게임, 화상 회의, 인스턴트 메시징, 전자 메일 송/수신, 인터페이스 호출, 디지털 비디오 재생, 디지털 오디오 재생 및/또는 인터넷 브라우징, 등을 포함할 수 있다. 상술한 인간-기계 상호 작용 기능들을 실행하기 위한 실행가능 명령들은 하나 이상의 프로세서들에 의해 실행 가능한 컴퓨터 프로그램 제품 또는 판독가능 저장 매체 내에 구성/저장된다.
특히, 상술한 실시예에서, 디스플레이 스크린은 특정 전자 정보 콘텐츠를 스크린상에 디스플레이할 수 있는 스마트폰의 디스플레이 스크린일 수 있고, 그러한 정보를 사람의 눈에 반사하기 위한 디스플레이 도구이다. 이미지 캡처 디바이스 또는 비디오 카메라는 스마트폰 비디오 카메라일 수 있다. 이미지들이 렌즈를 통해 캡처된 후, 비디오 디바이스에 통합된 광-감지 구성요소 회로 및 제어 구성요소가 이미지를 처리하여 단말기 디바이스가 인식할 수 있는 디지털 신호로 변환한다. 이후, 디지털 신호들은 무선(예를 들어, 블루투스, WiFi, 적외선, 등) 연결 또는 유선(예를 들어, 병렬 포트, USB, 마이크로 USB, 파이어 와이어, 등) 연결을 통해 단말기 디바이스에 입력된 후, 이미지는 소프트웨어에 의해 복원된다. 프로세서는 이미지 처리 기능을 갖는 스마트폰의 CPU일 수 있다. 프로젝션 정보는 디스플레이 스크린상에 디스플레이된 콘텐츠(픽쳐들, 텍스트 또는 형태들일 수 있음)일 수 있다. 타깃 대상은 비디오 카메라를 통해 이미지 정보를 얻을 필요가 있는 임의의 대상이 될 수 있다. 선택적인 실시예에서, 타깃 대상은 사람의 얼굴일 수 있고, 가상의 대상은 타깃 대상의 2-차원 이미지 또는 3-차원 모델일 수 있다.
일부 실시예들에서, 가상의 대상은 타깃 대상 또는 3-차원 모델(왁스 유사물과 같은)의 사진, 비디오, 연속적인 픽쳐들의 슬라이드들 또는 사진-기반 소프트웨어 시뮬레이션으로부터 합성되고 동작들을 포함하는 이미지들을 포함한다.
인간의 눈인 타깃 대상을 일례로 고려하면, 디스플레이 스크린의 디스플레이 콘텐츠에서 변경들에 대한 인간의 눈의 피드백과 디스플레이 스크린의 디스플레이 콘텐츠에서 변경들에 대한 픽쳐들, 비디오 또는 시뮬레이션 소프트웨어의 피드백 사이에 매우 큰 차이가 존재한다. 피드백은 디스플레이 스크린으로부터 디스플레이된 콘텐츠의 타깃 대상으로부터의 반사로부터 유도된 정보에 대응할 수 있다. 따라서, 타깃 대상에 대한 피드백 데이터는 현재 타깃이 진정한 사람의 얼굴인지 또는 가상의 사람의 얼굴(예를 들어, 사람의 얼굴의 사진 또는 비디오를 포함)을 포함하는지 평가하기 위한 기준으로서 사용될 수 있다.
다양한 실시예들에 따르면, 프로젝션 정보가 (예를 들어, 단말기의 디스플레이로부터의 프로젝션 정보의 디스플레이를 통해) 타깃 대상에 투영될 때, 타깃 대상의 현재 캡처로부터 획득된 제 1 이미지가 얻어진다. 프로젝션 정보가 수정된 후에, 갱신된 프로젝션 정보가 투영될 때, 타깃 대상의 캡처로부터 획득된 제 2 이미지가 얻어진다. 제 1 이미지와 제 2 이미지가 비교되고, 이미지 차이 데이터가 획득된다. 예를 들어, 이미지 차이 데이터는 제 1 이미지와 제 2 이미지 사이의 차이에 대응할 수 있다. 이미지 차이는 제 2 이미지가 제 1 이미지와 다른 정도의 측정치가 될 수 있다. 일부 실시예들에서, 이미지 차이 데이터는 제 2 이미지가 단말기에 의해 디스플레이된 프로젝션 정보에 대한 수정에 대응하는 갱신된 콘텐츠를 포함하는지를 표시하거나, 또는 이미지 차이 데이터는 제 2 이미지가 단말기에 의해 디스플레이된 프로젝션 정보에 대한 수정에 대응하는 갱신된 콘텐츠를 포함하는지의 표시가 도출되는 정보를 포함한다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서의 역할을 한다.
일부 실시예들에서, 타깃 대상에 현재 투영된 콘텐츠를 수정하는(예를 들어, 프로젝션 정보를 수정하는) 것은 디스플레이 스크린상에 디스플레이된 콘텐츠 또는 디스플레이 스크린의 스크린 파라미터를 수정하고, 수정 결과를 타깃 대상에 투영하는 것을 포함한다. 이후, 이미지 캡처 디바이스(예를 들면, 비디오 카메라, 단말기상의 전면 카메라, 등)는, 데이터(예를 들면, 디스플레이 스크린상에 디스플레이되는 콘텐츠)가 타깃 대상에 투영되기 위해 변경되기 전후에 타깃 대상의 제 1 이미지 및 제 2 이미지를 획득하기 위하여 사용된다. 제 1 이미지와 제 2 이미지의 이미지 차이 데이터는 현재 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서의 역할을 한다. 예를 들어, 제 1 이미지와 제 2 이미지 사이의 차이에 대응하는 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 것과 관련하여 사용된다. 타깃 대상에 투영된 콘텐츠를 변경하는 것은 타깃 대상을 캡처하는 프로세스 동안에 촬영된 콘텐츠를 변경할 것이다. 공격자에 의해 이용된 악의적인 또는 사기성 인증 시도에서 사용할 수 있는 콘텐츠(대응 동작들의 비디오의 사전 기록, 연속된 픽쳐들의 슬라이드들의 표시, 컴퓨터 시뮬레이션들을 통해 합성된 머리-끄덕임 또는 흔들기 또는 눈-깜박임과 같은 동작들의 이미지들과 같은)는 일반적으로 2-차원 이미지들이다. 따라서, 2-차원 이미지에 투영된 프로젝션 정보가 수정될 때, 2-차원 이미지들 내의 임의의 2개의 영역들에 대한 변경 결과들 사이에 어떠한 차이도 존재하지 않을 것이다. 예를 들면, 타깃 대상이 가상의 대상(예를 들면, 대응 동작들의 비디오의 사전 기록, 연속된 픽쳐들의 슬라이드들의 표시, 컴퓨터 시뮬레이션들을 통해 합성된 머리-끄덕임 또는 흔들기 또는 눈-깜박임과 같은 동작들의 이미지들)인 경우, 캡처된 이미지들에 대응하는 이미지 차이 데이터는 제 1 이미지와 제 2 이미지가 일치하는 것을 나타낼 것이다. 다양한 실시예들에 따라, 타깃 대상이 가상의 대상인지를 결정하는 프로세스에서, 타깃 대상이 또한 2-차원 이미지(즉, 가상의 대상)인지를 결정하기 위해 이미지 차이 데이터를 사용하는 것이 가능하다. 일부 실시예들에서, 수정된 프로젝션 정보를 동적으로 또는 주기적으로 테스트한(예를 들어, 프로젝션 정보를 변경하기 전후에 대응하는 이미지를 획득하는) 후, 다음을 결정할 수 있다: 캡처된 제 1 이미지 및 제 2 이미지 내의 상이한 영역들의 이미지 변동 결과들 사이에 차이가 존재하면, 타깃 대상이 가상의 대상이 아니라 살아있는 실체의 대상이라고 결정한다. 예를 들어, 다양한 실시예들은 변경들을 디스플레이하기 위해 타깃 대상의 실시간 피드백에 기초한 생물체 검출을 제공하고, 따라서 살아있는 사람-얼굴 검출의 정확성을 향상시키고, 인증 시스템들상의 가상의 대상들에 의한 악의적이거나 사기적인 인증에 대한 시도를 감소시킨다.
다양한 실시예들은, 악의적인 사용자들이 인식을 구현하기 위해 라이브 액션들을 이용하는 것에 의해 합법적인 사용자들의 시뮬레이션된 동작들을 사용하는, 비디오 또는 이미지 공격들에 취약한 기존의 라이브 인식-기반 인증 시스템을 개선한다.
일부 실시예들에서, 단말기(900)가 인증 기능을 활성화할 때, 단말기(900)는 프로세서(930)를 활성화하여 타깃 대상이 가상의 대상인지를 결정할 수 있다.
일부 실시예들에서, 제 1 이미지는 적어도: 제 1 프로젝션 정보를 투영할 때, 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고; 제 2 이미지는 적어도: 제 2 프로젝션 정보를 투영할 때, 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함한다. 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러, 및 프로젝션 그래픽들 또는 텍스트 중 적어도 하나를 포함한다.
일부 실시예들에서, 프로세서(930)는 이미지 차이 데이터가 무효이면 타깃 대상이 가상의 대상이라고 결정하도록 구성된다. 무효인 이미지 차이 데이터는 제 1 이미지와 제 2 이미지의 이미지 데이터가 동일하다는 사실을 나타낼 수 있다.
일부 실시예들에서, 이미지 차이 데이터는: 제 1 얼굴 이미지를 제 2 얼굴 이미지와 비교하는 것으로부터 제 1 정도의 변동, 및 제 1 배경 이미지를 제 2 배경 이미지와 비교하는 것으로부터 제 2 정도의 변동을 포함한다. 프로세서(930)는 또한, 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 제 1 정도의 변동이 전체 얼굴의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 제 1 미리 결정된 변동 범위 내에 있다면, 타깃 대상이 가상의 대상이라고 결정하도록 구성될 수 있다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처하여 획득된 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
다양한 실시예들은 타깃 대상이 가상의 대상인지를 결정하기 위한 기준으로서 이미지들의 부분적인 휘도 변동을 사용한다. 디스플레이 스크린의 휘도가 변하기 때문에, 비디오 카메라에 의해 실시간으로 얻어진 픽쳐의 휘도에서 얼굴 부분과 배경 부분의 휘도 변동의 정도는 다음의 차이들을 가질 것이다: 실제 사람의 얼굴 부분의 휘도 변동은, 디스플레이 스크린으로부터 실제 사람의 얼굴 부분의 거리가 동일하지 않기 때문에, 더욱 명백해질 것이지만, 배경 부분의 휘도 변동은 쉽게 명백하지 않을 것이다. 타깃 대상이 픽쳐들, 비디오, 소프트웨어 시뮬레이션 및 다른 방법들에 대응하는 경우, 디스플레이 스크린으로부터 얼굴 부분과 배경 부분의 거리는 근본적으로 상이할 것이지만, 휘도 변동의 정도는 동일할 것이다.
일부 실시예들에서, 이미지 차이 데이터는: 제 1 얼굴 이미지를 제 2 얼굴 이미지와 비교하는 것으로부터 제 1 정도의 변동 및 제 1 배경 이미지를 제 2 배경 이미지와 비교하는 것으로부터 제 2 정도의 변동을 포함한다. 제 1 얼굴 이미지 및 제 2 얼굴 이미지가 타깃 대상 얼굴의 적어도 하나의 생물학적 특성에 대한 특성 정보를 포함하고, 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 프로세서(930)는, 제 1 정도의 변동이 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동와 제 2 정도의 변동 사이의 차이가 제 2 미리 결정된 변동 범위 내에 속한다면, 타깃 대상이 가상의 대상이라고 결정할 수 있다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처하여 얻은 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
다양한 실시예들은, 얼굴의 다양한 부분들의 휘도 변동의 정도에 기초하여 타깃 대상이 가상의 대상인지를 결정한다. 디스플레이 스크린의 휘도 및/또는 컬러가 변함에 따라, 비디오 카메라에 의해 실시간으로 얻어진 픽쳐들의 휘도에서 얼굴 부분과 배경 부분 사이의 휘도 및/또는 컬러의 정도의 차이가 존재한다. 실제 사람의 경우, 얼굴의 3D 구조로 인해 얼굴의 높은-강도의 광 부분들과 낮은-강도의 광 부분들 사이의 휘도 변동은 상이할 것이다. 픽쳐, 비디오, 소프트웨어 시뮬레이션 또는 다른 방법의 경우, 얼굴의 다양한 부분들의 휘도 변동 패턴은 그 평평한 구조로 인하여 실제 사람의 휘도 변동 패턴과 상이할 것이다.
일부 실시예들에서, 이미지 차이 데이터는: 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서 적어도 하나의 생물학적 특성에 대한 이미지 변동 값이 존재하고, 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러인 경우, 프로세서(930)는 임의의 2개의 생물학적 특성들의 휘도 변동 값들 및/또는 컬러 변동 값들을 획득하도록 구성된다. 임의의 둘 이상의 생물학적 특성들의 이미지 변동 값들이 제 3의 미리 결정된 변동 범위 내에 있는 경우, 타깃 대상은 가상의 대상으로 결정된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 이미지 차이 데이터는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성을 캡처하는 것으로부터 획득된 특성 이미지를 기록함으로써 결정된다.
일부 실시예들에서, 프로젝션 정보는: 프로젝션 그래픽을 포함한다. 생물학적 특성이 안구인 경우, 이미지 차이 데이터는 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서 생물학적 특성의 이미지 변동 값이고, 이러한 변동 값은 안구에 의해 반사된 이미지 콘텐츠의 변동 값이다. 프로세서(930)는, 이미지 콘텐츠의 변동 값이 미리 결정된 변동 범위(예를 들어, 제 4 미리 결정된 변동 범위) 내에 있는 경우 타깃 대상이 가상의 대상이라고 결정하도록 또한 구성될 수 있다.
일부 실시예들에서, 사람 얼굴의 예를 타깃 대상으로서 고려하면, 스마트폰 디스플레이 스크린에 의해 디스플레이된 콘텐츠(텍스트 또는 픽쳐와 같은)는 수정되어 얼굴에 투영되는 대응하는 프로젝션 정보를 얻을 수 있다. 그러면, 사람의 안구가 폰의 디스플레이 스크린에 의해 현재 표시된 콘텐츠를 반사할 것이다. 따라서, 스마트폰 디스플레이 스크린에 의해 디스플레이된 콘텐츠가 변경되기 전후에, 사람의 안구에 의해 반사된 정보는 동일하지 않을 것이다. 따라서 폰이 콘텐츠를 변경하기 전후에 스마트폰의 비디오 카메라에 의해 촬영된 얼굴의 제 1 이미지와 제 2 이미지는 상이할 것이다. 타깃 대상이 얼굴 사진이거나 다른 2-차원 또는 3-차원 모델인 경우, 폰이 콘텐츠를 변경하기 전후에 스마트폰의 비디오 카메라에 의해 촬영된 얼굴의 제 1 및 제 2 이미지들은 일반적으로 동일할 것이다. 다양한 실시예들은 생물체 인식-기반 인증 시스템의 보안성을 향상시킨다.
다양한 실시예들은 컴퓨터 단말기를 제공한다. 이 컴퓨터 단말기는 컴퓨터 단말기들의 클러스터 내의 임의의 컴퓨터 단말기 디바이스일 수 있다. 컴퓨터 단말기는 또한 모바일 단말기과 같은 단말기 디바이스로 대체될 수 있다.
일부 실시예들에서, 컴퓨터는 컴퓨터 네트워크의 다수의 네트워크 디바이스들 중 임의의 하나의 네트워크 디바이스상에 위치한다.
다양한 실시예들에 따르면, 컴퓨터 단말기는, 애플리케이션의 취약성 검출 방법의 다음 단계들에 대한 프로그램 코드를 실행할 수 있다: 프로젝션 정보가 타깃 대상에 투영될 때, 타깃 대상의 현재의 캡처로부터 획득된 제 1 이미지가 얻어진다. 프로젝션 정보가 수정된 후에, 프로젝션 정보가 프로젝션 갱신을 수행할 때 타깃 대상의 캡처로부터 획득된 제 2 이미지가 얻어진다. 제 1 이미지와 제 2 이미지가 비교되고, 이미지 차이 데이터가 얻어진다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 기준으로서의 역할을 한다.
도 10은 본 출원의 다양한 실시예들에 따른 컴퓨터 단말기의 구조 블록도이다.
도 10을 참조하면, 얼굴 인식-기반 인증을 위한 단말기(1000)가 제공된다. 단말기(1000)는 도 1의 단말기(100), 도 2의 단말기(200), 도 3의 시스템(300) 및/또는 도 9의 스마트폰(900)과 관련하여 구현될 수 있다. 단말기(1000)는 적어도 부분적으로, 도 4의 프로세스(400), 도 6의 프로세스(600), 도 7의 프로세스(700) 및/또는 도 8의 프로세스(800)를 구현할 수 있다.
도 10에 도시된 바와 같이, 컴퓨터 단말기(1000)는 하나 이상의 프로세서(1010)(예를 들어, 프로세서(1010a), 프로세서(1010b) 및/또는 프로세서(1010n)), 메모리(1020) 및 통신 모듈(예를 들어, 송신 디바이스)(1030)을 포함한다.
메모리(1020)는 소프트웨어 프로그램들 및 모듈들, 예를 들어 보안 취약성 검출 방법에 대응하는 프로그램 명령/모듈들을 저장하는데 사용될 수 있다. 메모리에 저장된 소프트웨어 프로그램들 및 모듈들을 실행함으로써, 프로세서(1010)는 다양한 기능의 애플리케이션들을 실행하고 데이터 처리(예를 들어, 프로세서(1010))는 공격에 대한 시스템 취약성을 검출하는 방법을 구현한다. 메모리(1020)는 고속 랜덤 액세스 메모리를 포함할 수 있다. 메모리(1020)는 하나 이상의 자기 저장 디바이스들, 플래시 메모리 또는 다른 비-휘발성 고체-상태 메모리와 같은 비-휘발성 메모리를 더 포함할 수 있다. 일부 실시예들에서, 메모리(1020)는 프로세서에 대해 원격으로 배치된 메모리를 포함한다. 이러한 원격 메모리는 네트워크를 통해 단말기(1000)에 연결될 수 있다. 네트워크의 예들은 인터넷, 회사 인트라넷, 근거리 네트워크들, 모바일 통신 네트워크들, 및 이들의 조합을 포함하지만, 이들로 한정되는 것은 아니다.
프로세서(1010)는 메모리(1020)에 의해 저장된 정보 및 애플리케이션들을 호출하여, 이하의 단계들을 실행할 수 있다: 프로젝션 정보가 타깃 대상에 투영될 때, 타깃 대상의 현재 캡처로부터 획득된 제 1 이미지가 얻어진다. 프로젝션 정보가 수정된 후, 프로젝션 정보가 프로젝션 갱신을 수행할 때 타깃 대상의 캡처로부터 획득된 제 2 이미지가 얻어진다. 제 1 이미지와 제 2 이미지가 비교되어, 이미지 차이 데이터다 얻어진다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 기준으로서의 역할을 한다. 프로세서(1010)는 입력/출력 인터페이스 또는 송신 디바이스(1030)를 사용하여 메모리(1020)에 의해 저장된 정보 및 애플리케이션들을 호출할 수 있다.
프로세서(1010)는 또한 이하의 단계들에 대한 프로그램 코드를 실행할 수 있다: 단말기 디바이스가 인증 기능을 활성화할 때, 프로젝션 정보는 단말기 디바이스의 디스플레이 스크린에 의해 투영되고, 여기에서 프로젝션 정보는 디스플레이 스크린에 의해 디스플레이되는 콘텐츠이고, 프로젝션 정보는 디스플레이 스크린의 디스플레이 콘텐츠를 갱신함으로써 갱신된다.
일부 실시예들에서, 제 1 이미지는 적어도: 제 1 프로젝션 정보를 투영할 때, 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고; 제 2 이미지는 적어도: 제 2 프로젝션 정보를 투영할 때 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함한다. 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러 및 프로젝션 그래픽들 중 적어도 하나를 포함할 수 있다.
일부 실시예들에서, 프로세서(1010)는 아래의 단계들에 대한 프로그램 코드를 실행한다: 이미지 차이 데이터가 무효이면, 타깃 대상이 가상의 대상인 것을 결정한다. 무효인 이미지 차이 데이터는 제 1 이미지와 제 2 이미지의 이미지 데이터가 동일하다는 사실을 나타낸다.
일부 실시예들에서, 프로세서(1010)는 아래의 단계들에 대한 프로그램 코드를 실행한다: 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러일 때, 제 1 정도의 변동이 전체 얼굴의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 제 1 미리 결정된 변동 범위 내에 있으면, 타깃 대상은 가상의 대상으로 결정된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처하는 것에 의해 획득된 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
일부 실시예들에서 프로세서(1010)는 아래의 단계들에 대한 프로그램 코드를 실행한다: 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러일 때, 제 1 정도의 변동이 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 임계 범위(예를 들어, 제 2 미리 결정된 변동 범위) 내에 있다면, 타깃 대상은 가상의 대상인 것으로 결정된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처하는 것에 의해 획득된 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
일부 실시예들에서 프로세서(1010)는 아래의 단계들에 대한 프로그램 코드를 실행한다: 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러일 때, 임의의 2개의 생물학적 특성들의 휘도 변동 값들 및/또는 컬러 변동 값들을 획득한다. 임의의 둘 이상의 생물학적 특성들의 이미지 변동 값들이 제 3의 미리 결정된 변동 범위 내에 있는 경우, 타깃 대상이 가상의 대상이라는 결정이 이루어진다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 이미지 차이 데이터는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성을 캡처하는 것으로부터 획득된 특성 이미지를 기록함으로써 결정된다.
일부 실시예들에서, 프로세서(1010)는 이하의 단계들을 위한 프로그램 코드를 실행한다: 프로젝션 정보는 프로젝션 그래픽들을 포함한다. 생물학적 특성이 안구일 때, 이미지 차이 데이터는 제 1 얼굴 이미지 및 제 2 얼굴 이미지 내의 생물학적 특성들의 이미지 변동 값이고, 이는 안구에 의해 반사된 이미지 콘텐츠의 변동 값이다. 이미지 콘텐츠의 변동 값이 제 4 미리 결정된 변동 범위 내에 있으면, 타깃 대상이 가상의 대상이라는 결정이 이루어진다.
도 10에 도시된 구조는 단지 예시적인 것이다. 컴퓨터 단말기는 스마트폰(안드로이드 폰 또는 iOS 폰과 같은), 태블릿 컴퓨터, 팜톱 컴퓨터, 모바일 인터넷 디바이스(MID), PAD 또는 다른 그러한 디바이스일 수 있다. 도 10은 전자 디바이스들의 구조들을 제한하지 않는다. 예를 들어, 컴퓨터 단말기(1000)는 도 10에 도시된 것보다 더 많거나 적은 구성요소들(네트워크 인터페이스들, 디스플레이 디바이스들, 등)을 더 포함할 수 있거나, 도 10에 도시된 구성과 다른 구성을 가질 수 있다.
당업자는, 전술한 실시예들의 다양한 방법들에서의 단계들의 전부 또는 일부가, 프로그램을 통해 단말기 디바이스-관련 하드웨어에 지시함으로써 수행될 수 있다는 것을 이해할 수 있다. 이러한 프로그램들은 컴퓨터-판독가능 저장 매체에 저장될 수 있다. 저장 매체는 플래시 디스크, 판독-전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크, 광학 디스크, 등을 포함할 수 있다.
다양한 실시예들은 저장 매체를 제공한다. 일부 실시예들에서, 저장 매체는 얼굴 인식-기반 인증 방법에 의해 실행되는 프로그램 코드를 저장하는데 사용된다.
저장 매체는 컴퓨터 네트워크 내의 컴퓨터 단말기 그룹의 임의의 컴퓨터 단말기에 위치할 수 있거나, 모바일 단말기 그룹의 임의의 모바일 단말기에 위치할 수 있다.
일부 실시예들에서, 저장 매체는 다음의 단계들을 실행하기 위한 프로그램 코드를 저장하도록 구성된다: 프로젝션 정보가 타깃 대상에 투영될 때, 타깃 대상의 현재 캡처로부터 획득된 제 1 이미지가 얻어진다. 프로젝션 정보가 수정된 후, 프로젝션 정보가 프로젝션 갱신을 수행할 때 타깃 대상을 캡처하는 것으로부터 획득된 제 2 이미지가 얻어진다. 제 1 이미지와 제 2 이미지가 비교되고, 이미지 차이 데이터가 얻어진다. 이미지 차이 데이터는 타깃 대상이 가상의 대상인지를 결정하는 기준으로서의 역할을 한다.
일부 실시예들에서, 저장 매체는 다음의 단계들을 실행하기 위한 프로그램 코드를 저장하도록 구성된다: 단말기 디바이스가 인증 기능을 활성화할 때, 프로젝션 정보는 단말기 디바이스의 디스플레이 스크린에 의해 투영된다. 프로젝션 정보는 디스플레이 스크린에 의해 표시되는 콘텐츠일 수 있고, 프로젝션 정보는 디스플레이 스크린의 디스플레이 콘텐츠를 갱신함으로써 갱신될 수 있다.
일부 실시예들에서, 제 1 이미지는 적어도: 제 1 프로젝션 정보를 투영할 때, 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고; 제 2 이미지는 적어도: 제 2 프로젝션 정보를 투영할 때 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함한다. 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러 및 프로젝션 그래픽들 중 하나 이상을 포함할 수 있다.
일부 실시예들에서, 저장 매체는 다음의 단계들을 실행하기 위한 프로그램 코드를 저장하도록 구성된다: 이미지 차이 데이터가 무효이면, 타깃 대상이 가상의 대상인 것을 결정한다. 무효인 이미지 차이 데이터는 제 1 이미지와 제 2 이미지의 이미지 데이터가 동일하다는 사실을 나타낼 수 있다.
일부 실시예들에서, 저장 매체는 다음의 단계들을 실행하기 위한 프로그램 코드를 저장하도록 구성된다: 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러일 때, 제 1 정도의 변동이 전체 얼굴의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동과 제 2 정도의 변동 사이의 차이가 제 1 미리 결정된 변동 범위 내에 있다면, 타깃 대상은 가상의 대상인 것으로 결정된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처하여 획득된 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
일부 실시예들에서, 저장 매체는 다음의 단계들을 실행하기 위한 프로그램 코드를 저장하도록 구성된다: 프로젝션 정보가 프로젝션 휘도 및/또는 프로젝션 컬러일 때, 제 1 정도의 변동이 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동 값 및/또는 컬러 변동 값이고, 제 1 정도의 변동 및 제 2 정도의 변동 사이의 차이가 제 2 미리 결정된 변동 범위 내에 있다면, 타깃 대상은 가상의 대상인 것으로 결정된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 제 1 정도의 변동은 타깃 대상을 캡처하는 것에 의해 획득된 얼굴 이미지를 기록함으로써 결정되고, 제 2 정도의 변동은 타깃 대상이 위치된 배경 이미지를 캡처함으로써 결정된다.
일부 실시예들에서, 저장 매체는 다음의 단계들을 실행하기 위한 프로그램 코드를 저장하도록 구성된다: 프로젝션 정보가 프로젝션 휘도 및/또는 투영 컬러일 때, 임의의 2개의 생물학적 특성들의 휘도 변동 값들 및/또는 컬러 변동 값들을 얻는다. 임의의 2 이상의 생물학적 특성들의 이미지 변동 값들이 임계 범위(예를 들어, 제 3 미리 결정된 변동 범위) 내에 있다면, 타깃 대상은 가상의 대상으로 결정된다. 타깃 대상에 투영된 프로젝션 정보가 수정되면, 이미지 차이 데이터는 타깃 대상 얼굴의 적어도 하나의 생물학적 특성을 캡처하는 것으로부터 획득된 특성 이미지를 기록함으로써 결정된다.
일부 실시예들에서, 저장 매체는 다음의 단계들을 실행하기 위한 프로그램 코드를 저장하도록 구성된다: 프로젝션 정보는 프로젝션 그래픽들을 포함한다. 생물학적 특성이 안구일 때, 이미지 차이 데이터는 제 1 얼굴 이미지 및 제 2 얼굴 이미지에서의 생물학적 특성의 이미지 변동 값이고, 이는 안구에 의해 반사된 이미지 콘텐츠의 변동 값이다. 이미지 콘텐츠의 변동 값이 임계 범위(예를 들어, 제 4 미리 결정된 변동 범위) 내에 있으면, 타깃 대상은 가상의 대상으로 결정된다.
본 발명의 실시예들에서, 각각의 실시예의 설명은 그에 대한 각각의 강조 부분을 가지며, 실시예들의 부분들은 상세히 설명되지 않았다. 하나의 실시예는 관련된 설명들을 위한 다른 실시예들을 참조할 수 있다.
본 출원에 의해 제공되는 수개의 실시예들에서, 개시된 기술 콘텐츠는 다른 방식들로 실현될 수 있음을 이해해야 한다. 상술한 디바이스 실시예들은 단지 예시적인 것이다. 예를 들어, 상기 유닛들로의 분할은 논리적인 기능에 의한 분할일 뿐이다. 실제로 구현될 때 다른 형태의 분할이 있을 수 있다. 예를 들어, 다수의 유닛들 또는 구성요소들은 결합되거나 다른 시스템에 통합될 수 있고, 일부 특징들은 생략되거나 실행되지 않을 수 있다. 또한, 디스플레이되거나 논의되는 개재 결합들 또는 직접 결합들 또는 통신 연결들은 일부 인터페이스들, 유닛들 또는 모듈들을 통과하는 간접 결합들 또는 통신 링크들일 수 있다. 그들은 전기적일 수도 있고, 다른 형태를 취할 수도 있다.
별도의 구성요소들로서 기술된 유닛들은 물리적으로 분리될 수 있거나 그렇지 않을 수 있고, 유닛들로서 디스플레이된 구성요소들은 물리적 유닛들일 수 있거나 그렇지 않을 수 있다. 그들은 한 곳에서 위치할 수 있거나, 다수의 네트워크 유닛들에 걸쳐 분산될 수도 있다. 본 실시예들의 실시예 구성들은 실제 요구에 따라 유닛들의 일부 또는 전부를 선택함으로써 구현될 수 있다.
또한, 본 발명의 다양한 실시예들에서 기능 유닛들은 하나의 처리 유닛으로 통합될 수 있거나, 또는 각각의 유닛이 독립적인 물리적 실체를 가질 수 있거나, 둘 이상의 유닛들은 단일 유닛으로 통합될 수 있다. 통합 유닛들은 또한 하드웨어의 형태를 취할 수 있으며, 이들은 소프트웨어 기능 유닛들의 형태를 취할 수 있다.
상기 통합 유닛들이 소프트웨어 기능 유닛들의 형태로 구현되고 개별 제품으로 판매되거나 사용되는 경우, 이들은 컴퓨터 판독-가능저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본질적으로 또는 선행 기술에 기여하는 부분과 관련하여 또는 기술적 구성의 전부 또는 일부에 관한 다양한 실시예들의 기술적 구성은 소프트웨어 제품들의 형태로 구현될 수 있다. 이러한 컴퓨터 소프트웨어 제품들은 저장 매체(예를 들어, ROM/RAM, 자기 디스크 및 광학 디스크)에 저장될 수 있고, 단말기 장비(모바일폰, 컴퓨터, 서버 또는 네트워크 장비가 될 수 있는)의 일부가 본 발명의 실시예들에서 설명된 방법들을 실행하게 하기 위하여 사용되는 특정 수의 명령들을 포함할 수 있다. 상술된 저장 매체는: USB 플래시 드라이브, 모바일 하드 드라이브, 판독-전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 휴대용 하드 드라이브, 자기 디스크 또는 광학 디스크, 또는 프로그램 코드를 저장할 수 있는 다양한 다른 매체를 포함한다.
위의 설명은 다양한 실시예들을 구현하는 특정 수단일 뿐이다. 당업자들이 본 발명의 원리들을 벗어나지 않고 다수의 개선들 및 개조들을 생성할 수 있으며, 이러한 개선들 및 개조들은 또한 본 발명의 보호 범주 내에 속하는 것으로 간주되어야 함을 주목해야 한다.
상술한 실시예들이 이해의 명확성을 위해 일부 상세히 설명되었지만, 본 발명은 제공된 세부 사항들에 제한되지 않는다. 발명을 구현하는 많은 대안들이 존재한다. 개시된 실시예들은 예시적인 것이며 제한적인 것이 아니다.
Claims (27)
- 디바이스에 있어서,
프로젝션 정보에 따라 타깃 대상(target object)에 프로젝션을 행하도록 구성된 디스플레이 스크린으로서, 상기 프로젝션 정보는 상기 디스플레이 스크린에 의해 디스플레이 되는 디스플레이 콘텐츠의 갱신에 적어도 부분적으로 기초하여 제 1 프로젝션 정보에서 제 2 프로젝션 정보로 갱신되는, 상기 디스플레이 스크린; 및
하나 이상의 프로세서로서,
상기 타깃 대상의 제 1 이미지를 획득하고, 상기 제 1 이미지는 디스플레이 콘텐츠가 갱신되기 전의 제 1 프로젝션 정보의 제 1 표시에 대응하고;
상기 타깃 대상의 제 2 이미지를 획득하고, 상기 제 2 이미지는 디스플레이 콘텐츠가 갱신된 후의 제 2 프로젝션 정보의 제 2 표시에 대응하고;
상기 타깃 대상에 관한 인증을, 디스플레이 콘텐츠의 갱신의 적어도 부분적 결과인 제 1 프로젝션 정보로부터 제 2 프로젝션 정보로의 프로젝션 정보에 대한 갱신에 대응하는 갱신된 콘텐츠를 제 2 이미지가 포함하는지 여부의 결정에 적어도 부분적으로 기초하여 수행하도록 구성되는,
상기 하나 이상의 프로세서를 포함하고,
상기 프로젝션 정보에 대한 갱신은, 제 1 프로젝션 정보에 포함되지 않거나, 제 1 프로젝션 정보와 상이한 텍스트 또는 하나 이상의 형태의 디스플레이를 포함하고,
상기 갱신된 콘텐츠를 제 2 이미지가 포함하는지 여부의 결정은, 제 2 이미지가 상기 텍스트 또는 상기 하나 이상의 형태를 포함하는지의 결정에 적어도 부분적으로 기초하는, 디바이스. - 제 1 항에 있어서, 상기 갱신된 콘텐츠는 상기 갱신이 제 1 이미지 및 제 2 이미지에 적어도 부분적으로 기초한 이미지 차이 데이터를 획득하는 것에 적어도 부분적으로 기초하여 얻어지고, 상기 하나 이상의 프로세서는 또한, 상기 제 1 이미지와 상기 제 2 이미지의 비교에 적어도 부분적으로 기초하여 상기 이미지 차이 데이터를 획득하도록 구성되는, 디바이스.
- 제 2 항에 있어서, 상기 하나 이상의 프로세서는 또한 상기 제 1 이미지에 대응하는 이미지 데이터 및 상기 제 2 이미지에 대응하는 이미지 데이터를 획득하고, 상기 제 1 이미지에 대응하는 이미지 데이터와 상기 제 2 이미지에 대응하는 이미지 데이터를 비교하도록 구성되는, 디바이스.
- 제 3 항에 있어서, 상기 이미지 차이 데이터는 상기 제 1 이미지에 대응하는 이미지 데이터와 상기 제 2 이미지에 대응하는 이미지 데이터의 비교 결과에 대응하는, 디바이스.
- 제 1 항에 있어서, 상기 하나 이상의 프로세서는 또한, 상기 타깃 대상이 가상의 대상인지를 결정하고, 상기 타깃 대상과 관련된 사용자의 인증이 성공적인지를 결정하도록 구성되는, 디바이스.
- 시스템에 있어서,
프로젝션 정보에 따라 타깃 대상에 프로젝션을 행하도록 구성된 디스플레이 디바이스로서, 상기 프로젝션 정보는 상기 디스플레이 디바이스에 의해 디스플레이 되는 디스플레이 콘텐츠의 갱신에 적어도 부분적으로 기초하여 제 1 프로젝션 정보에서 제 2 프로젝션 정보로 갱신되는, 상기 디스플레이 디바이스; 및
컴퓨터 단말기로서,
상기 타깃 대상의 제 1 이미지를 획득하고, 상기 제 1 이미지는 디스플레이 콘텐츠가 갱신되기 전의 제 1 프로젝션 정보의 제 1 표시에 대응하고;
상기 타깃 대상의 제 2 이미지를 획득하고, 상기 제 2 이미지는 디스플레이 콘텐츠가 갱신된 후의 제 2 프로젝션 정보의 제 2 표시에 대응하고;
상기 타깃 대상에 관한 인증을, 디스플레이 콘텐츠의 갱신의 적어도 부분적 결과인 제 1 프로젝션 정보로부터 제 2 프로젝션 정보로의 프로젝션 정보에 대한 갱신에 대응하는 갱신된 콘텐츠를 제 2 이미지가 포함하는지 여부의 결정에 적어도 부분적으로 기초하여 수행하도록 구성되는,
상기 컴퓨터 단말기를 포함하고,
상기 프로젝션 정보에 대한 갱신은, 제 1 프로젝션 정보에 포함되지 않거나, 제 1 프로젝션 정보와 상이한 텍스트 또는 하나 이상의 형태의 디스플레이를 포함하고,
상기 갱신된 콘텐츠를 제 2 이미지가 포함하는지 여부의 결정은, 제 2 이미지가 상기 텍스트 또는 상기 하나 이상의 형태를 포함하는지의 결정에 적어도 부분적으로 기초하는, 시스템. - 타깃 대상의 제 1 이미지를 획득하는 단계;
디스플레이 디바이스에 의해 디스플레이와 관련된 프로젝션 정보를 갱신하는 단계로서, 상기 프로젝션 정보는 디스플레이 디바이스에 의해 디스플레이되는 디스플레이 콘텐츠의 갱신에 적어도 부분적으로 기초하여 제 1 프로젝션 정보로부터 제 2 프로젝션 정보로 갱신되는, 상기 갱신하는 단계;
상기 타깃 대상의 제 2 이미지를 획득하는 단계로서, 상기 제 2 이미지는 상기 프로젝션 정보가 갱신된 후 상기 타깃 대상의 이미지이고, 상기 제 1 이미지는 상기 프로젝션 정보가 갱신되기 전 제 1 프로젝션 정보의 제 1 표시에 대응하고, 상기 제 2 이미지는 상기 프로젝션 정보가 갱신된 후 제 2 프로젝션 정보의 제 2 표시에 대응하는, 상기 제 2 이미지를 획득하는 단계; 및
상기 타깃 대상에 관한 인증을, 프로젝션 정보의 갱신의 적어도 부분적 결과인 제 1 프로젝션 정보에서 제 2 프로젝션 정보로의 프로젝션 정보에 대한 갱신에 대응하는 갱신된 콘텐츠를 제 2 이미지가 포함하는지 여부의 결정에 적어도 부분적으로 기초하여 수행하는 단계를 포함하고,
상기 프로젝션 정보에 대한 갱신은, 제 1 프로젝션 정보에 포함되지 않거나, 제 1 프로젝션 정보와 상이한 텍스트 또는 하나 이상의 형태의 디스플레이를 포함하고,
상기 갱신된 콘텐츠를 제 2 이미지가 포함하는지 여부의 결정은, 제 2 이미지가 상기 텍스트 또는 상기 하나 이상의 형태를 포함하는지의 결정에 적어도 부분적으로 기초하는, 방법. - 제 7 항에 있어서, 상기 갱신된 콘텐츠는 상기 갱신이 제 1 이미지 및 제 2 이미지에 적어도 부분적으로 기초한 이미지 차 데이터를 얻는 것에 적어도 부분적으로 기초하여 얻어지고, 상기 이미지 차이 데이터를 획득하는 단계는, 상기 제 1 이미지 및 상기 제 2 이미지에 적어도 부분적으로 기초하여 상기 이미지 차이 데이터를 결정하는 단계를 포함하는, 방법.
- 제 8 항에 있어서, 상기 제 1 이미지에 대응하는 이미지 데이터 및 상기 제 2 이미지에 대응하는 이미지 데이터를 획득하는 단계를 더 포함하는, 방법.
- 제 9 항에 있어서, 상기 이미지 차이 데이터를 획득하는 단계는, 상기 제 1 이미지에 대응하는 이미지 데이터와 상기 제 2 이미지에 대응하는 이미지 데이터를 비교하는 단계를 포함하는, 방법.
- 제 10 항에 있어서, 상기 이미지 차이 데이터는 상기 제 1 이미지에 대응하는 이미지 데이터와 상기 제 2 이미지에 대응하는 이미지 데이터의 비교 결과에 대응하는, 방법.
- 제 7 항에 있어서, 상기 타깃 대상은 상기 제 1 이미지와 상기 제 2 이미지가 일치하는 결정에 응답하여 가상의 대상인 것으로 결정되는, 방법.
- 제 7 항에 있어서, 상기 타깃 대상은 상기 제 1 이미지와 상기 제 2 이미지가 일치하지 않는 결정에 응답하여 실제 대상인 것으로 결정되는, 방법.
- 제 7 항에 있어서, 상기 인증을 수행하는 단계는, 상기 타깃 대상이 가상의 대상인 것으로 결정되는지에 적어도 부분적으로 기초하여 사용자를 인증하는 단계를 포함하는, 방법.
- 제 7 항에 있어서, 상기 프로젝션 정보는 상기 디스플레이 디바이스의 디스플레이 스크린에 의해 투영되고, 상기 프로젝션 정보는 상기 디스플레이 스크린에 의해 디스플레이된 콘텐츠를 포함하고, 상기 프로젝션 정보는 상기 디스플레이 스크린의 상기 디스플레이 콘텐츠의 갱신에 적어도 부분적으로 기초하여 갱신되는, 방법.
- 제 7 항에 있어서,
상기 제 1 이미지는 제 1 프로젝션 정보가 투영될 때 캡처된 상기 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고;
상기 제 2 이미지는 제 2 프로젝션 정보가 투영될 때 캡처된 상기 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함하고;
상기 프로젝션 정보는 프로젝션 컬러 및 프로젝션 그래픽들 중 하나 이상을 포함하는, 방법. - 제 7 항에 있어서, 상기 인증을 수행하는 단계는, 상기 타깃 대상이 가상 타깃 대상인지 여부를 결정하는 것에 적어도 부분적으로 기초하여 사용자를 인증하는 단계; 및 상기 제 1 이미지와 상기 제 2 이미지 사이의 차이에 대응하는 이미지 차이 데이터에 적어도 부분적으로 기초하여 타깃 대상이 가상의 대상인지를 결정하는 단계를 포함하고,
상기 방법은, 상기 이미지 차이 데이터가 무효(null)인 결정에 응답하여, 타깃 대상이 가상의 대상이라고 결정하는 단계를 포함하고, 무효인 상기 이미지 차이 데이터는 상기 제 1 이미지의 이미지 데이터와 상기 제 2 이미지의 이미지 데이터가 동일한 것임을 나타내는, 방법. - 제 17 항에 있어서,
상기 제 1 이미지는 제 1 프로젝션 정보가 프로젝트될 때 캡쳐된 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고,
상기 제 2 이미지는 제 2 프로젝션 정보가 프로젝트될 때 캡쳐된 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함하고,
상기 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러, 및 프로젝션 그래픽들 중 하나 이상을 포함하고,
상기 이미지 차이 데이터는, 상기 제 1 얼굴 이미지를 상기 제 2 얼굴 이미지와 비교하는 것에 적어도 부분적으로 기초하는 제 1 정도의 변동, 및 상기 제 1 배경 이미지를 상기 제 2 배경 이미지와 비교하는 것에 적어도 부분적으로 기초하는 제 2 정도의 변동을 포함하고,
상기 이미지 차이 데이터에 적어도 부분적으로 기초하여 상기 타깃 대상이 상기 가상의 대상인지를 결정하는 단계는:
상기 프로젝션 정보가 상기 프로젝션 휘도 및 상기 프로젝션 컬러 중 하나 이상에 대응하는 것을 결정하는 단계;
상기 제 1 정도의 변동과 상기 제 2 정도의 변동 사이의 차이가 미리 결정된 범위 내에 있다는 것을 결정하는 단계로서, 상기 제 1 정도의 변동은 상기 제 1 얼굴 이미지 및 상기 제 2 얼굴 이미지에서 얼굴의 휘도 변동 값 및 컬러 변동 값 중 하나 이상에 대응하는, 상기 차이가 미리 결정된 범위 내에 있다는 것을 결정하는 단계; 및
상기 프로젝션 정보가 상기 프로젝션 휘도 및 상기 프로젝션 컬러 중 하나 이상에 대응하는 결정에 응답하고, 상기 제 1 정도의 변동과 상기 제 2 정도의 변동 사이의 상기 차이가 상기 미리 결정된 범위 내에 있는 결정에 응답하여, 상기 타깃 대상이 상기 가상의 대상인 것을 결정하는 단계를 포함하는, 방법. - 제 18 항에 있어서, 상기 타깃 대상에 투영된 상기 프로젝션 정보가 수정된 결정에 응답하여, 상기 타깃 대상을 캡처하여 획득된 얼굴 이미지를 기록함으로써 상기 제 1 정도의 변동을 결정하고, 상기 타깃 대상과 관련된 배경 이미지를 캡처하는 것에 적어도 부분적으로 기초하여 상기 제 2 정도의 변동을 결정하는, 방법.
- 제 17 항에 있어서,
상기 제 1 이미지는 제 1 프로젝션 정보가 프로젝트될 때 캡쳐된 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고,
상기 제 2 이미지는 제 2 프로젝션 정보가 프로젝트될 때 캡쳐된 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함하고,
상기 프로젝션 정보는 프로젝션 휘도, 프로젝션 컬러, 및 프로젝션 그래픽들 중 하나 이상을 포함하고,
상기 이미지 차이 데이터는, 상기 제 1 얼굴 이미지를 상기 제 2 얼굴 이미지와 비교하는 것에 적어도 부분적으로 기초하는 제 1 정도의 변동, 및 상기 제 1 배경 이미지를 상기 제 2 배경 이미지와 비교하는 것에 적어도 부분적으로 기초하는 제 2 정도의 변동을 포함하고;
상기 제 1 얼굴 이미지 및 상기 제 2 얼굴 이미지는 상기 타깃 대상의 얼굴의 적어도 하나의 생물학적 특성에 대한 특성 정보를 포함하고;
상기 이미지 차이 데이터에 적어도 부분적으로 기초하여 상기 타깃 대상이 상기 가상의 대상인지를 결정하는 단계는:
상기 프로젝션 정보가 상기 프로젝션 휘도 및 상기 프로젝션 컬러 중 하나 이상에 대응하는 것을 결정하는 단계;
상기 제 1 정도의 변동과 상기 제 2 정도의 변동 사이의 차이가 임계 범위 내에 있다는 것을 결정하는 단계로서, 상기 제 1 정도의 변동은 상기 제 1 얼굴 이미지 및 상기 제 2 얼굴 이미지에서 얼굴의 임의의 하나 이상의 생물학적 특성들의 휘도 변동 값 및 컬러 변동 값 중 하나 이상에 대응하는, 상기 차이가 임계 범위 내에 있다는 것을 결정하는 단계; 및
상기 타깃 대상이 상기 가상의 대상인 것을 결정하는 단계로서, 상기 제 1 정도의 변동이 상기 제 1 얼굴 이미지 및 상기 제 2 얼굴 이미지에서 상기 얼굴의 임의의 하나 이상의 생물학적 특성들의 상기 휘도 변동 값 및 상기 컬러 변동 값 중 하나 이상에 대응하고, 상기 제 1 정도의 변동과 상기 제 2 정도의 변동 사이의 차이가 상기 임계 범위 내에 있는 경우, 상기 타깃 대상이 상기 가상의 대상인 것을 결정하는 단계를 포함하는, 방법. - 제 20 항에 있어서, 상기 타깃 대상에 투영된 프로젝션 정보가 수정된 데에 응답하여, 상기 타깃 대상을 캡처하여 획득된 얼굴 이미지를 기록함으로써 상기 제 1 정도의 변동을 결정하고, 상기 타깃 대상과 관련된 배경 이미지를 캡처하는 것에 적어도 부분적으로 기초하여 상기 제 2 정도의 변동을 결정하는, 방법.
- 제 17 항에 있어서,
상기 제 1 이미지는 제 1 프로젝션 정보가 프로젝트될 때 캡쳐된 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고,
상기 제 2 이미지는 제 2 프로젝션 정보가 프로젝트될 때 캡쳐된 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함하고,
상기 프로젝션 정보는 프로젝션 그래픽들을 포함하고;
생물학적 특성이 안구의 특성을 포함하는 결정에 응답하여, 상기 이미지 차이 데이터는 상기 제 1 얼굴 이미지 및 상기 제 2 얼굴 이미지에서 생물학적 특성들의 이미지 변동 값을 포함하고, 상기 이미지 변동 값은 상기 안구에 의해 반사된 이미지 콘텐츠의 변동 값을 포함하고, 상기 이미지 콘텐츠의 상기 변동 값이 임계 범위 내에 있는 데에 응답하여, 상기 타깃 대상이 상기 가상의 대상인 것을 결정하는, 방법. - 제 17 항에 있어서,
상기 제 1 이미지는 제 1 프로젝션 정보가 프로젝트될 때 캡쳐된 타깃 대상의 제 1 얼굴 이미지 및 제 1 배경 이미지를 포함하고,
상기 제 2 이미지는 제 2 프로젝션 정보가 프로젝트될 때 캡쳐된 타깃 대상의 제 2 얼굴 이미지 및 제 2 배경 이미지를 포함하고,
상기 이미지 차이 데이터는 상기 제 1 얼굴 이미지 및 상기 제 2 얼굴 이미지에서 적어도 하나의 생물학적 특성의 이미지 변동 값을 포함하고,
상기 이미지 차이 데이터에 적어도 부분적으로 기초하여 상기 타깃 대상이 상기 가상의 대상인지를 결정하는 단계는:
상기 프로젝션 정보가 프로젝션 휘도 및 프로젝션 컬러 중 하나 이상에 대응하는 결정에 응답하여, 임의의 둘 이상의 생물학적 특성들의 휘도 변동 값 및 컬러 변동 값 중 하나 이상을 획득하는 단계; 및
상기 임의의 둘 이상의 생물학적 특성들 각각의 상기 이미지 변동 값이 임계 범위 내에 있는 경우, 상기 타깃 대상이 상기 가상의 대상인 것을 결정하는 단계를 포함하고,
상기 타깃 대상으로의 프로젝션과 관련된 프로젝션 정보를 수정하는 단계는, 타깃 대상 얼굴의 적어도 하나의 생물학적 특성을 캡처하는 것으로부터 획득된 특성 이미지를 기록함으로써 상기 이미지 차이 데이터를 결정하는 단계를 포함하는, 방법. - 제 17 항에 있어서, 상기 타깃 대상으로의 프로젝션과 관련된 상기 프로젝션 정보의 수정에 응답하여, 상기 타깃 대상의 얼굴의 적어도 하나의 생물학적 특성을 캡처하는 것으로부터 획득된 특성 이미지를 기록하는 것에 적어도 부분적으로 기초하여 상기 이미지 차이 데이터를 결정하는 단계를 더 포함하는, 방법.
- 제 7 항에 있어서, 상기 제 2 이미지가 상기 갱신된 콘텐츠를 갖지 않고,또는 상기 제 2 이미지의 갱신된 콘텐츠가 프로젝션 정보의 갱신에 일치하지 않는 결정에 적어도 부분적으로 기초하여 상기 타깃 대상이 인증을 통과하지 않는 결정을 하는 단계를 더 포함하는, 방법.
- 제 7 항에 있어서, 제 1 이미지 및 제 2 이미지에 적어도 부분적으로 기초하여, 디스플레이 콘텐츠의 갱신에 적어도 부분적으로 기초하는 프로젝션 정보에 갱신에 대응하는 갱신된 콘텐츠를 획득하는 단계를 더 포함하는, 방법.
- 제 26 항에 있어서, 상기 갱신된 콘텐츠는 제 2 이미지의 타깃 대상으로부터 갱신의 반영에 적어도 부분적으로 기초하는, 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610873804.1 | 2016-09-30 | ||
| CN201610873804.1A CN107886032B (zh) | 2016-09-30 | 2016-09-30 | 终端设备、智能手机、基于脸部识别的认证方法和系统 |
| US15/716,056 | 2017-09-26 | ||
| US15/716,056 US10762368B2 (en) | 2016-09-30 | 2017-09-26 | Facial recognition-based authentication |
| PCT/US2017/053806 WO2018064214A1 (en) | 2016-09-30 | 2017-09-27 | Facial recognition-based authentication |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190038594A KR20190038594A (ko) | 2019-04-08 |
| KR102251477B1 true KR102251477B1 (ko) | 2021-05-18 |
Family
ID=61757114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197006033A KR102251477B1 (ko) | 2016-09-30 | 2017-09-27 | 얼굴 인식-기반 인증 |
Country Status (8)
| Country | Link |
|---|---|
| US (3) | US10762368B2 (ko) |
| EP (1) | EP3520026A4 (ko) |
| JP (1) | JP6878572B2 (ko) |
| KR (1) | KR102251477B1 (ko) |
| CN (1) | CN107886032B (ko) |
| SG (1) | SG11201901138XA (ko) |
| TW (1) | TWI751161B (ko) |
| WO (1) | WO2018064214A1 (ko) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2919142B1 (en) * | 2014-03-14 | 2023-02-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for providing health status information |
| CA2902093C (en) * | 2014-08-28 | 2023-03-07 | Kevin Alan Tussy | Facial recognition authentication system including path parameters |
| KR102277212B1 (ko) * | 2015-01-23 | 2021-07-15 | 삼성전자주식회사 | 디스플레이 정보를 이용한 홍채 인증 방법 및 장치 |
| CN107886032B (zh) * | 2016-09-30 | 2021-12-14 | 阿里巴巴集团控股有限公司 | 终端设备、智能手机、基于脸部识别的认证方法和系统 |
| US10284761B2 (en) | 2016-11-17 | 2019-05-07 | Motorola Mobility Llc | Multi-camera capture of a high dynamic range image |
| CN106778585B (zh) * | 2016-12-08 | 2019-04-16 | 腾讯科技（上海）有限公司 | 一种人脸关键点跟踪方法和装置 |
| US10250794B2 (en) | 2017-01-04 | 2019-04-02 | Motorola Mobility Llc | Capturing an image using multi-camera automatic focus |
| US10169671B2 (en) * | 2017-02-17 | 2019-01-01 | Motorola Mobility Llc | Face detection with temperature and distance validation |
| US10250795B2 (en) | 2017-03-15 | 2019-04-02 | Motorola Mobility Llc | Identifying a focus point in a scene utilizing a plurality of cameras |
| US10657401B2 (en) * | 2017-06-06 | 2020-05-19 | Microsoft Technology Licensing, Llc | Biometric object spoof detection based on image intensity variations |
| US10579783B1 (en) * | 2017-07-31 | 2020-03-03 | Square, Inc. | Identity authentication verification |
| EA202090770A1 (ru) | 2017-09-18 | 2020-08-21 | Элемент, Инк. | Способы, системы и носители данных для обнаружения спуфинга в мобильной аутентификации |
| US10938807B2 (en) * | 2018-07-11 | 2021-03-02 | Citrix Systems, Inc. | Remote desktop monitoring using a webcam |
| CN108872265A (zh) * | 2018-07-23 | 2018-11-23 | 珠海格力智能装备有限公司 | 检测方法、装置及系统 |
| CN109190469B (zh) * | 2018-07-27 | 2020-06-23 | 阿里巴巴集团控股有限公司 | 一种检测方法及装置、一种计算设备及存储介质 |
| CN113408403A (zh) * | 2018-09-10 | 2021-09-17 | 创新先进技术有限公司 | 活体检测方法、装置和计算机可读存储介质 |
| CN110910055B (zh) * | 2018-09-17 | 2024-04-12 | 菜鸟智能物流控股有限公司 | 数据处理方法、装置、物流对象处理系统和机器可读介质 |
| US10942637B2 (en) * | 2018-10-09 | 2021-03-09 | Midea Group Co., Ltd. | Method and system for providing control user interfaces for home appliances |
| CN109741477A (zh) * | 2018-12-27 | 2019-05-10 | 深圳市商汤科技有限公司 | 考勤管理系统、方法及电子设备 |
| CN109671172A (zh) * | 2019-02-11 | 2019-04-23 | 宝鸡文理学院 | 一种辅导员用考勤系统 |
| CN111559327B (zh) * | 2019-02-14 | 2022-05-24 | 华为技术有限公司 | 一种数据处理方法及对应的装置 |
| US11343277B2 (en) | 2019-03-12 | 2022-05-24 | Element Inc. | Methods and systems for detecting spoofing of facial recognition in connection with mobile devices |
| CN110163096B (zh) * | 2019-04-16 | 2021-11-02 | 北京奇艺世纪科技有限公司 | 人物识别方法、装置、电子设备和计算机可读介质 |
| SG10201906721SA (en) | 2019-07-19 | 2021-02-25 | Nec Corp | Method and system for chrominance-based face liveness detection |
| CN111126147B (zh) * | 2019-11-22 | 2023-10-24 | 天津极豪科技有限公司 | 图像处理方法、装置和电子系统 |
| US11507248B2 (en) | 2019-12-16 | 2022-11-22 | Element Inc. | Methods, systems, and media for anti-spoofing using eye-tracking |
| CN111767829B (zh) * | 2020-06-28 | 2023-11-07 | 京东科技控股股份有限公司 | 一种活体检测方法、装置、系统及存储介质 |
| CN111563561A (zh) | 2020-07-13 | 2020-08-21 | 支付宝(杭州)信息技术有限公司 | 指纹图像的处理方法及装置 |
| CN111866384B (zh) * | 2020-07-16 | 2022-02-01 | 深圳传音控股股份有限公司 | 拍摄控制方法、移动终端及计算机存储介质 |
| JP6896307B1 (ja) * | 2020-07-28 | 2021-06-30 | 株式会社サイバーウェア | 画像判定方法および画像判定装置 |
| US11792188B2 (en) * | 2020-08-05 | 2023-10-17 | Bank Of America Corporation | Application for confirming multi-person authentication |
| US11562600B2 (en) * | 2021-03-29 | 2023-01-24 | Nec Corporation Of America | Liveness detection based on reflections analysis |
| CN113963425B (zh) * | 2021-12-22 | 2022-03-25 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
| CN117636484A (zh) * | 2022-08-12 | 2024-03-01 | 北京字跳网络技术有限公司 | 活体检测方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006259923A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 被写体認証装置、顔認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム |
Family Cites Families (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5386103A (en) * | 1993-07-06 | 1995-01-31 | Neurnetics Ltd. | Identification and verification system |
| US6463176B1 (en) * | 1994-02-02 | 2002-10-08 | Canon Kabushiki Kaisha | Image recognition/reproduction method and apparatus |
| US6128398A (en) * | 1995-01-31 | 2000-10-03 | Miros Inc. | System, method and application for the recognition, verification and similarity ranking of facial or other object patterns |
| US5842194A (en) | 1995-07-28 | 1998-11-24 | Mitsubishi Denki Kabushiki Kaisha | Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions |
| JP4085470B2 (ja) | 1998-05-29 | 2008-05-14 | オムロン株式会社 | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 |
| JP2001034754A (ja) | 1999-07-19 | 2001-02-09 | Sony Corp | 虹彩認証装置 |
| JP3575679B2 (ja) * | 2000-03-31 | 2004-10-13 | 日本電気株式会社 | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 |
| JP2001283216A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
| US7162035B1 (en) | 2000-05-24 | 2007-01-09 | Tracer Detection Technology Corp. | Authentication method and system |
| US6697502B2 (en) | 2000-12-14 | 2004-02-24 | Eastman Kodak Company | Image processing method for detecting human figures in a digital image |
| US6920236B2 (en) | 2001-03-26 | 2005-07-19 | Mikos, Ltd. | Dual band biometric identification system |
| US7606790B2 (en) * | 2003-03-03 | 2009-10-20 | Digimarc Corporation | Integrating and enhancing searching of media content and biometric databases |
| US7430315B2 (en) | 2004-02-13 | 2008-09-30 | Honda Motor Co. | Face recognition system |
| JP2006099614A (ja) | 2004-09-30 | 2006-04-13 | Toshiba Corp | 生体判別装置および生体判別方法 |
| US8976160B2 (en) | 2005-03-01 | 2015-03-10 | Eyesmatch Ltd | User interface and authentication for a virtual mirror |
| JP2006259924A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 被写体認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム |
| US8065529B2 (en) | 2007-05-21 | 2011-11-22 | Ut-Battelle, Llc | Methods for using a biometric parameter in the identification of persons |
| CN101441710A (zh) * | 2007-11-20 | 2009-05-27 | 上海银晨智能识别科技有限公司 | 防欺骗性人脸识别门禁系统及防欺骗性进入的方法 |
| US20100166303A1 (en) * | 2008-12-31 | 2010-07-01 | Ali Rahimi | Object recognition using global similarity-based classifier |
| JP5087037B2 (ja) | 2009-03-25 | 2012-11-28 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
| US8745726B2 (en) * | 2009-05-21 | 2014-06-03 | International Business Machines Corporation | Identity verification in virtual worlds using encoded data |
| CN101908140A (zh) * | 2010-07-29 | 2010-12-08 | 中山大学 | 一种在人脸识别中应用的活体检测方法 |
| EP2546782B1 (en) * | 2011-07-11 | 2014-06-25 | Accenture Global Services Limited | Liveness detection |
| US9082235B2 (en) * | 2011-07-12 | 2015-07-14 | Microsoft Technology Licensing, Llc | Using facial data for device authentication or subject identification |
| US9202105B1 (en) * | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
| US9025830B2 (en) * | 2012-01-20 | 2015-05-05 | Cyberlink Corp. | Liveness detection system based on face behavior |
| CN103020600B (zh) * | 2012-12-12 | 2015-08-19 | 紫光股份有限公司 | 一种用于人脸识别系统的活体人脸鉴别装置 |
| US20140283014A1 (en) * | 2013-03-15 | 2014-09-18 | Xerox Corporation | User identity detection and authentication using usage patterns and facial recognition factors |
| US9122911B2 (en) * | 2013-03-28 | 2015-09-01 | Paycasso Verify Ltd. | System, method and computer program for verifying a signatory of a document |
| JP2015088098A (ja) | 2013-11-01 | 2015-05-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| WO2015122789A1 (en) | 2014-02-11 | 2015-08-20 | 3Divi Company | Facial recognition and user authentication method |
| US20160125239A1 (en) * | 2014-10-30 | 2016-05-05 | Delta ID Inc. | Systems And Methods For Secure Iris Imaging |
| US9811649B2 (en) * | 2014-11-13 | 2017-11-07 | Intel Corporation | System and method for feature-based authentication |
| TWM502206U (zh) * | 2015-02-10 | 2015-06-01 | Univ Chung Hua | 數位輔助上妝裝置 |
| US10117603B2 (en) * | 2015-06-27 | 2018-11-06 | Intel Corporation | Field-of-view ocular and facial alignment guides |
| US10621454B2 (en) | 2015-06-29 | 2020-04-14 | Beijing Kuangshi Technology Co., Ltd. | Living body detection method, living body detection system, and computer program product |
| CN111611845A (zh) * | 2015-09-01 | 2020-09-01 | 北京上古视觉科技有限公司 | 一种具有活体检测功能的虹膜识别系统 |
| CN105335640A (zh) * | 2015-09-30 | 2016-02-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种识别认证的方法、装置以及终端 |
| US10102358B2 (en) * | 2015-12-29 | 2018-10-16 | Sensory, Incorporated | Face-controlled liveness verification |
| CN107886032B (zh) * | 2016-09-30 | 2021-12-14 | 阿里巴巴集团控股有限公司 | 终端设备、智能手机、基于脸部识别的认证方法和系统 |
-
2016
- 2016-09-30 CN CN201610873804.1A patent/CN107886032B/zh active Active
-
2017
- 2017-05-11 TW TW106115670A patent/TWI751161B/zh active
- 2017-09-26 US US15/716,056 patent/US10762368B2/en active Active
- 2017-09-27 WO PCT/US2017/053806 patent/WO2018064214A1/en unknown
- 2017-09-27 KR KR1020197006033A patent/KR102251477B1/ko active IP Right Grant
- 2017-09-27 JP JP2019511999A patent/JP6878572B2/ja active Active
- 2017-09-27 EP EP17857359.8A patent/EP3520026A4/en active Pending
- 2017-09-27 SG SG11201901138XA patent/SG11201901138XA/en unknown
-
2020
- 2020-06-04 US US16/892,572 patent/US10997445B2/en active Active
- 2020-12-22 US US17/131,580 patent/US11551482B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006259923A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 被写体認証装置、顔認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US10997445B2 (en) | 2021-05-04 |
| US20210110186A1 (en) | 2021-04-15 |
| US20200293802A1 (en) | 2020-09-17 |
| US11551482B2 (en) | 2023-01-10 |
| TW201814572A (zh) | 2018-04-16 |
| SG11201901138XA (en) | 2019-03-28 |
| KR20190038594A (ko) | 2019-04-08 |
| WO2018064214A1 (en) | 2018-04-05 |
| US10762368B2 (en) | 2020-09-01 |
| CN107886032A (zh) | 2018-04-06 |
| US20180096212A1 (en) | 2018-04-05 |
| TWI751161B (zh) | 2022-01-01 |
| EP3520026A1 (en) | 2019-08-07 |
| CN107886032B (zh) | 2021-12-14 |
| JP6878572B2 (ja) | 2021-05-26 |
| JP2020502602A (ja) | 2020-01-23 |
| EP3520026A4 (en) | 2020-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102251477B1 (ko) | 얼굴 인식-기반 인증 | |
| US10360442B2 (en) | Spoofing detection in image biometrics | |
| US10546183B2 (en) | Liveness detection | |
| Xu et al. | Virtual u: Defeating face liveness detection by building virtual models from your public photos | |
| US9697414B2 (en) | User authentication through image analysis | |
| JP6722272B2 (ja) | 凝視情報を使用するユーザの識別および／または認証 | |
| Tang et al. | Face flashing: a secure liveness detection protocol based on light reflections | |
| US9836642B1 (en) | Fraud detection for facial recognition systems | |
| CN108804884B (zh) | 身份认证的方法、装置及计算机存储介质 | |
| EP3332403B1 (en) | Liveness detection | |
| John et al. | The security-utility trade-off for iris authentication and eye animation for social virtual avatars | |
| CA2959085A1 (en) | Methods and systems for authenticating users | |
| CN110799986B (zh) | 一种基于面部特征点的眨眼动作识别的系统和方法 | |
| JP7077106B2 (ja) | 撮影画像データ処理装置および撮影画像データ処理方法 | |
| WO2024021251A1 (zh) | 身份校验方法、装置、电子设备以及存储介质 | |
| Mohzary | ML-CHIEFS: Machine Learning-Based Corneal-Specular Highlight Imaging for Enhancing Facial Recognition Security | |
| CN117765621A (zh) | 活体检测方法、装置及存储介质 | |
| CN114648801A (zh) | 人脸活体的检测方法及装置、处理器和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |