KR20170138475A - 시선 정보를 사용하는 사용자의 식별 및/또는 인증 - Google Patents

시선 정보를 사용하는 사용자의 식별 및/또는 인증 Download PDF

Info

Publication number
KR20170138475A
KR20170138475A KR1020177032838A KR20177032838A KR20170138475A KR 20170138475 A KR20170138475 A KR 20170138475A KR 1020177032838 A KR1020177032838 A KR 1020177032838A KR 20177032838 A KR20177032838 A KR 20177032838A KR 20170138475 A KR20170138475 A KR 20170138475A
Authority
KR
South Korea
Prior art keywords
user
image
image sensor
captured
information
Prior art date
Application number
KR1020177032838A
Other languages
English (en)
Inventor
마르텐 스코괴
리차드 하인츨
헨릭 죈슨
안데르스 베네스트룀
얼란드 조지-스반
존 엘베스죄
Original Assignee
토비 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 토비 에이비 filed Critical 토비 에이비
Publication of KR20170138475A publication Critical patent/KR20170138475A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G06K9/00335—
    • G06K9/00604—
    • G06K9/00617—
    • G06K9/00906—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명에 따르면, 디바이스의 사용자를 인증하기 위한 시스템이 개시된다. 이 시스템은 제1 이미지 센서, 결정 유닛 및 인증 유닛을 포함할 수 있다. 제1 이미지 센서는 사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하기 위한 것일 수 있다. 결정 유닛은 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 사용자의 눈에 관한 정보를 결정하기 위한 것일 수 있다. 인증 유닛은 사용자의 눈에 관한 정보를 사용하여 사용자를 인증하기 위한 것일 수 있다.

Description

시선 정보를 사용하는 사용자의 식별 및/또는 인증
관련 출원들에 대한 상호 참조
본 출원은 2016년 4월 16일자로 출원된 미국 가특허 출원 제62/148,501호(발명의 명칭 "IDENTIFICATION OR AUTHENTICATION OF A USER USING GAZE INFORMATION")에 대한 우선권을 주장하며, 그 전체 개시내용은 본 명세서에서 완전히 제시된 것처럼 모든 목적을 위해 본원에 참고로 통합된다.
본 발명은 일반적으로 사용자로부터의 시선 정보를 사용하여 사용자 식별 및/또는 인증을 위한 시스템들 및 방법들에 관한 것으로, 특히 사용자가 그러한 시선 정보를 사용하여 디바이스에 로그인할 수 있게 하기 위한 시스템들 및 방법들에 관한 것이다.
보안은 현대 컴퓨팅에서 가장 중요하다. 컴퓨팅 디바이스의 증가하는 이동성 및 전력으로 인해, 더 많은 디바이스가 다수의 사용자에 의해 사용된다. 따라서, 다수의 사용자를 정확하게 식별하고 디바이스에 로그인할 수 있게 하는 것이 가장 중요하다.
전통적인 식별 및 인증 시스템들은 패스워드 또는 패스프레이즈(passphrase) 인증과 같은 단순한 메커니즘들에 의존한다. 이것은 시스템이 사용자 이름 및/또는 패스워드의 정확한 구문을 기억하는 사용자의 능력에 의존하기 때문에 번거로운 작업이다. 그리고 종종 사용자들은 상이한 시스템들에 대해 다수의 잠재적으로 상이한 사용자 이름들과 패스워드를 기억해야만 한다. 더욱이 그러한 정보는 사용자로서 잘못 로그인하는데 사용되기 위해 잠재적으로 사용자로부터 학습, 추출, 복사되거나 그렇지 않으면 획득될 수 있다.
사용자가 컴퓨팅 디바이스에 로그인하도록 허용하기 위해 다른 형태의 식별 및 인증을 사용하는 것이 이전에 제안되었다. 예를 들어, 많은 컴퓨팅 디바이스는 이제 디바이스에 로그인을 용이하게 하기 위해 사용자의 지문을 스캐닝하기 위한 지문 센서들을 포함한다. 이러한 시스템들이 갖는 문제점은, 사용자가 일정 기간 동안 감지 표면 상에 그들의 손가락을 계속 유지해야만 함으로 인해 감지 표면이나 손가락 상에 먼지 및 기타 장애물들과 같은 추가적인 문제뿐만 아니라 조급함이 시스템을 올바르게 작동하지 못하게 할 수 있다는 것이다.
또한, 망막 스캐닝 기술이 대안적인 인증 기술로서 제안되어 왔다. 이러한 시스템들에서, 사용자의 망막은 카메라 등으로 스캐닝되고 저장된 망막 프로파일과 매칭되어, 정확한 사용자가 컴퓨팅 디바이스에 로그인할 수 있게 한다. 이 시스템은 또한, 사용자가 스캔하는 동안 계속 남아 있을 것을 요구함으로 인해, 시스템이 실패할 가능성이 존재한다.
망막 스캐닝 및 다른 안면 스캐닝 시스템들은 사람 또는 그들 눈의 사진을 스캐닝하는 것과 같은 방법들에 의해 속일 수 있다. 따라서, 살아있는 사람으로서 사용자들을 인증하고 디바이스의 로그인을 허용하는 개선된 시스템에 대한 필요성이 존재한다.
또한, 제3 자에 의해 관찰되는 경우에도 사용자에게 개별적이며 사용자가 컴퓨팅 디바이스로 인증할 수 있게 하는 비접촉식 로그인 절차에 대한 필요성이 존재한다.
일 실시예에서, 디바이스의 사용자를 인증하기 위한 시스템이 제공된다. 이 시스템은 제1 이미지 센서, 결정 유닛 및 인증 유닛을 포함할 수 있다. 제1 이미지 센서는 사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하기 위한 것일 수 있다. 결정 유닛은 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 사용자의 눈에 관한 정보를 결정하기 위한 것일 수 있다. 인증 유닛은 사용자의 눈에 관한 정보를 사용하여 사용자를 인증하기 위한 것일 수 있다.
다른 실시예에서, 디바이스의 사용자를 인증하기 위한 방법이 제공된다. 이 방법은 제1 이미지 센서로 사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하는 단계를 포함할 수 있다. 이 방법은 또한 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 사용자의 눈에 관한 정보를 결정하는 단계를 포함할 수 있다. 이 방법은 사용자의 눈에 관한 정보를 사용하여 사용자를 인증하는 단계를 더 포함할 수 있다.
다른 실시예에서, 디바이스의 사용자를 인증하는 방법을 위해 저장된 명령어들을 갖는 비 일시적인 머신 판독가능 매체가 제공된다. 이 방법은 제1 이미지 센서로 사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하는 단계를 포함할 수 있다. 이 방법은 또한 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 사용자의 눈에 관한 정보를 결정하는 단계를 포함할 수 있다. 이 방법은 사용자의 눈에 관한 정보를 사용하여 사용자를 인증하는 단계를 더 포함할 수 있다.
본 발명은 첨부 도면과 함께 설명된다.
도 1은 디바이스의 사용자를 인증하기 위한 본 발명의 일 실시예의 하나의 시스템에 대한 블록도이다.
도 2는 디바이스의 사용자를 인증하기 위한 본 발명의 일 실시예의 하나의 방법에 대한 블록도이다.
도 3은 본 발명의 장치들 또는 시스템들 중 적어도 일부에서 사용될 수 있거나 본 발명의 방법들 중 적어도 일부를 구현할 수 있는 예시적인 컴퓨터 시스템에 대한 블록도이다.
이하의 설명은 단지 예시적인 실시예들을 제공하며, 본 개시내용의 범위, 적용 가능성 또는 구성을 제한하려는 것은 아니다. 오히려, 예시적인 실시예들의 다음의 설명은 하나 이상의 예시적인 실시예를 구현하기 위한 가능한 설명을 본 기술분야의 통상의 기술자에게 제공할 것이다. 본 명세서에 제시된 바와 같이 본 발명의 사상 및 범위를 벗어나지 않으면서 요소들의 기능 및 배열에 다양한 변경이 이루어질 수 있음을 이해해야 한다.
실시예들의 완전한 이해를 제공하기 위해 특정 상세가 이하의 설명에 주어져 있다. 그러나 본 기술분야의 통상의 기술자는 그러한 특정 상세 없이도 실시예들이 실시될 수 있다는 것을 이해할 것이다. 예를 들어, 본 명세서에서 논의된 임의의 주어진 실시예에서, 그 실시예의 임의의 특정 상세는 그 실시예의 모든 고려된 버전들에 존재할 수 있거나 존재하지 않을 수도 있다. 마찬가지로, 일 실시예와 관련하여 논의된 임의의 상세는 본 명세서에서 논의된 다른 실시예들의 임의의 잠재적인 버전에 존재할 수 있거나 존재하지 않을 수도 있다. 또한, 본 발명에서의 회로들, 시스템들, 네트워크들, 프로세스들, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들, 및 다른 요소들은 실시예들을 모호하게 하는 것을 피하기 위해 불필요한 상세 없이 논의될 수 있다.
용어 "머신 판독가능 매체"는 명령어(들) 및/또는 데이터를 저장, 포함 또는 운반할 수 있는 휴대용 또는 고정 저장 디바이스들, 광학 저장 디바이스들, 무선 채널들 및 다양한 다른 매체들을 포함하지만, 이들에 제한되지 않는다. 코드 세그먼트 또는 머신 실행가능 명령어들은 절차, 기능, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 임의의 조합의 명령어들, 데이터 구조들, 또는 프로그램 문장들을 나타낼 수 있다. 코드 세그먼트는, 정보, 데이터, 인수들, 파라미터들, 또는 메모리 내용을 전달 및/또는 수신함으로써, 다른 코드 세그먼트 또는 하드웨어 회로에 결합될 수 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적합한 수단을 통해 전달, 포워딩 또는 송신될 수 있다.
또한, 본 발명의 실시예들은 적어도 부분적으로, 수동 또는 자동 중 어느 하나로 구현될 수 있다. 수동 또는 자동 구현은 머신들, 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들 또는 이들의 임의의 조합의 사용을 통해 실행되거나 적어도 지원될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 머신 판독가능 매체에 저장될 수 있다. 프로세서(들)가 필요한 작업들을 수행할 수 있다.
일부 실시예들에서는, 사용자를 인증하기 위한 시스템이 제공되며, 그로 인해 그 시스템은 시선 결정 디바이스로부터의 정보를 이용한다. 예시적인 실시예들에서, 시선 결정 디바이스는 Tobii(www.tobii.com) 또는 다른 공급자들로부터 시판되는 시스템들과 같은 적외선 기반의 눈 추적 디바이스이다. 가상 현실 또는 증강 현실 헤드셋과 같은 웨어러블 시스템에 통합된 눈 추적 디바이스를 사용할 수도 있다.
넓은 의미에서, 본 발명의 실시예들은 다음의 방법에 따라 사용자를 인증하기 위한 시스템들에 관한 것이다: (1) 이미지 센서 또는 눈 추적 디바이스로부터의 정보를 사용하여 디바이스 앞에 존재하는 사용자를 검증하고, (2) 사용자가 얼굴 인식에 기초하여 디바이스의 적절한 사용자인 것을 검증하고/하거나, 시선 및/또는 눈 정보를 수신 및 분석함으로써 디바이스의 적절한 사용자로서 사용자의 향상된 검증을 제공하고, (3) 이전 단계들로부터의 정보에 기초하여 사용자를 인증한다.
이미지 센서에 의해 캡처된 이미지는 사용자의 눈 또는 눈들만을 포함할 수 있거나, 사용자의 얼굴과 같은 추가 정보를 더 포함할 수 있다. 눈 추적 디바이스에 의해 캡처될 수 있는 임의의 정보의 사용을 허용하는 것이 본 발명의 명확한 목적이다. 이 정보는 개안 정도(eye openness), 눈 위치, 눈 방향 및 머리 방향을 포함하나, 이에 제한되지는 않는다. 사용자의 얼굴을 포함하는 이미지는 사용자를 식별하기 위해 본 기술분야의 통상의 기술자에 의해 쉽게 이해될 수 있는 얼굴 인식 알고리즘들을 사용하여 분석될 수 있다.
또한, 캡처된 이미지가 살아있는 사람과 관련이 있는지를 결정하는 것이 유리할 수 있다. 일부 실시예들에 따르면, 그렇게 하는 하나의 방법은 사용자의 각막으로부터 반사된 적외선 광의 존재에 대해 캡처된 이미지를 분석하는 것일 수 있다. 적외선 기반의 눈 추적 디바이스를 사용함으로써, 글린트(glint)는 적절하게 구성된 이미지 센서를 사용하여 캡처될 수 있는 사용자의 눈(들)의 각막 상에 존재할 수 있다.
캡처된 이미지가 살아있는 사람과 관련이 있는지를 결정하기 위한 추가 방법은 일련의 캡처된 이미지들을 체크하는 것일 수 있다. 이런 일련의 캡처된 이미지는 사용자의 시선 포인트가 고정되는지 아닌지를 결정하기 위해 분석될 수 있다. 고정되지 않은 시선 포인트는 일반적으로 살아있는 사람을 나타낼 것이다. 분석은 심지어 단속 운동(saccade) 및/또는 고정(마이크로 단속 운동을 포함함)과 같은 살아있는 눈의 알려진 움직임을 찾고 식별할 수도 있다.
캡처된 이미지가 살아있는 사람과 관련이 있는지를 결정하기 위한 추가 방법은 상이한 광원들이 활성화되는 동안 캡처된 이미지들을 비교하는 것일 수 있다. 예를 들어, 이미지 센서와 동축으로 배치된 적외선 광원이 활성화되는 동안 캡처된 이미지는 소위 밝은 동공 효과를 가질 수 있지만, 이미지 센서와 비 동축으로 배치된 적외선 광원이 활성화되는 동안 캡처된 이미지는 소위 어두운 동공 효과를 가질 것이다. 밝은 동공 및 어두운 동공 이미지의 비교는 동공의 존재를 결정하기 위해 수행될 수 있다. 이러한 방식에서는, 가짜 동공을 시스템에 제공하는 것이 어려울 수 있다.
사용자가 살아 있고 그 사용자를 식별했다고 시스템이 결정하면, 사람의 눈들 중 적어도 하나의 특성을 정의하는 개인 교정 프로파일(personal calibration profile)을 선택적으로 로딩할 수 있다. 이런 교정 프로파일은 사용자의 결정된 시선 방향을 변경하는데 사용될 수 있는데, 예를 들어 교정 프로파일은 사용자로부터의 모든 결정된 시선 방향에 적용될 표준 오프셋을 제공할 수 있다. 대안적으로, 교정 프로파일은 사용자의 눈(들)의 특성에 관한 데이터, 예를 들어 눈의 광학 축 또는 눈의 각막 곡률에 대한 중심와(fovea)의 오프셋을 포함할 수 있다. 사용자는 시스템에 로그인하려는 그들의 욕구를 나타내는 디스플레이 상의 표시기(indicator)를 응시할 수 있으며, 예를 들어 "로그인"이라고 쓰여있는 버튼, 작은 눈길을 끄는 아이콘 등이 적합할 것이다.
추가 개선에서, 교정 프로파일은 동공 간 거리, 동공 크기, 동공 크기 변화, 밝은 동공 콘트라스트, 어두운 동공 콘트라스트, 각막 반경 등과 같은 추가 정보를 포함할 수 있다. 이 정보는 사용자가 살아 있는지를 결정하기 위해 분석할 때, 교정 프로파일에 미리 존재하거나 교정 프로파일에 통합될 수 있다. 로그인(인증) 절차를 수행하기 위해 사용자는 시스템의 구성에 따라 다음 중 하나를 수행할 수 있다.
제1 실시예에서 - 미리 결정된 순서로 디스플레이된 일련의 이미지들 또는 텍스트를 보고, 따라서 패턴을 본질적으로 응시한다. 패턴은, 예를 들어 시스템의 셋업 단계 동안 이전에 사용자에 의해 정의되거나, 할당되거나 선택되었다. 이전에 정의된 패턴과 현재 검출된 패턴의 비교는 사용자가 인증되었는지를 결정하기 위해 사용될 수 있다.
제2 실시예에서 - 움직이는 객체(일련의 움직이는 객체 중 잠재적으로 단일 움직이는 객체)를 그들의 눈(들)으로 따라간다. 특정한 움직이는 객체는 시스템의 셋업 단계 동안 사용자에 의해 이전에 정의되거나, 할당되거나 또는 선택되고, 또한 디스플레이된 다른 객체 대신에 사용자들 눈(들)이 따르는 경우 디바이스의 로그인을 허용한다.
제3 실시예에서 - 일련의 움직이는 객체들 사이에서 다른 움직이는 객체들을 미리 정의된 순서(시스템의 셋업 단계 동안 사용자에 의해 정의되거나, 할당되거나 또는 선택된 미리 정의된 순서)로 응시한다.
제4 실시예에서 - 미리 결정된 객체, 이미지 또는 이미지의 부분(시스템의 셋업 단계 동안 사용자에 의해 정의되거나, 할당되거나 또는 선택된 미리 정의된 객체, 이미지 또는 이미지의 부분)에 고정한다.
시선 움직임의 시퀀스에서의 특정 포인트들은 사용자의 시선이 각각의 포인트에 달려 있는 시간의 관점에서 정의될 수 있다. 또한, 시퀀스를 완성하는데 걸린 총 시간량은 시퀀스가 합법적인지 여부를 결정하기 위한 결정 포인트로서 사용될 수도 있다.
로그인 절차를 시작하기 위한 "리셋(reset)" 기능을 포함하는 것이 바람직할 수 있으며, 이는 사용자가 로그인 절차를 시작하기를 원한다는 것을 시스템에 나타내기 위해, 사용자가 시선을 주거나 아니면 활성화해야만 하는 화면 상에 디스플레이된 아이콘 등일 수 있다.
본 발명의 추가 개선에서, "패닉(panic)" 인증 모드는 사용자에 의해 정의될 수 있다. 이 모드에서, 사용자는 이들의 정규 인증 시퀀스와 상이한 인증 시퀀스를 설정할 수 있다. 이런 대안적인 시퀀스가 입력될 때, 컴퓨팅 디바이스는, 예를 들어 디스플레이된 기능성 및 정보(은행 계좌 정보, 민감한 정보 등)를 제한함으로써 그 기능을 변경할 수 있거나, 또는 컴퓨팅 디바이스는 경찰 서비스 또는 신뢰할 수 있는 연락처와 같은 미리-식별된 비상 연락처에 접촉할 수 있다. 이 연락처는 이메일, 전화, 문자 메시지 등을 통해 이루어질 수 있다.
전술한 인증 절차는 컴퓨팅 디바이스의 동작 또는 컴퓨팅 디바이스 상에서 실행되는 서비스에 대한 식별 및/또는 인증을 위해 사용될 수 있다. 예로서, 본 명세서에 설명된 식별 및 인증 절차는 사용자를 웹 사이트들, 애플리케이션들 등으로 인증하는데 적합하다.
알려진 교정 프로파일은 로그인 절차에 유용하지만 필수적인 것은 아니다. 교정 프로파일이 로딩되지 않은 경우, 여러 상이한 정적 및/또는 하나 이상의 움직이는 객체 사이의 시선 패턴을 비교하여 시선 패턴을 이미지의 알려진 레이아웃과 매칭시키는 것이 가능하다. 일부 실시예들에서, 시선 패턴은 디바이스에 대한 교정을 생성하기 위해 동시에 사용될 수 있다.
일부 실시예들에서, 시스템은 다수의 조명 소스를 갖는 눈 추적 디바이스를 포함할 수 있다. 시스템은 상이한 조명 소스들이 활성화되는 동안 이미지들이 캡처되어, 캡처된 이미지 내의 섀도우(shadow)들에서 변화를 생성할 수 있도록 눈 추적 디바이스를 작동시킬 수 있다. 이 섀도우 이미지는 보다 정확한 얼굴 인식을 위해 사용자의 얼굴을 모델링하는데 사용될 수 있다. 이 실시예의 추가적인 이점은 인쇄된 이미지와 같은 플랫 이미지를 사용하여 실제 사람을 위조하는 것이 어려울 수 있다는 점이며, 그 이유는 그러한 인쇄된 이미지 상의 섀도우들이 변하는 조명 소스들에 기초하여 변경되지 않을 것이기 때문이다.
일부 실시예들에서, 3차원 머리 포즈 정보는 이미지 센서에 의해 캡처될 수 있다. 이런 머리 포즈 정보는 일련의 이미지에 대해 변경될 수 있으며, 살아있는 사람이 이미지 센서에 의해 캡처될 뿐만 아니라 얼굴 인식 알고리즘들에 의해 사용되는 것을 보장하는 데 사용될 수 있다.
일부 실시예들에서, 시스템 내의 눈 추적 디바이스는 2개 이상의 이미지 센서를 포함할 수 있다. 2개 이상의 이미지 센서를 사용하여 이미지들을 캡처함으로써, 본 기술분야의 통상의 기술자에 의해 이해되는 바와 같은 거리 맵이 생성될 수 있다. 이 거리 맵은 사용자를 식별하는 데 사용될 수 있고 상기 사용자에 대해 개별적일 수 있으므로, 캡처된 이미지들에서 사용자의 존재를 위조하는 것을 더 어렵게 만든다.
대안적으로, 2개 이상의 이미지 센서를 사용하여 이미지들을 캡처함으로써, 2개 또는 여러(아마도 알려진) 시점들로부터의 이미지들은, 사람이 단일 시점에서 다수의 각도로부터 이미지화되는 것을 보장하고 이들 이미지를 상기 사람 얼굴 및/또는 적어도 하나의 눈의 특정 양상을 나타내는 미리 기록된 모델과 매칭시킴으로써, 거리 맵을 생성할 필요없이 사용될 수 있고, 그로 인해 캡처된 이미지에서 사용자의 존재를 위조하는 것을 더욱 어렵게 만든다. 추가 개선으로서, 사용자가 인증되고 시스템에 로그인되면, 디바이스는 주기적으로 시스템의 사용자가 이전에 인증된 사용자와 여전히 동일한 사용자인지를 보장하는 절차를 수행할 수 있다. 이 절차는 캡처된 이미지 또는 일련의 캡처된 이미지들에서의 사용자를 인증된 사용자의 신원과 비교하기 위해 본 명세서에 설명된 어떤 것도 포함할 수 있다. 디바이스의 사용자가 인증된 사용자가 아닌 것을 시스템이 검출하면, 시스템은 다음 액션들 중 하나 이상을 수행할 수 있다: 사용자에게 통지하는 액션, 디바이스 상에서 애플리케이션을 닫는 액션, 디바이스 상에서 디스플레이로부터 아이템을 제거하는 액션, 디바이스의 로그 아웃 액션, 디바이스를 종료하는 액션, 및/또는 다른 시스템이나 개인에게 알림 메시지를 전송하는 액션.
일부 실시예들에서, 본 명세서에 설명된 시스템들 및 방법들 중 임의의 것은 디바이스가 아닌 특정 애플리케이션 또는 프로그램에 로그인하는데 사용될 수 있다. 예로서, MMORPG(Massively Multiplayer Online Roleplaying Game)에서 사용자들은 게임을 하는 것을 통해 컴퓨터/가상 캐릭터의 능력들과 특성들을 증가시키는 데 많은 시간과 노력을 들인다. 본 발명은 MMORPG에서 캐릭터의 소유자 또는 허가된 운영자를 인증하는데 사용될 수 있다. 물론, 본 발명의 실시예들은 임의의 형태의 게임 또는 임의의 다른 소프트웨어에 적합할 수 있다.
본 발명의 실시예들은 사용자의 식별 및 상기 사용자가 시스템의 인증된 사용자라는 인증을 필요로 하는 임의의 시스템에서 사용하기 위해 적합할 수 있다. 이러한 시스템들의 예는, 컴퓨터들, 랩톱들, 태블릿들, 휴대 전화들, 전통적인 육상 전화들, 차량들, 머신류, 보안 통로들, 가상 현실 헤드셋들 및 증강 현실 헤드셋들을 포함하지만 이들에 제한되지 않는다.
본 발명의 일부 실시예들에서, 인증 절차는 가상 현실 또는 증강 현실 환경에서 수행될 수 있다. 이 환경에서는, 헤드셋 등을 통해 2차원 또는 시뮬레이트된 3차원 포맷으로 사용자 객체에 제시하는 것이 가능하다. 사용자는 그 후, 예를 들어 2차원 또는 시뮬레이트된 3차원 공간에서, 환경 내의 정적 또는 움직이는 객체들을 응시함으로써 로그인 절차를 수행할 수 있다. 또는 추가로, 사용자는 환경 내의 상이한 깊이들에서 객체들에 집중할 수 있다. 사용자는, 사용자가 고유 로그인 시퀀스로서 응시하길 원하는 객체들 또는 시퀀스를 정의할 수 있다. 나중에 시퀀스를 사용하여, 디바이스는 사용자를 (본 명세서에 이전에 설명된 방식으로) 인증할 수 있다.
일부 실시예들에서, 다른 방식들은 시선과 결합되어 고유 로그인 절차의 생성을 허용할 수 있다. 이러한 방식들은 키보드, 마우스, 또는 터치패드 또는 터치스크린과 같은 터치 기반 콘택트를 포함할 수 있다. 추가로, 그 방식들은 3D 제스처들, 음성, 머리 포즈, 또는 버튼과 같은 특정 기계적 입력을 포함할 수 있다. 사용자는 디스플레이 상에 또는 가상 현실/증강 현실 환경 내에서 특정 객체를 응시하는 것을 요구하면서 동시에 별도의 양식을 제정하는 절차를 정의할 수 있다. 예로서, 사용자는 특정 패스프레이즈를 말하고 있는 동안, 및/또는 특정 제스처를 수행하는 동안 객체를 응시할 수 있다.
일부 실시예들에서, 사용자가 살아있는지를 결정하기 위해, 본 명세서의 시스템들은 사용자의 동공 또는 동공들의 팽창을 트리거하는 이벤트를 생성할 수 있다. 예를 들어, 디스플레이는 매우 어두운 것에서 매우 밝은 것으로 또는 그 반대로 전환될 수 있고, 그 후 사용자의 동공의 캡처된 이미지는 동공이 광도의 변화에 반응했는지를 결정하기 위해 분석될 수 있다. 추가로, 이벤트의 시퀀스, 타입 또는 타이밍은 규칙적으로 또는 세션들 간에 변경될 수 있으므로, 누군가가 시스템을 속이고 회피하려는 경우에 대비하기가 더 어려워질 수 있다.
사용자의 프로파일, 인증 절차, 신원 등은 컴퓨팅 디바이스 상에 국부적으로 저장되고 암호화될 수 있거나, 로컬 디바이스에 원격으로 저장되어 전송될 수 있다. 사용자의 이미지를 캡처하는 시선 추적 디바이스와 같은 디바이스는 누군가가 인증을 위해 시스템에 미리 캡처된 이미지를 도입할 수 있는 해결 방법이 가능하지 않다는 점에서 안전해야만 한다.
본 발명의 추가 실시예에서, 사용자의 식별은 컴퓨터 시스템에 의해 수집된 다른 데이터와 결합될 수 있다. 예를 들어, 눈 추적 디바이스 또는 유사한 디바이스의 사용을 통해, 본 발명에 따른 시스템은 사용자의 관심 대상을 결정하고 이를 사용자의 신원과 결합할 수 있다. 설명을 위해, 시스템은 다음과 같은 방식으로 기능할 수 있다: (a) 사용자는 본 발명에 따라 식별되고, (b) 사용자의 관심 대상은, 사용자의 시선 패턴이 기록되는 것과 동시에 화면 상에 디스플레이된 정보를 반영하는 데이터와 결합된 사용자의 시선 패턴을 조사함으로써 도출되고 기록되며, (c) 사용자의 신원은 사용자의 관심 대상과 결합되어 관심 데이터를 정의한다.
이 관심 데이터는 컴퓨터 시스템에 로컬로 저장되거나 원격 서버에 원격으로 저장될 수 있다. 관심 데이터는 동일한 또는 상이한 사용자들의 관심 데이터와 결합되어 정보에 대한 관심의 대표적인 견해를 결정할 수 있다.
추가로 설명하기 위해, 본 발명의 이 실시예는 가능한 사용의 맥락에서 이하 설명될 것이다. 눈 추적 디바이스를 구비한 컴퓨터 시스템은 전술한 바와 같이 사용자의 시선에 기초한 식별 및 인증을 허용한다. 사용자가 식별되고 인증되면, 눈 추적 디바이스는 스크린 상에 디스플레이된 정보와 관련하여 사용자의 시선 방향을 결정한다. 예를 들어, 그 정보는 광고일 수 있다. 이 광고에 관한 사용자의 시선의 요소들은 시스템에 의해 기록되고, 그 요소들은 시선의 날짜 및 시간, 거주 기간, 단속 운동 방향, 빈도 등을 포함한다. 이러한 요소들은 사용자의 신원과 결합되고 시스템에 의해 저장된다. 스토리지는 컴퓨터 시스템 상에 국부적으로 존재하거나 또는 인터넷 등을 통해 원격 서버로 송신된다. 이는 동일한 위치, 상이한 위치들 또는 상이한 광고들에서 동일한 광고에 대해 여러 번 반복될 수 있다. 정보는 광고만이 아니라 컴퓨터 시스템에 의해 디스플레이될 수 있는 임의의 형태에 있을 수 있고, 이미지들, 텍스트, 비디오, 웹 페이지들 등을 포함할 수 있다.
일단 적어도 2개의 정보 아이템에 대한 또는 적어도 2명의 사용자로부터 데이터가 수집된다. 이 정보는 대표적인 견해들을 제시하기 위해 대조될 수 있다. 예를 들어, 사용자의 신원을 연령, 성별, 위치 등과 같은 연관 정보로 알고 있음으로써, 본 발명은 다양한 정보에 대한 "15-19세 남성의 체류 시간"과 같은 보고들을 생성할 수 있다. 본 기술분야의 통상의 기술자는 사용자의 신원을 그 사용자의 관심 대상과 결합시킴으로써 많은 정보 조합이 수집, 저장, 분석 및 보고될 수 있다는 것을 쉽게 인식할 것이다.
본 발명의 추가 개선에서, 본 발명에 따른 시스템은, 사용자가 컴퓨팅 디바이스를 조작할 수 있도록 사용자를 식별 및/또는 인증하기 위해 눈 또는 시선 추적 디바이스를 이용할 수 있다. 인증되면, 시스템은 눈 추적 디바이스에 의해 캡처된 정보를 연속적으로 모니터링하고 컴퓨팅 디바이스의 앞에 인증된 사용자 이외의 사람의 존재를 확인하기 위해 상기 정보를 체크할 수 있다. 다른 사람이 컴퓨팅 디바이스의 앞에 위치하면, 시스템은 컴퓨팅 디바이스에 의해 일부 정보가 불명료하게 되거나 디스플레이되지 않게 할 수 있다. 적어도 하나의 다른 사람의 신원은 알 필요가 없으며, 다른 사람이 존재한다는 사실만으로 충분할 수 있다. 이러한 방식으로, 인증된 사용자 이상이 컴퓨팅 디바이스를 보고 있을 때, 은행 계좌 정보와 같은 민감한 정보가 숨겨지고 보호될 수 있다. 인증된 사용자는 소프트웨어 오버라이드를 통해 이 기능성을 오버라이드하거나, 본 발명 또는 임의의 다른 공지된 식별 및 인증 절차를 사용하여 추가적인 사람(들)을 식별 및 인증하도록 선택할 수 있다.
본 발명은 머리 움직임, 점멸 빈도, 단속 운동, 개안 정도, 동공 지름, 눈 방향 및 머리 방향과 같은 눈 움직임을 포함하지만 이에 제한되지 않는 행동 생체인식을 추가로 식별하고 수집할 수 있다. 이 정보는 사용자의 식별 및 인증 동안 수집될 수 있으며, 또한 컴퓨팅 디바이스의 사용자의 사용 동안 연속적으로 수집될 수 있다. 이 정보의 일부 또는 전부는 사용자의 추후 식별 및 인증을 위한 프로파일의 형태로 저장될 수 있다.
추가로, 본 발명에 따르면, 사용자가 컴퓨팅 디바이스로 식별 및 인증되고 사용자가 컴퓨팅 디바이스로부터 멀리 이동하면, 컴퓨팅 디바이스로 복귀할 때 사용자를 재인증할 필요가 있을 수 있다. 이를 구현하기 위해, 인증된 사용자가 복귀하는 경우 재인증이 요구되지 않는 기간이 정의될 수 있지만, 그 기간이 초과되는 경우, 재인증이 요구된다. 추가로, 시스템은 이전에 설명된 임의의 행동 생체 인식을 사용하여 복귀하는 사용자를 식별할 수 있고, 시스템이 신규 사용자를 인증된 사용자와 다른 신원 또는 인식할 수 없는 신원으로 식별하는 경우, 재인증 절차를 따라야만 한다.
관련된 맥락에서, 사용자가 본 발명에 따라 식별되고 인증되며 사용자가 미리 결정된 기간 동안 컴퓨팅 디바이스를 사용하는 것을 중단하면, 컴퓨팅 디바이스는 "잠금" 모드에 진입할 수 있다. 컴퓨팅 디바이스를 잠금 해제하기 위해, 움직이는 객체를 따르는 것과 같은 간단한 절차가 사용될 수 있다.
본 발명의 추가 개선에서, 시스템은 시선 추적 디바이스에 의해 수집된 정보를 사용하여 사용자의 상태를 결정할 수 있다. 예를 들어, 시스템은 사용자 환경에서의 밝기 레벨, 컴퓨팅 디바이스의 디스플레이로부터 방출된 밝기 레벨 및 사용자의 예상된 동공 크기를 결정할 수 있다. 시스템은 또한 또는 대신에, 특정 사용자의 동공 크기에 관한 이력 정보를 사용할 수 있다. 그 후, 시스템은 그들의 동공 크기에 기초하여 사용자의 정신 상태를 결정할 수 있다. 예를 들어, 확대된 동공은 놀라거나 흥분된 상태 또는 심지어 마음을 변화시키는 물질들의 존재를 나타낼 수 있다.
시선 또는 눈 정보에 대한 본 발명의 임의의 참조는 사용자의 머리와 관련된 정보로 대체될 수 있다. 예를 들어, 해상도가 높지는 않을지라도, 머리 방향 정보만 사용하여 사용자를 식별하고 인증하는 것이 가능할 수 있다. 이것은 사용자의 얼굴 상의 표현, 깜박임, 윙크(winking) 등으로 추가로 확장될 수 있다.
본 발명이 이미지 센서를 포함하는 눈 추적 디바이스를 갖는 컴퓨팅 디바이스를 참조하여 설명될지라도, 그러한 시스템은 많은 형태로 존재한다는 것을 이해해야 한다. 예를 들어, 눈 추적 디바이스는 디스플레이 또는 컴퓨팅 디바이스를 직접 제어하기 위해 필요한 모든 계산 능력을 포함할 수 있다. 예를 들어, 눈 추적 디바이스는 본 발명에 요구되는 필요한 알고리즘 결정의 전부 또는 일부를 수행할 수 있는 주문형 집적 회로(ASIC)를 포함할 수 있다.
도 1은 디바이스의 사용자를 인증하기 위한 본 발명의 일 실시예의 하나의 시스템(100)의 블록도이다. 전술한 바와 같이, 시스템은 제1 이미지 센서(110), 제2 이미지 센서(120), 결정 유닛(130), 인증 유닛(140), 프로파일 유닛(150) 및 디바이스(160)(사용자가 인증되고 있는)를 포함할 수 있다. 컴포넌트들 사이의 통신 채널은 다양한 컴포넌트들 사이의 선들로 도시되었지만, 본 기술분야의 통상의 기술자는 컴포넌트들 사이의 다른 통신 채널들이 존재할 수 있고 이 특정 예에서는 도시되지 않을 수 있음을 이해할 것이다.
도 2는 디바이스의 사용자를 인증하기 위한 본 발명의 일 실시예의 하나의 방법(200)의 블록도이다. 전술한 바와 같이, 이 방법은 단계 210에서, 제1 이미지 센서로 이미지(들)를 캡처하는 단계를 포함할 수 있다. 단계 220에서, 이미지(들)는 제2 이미지 센서로 캡처될 수 있다. 단계 230에서, 정보는 이미지(들)로부터 사용자의 눈에 관해 결정될 수 있다. 단계 240에서, 이전에 획득된 정보 및 결정들에 기초하여 사용자가 살아있는지가 결정될 수 있다. 단계 250에서, 또한 이전에 획득 정보 및 결정들에 기초하여, 사용자를 인증할지가 결정될 수 있다. 단계 260에서, 사용자 프로파일은 사용자의 인증에 기초하여 로딩될 수 있다.
도 3은 본 발명의 실시예들이 구현될 수 있는 예시적인 컴퓨터 시스템(300)을 도시하는 블록도이다. 이 예는 본 명세서에서 논의된 시스템들 또는 장치들 중 임의의 것의 기능들을 제공하기 위해 전체적으로, 부분적으로 또는 다양한 변형 예와 같이 사용될 수 있는 컴퓨터 시스템(300)을 도시한다. 예를 들어, 단지 예로서 시선 추적 및 얼굴 피처들의 식별 등을 포함하는, 눈 추적 디바이스의 다양한 기능이 컴퓨터 시스템(300)에 의해 제어될 수 있다.
버스(390)를 통해 전기적으로 결합될 수 있는 하드웨어 요소들을 포함하는 컴퓨터 시스템(300)이 도시된다. 하드웨어 요소들은 하나 이상의 중앙 처리 유닛(310), 하나 이상의 입력 디바이스(320)(예를 들어, 마우스, 키보드 등) 및 하나 이상의 출력 디바이스(330)(예를 들어, 디스플레이 디바이스, 프린터 등)를 포함할 수 있다. 컴퓨터 시스템(300)은 또한 하나 이상의 저장 디바이스(340)를 포함할 수 있다. 예로서, 저장 디바이스(들)(340)는 프로그램 가능, 플래시 업데이트 가능 및/또는 이와 유사한 것일 수 있는, 디스크 드라이브들, 광학 저장 디바이스들, 랜덤 액세스 메모리("RAM") 및/또는 판독 전용 메모리("ROM")와 같은 솔리드 스테이트 저장 디바이스일 수 있다.
컴퓨터 시스템(300)은 컴퓨터 판독가능 저장 매체 판독기(350), 통신 시스템(360)(예컨대, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, BluetoothTM 디바이스, 셀룰러 통신 디바이스, 등), 및 전술한 바와 같은 RAM 및 ROM 디바이스들을 포함할 수 있는 작업 메모리(380)를 추가적으로 포함할 수 있다. 일부 실시예들에서, 컴퓨터 시스템(300)은 또한 디지털 신호 프로세서, 특수 목적 프로세서 및/또는 이와 유사한 것을 포함할 수 있는 프로세싱 가속 유닛(370)을 포함할 수 있다.
컴퓨터 판독가능 저장 매체 판독기(350)는 일시적으로 및/또는 더 영구적으로 컴퓨터 판독가능 정보를 포함하기 위한 저장 매체에 덧붙여, 원격, 로컬, 고정 및/또는 이동식 저장 디바이스들을 포괄적으로 나타내는 컴퓨터 판독가능 저장 매체에 함께(선택적으로는, 저장 디바이스(들)(340)와 결합하여) 추가로 접속될 수 있다. 통신 시스템(360)은 데이터가 상술한 네트워크, 시스템, 컴퓨터 및/또는 다른 컴포넌트와 교환되는 것을 허용할 수 있다.
컴퓨터 시스템(300)은 운영 체제(384) 및/또는 다른 코드(388)를 포함하는, 작업 메모리(380) 내에 현재 위치하는 것으로 도시된 소프트웨어 요소들을 또한 포함할 수 있다. 컴퓨터 시스템(300)의 대안적인 실시예들은 상술한 것으로부터 수많은 변형을 가질 수 있다는 것을 이해해야 한다. 예를 들어, 맞춤화된 하드웨어가 사용될 수도 있고/있거나 특정한 요소들이 하드웨어, 소프트웨어(애플릿과 같은 휴대용 소프트웨어를 포함함), 또는 이 둘 모두로 구현될 수도 있다. 또한, 네트워크 입력/출력 및 데이터 취득 디바이스와 같은 다른 컴퓨팅 디바이스들과의 접속이 발생할 수도 있다.
컴퓨터 시스템(300)의 소프트웨어는 본 명세서에 설명된 아키텍처의 다양한 요소들의 기능 중 임의의 것 또는 모두를 구현하기 위한 코드(388)를 포함할 수 있다. 예를 들어, 시스템(300)과 같은 컴퓨터 시스템 상에 저장되고/되거나 컴퓨터 시스템에 의해 실행되는 소프트웨어는 위에서 논의된 바와 같은 눈 추적 디바이스 및/또는 본 발명의 다른 컴포넌트들의 기능들을 제공할 수 있다. 이들 컴포넌트들 중 일부에 대한 소프트웨어에 의해 구현 가능한 방법들은 위에서 더 상세하게 논의되었다.
본 발명은 명확성 및 이해의 목적들을 위해 지금까지 설명되었다. 그러나, 특정 변경들 및 수정들은 첨부된 청구항들의 범위 내에서 실시될 수 있다는 점이 이해될 것이다.

Claims (20)

  1. 디바이스의 사용자를 인증하기 위한 시스템으로서,
    사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하기 위한 제1 이미지 센서;
    상기 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 상기 사용자의 눈에 관한 정보를 결정하기 위힌 결정 유닛; 및
    상기 사용자의 눈에 관한 정보를 사용하여 상기 사용자를 인증하기 위한 인증 유닛
    을 포함하는 시스템.
  2. 제1항에 있어서, 상기 결정 유닛은 추가로, 상기 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 상기 사용자가 살아있는지를 결정하기 위한 것인, 시스템.
  3. 제2항에 있어서, 상기 결정 유닛은 상기 제1 이미지 센서에 의해 캡처된 이미지에서 사용자의 각막으로부터의 글린트(glint)를 사용하는, 시스템.
  4. 제2항에 있어서, 상기 결정 유닛은 상기 사용자의 시선 방향이 정적인지를 결정하기 위해 상기 제1 이미지 센서에 의해 캡처된 일련의 이미지들을 사용하는, 시스템.
  5. 제2항에 있어서, 상기 결정 유닛은 상기 제1 이미지 센서에 의해 캡처된 제1 이미지를 상기 제1 이미지 센서에 의해 캡처된 제2 이미지와 비교하고, 상기 제1 이미지는 상기 제1 이미지 센서와 동축인 일루미네이터(illuminator)가 활성인 동안 캡처되고, 상기 제2 이미지는 상기 제1 이미지 센서와 동축이 아닌 일루미네이터가 활성인 동안 캡처되는, 시스템.
  6. 제2항에 있어서, 상기 결정 유닛은 상기 사용자에 대한 머리 포즈 정보를 결정하는, 시스템.
  7. 제2항에 있어서, 상기 사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하기 위한 제2 이미지 센서를 더 포함하는 시스템.
  8. 제7항에 있어서, 상기 결정 유닛은 상기 제1 이미지 센서에 의해 캡처된 이미지와 상기 제2 이미지 센서에 의해 캡처된 이미지를 비교하는, 시스템.
  9. 제1항에 있어서, 상기 사용자의 인증에 기초하여 사용자 프로파일을 로딩하기 위한 프로파일 유닛을 더 포함하는 시스템.
  10. 제9항에 있어서, 상기 사용자 프로파일은 눈 추적기에 의해 결정된 시선 방향과 상기 사용자의 실제 시선 방향 사이의 오프셋을 정의하는 눈 추적 교정 프로파일(eye tracking calibration profile)인, 시스템.
  11. 제9항에 있어서, 상기 사용자 프로파일은 컴퓨터 상에서 실행되는 컴퓨터 애플리케이션의 행동에 영향을 미치는, 시스템.
  12. 디바이스의 사용자를 인증하기 위한 방법으로서,
    제1 이미지 센서로 사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하는 단계;
    상기 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 상기 사용자의 눈에 관한 정보를 결정하는 단계; 및
    상기 사용자의 눈에 관한 정보를 사용하여 상기 사용자를 인증하는 단계
    를 포함하는 방법.
  13. 제12항에 있어서, 상기 방법은 상기 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 상기 사용자가 살아있는지를 결정하는 단계를 더 포함하는 방법.
  14. 제13항에 있어서, 상기 사용자의 눈에 관한 정보를 결정하는 단계는,
    상기 제1 이미지 센서에 의해 캡처된 제1 이미지를 상기 제1 이미지 센서에 의해 캡처된 제2 이미지와 비교하는 단계를 포함하고, 상기 제1 이미지는 상기 제1 이미지 센서와 동축인 일루미네이터가 활성인 동안 캡처되고, 상기 제2 이미지는 상기 제1 이미지 센서와 동축이 아닌 일루미네이터가 활성인 동안 캡처되는, 방법.
  15. 제13항에 있어서, 상기 방법은 제2 이미지 센서로 상기 사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하는 단계를 더 포함하는 방법.
  16. 제12항에 있어서, 상기 방법은 상기 사용자의 인증에 기초하여 사용자 프로파일을 로딩하는 단계를 더 포함하는 방법.
  17. 디바이스의 사용자를 인증하기 위한 명령어들을 저장하는 비 일시적인 머신 판독가능 매체로서, 상기 명령어들은 적어도:
    제1 이미지 센서로 사용자의 적어도 일부의 적어도 하나의 이미지를 캡처하고;
    상기 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 상기 사용자의 눈에 관한 정보를 결정하고;
    상기 사용자의 눈에 관한 정보를 사용하여 상기 사용자를 인증하기 위해,
    하나 이상의 프로세서에 의해 실행 가능한, 비 일시적인 머신 판독가능 매체.
  18. 제17항에 있어서, 상기 명령어들은, 상기 제1 이미지 센서에 의해 캡처된 적어도 하나의 이미지에 적어도 부분적으로 기초하여 상기 사용자가 살아있는지를 결정하기 위해 하나 이상의 프로세서에 의해 추가로 실행 가능한, 비 일시적인 머신 판독가능 매체.
  19. 제18항에 있어서, 상기 사용자의 눈에 관한 정보를 결정하는 것은,
    상기 제1 이미지 센서에 의해 캡처된 제1 이미지를 상기 제1 이미지 센서에 의해 캡처된 제2 이미지와 비교하는 것을 포함하고, 상기 제1 이미지는 상기 제1 이미지 센서와 동축인 일루미네이터가 활성인 동안 캡처되고, 상기 제2 이미지는 상기 제1 이미지 센서와 동축이 아닌 일루미네이터가 활성인 동안 캡처되는, 비 일시적인 머신 판독가능 매체.
  20. 제18항에 있어서, 상기 명령어들은 상기 사용자의 적어도 일부의 적어도 하나의 이미지를 제2 이미지 센서로 캡처하기 위해 하나 이상의 프로세서에 의해 추가로 실행 가능한, 비 일시적인 머신 판독가능 매체.
KR1020177032838A 2015-04-16 2016-04-18 시선 정보를 사용하는 사용자의 식별 및/또는 인증 KR20170138475A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562148501P 2015-04-16 2015-04-16
US62/148,501 2015-04-16
PCT/US2016/028090 WO2016168814A1 (en) 2015-04-16 2016-04-18 Identification and/or authentication of a user using gaze information

Publications (1)

Publication Number Publication Date
KR20170138475A true KR20170138475A (ko) 2017-12-15

Family

ID=55953391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177032838A KR20170138475A (ko) 2015-04-16 2016-04-18 시선 정보를 사용하는 사용자의 식별 및/또는 인증

Country Status (7)

Country Link
US (1) US10192109B2 (ko)
EP (1) EP3284016B1 (ko)
JP (1) JP6722272B2 (ko)
KR (1) KR20170138475A (ko)
CN (2) CN107995979B (ko)
CA (1) CA2983015A1 (ko)
WO (1) WO2016168814A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170138475A (ko) 2015-04-16 2017-12-15 토비 에이비 시선 정보를 사용하는 사용자의 식별 및/또는 인증
US10678897B2 (en) 2015-04-16 2020-06-09 Tobii Ab Identification, authentication, and/or guiding of a user using gaze information
JP6582604B2 (ja) * 2015-06-23 2019-10-02 富士通株式会社 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
CN106203297B (zh) * 2016-06-30 2019-11-08 北京七鑫易维信息技术有限公司 一种身份识别方法及装置
CN108111475B (zh) * 2016-11-25 2020-05-05 阿里巴巴集团控股有限公司 身份验证方法及装置
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN110114777B (zh) * 2016-12-30 2023-10-20 托比股份公司 使用注视信息进行的用户的识别、认证和/或导引
US10747859B2 (en) * 2017-01-06 2020-08-18 International Business Machines Corporation System, method and computer program product for stateful instruction-based dynamic man-machine interactions for humanness validation
CN107122642A (zh) 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
US10614586B2 (en) 2017-03-31 2020-04-07 Sony Interactive Entertainment LLC Quantifying user engagement using pupil size measurements
US10740446B2 (en) * 2017-08-24 2020-08-11 International Business Machines Corporation Methods and systems for remote sensing device control based on facial information
US11720655B2 (en) * 2017-09-18 2023-08-08 Dov Moran System, device and method for logging-in by staring at a display device
EA202090770A1 (ru) 2017-09-18 2020-08-21 Элемент, Инк. Способы, системы и носители данных для обнаружения спуфинга в мобильной аутентификации
US10956737B1 (en) * 2017-10-24 2021-03-23 Wells Fargo Bank, N.A. System and apparatus for improved eye tracking using a mobile device
US10402644B1 (en) 2017-10-24 2019-09-03 Wells Fargo Bank, N.A. System and apparatus for improved eye tracking using a mobile device
GB2576910B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc User profile generating system and method
US11163981B2 (en) * 2018-09-11 2021-11-02 Apple Inc. Periocular facial recognition switching
US11055388B2 (en) * 2018-10-08 2021-07-06 Advanced New Technologies Co., Ltd. Passive affective and knowledge-based authentication through eye movement tracking
CN109375773A (zh) * 2018-10-24 2019-02-22 深圳市领点科技有限公司 一种基于vr设备的监督方法和装置
US11343277B2 (en) 2019-03-12 2022-05-24 Element Inc. Methods and systems for detecting spoofing of facial recognition in connection with mobile devices
CN110135370B (zh) * 2019-05-20 2022-09-09 北京百度网讯科技有限公司 人脸活体检测的方法及装置、电子设备、计算机可读介质
WO2020263876A1 (en) * 2019-06-26 2020-12-30 Twosense, Inc. Continuous authentication using wearable head-mounted devices and gaze tracking
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking
WO2021153578A1 (en) * 2020-01-27 2021-08-05 Nec Corporation Information processing system, information processing method, and storage medium for eye gaze based liveness detection
CN111881431B (zh) 2020-06-28 2023-08-22 百度在线网络技术（北京）有限公司 人机验证方法、装置、设备及存储介质
JP2022161079A (ja) * 2021-04-08 2022-10-21 京セラドキュメントソリューションズ株式会社 電子機器
CN113221699B (zh) * 2021-04-30 2023-09-08 杭州海康威视数字技术股份有限公司 一种提高识别安全性的方法、装置、识别设备
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
CN115985482A (zh) * 2023-03-16 2023-04-18 武汉光盾科技有限公司 一种基于激光治疗仪的数据处理方法和装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6247813B1 (en) * 1999-04-09 2001-06-19 Iritech, Inc. Iris identification system and method of identifying a person through iris recognition
US20040196399A1 (en) * 2003-04-01 2004-10-07 Stavely Donald J. Device incorporating retina tracking
JP2008198028A (ja) * 2007-02-14 2008-08-28 Sony Corp ウェアラブル装置、認証方法、およびプログラム
CN101840265B (zh) * 2009-03-21 2013-11-06 深圳富泰宏精密工业有限公司 视觉感知装置及其控制方法
EP2238889B1 (en) * 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
CN101710383B (zh) * 2009-10-26 2015-06-10 北京中星微电子有限公司 一种身份认证的方法及认证装置
JP5167382B2 (ja) * 2010-04-27 2013-03-21 スミダコーポレーション株式会社 コイル部品
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
US20130083007A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Changing experience using personal a/v system
CA2853709C (en) * 2011-10-27 2020-09-01 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
DK2587341T3 (en) * 2011-10-27 2017-04-03 Tobii Ab Power management in an eye tracking system
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
US9082011B2 (en) * 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
FR2992843B1 (fr) * 2012-07-06 2016-05-06 Essilor Int Dispositif et procede de mesure de refraction oculaire objective et d'au moins un parametre geometrico-morphologique d'un individu
US9164580B2 (en) * 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
KR101417415B1 (ko) * 2012-11-19 2014-07-08 아이리텍 잉크 살아있는 눈 식별 방법 및 장치
US8856541B1 (en) * 2013-01-10 2014-10-07 Google Inc. Liveness detection
CN103106397B (zh) * 2013-01-19 2016-09-21 华南理工大学 基于亮瞳效应的人脸活体检测方法
US9355612B1 (en) * 2013-01-22 2016-05-31 Amazon Technologies, Inc. Display security using gaze tracking
US9244529B2 (en) * 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
US9003196B2 (en) * 2013-05-13 2015-04-07 Hoyos Labs Corp. System and method for authorizing access to access-controlled environments
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
US10277787B2 (en) * 2013-09-03 2019-04-30 Tobii Ab Portable eye tracking device
CN103593598B (zh) * 2013-11-25 2016-09-21 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
WO2015103745A1 (en) * 2014-01-08 2015-07-16 Nokia Technologies Oy An apparatus and associated methods for image capture
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
CN107111355B (zh) * 2014-11-03 2021-03-12 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
WO2016076912A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Spoofing detection in image biometrics
US10305895B2 (en) * 2015-04-14 2019-05-28 Blubox Security, Inc. Multi-factor and multi-mode biometric physical access control device
US10678897B2 (en) * 2015-04-16 2020-06-09 Tobii Ab Identification, authentication, and/or guiding of a user using gaze information
KR20170138475A (ko) 2015-04-16 2017-12-15 토비 에이비 시선 정보를 사용하는 사용자의 식별 및/또는 인증
CN105184246B (zh) * 2015-08-28 2020-05-19 北京旷视科技有限公司 活体检测方法和活体检测系统
EP3353632B1 (en) * 2015-09-24 2022-10-05 Tobii AB Eye-tracking enabled wearable devices
US10331945B2 (en) * 2015-12-22 2019-06-25 Intel Corporation Fair, secured, and efficient completely automated public Turing test to tell computers and humans apart (CAPTCHA)
US10102358B2 (en) * 2015-12-29 2018-10-16 Sensory, Incorporated Face-controlled liveness verification
CN110114777B (zh) 2016-12-30 2023-10-20 托比股份公司 使用注视信息进行的用户的识别、认证和/或导引

Also Published As

Publication number Publication date
EP3284016A1 (en) 2018-02-21
CN107995979B (zh) 2021-12-07
CN107995979A (zh) 2018-05-04
CN114077726A (zh) 2022-02-22
CA2983015A1 (en) 2016-10-20
EP3284016B1 (en) 2023-11-22
WO2016168814A1 (en) 2016-10-20
JP2018517998A (ja) 2018-07-05
US20160307038A1 (en) 2016-10-20
JP6722272B2 (ja) 2020-07-15
US10192109B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
EP3284016B1 (en) Authentication of a user of a device
US10678897B2 (en) Identification, authentication, and/or guiding of a user using gaze information
KR102573482B1 (ko) 생체 보안 시스템 및 방법
US10242364B2 (en) Image analysis for user authentication
CN110114777B (zh) 使用注视信息进行的用户的识别、认证和/或导引
CN102414698B (zh) 对无线设备的功能的受控访问
JP7452571B2 (ja) 生体認証装置、生体認証方法および生体認証プログラム
US10733275B1 (en) Access control through head imaging and biometric authentication
US10586031B2 (en) Biometric authentication of a user
EP2984599A1 (en) The identity caddy: a tool for real-time determination of identity in the mobile environment
US10956544B1 (en) Access control through head imaging and biometric authentication
JP6267025B2 (ja) 通信端末及び通信端末の認証方法
JP7428242B2 (ja) 認証装置、認証システム、認証方法および認証プログラム
US11507646B1 (en) User authentication using video analysis
Sluganovic Security of mixed reality systems: authenticating users, devices, and data
JP2017091276A (ja) 操作許可判定装置、操作許可判定システム、操作許可判定方法、及び操作許可判定用プログラム
WO2022262936A1 (en) Gaze based method for triggering actions on an operable device
CN116615762A (zh) 通过血管研究进行的生物计量认证

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application