CN103383595B - 基于用户人脸的分析控制移动终端的装置和方法 - Google Patents

基于用户人脸的分析控制移动终端的装置和方法 Download PDF

Info

Publication number
CN103383595B
CN103383595B CN201310157484.6A CN201310157484A CN103383595B CN 103383595 B CN103383595 B CN 103383595B CN 201310157484 A CN201310157484 A CN 201310157484A CN 103383595 B CN103383595 B CN 103383595B
Authority
CN
China
Prior art keywords
face
region
image
user
determines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310157484.6A
Other languages
English (en)
Other versions
CN103383595A (zh
Inventor
孙秉准
金烘逸
洪泰和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130046000A external-priority patent/KR20130123316A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201711204851.8A priority Critical patent/CN107831904B/zh
Publication of CN103383595A publication Critical patent/CN103383595A/zh
Application granted granted Critical
Publication of CN103383595B publication Critical patent/CN103383595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

提供了一种通过检测输入图像中的人脸或者眼睛控制移动终端的装置和方法。所述方法包括：在面向移动终端的正面上配备的图像输入单元并被其捕获的输入图像上执行人脸识别，基于人脸识别，确定用户状态信息，和，根据用户状态信息执行移动终端的预定的功能，用户状态信息包括：用户是否存在、用户人脸的方向、距移动终端的距离，和/或用户人脸的位置。根据所述方法，可以控制移动终端的功能而无需来自用户的直接输入。

Description

基于用户人脸的分析控制移动终端的装置和方法
技术领域
本发明一般地涉及图像处理装置和方法，并更具体地涉及基于输入图像中用户人脸的分析控制移动终端的装置和方法。
背景技术
移动终端已日益扩展其服务和额外的功能，其中，照相机功能被视为关键功能。为了增加移动终端的有用性和满足用户的不同期望，要求具有照相机的移动终端与其服务和额外功能的组合。作为组合的例子，存在从通过照相机输入的图像识别人脸的技术。人脸识别技术已被发现在很多的应用领域中非常重要，例如表情研究、驾驶员的困倦检测，或者身份检查。
在人脸识别技术中存在一种方法，其中，在从照相机捕获的图像中识别三个或者更多个特征，例如脸、眼睛、嘴、颌、眉毛、面部轮廓等，图像的转动方向针对参考方向确定，并且图像沿所确定的转动方向显示。此外，存在通过识别用户的面部轮廓及其眼睛、颌和嘴的位置，计算连接双眼的线的转动角度，并确定信息的显示方向来显示信息的技术。就此而言，面部识别过程要求检测图像中的很多面部组成部分或者特征（诸如脸、眼睛、嘴、颌等）的正确位置。
这样，由于大多数常规技术基于用户脸部以及例如眼睛、嘴、颌等至少一个面部组成部分的检测，从脸部被任何其他目标所遮蔽的图像或者因特定视角所致仅有脸部的一部分被捕获的图像，它们可能无法获得正常的人脸识别结果，也不能正确地执行和人脸识别结果对应的功能。
此外，对于人脸识别技术，为了正确的人脸识别，需要完成正确的眼睛检测技术。但是，常规技术只关注检测脸部图像中眼睛位置的检测，并且不考虑脸部检测已经失败的情形。因此，存在对于即使在脸部检测已经失败的情形下也正确地检测眼睛位置的需求。
此外，为了让用户执行移动终端的期望的操作，必须使用例如小键盘或者触摸屏的硬件接口。如果有可能通过眼睛检测控制移动终端而无需来自用户的直接输入，则其确保了更高质量的用户体验。
发明内容
已经做出了本发明来至少解决上面描述的问题和缺点，并至少提供下面描述的益处。因此，本发明的一个方面提供了通过检测输入图像中的人脸或者眼睛而无需来自用户的直接输入来控制移动终端的装置和方法。
本发明的一个方面还提供了即使在输入图像中未检测到人脸也通过眼睛检测来控制移动终端的装置和方法。
本发明的另一方面提供了甚至在输入图像中的部分人脸上执行人脸检测的装置和方法。
根据本发明的一个方面，提供了一种用于基于用户人脸的分析控制移动终端的装置，所述装置包括：图像输入单元；图像处理器，用于在通过图像输入单元接收到输入图像时，在输入图像上执行人脸检测或者眼睛检测；以及，控制器，用于基于来自图像处理器的人脸识别结果或者眼睛识别结果确定用户状态信息，并控制根据用户状态信息来执行移动终端的预定的功能。
根据本发明的另一方面，提供了一种在移动终端中基于用户人脸的分析控制功能的方法，所述方法包括：在发生预定的事件时，驱动图像输入单元，在通过图像输入单元接收到输入图像时，在输入图像上执行人脸检测；如果人脸检测失败则在输入图像上执行眼睛检测；基于人脸识别结果或者眼睛识别结果，确定用户状态信息；以及，根据用户状态信息，执行移动终端的预定的功能。
附图说明
通过结合附图详细描述本发明的实施例，本发明的上述和其他特征和益处将更为清晰，在附图中：
图1是根据本发明实施例的移动终端的框图。
图2是根据本发明实施例的移动终端操作的流程图；
图3是图2流程图的人脸和眼睛检测操作的详细过程的流程图；
图4根据本发明实施例示出了沿各个方向的人脸检测的图；
图5根据本发明实施例示出了眼睛检测的图；
图6根据本发明实施例示出了眼睛候选区域检测的图；
图7根据本发明实施例示出了输入图像中可能的人脸位置；
图8根据本发明实施例示出了说明使用人脸确定区域的扫描方法的图像帧；
图9A和图9B根据本发明实施例示出了在不同比例的图像帧中人脸确定区域的移动；
图10根据本发明实施例示出了位于图像帧的边缘的人脸确定区域和该图像帧之间的位置关系；
图11A根据本发明实施例示出了其中部分人脸图像位于靠近图像帧的右边缘的图像帧；
图11B根据本发明实施例示出了在不同扫描位置处被包括在人脸确定区域中的人脸图像；
图11C根据本发明实施例示出了通过镜像方法补偿的图像；
图12是根据本发明实施例说明镜像方法的图；
图13根据本发明实施例示出了其中部分人脸位于底部右下角的底部的图像帧；
图14根据本发明实施例示出了预定的人脸模板；
图15是根据本发明实施例的图像补偿方法的流程图；
图16是根据本发明另一实施例的图像补偿方法的流程图；和
图17是根据本发明另一实施例的图像补偿方法的流程图。
具体实施例
现在将详细参考本发明的实施例，在附图中示出了它们的例子，其中，相同的参考数字通篇指示相同的元件。就此而言，本发明的实施例可以具有不同的形式，并且不应该被视为限于这里给出的描述。因此，下面通过参考附图描述这些实施例仅为了说明本发明的各方面。
本发明提供了一种通过检测输入图像中的人脸或者眼睛控制移动终端的方法。所述方法包括：在面向移动终端的正面上配备的图像输入单元并被其捕获的输入图像上执行人脸识别；基于人脸识别，确定用户状态信息，和，根据用户状态信息执行移动终端的预定的功能，其中用户状态信息包括：用户是否存在、用户人脸的方向、距移动终端的距离，和/或用户人脸的位置。根据所述方法，可以控制移动终端的功能而无需来自用户的直接输入。
现在将结合图1描述移动终端的特征和操作。图1是根据本发明实施例的移动终端的框图。移动终端可以是智能电话机、蜂窝电话机、游戏控制台、电视机、显示设备、车辆头部单元、笔记本计算机、膝上型计算机、平板个人计算机（PC）、个人媒体播放器（PMP）、个人数字助理（PDA），等等。
参考图1，移动终端主要包括图像输入单元100、图像处理器105、控制器120、存储器130、显示单元140和通信单元150。在移动终端中还可以包括例如麦克风的其他部件，但是下面的描述将只描述与本发明实施例有关的部件。
配备在移动终端正面的图像输入单元100面向用户，并且起到捕获用户的人脸的作用。图像输入单元100可以是例如照相机，包括透镜系统、图像传感器、闪光灯等。用户可以通过图像输入单元100捕获视频图像或者静态图像，并且其前方被捕获或者其中捕获了用户的图像被在图像信号中传递到图像处理器105。在处理构成静态图像或者视频图像的图像帧时，由按M×N矩阵排列的多个像素组成的图像传感器输出的图像信号对应于从像素输出的一组电压，即一组像素值。从图像输入单元100输出的图像信号代表单个帧，即静态图像。该帧由M×N个像素组成。图像传感器可以是电荷耦合器件（CCD）图像传感器、互补金属氧化物半导体（CMOS）等。
一般，被图像输入单元100捕获的图像被显示在显示单元140上供预览，但是在本发明的实施例中，输入图像可以不在显示单元140上显示，其中特定功能或者特定应用程序正被用户激活时，通过使用人脸检测结果或者眼睛检测结果，智能地控制移动终端的特定功能或者特定应用程序。因此，尽管用户未识别被捕获的他自己/她自己，但是用于控制移动终端的直观输入可以由用户调整移动终端和用户之间的距离、眼睛大小等做出。
图像处理器105通过处理帧单元中的图像，在被捕获的图像上执行人脸识别。人脸识别不仅可以应用于如照片的静态图像，也可以应用于视频图像。例如，在视频的情况下，视频由连续的静态图像帧组成，所以可以在人脸识别中使用这些静态图像帧。
如果人脸图像被包括在输入图像中，则图像处理器105提取并识别人脸图像，或者，如果人脸图像未被包括在输入图像中，则通过检测眼睛执行识别。为此，图像处理器105主要包括人脸检测器110和眼睛检测器115。后面将详细描述人脸检测器110的操作。
人脸识别被基于移动终端中所包含的人脸识别算法执行，并且使用通过使用关于目标的整个人脸的轮廓信息标识人脸的方法，或者使用用到面部皮肤的颜色和/或纹理、模板等等的人脸提取技术。例如，图像处理器105可以利用许多人脸图像执行人脸学习，并且可以基于累积的人脸学习数据从输入的图像帧检测人脸图像。
此外，眼睛检测基于眼睛识别算法，并且一般地，人脸检测之后在所检测的人脸区域的受限部分中检测眼睛。在输入区域中使用双眼也可以用来检测眼睛。具体来说，在本发明的实施例中，如果在输入图像中未检测到人脸，则在整个输入图像内，或者在预定的感兴趣的区域中，使用执行眼睛检测的方法。
存储器130存储移动终端的操作系统、各种应用程序、输入到移动终端的信息、数据或者文件，以及在移动终端中生成的信息、数据或者文件。例如，存储器130存储例如照片、视频等的图像，以及识别被图像输入单元100捕获的目标人脸的人脸识别算法，以及要在人脸识别中使用的数据。例如，存储器130可以存储关于要在人脸检测中使用的人脸的信息，以及每一用户的面部特征信息，所述面部特征信息被预先注册，以便在人脸识别中使用。存储在存储器130中的要在人脸识别中使用的人脸信息可以通过重复的人脸识别来学习和更新。
显示单元140基于从控制器120输入的图像信号显示图像，并把接收的用户输入数据传递到控制器120。显示单元140包括例如液晶显示器（LCD）、有机发光二极管（OLED）或者LED的显示部分，以及设置在显示部分下部或者顶部的触摸面板。触摸面板检测用户输入。当用户输入装置（例如，手指、铁笔等）按压显示部分的表面时，触摸面板输出检测信号（或者触摸检测信号），其具有关于输入位置（或者坐标）和/或输入状态（例如，鼠标按下、鼠标释放、鼠标移动等）的信息。例如，用户通过触摸在显示单元140的屏幕（即表面）上显示的项目，运行和各种可执行项目相关的应用程序。显示单元140是用于接收用户输入并用于输出和应用程序（例如照相机应用程序或者视频通信应用程序）相关的屏幕的装置。在本发明的实施例中，显示单元140使用触摸屏作为例子，但是显示单元140也可以只配置显示部分。
通信单元150通过有线连接或者无线地传送由控制器120生成的消息、数据，和/或文件，或者把通过有线连接或者无线地接收到的消息、数据，和/或文件传递到控制器120。
传感器单元160检测移动终端的位置、方向或者移动，并且可以利用惯性传感器实施，例如加速度计、陀螺仪、冲击传感器或者倾斜传感器、高度仪、重力传感器、地磁传感器或者它们的组合。本发明不限于此，但是传感器单元160也可以利用不同类型的传感器实施，它们可以检测转动方向、移动方向，或者倾斜水平。
扬声器170把从控制器120输入的声音信号（或者语音数据）输出到空气中，具体地，通过在控制器120的控制下，根据人脸方向向左或者向右产生立体声来输出声音信号。或者，在控制器120的控制下，根据眼睛大小以不同的音量输出声音信号。
控制器120是中央处理单元（CPU），其控制移动终端的一般操作，并起到实施基于用户人脸的分析控制移动终端的功能的方法的作用。控制器120检测各种用户输入，不只通过触摸屏的显示单元140接收的，还有通过图像输入单元100接收的。用户输入可以包括被输入到图像输入单元100中的不同形式的信息，例如触摸、用户手势、瞳孔移动等。控制器120响应于用户输入，控制预定的操作或者功能在移动终端中被执行。
具体来说，控制器120使用来自图像处理器105的人脸和/或眼睛检测结果，估计人脸或者眼睛的大小、位置和角度。因此，控制器120基于人脸和/或眼睛检测结果确定用户状态信息。用户状态信息包括以下的至少一个：用户的存在或者不存在、用户人脸的方向、移动终端和用户之间的相对距离，和/或用户人脸的位置。
具体来说，控制器120基于在输入图像中是否已经检测到人脸或者眼睛确定用户的存在还是不存在，并根据屏幕中人脸或者眼睛的百分比，即人脸大小或者眼睛大小，估计在移动终端和用户之间的相对距离。控制器120还通过使用检测到人脸的角度和位置（例如在0°、90°、180°和270°中）确定用户人脸的方向和位置。即使在输入图像中未检测到人脸时，控制器120还可以根据眼睛位置和角度确定用户人脸的方向和位置。
随后，控制器120控制根据用户状态信息执行预定的功能。在下面的实施例中可以分类和描述根据用户状态信息的预定的功能。
在本发明的第一实施例中，如果在用户使用移动终端的同时已经过去了预定的时间，则控制器120将显示单元140关闭并激活屏幕锁定模式。当屏幕锁定模式被激活时，控制器120驱动图像输入单元100捕获移动终端前方的事物，基于从图像处理器105提供的人脸或者眼睛检测结果确定用户的存在或不存在，并且，如果确定用户存在于移动终端之前或者前方，则控制把屏幕解锁。在那之后，即使已经经过预定的时间，只要在输入图像中检测到用户人脸，控制器120就保持显示器140打开。在这种情况下，为了解锁屏幕不要求额外的输入，例如特定的键、口令和/或锁定图案，从而提高了用户便捷性。否则，如果确定在移动终端之前不存在用户，则控制器120保持屏幕锁定模式。
这样，根据本发明的第一实施例，控制器120控制屏幕锁定和屏幕点亮时间的延长。例如，即使在用户在观看视频时离开其座位时，视频也被继续播放，直到用户选择暂停视频为止。但是，在本发明的实施例中，如果因为在输入图像中未检测到人脸或者眼睛而确定用户不存在，则控制器120可以暂停视频而无需单独的按键输入。
在本发明的第二实施例中，控制器120在通过传感器单元160检测到移动终端的转动时驱动图像输入单元100。然后，图像处理器105使用提供的人脸和/或眼睛检测结果来确定用户人脸的方向。因此，控制器120根据用户人脸的方向确定显示屏幕的方向。换句话说，尽管移动终端已经被转动，但是显示屏幕的方向被基于用户人脸的方向优先确定，所以用户总是可以看到沿着其方向的屏幕。这样，根据本发明的第二实施例，屏幕转动功能可以被智能地控制。
在本发明的第三实施例中，控制器120根据用户人脸的方向，通过扬声器170向左或者向右发出立体声。
在本发明的第四实施例中，在进行视频呼叫或者播放视频时，控制器120根据从人脸大小或者眼睛大小估计的移动终端和用户之间的距离，改变声音输出。
根据前述实施例，在用户使用移动终端时，用户可以直观地控制移动终端而无需直接输入，并且移动终端智能地控制其自身。
图2是根据本发明实施例的移动终端操作的流程图。
参考图2，如果在步骤200中发生了预定的事件，则控制器120在步骤205中驱动图像输入单元100。预定的事件既包括移动终端硬件上的改变，也包括软件上的改变，例如移动终端的转动或者晃动、照明变化、进入的呼叫、接收文本消息，以及在智能电话应用程序中做出的通知。
然后，在步骤210中，图像处理器105丢弃从图像输入单元100输入的初始图像帧，并在随后的输入图像上执行人脸识别。因为包括曝光、对焦、白平衡等的照相机参数尚未被针对周期环境完全设置，在驱动图像输入单元100之后输入的初始图像可能比较暗并且对焦不准，因此跳过至少一个初始输入图像并使用自动设置完成之后的图像帧较为合适。
如果在步骤215中，使用人脸识别算法在输入图像上的人脸识别是成功的，则方法前进到步骤225。否则，在步骤215中，如果人脸识别失败，则图像处理器105执行眼睛检测，并确定眼睛检测是否成功。如果眼睛检测失败，则方法返回到步骤210，在步骤210，图像被图像输入单元100再次接收。如果，在步骤220中，眼睛检测是成功的，或者，在步骤215中成功的人脸检测之后，在步骤225中，控制器120基于从图像处理器105提供的人脸检测结果和/或眼睛检测结果分析用户状态信息。具体来说，控制器120在输入图像中检测到人脸或者眼睛之时，确定用户存在，并分析看着移动终端的用户人脸的位置和方向，以及距移动终端的相对距离。
接着，在步骤230中，根据所分析的用户状态信息控制移动终端的功能。例如，当发生预定的事件（例如接收文本消息）时，为了通过屏幕通知用户接收到文本消息，用户需要正看着屏幕。因此，如果检测到人脸或者眼睛，则控制器120在显示单元140上显示该文本消息。
图3是图2的参考数字240代表的用于执行人脸识别或者眼睛识别的步骤的详细描述的流程图。即，图3示出了图2的人脸检测和眼睛检测的详细过程，并且为了更好的理解本发明，将参考图4和图5。一般地，由于移动终端经常被在0°、90°、180°和270°角度其中之一使用，所以输入图像中的用户人脸可能被定位在0°、90°、180°和270°角度其中任何一个，如图4中那样，分别由参考数字400、410、415和420代表。
参考图3，在步骤300中接收输入图像之后，图像处理器105执行步骤305到320以确定在0°、90°、180°和270°角度的任何一个处是否检测到人脸。如果在0°、90°、180°和270°角度中的任何一个处检测到人脸，则在步骤355中，控制器120基于来自图像处理器105的人脸检测的结果，确定人脸的方向。
否则，如果在步骤305到320中的任何一个都未检测到人脸，则图像处理器105执行步骤325到340以确定在0°、90°、180°和270°角度中的任何一个处是否检测到眼睛。例如，尽管图像输入单元100被驱动并开始捕获图像，但是当前运行的应用程序的屏幕被输出而非预览屏幕被输出，因此，用户不知道其正在被捕获，结果是位于图像输入单元110的正确捕获范围之外。因此，如图5中所示，可能仅捕获人脸的一部分500、510或520。
在这种情况下，即使输入图像中的人脸检测已经失败了，也可以检测眼睛505、515或525。为此，如图5中所示，具有双眼525的图像520可以被捕获，或者，可以捕获具有单眼505或者515的图像500和510。本发明提供了在具有双眼以及单眼的图像上执行眼睛检测的方法。
下面将描述眼睛检测方法。在0°、90°、180°和270°角度其中任何一个检测到眼睛之后，在步骤350中，控制器120确定人脸的顶部或者底部方向。然后，在步骤355中，确定人脸方向，并且在步骤360中，确定是否根据确定的人脸方向转动屏幕。例如，如果图4中的参考数字415所代表的用户人脸被在180°的角度检测到，则用户在移动终端上被上下颠倒定位，并且从用户看到移动终端的屏幕被上下颠倒。根据本发明实施例，移动终端的屏幕可沿着检测到用户人脸的方向转动。即，移动终端的屏幕被沿着用户人脸的方向转动并显示。
在另一方面，使用下列用到了皮肤颜色、眼睛模板等的方法执行眼睛检测。具体来说，本发明的实施例提供了一种在具有双眼以及单眼的输入图像上执行眼睛检测的方法。
具体来说，图像处理器105在整个输入图像上或者在预定的感兴趣的区域上执行眼睛检测。对此，为了放缓眼睛检测速度，可以基于检测眼睛的位置执行局部眼睛检测，所述眼睛位置被从先前图像帧获取。此外，可以使用皮肤颜色来执行眼睛检测，这将被参考图6描述。
图像处理器105利用眼睛识别算法检测一个或多个眼睛候选区域。例如，通过例如数字化输入图像的过程提取可能是眼睛候选的封闭曲线，或者通过使用眼睛的颜色（即使对于具有无黑色瞳孔的眼睛的白种人）在输入图像中倾向于呈现炭黑色的特性，检测眼睛候选区域。通过这么做，和在检测到的人脸区域上执行的一般眼睛检测相比，一个或更多个眼睛候选区域可以被检测，并且某些眼睛候选区域可能远离实际眼睛区域。
因此，在本发明的实施例中，在通过眼睛识别算法检测到一个或多个眼睛候选区域的情况下，提供了使用皮肤颜色的眼睛检测方法来从所检测的眼睛候选区域消除不正确地检测的眼睛区域。
为了实施该方法，图像处理器105通过使用检测到的一个或多个眼睛候选区域的Y、Cb、Cr的值，计算皮肤颜色区域和非皮肤颜色区域的百分比，并使用所述百分比执行眼睛检测。和皮肤颜色对应的Y、Cb、Cr的值的范围被基于预定的阈值Ty、B1、B2、R1、R2确定，并且和满足下列等式(1)的Y、Cb、Cr对应的像素值被确定是在皮肤颜色区域中。
等式(1)
(Y＞Ty)and(B1<Cb＞B2)and(R1<Cr<R2)
预定的阈值可以依据周围环境变化，例如人种群、照明条件，等等。
图6中示出了皮肤颜色区域和非皮肤颜色区域的百分比的计算。参考图6，图像处理器105中的眼睛检测器115检测眼睛候选区域，并把检测到的眼睛候选区域沿着垂直方向划分为三个区域600、605和610，并沿水平方向划分为四个区域。然后，图像处理器105计算区域600和610中皮肤颜色的比例S，并计算中间区域605的阴影部分，即区域605的1/4到3/4部分615中非皮肤颜色的比例NS。利用由等式(1)代表的要求，使用检测到的眼睛候选区域的Y、Cb、Cr的值，确定和皮肤颜色对应的像素值。
一旦如上所述获得了眼睛候选区域中的皮肤颜色的比例S和非皮肤颜色的比例NS，则皮肤颜色的比例S和非皮肤颜色的比例NS被分别与预定的阈值Ts和Tn进行比较。如果比较满足下列的等式(2)，则确定眼睛检测是成功的，否则，确定其为不正确的检测。
等式(2)
(S>Ts)and(NS>Tn)
因此，满足等式(2)的一个或多个眼睛候选区域其中之一被最终确定为检测到眼睛的地方。使用消除被不正确地检测的眼睛候选区域的方法有助于在不仅具有双眼而且具有单眼的图像中更容易的眼睛检测。沿水平和垂直方向划分眼睛候选区域不限于图6中所示。
例如，图像处理器105可以收集正常的眼睛图像和经常被误认为眼睛图像的图像，在收集的图像上执行眼睛学习，并基于通过眼睛学习累积的眼睛学习数据检测输入图像中的眼睛。
根据本发明实施例，尽管人脸未被作为一个整体检测，但是眼睛检测可以指示用户的存在，并且看着移动终端的用户人脸的方向被通过在输入图像上以0、90、180和270度顺次执行眼睛检测来估计。人脸检测被首先在四个方向上执行（顶部、底部、左边和右边），并且，如果找到人脸，则使用人脸检测过程来确定用户人脸的方向，或者，如果未找到人脸，则眼睛检测过程开始。和人脸检测类似，眼睛检测被在四个方向上执行，并且通过使用在人脸检测中已经使用的被转动图像来减少计算量。如果眼睛检测在四个方向的任何一个上失败了，则其被重复，直到在特定方向上检测到眼睛为止。跟着特定方向上的眼睛检测的是确定人脸的顶部和底部方向的过程。
和人脸检测不同，眼睛检测过程自身不带来关于人脸的顶部和底部方向的信息，因此，即使从眼睛候选区域中确定了最终眼睛区域，也要求额外的过程来确定人脸的顶部和底部方向。例如，在确定眼睛方向时，最终眼睛区域的周围区域的图像被针对检测到的单眼或者双眼归一化，并且使用归一化图像来确定人脸的顶部和底部。例如，通过检测眉毛以及眼睛的位置，可以确定人脸的顶部和底部。
在上面描述的实施例中，通过利用学习的关于输入图像中的特定尺寸的人脸的信息进行扫描检测人脸。但是，在利用照相机捕获图像时，由于观察角度或者照相机和人脸之间的距离所致，可能只有人脸的一部分出现在输入图像的边缘。
图7示出了输入图像中可能的人脸位置。参考图7，在输入图像中可能有存在于左上角的人脸700、存在于上（顶部）边缘的人脸705、存在于右上角的人脸710、存在于左边缘的人脸715、存在于图像的中心的人脸720、存在于右边缘的人脸725、存在于左下角的人脸730、存在于下（底部）边缘的人脸735，或者存在于右下角的人脸740。即，在输入图像的上、下、左、右边缘或者在每个角可能存在部分人脸。
在存在部分人脸700到740（除了在中心具有人脸的720）的那些情况下，人脸不被检测到。由于一般通过使用学习的特定尺寸的人脸图像扫描输入图像来检测人脸，所以部分人脸未从输入图像中识别。在常规技术中，如果单独使用左脸检测器和右脸检测器来检测部分人脸，则输入图像必须包含左脸或者右脸。在这种情况下，由于和已知人脸检测器的低兼容性，人脸检测率显著地下降。此外，检测人脸的左边和右边部分以外的部分可能很困难。
因此，在本发明的实施例中，如果获取了包括部分人脸的图像，则将用下列方法执行人脸检测。
图8示出了一个图像帧，说明使用人脸确定区域的扫描方法。
参考图8，示出了路线830，沿着路线830，使用人脸确定区域810从左上角A到右下角I扫描图像帧800。人脸确定区域810具有预定的大小，并且可以是预训练的人脸检测器。参考图8，在包括多个人脸图像的图像帧800中，存在于靠近图像帧800的边缘的人脸图像可能被部分地切割。换句话说，在图像帧800的边缘可能出现部分人脸。
有鉴于此，本发明提供了利用部分偏离图像帧800的边缘的人脸确定区域810扫描图像帧800的方法。
图9A和图9B示出了在不同比例的图像帧中人脸确定区域810的移动。
参考图9A和图9B，图9A的图像帧800可以被逐渐缩小到图9B的图像帧800。由于人脸确定区域810具有预定的大小，所以和图9A的图像帧800中所包含的人脸确定区域810一样小的人脸可利用人脸确定区域810来检测，而和图9B的图像帧800中所包含的人脸确定区域810一样大的人脸可被利用人脸确定区域810检测。每一图像帧800的比例可以被逐渐改变。
图10示出了位于图像帧800的边缘的人脸确定区域810和图像帧800之间的位置关系。
参考图10，围绕图像帧800的阴影区域（此后称为额外区域）对应于需要被针对人脸检测校正的区域。在人脸确定区域810的尺寸的基础上确定额外区域的宽度和高度。例如，假设人脸确定区域810的宽度是a并且高度是b，人脸确定区域810的初始位置A是图像帧800的左上角，在左上角，人脸确定区域810的中心落在左上角的顶点上。在初始位置A，确定围绕图像帧800的左边缘的额外区域的宽度，以使人脸确定区域810的宽度的一半a/2被包括在图像帧800中，而宽度的另一半a/2被包括在阴影区域中。
类似地，当人脸确定区域810被从左上角沿着水平方向移动并落在右上角C处时，可以确定围绕图像帧800的左边缘的额外区域的宽度。尽管在本发明的实施例中，在左边缘和右边缘，额外区域的宽度被确定为a/2，但是在左边缘和右边缘额外区域的宽度可以基于设置变化，并且也可以被确定为彼此不同。
确定围绕图像帧800的上和下边缘的阴影区域的高度，以使人脸确定区域810的高度的仅一半b/2被包括在图像帧800中。尽管在本发明的实施例中，额外区域的高度在上边缘和下边缘被确定为b/2，但是在上边缘和下边缘，额外区域的高度可以基于设置变化，并且也可以被确定为彼此不同。
同时，在人脸确定区域810被从左上角A的初始位置移动到右上角C之后，人脸确定区域810被再次移动到左边缘。人脸确定区域810的中心被相应地移动到由920指示的位置。在这个位置，人脸确定区域810的b的上三分之一在左上角A和人脸确定区域810重叠。为了扫描，人脸确定区域810被移动，直到其达到最终位置，即右下角Ｉ。
图11A示出了其中部分人脸存在于右边缘的图像帧800，并且图11B示出了在不同的扫描位置处，人脸确定区域中所包括的人脸图像。
参考图11A，如果人脸确定位于右边缘，则部分人脸确定区域变为空的。如图11B中所示，在图11A的人脸确定区域1010、1030、1040和1060的不同扫描位置，可以包括人脸的不同部分。在执行人脸检测之前，各人脸确定区域1010、1030、1040或1060内的每一部分1012、1032、1042或1062被假设具有部分人脸，并且实际上由靠近图像帧800的右边缘的对应像素构成。
当使用如图11A中所示的人脸确定区域1010、1030、1040或1060扫描图像帧800的右边缘时，每一人脸确定区域1010、1030、1040或1060可以被如图11B中所示那样表示。每一人脸确定区域1010、1030、1040或1060包括一个被以像素填充并预期具有部分人脸（此后称为预期区域）的区域（也被称为‘一部分’）1012、1032、1042或者1062，以及空区域（阴影区域）1015、1035、1045或者1065。
在本发明的实施例中，提供了每一人脸确定区域1010、1030、1040或者1060的空区域1015、1035、1045或者1065的补偿。
图11C根据本发明实施例示出了通过镜像方法补偿的图像。
参考图11C，利用镜像方法，用部分人脸区域1012、1032、1042或者1062的像素信息块填充图11B的空区域1015、1035、1045或者1065。因此，如图11C中所示，每一部分人脸区域1012、1032、1042或者1062的相对区域1115、1135、1145或者1165被利用和部分人脸区域1012、1032、1042或者1062相同的像素信息填充。或者，可以使用其他方法，例如修正的统计变换（Modified Census Transform，MCT）、局部二进制模式（Local Binary Pattern，LBP）等来填充相对区域1115、1135、1145或者1165。当在沿着水平或者垂直方向扫描图像帧800之后如上所述补偿人脸确定区域时，可以获得如图11C中所示的被补偿图像。在被补偿的图像中，可能存在从其检测人脸的图像。具体地，如果其中排列例如眼睛、鼻子、嘴的主要面部特征的被补偿图像通过镜像获得，则从被补偿图像1060检测人脸可以被成功地执行。因此，和常规的人脸检测方法相比，本发明即使在部分人脸上也执行成功的人脸检测。
将参考图12详细地描述镜像方法。
参考图12，在人脸确定区域跨过图像帧800的边缘的情况下，从边缘偏离的区域a1210被用和人脸确定区域的阴影区域a'1200相同的图像填充，即区域a1210通过镜像进行补偿。类似地，通过镜像和阴影区域b'1220相同的图像补偿区域b1230。
和在前述实施例中一样，使用镜像方法，针对图像帧800的左/右边缘执行图像补偿方法。在另一实施例中，镜像方法可以被应用于图像帧800的上/下边缘和边角。
图13根据本发明实施例示出了其中部分人脸位于下边缘或者右下角的图像帧800。
参考图13，其中人脸确定区域810的一部分位于图像帧800的下边缘，偏离下边缘的区域（阴影区域）1300显现为空。类似地，如果人脸确定区域810的一部分位于右下角中，则有一个空区域1310被包括在人脸确定区域810内。对于上和下边缘或者边角，本发明的实施例提供了使用预定的模板补偿人脸确定区域810的空区域的方法。在本发明的另一实施例中，为了补偿在边角的人脸确定区域810的空区域，可以采用镜像方法和模板匹配方法两者。具体地，对于右下角上的人脸确定区域810，如图13中所示，通过针对图像帧800的右边缘镜像人脸确定区域810，空区域1310被用对应于眼睛部分的像素填充，然后，针对图像帧800的右边角以下的区域利用模板匹配方法，通过连接是模板图像鼻子以下的脸部部分的那部分，空区域1310被用模板图像的一部分进行填充。
图14示出了预定的人脸模板1400和1410。通过使用预定的人脸模板1400和1410补偿人脸确定区域810的空区域，可以补偿其上部或者下部被切掉的脸部区域。这样，在本发明的实施例中，通过应用镜像方法或模板匹配方法或者两者，位于边缘的部分人脸可以被检测，因此提高了人脸检测性能。
图15是根据本发明实施例的图像补偿方法的流程图。
参考图15，在步骤1500中，控制器120从图像输入单元100接收图像帧，或者从存储器130读出图像帧。尽管本发明实施例被应用于图像帧，但是实施例也可以被应用于每一个顺次输入或者读出的图像帧。本发明的实施例也可以被应用于在进行两个人之间的视频电话或者多方视频会议时或者在任何其他应用程序模式中由照相机现场捕获的图像。此外，尽管在图15中示出控制器120控制人脸检测操作，但是人脸检测操作当然可以由人脸检测器110执行。
在步骤1505中，控制器120确定是否从图像帧检测到整个人脸。可以使用常见的人脸检测方法检测整个人脸，其中，可以采用使用人脸的轮廓、面部皮肤颜色和/或纹理、模板等的人脸提取技术。例如，控制器120可以利用许多人脸图像执行人脸学习，并且可以基于累积的人脸学习数据从输入的图像帧中检测整个人脸图像。
如果检测到整个人脸，则在步骤1540中控制器120存储检测的脸部信息。脸部信息可以用来控制例如移动终端的预定的功能。
否则，如果未检测到整个人脸，则在步骤1510中确定是否检测到从图像帧切去的目标。例如，如果边缘检测发现了不连续的边缘线，则可以确定存在不完整的目标。在这种情况下，该不完整的目标可能是部分人脸。这里，为了检测人脸，应该针对围绕图像帧800的边缘的额外区域执行补偿。如果在步骤1510中未检测到不完整目标，则人脸检测过程结束。
如果在步骤1510中检测到不完整目标，则在步骤1515中，控制器120确定镜像是否可能。例如，控制器120可以确定人脸确定区域是否位于图像帧800的左或者右边缘、在人脸确定区域中是否存在用于镜像的对称轴线，例如基于鼻子的垂直轴线，和/或是否存在从对称轴线切掉的部分。
如果镜像是可能的，则在步骤1520中，控制器120以和结合图12描述的相同的方式执行镜像。否则，如果镜像不可能，则在步骤1525中，控制器120执行模板匹配。随后，在步骤1530中，控制器120在包括通过镜像或者模板匹配补偿的区域的人脸确定区域上执行人脸检测。通过应用常见的人脸检测算法来执行人脸确定区域上的这种人脸检测。然后，在步骤1535中，控制器120确定从人脸确定区域中是否检测到人脸。如果脸部信息被包括在人脸确定区域中，则在步骤1540中，控制器120检测人脸并存储脸部信息。否则，如果未检测到人脸，则控制器120结束人脸检测过程。为了沿水平方向或者垂直方向利用人脸确定区域扫描图像帧，步骤1510到步骤1530应该被重复地执行。
依赖于部分人脸的大小以及部分人脸在屏幕中出现的程度，还可以施加自适应地确定部分人脸的有效性的步骤。可以要求确定部分人脸的有效性的步骤，因为如果在边角周围仅存在包括嘴的部分人脸，并且即使该部分人脸被检测为人脸，人脸信息可能仍不适合或者不足以用来控制移动终端的功能。换句话说，考虑到部分人脸信息的脆弱性，可以执行确定部分人脸的有效性的步骤来缓解错误检测的概率，并且依赖于应用程序，可以可选择地增加或者排除该步骤。
图16是根据本发明另一实施例的图像补偿方法的流程图。步骤1600到步骤1610的详细描述将被省略，因为它们和图15的步骤1500到1510相同。
在步骤1615中，控制器120确定人脸确定区域是否位于图像的边缘上。如果人脸确定区域位于图像的边缘上，则在步骤1620中执行镜像，并且在步骤1625中在包括通过镜像补偿的区域的人脸确定区域上执行人脸检测。如果在步骤1615中人脸确定区域不位于边缘，则在步骤1630中执行人脸检测。如果在步骤1630中检测到人脸，则在步骤1650中存储检测到的人脸信息。如果在步骤1630中未检测到人脸，则在步骤1635中进一步执行模板匹配。随后，在步骤1640中，控制器120在包括通过模板匹配补偿的区域的人脸确定区域上执行人脸检测。通过对图像帧800的边角应用镜像和模板匹配两者，可以执行有效的部分人脸检测。步骤1645和1650的详细描述也将被省略，因为它们和图15的步骤1535和1540相同。尽管在图16中，镜像之后跟着模板匹配，但是在其他的实施例中，可以只应用镜像或者模板匹配其中之一，或者，模板匹配之后可以跟着镜像。
图17是根据本发明另一实施例的图像补偿方法的流程图。
参考图17，步骤1700和1705的详细描述将被省略，因为它们和图15的步骤1500和1505相同。
在步骤1710中，控制器120确定人脸确定区域的部分是否偏离图像帧的左或者右边缘。如果人脸确定区域的部分偏离图像帧的左或者右边缘，则在步骤1715中控制器120以和图12中所执行的相同的方式执行镜像。否则，如果人脸确定区域的部分未偏离图像帧的左或者右边缘，则在步骤1720中，控制器120确定人脸确定区域是否从图像的边角偏离，例如图像的左上角或者左下角。如果人脸确定区域的部分从边角偏离，则在步骤1725中，控制器120执行镜像，跟着是模板匹配。否则，如果人脸确定区域的部分未从图像的边角（例如图像的左上角或者左下角）偏离，则在步骤1730中，控制器120确定人脸确定区域的部分是否从图像的顶部或者底部偏离。如果人脸确定区域的部分从图像的顶部或者底部偏离，则控制器120执行模板匹配。如果人脸确定区域的部分不偏离图像的顶部或者底部，则过程返回到步骤1705。步骤1740到1750的详细描述将被省略，因为它们和图15的步骤1530到1540相同。
前述描述已经把确定用户人脸的方向时使用人脸检测或者眼睛检测信息作为例子，但是来自传感器单元160的传感器信息也可以被使用。例如，一旦传感器单元160检测到移动终端的转动，则移动终端的例如转动方向、移动方向和倾斜水平的转动信息可被使用。在这种情况下，可以不像图4中那样在所有四个方向上对输入图像执行人脸检测，而是针对移动终端的转动方向沿着特定方向执行。为此，如果移动终端在用户正看着其屏幕时被转动，则人脸分析结果表明用户人脸的方向不是朝着移动终端的屏幕的前方，因此，屏幕的显示方向可能需要被转动以适应用户的注视。否则，如果用户未转动移动终端，但是人脸检测结果表明用户人脸的方向已经改变，则屏幕显示方向可被改变，以便和用户人脸的方向对应。
根据本发明，通过分析用户状态智能地控制硬件和软件来控制移动终端，而非根据用户预先建立的设置进行控制，从而提高了用户便捷性，用户状态例如是用户的存在或不存在、移动终端和用户之间的距离，等等。
根据本发明，当人脸检测失败时，人脸检测可以被眼睛检测代替，并且眼睛检测信息被用来确定用户的存在或不存在，基于用户的存在或不存在，显示单元的屏幕的点亮时间和/或开/关可以被控制，并且在视频播放中暂停屏幕的功能也可以被提供给用户。
此外，通过根据和常规方法相比改善的控制移动终端的方法，估计朝着移动终端的用户人脸的方向来智能地控制屏幕转动，并提供根据眼睛大小的改变智能地控制移动终端的音量的服务，使用移动终端时的用户便捷性可以被提高。因此，用户可以更方便并更直观地使用移动终端，从而提高了用户体验的质量。
此外，根据本发明，部分人脸，即使出现在靠近图像的边缘，也可以被检测，从而显著地降低了错误识别的可能性，因而给用户提供了对应于人脸检测结果的更平稳的功能。
将会理解，本发明的实施例可以用硬件、软件或者硬件和软件的组合的形式实施。软件可以被作为可在处理器上执行的程序指令或计算机可读代码存储在计算机可读介质上。计算机可读记录介质的例子包括：磁性存储介质（例如ROM、软盘、硬盘等）和光学记录介质（例如CD-ROM或DVD）。计算机可读记录介质也可以被分布在联网的计算机系统上，所以计算机可读代码被以分布式方式存储和执行。这种介质可被计算机读取、存储在存储器中，并被处理器执行。存储器可以是适于存储具有实施本发明实施例的指令的程序的计算机可读记录介质的例子。不偏离本发明的精神和范围，对于本领域技术人员来说，许多修改和改编将会容易明了。
移动终端可以通过到其的有线或者无线连接从程序提供者接收和存储程序。程序提供者可以包括具有执行基于用户人脸的分析控制移动终端的方法的指令的程序、用于存储基于用户人脸的分析控制移动终端的方法所要求信息的存储器、用于通过有线或者无线地与移动终端通信的通信单元，以及用于从移动终端接收请求并把对应的程序传递到移动终端的控制器。
虽然已经参考本发明的某些实施例具体示出并描述了本发明，但是本领域技术人员将会理解，不偏离本发明的如下列权利要求限定的精神和范围，就可以对其做出形式和细节上的各种变化。

Claims (24)

1.一种用于基于用户人脸的分析控制移动终端的装置，所述装置包含：
图像输入单元；
图像处理器，被配置成在通过图像输入单元接收到输入图像之后，在输入图像上执行人脸检测并且如果人脸检测失败则执行眼睛检测；和
控制器，被配置成基于来自图像处理器的人脸识别结果或者眼睛识别结果确定用户状态信息，并控制来根据用户状态信息执行移动终端的预定的功能。
2.如权利要求1所述的装置，其中，用户状态信息包括以下的至少一个：用户的存在或不存在、距移动终端的距离，以及用户人脸的位置。
3.如权利要求1所述的装置，其中，控制器基于用户人脸的分析结果控制移动终端，其特征在于在预定的事件发生时驱动图像输入单元。
4.如权利要求3所述的装置，其中，控制器：如果屏幕锁定模式开始，则驱动图像输入单元，如果从对来自图像输入单元的输入图像的识别结果确定用户存在，则解锁屏幕，并且，只要确定用户存在，则即使已经过去了预定的时间也保持屏幕不被锁定。
5.如权利要求1所述的装置，其中，图像处理器利用人脸识别算法确定在输入图像中是否检测到人脸，并且，如果人脸检测失败，则利用眼睛识别算法在输入图像上执行眼睛检测。
6.如权利要求5所述的装置，其中，图像处理器利用眼睛识别算法检测一个或多个眼睛候选区域，并根据使用皮肤颜色的眼睛检测方案从所检测的眼睛候选区域中确定最终眼睛区域。
7.如权利要求6所述的装置，其中，图像处理器把检测到的眼睛候选区域沿水平方向和垂直方向划分为预定数量的区域，计算沿垂直方向划分的除中间区域以外的区域中皮肤颜色的比例和沿水平方向划分的一部分区域中非皮肤颜色的比例，并且，如果所计算的皮肤颜色和非皮肤颜色的比例分别大于预定的阈值，则确定区域为最终眼睛区域。
8.如权利要求6所述的装置，其中，图像处理器通过使用检测到的眼睛候选区域的Y、Cb和/或Cr的值确定对应于皮肤颜色的像素值。
9.如权利要求6所述的装置，其中，图像处理器在确定最终眼睛区域之后，通过把最终眼睛区域的周围区域归一化来确定人脸的顶部和底部。
10.如权利要求1所述的装置，其中，在通过水平或者垂直地移动人脸确定区域扫描输入图像的同时，图像处理器使用镜像方法和模板匹配方法其中至少一个补偿人脸确定区域的偏离输入图像的边缘的部分。
11.如权利要求10所述的装置，其中，如果人脸确定区域移动到人脸确定区域的一部分偏离输入图像的左或者右边缘的位置，则图像处理器通过使用镜像方法，利用图像中所包括的人脸确定区域的部分的像素信息填充该部分来补偿所述部分，并从包括被补偿部分的人脸确定区域检测部分人脸。
12.如权利要求10所述的装置，其中，如果人脸确定区域移动到人脸确定区域的一部分偏离输入图像的上或者下边缘的位置，则图像处理器通过使用模板匹配方法把从模板匹配产生的图像连接到所述部分来补偿所述部分，并从包括被补偿部分的人脸确定区域检测部分人脸。
13.如权利要求10所述的装置，其中，如果人脸确定区域移动到人脸确定区域的一部分偏离输入图像的边角的位置，则图像处理器通过既应用镜像方法也应用模板匹配方法来补偿所述部分，并从包括被补偿部分的人脸确定区域检测部分人脸。
14.一种在移动终端中基于用户人脸的分析控制功能的方法，所述方法包含：
在发生预定的事件时，驱动移动终端的图像输入单元；
在通过图像输入单元接收输入图像时，在输入图像上执行人脸检测；
如果人脸检测失败则在输入图像上执行眼睛检测；
基于人脸识别结果或者眼睛识别结果，确定用户状态信息；和
根据用户状态信息，执行移动终端的预定的功能。
15.如权利要求14所述的方法，其中，用户状态信息包括以下的至少一个：用户的存在或不存在、距移动终端的距离，以及，用户人脸的位置。
16.如权利要求14所述的方法，其中，驱动图像输入单元包含：
如果屏幕改变到被锁定，则驱动图像输入单元。
17.如权利要求16所述的方法，其中，执行移动终端的预定的功能包含：
如果从识别结果确定用户存在，则解锁屏幕，并且
只要确定用户存在，则保持屏幕不被锁定。
18.如权利要求14所述的方法，其中，执行眼睛检测包含，
利用眼睛识别算法检测一个或多个眼睛候选区域，和
通过使用用到皮肤颜色的眼睛检测方案，从眼睛候选区域中确定最终眼睛区域。
19.如权利要求18所述的方法，其中，通过如下步骤确定最终眼睛区域：把检测到的眼睛候选区域沿水平方向和垂直方向划分为预定数量的区域，计算沿垂直方向划分的除中间区域以外的区域中皮肤颜色的比例和沿水平方向划分的一部分区域中非皮肤颜色的比例，并且，如果所计算的皮肤颜色和非皮肤颜色的比例分别大于预定的阈值则确定区域为最终眼睛区域。
20.如权利要求19所述的方法，其中，通过使用检测到的眼睛候选区域的Y、Cb和/或Cr的值确定对应于皮肤颜色的像素值。
21.如权利要求14所述的方法，还包含：
使用人脸检测区域水平或者垂直地扫描输入图像；和
如果人脸确定区域移动到人脸确定区域的一部分偏离输入图像的边缘的位置，则使用镜像方法和模板匹配方法其中至少一个补偿人脸确定区域的偏离输入图像的边缘的部分。
22.如权利要求21所述的方法，其中，执行人脸检测包含：
如果人脸确定区域移动到人脸确定区域的一部分偏离输入图像的左或者右边缘的位置，则通过使用镜像方法，利用图像中所包括的人脸确定区域的部分的像素信息填充所述部分来补偿所述部分；和
从包括被补偿部分的人脸确定区域检测部分人脸。
23.如权利要求21所述的方法，其中，执行人脸检测包含：
如果人脸确定区域移动到人脸确定区域的一部分偏离输入图像的上或者下边缘的位置，则通过使用模板匹配方法把从模板匹配产生的图像连接到所述部分来补偿所述部分；和
从包括被补偿部分的人脸确定区域检测部分人脸。
24.如权利要求21所述的方法，其中，执行人脸检测包含：
如果人脸确定区域移动到人脸确定区域的一部分偏离输入图像的边角的位置，则图像处理器通过应用镜像方法和模板匹配方法两者来补偿所述部分；和
从包括被补偿部分的人脸确定区域检测部分人脸。
CN201310157484.6A 2012-05-02 2013-05-02 基于用户人脸的分析控制移动终端的装置和方法 Active CN103383595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711204851.8A CN107831904B (zh) 2012-05-02 2013-05-02 电子设备及其操作方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0046548 2012-05-02
KR20120046548 2012-05-02
KR10-2013-0046000 2013-04-25
KR1020130046000A KR20130123316A (ko) 2012-05-02 2013-04-25 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201711204851.8A Division CN107831904B (zh) 2012-05-02 2013-05-02 电子设备及其操作方法

Publications (2)

Publication Number Publication Date
CN103383595A CN103383595A (zh) 2013-11-06
CN103383595B true CN103383595B (zh) 2018-01-02

Family

ID=48428337

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711204851.8A Active CN107831904B (zh) 2012-05-02 2013-05-02 电子设备及其操作方法
CN201310157484.6A Active CN103383595B (zh) 2012-05-02 2013-05-02 基于用户人脸的分析控制移动终端的装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201711204851.8A Active CN107831904B (zh) 2012-05-02 2013-05-02 电子设备及其操作方法

Country Status (6)

Country Link
US (3) US9239617B2 (zh)
EP (1) EP2685352B1 (zh)
JP (1) JP6362831B2 (zh)
CN (2) CN107831904B (zh)
AU (1) AU2013205535B2 (zh)
WO (1) WO2013165198A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013205535B2 (en) * 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
US9165535B2 (en) * 2012-09-27 2015-10-20 Google Inc. System and method for determining a zoom factor of content displayed on a display device
WO2014115186A1 (ja) * 2013-01-24 2014-07-31 富士通株式会社 携帯情報端末、制御方法、制御プログラム
US10904067B1 (en) * 2013-04-08 2021-01-26 Securus Technologies, Llc Verifying inmate presence during a facility transaction
TWI631506B (zh) * 2013-04-29 2018-08-01 群邁通訊股份有限公司 螢幕旋轉控制方法及系統
CN104182114A (zh) * 2013-05-22 2014-12-03 辉达公司 用于调整移动设备的画面显示方向的方法和系统
DE102013015291A1 (de) * 2013-09-14 2015-03-19 Man Truck & Bus Ag Verfahren und Vorrichtung zur Anzeige von visuellen Informationen in einem Fahrzeug, insbesondere in einem Nutzfahrzeug
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
CN103617385B (zh) * 2013-11-27 2016-04-06 福州瑞芯微电子股份有限公司 实现屏幕解锁的终端及方法
CN104699380B (zh) * 2013-12-09 2018-10-12 联想(北京)有限公司 一种信息处理方法及电子设备
JP6144192B2 (ja) * 2013-12-27 2017-06-07 株式会社Ｎｔｔドコモ 画像認識装置、及び画像認識方法
CN103795871A (zh) * 2014-01-22 2014-05-14 宇龙计算机通信科技(深圳)有限公司 一种待机的方法及系统
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9645641B2 (en) * 2014-08-01 2017-05-09 Microsoft Technology Licensing, Llc Reflection-based control activation
KR101677426B1 (ko) * 2015-04-02 2016-11-21 한국과학기술원 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템
CN104808946A (zh) * 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置
CN104915012B (zh) * 2015-06-29 2019-01-11 Oppo广东移动通信有限公司 一种终端的屏幕锁定方法和装置
CN105095881B (zh) * 2015-08-21 2023-04-07 小米科技有限责任公司 人脸识别方法、装置及终端
CN108369480B (zh) * 2015-12-25 2020-09-11 华为技术有限公司 一种人机交互方法及电子设备
WO2017123702A1 (en) * 2016-01-12 2017-07-20 Princeton Identity, Inc. Systems and methods biometric analysis
CN106022209B (zh) * 2016-04-29 2019-09-17 杭州华橙网络科技有限公司 一种基于人脸检测的距离估算和处理的方法及装置
US10176785B2 (en) * 2016-05-17 2019-01-08 International Business Machines Corporation System and method of adjusting a device display based on eyewear properties
CN106125920A (zh) * 2016-06-21 2016-11-16 深圳市金立通信设备有限公司 一种终端及其控制方法
CN106265006B (zh) * 2016-07-29 2019-05-17 维沃移动通信有限公司 一种主视眼的矫正装置的控制方法及移动终端
CN106295533B (zh) * 2016-08-01 2019-07-02 厦门美图之家科技有限公司 一种自拍图像的优化方法、装置和拍摄终端
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
CN106325519A (zh) * 2016-08-31 2017-01-11 周口师范学院 基于眼睛检测的终端屏幕控制装置和方法
US10055818B2 (en) * 2016-09-30 2018-08-21 Intel Corporation Methods, apparatus and articles of manufacture to use biometric sensors to control an orientation of a display
US20190253743A1 (en) * 2016-10-26 2019-08-15 Sony Corporation Information processing device, information processing system, and information processing method, and computer program
CN106791034A (zh) * 2016-11-30 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种消息显示方法及装置
JP6558388B2 (ja) * 2017-03-14 2019-08-14 オムロン株式会社 画像処理装置
US11010595B2 (en) * 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
CN106911861A (zh) * 2017-03-24 2017-06-30 上海与德科技有限公司 一种基于虹膜识别的信息展示方法和装置
JP6795457B2 (ja) * 2017-06-02 2020-12-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
JP7074432B2 (ja) * 2017-06-26 2022-05-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN107357423B (zh) * 2017-06-29 2021-04-13 联想(北京)有限公司 一种信息显示方法和第一电子设备
CN107566650B (zh) 2017-09-12 2020-01-31 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN107831902B (zh) * 2017-11-23 2020-08-25 腾讯科技（上海）有限公司 一种运动控制方法及其设备、存储介质、终端
CN108696630B (zh) * 2018-03-28 2020-06-26 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置、计算机存储介质及设备
CN108810401A (zh) * 2018-04-27 2018-11-13 上海爱优威软件开发有限公司 引导拍照的方法及系统
KR102091088B1 (ko) * 2018-05-31 2020-03-19 윈스로드 주식회사 Ip 카메라를 이용한 얼굴 영상 획득 방법 및 장치
JP7101564B2 (ja) * 2018-08-10 2022-07-15 シャープ株式会社 画像形成装置、制御プログラムおよび制御方法
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
WO2020042843A1 (en) 2018-08-27 2020-03-05 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
CN109492364A (zh) * 2018-09-25 2019-03-19 罗源县凤山镇企业服务中心 一种移动终端的智能解锁方法及终端
CN111679731A (zh) * 2019-03-11 2020-09-18 三星电子株式会社 显示装置及其控制方法
JP7233050B2 (ja) * 2019-04-10 2023-03-06 株式会社ジェイテクト 正姿勢誘導装置及び正姿勢誘導プログラム
CN110083329A (zh) * 2019-04-24 2019-08-02 深圳传音通讯有限公司 终端调节方法及终端
CN110244898A (zh) * 2019-04-24 2019-09-17 维沃移动通信有限公司 控制终端设备的方法及终端设备
CN110191369A (zh) * 2019-06-06 2019-08-30 广州酷狗计算机科技有限公司 图像截取方法、装置、设备及存储介质
CN110148075A (zh) * 2019-06-19 2019-08-20 重庆工商职业学院 一种基于人工智能的学习评价方法及装置
CN110166696B (zh) * 2019-06-28 2021-03-26 Oppo广东移动通信有限公司 拍摄方法、装置、终端设备以及计算机可读存储介质
CN110278485B (zh) * 2019-07-29 2021-04-23 北京华雨天成文化传播有限公司 一种评估视频质量的方法及装置
EP3963566A4 (en) 2019-09-24 2022-12-21 Citrix Systems Inc. SYSTEMS AND METHODS FOR SCREEN BRIGHTNESS CONTROL AND CAR LOCK BASED ON EYE RECOGNITION
US11423692B1 (en) 2019-10-24 2022-08-23 Meta Platforms Technologies, Llc Facial image data generation using partial frame data and landmark data
US11657134B2 (en) * 2019-10-30 2023-05-23 Imatrix Holdings Corp. Eye contact detection device
CN110991239A (zh) * 2019-10-30 2020-04-10 珠海格力电器股份有限公司 一种身份验证方法、装置、设备和计算机可读存储介质
US10923045B1 (en) * 2019-11-26 2021-02-16 Himax Technologies Limited Backlight control device and method
CN111586432B (zh) * 2020-06-05 2022-05-17 广州繁星互娱信息科技有限公司 空播直播间确定方法、装置、服务器及存储介质
KR20230050466A (ko) 2020-09-25 2023-04-14 애플 인크. 사용자 인터페이스들을 내비게이팅하기 위한 방법들
KR20220060926A (ko) * 2020-11-05 2022-05-12 삼성전자주식회사 전자 장치 및 이의 디스플레이 방법
CN112380965B (zh) * 2020-11-11 2024-04-09 浙江大华技术股份有限公司 进行人脸识别的方法及多目摄像机
CN113038282A (zh) * 2021-03-01 2021-06-25 张予立 一种控制视频播放的方法、装置和存储介质
CN115512479B (zh) * 2022-09-09 2024-04-09 北海市冠标智慧声谷科技有限责任公司 管理接待信息的方法以及后端设备
CN116433539A (zh) * 2023-06-15 2023-07-14 加之创(厦门)科技有限公司 一种用于无感知式健康检测的图像处理方法、介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917548A (zh) * 2010-08-11 2010-12-15 无锡中星微电子有限公司 自适应调整画面的摄像装置及方法
CN102111490A (zh) * 2009-12-23 2011-06-29 索尼爱立信移动通讯有限公司 移动终端的键盘自动解锁方法及装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530591B2 (ja) * 1994-09-14 2004-05-24 キヤノン株式会社 音声認識装置及びこれを用いた情報処理装置とそれらの方法
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
DE10338694B4 (de) * 2003-08-22 2005-08-25 Siemens Ag Wiedergabeeinrichtung, umfassend wenigstens einen Bildschirm zur Darstellung von Informationen
GB2414614A (en) 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
JP2005339389A (ja) * 2004-05-28 2005-12-08 Matsushita Electric Works Ltd 画像処理方法および画像処理装置
KR100608596B1 (ko) * 2004-12-28 2006-08-03 삼성전자주식회사 얼굴 검출을 기반으로 하는 휴대용 영상 촬영 기기 및영상 촬영 방법
JP2006295313A (ja) * 2005-04-06 2006-10-26 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
CN100390811C (zh) * 2005-11-03 2008-05-28 中国科学院自动化研究所 实时的从视频中跟踪多个人脸的方法
JP2007200069A (ja) * 2006-01-27 2007-08-09 Noritsu Koki Co Ltd 写真画像処理方法及びその装置
US20080085014A1 (en) * 2006-02-13 2008-04-10 Hung-Yi Chen Active gain adjusting method and related system based on distance from users
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
JP4862447B2 (ja) * 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
JPWO2007119818A1 (ja) 2006-04-14 2009-08-27 日本電気株式会社 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP2008181439A (ja) 2007-01-26 2008-08-07 Sanyo Electric Co Ltd 顔検出装置及び方法並びに撮像装置
US8244068B2 (en) 2007-03-28 2012-08-14 Sony Ericsson Mobile Communications Ab Device and method for adjusting orientation of a data representation displayed on a display
JP4420056B2 (ja) * 2007-04-20 2010-02-24 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
JP5844044B2 (ja) * 2007-11-21 2016-01-13 クアルコム，インコーポレイテッド デバイスアクセス制御
WO2009078155A1 (ja) * 2007-12-14 2009-06-25 Panasonic Corporation 画像判定装置
US8600120B2 (en) * 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
EP2234062A4 (en) * 2008-01-16 2011-06-01 Asahi Chemical Ind FACIAL DETERMINATION DEVICE, FACING PROCEDURE PROCEDURE AND FACE DETERMINATION PROGRAM
US20090219224A1 (en) * 2008-02-28 2009-09-03 Johannes Elg Head tracking for enhanced 3d experience using face detection
KR20090101733A (ko) 2008-03-24 2009-09-29 삼성전자주식회사 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법
JP5160293B2 (ja) * 2008-04-23 2013-03-13 ソニーモバイルコミュニケーションズ， エービー 携帯端末、その表示制御方法および表示制御プログラム
JP5127583B2 (ja) * 2008-06-20 2013-01-23 株式会社豊田中央研究所 対象物判定装置及びプログラム
US8452020B2 (en) 2008-08-20 2013-05-28 Apple Inc. Adjustment of acoustic properties based on proximity detection
US8896632B2 (en) * 2008-09-12 2014-11-25 Qualcomm Incorporated Orienting displayed elements relative to a user
KR101480564B1 (ko) * 2008-10-21 2015-01-12 삼성전자주식회사 안면 인식을 이용한 알람 제어 장치 및 방법
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
CN102043942A (zh) * 2009-10-12 2011-05-04 纬创资通股份有限公司 目视方向判断方法、影像处理方法及其装置、和显示装置
JP2011138449A (ja) * 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法
TWI416288B (zh) * 2010-09-01 2013-11-21 Inventec Corp 可攜式電子裝置及其操作方法
CN201985991U (zh) * 2010-12-28 2011-09-21 上海华勤通讯技术有限公司 自动调节铃声音量和亮度的手机
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US8509541B2 (en) * 2011-06-06 2013-08-13 Infosys Limited Method for eye detection for a given face
AU2013205535B2 (en) * 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111490A (zh) * 2009-12-23 2011-06-29 索尼爱立信移动通讯有限公司 移动终端的键盘自动解锁方法及装置
CN101917548A (zh) * 2010-08-11 2010-12-15 无锡中星微电子有限公司 自适应调整画面的摄像装置及方法

Also Published As

Publication number Publication date
US20170010668A1 (en) 2017-01-12
CN107831904B (zh) 2021-06-01
US9459826B2 (en) 2016-10-04
AU2013205535A1 (en) 2013-11-21
CN107831904A (zh) 2018-03-23
AU2013205535B2 (en) 2018-03-15
WO2013165198A1 (en) 2013-11-07
US10114458B2 (en) 2018-10-30
EP2685352A2 (en) 2014-01-15
EP2685352B1 (en) 2020-11-25
JP6362831B2 (ja) 2018-07-25
US20130293456A1 (en) 2013-11-07
US9239617B2 (en) 2016-01-19
JP2013235582A (ja) 2013-11-21
EP2685352A3 (en) 2014-07-30
CN103383595A (zh) 2013-11-06
US20160085496A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
CN103383595B (zh) 基于用户人脸的分析控制移动终端的装置和方法
US10242364B2 (en) Image analysis for user authentication
US9607138B1 (en) User authentication and verification through video analysis
US11100608B2 (en) Determining display orientations for portable devices
US20200026920A1 (en) Information processing apparatus, information processing method, eyewear terminal, and authentication system
US7853051B2 (en) Recognizing apparatus and method, recording media, and program
US9729865B1 (en) Object detection and tracking
US8379059B2 (en) Portable electronic device and method for adjusting display orientation of the portable electronic device
US9298974B1 (en) Object identification through stereo association
US9269009B1 (en) Using a front-facing camera to improve OCR with a rear-facing camera
CA2955072C (en) Reflection-based control activation
US20200104033A1 (en) Using face detection to update user interface orientation
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
WO2017101071A1 (en) Facial gesture captcha
TWI690825B (zh) 具有防近視功能的電子裝置及方法
US9697649B1 (en) Controlling access to a device
JP5985327B2 (ja) 表示装置
KR20130123316A (ko) 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치 및 방법
JP2015045943A (ja) まばたき検出装置
US11863860B2 (en) Image capture eyewear with context-based sending
JPWO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant