CN103914142A - 在电子装置中使用头跟踪技术提供控制服务的设备和方法 - Google Patents

在电子装置中使用头跟踪技术提供控制服务的设备和方法 Download PDF

Info

Publication number
CN103914142A
CN103914142A CN201410005163.9A CN201410005163A CN103914142A CN 103914142 A CN103914142 A CN 103914142A CN 201410005163 A CN201410005163 A CN 201410005163A CN 103914142 A CN103914142 A CN 103914142A
Authority
CN
China
Prior art keywords
electronic installation
facial movement
user
face
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410005163.9A
Other languages
English (en)
Other versions
CN103914142B (zh
Inventor
金善花
金敬和
金烘逸
朴美贞
柳硕铉
崔曹芽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103914142A publication Critical patent/CN103914142A/zh
Application granted granted Critical
Publication of CN103914142B publication Critical patent/CN103914142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Image Processing (AREA)

Abstract

公开了一种在电子装置中使用头跟踪技术提供控制服务的设备和方法。所述方法包括：从通过电子装置的相机捕获的图像检测脸部运动；以及执行与检测到的脸部运动信息相应的控制服务。

Description

在电子装置中使用头跟踪技术提供控制服务的设备和方法
技术领域
本公开涉及一种用于控制电子装置的设备和方法。
背景技术
便携式电子装置已被研发成多媒体装置。根据信息和通信技术以及半导体技术的发展，便携式电子装置利用数据通信服务以及语音呼叫服务而提供各种多媒体服务。例如，便携式电子装置均可提供诸如广播服务、无线互联网服务、相机服务、音乐播放服务等的各种多媒体服务。
便携式电子装置均使用触摸屏，触摸屏作为一种输入和输出装置，执行信息的输入和显示，以提高空间利用程度并增大便携式电子装置的显示单元的尺寸。
根据现有技术，便携式电子装置的用户必须使用用户的手或触摸笔（例如，触控笔）来操作便携式电子装置。例如，当便携式电子装置的用户使用呼叫服务时，用户触摸显示在触摸屏上的键区的按钮，并输入电话号码。便携式电子装置的用户可触摸呼叫图标并试图连接呼叫。
然而，当便携式电子装置的用户具有医疗问题时，存在如下问题：用户可能无法容易地操作便携式电子装置。换言之，因用于操作便携式电子装置的有限方式的结果，对不同用户而言可能无法访问便携式电子装置的功能。
以上信息仅被呈现为帮助理解本公开的背景信息。关于以上内容中的任何内容是否可用作针对本公开的现有技术，没做确定，并且没做断定。
发明内容
本公开的多个方面在于至少解决上述问题和/或缺点并至少提供下述优点。因此，本公开的一方面在于提供一种用于在电子装置中基于用户的脸部运动信息提供控制服务的设备和方法。
本公开的另一方面在于提供一种用于在具有触摸屏的电子装置中在没有触摸交互的情况下基于用户的脸部运动信息提供控制服务的设备和方法。
本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动信息控制视频播放的设备和方法。
本公开的另一方面在于提供一种用于在电子装置中基于脸部运动信息和瞳孔运动信息控制视频播放的设备和方法。
本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动信息滚动屏幕的设备和方法。
本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动信息平移屏幕的设备和方法。
本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动信息提供呼叫接收服务的设备和方法。
本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动信息提供电子书服务的设备和方法。
本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动信息控制屏幕失活模式的设备和方法。
本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动信息和瞳孔运动信息控制屏幕失活模式的设备和方法。
根据本公开的一方面，提供一种在电子装置中提供控制服务的方法。所述方法包括：从通过电子装置的相机捕获的图像检测脸部运动；执行与检测到的脸部运动信息相应的控制服务。
根据本公开的另一方面，提供一种电子装置。所述电子装置包括至少一个相机、显示单元和至少一个处理器，其中，所述至少一个处理器被配置为从通过电子装置的至少一个相机捕获的图像检测脸部运动，并执行与检测到的脸部运动信息相应的控制服务。
一种存储有当被执行时导致至少一个处理器的指令的非暂时性计算机可读存储介质。
从下面结合附图进行的公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对本领域的技术人员而言将变得清楚。
附图说明
从下面结合附图进行的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加清楚，在附图中：
图1是示出根据本公开的实施例的电子装置的配置的框图；
图2是示出根据本公开的实施例的处理器的详细配置的框图；
图3是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制服务的处理的流程图；
图4是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制服务的处理的流程图；
图5A、图5B、图5C和图5D示出根据本公开的实施例的在电子装置中提供控制服务所需的用户的脸部运动；
图6是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制视频播放的处理的流程图；
图7是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制视频播放的处理的流程图；
图8A和图8B示出根据本公开的实施例的用于在电子装置中基于脸部运动信息控制视频播放的屏幕；
图9是示出根据本公开的实施例的在电子装置中基于脸部运动信息滚动屏幕的处理的流程图；
图10是示出根据本公开的实施例的在电子装置中基于脸部运动信息滚动屏幕的处理的流程图；
图11A、图11B、图11C和图11D示出根据本公开的实施例的用于在电子装置中基于脸部运动信息滚动屏幕的屏幕；
图12A和图12B示出根据本公开的实施例的用于确定滚动变量的用户的脸部运动；
图13是示出根据本公开的实施例的在电子装置中基于脸部运动信息平移屏幕的处理的流程图；
图14A、图14B和图14C示出根据本公开的实施例的用于在电子装置中基于脸部运动信息平移屏幕的屏幕；
图15是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制呼叫接收服务的处理的流程图；
图16是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制呼叫接收服务的处理的流程图；
图17A、图17B和图17C示出根据本公开的实施例的用于在电子装置中基于脸部运动信息控制呼叫接收服务的屏幕；
图18是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制电子书服务的处理的流程图；
图19A和图19B示出根据本公开的实施例的用于在电子装置中基于脸部运动信息控制电子书服务的屏幕；
图20是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制屏幕失活模式的处理的流程图；以及
图21A和图21B示出根据本公开的实施例的用于在电子装置中基于脸部运动信息控制屏幕失活模式的屏幕。
在整个附图中，应注意的是，相似的标号用于描绘相同或相似的元件、特征和结构。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。以下描述包括各种特定细节以帮助理解，但是这些特定细节应仅被视为示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对在此描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可省略对公知功能和构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而仅被发明人用来使本公开得到清晰和一致的理解。因此，本领域的技术人员应当清楚的是，提供对本公开的各种实施例的以下描述仅为了说明目的，而非为了限制由权利要求及其等同物限定的本公开的目的。
应当理解的是，除非上下文另外清楚地指示，否则单数形式包括复数指示物。因此，例如，参考“组件表面”包括参考这种表面中的一个或更多个。
更具体地讲，本公开涉及一种用于使用头部跟踪技术来控制电子装置的设备和方法。
下文中，将根据本公开的各种实施例给出对用于在电子装置中基于脸部运动信息提供控制服务的设备和方法的描述。
根据本公开的各种实施例，假定电子装置使用头部跟踪技术来估计用户的脸部运动。
根据本公开的各种实施例，电子装置可包括通信功能。例如，电子装置可以是移动通信终端、智能电话、视频电话、个人数字助理（PDA）、个人计算机（PC）、膝上型计算机、智能电话、笔记本PC、电子书阅读器、便携式多媒体播放器（PMP）、电视（TV）、移动互联网装置（MID）、超级移动PC（UMPC）、平板PC、导航装置以及运动图片专家组（MPEG）层3（MP3）播放器、移动医疗装置、相机、可穿戴装置（例如，头戴式装置（“HMD”）、电子衣服、电子吊带、电子项链、电子附件、电子纹身或智能手表）等中的任何一个。
根据本公开的各种实施例，电子装置可以是具有通信功能的智能家用电器。智能家用电器可以是例如电视（例如，智能TV）、数字视频盘（“DVD”）播放器、音频装置、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、TV盒（例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM）、游戏机、电子词典、电子钥匙、摄录机、电子相框等。
根据本公开的各种实施例，电子装置可以是医疗装置（例如，磁共振血管造影（MRA）装置、磁共振成像（MRI）装置、计算机断层扫描（CT）装置、成像装置或超声装置）、导航装置、全球定位系统（GPS）接收器、事件数据记录器（EDR）、飞行数据记录器（FDR）、汽车信息娱乐装置、海军电子装置（例如，海军导航装置、陀螺仪或指南针）、航空电子装置、安全装置、工业或消费者机器人等。
根据本公开的各种实施例，电子装置可以是包括通信功能的家具、建筑物/结构的部分、电子板、电子签名接收装置、投影仪、各种测量装置（例如，水、电、气或电磁波测量装置）等。
根据本公开的各种实施例，电子装置可以是前述装置中的任何组合。另外，本领域的普通技术人员将清楚的是，根据本公开的各种实施例的电子装置不限于前述装置。
图1是示出根据本公开的实施例的电子装置的配置的框图。
参照图1，由100表示的电子装置可包括存储器110、处理器单元120、音频处理单元130、相机单元140、输入/输出（I/O）控制器150、显示单元160和输入装置170。根据本公开的各种实施例，存储器110可以是多个存储器。
存储器110包括存储用于控制电子装置100的操作的程序的程序存储单元111和存储在执行程序时产生的数据的数据存储单元112。
数据存储单元112存储与用户的脸部运动信息匹配的控制功能。脸部运动信息可包括脸部运动距离、脸部方向、脸部运动速度、脸部运动角度、脸部运动时间、通过脸部识别的年龄、用户认证信息等中的至少一个。
程序存储单元111包括图形用户界面（GUI）程序113、脸部识别程序114、控制信息提取程序115、至少一个应用程序116等。包括在程序存储单元111中的程序可被表示为作为一组指令的指令集。
GUI程序113包括用于将用户界面（UI）作为图形提供在显示单元160上的至少一个软件组件。例如，GUI程序113可控制显示单元160显示关于由处理器122执行的应用程序的信息。
脸部识别程序114包括用于从通过相机单元140捕获的用户的图像提取脸部运动的至少一个软件组件。例如，脸部识别程序114可从通过相机单元140捕获的用户的脸部图像估计用户的眼睛的位置。之后，脸部识别程序114可基于用户的眼睛的位置的改变来估计用户的脸部运动。作为另一示例，脸部识别程序114可从通过相机单元140捕获的用户的脸部图像提取至少一个特征点。之后，脸部识别程序114可基于包括在脸部图像中的至少一个特征点的改变来估计用户的脸部运动。
图5A、图5B、图5C和图5D示出根据本公开的实施例的在电子装置中提供控制服务所需的用户的脸部运动。
参照图5A，可检测从一侧到另一侧的脸部运动（例如，用户摇头）。参照图5B，可检测从前到后或从上到下的脸部运动（例如，用户点头）。参照图5C，可检测用户脸部方向的改变。参照图5D，可检测用户脸部的距离（例如，相对于预定位置（诸如电子装置的屏幕或相机）脸部向前和向后运动）。
根据本公开的各种实施例，脸部运动可包括图5A中示出的用于从中心向左和向右移动脸部的操作、图5B中示出的用于从中心向前和向后移动脸部的操作、图5C中示出的用于向左和向右改变脸部方向的操作和图5D中示出的用于向前和向后移动脸部的操作中的一个或更多个操作。
根据本公开的各种实施例，当通过相机单元140仅可捕获用户脸部的一部分时，脸部识别程序114可仅使用脸部的一部分估计整个脸部图像。例如，脸部识别程序114可通过将存储在数据存储单元112中的用户的另一脸部图像与通过相机单元140捕获的用户的脸部的局部图像进行比较来估计整个脸部图像。作为另一示例，脸部识别程序114可基于从通过相机单元140捕获的用户脸部的局部图像检测到的脸部形状和/或尺寸来估计整个脸部图像。
根据本公开的各种实施例，脸部识别程序114还可通过对经由相机单元140捕获的图像的脸部识别，来估计用户认证或用户的年龄群。例如，脸部识别程序114可使用通过相机单元140捕获的图像的信息（诸如亮度、运动、颜色和眼睛位置）来提取脸部区域，并检测包括在脸部区域中的脸部的特征点，诸如眼睛、鼻子、嘴等。之后，脸部识别程序114可通过将包括在图像中的特征点的位置和尺寸以及特征点之间的距离与存储在数据存储单元112中的参考图像信息进行比较，来估计用户认证或用户的年龄组。
控制信息提取程序115包括用于根据通过脸部识别程序114识别的脸部运动信息提取控制信息的至少一个软件组件。根据本公开的各种实施例，控制信息提取程序115可提取通过脸部识别程序114识别的脸部运动信息和存储在数据存储单元112中的至少一个控制信息中的与从处理器122提供的服务的类型相应的控制信息。例如，当处理器122提供视频播放服务并且通过脸部识别程序114识别的脸部运动移出参考范围时，控制信息提取程序115可从数据存储单元112提取暂停控制信息。如果通过脸部识别程序114识别出多个脸部，则控制信息提取程序115可基于关于多个脸部中的至少一个参考脸部的运动信息来提取控制信息。控制信息提取程序115可在提取控制信息时一起考虑用户的瞳孔运动信息。
根据本公开的各种实施例，当处理器122提供电子书服务或互联网服务并且通过脸部识别程序114识别出的用户凝视参考区域时，控制信息提取程序115可根据用户凝视的位置从数据存储单元112提取屏幕滚动控制信息。控制信息提取程序115还可基于用户的年龄群、脸部运动速度、脸部运动角度、脸部运动距离和脸部运动时间中的至少一个，来确定用于屏幕滚动的控制变量。根据本公开的各种实施例，用于屏幕滚动的变量可包括滚动中的屏幕的滚动速度和显示放大倍率中的至少一个。
根据本公开的各种实施例，控制信息提取程序115可根据通过脸部识别程序114识别的脸部方向从数据存储单元112提取用于平移显示在显示单元160上的屏幕的控制信息。
根据本公开的各种实施例，当处理器122提供呼叫服务时，控制信息提取程序115可根据通过脸部识别程序114识别的脸部方向从数据存储单元112提取呼叫接收控制信息。控制信息提取程序115还可基于脸部运动速度、脸部运动角度、脸部运动距离和脸部运动时间中的至少一个来确定呼叫接收方法。呼叫接收方法可包括呼叫接收接受、语音信箱连接和呼叫接收拒绝中的一个或更多个。
根据本公开的各种实施例，当处理器122提供电子书服务时，控制信息提取程序115可根据通过脸部识别程序114识别的脸部运动信息从数据存储单元112提取诸如书签设置信息或页改变信息的控制信息。
根据本公开的各种实施例，当通过脸部识别程序114识别的脸部运动没有超出参考范围时，控制信息提取程序115可从数据存储单元112提取屏幕保持控制信息。如果通过脸部识别程序114识别出多个脸部，则控制信息提取程序115可基于关于多个脸部中的至少一个参考脸部的运动信息来提取控制信息。控制信息提取程序115还可在提取控制信息时一起考虑用户的瞳孔运动信息。
应用程序116包括用于安装在电子装置100中的至少一个应用程序的软件组件。
处理器单元120包括存储器接口121、至少一个处理器122和外围接口124。根据本公开的各种实施例，包括在处理器单元120中的存储器接口121、至少一个处理器122和外围接口124可被集成在至少一个集成电路（IC）中或被单独地实现。
存储器接口121控制如处理器122或外围接口124的组件访问存储器110。
外围接口124控制电子装置100的I/O外围设备、处理器122和存储器接口121之间的连接。
处理器122使用至少一个软件程序提供各种多媒体服务。另外，处理器122执行存储在存储器110中的至少一个程序，并根据相应程序提供服务。例如，处理器122可执行存储在程序存储单元111中的控制信息提取程序115，并执行与脸部运动信息相应的控制服务。
音频处理单元130通过扬声器131和麦克风132提供用户与电子装置100之间的音频接口。
根据本公开的各种实施例，相机单元140位于电子装置100的前表面上，并通过拍摄对象将收集图像提供给处理器单元120。例如，相机单元140可包括用于将光信号转换为电信号的相机传感器、用于将模拟图像信号转换为数字图像信号的图像处理装置和用于处理图像以在显示单元160上显示从图像处理装置输出的图像信号的信号处理装置。相机传感器可以是电荷耦合器件（CCD）传感器或互补金属氧化物半导体（CMOS）传感器等中的任何一个。信号处理装置可以是数字信号处理器（DSP）。根据本公开的各种实施例，相机单元140可位于电子装置100的另一表面上。
I/O控制器150提供包括显示装置160和输入装置170的I/O装置与外围接口124之间的接口。
显示单元160显示电子装置100的状态信息、由用户输入的字符、运动图像、静止图像等。例如，显示单元160可显示关于由处理器122执行的应用程序的信息。
输入装置170将通过用户的选择而产生的输入数据通过I/O控制器150提供给处理器单元120。输入装置170包括包含至少一个硬件按钮的键盘、用于检测触摸信息的触摸板等。例如，输入装置170可将通过触摸板检测到的触摸信息通过I/O控制器150提供给处理器122。
另外，根据本公开的各种实施例，电子装置100可包括位于电子装置100的后表面上的相机和用于执行语音和数据通信的通信功能的通信系统。
根据本公开的各种实施例，通信系统可包括支持不同通信网络的多个通信子模块。例如，通信网络可以是但不限于全球移动通信系统（GSM）网络、增强数据GSM环境（EDGE）网络、码分多址（CDMA）网络、W-CDMA网络、长期演进（LTE）网络、正交频分多址（OFDMA）网络、无线局域网（LAN）、蓝牙网络、近场通信（NFC）网络等中的任何一个。
根据本公开的各种实施例，处理器122可按一个模块执行存储在存储器110中的软件组件，并执行与脸部运动信息相应的控制服务。
根据本公开的各种实施例，如图2中所示，处理器122可包括作为单独模块的用于执行与脸部运动信息相应的控制服务的组件。
图2是示出根据本公开的实施例的处理器的详细配置的框图。
参照图1和图2，处理器122包括应用程序驱动单元200、脸部识别单元210、控制信息提取单元220和显示控制器230。
根据本公开的各种实施例，应用程序驱动单元200执行存储在程序存储单元111中的至少一个应用程序116，并根据相应应用程序提供服务。例如，应用程序驱动单元200可执行存储在程序存储单元111中的应用程序并再现视频。作为另一示例，应用程序驱动单元200可执行存储在程序存储单元111中的应用程序，并提供电子书服务。作为另一示例，应用程序驱动单元200可执行存储在程序存储单元111中的应用程序，并提供呼叫接收服务。作为另一示例，应用程序驱动单元200可执行存储在程序存储单元111中的应用程序，并提供互联网服务。
根据本公开的各种实施例，脸部识别单元210执行存储在程序存储单元111中的脸部识别程序114，并从通过相机单元140捕获的用户的图像提取脸部运动。例如，脸部识别单元210可从通过相机单元140捕获的用户的脸部图像估计用户眼睛的位置。之后，脸部识别单元210可基于用户眼睛的位置的改变来估计用户的脸部运动。作为另一示例，脸部识别单元210可从通过相机单元140捕获的用户的脸部图像提取至少一个特征点。之后，脸部识别单元210可基于包括在脸部图像中的至少一个特征点的改变来估计用户的脸部运动。
根据本公开的各种实施例，当通过相机单元140仅可捕获到用户脸部的一部分时，脸部识别单元210可仅使用脸部的一部分估计整个脸部图像。例如，脸部识别单元210可通过将存储在数据存储单元112中的用户的另一脸部图像与通过相机单元140捕获的用户脸部的局部图像进行比较来估计整个脸部图像。作为另一示例，脸部识别单元210可基于从通过相机单元140捕获的用户脸部的局部图像检测到的脸部形状和尺寸来估计整个脸部图像。
根据本公开的各种实施例，脸部识别单元210还可通过对相机单元140所捕获的图像的脸部识别来估计用户认证或用户的年龄群。例如，脸部识别单元210可使用诸如通过相机单元140捕获的图像的亮度、运动、颜色和眼睛位置的信息从图像提取脸部区域，并检测包括在脸部区域中的脸部的特征点，诸如眼睛、鼻子和嘴。之后，脸部识别单元210可通过将包括在图像中的特征点的位置和尺寸以及特征点之间的距离与存储在数据存储单元112中的参考图像信息进行比较来估计用户认证或用户的年龄群。
控制信息提取单元220执行存储在程序存储单元111中的控制信息提取程序115，并根据在脸部识别单元210中识别的脸部运动信息来提取控制信息。例如，控制信息提取单元220可在存储在数据存储单元112中的至少一个控制信息中提取与通过脸部识别程序114识别的脸部运动信息和从处理器122提供的服务的类型相应的控制信息。例如，当应用程序驱动单元200提供视频播放服务并且通过脸部识别程序114识别的脸部运动移出参考范围时，控制信息提取单元220可从数据存储单元112提取暂停控制信息。根据本公开的各种实施例，如果在脸部识别单元210中识别出多个脸部，则控制信息提取单元220可基于关于多个脸部中的至少一个参考脸部的运动信息来提取控制信息。根据本公开的各种实施例，控制信息提取单元220还可在提取控制信息时一起考虑用户的瞳孔运动信息。
根据本公开的各种实施例，当应用程序驱动单元200提供电子书服务或互联网服务并且在脸部识别单元210中识别出的用户凝视参考区域时，控制信息提取单元220可根据用户凝视的位置从数据存储单元112提取屏幕滚动控制信息。控制信息提取单元220还可基于用户的年龄群、脸部运动速度、脸部运动角度、脸部运动距离、脸部运动时间等中的至少一个来确定用于屏幕滚动的控制变量。用于屏幕滚动的控制变量可包括滚动中的屏幕的滚动速度和显示放大倍率中的至少一个。
根据本公开的各种实施例，控制信息提取单元220可根据脸部识别单元210中识别的脸部方向从数据存储单元112提取用于平移显示在显示单元160上的屏幕的控制信息。
根据本公开的各种实施例，当应用程序驱动单元200提供呼叫服务时，控制信息提取单元220可根据通过脸部识别单元210识别的脸部方向从数据存储单元112提取呼叫接收控制信息。控制信息提取单元220还可基于脸部运动速度、脸部运动角度、脸部运动距离和脸部运动时间中的至少一个来确定呼叫接收方法。呼叫接收方法可包括呼叫接收接受、语音信箱连接、呼叫接收拒绝等中的一个或更多个。
根据本公开的各种实施例，当应用程序驱动单元200提供电子书服务时，控制信息提取单元220可根据脸部识别单元210中识别的脸部运动信息从数据存储单元112提取诸如书签设置信息或页改变信息的控制信息。
根据本公开的各种实施例，当脸部识别单元210中识别的脸部运动没有超出参考范围时，控制信息提取单元220可从数据存储单元112提取屏幕保持控制信息。如果在脸部识别单元210中识别出多个脸部，则控制信息提取单元220可基于关于多个脸部中的至少一个参考脸部的运动信息来提取控制信息。控制信息提取单元220还可在提取控制信息时一起考虑用户的瞳孔运动信息。
显示控制器230执行存储在程序存储单元111中的GUI程序113，并控制显示单元160将UI作为图形显示。例如，显示控制器230可控制显示单元160显示关于在应用程序驱动单元200中执行的应用程序的信息。
根据本公开的各种实施例，电子装置100使用包括脸部识别单元210和控制信息提取单元220的处理器122根据用户的脸部运动提供控制服务。
根据本公开的各种实施例，电子装置100可包括用于根据用户的脸部运动提供控制服务的单独的控制模块。
图3是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制服务的处理的流程图。
参照图3，在操作301，电子装置检测脸部运动。例如，电子装置通过至少一个相机所捕获的用户的图像来检测用户的脸部运动。例如，电子装置可在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后，电子装置可基于用户眼睛的位置的改变来估计用户的脸部运动。作为另一示例，电子装置可从通过相机单元捕获的用户的脸部图像提取至少一个特征点。之后，电子装置可基于包括在脸部图像中的至少一个特征点的改变来估计用户的脸部运动。根据本公开的各种实施例，如果通过相机单元仅可捕获到用户脸部的一部分，则电子装置可仅使用脸部的一部分估计整个脸部图像并提取脸部运动。
之后，在操作303，电子装置根据脸部运动信息确定控制信息。例如，电子装置根据脸部运动信息验证控制信息。例如，电子装置可在存储在数据存储单元中的至少一个控制信息中根据脸部运动信息提取控制信息。根据本公开的各种实施例，脸部运动信息可包括脸部运动距离、脸部方向、脸部运动速度、脸部运动角度、脸部运动时间、通过脸部识别的年龄、用户认证信息等中的至少一个。
在根据脸部运动信息验证控制信息之后，在操作305，电子装置基于根据脸部运动信息的控制信息来控制服务。例如，电子装置可基于根据脸部运动信息的控制信息暂停视频播放。作为另一示例，电子装置可基于根据脸部运动信息的控制信息自动滚动屏幕。作为另一示例，电子装置可基于根据脸部运动信息的控制信息改变电子书内容的显示区域。作为另一示例，电子装置可基于根据脸部运动信息的控制信息设置电子书内容的书签。作为另一示例，电子装置可基于根据脸部运动信息的控制信息提供呼叫接收服务。作为另一示例，电子装置可基于根据脸部运动信息的控制信息平移屏幕。作为另一示例，电子装置可基于根据脸部运动信息的控制信息控制屏幕失活模式。屏幕失活模式表示用于当电子装置在特定时间期间没有检测到输入信息时使显示单元变暗以减小功耗的控制模式。
图4是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制服务的处理的流程图。
参照图4，在操作401，电子装置识别脸部。例如，电子装置通过至少一个相机所捕获的图像执行脸部识别。例如，电子装置可使用诸如通过相机单元捕获的图像的亮度、运动、颜色和眼睛位置的信息从图像提取脸部区域，并可检测包括在脸部区域中的脸部的特征点，诸如眼睛、鼻子和嘴。
之后，在操作403，电子装置确定用户是否被认证。例如，电子装置验证是否通过脸部识别信息认证电子装置的用户。例如，电子装置可验证是否通过将包括在通过相机单元捕获的图像中的特征点的位置和尺寸以及特征点之间的距离与存储在数据存储单元中的参考图像信息进行比较来认证用户。参考图像信息可包括用于执行用户认证所预设的至少一个用户的脸部图像。
当电子装置在操作403确定不认证用户时，电子装置识别出电子装置可不使用脸部运动信息提供控制服务。因此，电子装置可结束图4中示出的控制服务的处理。根据本公开的各种实施例，电子装置可在参考次数期间重复执行用户的认证过程。
相反，当电子装置在操作403确定认证用户时，电子装置进行到操作405，在操作405，电子装置通过（例如，通过至少一个相机捕获的）用户的图像来检测用户的脸部运动。例如，电子装置可在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后，电子装置可基于用户眼睛的位置的改变来估计用户的脸部运动。作为另一示例，电子装置可从通过相机单元捕获的用户的脸部图像提取至少一个特征点。之后，电子装置可基于包括在脸部图像中的至少一个特征点的改变来估计用户的脸部运动。根据本公开的各种实施例，如果通过相机单元仅可捕获到用户脸部的一部分，则电子装置可仅使用脸部的一部分估计整个脸部图像并提取脸部运动。
之后，在操作407，电子装置根据脸部运动信息确定控制信息。例如，电子装置根据脸部运动信息验证控制信息。例如，电子装置可在存储在数据存储单元中的至少一个控制信息中根据脸部运动信息提取控制信息。根据本公开的各种实施例，脸部运动信息可包括脸部运动距离、脸部方向、脸部运动速度、脸部运动角度、脸部运动时间、通过脸部识别的年龄、用户认证信息等中的至少一个。
在根据脸部运动信息验证控制信息之后，在操作409，电子装置基于根据脸部运动信息的控制信息来控制服务。
图6是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制视频播放的处理的流程图。
参照图6，在操作601，电子装置提供视频播放服务。例如，电子装置可再现选择的视频文件。例如，电子装置可再现根据通过输入装置提供的触摸信息所选择的视频文件。例如，电子装置可在显示单元上显示视频播放信息。
之后，在操作603，电子装置驱动相机。例如，电子装置可激活与显示再现视频的显示单元位于相同方向上的相机单元，以提前视频被再现时提的用户的脸部运动。
在驱动相机之后，在操作605，电子装置检测脸部运动。例如，电子装置使用（例如，通过相机捕获的）用户的脸部图像检测用户的脸部运动。例如，电子装置可在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后，电子装置可基于用户眼睛的位置的改变来估计用户的脸部运动。作为另一示例，电子装置可从通过相机单元捕获的用户的脸部图像提取至少一个特征点。之后，电子装置可基于包括在脸部图像中的至少一个特征点的改变来估计用户的脸部运动。根据本公开的各种实施例，如果通过相机单元仅可捕获到用户脸部的一部分，则电子装置可仅使用脸部的一部分估计整个脸部图像并提取脸部运动。
之后，在操作607，电子装置确定脸部方向是否大于阈值（例如，参考范围）。例如，电子装置验证脸部方向是否大于参考范围。例如，电子装置可估计脸部的角度，并验证脸部的方向是否移出显示单元的显示区域。电子装置可基于与参考范围相关的脸部方向来确定用户是否正在观看显示区域（例如，视频）。
图8A和图8B示出根据本公开的实施例的用于在电子装置中基于脸部运动信息控制视频播放的屏幕。
参照图8A，用户脸部正在面向显示单元的显示区域。例如，基于用户脸部相对于显示单元的位置，可假定用户正在观看（例如，在其上正在再现视频的）显示单元。
参照图8B，用户脸部未面向显示单元的显示区域。例如，基于用户脸部相对于显示单元的位置，可假定用户没有观看（例如，在其上正在再现视频的）显示单元。
当电子装置在操作607确定脸部方向小于或等于参考范围时，电子装置识别出用户脸部的方向位于显示单元的显示区域内。例如，如图8A中所示，电子装置可识别出用户欣赏视频。因此，电子装置可返回到操作605，在操作605，电子装置可使用通过相机捕获的用户的脸部图像来检测用户的脸部运动。根据本公开的各种实施例，当用户脸部的方向小于或等于参考范围时，电子装置可保持视频播放状态。例如，当用户脸部的方向小于或等于参考范围时，电子装置可在显示单元上继续播放（例如，再现）视频。
相反，当电子装置在操作607确定脸部方向大于参考范围时，电子装置识别出用户脸部的方向移出显示单元的显示区域。例如，根据本公开的各种实施例，如图8B中所示，电子装置可识别出用户没有欣赏视频（或者没有全神贯注地观看视频或分心地观看视频）。因此，根据本公开的各种实施例，当电子装置确定脸部方向大于参考范围时，电子装置可进行到操作609，在操作609，电子装置可暂停视频播放。
在操作611，电子装置检测脸部运动。例如，在操作611，电子装置使用（例如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。根据本公开的各种实施例，电子装置可在用于验证屏幕失活时间的定时器的驱动时间流逝之前检测用户的脸部运动。根据本公开的各种实施例，定时器在视频播放暂停的时间点被激活。
之后，在操作613，电子装置确定脸部方向是否小于或等于阈值（例如，参考范围）。例如，电子装置验证脸部方向是否小于或等于参考范围。例如，电子装置可验证出脸部的方向位于显示单元的显示区域内。
当电子装置在操作613确定脸部方向大于参考范围时，电子装置识别出用户的脸部方向移出显示单元的显示区域。电子装置可基于与参考范围相关的脸部方向来确定用户是否正在观看显示区域（例如，视频）。因此，电子装置可使用通过相机捕获的用户的脸部图像来检测用户的脸部运动。根据本公开的各种实施例，当用户的脸部方向大于参考范围时，电子装置保持视频播放的暂停状态。例如，当用户的脸部方向大于参考范围时，电子装置可在显示单元上暂停（例如，停止再现）视频。
相反，当电子装置在操作613确定脸部方向小于或等于参考范围时，电子装置识别出用户的脸部方向位于显示单元的显示区域内。因此，电子装置可进行到操作615，在操作615，电子装置可再现视频。例如，电子装置可再现从视频播放在操作609被暂停的播放时间点开始的视频。
之后，在操作617，电子装置确定视频播放是否结束。例如，电子装置验证视频播放是否结束。
当电子装置在操作617确定视频播放未结束时，电子装置可进行到操作605，在操作605，电子装置可使用（例如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。
相反，当电子装置在操作617确定视频播放结束时，电子装置可结束图6中示出的控制视频播放的处理。
根据本公开的各种实施例，电子装置可在用户的脸部方向移出参考范围时暂停视频播放。根据本公开的各种实施例，如果用户的脸部方向移出参考范围的时间大于参考时间，则电子装置可暂停视频播放。
根据本公开的各种实施例，电子装置可一起考虑用户的脸部运动和瞳孔运动来暂停视频播放。例如，当电子装置一起考虑用户的脸部运动和瞳孔运动而识别出（例如，确定）用户没有凝视显示单元的显示区域时，电子装置可暂停视频播放。
图7是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制视频播放的处理的流程图。
参照图7，在操作701，再现视频。例如，电子装置提供视频播放服务。例如，电子装置可再现选择的视频文件（例如，根据通过输入装置提供的触摸信息所选择的视频文件）。例如，电子装置可在显示单元上显示视频播放信息。
之后，在操作703，电子装置驱动相机。例如，电子装置可激活与显示再现视频的显示单元位于相同方向上的相机单元，以提取视频被再现时的用户的脸部运动。
在驱动相机之后，在操作705，电子装置确定是否识别出多个脸部。例如，电子装置验证是否在通过相机捕获的图像上识别出多个脸部。
当电子装置在操作705确定识别出多个脸部时，电子装置进行到操作707，在操作707，电子装置将多个脸部中的任何一个脸部设置为参考脸部。例如，当婴儿的脸部和妈妈的脸部被识别时，电子装置可将妈妈的脸部设置为参考脸部。作为另一示例，当多个相似年龄群的脸部被识别时，电子装置可将预定脸部设置为参考脸部。根据本公开的各种实施例，当多个相似年龄群的脸部被识别时，电子装置可显示参考脸部选择弹出窗口，并将在参考脸部选择弹出窗口上选择的脸部设置为参考脸部。
在将多个脸部中的任何一个脸部设置为参考脸部之后，在操作709，电子装置使用通过相机捕获的图像来检测参考脸部的运动。
之后，在操作711，电子装置确定参考脸部的方向是否大于阈值（例如，参考范围）。例如，电子装置验证参考脸部的方向是否大于参考范围。例如，电子装置可估计参考脸部的角度，并验证参考脸部的方向是否移出显示单元的显示区域。
当电子装置在操作711确定参考脸部的方向小于或等于参考范围时，电子装置识别出参考脸部的方向位于显示单元的显示区域内。例如，如图8A中所示，电子装置可识别出参考脸部的用户专注于（例如，欣赏）视频。因此，当电子装置确定参考脸部的方向小于或等于参考范围时，电子装置可进行到操作709，在操作709，电子装置可检测通过相机捕获的参考脸部的运动。根据本公开的各种实施例，当参考脸部的方向小于或等于参考范围时，电子装置可保持视频播放状态。
相反，当电子装置在操作711确定脸部方向大于参考范围时，电子装置识别出参考脸部的方向移出显示单元的显示区域。例如，如图8B中所示，电子装置可识别出参考脸部的用户没有欣赏视频。因此，根据本公开的各种实施例，当电子装置确定脸部方向大于参考范围时，电子装置可进行到操作713，在操作713，电子装置可暂停视频播放。根据本公开的各种实施例，当脸部方向大于参考范围时，电子装置可暂停视频播放。
在操作715，电子装置使用通过相机捕获的图像来检测参考脸部的运动。电子装置可在用于验证屏幕失活时间的定时器的驱动时间流逝之前检测参考脸部的运动。根据本公开的各种实施例，定时器在视频播放被暂停的时间点被激活。
之后，在操作717，电子装置确定脸部方向是否小于或等于阈值（例如，参考范围）。例如，电子装置验证参考脸部的方向是否小于或等于参考范围。例如，电子装置可验证出参考脸部的方向位于显示单元的显示区域内。
当电子装置在操作717确定脸部方向大于参考范围时，电子装置识别出参考脸部的方向移出显示单元的显示区域。因此，根据本公开的各种实施例，当电子装置确定脸部方向大于参考范围时，电子装置可进行到操作715，在操作715，电子装置可使用通过相机捕获的图像来检测参考脸部的运动。例如，根据本公开的各种实施例，当脸部方向大于参考范围时，电子装置保持视频播放的暂停状态。
相反，当电子装置在操作717确定参考脸部的方向小于或等于参考范围时，电子装置识别出参考脸部的方向位于显示单元的显示区域内。因此，根据本公开的各种实施例，当电子装置确定参考脸部的方向小于或等于参考范围时，电子装置可进行到操作719，在操作719，电子装置可再现视频。例如，根据本公开的各种实施例，当参考脸部的方向小于或等于参考范围时，电子装置可从视频播放在操作713被暂停的播放时间点再现视频。
之后，在操作721，电子装置确定视频播放是否结束。例如，电子装置验证视频播放结束。
相反，当电子装置在操作705确定未识别出多个脸部时，电子装置可进行到操作723，在操作723，电子装置检测脸部运动。例如，当在操作705仅识别出一个脸部时，电子装置在操作723使用通过相机捕获的图像来检测用户的脸部运动。
之后，在操作725，电子装置确定脸部方向是否大于阈值（例如，参考范围）。例如，电子装置验证脸部方向是否大于参考范围。例如，电子装置可估计脸部的角度，并验证脸部的方向是否移出显示单元的显示区域。
当电子装置在操作725确定脸部方向小于或等于参考范围时，电子装置识别出用户脸部的方向位于显示单元的显示区域内。例如，如图8A中所示，电子装置可识别出用户专注于（例如，欣赏）视频。因此，当电子装置确定脸部方向小于或等于参考范围时，电子装置可返回到操作723，在操作723，电子装置可使用（例如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。根据本公开的各种实施例，当脸部方向小于或等于参考范围时，电子装置保持视频播放状态。
相反，当电子装置在操作725确定脸部方向大于参考范围时，电子装置识别出用户脸部的方向移出显示单元的显示区域。例如，如图8B中所示，电子装置可识别出用户没有专注于视频（例如，没有欣赏视频或者从视频另外分心）。因此，当电子装置确定脸部方向大于参考范围时，电子装置可进行到操作727，在操作727，电子装置可暂停视频播放。
另外，在操作729，电子装置检测脸部运动。例如，电子装置使用（例如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。根据本公开的各种实施例，电子装置可在用于验证屏幕失活时间的定时器的驱动时间流逝之前检测用户的脸部运动。根据本公开的各种实施例，定时器在视频播放被暂停的时间点被激活。
之后，在操作731，电子装置确定脸部方向是否小于或等于阈值（例如，参考范围）。例如，电子装置验证脸部方向是否小于或等于参考范围。例如，电子装置可验证出脸部的方向位于显示单元的显示区域内。
当电子装置在操作731确定脸部方向大于参考范围时，电子装置识别出用户脸部的方向移出显示单元的显示区域。因此，当在操作731脸部方向大于参考范围时，电子装置可返回到操作729，在操作729，电子装置可使用（例如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。根据本公开的各种实施例，当电子装置确定脸部方向大于参考范围时，电子装置保持视频播放的暂停状态。
相反，当电子装置在操作731确定脸部方向小于或等于参考范围时，电子装置识别出用户脸部的方向位于显示单元的显示区域内。因此，当电子装置确定脸部方向小于或等于参考范围时，电子装置可进行到操作733，在操作733，电子装置可再现视频。例如，当脸部方向小于或等于参考范围时，电子装置可从视频播放在操作727被暂停的播放时间点再现视频。
之后，在操作721，电子装置确定视频播放是否结束。例如，电子装置验证视频播放是否结束。
根据本公开的各种实施例，当电子装置在操作721确定视频播放未结束时，电子装置进行到操作707或操作723，在操作723，电子装置使用通过相机捕获的图像来检测用户的脸部运动。
相反，当电子装置在操作721确定视频播放结束时，电子装置可结束图7中示出的控制视频播放的处理。
根据本公开的各种实施例，电子装置可在用户脸部的方向移出参考范围时暂停视频播放。在用户的脸部方向移出参考范围的时间大于参考时间的情况下，电子装置可暂停视频播放。
根据本公开的各种实施例，电子装置可一起考虑用户的脸部运动和瞳孔运动来暂停视频播放。例如，当电子装置一起考虑用户的脸部运动和瞳孔运动而识别出（例如，确定）用户没有凝视显示单元的显示区域时，电子装置可暂停视频播放。
图11A、图11B、图11C和图11D示出根据本公开的实施例的在电子装置中基于脸部运动信息滚动屏幕的屏幕。
参照图11A和图11B，用户的头（例如，脸部、瞳孔等）相对于电子装置的显示单元向上运动。电子装置可检测出用户的头（例如，脸部、瞳孔等）相对于电子装置的显示单元运动，并且考虑用户的头（例如，脸部、瞳孔等）的运动在显示单元的显示区域中滚动内容。
参照图11C，如果用户的头（例如，脸部、瞳孔等）相对于电子装置的显示单元保持向上的位置，则电子装置可在显示单元的显示区域中继续内容的滚动操作。
参照图11D，如果用户的头（例如，脸部、瞳孔等）相对于电子装置的显示单元向下运动（例如，以便返回到原始位置或剩余位置），则电子装置可在显示单元的显示区域中停止内容的滚动操作。
图9是示出根据本公开的实施例的在电子装置中基于脸部运动信息滚动屏幕的处理的流程图。
参照图9，在操作901，电子装置执行第一应用程序，并根据第一应用程序提供服务。例如，电子装置可提供支持滚动功能的服务。
提供支持滚动功能的服务，在操作903，电子装置驱动相机。例如，电子装置可激活与根据第一应用程序显示服务屏幕的显示单元位于相同方向上的相机单元。
在驱动相机之后，在操作905，电子装置使用通过相机捕获的图像来检测用户的脸部运动，并估计用户的第一凝视位置。例如，电子装置可从通过相机捕获的图像检测用户眼睛或用户眼睛的位置。之后，电子装置可从由相机的观看角度所定义的帧检测用户眼睛的相对位置。
在估计用户的第一凝视位置之后，在操作907，电子装置基于用户的第一凝视位置确定参考坐标。例如，电子装置可考虑用户的第一凝视位置来设置参考坐标。例如，当用户眼睛在参考时间期间或在多于参考时间期间固定于第一凝视位置时，电子装置可将第一凝视位置的坐标设置为参考坐标。
之后，在操作909，电子装置确定用户的凝视是否改变。例如，电子装置验证用户的凝视是否改变。例如，电子装置可验证用户眼睛的位置是否移出参考坐标。根据本公开的各种实施例，电子装置可验证用户的凝视是否移出以参考坐标为中心的参考范围。
当电子装置在操作909确定用户的凝视移出参考坐标时，电子装置识别出用户的凝视改变。因此，当电子装置确定用户的凝视移出参考坐标时，电子装置进行到操作911，在操作911，电子装置根据用户的凝视改变方向滚动屏幕。例如，如图11A中所示，当用户的凝视沿参考坐标向上移动时，电子装置可识别出用户验证（例如，选择）上部的服务内容。因此，如图11B中所示，电子装置可向下滚动服务屏幕。作为另一示例，当用户的凝视沿参考坐标向下移动时，电子装置可识别出用户验证（例如，选择）下部的服务内容。因此，电子装置可向上滚动服务屏幕。作为另一示例，当用户的凝视移动到比参考坐标更右手侧时，电子装置可识别出用户验证（例如，选择）右部的服务内容。因此，电子装置可向左手侧滚动服务屏幕。作为另一示例，当用户的凝视移动到比参考坐标更左手侧时，电子装置可识别出用户验证（例如，选择）左部的服务内容。因此，电子装置可向右手侧滚动服务屏幕。
之后，在操作913，电子装置确定是否产生了滚动停止事件。例如，电子装置验证是否产生了滚动停止事件。例如，电子装置可验证用户的凝视是否在与在操作911的用户的凝视改变方向不同的方向上改变。
当电子装置确定用户的凝视未改变时或者当检测到与用户的凝视改变方向相同的方向上的改变时，电子装置可识别出未产生滚动停止事件。因此，当电子装置确定用户的凝视未改变时或者当检测到与用户的凝视改变方向相同的方向上的改变时，电子装置根据在操作911的用户的凝视改变方向滚动屏幕。例如，当用户的凝视沿参考坐标向上移动时，如图11B中所示，电子装置可向下滚动服务屏幕。如图11C中所示，如果用户的凝视固定，则电子装置保持服务屏幕的向下滚动。
在操作913，电子装置确定是否产生了滚动停止事件。
如果电子装置在操作913确定未产生滚动停止事件，则电子装置可继续轮询滚动停止事件的产生。
当电子装置确定用户的凝视改变到与在操作911的用户的凝视改变方向不同的方向时，电子装置可识别出在操作913产生了滚动停止事件。因此，当电子装置确定用户的凝视改变到与在操作911的用户的凝视改变方向不同的方向时，电子装置可进行到操作915，在操作915，电子装置停止屏幕滚动。例如，如图11B中所示，当用户的凝视沿参考坐标向上移动时，电子装置可向下滚动服务屏幕。如图11D中所示，如果用户的凝视沿参考坐标向下移动，则电子装置结束服务屏幕的滚动。
根据本公开的各种实施例，电子装置可在与用户的凝视方向不同的方向上执行屏幕滚动。
根据本公开的各种实施例，电子装置可在与用户的凝视方向相同的方向上执行屏幕滚动。例如，当用户的凝视沿参考坐标向上移动时，电子装置可根据用户的凝视方向向上滚动服务屏幕。作为另一示例，当用户的凝视沿参考坐标向下移动时，电子装置可根据用户的凝视方向向下滚动服务屏幕。作为另一示例，当用户的凝视移动到比参考坐标更右手侧时，电子装置可向右手侧滚动服务屏幕。作为另一示例，当用户的凝视移动到比参考坐标更左手侧时，电子装置可向左手侧滚动服务屏幕。
图12A和图12B示出根据本公开的实施例的用于确定滚动变量的用户的脸部运动。
参照图12A，沿左方向和右方向的脸部运动可用于确定滚动变量。
参照图12B，沿前方向和后方向的脸部运动可用于确定滚动变量。
图10是示出根据本公开的实施例的在电子装置中基于脸部运动信息滚动屏幕的处理的流程图。
参照图10，在操作1001，电子装置执行第一应用程序。例如，电子装置执行第一应用程序，并根据第一应用程序提供服务。例如，电子装置可提供支持滚动功能的服务。
提供支持滚动功能的服务，在操作1003，电子装置驱动相机。例如，电子装置可激活与根据第一应用程序显示服务屏幕的显示单元位于相同方向上的相机单元。
在驱动相机之后，在操作1005，电子装置根据脸部运动估计用户的第一凝视位置。例如，电子装置使用通过相机捕获的图像来检测用户的脸部运动，并估计用户的第一凝视位置。例如，电子装置可从通过相机捕获的图像检测用户眼睛或用户眼睛的位置。之后，电子装置可从由相机的观看角度所定义的帧检测用户眼睛的相对位置。
在估计用户的第一凝视位置之后，在操作1007，电子装置基于用户的第一凝视位置确定参考坐标。例如，电子装置考虑第一凝视位置来设置参考坐标。例如，当用户眼睛在参考时间期间或在多于参考时间期间固定于第一凝视位置时，电子装置可将第一凝视位置的坐标设置为参考坐标。
之后，在操作1009，电子装置确定用户的凝视是否改变。例如，电子装置验证用户的凝视是否改变。例如，电子装置可验证用户眼睛的位置是否移出参考坐标。根据本公开的各种实施例，电子装置可验证用户的凝视是否移出以参考坐标为中心的参考范围。
如果电子装置在操作1009确定用户的凝视改变，则电子装置可进行到操作1011，在操作1011，电子装置根据脸部运动信息确定滚动变量。例如，当用户的凝视移出参考坐标时，电子装置识别出用户的凝视改变。因此，根据本公开的各种实施例，当用户的凝视移出参考坐标时，电子装置基于用户的脸部运动信息确定滚动变量。例如，如图12A中所示，当用户的脸部方向向左或向右改变时，电子装置可基于脸部改变角度1201、1203、1205、1207、1209和1211确定滚动速度。作为另一示例，如图12B中所示，当用户的脸部中心向前或向后改变时，电子装置可基于脸部改变角度1221、1223、1225、1227、1229和1231确定滚动速度。作为另一示例，电子装置可基于用户脸部的运动速度确定滚动速度。
在确定滚动变量之后，在操作1013，电子装置根据用户的凝视改变方向和滚动变量滚动屏幕。另外，当用户的凝视固定时，电子装置可与关于用户的凝视固定的时间的信息成比例地改变滚动速度。
之后，在操作1015，电子装置确定是否产生了滚动停止事件。例如，电子装置验证是否产生了滚动停止事件。例如，电子装置可验证用户的凝视是否在与在操作1013的用户的凝视改变方向不同的方向上改变。
在操作1015，当电子装置确定用户的凝视未改变时或者当检测到与用户的凝视改变方向相同方向上的改变时，电子装置可识别出未产生滚动停止事件。因此，电子装置根据在操作1013的用户的凝视改变方向滚动屏幕。例如，如图11B中所示，当用户的凝视沿参考坐标向上移动时，电子装置可向下滚动服务屏幕。如图11C中所示，如果用户的凝视固定，则电子装置保持服务屏幕的向下滚动。如果电子装置在操作1015确定未产生滚动停止事件，则电子装置可继续轮询滚动停止事件的产生。
当电子装置在操作1015确定用户的凝视改变到与在操作1013的用户的凝视改变方向不同的方向时，电子装置可识别出产生了滚动停止事件。因此，当用户的凝视改变到与在操作1013的用户的凝视改变方向不同的方向时，电子装置可进行到操作1017，在操作1017，电子装置停止屏幕滚动。例如，如图11B中所示，当用户的凝视沿参考坐标向上移动时，电子装置可向下滚动服务屏幕。如图11D中所示，如果用户的凝视沿参考坐标向下移动，则电子装置结束服务屏幕的滚动。
根据本公开的各种实施例，在执行应用程序之后，电子装置可将在参考时间期间用户的凝视固定的坐标设置为用于滚动的参考坐标。
根据本公开的各种实施例，电子装置可使用预定的参考坐标。在此情况下，当用户的凝视移出参考坐标并且在参考时间期间固定时，电子装置可基于用户的凝视方向和脸部运动信息中的至少一个来执行滚动。
根据本公开的各种实施例，电子装置可基于通过脸部识别验证的用户的年龄群来控制服务屏幕的滚动速度和显示放大倍率。
图14A、图14B和图14C示出根据本公开的实施例的用于在电子装置中基于脸部运动信息平移屏幕的屏幕。
参照图14A，可基于用户的脸部运动向右平移屏幕。例如，可基于朝左方向的脸部运动向右平移屏幕。
参照图14B，可基于用户的脸部运动向下平移屏幕。例如，可基于向上的脸部运动向下平移屏幕。
参照图14C，可基于用户的脸部运动向左平移屏幕。例如，可基于朝右方向的脸部运动向左平移屏幕。
图13是示出根据本公开的实施例的在电子装置中基于脸部运动信息平移屏幕的处理的流程图。
参照图13，在操作1301，电子装置在显示单元上显示服务屏幕。
之后，在操作1303，电子装置驱动相机。例如，电子装置激活与显示服务屏幕的显示单元位于相同方向上的相机单元。
在驱动相机之后，在操作1305，电子装置确定是否检测到脸部运动。例如，电子装置验证使用通过相机捕获的图像是否检测到用户的脸部运动。电子装置可验证在基于在相机被驱动之后首先检测到的用户的脸部方向的参考范围内或大于参考范围的范围内是否检测到用户的脸部运动。例如，电子装置在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后，电子装置验证是否检测到用户眼睛的位置的改变。作为另一示例，电子装置从通过相机单元捕获的用户的脸部图像提取至少一个特征点。之后，电子装置可验证是否检测到包括在脸部图像中的至少一个特征点的改变。
如果电子装置在操作1305确定未检测到脸部运动，则电子装置可轮询脸部运动的检测。
相反，当在操作1305检测到用户的脸部运动时，电子装置进行到操作1307，在操作1307，电子装置根据脸部方向执行图像的平移。例如，电子装置基于用户的脸部运动信息平移服务屏幕。例如，如图14B中所示，当用户的脸部向上运动时，电子装置可向下平移服务屏幕。作为另一示例，如图14A中所示，当用户的脸部沿左方向运动时，电子装置可向右平移服务屏幕。作为另一示例，如图14C中所示，当用户的脸部沿右方向运动时，电子装置可向左平移服务屏幕。
根据本公开的各种实施例，当平移服务屏幕时，电子装置可基于用户与电子装置之间的距离改变来改变服务屏幕的显示放大倍率。
图17A、图17B和图17C示出根据本公开的实施例的用于在电子装置中基于脸部运动信息控制呼叫接收服务的屏幕。
参照图17A，可启动呼叫功能。例如，电子装置可接收呼叫。
参照图17B，用户可移动用户的头（例如，以便产生脸部运动）。例如，电子装置可检测脸部运动。
参照图17C，电子装置可根据检测到的脸部运动控制呼叫功能。例如，电子装置可根据检测到的脸部运动接听传入呼叫。
图15是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制呼叫接收服务的处理的流程图。
参照图15，在操作1501，电子装置确定是否接收到呼叫。例如，电子装置验证是否接收到呼叫。
如果电子装置在操作1501确定未接收到呼叫，则电子装置可继续轮询传入呼叫。作为示例，电子装置可在轮询传入呼叫的同时执行相应功能。
相反，如果电子装置在操作1501确定接收到呼叫，则电子装置进行到操作1503，在操作1503，电子装置驱动相机。例如，如图17A中所示，当接收到呼叫时，电子装置可在显示单元上显示呼叫接收屏幕。之后，电子装置激活与显示呼叫接收屏幕的显示单元位于相同方向上的相机单元。
在驱动相机之后，在操作1505，电子装置检测脸部运动。例如，电子装置使用通过相机捕获的用户的脸部图像来检测用户的脸部运动。例如，电子装置可在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后，电子装置可基于用户眼睛的位置的改变来估计用户的脸部运动。作为另一示例，电子装置可从通过相机单元捕获的用户的脸部图像提取至少一个特征点。之后，电子装置可基于包括在脸部图像中的至少一个特征点的改变来估计用户的脸部运动。根据本公开的各种实施例，在通过相机单元仅捕获到用户脸部的一部分时，电子装置可仅使用脸部的一部分估计整个脸部图像并提取脸部运动。
在检测到用户的脸部运动之后，在操作1507，电子装置根据脸部运动信息确定呼叫接收控制信息。例如，电子装置根据脸部运动信息验证呼叫接收控制信息。电子装置基于用户的脸部方向、脸部运动速度、脸部运动角度、脸部运动时间等中的至少一个来确定呼叫接收控制信息。例如，如图17B中所示，当检测到用户脸部的前/后运动时，电子装置可识别出（例如，确定）所检测到的运动是呼叫接收接受信息。作为另一示例，当检测到用户脸部的左/右运动时，电子装置可识别出（例如，确定）所检测到的运动是呼叫接收拒绝信息。根据本公开的各种实施例，电子装置可基于用户脸部的左/右运动距离确定呼叫接收拒绝方法。根据本公开的各种实施例，当用户脸部的左/右运动距离小于参考距离时，电子装置确定使用语音信箱的呼叫接收拒绝方法。相反，根据本公开的各种实施例，当用户脸部的左/右运动距离大于或等于参考距离时，电子装置确定立即阻止呼叫连接的呼叫接收拒绝方法。
在根据脸部运动信息验证呼叫接收控制信息之后，在操作1509，电子装置根据呼叫接收控制信息提供呼叫接收服务。例如，电子装置根据基于脸部运动信息的呼叫接收控制信息来提供呼叫接收服务。例如，如图17B中所示，当电子装置识别出呼叫接收根据用户脸部的前/后运动被接受时，如图17C中所示，电子装置提供与对方电子装置的呼叫服务。
图16是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制呼叫接收服务的处理的流程图。
参照图16，在操作1601，电子装置确定是否接收到呼叫。例如，电子装置验证是否接收到呼叫。
如果电子装置在操作1601确定未接收到呼叫，则电子装置可继续轮询传入呼叫。作为示例，电子装置可在轮询传入呼叫的同时执行相应功能。
相反，如果电子装置在操作1601确定接收到呼叫，则电子装置进行到操作1603，在操作1603，电子装置驱动相机。例如，如图17A中所示，当接收到呼叫时，电子装置可在显示单元上显示呼叫接收屏幕。之后，电子装置激活与显示呼叫接收屏幕的显示单元位于相同方向上的相机单元。
在驱动相机之后，在操作1605，电子装置识别脸部。例如，电子装置通过经由相机捕获的图像执行脸部识别。例如，电子装置使用诸如通过相机单元捕获的图像的亮度、运动、颜色、眼睛位置的信息从通过相机单元捕获的图像提取脸部区域，并检测包括在脸部区域中的用户脸部的特征点，诸如眼睛、鼻子和嘴。
之后，在操作1607，电子装置确定用户是否被认证。例如，电子装置验证是否通过脸部识别信息认证电子装置的用户。例如，电子装置可验证是否通过将包括在通过相机单元捕获的图像中的特征点的位置和尺寸以及特征点之间的距离与存储在数据存储单元中的参考图像信息进行比较来认证用户。参考图像信息可包括用于执行用户认证所预设的至少一个用户的脸部图像。
当电子装置在操作1607确定用户未被认证时，电子装置可识别出电子装置可不使用脸部运动信息提供控制服务。因此，电子装置可结束图16中示出的控制呼叫接收服务的处理。电子装置还可在参考次数期间重复用户的认证过程。
相反，当电子装置确定用户被认证时，电子装置进行到操作1609，在操作1609，电子装置检测脸部运动。例如，电子装置使用通过相机捕获的用户的脸部图像来检测用户的脸部运动。
在检测用户的脸部运动之后，在操作1611，电子装置根据脸部运动信息确定呼叫接收控制信息。例如，电子装置根据脸部运动信息验证呼叫接收控制信息。电子装置可基于用户的脸部方向、脸部运动速度、脸部运动角度、脸部运动时间等中的至少一个来确定呼叫接收控制信息。例如，如图17B中所示，当检测到用户脸部的前/后运动时，电子装置可识别出所检测到的运动是呼叫接收接受信息。作为另一示例，当检测到用户脸部的左/右运动时，电子装置可识别出所检测到的运动是呼叫接收拒绝信息。根据本公开的各种实施例，电子装置可基于用户脸部的左/右运动距离确定呼叫接收拒绝方法。根据本公开的各种实施例，当用户脸部的左/右运动距离小于参考距离时，电子装置确定使用语音信箱的呼叫接收拒绝方法。相反，根据本公开的各种实施例，当用户脸部的左/右运动距离大于或等于参考距离时，电子装置确定立即阻止呼叫连接的呼叫接收拒绝方法。
在根据脸部运动信息验证呼叫接收控制信息之后，在操作1613，电子装置根据呼叫接收控制信息提供呼叫接收服务。例如，电子装置根据依据脸部运动信息的呼叫接收控制信息来提供呼叫接收服务。例如，如图17B中所示，当电子装置识别出呼叫接收根据用户脸部的前/后运动被接受时，如图17C中所示，电子装置提供与对方电子装置的呼叫服务。
图19A和图19B示出根据本公开的实施例的用于在电子装置中基于脸部运动信息控制电子书服务的屏幕。
参照图19A，电子装置可确定用户的脸部运动。例如，电子装置可确定用户是否正在看向（例如，电子书的）页的右下角。
参照图19B，电子装置可根据脸部运动翻电子书的页。例如，如果电子装置确定用户看向页的右下角，则电子装置可翻页以进行到下一页。
图18是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制电子书服务的处理的流程图。
参照图18，在操作1801，电子装置确定是否提供电子书服务。例如，电子装置验证是否提供电子书服务。例如，电子装置可验证存储在数据存储单元中的至少一个电子书文件中的任何一个是否根据通过输入装置提供的触摸信息而被选择。
如果电子装置在操作1801确定不提供电子书服务，则电子装置可继续轮询用于提供电子书服务的指示（例如，提供电子书服务的请求、电子书应用的启动等）。作为示例，电子装置可在轮询将提供电子书服务的指示的同时执行相应功能。
相反，如果电子装置在操作1801确定提供电子书服务，则电子装置进行到操作1803，在操作1803，电子装置显示电子书内容。例如，电子装置在显示单元上显示针对电子书服务选择的电子书内容。
之后，在操作1805，电子装置驱动相机。例如，电子装置激活与显示电子书内容的显示单元位于相同方向上的相机单元。
在驱动相机之后，在操作1807，电子装置根据脸部运动估计用户的第一凝视位置。例如，电子装置检测用户的脸部运动，并估计用户的凝视位置。例如，电子装置可从通过相机捕获的图像检测用户眼睛或用户眼睛的位置。之后，电子装置可从根据相机的观看角度所定义的帧检测用户眼睛的相对位置。
之后，在操作1809，电子装置确定第一凝视位置是否等于（例如，或者基本上等于）第一参考区域。例如，电子装置验证用户的凝视是否位于第一参考区域。例如，如图19A中所示，电子装置可验证用户的凝视在参考时间期间或在多于参考时间期间是否固定于第一参考区域1901。
当电子装置在操作1809确定用户的凝视位于第一参考区域时，电子装置可进行到操作1811，在操作1811，电子装置改变电子书内容的显示区域。例如，如图19B中所示，电子装置可改变电子书内容的页。如果用户的凝视固定于第一参考区域，则电子装置可连续改变电子书内容的页。电子装置还可控制页改变速度以与用户的凝视对第一参考区域的固定时间成比例。
相反，当电子装置在操作1809确定用户的凝视没有位于第一参考区域时，电子装置进行到操作1813，在操作1813，电子装置确定第一凝视位置是否等于（例如，或者基本上等于）第二参考区域。例如，电子装置验证用户的凝视是否位于第二参考区域。例如，如图19A中所示，电子装置可验证用户的凝视在参考时间期间或者在多于参考时间期间是否固定于第二参考区域1903。
当电子装置在操作1813确定用户的凝视没有位于第二参考区域时，电子装置可进行到操作1807，在操作1807，电子装置根据用户的脸部运动估计用户的凝视方向。
相反，当电子装置确定用户的凝视位于第二参考区域时，在操作1815，电子装置对显示在显示单元上的电子书内容的显示区域设置书签。
在本公开的实施例中，电子装置可使用预定参考区域控制电子书内容。电子装置还可基于用户的脸部运动设置参考区域。例如，电子装置可基于用户的凝视在参考时间期间或在多于参考时间期间固定到的坐标来设置参考区域。
根据本公开的各种实施例，电子装置可基于用户脸部的运动方向控制电子书服务。例如，如图5C中所示，当用户的脸部向左/向右运动时，电子装置可根据用户脸部的运动方向改变电子书内容的页。作为另一示例，如图5B中所示，当用户的脸部中心向上/向下运动时，电子装置可对显示在显示单元上的电子书内容的显示区域设置书签。
根据本公开的各种实施例，电子装置还可基于通过脸部识别验证的用户的年龄群来控制电子书内容的显示放大倍率。
图21A和图21B示出根据本公开的实施例的用于在电子装置中基于脸部运动信息控制屏幕失活模式的屏幕。
参照图21A，用户可观看显示单元上的显示（例如，显示在显示单元上的网页）。电子装置可确定用户正在观看显示单元上的显示。
参照图21B，用户可不注意显示单元上的显示。例如，用户可不浏览（或者另外分心）显示单元上的显示。电子装置可确定用户没有观看显示单元上的显示。
图20是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制屏幕失活模式的处理的流程图。
参照图20，在操作2001，电子装置可显示网页信息。例如，电子装置在显示单元上显示用于互联网服务的网页信息。
之后，在操作2003，电子装置驱动相机。例如，电子装置激活与显示网页信息的显示单元位于相同方向上的相机单元。
在驱动相机之后，在操作2005，电子装置使用（例如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。例如，电子装置可在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后，电子装置可基于用户眼睛的位置的改变来估计用户的脸部运动。例如，电子装置可从通过相机单元捕获的用户的脸部图像提取至少一个特征点。之后，电子装置可基于包括在脸部图像中的至少一个特征点的改变来估计用户的脸部运动。当电子装置通过相机单元仅可捕获用户脸部的一部分时，电子装置可仅使用脸部的一部分估计整个脸部图像并提取脸部运动。
之后，在操作2007，电子装置确定脸部方向是否小于参考范围。例如，电子装置验证用户的脸部方向是否小于参考范围。例如，根据本公开的各种实施例，电子装置可估计脸部的角度，并验证脸部的方向是否位于显示单元的显示区域内。
当电子装置确定脸部方向小于参考范围时（例如，如果脸部方向位于参考范围内），电子装置识别出用户的脸部方向位于显示单元的显示区域内。例如，如图21A中所示，电子装置识别出用户查看网页。因此，当脸部方向小于参考范围时（例如，如果脸部方向位于参考范围内），电子装置进行到操作2009，在操作2009，电子装置使屏幕失活模式失活。例如，尽管电子装置在特定时间期间没有检测到输入信息，但是电子装置保持（例如，维持）显示单元处于背光状态。
之后，在操作2011，电子装置确定互联网服务是否结束。例如，电子装置验证互联网服务是否结束。
当电子装置在操作2011确定互联网服务未结束时，电子装置可进行到操作2005，在操作2005，电子装置使用通过相机捕获的用户的脸部图像来检测用户的脸部运动。
相反，当电子装置在操作2011确定互联网服务结束时，电子装置结束图20中示出的控制屏幕失活模式的处理。
相反，当电子装置在操作2007确定脸部方向大于或等于参考范围时，电子装置识别出用户的脸部方向移出显示单元的显示区域。例如，如图21B中所示，电子装置识别出用户没有查看网页。因此，当电子装置确定脸部方向大于或等于参考范围时，电子装置进行到操作2013，在操作2013，电子装置验证定时器的驱动时间是否终止。根据本公开的各种实施例，每当检测到输入信息时，用于验证控制显示单元以使显示单元变暗的时间点的定时器被重置。
当电子装置在操作2013确定定时器的驱动时间未终止时，电子装置进行到操作2005，在操作2005，电子装置使用通过相机捕获的用户的脸部图像来检测用户的脸部运动。
相反，当电子装置在操作2013确定定时器的驱动时间终止时，电子装置进行到操作2015，在操作2015，电子装置控制显示单元以使显示单元变暗。
根据本公开的各种实施例，当用户的脸部方向位于参考范围内时，电子装置可使屏幕失活模式失活。
根据本公开的各种实施例，当识别出多个脸部时，电子装置可基于多个脸部中的参考脸部的方向来控制屏幕失活模式。
如上所述，根据本公开的各种实施例，由于电子装置根据脸部运动信息提供控制服务，因此在电子装置可能无法识别用户具有医疗问题的瞳孔的运动的状态下，电子装置的用户可自由地控制电子装置。
将认识到，根据权利要求和说明书描述的本公开的各种实施例可被实现为硬件、软件或硬件和软件的组合的形式。任何这样的软件可被存储在非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质存储一个或更多个程序（软件模块），所述一个或更多个程序包括当被电子装置中的一个或更多个处理器执行时使电子装置执行本公开的方法的指令。任何这样的软件可被存储为诸如如ROM的存储装置（不论是否可擦除或可重写）的易失性或非易失性存储器的形式或者被存储为诸如RAM、存储芯片、装置或集成电路的存储器的形式或者被存储在诸如CD、DVD、磁盘或磁带等的光或磁可读介质上。将认识到，存储装置和存储介质是适合于存储程序的机器可读存储器的各种实施例，所述程序包括当被执行时实现本公开的各种实施例的指令。因此，各种实施例提供包括用于实现如本说明书的权利要求中的任何一个所述的设备或方法的代码的程序以及存储这样的程序的机器可读存储器。另外，这样的程序可经由诸如通过有线或无线连接运载的通信信号的任何介质被电传达，并且各种实施例适当地包含这样的程序。
尽管已经参照本公开的各种实施例示出和描述了本公开，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本公开的精神和范围的情况下，这里可进行形式和细节上的各种改变。

Claims (20)

1.一种电子装置的方法，所述方法包括：
从通过电子装置的至少一个相机捕获的至少一个图像检测脸部运动；以及
执行与检测到的脸部运动信息相应的控制服务。
2.如权利要求1所述的方法，其中，脸部运动信息包括脸部运动距离、脸部方向、脸部运动速度、脸部运动角度和脸部运动时间中的至少一个。
3.如权利要求1所述的方法，其中，检测脸部运动的步骤包括：
当在通过相机捕获的图像上检测到多个脸部时，在所述多个脸部中确定至少一个参考脸部；以及
检测所述至少一个参考脸部的运动。
4.如权利要求1所述的方法，其中，执行控制服务的步骤包括：
当在视频被再现的同时脸部运动角度移出参考范围时，响应于脸部角度改变而暂停视频播放。
5.如权利要求1所述的方法，其中，执行控制服务的步骤包括：
当在视频被再现的同时，脸部运动角度在参考时间期间移出参考范围时，响应于脸部角度改变而暂停视频播放。
6.如权利要求1所述的方法，其中，执行控制服务的步骤包括：
当根据脸部运动信息的眼睛的位置移出参考点时，响应于从图像的眼睛的位置改变方向而滚动屏幕。
7.如权利要求6所述的方法，其中，滚动屏幕的步骤包括：
基于眼睛的位置改变方向而确定屏幕滚动方向；
基于脸部运动速度和脸部运动角度中的至少一个确定滚动速度；以及
基于屏幕滚动方向和滚动速度滚动屏幕。
8.如权利要求1所述的方法，其中，执行控制服务的步骤包括：
当接收到呼叫时，基于与脸部运动方向相应的呼叫接收方法确定是否接受呼叫，
其中，呼叫接收方法包括呼叫接收接受、语音信箱连接和呼叫接收拒绝中的至少一个。
9.如权利要求1所述的方法，其中，执行控制服务的步骤包括：
当电子书内容被显示时，基于脸部运动信息从图像验证眼睛的位置；以及
当眼睛凝视第一区域时，改变页。
10.如权利要求1所述的方法，其中，执行控制服务的步骤包括：
当电子书内容被显示时，基于脸部运动方向改变页。
11.一种电子装置，包括：
至少一个相机；
显示单元；以及
至少一个处理器，
其中，所述至少一个处理器被配置为从通过电子装置的所述至少一个相机捕获的至少一个图像检测脸部运动，并执行与检测到的脸部运动信息相应的控制服务。
12.如权利要求11所述的电子装置，其中，脸部运动信息包括脸部运动距离、脸部方向、脸部运动速度、脸部运动角度和脸部运动时间中的至少一个。
13.如权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为当在通过所述至少一个相机捕获的图像上检测到多个脸部时在所述多个脸部中确定至少一个参考脸部，并检测所述至少一个参考脸部的运动。
14.如权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为当在视频被再现的同时，脸部运动角度移出参考范围时，响应于脸部角度改变而暂停视频播放。
15.如权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为当在视频被再现的同时脸部运动角度在参考时间期间移出参考范围时，响应于脸部角度改变而暂停视频播放。
16.如权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为当根据脸部运动信息的眼睛的位置移出参考点时，响应于从图像的眼睛的位置改变方向而滚动屏幕。
17.如权利要求16所述的电子装置，其中，所述至少一个处理器还被配置为基于眼睛的位置改变方向确定屏幕滚动方向，基于脸部运动速度和脸部运动角度中的至少一个确定滚动速度，并基于屏幕滚动方向和滚动速度滚动屏幕。
18.如权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为当接收到呼叫时，基于与脸部运动方向相应的呼叫接收方法确定是否接受呼叫，
其中，呼叫接收方法包括呼叫接收接受、语音信箱连接和呼叫接收拒绝中的至少一个。
19.如权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为当电子书内容被显示时，基于脸部运动信息验证眼睛的位置，以及
当眼睛凝视第一区域时，改变页。
20.如权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为当电子书内容被显示时，基于脸部运动方向改变页。
CN201410005163.9A 2013-01-04 2014-01-06 在电子装置中使用头跟踪技术提供控制服务的设备和方法 Active CN103914142B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0001102 2013-01-04
KR1020130001102A KR102062310B1 (ko) 2013-01-04 2013-01-04 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
CN103914142A true CN103914142A (zh) 2014-07-09
CN103914142B CN103914142B (zh) 2018-01-12

Family

ID=49999716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410005163.9A Active CN103914142B (zh) 2013-01-04 2014-01-06 在电子装置中使用头跟踪技术提供控制服务的设备和方法

Country Status (4)

Country Link
US (1) US9791920B2 (zh)
EP (1) EP2752733A1 (zh)
KR (1) KR102062310B1 (zh)
CN (1) CN103914142B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100898A (zh) * 2015-08-13 2015-11-25 海信集团有限公司 一种电视机智能开启方法及系统
CN105573478A (zh) * 2014-10-13 2016-05-11 北京三星通信技术研究有限公司 便携式设备的输入控制方法和装置
CN105573488A (zh) * 2014-10-30 2016-05-11 三星电子株式会社 用于控制电子装置上的屏幕显示的方法和设备
CN105700676A (zh) * 2014-12-11 2016-06-22 现代自动车株式会社 可佩戴眼镜及其控制方法、以及车辆控制系统
CN105824398A (zh) * 2015-01-04 2016-08-03 华为技术有限公司 一种来电处理方法及移动终端
CN106354264A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于视线追踪的实时人机交互系统及其工作方法
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互系统及其工作方法
CN107209555A (zh) * 2014-12-26 2017-09-26 微软技术许可有限责任公司 具有俯仰角放大的基于头部的定标
CN107408100A (zh) * 2015-03-03 2017-11-28 微软技术许可有限责任公司 目光用于自动翻页
CN107426422A (zh) * 2017-07-13 2017-12-01 广东欧珀移动通信有限公司 事件处理方法及相关产品
CN107608516A (zh) * 2017-09-25 2018-01-19 广东小天才科技有限公司 智能穿戴设备的控制方法、装置及智能手表
CN109660662A (zh) * 2018-12-04 2019-04-19 联想(北京)有限公司 一种信息处理方法和终端
WO2019205016A1 (en) * 2018-04-25 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for nod action recognition based on facial feature points
CN112492096A (zh) * 2020-11-25 2021-03-12 北京五八信息技术有限公司 一种视频播放控制方法、装置、电子设备及存储介质
CN112583980A (zh) * 2020-12-23 2021-03-30 重庆蓝岸通讯技术有限公司 基于视觉识别的智能终端显示角度调节方法、系统及智能终端

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140026157A1 (en) * 2011-04-11 2014-01-23 Tao Wang Face recognition control and social networking
US20140247210A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR102121592B1 (ko) * 2013-05-31 2020-06-10 삼성전자주식회사 시력 보호 방법 및 장치
JP6188452B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US9769522B2 (en) * 2013-12-16 2017-09-19 Echostar Technologies L.L.C. Methods and systems for location specific operations
US9639152B2 (en) * 2013-12-30 2017-05-02 Lenovo (Singapore) Pte. Ltd. Display alignment based on eye tracking
KR102126993B1 (ko) * 2014-05-07 2020-06-25 삼성전자주식회사 전자 장치에서 공간 이동 시 서비스 시점의 동기를 제어하기 위한 장치 및 방법
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
US10609196B2 (en) * 2014-09-26 2020-03-31 Huawei Technologies Co., Ltd. Method and apparatus for controlling application program, and electronic device
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104808946A (zh) * 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置
US20160364121A1 (en) * 2015-06-10 2016-12-15 Mediatek Inc. Method and associated circuit for arranging window on screen
CN104954574A (zh) * 2015-06-23 2015-09-30 上海卓易科技股份有限公司 一种自动操作移动终端的方法及移动终端
US10546183B2 (en) * 2015-08-10 2020-01-28 Yoti Holding Limited Liveness detection
US11128853B2 (en) * 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
KR20170076471A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 변형 가능한 디스플레이 장치 및 이를 이용한 영상 표시 방법
US20170187982A1 (en) * 2015-12-29 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and terminal for playing control based on face recognition
US10775882B2 (en) * 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
CN105657500B (zh) * 2016-01-26 2019-12-03 Oppo广东移动通信有限公司 一种视频播放控制方法及装置
JP6672940B2 (ja) * 2016-03-25 2020-03-25 富士ゼロックス株式会社 情報処理装置
US11237709B2 (en) 2016-10-25 2022-02-01 Apple Inc. Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
DK179492B1 (en) 2016-10-25 2019-01-08 Apple Inc. SYSTEMS AND METHODS FOR ENABLING LOW-VISION USERS TO INTERACT WITH A TOUCH-SENSITIVE SECONDARY DISPLAY
CN106454456A (zh) * 2016-10-31 2017-02-22 维沃移动通信有限公司 一种视频播放控制方法及移动终端
CN106598445A (zh) * 2016-12-14 2017-04-26 北京小米移动软件有限公司 输出通讯消息的方法及装置
KR20180074124A (ko) * 2016-12-23 2018-07-03 주식회사 심보다 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
CN109074211B (zh) * 2017-03-29 2021-08-31 荣耀终端有限公司 调节界面滚动速度的方法及相关设备
EP3410413B1 (en) * 2017-06-02 2021-07-21 Netatmo Improved generation of alert events based on a detection of objects from camera images
JP6572943B2 (ja) * 2017-06-23 2019-09-11 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
CN107479804A (zh) * 2017-08-16 2017-12-15 歌尔科技有限公司 虚拟现实设备及其内容调整方法
JP6922686B2 (ja) * 2017-11-20 2021-08-18 トヨタ自動車株式会社 操作装置
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
GB2569794A (en) 2017-12-21 2019-07-03 Yoti Holding Ltd Biometric user authentication
GB2571106A (en) * 2018-02-16 2019-08-21 Sony Corp Image processing apparatuses and methods
JP7396286B2 (ja) * 2018-09-07 2023-12-12 ソニーグループ株式会社 端末装置、端末装置の制御方法および記憶媒体
JP2020052190A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法
JP2020052188A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法
JP2020052191A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法
JP2020052189A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法
CN113168227A (zh) * 2018-12-14 2021-07-23 三星电子株式会社 执行电子装置的功能的方法以及使用该方法的电子装置
CN110009662B (zh) * 2019-04-02 2021-09-17 北京迈格威科技有限公司 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
WO2021070980A1 (ko) * 2019-10-08 2021-04-15 엘지전자 주식회사 이동단말기 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326546A (zh) * 2005-12-27 2008-12-17 松下电器产业株式会社 图像处理装置
US20090271734A1 (en) * 2008-04-25 2009-10-29 Hung-Young Hsu Display method and device thereof
CN102342100A (zh) * 2009-03-09 2012-02-01 思科技术公司 用于在网络环境中提供三维成像的系统和方法
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104408B2 (en) * 2008-08-22 2015-08-11 Sony Corporation Image display device, control method and computer program
US20100054518A1 (en) 2008-09-04 2010-03-04 Alexander Goldin Head mounted voice communication device with motion control
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
KR101681321B1 (ko) * 2009-11-17 2016-11-30 엘지전자 주식회사 사용자 인증 방법 및 그를 이용한 화상 통신 장치 및 디스플레이 장치
US20120064951A1 (en) * 2010-09-13 2012-03-15 Sony Ericsson Mobile Communications Ab Hands-Free Control of Mobile Communication Device Based on Head Movement
GB2490865A (en) 2011-05-09 2012-11-21 Nds Ltd User device with gaze tracing to effect control
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326546A (zh) * 2005-12-27 2008-12-17 松下电器产业株式会社 图像处理装置
US20090271734A1 (en) * 2008-04-25 2009-10-29 Hung-Young Hsu Display method and device thereof
CN102342100A (zh) * 2009-03-09 2012-02-01 思科技术公司 用于在网络环境中提供三维成像的系统和方法
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573478A (zh) * 2014-10-13 2016-05-11 北京三星通信技术研究有限公司 便携式设备的输入控制方法和装置
CN105573488A (zh) * 2014-10-30 2016-05-11 三星电子株式会社 用于控制电子装置上的屏幕显示的方法和设备
CN105573488B (zh) * 2014-10-30 2020-11-10 三星电子株式会社 用于控制电子装置上的屏幕显示的方法和设备
CN105700676A (zh) * 2014-12-11 2016-06-22 现代自动车株式会社 可佩戴眼镜及其控制方法、以及车辆控制系统
CN107209555A (zh) * 2014-12-26 2017-09-26 微软技术许可有限责任公司 具有俯仰角放大的基于头部的定标
CN107209555B (zh) * 2014-12-26 2020-09-29 微软技术许可有限责任公司 具有俯仰角放大的基于头部的定标
CN105824398A (zh) * 2015-01-04 2016-08-03 华为技术有限公司 一种来电处理方法及移动终端
CN107408100A (zh) * 2015-03-03 2017-11-28 微软技术许可有限责任公司 目光用于自动翻页
CN105100898A (zh) * 2015-08-13 2015-11-25 海信集团有限公司 一种电视机智能开启方法及系统
CN105100898B (zh) * 2015-08-13 2018-02-23 海信集团有限公司 一种电视机智能开启方法及系统
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互系统及其工作方法
CN106354264A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于视线追踪的实时人机交互系统及其工作方法
CN107426422A (zh) * 2017-07-13 2017-12-01 广东欧珀移动通信有限公司 事件处理方法及相关产品
CN107608516A (zh) * 2017-09-25 2018-01-19 广东小天才科技有限公司 智能穿戴设备的控制方法、装置及智能手表
WO2019205016A1 (en) * 2018-04-25 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for nod action recognition based on facial feature points
CN109660662A (zh) * 2018-12-04 2019-04-19 联想(北京)有限公司 一种信息处理方法和终端
CN112492096A (zh) * 2020-11-25 2021-03-12 北京五八信息技术有限公司 一种视频播放控制方法、装置、电子设备及存储介质
CN112583980A (zh) * 2020-12-23 2021-03-30 重庆蓝岸通讯技术有限公司 基于视觉识别的智能终端显示角度调节方法、系统及智能终端

Also Published As

Publication number Publication date
KR20140089183A (ko) 2014-07-14
CN103914142B (zh) 2018-01-12
EP2752733A1 (en) 2014-07-09
US9791920B2 (en) 2017-10-17
US20140191948A1 (en) 2014-07-10
KR102062310B1 (ko) 2020-02-11

Similar Documents

Publication Publication Date Title
CN103914142A (zh) 在电子装置中使用头跟踪技术提供控制服务的设备和方法
US11928200B2 (en) Implementation of biometric authentication
US10942574B2 (en) Apparatus and method for using blank area in screen
US10942614B2 (en) Terminal device and method for displaying an associated window thereof
KR102423447B1 (ko) 벤디드 디스플레이를 구비한 전자 장치 및 그 제어 방법
KR102311221B1 (ko) 오브젝트 운용 방법 및 이를 지원하는 전자 장치
CN105830422B (zh) 可折叠电子设备及其界面交互方法
EP3901756B1 (en) Electronic device including touch sensitive display and method for operating the same
KR102219464B1 (ko) 보안 운용 방법 및 이를 지원하는 전자 장치
US11500534B2 (en) Biometric recognition interaction method, graphics interaction interface, and related apparatus
KR102207208B1 (ko) 음악 정보 시각화 방법 및 장치
US9749269B2 (en) User terminal and method of displaying lock screen thereof
US10599306B2 (en) Electronic device and method for operating notification bar thereof
KR102213190B1 (ko) 홈스크린 구성 방법 및 이를 이용한 전자 장치
CN108933865A (zh) 移动终端及其控制方法
KR20160011915A (ko) 화면 제어 방법 및 이를 사용하는 전자 장치
US20180307387A1 (en) Electronic device and method for operating the electronic device
KR102126568B1 (ko) 입력 데이터 처리 방법 및 그 전자 장치
KR20150072764A (ko) 전자기기에서 해상도 레벨을 제어하기 위한 방법 및 장치
US10838612B2 (en) Apparatus and method for processing drag and drop
KR102213897B1 (ko) 사용자 입력에 따라 하나 이상의 아이템들을 선택하는 방법 및 이를 위한 전자 장치
KR20160009323A (ko) 사용자 인터페이스를 활성화하는 방법 및 이를 제공하는 전자 장치
CN105408856B (zh) 用于显示的方法及其电子设备
KR20150136801A (ko) 어플리케이션 ui 및 전자 장치
CN103577096A (zh) 移动终端装置、操作方法、程序和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant