CN103870804A - 具有脸部识别功能的移动装置和控制该移动装置的方法 - Google Patents

具有脸部识别功能的移动装置和控制该移动装置的方法 Download PDF

Info

Publication number
CN103870804A
CN103870804A CN201310701233.XA CN201310701233A CN103870804A CN 103870804 A CN103870804 A CN 103870804A CN 201310701233 A CN201310701233 A CN 201310701233A CN 103870804 A CN103870804 A CN 103870804A
Authority
CN
China
Prior art keywords
mobile device
face
state
controller
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310701233.XA
Other languages
English (en)
Other versions
CN103870804B (zh
Inventor
李有珍
尹晟振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103870804A publication Critical patent/CN103870804A/zh
Application granted granted Critical
Publication of CN103870804B publication Critical patent/CN103870804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种具有脸部识别功能的移动装置和控制该移动装置的方法。该方法包括:确定在移动装置的第一状态中是否激活了脸部识别功能;如果激活了脸部识别功能,则获取图像;通过分析获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分;基于脸部图形或者所述至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配;确定是否激活了附加图形识别功能;如果激活了附加图形识别功能,则提取附加图形或者在附加图形中包含的至少一个附加组成部分;以及将移动装置切换到与附加图形或者所述至少一个附加组成部分对应的预定第二状态。

Description

具有脸部识别功能的移动装置和控制该移动装置的方法
技术领域
本发明涉及移动装置中的用户界面(UI)。更具体地,本发明涉及脸部识别功能。
背景技术
各种类型的UI用于移动装置中。近来开发的装备有触摸屏的移动装置提供允许用户触摸在触摸屏上显示的屏幕的UI。
近来,开发了一种使用由相机捕获的图像的UI。基于相机的UI通过相机捕获用户输入(即,用户的手势),分析捕获的图像,并且,在移动装置中执行与用户输入对应的功能。
基于相机的UI正在被开发成具有用于通过相机捕获用户的脸部并分析捕获的脸部图像的脸部识别功能。但是,难以在脸部识别功能中向各种UI简单地提供捕获的脸部图像。
因此,存在对于除了脸部以外还使用组成部分的UI的需要。另外,需要一种可以提供与附加组成部分对应的各种用户输入以及识别脸部的UI功能。
上述信息仅仅作为帮助理解本公开的背景信息而被呈示。关于上述任何信息是否可适合作为本发明的现有技术,不做任何确定,也不做任何断言。
发明内容
本发明的各方面在于至少解决上述问题和/或缺点,并且至少提供下述的优点。本发明的特定方面和/或实施例的目标在于至少部分解决、减轻或消除与现有技术有关的问题和/或缺点中的至少一个。特定方面和/或实施例的目标在于提供以下描述的优点中的至少一个。因此,本发明的一个方面是提供具有借助于附加组成部分的增强的脸部识别功能的移动装置和用于该移动装置的方法。
本发明的另一个方面是提供通过分析由相机获取的图像来提取附加图形或附加组成部分的移动装置和用于控制该移动装置的方法。
本发明的另一个方面是提供用于切换到与附加图形或附加组成部分对应的预设状态的移动装置和用于控制该移动装置的方法。
本发明的另一个方面是提供用于通过脸部识别功能提供解锁功能、提取附加图形或附加组成部分并切换到与提取的附加图形或附加组成部分对应的预设状态的移动装置,以及用于控制该移动装置的方法。
本发明的另一个方面是提供用于执行与附加图形或附加组成部分对应的预定动作的移动装置和用于控制该移动装置的方法。
本发明的另一个方面是提供如下移动装置和用于控制该移动装置的方法:该移动装置用于提取至少一个附加组成部分,并且切换到与至少一个附加组成部分的数量、在主要组成部分附近的任何附加组成部分的存在或不存在、至少一个附加组成部分的形状和至少一个附加组成部分的运动中的至少一个对应的预设状态。
本发明的另一个方面是提供用于提取对象图形或附加组成部分并切换到与附加组成部分对应的预设状态的移动装置和用于控制该移动装置的方法。
根据本发明的一个方面,提供一种用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法。该方法包括:确定(例如,在移动装置的第一状态中)是否激活了脸部识别功能;如果激活了脸部识别功能,则通过相机获取图像;通过分析获取的图像来提取脸部图形和在脸部图形中包含的至少一个主要组成部分中的至少一个;基于脸部图形和至少一个主要组成部分中的至少一个来确定从图像中识别出的脸部是否与登记的用户的脸部匹配;确定是否激活了附加图形识别功能;如果激活了附加图形识别功能,则提取附加图形和在附加图形中包含的至少一个附加组成部分中的至少一个;以及将移动装置切换到与附加图形和至少一个附加组成部分中的至少一个对应的预定第二状态。
根据本发明的另一个方面,提供一种具有使用附加组成部分的脸部识别功能的移动装置。该移动装置包括相机,用于获取图像;和控制器,该控制器用于:确定在(例如,移动装置的第一状态中)是否激活了脸部识别功能;如果激活了脸部识别功能,则控制相机获取图像;通过分析获取的图像来提取脸部图形和在脸部图形中包含的至少一个主要组成部分中的至少一个;基于脸部图形和至少一个主要组成部分中的至少一个来确定从图像中识别出的脸部是否与登记的用户的脸部匹配;确定是否激活了附加图形识别功能;如果激活了附加图形识别功能,则提取附加图形和在附加图形中包含的至少一个附加组成部分中的至少一个;以及将移动装置切换到与附加图形和至少一个附加组成部分中的至少一个对应的预定第二状态。
本发明的另一方面提供了一种具有相机的移动装置,所述移动装置被适配为:使用相机捕捉或观看图像;分析(处理)图像以识别图像中的脸部,并识别图像中的至少一个附加元素;根据所述至少一个附加元素执行操作。
在特定实施例中,所述移动装置还被适配为确定在图像中识别的脸部是否与被登记为使用所述移动装置的用户相应。在这样的实施例中,所述装置还被适配为当识别的脸部与登记的用户相应时,从锁定状态切换为解锁状态。在这样的实施例中,所述装置还被适配为基于所述装置中的存储器中存储的登记的用户数据(例如,指示他们的脸部特征)或外部存储的登记的用户数据(在这种情况下,所述装置还可被适配为与至少一个外部或远程装置通信),来做出这个确定。在特定实施例中,操作的性能取决于作为登记的用户的脸部的检测到的脸部。
在特定实施例中,所述至少一个附加元素包括用户的手。在这样的实施例中,所述装置还可被适配为识别多个不同的手势(例如,包括不同的形状、结构和/或运动),并根据检测/识别到的手势来执行多个不同操作中的选择的一个。例如,所述装置可被适配为响应于做出拇指和小指伸长并且其余手指闭合在手掌上的“电话”姿势的用户的手,来执行或切换到电话应用。在特定实施例中,所述装置可根据检测到的手或检测到的手的一个或多个组成部分(例如,手指)相对于检测到的脸部或检测到的脸部的一个或多个组成部分的位置,来确定将被执行的操作。例如,所述装置可响应于检测到用户的一个或多个手指位于靠近(即,在预定距离内)用户的眼睛处或指向户的眼睛,来执行或切换到相机应用。例如,检测到用户的手指向或触摸用户的嘴可被用于切换到口述/语音备忘录功能。在另一实施例中,执行的操作可取决于检测到的动作或检测到的手(或检测到的手的一个或多个组成部分)的运动。在特定实施例中,所述装置可被适配为根据在检测到的图像中举起的手指的数量来确定将执行的操作。举起一根手指可导致第一应用被执行,举起两根手指可导致第二应用被检测,等。
在特定实施例中,所述至少一个附加组成部分可包括例如笔或手写笔,或者其它适合于对触摸屏进行输入的这样的装置。在这样的实施例中,所述装置可被适配为响应于在图像中检测到笔或手写笔,切换到笔记、备忘录或画板应用(或其它可使用笔或手写笔对例如触摸屏进行输入的应用)。
本发明的另一方面提供一种操作包括相机的移动装置的方法,所述方法包括:使用相机捕捉或观看图像;分析(处理)图像以识别图像中的脸部,并识别图像中的至少一个附加元素;根据所述至少一个附加元素执行操作。
这方面的实施例可将与上面讨论的任何内容相应的特征或与有关于其它方面的后续确实讨论的任何内容相应的特征合并。
另一方面提供一种被适配为实现与上述方面中的任何一个方面一致的方法。
本发明的另一方面提供了一种包括指令的计算机程序,所述指令被布置为当被执行时实现与上述方面中的任何一个方面一致的方法和/或设备。进一步的方面提供了存储这样的程序的计算机可读存储器。
从下面的描述将理解,在本发明的特定实施例中,关于用户界面的图形设计的特征与交互步骤或方法结合以达到技术效果。
特定实施例的目的在于达到提高输入装置的精确度的技术效果。
特定实施例的目的在于达到减少用户在执行特定计算机或装置交互时的负担(例如,认知、实施、操作、运行或操纵负担)的技术效果。
特定实施例的目的在于达到提供更有效的人机(用户-机器)界面的技术效果。
根据下面结合附图公开本发明的示例性实施例的详细描述,本发明的其它方面、优点和显著的特征对于本领域的技术人员来说将变得明显。
附图说明
从下面结合附图进行的描述,本发明的某些示例性实施例的上述和其它的目的、特征和优点将变得更加明显,在附图中:
图1是根据本发明的示例性实施例的移动装置的框图;
图2是根据本发明的示例性实施例的移动装置的前透视图;
图3是根据本发明的示例性实施例的移动装置的后透视图;
图4是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图;
图5示出根据本发明的示例性实施例的用户使用具有借助于附加组成部分的脸部识别功能的移动装置;
图6示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分;
图7示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分;
图8是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图;
图9A示出根据本发明的示例性实施例的置于锁定状态的移动装置;
图9B示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分、以及附加图形或者在附加图形中包含的至少一个附加组成部分;
图9C示出根据本发明的示例性实施例的置于解锁状态的移动装置;
图9D示出根据本发明的示例性实施例的移动装置中的音乐应用的执行;
图10是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图;
图11A示出根据本发明的示例性实施例的置于锁定状态的移动装置;
图11B示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分;
图11C示出根据本发明的示例性实施例的置于解锁状态的移动装置;
图11D示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分;
图11E示出根据本发明的另一示例性实施例的移动装置中的电话应用的执行;
图12是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图;
图13A示出根据本发明的示例性实施例的置于锁定状态的移动装置;
图13B示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分;
图13C示出根据本发明的另一示例性实施例的置于解锁状态的移动装置;
图13D示出根据本发明的示例性实施例的设置与至少一个提取的附加组成部分的数量、位于至少一个提取的主要组成部分附近的至少一个附加组成部分的存在或不存在、以及提取的附加图形的形状或者至少一个提取的附加组成部分的形状对应的预定第二状态;
图13E示出根据本发明的示例性实施例的设置与位于至少一个提取的主要组成部分附近的至少一个附加组成部分对应的预定第二状态;
图13F示出根据本发明的示例性实施例的设置与至少一个提取的附加组成部分的运动对应的预定第二状态;
图13G示出根据本发明的示例性实施例的移动装置中的相机应用的执行;
图13H示出根据本发明的示例性实施例的移动装置中的电话应用的执行;
图13I示出根据本发明的示例性实施例的移动装置中的消息应用的执行;
图14是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图;
图15A示出根据本发明的示例性实施例的置于锁定状态的移动装置;
图15B示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分;
图15C示出根据本发明的示例性实施例的置于解锁状态的移动装置;
图15D示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取对象图形或者在对象图形中包含的至少一个附加组成部分;以及
图15E示出根据本发明的示例性实施例的移动装置中的备忘录应用的执行。
在所有的附图中,相同的附图标记将被理解为表示相同的部件、组件和结构。
具体实施方式
提供下面的参照附图的描述,以帮助全面地理解由权利要求及其等同物限定的本发明的示例性实施例。该描述包括各种具体细节以帮助该理解,但是,这些具体细节仅仅被视为示例性的。因此,本领域的普通技术人员将会认识到,在不脱离本发明的范围和精神的情况下,可以对这里描述的实施例进行各种改变和修改。另外,为了清楚和简要,可以省略对公知的功能和结构的描述。
下面描述和权利要求中使用的术语和词语并不局限于书面含义,而仅仅被发明人用来使得能够清楚地、一致地理解本发明。因此,对于本领域的技术人员来说应该显而易见的是,提供下面的对本发明的示例实施例的描述仅仅为了说明的目的,而不是为了限制由权利要求及其等同物所限定的本发明的目的。
应该理解,除非上下文另有明确说明,否则单数形式包括复数指代。因此,例如,对“组件表面“的提及包括对一个或多个这样的表面的提及。
虽然诸如第一、第二等序数可以被用来描述多个组成部分,但是,这些组成部分不受这些术语的限制。这些术语被用来区分一个组成部分与其他的组成部分。例如,在本发明的范围和精神内,第一组成部分可以被称为第二组成部分,反之亦然。术语“和/或”意指包括多个描述的相关项目的组合或者这些项目中的一个。
这里使用的技术术语被提供仅仅用来描述特定的示例性实施例,而不意图限制本发明。这里,除非在上下文中另有说明,否则单数表述包括多数表述。在本描述中,术语“包含”或“具有”不被解释为必定包括本说明书中描述的所有的特征、数量、步骤、操作、组成部分、部件或其组合。确切地说,应该理解,有省略或添加一个或多个特征、数量、步骤、操作、组成部分、部件或其组合的可能性。
除非另有定义,否则这里使用的包括技术或科学术语的所有术语具有与本领域的技术人员通常所理解的术语相同的含义。另外,在普通词典中定义的术语应该被理解为具有与相关领域的上下文含义相同的含义。除非在本文中明确定义,否则术语不应该被解释为理想的或者过度正式的含义。
图1是根据本发明的示例性实施例的移动装置的框图。
参照图1,移动装置100可通过外部装置接口(诸如子通信模块130、连接器165和耳机连接器插孔167(在图3中示出))与外部装置(未示出)连接。术语“外部装置”覆盖可以通过电线可拆卸地连接到移动装置100的各种装置,例如,耳机、外部扬声器、通用串行总线(USB)存储器、充电器、支架、插接站、数字多媒体广播(DMB)天线、移动支付装置、保健装置(例如,血糖仪等)、游戏机、车辆导航仪等。“外部装置”可以包括通过短距离通信可无线地连接到移动装置100的装置,例如,蓝牙通信装置、近场通信(NFC)装置、Wi-Fi直接通信装置和无线接入点(AP)。另外,外部装置可以是另一移动装置、便携式电话、智能电话、平板PC、台式PC和服务器中的任何一个。
移动装置100包括显示器190和显示控制器195。移动装置100还包括控制器110、移动通信模块120、子通信模块130、多媒体模块140、相机模块150、全球定位系统(GPS)模块155、输入/输出(I/O)模块160、传感器模块170、存储器(存储装置)175和电源180。子通信模块130包括无线局域网(WLAN)模块131和短距离通信模块132中的至少一个。多媒体模块140包括广播通信模块141、音频播放模块142和视频播放模块143中的至少一个。相机模块150包括第一相机151和第二相机152中的至少一个,并且,I/O模块160包括按钮161、麦克风162、扬声器163、振动电机164、连接器165、键盘166和耳机连接器插孔167中的至少一个。通过举例的方式,在认识到显示器190和显示控制器195分别是触摸屏和触摸屏控制器的情况下给出下面的描述。
控制器110可以包括:中央处理器(CPU)111;只读存储器(ROM112),用于存储控制移动装置100的控制程序;以及随机存取存储器(RAM)113,用于存储从移动装置100的外部接收的信号或数据,或者用作用于由移动装置100执行的操作的存储器空间。CPU111可以包括一个或多个核。CPU111、ROM112和RAM113可以通过内部总线相互连接。
控制器110可以控制移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、I/O模块160、传感器模块170、存储器175、电源180、触摸屏190和触摸屏控制器195。
移动通信模块120在控制器110的控制下通过移动通信经由一根或多根天线(未示出)将移动装置100连接到外部装置。移动通信模块120向具有被输入到移动装置100的电话号码的便携式电话(未示出)、智能电话(未示出)、平板PC(未示出)或者另一个移动装置(未示出)发送无线信号或者从其接收无线信号,用于语音呼叫、视频呼叫、短消息服务(SMS)或者多媒体消息服务(MMS)。
子通信模块130可以包括WLAN模块131和短距离通信模块132中的至少一个。
WLAN模块131可以在安装无线AP(未示出)的地方在控制器110的控制下连接到互联网。WLAN模块131支持电气和电子工程师协会(IEEE)的WLAN标准IEEE802.11x。短距离通信模块132可以在控制器110的控制下在移动装置100和成像装置(未示出)之间进行短距离无线通信。短距离通信可以遵循蓝牙、红外数据协会(IrDA)、WiFi直接、NFC等。
移动装置100可以根据移动装置100的功能包括移动通信模块120、WLAN模块131和短距离通信模块132中的至少一个。例如,移动装置100可以根据其性能包括移动通信模块120、WLAN模块131和短距离通信模块132的组合。
多媒体模块140可以包括广播通信模块141、音频播放模块142或视频播放模块143。广播通信模块141可以在控制器110的控制下通过广播通信天线(未示出)从广播站接收广播信号(例如,TV广播信号、无线电广播信号或者数据广播信号)和附加广播信息(例如,电子节目指南(EPG)或者电子服务指南(ESG))。音频播放模块142可以在控制器110的控制下打开存储的或者接收到的数字音频文件(例如,具有诸如mp3、wma、ogg或wav之类的扩展名的文件)。视频播放模块143可以在控制器110的控制下打开存储的或者接收到的数字视频文件(例如,具有诸如mpeg、mpg、mp4、avi、mov或mkv的扩展名的文件)。视频播放模块143还可以打开数字音频文件。
多媒体模块140可以包括音频播放模块142和视频播放模块143而不包括广播通信模块141。可替换地,多媒体模块140的音频播放模块142或者视频播放模块143可以被合并到控制器110中。
相机模块150可以包括第一相机151和第二相机152中的至少一个,用于在控制器110的控制下捕获静止图像或视频。第一相机151或第二相机152可以包括用于提供捕获图像所需的光强度的辅助光源(例如,闪光灯(未示出))。第一相机151可以被设置在移动装置100的前表面上,而第二相机152可以被设置在移动装置100的后表面上。可替换地,第一相机151和第二相机152可以彼此靠近地布置(例如,第一相机151和第二相机152之间的距离在1cm和8cm之间),以捕获三维静止图像或视频。
GPS模块155可以从处于地球轨道中的多个GPS卫星(未示出)接收信号波,并且,可以基于卫星信号从GPS卫星到移动装置100的到达时间(ToA)来计算移动装置100的位置。
I/O模块160可以包括多个按钮161、麦克风162、扬声器163、振动电机164、连接器165和键盘166中的至少一个。
按钮161可以被形成在移动装置100的壳体的前表面、侧表面或后表面上,并且可以包括电源/锁定按钮、音量按钮、菜单按钮、主屏幕按钮、返回按钮和搜索按钮中的至少一个。
麦克风162在控制器110的控制下接收语音或声音并将接收到的语音或声音转换为电信号。
扬声器163可以将与从移动通信模块120、子通信模块130、多媒体模块140和相机模块150接收到的各种信号(例如,无线信号、广播信号、数字音频文件、数字视频文件、拍照等)对应的声音输出到移动装置100的外部。扬声器163可以输出与由移动装置100执行的功能对应的声音(例如,按钮操作声音或呼叫的回铃音)。一个或多个扬声器163可以被设置在移动装置100的壳体的一个或多个合适的位置处。
振动电机164可以在控制器110的控制下将电信号转换为机械振动。例如,当移动装置100在振动模式中从另一个移动装置(未示出)接收到语音呼入时,振动电机164进行操作。一个或多个振动电机164可以被安装在移动装置100的壳体的内部。振动电机164可以响应于用户在触摸屏190上的触摸和在触摸屏190上的连续的触摸运动来进行操作。
连接器165可以用作将移动装置100连接到外部装置(未示出)或电源(未示出)的接口。连接器165可以在控制器110的控制下经由与连接器165连接的线缆将存储在存储器175中的数据发送到外部装置或者经由该线缆从外部装置接收数据。外部装置可以是插接站,并且,数据可以是从例如鼠标或键盘的外部输入装置接收到的信号。移动装置100可以经由与连接器165连接的线缆从电源(未示出)接收电力或对电池(未示出)充电。
键盘166可以从用户接收键输入以控制移动装置100。键盘166包括被形成在移动装置100上的物理键盘(未示出)或者在显示器190上显示的虚拟键盘(未示出)。根据移动装置100的性能或配置,可以不提供物理键盘。
耳机(未示出)可以被插入到耳机连接器插孔167中并由此与移动装置100连接。
传感器模块170包括用于检测移动装置100的状态的至少一个传感器(未示出)。例如,传感器模块170可以包括:用于检测用户是否接近移动装置100的接近传感器;用于检测移动装置100周围的环境光的量的照明传感器;用于检测移动装置100的运动(例如,移动装置100的旋转、加速度或振动)的运动传感器;用于使用地球的磁场来检测指南针的指向的地磁传感器;用于检测重力的方向的重力传感器;以及用于通过测量气压来测量高度的高度仪。至少一个传感器可以检测移动装置100的状态,产生与检测到的状态相对应的信号,并且将产生的信号发送到控制器110。根据移动装置100的性能,可以向传感器模块170添加传感器或者从其去除传感器。
存储器175可以在控制器110的控制下存储根据移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、I/O模块160、传感器模块170和触摸屏190的操作而输入/输出的信号或数据。存储器175可以存储用于控制移动装置100或控制器110的控制程序和应用。
术语“存储器”可以包括存储器175、控制器110内的ROM112和RAM113、或者安装在移动装置100中的存储器卡(未示出)(例如,安全数字(SD)卡或记忆棒)。存储器可以包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。
电源180可以在控制器110的控制下向在移动装置100的壳体中安装的一个或多个电池(未示出)供电。一个或多个电池向移动装置100供电。此外,电源180可以将经由与连接器165连接的线缆从外部电源(未示出)接收的电力供应到移动装置100。电源180还可以通过无线充电技术将从外部电源无线地接收到的电力供应到移动装置100。
触摸屏190可以将与各种服务(例如,呼叫、数据发送、广播和摄影)对应的用户界面(UI)提供给用户。触摸屏190可以将与对UI的至少一个触摸对应的模拟信号发送到触摸屏控制器195。触摸屏190可以通过用户的身体部位(例如,手指)或触摸输入工具(例如,触笔)来接收至少一个触摸输入。触摸屏190还可以接收与一个或多个触摸中的连续的触摸运动对应的触摸输入信号。触摸屏190可以将与连续的输入触摸运动对应的模拟信号发送到触摸屏控制器195。
如本描述中所使用的,“触摸”可以包括非接触式触摸,并且不必一定局限于触摸屏190和用户的身体部位或触摸输入工具之间的接触。可以根据移动装置100的性能或配置来改变对于触摸屏190可检测到的间隙。
例如,触摸屏190可以被实现为电阻型、电容型、电磁共振(EMR)型、红外型或声波型。
触摸屏控制器195将从触摸屏190接收到的模拟信号转换为数字信号(例如,X和Y坐标)。控制器110可以使用从触摸屏控制器195接收到的数字信号来控制触摸屏190。例如,控制器110可以响应于触摸来控制在触摸屏190上显示的快捷图标(未示出)的选择或执行。触摸屏控制器195可以被合并到控制器110中。
图2和图3分别是根据本发明的示例性实施例的移动装置的前透视图和后透视图。
参照图2,触摸屏190被设置在移动装置100的前表面100a的中心处,从而几乎占用了整个前表面100a。在图2中,通过举例的方式,在触摸屏190上显示主要主屏幕。主要主屏幕是当移动装置100被开机时在触摸屏190上显示的第一屏幕。在移动装置100具有多页不同的主屏幕时,主要主屏幕可以是多页主屏幕中的第一主屏幕。用于执行经常使用的应用的快捷图标191-1、191-2和191-3,应用切换键191-4,时间,天气等,可以被显示在主屏幕上。应用切换键191-4被用来显示代表在触摸屏190上的应用的应用图标。在触摸屏190的顶端处可以显示状态条192,以指示移动装置100的状态,例如,电池充电状态、接收到的信号的强度和当前时间。
主屏幕按钮161a、菜单按钮161b和返回按钮161c可以被形成在触摸屏190的底部处。
主屏幕按钮161a被用来在触摸屏190上显示主要主屏幕。例如,当在触摸屏190上显示除主要主屏幕以外的任何主屏幕或者菜单屏幕同时按下(或触摸)主屏幕按钮161a时,可以在触摸屏190上显示主要主屏幕。当在触摸屏190上执行应用的期间按下(或触摸)主屏幕按钮161a时,可以在触摸屏190上显示图2中示出的主要主屏幕。还可以使用主屏幕按钮161a来使得在触摸屏190上显示最近使用的应用或者任务管理器。
菜单按钮161b提供可以在触摸屏190上使用的链接菜单。链接菜单可以包括微件添加菜单、背景改变菜单、搜索菜单、编辑菜单、环境设置菜单,等等。在执行应用的期间,菜单按钮161b可以提供与应用链接的链接菜单。
返回按钮161c可以显示在当前屏幕之前的屏幕,或者可以结束最近使用的应用。
可以在移动装置100的前表面100a的角落处布置第一相机151、照明传感器170a和接近传感器170b,而可以在移动装置100的后表面100c上布置第二相机152、闪光灯153和扬声器163。
例如,可以在移动装置100的侧表面100b上设置电源/重置按钮161d、音量按钮161e、用于接收广播信号的地面DMB天线141a、以及一个或多个麦克风162。DMB天线141a可以被固定或可拆卸地安装到移动装置100。
连接器165被形成在移动装置100的底侧表面上。连接器165可以包括多个电极,并且可以通过电线与外部装置连接。可以在移动装置100的顶侧表面上形成耳机连接器插孔167,以便允许插入耳机。
图4是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图。
参照图4,在用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法中,在步骤410中,确定在移动装置的第一状态中是否激活了脸部识别功能。移动装置100的控制器110确定在第一状态中是否激活了脸部识别功能。控制器110可以识别移动装置100的第一状态。例如,控制器110可以识别移动装置100的状态,例如,主屏幕显示状态、应用列表显示状态、应用执行状态、动作执行状态、屏幕锁定状态,等等。移动装置100的显示器190可以显示移动装置100的状态。显示器190可以被配置为触摸屏。
控制器110可以确定是否激活了脸部识别功能。脸部识别功能是通过相机识别移动用户的脸部并基于识别出的脸部来提供各种用户界面(UI)的技术。在移动装置100中,脸部识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中脸部识别功能是激活的还是未激活的。控制器110可以通过检测用户输入来激活或去激活脸部识别功能。例如,控制器110可以在触摸屏190上显示用于激活脸部识别功能的菜单图标或者用于去激活脸部识别功能的菜单图标。控制器110可以通过检测对用于激活脸部识别功能的菜单图标或者用于去激活脸部识别功能的菜单图标的触摸输入,来激活或去激活脸部识别功能。
如果脸部识别功能是激活的,则控制器110在步骤420中通过相机获取图像。当在步骤410中确定脸部识别功能是激活的时,控制器110通过相机获取图像。相机可以是上面参照图1至图3描述的相机模块150中包含的第一相机151和第二相机152中的一个。控制器110可以通过操作相机并由此通过相机捕获用户的脸部来获取图像。
图5示出根据本发明的示例性实施例的用户使用具有使用附加组成部分的脸部识别功能的移动装置。
参照图5,移动装置100的控制器110可以通过操作相机150来获取图像,并且由此通过相机150捕获用户500的脸部并在触摸屏190上显示捕获的图像。图像可以包括连续图像,并且,这些连续图像可以形成视频。可替换地,图像可以是单个照片图像。
在步骤430中,控制器110通过分析捕获的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。控制器110通过分析在步骤420中获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
图6示出通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
参照图6,示出在步骤420中获取的图像600。控制器110可以通过分析图像600来提取脸部图形610。控制器110可以通过分析图像600来提取在脸部图形610中包含的至少一个主要组成部分。至少一个主要组成部分可以包括,例如,用户的眼睛、嘴、鼻子和耳朵中的至少一个。在图6中,至少一个主要组成部分可以包括眼睛612和614、嘴616、鼻子618以及耳朵620和622中的至少一个。因此,控制器110可以通过分析由照相机获取的图像600来提取脸部图形610或者包括眼睛612和614、嘴616、鼻子618以及耳朵620和622中的至少一个的至少一个主要组成部分。
返回参照图4,在步骤440中,控制器110基于脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。控制器110可以使用在步骤430中提取的脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。例如,控制器110可以通过将至少一个提取的主要组成部分与登记的用户的脸部进行比较来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。
关于登记的用户的脸部的信息可以被预先存储在移动装置100的存储器175中。例如,控制器110可以通过将作为至少一个提取的主要组成部分的眼睛与预先登记在存储器175中的用户的脸部的眼睛进行比较,来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。如果提取的脸部图形或者至少一个主要组成部分在大小、位置或相对距离方面与预先登记的用户的脸部相同或相似,则控制器110可以确定从图像中识别出的脸部与登记的用户的脸部匹配。例如,如果作为至少一个提取的主要组成部分的眼睛612和614的大小以及眼睛612和614之间的距离与图6中的预先登记的用户的脸部的眼睛的大小和距离相等或相近似,则控制器110可以确定从图像中识别出的脸部与登记的用户的脸部匹配。可替换地,控制器110可以通过将作为至少一个提取的主要组成部分的眼睛612和614、嘴616、鼻子618以及耳朵620和622的大小、位置或者相对距离与预先登记的用户的脸部的眼睛、嘴、鼻子和耳朵的这些大小、位置或者相对距离,来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部匹配,则控制器110进入步骤450。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部不匹配,则控制器110结束本过程。
在步骤450中,控制器110确定是否激活了附加图形识别功能。控制器110可以确定附加图形识别功能是否为激活的。附加图形是指除了脸部图形以外的任何图形。附加图形识别功能是通过相机识别附加图形并基于识别出的附加图形来提供各种UI的技术。在移动装置100中,附加图形识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中附加图形识别功能是激活的还是未激活的。控制器110可以通过检测用户输入来激活或去激活附加图形识别功能。例如,控制器110可以在触摸屏190上显示用于激活附加图形识别功能的菜单图标或者用于去激活附加图形识别功能的菜单图标。控制器110可以通过检测对用于激活附加图形识别功能的菜单图标或者用于去激活附加图形识别功能的菜单图标的触摸输入,来激活或去激活附加图形识别功能。如果附加图形识别功能是激活的,则控制器110可以进入步骤470。
如果附加图形识别功能是未激活的,则在步骤460中控制器110执行对应于脸部识别的功能。当控制器110确定附加图形识别功能是未激活的时,控制器110只执行与脸部识别对应的功能。与脸部识别对应的功能可以被预设并存储在存储器175中。例如,如果第一状态是锁定状态,则与脸部识别对应的功能可以是将移动装置100从锁定状态切换到解锁状态的功能。可替换地,与脸部识别对应的功能可以是执行预定应用的功能。
如果附加图形识别功能是激活的,则在步骤470中控制器110通过分析获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。当在步骤450中控制器110确定附加图形识别功能是激活的时,控制器110通过分析获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。因此,控制器110通过分析在步骤420中获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。
图7示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。
参照图7,示出在步骤420中获取的图像600。控制器110可以通过分析图像600来提取附加图形630。例如,附加图形630可以是手。控制器110可以通过分析图像600来提取在附加图形630中包含的至少一个附加组成部分。例如,至少一个附加组成部分可以是手指。在图7中,至少一个附加组成部分可以是一个或多个手指632和634。因此,控制器110可以通过分析由相机获取的图像600来提取诸如手的附加图形630或者诸如手指的至少一个附加组成部分632和634。以这样的方式,本发明的示例性实施例有利地提供用于通过分析由相机获取的图像来提取附加图形或附加组成部分的移动装置和用于控制该移动装置的方法。
返回参照图4,在步骤480中,控制器110将移动装置切换到与附加图形或者至少一个附加组成部分对应的预定第二状态。控制器110可以将移动装置100切换到与在步骤470中提取的附加图形或者至少一个附加组成部分对应的预定第二状态。与附加图形或者至少一个附加组成部分对应的预定第二状态可以被预先存储在存储器175中。与附加图形或者至少一个附加组成部分对应的第二状态可以如最初基于检测到的用户输入而设置的那样或者如稍后改变的那样被存储在存储器175中。预定的第二状态可以是移动终端100的主屏幕显示状态、应用列表显示状态、应用执行状态、动作执行状态和屏幕锁定状态中的一个。例如,至少一个提取的附加组成部分可以是手指,并且,与作为手指的至少一个附加组成部分对应的预定第二状态可以是应用列表显示状态。因此,如果至少一个提取的附加组成部分是手指,则控制器110可以将移动装置100切换到与作为至少一个附加组成部分的手指对应的预定第二状态,即,应用列表显示状态。因此,本发明的示例性实施例有利地提供一种用于切换到与附加图形或附加组成部分对应的预定状态的移动装置和用于控制该移动装置的方法。
图8是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图。
参照图8,在用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法中,控制器110在步骤800中在锁定状态中检测解锁触发。
图9A示出根据本发明的示例性实施例的置于锁定状态的移动装置。
参照图9A,锁定状态是指阻止用户的误操作的输入的状态。例如,如果移动装置100放置在用户的口袋中,则用户不想操作移动装置100。如果移动装置100置于锁定状态中,则可以阻止用户误操作的输入。另外,锁定状态可以防止未经授权的人操作移动装置100。如果移动装置100处于锁定状态中,则防止未经授权的人对移动装置100进行输入。例如,如果在预定时间内没有对移动装置100进行输入,则移动装置100可以被切换到锁定状态。在按压预定按钮时,移动装置100也可以被切换到锁定状态。例如,预定按钮可以是电源/重置按钮161d。当移动装置100处于锁定状态中时,可以拒绝预定的输入。例如,预定的输入可以是对触摸屏190的输入。但是,可以在移动装置100中执行除预定输入以外的功能。例如,甚至可以在锁定状态中执行音乐应用。
控制器110可以在锁定状态中检测解锁触发。例如,解锁触发可以是对预定按钮的输入。如图9A所示,预定按钮可以是电源/重置按钮161d或者主屏幕按钮161a。在检测到解锁触发时,控制器110可以打启触摸屏190。触摸屏190可以被开启,并且,屏幕可以被显示在触摸屏190上。
返回参照图8,在检测到解锁触发时,控制器110进入步骤810,以确定脸部识别功能是否是激活的。在步骤810中,控制器110确定脸部识别功能是否是激活的。控制器110可以确定是否激活了脸部识别功能。在移动装置100中,脸部识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中脸部识别功能是激活的还是未激活的。
如果脸部识别功能是激活的,则控制器110在步骤820中通过相机获取图像。当控制器110在步骤S810中确定脸部识别功能是激活的时,控制器110通过相机获取图像。相机可以是之前参照图1至图3描述的相机模块150中包含的第一相机151和第二相机152中的一个。控制器110可以通过操作相机并由此通过相机捕获用户的脸部来获取图像。
在步骤830中,控制器110通过分析捕获的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。控制器110通过分析在步骤820中已经获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
图9B示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
参照图9B,示出在步骤820中获取的图像900。控制器110可以通过分析图像900来提取脸部图形910。控制器110可以通过分析图像900来提取在脸部图形910中包含的至少一个主要组成部分。至少一个主要组成部分可以包括,例如,用户的眼睛、嘴、鼻子和耳朵中的至少一个。在图9B中,至少一个主要组成部分可以包括眼睛912和914、嘴916、鼻子918以及耳朵920和922中的至少一个。因此,控制器110可以通过分析由相机获取的图像900来提取脸部图形910或者包括眼睛912和914、嘴916、鼻子918以及耳朵920和922中的至少一个的至少一个主要组成部分。
返回参照图8,在步骤840中,控制器110基于脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。控制器110可以使用在步骤830中已经提取的脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。例如,控制器110可以通过将提取的脸部图像或至少一个提取的主要组成部分与登记的用户的脸部进行比较,来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。
关于登记的用户的脸部的信息可以被预先存储在移动装置100的存储器175中。如果提取的脸部图像或者至少一个主要组成部分在大小、位置或相对距离方面与预先登记的用户的脸部相同或相似,则控制器110可以确定从图像中识别出的脸部与登记的用户的脸部匹配。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部匹配,则控制器110进入步骤850。如果控制器确定从图像中识别出的脸部与登记的用户的脸部不匹配,则控制器110结束本过程。
在步骤850中,控制器110确定是否激活了附加图形识别功能。控制器110可以确定附加图形识别功能是否是激活的。附加图形是指除了脸部图形以外的任何图形。附加图形识别功能是通过相机识别附加图形并基于识别出的附加图形来提供各种UI的技术。这里,在移动装置100中,附加图形识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中附加图形识别功能可以是激活的还是未激活的。控制器110可以通过检测用户输入来激活或去激活附加图形识别功能。如果附加图形识别功能是激活的,则控制器110可以进入步骤870。
如果附加图形识别功能是未激活的,则控制器110在步骤860中将移动装置100切换到解锁状态。当控制器110确定附加图形识别功能是未激活的时,控制器110只将移动装置100切换到解锁状态。因此,如果控制器110确定附加图形识别功能是未激活的,则控制器不执行用于提取附加图形或者附加组成部分的操作,并且由此将移动装置100切换到与附加组成部分对应的预设状态。由于在步骤800中检测到解锁触发,并且在步骤840中由脸部识别功能提取的脸部图形与登记的用户的脸部匹配,所以控制器110只将移动装置100切换到解锁状态。
图9C示出根据本发明的示例性实施例的置于解锁状态的移动装置。
参照图9C,当移动装置100处于解锁状态中时,移动装置100可以接收大部分的用户输入。因此,移动装置100可以在解锁状态中接收对按钮161或者触摸屏190的大部分输入。例如,在解锁状态中,主屏幕940可以被显示在触摸屏190上。快捷图标942或者微件还可以被显示在主屏幕940上。
如果附加图形识别功能是激活的,则在步骤870中控制器110通过分析获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。当在步骤850中控制器110确定附加图形识别功能是激活的时,控制器110通过分析获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。因此,控制器110通过分析在步骤820中已经获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。
图9B也示出通过分析由相机获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。在图9B中,示出在步骤820中获取的图像900。控制器110可以通过分析图像900来提取附加图形930。例如,附加图形930可以是手。控制器110可以通过分析图像900来提取在附加图形930中包含的至少一个附加组成部分。类似地,至少一个附加组成部分可以包括拇指、食指、中指、无名指或小指。在图9B中,至少一个附加组成部分可以是拇指932。因此,本发明的示例性实施例有利地提供用于通过分析由相机获取的图像来提取附加图形或附加组成部分的移动装置和用于控制该移动装置的方法。
返回参照图8,控制器110在步骤875中切换到解锁状态。在步骤880中,控制器110将移动装置100切换到与附加图形或者至少一个附加组成部分对应的预定状态。控制器110可以将移动装置100切换到与在步骤870中已经提取的附加图形或者至少一个附加组成部分对应的预定状态。与提取的附加图形或者至少一个附加组成部分对应的预定状态可以被预先存储在存储器175中。例如,至少一个提取的附加组成部分可以是拇指,并且,与作为拇指的至少一个附加组成部分对应的预定的状态可以是音乐应用执行状态。因此,如果至少一个提取的附加组成部分是拇指,则控制器110可以将移动装置100切换到与作为至少一个附加组成部分的拇指对应的预定状态,即,音乐应用执行状态。
图9D示出根据本发明的示例性实施例的移动装置中的音乐应用的执行。
参照图9D,控制器110将移动装置100切换到与作为拇指的附加组成部分对应的预定状态(即,执行音乐应用950的状态)。因此,本发明的示例性实施例有利地提供用于切换到与附加图形或附加组成部分对应的预定状态的移动装置和用于控制该移动装置的方法。
图10是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图。
参照图10,在用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法中,在步骤S1010中,确定在移动装置的第一动作执行状态中是否激活了脸部识别功能。控制器110确定在第一动作执行状态中是否激活了脸部识别功能。控制器110可以识别出移动装置100的第一动作执行状态。例如,第一动作执行状态可以是锁定状态、第一应用执行状态、或者在第一应用中执行特定项目的状态。
图11A示出根据本发明的示例性实施例的置于锁定状态的移动装置。
参照图11A,第一动作执行状态被示出为锁定状态。控制器110可以确定是否激活了脸部识别功能。脸部识别功能是通过相机识别移动用户的脸部并基于识别出的脸部来提供各种UI的技术。在移动装置100中,脸部识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中脸部识别功能是激活的还是未激活的。
返回参照图10,如果脸部识别功能是激活的,则控制器110在步骤1020中通过相机获取图像。当控制器110在步骤S1010中确定脸部识别功能是激活的时,控制器110通过相机获取图像。相机可以是之前参照图1至图3描述的相机模块150中包含的第一相机151和第二相机152中的一个。控制器110可以通过操作相机并由此通过相机捕获用户的脸部来获取图像。
在步骤1030中,控制器110通过分析捕获的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。控制器110通过分析在步骤1020中已经获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
图11B示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
参照图11B,示出在步骤1020中获取的图像1100。控制器110可以通过分析图像1100来提取脸部图形1110。控制器110可以通过分析图像1100来提取在脸部图形1110中包含的至少一个主要组成部分。至少一个主要组成部分可以包括,例如,用户的眼睛、嘴、鼻子和耳朵中的至少一个。在图11B中,至少一个主要组成部分可以包括眼睛1112和1114、嘴1116、鼻子1118以及耳朵1120和1122中的至少一个。因此,控制器110可以通过分析由相机获取的图像1100来提取脸部图形1110或者包括眼睛1112和1114、嘴1116、鼻子1118以及耳朵1120和1122中的至少一个的至少一个主要组成部分。
返回参照图10,在步骤1040中,控制器110基于脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。控制器110可以使用在步骤1030中已经提取的脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。例如,控制器110可以通过将提取的脸部图像或至少一个主要组成部分与登记的用户的脸部进行比较来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。关于登记的用户的脸部的信息可以被预先存储在移动装置100的存储器175中。如果提取的脸部图像或者至少一个主要组成部分在大小、位置或相对距离方面与预先登记的用户的脸部相同或相似,则控制器110可以确定从图像中识别出的脸部与登记的用户的脸部匹配。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部匹配,则控制器110进入步骤1050。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部不匹配,则控制器110结束本过程。
在步骤1050中,控制器110确定是否激活了附加图形识别功能。控制器110可以确定附加图形识别功能是否为激活的。附加图形是指除了脸部图形以外的任何图形。附加图形识别功能是通过相机识别附加图形并基于识别出的附加图形来提供各种UI的技术。在移动装置100中,附加图形识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中附加图形识别功能是激活的还是未激活的。控制器110可以通过检测用户输入来激活或去激活附加图形识别功能。如果附加图形识别功能是激活的,则控制器110可以进入步骤1070。
如果附加图形识别功能是未激活的,则在步骤1060中控制器110执行与脸部识别对应的功能。当控制器110确定附加图形识别功能是未激活的时,控制器110只执行与脸部识别对应的功能。与脸部识别对应的功能可以被预设并存储在存储器175中。例如,如果第一动作执行状态是锁定状态,则与脸部识别对应的功能可以是将移动装置100切换到解锁状态的功能。
图11C示出根据本发明的另一个示例性实施例的置于解锁状态的移动装置。
参照图11C,与脸部识别对应的功能可以是将移动装置切换到解锁状态的功能。可替换地,与脸部识别对应的功能可以是执行预定应用的功能。
如果附加图形识别功能是激活的,则在步骤1070中控制器110通过分析获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。当在步骤1050中确定附加图形识别功能是激活的时,控制器110通过分析获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。因此,控制器110通过分析在步骤1020中已经获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。
图11D示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。
参照图11D,示出在步骤1020中获取的图像1100。控制器110可以通过分析图像1100来提取附加图形1130。例如,附加图形1130可以是手。控制器110可以通过分析图像1100来提取在附加图形1130中包含的至少一个附加组成部分。例如,至少一个附加组成部分可以是手指。另外,至少一个附加组成部分可以包括拇指、食指、中指、无名指或小指。在图11D中,至少一个附加组成部分可以包括拇指1134和小指1132。以这样的方式,本发明的示例性实施例有利地提供用于通过分析由相机获取的图像来提取附加图形或附加组成部分的移动装置和用于控制该移动装置的方法。
返回参照图10,在步骤1080中,控制器110将移动装置100切换到与附加图形或者至少一个附加组成部分对应的预定第二动作执行状态。控制器110可以将移动装置100切换到与在步骤1070中提取的附加图形或者至少一个附加组成部分对应的预定第二动作执行状态。预定第二动作执行状态可以不同于第一动作执行状态。可替换地,第二动作执行状态可以是执行附加于第一动作的功能的状态。例如,第二动作执行状态可以是锁定状态、第二应用执行状态、或者在第二应用中执行特定项目的状态。
与附加图形或者至少一个附加组成部分对应的第二动作执行状态可以被预先存储在存储器175中。例如,至少一个提取的附加组成部分可以包括拇指和小指,并且,与作为附加组成部分的拇指和小指对应的预定第二动作执行状态可以是电话应用执行状态。因此,如果至少一个提取的附加组成部分是拇指和小指,则控制器110可以将移动装置100切换到与作为至少一个提取的附加组成部分的拇指和小指对应的预定第二动作执行状态,即,电话应用执行状态。
图11E示出根据本发明的示例性实施例的移动装置中的电话应用的执行。
参照图11E,控制器110将移动装置100切换到执行电话应用1150的状态,其中,执行电话应用1150的状态被预设为与作为至少一个附加组成部分的拇指和小指对应的第二动作执行状态。因此,本发明的示例性实施例有利地提供用于切换到与附加图形或附加组成部分对应的预定第二动作执行状态的移动装置和用于控制该移动装置的方法。
图12是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图。
参照图12,在根据本发明的另一个示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法中,在步骤S1210中,确定在移动装置的第一状态中是否激活了脸部识别功能。控制器110确定在第一状态中是否激活了脸部识别功能。控制器110可以识别出移动装置100的第一状态。例如,控制器110可以识别出主屏幕显示状态、应用列表显示状态、应用执行状态、动作执行状态和屏幕锁定状态。例如,移动装置100的第一状态可以是锁定状态。
图13A示出根据本发明的示例性实施例的置于锁定状态的移动装置。
参照图13A,第一状态被示出为锁定状态。控制器110可以确定是否激活了脸部识别功能。在移动装置100中,脸部识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中脸部识别功能是激活的还是未激活的。
如果脸部识别功能是激活的,则控制器110在步骤1220中通过相机获取图像。当控制器110在步骤S1210中确定脸部识别功能是激活的时,控制器110通过相机获取图像。相机可以是上面参照图1至图3描述的相机模块150中包含的第一相机151和第二相机152中的一个。控制器110可以通过操作相机并由此通过相机捕获用户的脸部来获取图像。
在步骤1230中,控制器110通过分析捕获的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。控制器110通过分析在步骤1220中已经获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
图13B示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
参照图13B,示出在步骤1220中获取的图像1300。控制器110可以通过分析图像1300来提取脸部图形1310。控制器110可以通过分析图像1300来提取在脸部图形1310中包含的至少一个主要组成部分。至少一个主要组成部分可以包括,例如,眼睛、嘴、鼻子和耳朵中的至少一个。在图13B中,至少一个主要组成部分可以包括眼睛1312和1314、嘴1316、鼻子1318以及耳朵1320和1322中的至少一个。因此,控制器110可以通过分析由相机获取的图像1300来提取脸部图形1310或者包括眼睛1312和1314、嘴1316、鼻子1318以及耳朵1320和1322中的至少一个的至少一个主要组成部分。
返回参照图12,在步骤1240中,控制器110基于脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。控制器110可以使用在步骤1230中已经提取的脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。例如,控制器110可以通过将提取的脸部图像或至少一个主要组成部分与登记的用户的脸部进行比较来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。
关于登记的用户的脸部的信息可以被预先存储在移动装置100的存储器175中。如果提取的脸部图像或者至少一个主要组成部分在大小、位置或相对距离方面与预先登记的用户的脸部相同或相似,则控制器110可以确定从图像中识别出的脸部与登记的用户的脸部匹配。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部匹配,则控制器110进入步骤1250。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部不匹配,则控制器110结束本过程。
在步骤1250中,控制器110确定是否激活了附加图形识别功能。控制器110可以确定附加图形识别功能是否是激活的。附加图形是指除了脸部图形以外的任何图形。附加图形识别功能是通过相机识别附加图形并基于识别出的附加图形来提供各种UI的技术。在移动装置100中,附加图形识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中附加图形识别功能可以是激活的还是未激活的。控制器110可以通过检测用户输入来激活或去激活附加图形识别功能。如果附加图形识别功能是激活的,则控制器110可以进入步骤1270。
如果附加图形识别功能是未激活的,则在步骤1260中控制器110执行对应于脸部识别的功能。当控制器110确定附加图形识别功能是未激活的时,控制器110只执行与脸部识别对应的功能。与脸部识别对应的功能可以被预设并存储在存储器175中。
图13C示出根据本发明的另一个示例性实施例的置于解锁状态的移动装置。
参照图3C,如果第一状态是锁定状态,则与脸部识别对应的功能可以是将移动装置100改变为解锁状态的功能。可替换地,例如,与脸部识别对应的功能可以是执行预定应用的功能。
如果附加图形识别功能是激活的,则在步骤1270中控制器110通过分析获取图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。当在步骤1250中控制器110确定附加图形识别功能是激活的时,控制器110通过分析获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。因此,控制器110通过分析在步骤1220中已经获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。
图13D示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取附加图形或者在附加图形中包含的至少一个附加组成部分。
参照图13D,示出在步骤1220中获取的图像1300。控制器110可以通过分析图像1300来提取附加图形1330。例如,附加图形1330可以是手。控制器110可以通过分析图像1300来提取在附加图形1330中包含的至少一个附加组成部分。例如,至少一个附加组成部分可以是手指。另外,至少一个附加组成部分可以包括拇指、食指、中指、无名指或小指。例如,如图13D所示,至少一个附加组成部分可以包括食指1332和中指1334。以这样的方式,本发明的示例性实施例有利地提供用于通过分析由相机获取的图像来提取附加图形或附加组成部分的移动装置和用于控制该移动装置的方法。
返回参照图12,控制器110在步骤1280中将移动装置100切换到与以下项中的至少一个对应的预定第二状态:至少一个附加组成部分的数量、位于邻近至少一个提取的主要组成部分的预定区域中的至少一个附加组成部分、提取的附加图形或者至少一个附加组成部分的形状、以及至少一个提取的附加组成部分的运动。控制器110可以将移动装置100切换到与以下项中的至少一个对应的预定状态:在步骤1270中提取的至少一个附加组成部分的数量、位于邻近至少一个提取的主要组成部分的预定区域中的至少一个附加组成部分、提取的附加图形或者至少一个附加组成部分的形状、以及至少一个提取的附加组成部分的运动。预设状态可以被预先存储在存储器175中。
控制器110可以将移动装置100切换到与至少一个提取的附加组成部分的数量对应的预定第二状态。例如,至少一个提取的附加组成部分可以包括手指,并且,至少一个提取的组成部分的数量可以是2。与作为至少一个附加组成部分的两个手指对应的预定第二状态可以是相机应用执行状态。因此,如果至少一个提取的附加组成部分是两个手指,则控制器110可以将移动装置100切换到与两个手指对应的预定第二状态(即,相机应用执行状态)。
图13D示出设置与至少一个提取的附加组成部分的数量对应的预定第二状态。在图13D的例子中,在步骤1270中提取的附加图形和至少一个附加组成部分分别是手和手指。手指是食指1332和中指1334。至少一个附加组成部分的数量是2。因此,在图13D中,控制器110可以执行作为与至少一个附加组成部分的数量2对应的预定第二状态的相机应用。
图13G示出根据本发明的示例性实施例的移动装置中的相机应用的执行。
参照图13G,在图13G中控制器110被示出为执行作为与至少一个附加组成部分的数量对应的预定第二状态的相机应用1360。因此,本发明的示例性实施例有利地提供用于切换到与至少一个附加组成部分的数量对应的预设状态的移动装置和用于控制该移动装置的方法。
控制器110可以将移动装置100切换到与从邻近至少一个提取的主要组成部分的预定区域提取的至少一个附加组成部分对应的预定第二状态。例如,至少一个提取的主要组成部分可以是左眼。邻近至少一个主要组成部分的预定区域可以在离左眼的预定距离内。至少一个附加组成部分可以包括食指和中指。例如,从邻近至少一个提取的主要组成部分的预定区域提取的至少一个附加组成部分可以是在离左眼的预定距离内的食指和中指。与在离左眼的预定距离内的食指和中指对应的预定第二状态可以是相机应用执行状态。因此,如果从邻近至少一个提取的主要组成部分的预定区域提取的至少一个附加组成部分是在离左眼的预定距离内的食指和中指,则控制器110可以切换到作为与在离左眼的预定距离内的食指和中指对应的预定第二状态的相机应用执行状态。
图13D还示出设置与位于邻近至少一个提取的主要组成部分的预定区域中的至少一个提取的附加组成部分对应的预定第二状态。在图13D的例子中,在步骤1270中提取的附加图形和至少一个附加组成部分分别是手和手指。手指是食指1332和中指1334。在邻近至少一个提取的主要组成部分的预定区域中的至少一个附加组成部分是在离左眼1312的预定距离内的食指1332和中指1334。因此,控制器110可以执行作为与在离左眼1312的预定距离内的食指1332和中指1334对应的预定第二状态的相机应用。
图13G示出在移动装置中执行相机应用。在图13G中控制器110被示出为执行作为与位于离左眼1312的预定距离内的食指1332和中指1334对应的预定的第二状态的相机应用。因此,本发明的示例性实施例有利地提供用于切换到与位于邻近至少一个提取的主要组成部分的预定区域中的至少一个提取的附加组成部分对应的预设状态的移动装置和用于控制该移动装置的方法。
控制器110可以将移动装置100切换到与提取的附加图形或者至少一个附加组成部分的形状对应的预定第二状态。例如,提取的附加图形可以是手,并且,至少一个提取的附加组成部分可以包括食指和中指。提取的附加图形的形状可以是手形状,并且,至少一个提取的附加组成部分的形状可以包括食指和中指的形状。与手形状或者食指和中指形状对应的预定第二状态可以是相机应用执行状态。因此,如果提取的附加图形的形状是手形状,或者,至少一个提取的附加组成部分的形状可以包括食指和中指的形状,则控制器110可以将移动装置100切换到作为与手形状或者食指和中指形状对应的预定第二状态的相机应用执行状态。
图13D还示出执行与提取的附加图形的形状或者至少一个附加组成部分的形状对应的预定第二状态。在步骤1270中提取的附加图形是手,并且,至少一个附加组成部分包括食指1332和中指1334。提取的附加图形的形状是手形状1336,并且,至少一个提取的附加组成部分的形状包括食指1332和中指1334的形状。因此,在图13D的例子中,控制器110可以执行作为与手形状或者食指和中指形状对应的预定第二状态的相机应用。
图13G还示出在移动装置中执行相机应用。在图13G中控制器110被示出为执行与提取的附加图形的手形状或者至少一个附加组成部分的食指和中指形状对应的预定第二状态的相机应用。因此,本发明的示例性实施例有利地提供用于切换到与提取的附加图形的形状或者至少一个提取的附加组成部分的形状对应的预设状态的移动装置和用于控制该移动装置的方法。
控制器110可以将移动装置100切换到与位于邻近至少一个提取的主要组成部分的预定区域中的至少一个提取的附加组成部分对应的预定第二状态。例如,提取的至少一个主要组成部分可以是左耳朵和嘴,并且,邻近至少一个主要组成部分的预定区域是在左耳朵和嘴中的每一个的预定距离内的区域。至少一个附加组成部分可以包括拇指和小指。因此,从邻近提取的至少一个主要组成部分的预定区域提取的至少一个附加组成部分可以是,例如,在离左耳朵的预定距离内的拇指和在离嘴的预定距离内的小指。与在离左耳朵的预定距离内的拇指和在离嘴的预定距离内的小指对应的预定第二状态可以是电话应用执行状态。因此,如果从邻近至少一个主要组成部分的预定区域提取的至少一个附加组成部分是在离左耳朵的预定距离内的拇指和在离嘴的预定距离内的小指,则控制器110可以将移动装置100切换到作为与在离左耳朵的预定距离内的拇指和在离嘴的预定距离内的小指对应的预定第二状态的电话应用执行状态。
图13E示出根据本发明的示例性实施例的设置与位于邻近至少一个提取的主要组成部分的预定区域中的至少一个提取的附加组成部分对应的预定第二状态。
参照图13E,在步骤1270中提取的附加图形是手,并且,至少一个提取的附加组成部分包括拇指1335和小指1333。从邻近至少一个提取的主要组成部分的预定区域提取的至少一个附加组成部分包括在离左耳朵1320的预定距离内的拇指1335和在离嘴1316的预定距离内的小指1333。因此,在图13E的例子中,控制器110可以执行作为与在离左耳朵1320的预定距离内的拇指1335和在离嘴1316的预定距离内的小指1333对应的预定第二状态的电话应用。
图13H示出根据本发明的示例性实施例的移动装置中的电话应用的执行。
参照图13H,控制器110被示出为执行作为与在离左耳朵1320的预定距离内的拇指1335和在离嘴1316的预定距离内的小指1333对应的预定第二状态的电话应用1370。因此,本发明的示例性实施例有利地提供用于切换到与在邻近至少一个提取的主要组成部分的预定区域中的至少一个附加组成部分对应的预设状态的移动装置和用于控制该移动装置的方法。
控制器110可以将移动装置100切换到与至少一个附加组成部分的运动对应的预定第二状态。例如,至少一个提取的附加组成部分可以是手指,并且,至少一个提取的附加组成部分的运动可以是预定距离的横向往复运动。与预定距离的至少一个附加组成部分的横向往复运动对应的预定第二状态可以是消息应用执行状态。因此,如果至少一个提取的附加组成部分的运动是预定距离的横向往复运动,则控制器110可以将移动装置100切换到作为与预定距离的至少一个附加组成部分的横向往复运动对应的预定第二状态的消息应用执行状态。控制器110可以将移动装置100切换到与邻近至少一个提取的主要组成部分的至少一个附加组成部分对应的预定第二状态。例如,至少一个提取的主要组成部分可以是手指,并且,在至少一个提取的主要组成部分附近的至少一个附加组成部分的运动可以是在至少一个提取的主要组成部分附近的预定距离的横向往复运动。
图13F示出根据本发明的示例性实施例的设置与至少一个提取的附加组成部分的运动对应的预定第二状态。
参照图13F,在步骤1270中提取的附加图形是手1350,并且,至少一个附加组成部分是食指1352。提取的至少一个附加组成部分的运动是预定距离的从左边1352到右边1354的往复运动1356。因此,控制器110可以执行作为与至少一个提取的附加组成部分的运动对应的预定第二状态的消息应用,在图13F的示例中,该运动是横向往复运动。
图13I示出根据本发明的示例性实施例的移动装置中的消息应用的执行。
参照图13I,控制器110被示出为执行作为与至少一个附加组成部分的运动对应的预定第二状态的消息应用1380,该运动是预定距离的横向往复运动。另外,控制器110可以将移动装置100切换到与在至少一个提取的主要组成部分附近的至少一个附加组成部分的运动对应的预定第二状态。
再次参照图13F,控制器110可以执行作为预定第二状态的消息应用,该预定第二状态与在作为至少一个主要组成部分的右眼1314附近的预定距离的作为至少一个附加组成部分的食指1352从左边1352到右边1356的往复运动1356对应。因此,本发明的示例性实施例有利地提供用于切换到与至少一个提取的附加组成部分的运动对应的预定状态的移动装置和用于控制该移动装置的方法。
图14是示出根据本发明的示例性实施例的用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法的流程图。
参照图14,在用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法中,在步骤S410中,确定在移动装置的第一状态中是否激活了脸部识别功能。控制器110确定在第一状态中是否激活了脸部识别功能。控制器110可以识别出移动装置100的第一状态。例如,控制器110可以识别出移动装置100的状态,例如,主屏幕显示状态、应用列表显示状态、应用执行状态、动作执行状态、屏幕锁定状态,等等。例如,移动装置100的第一状态可以是锁定状态。
图15A示出根据本发明的示例性实施例的置于锁定状态的移动装置。
参照图15A,移动装置是锁定的。控制器110可以确定是否激活了脸部识别功能。在移动装置100中,脸部识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中脸部识别功能是激活的还是未激活的。
如果脸部识别功能是激活的,则控制器110在步骤1420中通过相机获取图像。当控制器110在步骤S1410中确定脸部识别功能是激活的时,控制器110通过相机获取图像。相机可以是上面参照图1至图3描述的相机模块150中包含的第一相机151和第二相机152中的一个。控制器110可以通过操作相机并由此通过相机捕获用户的脸部来获取图像。
在步骤1430中,控制器110通过分析捕获的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。控制器110通过分析在步骤1420中已经获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
图15B示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取脸部图形或者在脸部图形中包含的至少一个主要组成部分。
参照图15B,示出在步骤1420中获取的图像1500。控制器110可以通过分析图像1500来提取脸部图形1510。控制器110可以通过分析图像1500来提取在脸部图形1510中包含的至少一个主要组成部分。至少一个主要组成部分可以包括,例如,眼睛、嘴、鼻子和耳朵中的至少一个。在图15B中,至少一个主要组成部分可以包括眼睛1512和1514、嘴1516、鼻子1518以及耳朵1520和1522中的至少一个。因此,控制器110可以通过分析由相机获取的图像1500来提取脸部图形1510或者包括眼睛1512和1514、嘴15115、鼻子1518以及耳朵1520和1522中的至少一个的至少一个主要组成部分。
返回参照图14,在步骤1440中,控制器110基于脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。控制器110可以使用在步骤1430中提取的脸部图形或者至少一个主要组成部分来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。例如,控制器110可以通过将提取的脸部图形或至少一个主要组成部分与登记的用户的脸部进行比较,来确定从图像中识别出的脸部是否与登记的用户的脸部匹配。
关于登记的用户的脸部的信息可以被预先存储在移动装置100的存储器175中。如果提取的脸部图形或者至少一个主要组成部分在大小、位置或相对距离方面与预先登记的用户的脸部相同或相似,则控制器110可以确定从图像中识别出的脸部与登记的用户的脸部匹配。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部匹配,则控制器110进入步骤1450。如果控制器110确定从图像中识别出的脸部与登记的用户的脸部不匹配,则控制器110结束本过程。
在步骤1450中,控制器110确定是否激活了对象图形识别功能。控制器110可以确定对象图形识别功能是否为激活的。对象图形是指除了脸部图形以外的任何图形。对象图形识别功能是通过相机识别对象图形并基于识别出的对象图形来提供各种UI的技术。在移动装置100中,对象图形识别功能可以是激活的(ON)或者未激活的(OFF)。控制器110可以确定在移动装置100中对象图形识别功能可以是激活的还是未激活的。控制器110可以通过检测用户输入来激活或去激活对象图形识别功能。如果对象图形识别功能是激活的,则控制器110可以进入步骤1470。
如果对象图形识别功能是未激活的,则在步骤1460中控制器110执行与脸部识别对应的功能。当控制器110确定对象图形识别功能是未激活的时,控制器110只执行与脸部识别对应的功能。与脸部识别对应的功能可以被预设并存储在存储器175中。例如,如果第一状态是锁定状态,则与脸部识别对应的功能可以是将移动装置100从锁定状态改变到解锁状态的功能。
图15C示出根据本发明的示例性实施例的置于解锁状态的移动装置。
参照图15C,控制器110可以将移动装置100切换到解锁状态。可替换地,与脸部识别对应的功能可以是执行预定应用的功能。
返回参照图14,如果对象图形识别功能是激活的,则在步骤1470中控制器110通过分析获取图像来提取对象图形或者在对象图形中包含的至少一个附加组成部分。当在步骤1450中控制器110确定对象图形识别功能是激活的时,控制器110通过分析获取的图像来提取对象图形或者在对象图形中包含的至少一个附加组成部分。因此,控制器110通过分析在步骤1420中已经获取的图像来提取对象图形或者在对象图形中包含的至少一个附加组成部分。
图15D示出根据本发明的示例性实施例的通过分析由相机获取的图像来提取对象图形或者在对象图形中包含的至少一个附加组成部分。
参照图15D,示出在步骤1420中获取的图像1500。控制器110可以通过分析图像1500来提取对象图形1530。例如,对象图形1530可以是笔。控制器110可以通过分析图像1500来提取在对象图形1530中包含的至少一个附加组成部分。例如,至少一个附加组成部分可以是笔尖1532。因此,控制器110可以通过分析由相机获取的图像1500来提取诸如笔的对象图形1530或者诸如笔尖的至少一个附加组成部分1532。以这样的方式,本发明的示例性实施例有利地提供用于通过分析由相机获取的图像来提取对象图形或附加组成部分的移动装置和用于控制该移动装置的方法。
返回参照图14,在步骤1480中,控制器110将移动装置切换到与对象图形或者至少一个附加组成部分对应的预定第二状态。控制器110可以将移动装置100切换到与在步骤1470中提取的对象图形或者至少一个附加组成部分对应的预定第二状态。与对象图形或者至少一个附加组成部分对应的预定第二状态可以被预先存储在存储器175中。例如,提取的对象图形可以是笔,并且,至少一个提取的附加组成部分可以是笔尖。与笔或笔尖对应的第二状态可以是笔记应用执行状态。因此,如果提取的对象图形或者提取的至少一个附加组成部分是笔或笔尖,则控制器110可以将移动装置100切换到作为与笔或笔尖对应的预定第二状态的笔记应用执行状态。
图15E示出根据本发明的示例性实施例的移动装置中的备忘录应用的执行。
参照图15E,执行作为与笔或笔尖对应的预定第二状态的笔记应用1540。
因此,本发明的示例性实施例有利地提供用于切换到与对象图形或附加组成部分对应的预设状态的移动装置和用于控制该移动装置的方法。
根据上面的描述显而易见的是,本发明的示例性实施例可以有利地提供具有使用附加组成部分的增强的脸部识别功能的移动装置和用于控制该移动装置的方法。
本发明的示例性实施例可以有利地提供用于通过分析由相机获取的图像来提取附加图形或附加组成部分的移动装置和用于控制该移动装置的方法。
本发明的示例性实施例可以有利地提供用于切换到与附加图形或附加组成部分对应的预设状态的移动装置和用于控制该移动装置的方法。
本发明的示例性实施例可以有利地提供用于通过脸部识别功能提供解锁功能并通过提取附加图形或附加组成部分切换到与附加图形或附加组成部分对应的预设状态的移动装置,以及用于控制该移动装置的方法。
本发明的示例性实施例可以有利地提供用于执行与附加图形或附加组成部分对应的预定动作的移动装置和用于控制该移动装置的方法。
本发明的示例性实施例可以有利地提供如下移动装置和用于控制该移动装置的方法:该移动装置用于提取至少一个附加组成部分,并且切换到与至少一个附加组成部分的数量、在主要组成部分附近的任何附加组成部分的存在或不存在、至少一个附加组成部分的形状和至少一个附加组成部分的移动中的至少一个对应的预设状态。
本发明的示例性实施例可以有利地提供用于提取对象图形或附加组成部分并切换到与提取的对象图形或附加组成部分对应的预设状态的移动装置和用于控制该移动装置的方法。
将会理解,本发明的示例性实施例可以通过硬件、软件或者其组合来实现。软件可以被存储在诸如ROM的易失性或非易失性存储装置(不管数据是否是可擦除或可重写的),或者,诸如RAM、存储器芯片、装置或集成电路的存储器,或者,诸如CD、DVD、磁盘或磁带的存储介质中,数据可以被光或磁记录到其中,并且可以通过机器(例如,计算机)来被读取。此外,本发明的示例性实施例可以通过具有控制器和存储器的计算机或便携式终端来实现,并且,存储器是适合于存储包括用于实现本发明的示例性实施例的指令的一个或多个程序的机器可读存储介质的例子。因此,本发明包括具有用于实现由权利要求限定的设备或方法的代码的程序和存储这种程序的机器可读存储介质。
移动装置可以从与其有线地或无线地连接的程序提供装置接收程序并存储该程序。程序提供装置可以包括:包含实现本发明的示例性实施例的指令的程序;用于存储本发明的示例性实施例所需的信息等的存储器;与移动装置进行有线或无线通信的通信模块;以及在移动装置请求时或者自动地向移动装置发送程序的控制器。
贯穿本说明书的描述和权利要求书,词语“包括”和“包含”及其变形的意思是“包括但不限于”,并不意图排除其它部分、附加物、组件、整体或步骤。
贯穿本说明书的描述和权利要求书,除非上下文另有要求,否则单数包括复数。具体地说,当使用不定冠词时,除非上下文另有要求,否则说明书将被理解为考虑复数以及单数。
与本发明的特定方面、实施例或示例结合描述的特征、整体、特性、混合物、化学组分或组将被理解为可应用到这里描述的任何其它方面、实施例或示例,除非与之不兼容。
还将理解,贯穿本说明书的描述和权利要求书,具有“用于Y的X”(其中,Y是某动作、行为或步骤,X是用于执行该动作、行为或步骤的某装置)的一般形式的语言包括被特别适配或布置为执行Y但不是专门执行Y的装置X。
虽然已经针对本发明的某些示例性实施例对本发明进行了示出和描述,但是本领域的技术人员将会理解,在不脱离由权利要求及其等同形式所限定的本发明的精神和范围情况下,可以对其进行形式和细节上的各种改变。

Claims (15)

1.一种用于控制具有使用附加组成部分的脸部识别功能的移动装置的方法,所述方法包括:
确定在移动装置的第一状态中是否激活了脸部识别功能;
如果激活了脸部识别功能,则通过相机获取图像;
通过分析获取的图像来提取脸部图形和在脸部图形中包含的至少一个主要组成部分中的至少一个;
基于脸部图形和所述至少一个主要组成部分中的至少一个来确定从图像中识别出的脸部是否与登记的用户的脸部匹配;
确定是否激活了附加图形识别功能;
如果激活了附加图形识别功能,则提取附加图形和在附加图形中包含的至少一个附加组成部分中的至少一个;以及
将移动装置切换到与附加图形和所述至少一个附加组成部分中的至少一个对应的预定第二状态。
2.根据权利要求1所述的方法,其中,附加图形是手,并且,所述至少一个附加组成部分是手指。
3.根据权利要求1所述的方法,其中,第一状态是锁定状态,并且
其中,确定在移动装置的第一状态中是否激活了脸部识别功能包括:
在锁定状态中检测解锁触发;以及
在检测到解锁触发时,确定是否激活了脸部识别功能。
4.根据权利要求1所述的方法,还包括:如果从图像中识别出的脸部与登记的用户的脸部匹配,则将移动装置切换到解锁状态。
5.根据权利要求1所述的方法,其中,第一状态是执行第一动作的状态,并且,预定第二状态是执行第二动作的状态。
6.根据权利要求5所述的方法,其中,第一动作是执行第一应用,并且,第二动作是执行第二应用。
7.根据权利要求1所述的方法,其中,第二状态是与提取的所述至少一个附加组成部分的数量对应地预设的。
8.根据权利要求1所述的方法,其中,第二状态是与从邻近提取的所述至少一个主要组成部分的预定区域提取的至少一个附加组成部分对应地预设的。
9.根据权利要求1所述的方法,其中,第二状态是与提取的附加图形的形状和提取的所述至少一个附加组成部分的形状中的至少一个对应地预设的。
10.根据权利要求1所述的方法,其中,第二状态是与提取的所述至少一个附加组成部分的运动对应地预设的。
11.根据权利要求1所述的方法,其中,附加图形是对象。
12.一种具有使用附加组成部分的脸部识别功能的移动装置,所述移动装置包括:
相机,获取图像;以及
控制器,确定在移动装置的第一状态中是否激活了脸部识别功能;如果激活了脸部识别功能,则控制相机获取图像;如果激活了脸部识别功能,则通过分析获取的图像来提取脸部图形和在脸部图形中包含的至少一个主要组成部分中的至少一个;基于脸部图形和所述至少一个主要组成部分中的至少一个来确定从图像中识别出的脸部是否与登记的用户的脸部匹配;确定是否激活了附加图形识别功能;如果激活了附加图形识别功能,则提取附加图形和在附加图形中包含的至少一个附加组成部分中的至少一个;以及将移动装置切换到与附加图形和所述至少一个附加组成部分中的至少一个对应的预定第二状态。
13.根据权利要求12所述的移动装置,其中,第一状态是锁定状态,并且,控制器在锁定状态中检测解锁触发,并在检测到解锁触发时确定是否激活了脸部识别功能。
14.根据权利要求12所述的移动装置,其中,如果从图像中识别出的脸部与登记的用户的脸部匹配,则控制器将移动装置切换到解锁状态。
15.根据权利要求12所述的移动装置,其中,第一状态是执行第一动作的状态,并且,预定的第二状态是执行第二动作的状态。
CN201310701233.XA 2012-12-18 2013-12-18 具有脸部识别功能的移动装置和控制该移动装置的方法 Active CN103870804B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120148449A KR102041984B1 (ko) 2012-12-18 2012-12-18 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
KR10-2012-0148449 2012-12-18

Publications (2)

Publication Number Publication Date
CN103870804A true CN103870804A (zh) 2014-06-18
CN103870804B CN103870804B (zh) 2018-12-28

Family

ID=49949431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310701233.XA Active CN103870804B (zh) 2012-12-18 2013-12-18 具有脸部识别功能的移动装置和控制该移动装置的方法

Country Status (4)

Country Link
US (1) US9773158B2 (zh)
EP (1) EP2746979B1 (zh)
KR (1) KR102041984B1 (zh)
CN (1) CN103870804B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845994A (zh) * 2016-12-21 2017-06-13 浙江海洋大学 一种智能移动终端安全支付方法
CN107368727A (zh) * 2017-06-27 2017-11-21 上海斐讯数据通信技术有限公司 一种锁屏解锁方法及系统
CN110785766A (zh) * 2017-06-22 2020-02-11 谷歌有限责任公司 确定用户位置的用户的生物特征分析

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633186B2 (en) * 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
EP3058446B1 (en) 2013-10-14 2024-06-05 Verizon Patent and Licensing Inc. Systems and methods for providing context-based user interface
US20150356802A1 (en) * 2014-06-10 2015-12-10 Center For Integrated Smart Sensors Foundation Low Power Door-Lock Apparatus Based On Battery Using Face Recognition
US10372973B2 (en) 2014-06-23 2019-08-06 British Telecommunications Public Limited Company Biometric identification
EP3158500A1 (en) * 2014-06-23 2017-04-26 British Telecommunications Public Limited Company Biometric identification
CN104699479B (zh) * 2015-01-12 2017-12-19 北京乐动卓越科技有限公司 一种手机解锁系统及方法
US11120110B2 (en) 2015-01-26 2021-09-14 Microsoft Technology Licensing, Llc. Authenticating a user with a mobile apparatus
DE102015211513A1 (de) * 2015-06-23 2016-12-29 Siemens Aktiengesellschaft Mobilgerät und Verfahren zum Betreiben des Mobilgeräts
US9946355B2 (en) 2015-09-01 2018-04-17 Samsung Electronics Co., Ltd. System and method for operating a mobile device using motion gestures
US10845949B2 (en) 2015-09-28 2020-11-24 Oath Inc. Continuity of experience card for index
US10521070B2 (en) 2015-10-23 2019-12-31 Oath Inc. Method to automatically update a homescreen
US10831766B2 (en) 2015-12-21 2020-11-10 Oath Inc. Decentralized cards platform for showing contextual cards in a stream
WO2018000206A1 (zh) * 2016-06-28 2018-01-04 宋英楠 手机来电控制的方法及装置
US10417402B2 (en) * 2017-02-10 2019-09-17 International Business Machines Corporation Supplemental hand gesture authentication
CN107330699A (zh) * 2017-06-27 2017-11-07 王田 基于图像处理算法的移动终端支付系统
CN107590463A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN107808127B (zh) * 2017-10-11 2020-01-14 Oppo广东移动通信有限公司 人脸识别方法及相关产品
US10423823B1 (en) 2018-03-19 2019-09-24 University Of South Florida Unconstrained ear recognition using a combination of deep learning and handcrafted features
EP3848788A4 (en) * 2018-09-07 2021-11-10 Sony Group Corporation TERMINAL DEVICE AS WELL AS THE MANUFACTURING PROCESS OF THE SAME, AND RECORDING MEDIA
CN110058777B (zh) * 2019-03-13 2022-03-29 华为技术有限公司 快捷功能启动的方法及电子设备
US11425120B2 (en) * 2020-02-11 2022-08-23 Disney Enterprises, Inc. Systems for authenticating digital contents
CN113536262A (zh) * 2020-09-03 2021-10-22 腾讯科技(深圳)有限公司 基于面部表情的解锁方法、装置、计算机设备和存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP4241484B2 (ja) * 2004-04-14 2009-03-18 日本電気株式会社 携帯端末装置、着信応答メッセージ送信方法およびサーバ装置
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US20080187184A1 (en) * 2007-02-01 2008-08-07 Kabushiki Kaisha Toshiba System and method for facial image enhancement
TWI359381B (en) * 2007-12-25 2012-03-01 Htc Corp Method for unlocking a locked computing device and
US20120081282A1 (en) * 2008-05-17 2012-04-05 Chin David H Access of an application of an electronic device based on a facial gesture
KR101453908B1 (ko) * 2008-06-24 2014-10-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101474022B1 (ko) 2008-10-27 2014-12-26 삼성전자주식회사 이동 통신 단말에서 표시부의 축 변화에 따라 어플리케이션을 자동으로 실행하기 위한 방법 및 그 이동 통신 단말
JP2010146502A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 認証処理装置および認証処理方法
WO2010101697A2 (en) * 2009-02-06 2010-09-10 Oculis Labs, Inc. Video-based privacy supporting system
US8890650B2 (en) * 2009-05-29 2014-11-18 Thong T. Nguyen Fluid human-machine interface
KR101254037B1 (ko) 2009-10-13 2013-04-12 에스케이플래닛 주식회사 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말
KR101729938B1 (ko) 2010-08-09 2017-04-26 에스케이플래닛 주식회사 통합 영상 검색 시스템 및 그 서비스 방법
US9576195B2 (en) 2010-08-09 2017-02-21 Sk Planet Co., Ltd. Integrated image searching system and service method thereof
US8909200B2 (en) * 2011-02-28 2014-12-09 Cisco Technology, Inc. Using face tracking for handling phone events
US8744528B2 (en) * 2011-05-16 2014-06-03 Lg Electronics Inc. Gesture-based control method and apparatus of an electronic device
KR20120130466A (ko) * 2011-05-23 2012-12-03 삼성전자주식회사 휴대단말기에서 외부장치의 데이터를 제어할 수 있는 장치 및 방법
KR101747892B1 (ko) * 2011-06-02 2017-06-16 한국전자통신연구원 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치
US8730029B2 (en) * 2011-09-27 2014-05-20 Robert Bosch Gmbh Tablet computer as user interface of security system
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
TWI454966B (zh) * 2012-04-24 2014-10-01 Wistron Corp 手勢控制方法及手勢控制裝置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845994A (zh) * 2016-12-21 2017-06-13 浙江海洋大学 一种智能移动终端安全支付方法
CN110785766A (zh) * 2017-06-22 2020-02-11 谷歌有限责任公司 确定用户位置的用户的生物特征分析
CN107368727A (zh) * 2017-06-27 2017-11-21 上海斐讯数据通信技术有限公司 一种锁屏解锁方法及系统

Also Published As

Publication number Publication date
US9773158B2 (en) 2017-09-26
EP2746979B1 (en) 2022-05-04
KR102041984B1 (ko) 2019-11-07
EP2746979A1 (en) 2014-06-25
KR20140079012A (ko) 2014-06-26
US20140169641A1 (en) 2014-06-19
CN103870804B (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN103870804A (zh) 具有脸部识别功能的移动装置和控制该移动装置的方法
US11513608B2 (en) Apparatus, method and recording medium for controlling user interface using input image
CN103927113B (zh) 便携式终端及在便携式终端中提供触觉效果的方法
EP2720126B1 (en) Method and apparatus for generating task recommendation icon in a mobile device
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
CN103870028B (zh) 使用笔提供用户交互的终端和方法
EP2811420A2 (en) Method for quickly executing application on lock screen in mobile device, and mobile device therefor
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
US20140317499A1 (en) Apparatus and method for controlling locking and unlocking of portable terminal
KR20140027850A (ko) 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR20140125078A (ko) 전자 장치 및 전자 장치에서 잠금 해제 방법
CN105765520A (zh) 用于提供锁定屏幕的设备和方法
KR20160028823A (ko) 전자 장치에서 기능 실행 방법 및 장치
US11112889B2 (en) Electronic device and method for mapping function of electronic device to operation of stylus pen
KR102090948B1 (ko) 대화 기록 장치 및 그 방법
KR102155133B1 (ko) 이미지 표시 방법 및 장치
US20150160731A1 (en) Method of recognizing gesture through electronic device, electronic device, and computer readable recording medium
CN103677480B (zh) 用于测量坐标的设备及其控制方法
KR20150007577A (ko) 데이터 병합을 제어하는 휴대 단말 및 방법
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
CN105339946A (zh) 用于提供安全环境的设备和方法
KR102289497B1 (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR20210101183A (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR20180027886A (ko) 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant