CN104615231A - 一种输入信息的确定方法和设备 - Google Patents

一种输入信息的确定方法和设备 Download PDF

Info

Publication number
CN104615231A
CN104615231A CN201310535766.5A CN201310535766A CN104615231A CN 104615231 A CN104615231 A CN 104615231A CN 201310535766 A CN201310535766 A CN 201310535766A CN 104615231 A CN104615231 A CN 104615231A
Authority
CN
China
Prior art keywords
color region
information
terminal device
eye
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310535766.5A
Other languages
English (en)
Other versions
CN104615231B (zh
Inventor
柳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201310535766.5A priority Critical patent/CN104615231B/zh
Publication of CN104615231A publication Critical patent/CN104615231A/zh
Application granted granted Critical
Publication of CN104615231B publication Critical patent/CN104615231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输入信息的确定方法和设备,该方法包括:终端设备获得人脸的图像信息,并利用所述图像信息识别出双眼位置以及嘴位置;所述终端设备通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息;所述终端设备根据所述头部动作信息确定输入信息。本发明实施例中,提供一种自然友好的、解放人类双手的人机交互途径,提高用户的使用体验,使用户方便地完成类似触摸屏的上下左右滑动、点击、返回、放大、缩小、旋转等信息输入操作。在通过头部动作实现信息输入的过程中,并不接触终端设备的屏幕,与触摸屏操作相比,整个输入过程不会遮挡屏幕内容。

Description

一种输入信息的确定方法和设备
技术领域
本发明涉及了通信技术领域,尤其是涉及了一种输入信息的确定方法和设备。
背景技术
随着终端技术(如移动终端技术)的不断发展,终端设备的功能越来越强大,人机交互方式越来越方便、自然、友好。目前许多终端设备(如移动终端)都支持键盘输入、触摸屏输入、语音输入等人机交互方式。其中:(1)键盘输入,键盘是最常用的输入设备,通过键盘可以将上下左右方向控制、英文字母、数字、标点符号等输入到终端设备,从而向终端设备发出命令、输入数据等。(2)触摸屏输入,随着大屏幕的移动终端技术的不断发展,当前触摸屏技术已经比较成熟,支持单点和多点触摸输入,使用起来简单方便,并能为使用者带来良好用户体验。(3)语音输入,随着语音识别技术的不断发展与成熟,语音输入为终端设备提供了更加方便、智能的人机交互途径。
现有技术中,并没有基于头部动作的人机交互方式。
发明内容
本发明实施例提供一种输入信息的确定方法和设备,以提供一种基于头部动作的人机交互方式,并可以提高用户使用体验。
为了达到上述目的,本发明实施例提供一种输入信息的确定方法,该方法包括:
终端设备获得人脸的图像信息,并利用所述图像信息识别出双眼位置以及嘴位置;
所述终端设备通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息;
所述终端设备根据所述头部动作信息确定输入信息。
本发明实施例提供一种终端设备,所述终端设备具体包括:
第一识别模块,用于获得人脸的图像信息,并利用所述图像信息识别出双眼位置以及嘴位置;
第二识别模块,用于通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息;
确定模块,用于根据所述头部动作信息确定输入信息。
与现有技术相比,本发明实施例至少具有以下优点:本发明实施例中,通过提供一种基于头部动作的人机交互方式,用以提供一种自然友好的、解放人类双手的人机交互途径,并可以提高用户的使用体验,使用户可以方便地完成类似触摸屏的上下左右滑动、点击、返回、放大、缩小、旋转等信息输入操作。进一步的,通过采用多信息融合的方式进行头部动作的识别,包括颜色、位置和形状等信息,不仅最大程度地保证了头部动作识别的可靠性和稳定性,而且运行效率高,适合在运算能力偏低的终端设备(如移动终端)上使用。进一步的,在通过头部动作实现信息输入的过程中,并不接触终端设备的屏幕,与触摸屏操作相比,整个输入过程均不会遮挡屏幕内容。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的输入信息的确定方法流程图;
图2A-2C是本发明实施例一中提出的采集眼白颜色、眼仁颜色以及嘴唇颜色的示意图;
图3是本发明实施例二提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例一提供一种输入信息的确定方法,用于在终端设备(如移动终端)上提供一种基于头部动作的人机交互方式,如图1所示,该输入信息的确定方法可以至少包括以下步骤:
步骤101,终端设备获得人脸的图像信息(即终端设备通过本终端设备的摄像头捕捉人脸的图像信息,如摄像头获得的图像),并利用该图像信息识别出双眼位置以及嘴位置,如终端设备利用多信息融合的视觉技术,并基于图像信息识别出双眼位置以及嘴位置。
本发明实施例中,终端设备获得人脸的图像信息,并利用该图像信息识别出双眼位置以及嘴位置的过程,具体包括但不限于以下步骤:
步骤1、终端设备(如移动终端等)通过本终端设备的摄像头采集眼白颜色Ce1、眼仁颜色Ce2以及嘴唇颜色Cm。
具体的,在第一次使用时,由于不同人的眼白颜色、眼仁颜色和嘴唇颜色都有所不同,为了提高识别的准确度,终端设备需要通过本终端设备的摄像头先采集眼白颜色、眼仁颜色以及嘴唇颜色。如图2A-2C所示,为采集眼白颜色、眼仁颜色以及嘴唇颜色的示意图。首先,人脸正对终端设备的摄像头,并启动终端设备的摄像头;其次,分别将眼球、眼仁和嘴唇放置在终端设备的屏幕中心的小方框内,以采集眼白颜色、眼仁颜色以及嘴唇颜色;最后,记录眼白颜色Ce1、眼仁颜色Ce2以及嘴唇颜色Cm。
步骤2、终端设备利用眼白颜色Ce1和眼仁颜色Ce2识别出双眼位置Le1和Le2。进一步的,终端设备识别双眼位置Le1和Le2的过程,具体包括:
步骤A、终端设备根据眼白颜色Ce1和眼仁颜色Ce2识别眼白颜色区域和眼仁颜色区域;其中,眼白颜色区域的外接矩形为Rwi(i=1,2,3…),眼白颜色区域的中心点的屏幕坐标为Ewi(Xw、Yw);眼仁颜色区域的外接矩形为Rki(i=1,2,3…),眼仁颜色区域的中心点的屏幕坐标为Eki(Xk、Yk)。
具体的,根据眼白颜色Ce1和眼仁颜色Ce2,在图像中识别可能的眼白颜色区域和眼仁颜色区域,由于人有两个眼睛,因此一般可以识别到2个眼白颜色区域和2个眼仁颜色区域,但由于颜色识别受光线的影响比较大,容易出现识别错误,因此实际识别的区域可能超过2个,导致出现错误的眼白颜色区域和眼仁颜色区域。进一步的,由于可能识别出错误的眼白颜色区域和眼仁颜色区域,因此接下来通过多信息融合的方式来提高识别的准确率,通过位置和形状等信息进一步滤掉错误的眼白颜色区域和眼仁颜色区域。
步骤B、终端设备将每个眼白颜色区域的中心点Ewi与每个眼仁颜色区域的中心点Eki分别进行比对;当眼仁颜色区域的中心点Eki位于眼白颜色区域的中心点Ewi对应的眼白颜色区域的外接矩形Rwi内部时,记录当前的眼白颜色区域和眼仁颜色区域;否则过滤当前的眼白颜色区域和眼仁颜色区域。
具体的,由于眼仁位于眼白内部,因此可以利用这个位置关系来过滤掉一些错误的眼白颜色区域和眼仁颜色区域。其中,终端设备将每个眼白颜色区域的中心点Ewi与每个眼仁颜色区域的中心点Eki分别进行比对;当眼仁颜色区域的中心点Eki位于眼白颜色区域的中心点Ewi对应的眼白颜色区域的外接矩形Rwi内部时,说明位置关系正确,记录当前的眼白颜色区域和眼仁颜色区域;否则,位置关系不正确,当前的眼白颜色区域和眼仁颜色区域为错误的颜色区域,并过滤当前的眼白颜色区域和眼仁颜色区域。
步骤C、终端设备识别眼球的形状区域;其中,眼球的形状区域具体为多个符合椭圆形特征的形状区域Si(i=1,2,3…)。
步骤D、终端设备确定眼球的形状区域与眼白颜色区域重合的位置为双眼位置Le1和Le2;其中,当眼球的形状区域Si的中心点Sip与眼白颜色区域的外接矩形Rwi之间的距离小于预设阈值Td1时,则眼球的形状区域与眼白颜色区域重合,否则,眼球的形状区域与眼白颜色区域不重合。
具体的,为了提高眼球颜色识别的准确度,需要将候选的眼球的形状区域Si与眼白颜色区域的外接矩形Rwi进行一一比对,即通过比较眼球的形状区域Si的中心点Sip与眼白颜色区域的外接矩形Rwi之间的距离与预设阈值Td1,看其是否重合。其中,当 ( ( Sipx - Ewix ) ^ 2 + ( Sipy - Ewiy ) ^ 2 < Td 1 , 则比对成功,眼球的形状区域与眼白颜色区域重合,记录下这个眼白颜色区域;当 ( ( Sipx - Ewiy ) ^ 2 + ( Sipx - Ewiy ) ^ 2 > Td 1 , 则比对失败,眼球的形状区域与眼白颜色区域不重合,过滤比对失败的眼白颜色区域。因此,通过采用这种多信息融合的识别方法可以找出两个眼白颜色区域Re1、Re2,这两个眼白颜色区域的中心位置即为双眼的位置Le1(Xe、Ye)、Le2(Xe、Ye)。
步骤3、终端设备利用嘴唇颜色Cm识别出嘴位置Lm。进一步的,终端设备利用嘴唇颜色Cm识别出嘴位置Lm的过程,具体包括:
步骤A、终端设备根据嘴唇颜色Cm识别嘴唇颜色区域;其中,嘴唇颜色区域的外接矩形为Rmi(i=1,2,3…),嘴唇颜色区域的中心点的屏幕坐标为Moi(Xm、Ym)。具体的,根据嘴唇颜色Cm,在图像中识别可能的嘴唇颜色区域,但由于颜色识别受光线的影响比较大,容易出现识别错误,因此实际识别的区域可能超过1个,导致出现错误的嘴唇颜色区域。进一步的,由于可能识别出错误的嘴唇颜色区域,因此接下来通过多信息融合的方式来提高识别的准确率,通过形状信息等进一步滤掉错误的嘴唇颜色区域。
步骤B、终端设备识别嘴的形状区域;其中,嘴的形状区域具体为多个符合椭圆形特征的形状区域Si(i=1,2,3…)。
步骤C、终端设备确定嘴的形状区域与嘴唇颜色区域重合的位置为嘴位置Lm;其中,当嘴的形状区域Si的中心点Sip与嘴唇颜色区域的外接矩形Rmi之间的距离小于预设阈值Td2时,则说明嘴的形状区域与嘴唇颜色区域重合,否则,说明嘴的形状区域与嘴唇颜色区域不重合。
具体的,为提高嘴唇颜色识别的准确度,需要将候选的嘴唇的形状区域Si与嘴唇颜色区域的外接矩形Rmi进行一一比对,即通过比较嘴唇的形状区域Si的中心点Sip与嘴唇颜色区域的中心点Moi之间的距离与预设阈值Td2,看其是否重合。其中,当 ( ( Sipx - Moix ) ^ 2 + ( Sipy - Moiy ) ^ 2 < Td 2 , 则比对成功,嘴的形状区域与嘴唇颜色区域重合,记录下这个嘴唇颜色区域;当 ( ( Sipx - Moix ) ^ 2 + ( Sipy - Moiy ) ^ 2 > Td 2 , 则比对失败,嘴的形状区域与嘴唇颜色区域不重合,过滤比对失败的嘴唇颜色区域。因此,通过采用多信息融合的识别方法可找出嘴区域Rm,该区域的中心位置为嘴位置Lm(Xm、Ym)。
步骤102,终端设备通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息。其中,该头部动作信息包括但不限于以下之一:上、下、左、右、静止、点头动作、摇头动作、接近动作、远离动作、旋转动作。
在本发明实施例的一种优选实现方式中,终端设备通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息的过程,具体包括但不限于以下步骤:
步骤1、终端设备利用双眼位置Le1和Le2以及嘴位置Lm计算出双眼和嘴的外接三角形的重心位置Lc、面积A和中心线Line。
具体的,连接双眼和嘴的三个位置点可以得到一个外接三角形,基于双眼位置Le1和Le2以及嘴位置Lm,终端设备可以计算出双眼和嘴的外接三角形的重心位置Lc、该外接三角形的面积A、该外接三角形的中心线Line。
步骤2、终端设备通过监测外接三角形的重心位置Lc的变化情况识别出头部动作信息;其中,该头部动作信息具体包括但不限于以下之一:上、下、左、右、静止、点头动作或者摇头动作。
具体的,在终端设备识别头部动作信息的过程中,假设外接三角形的重心位置的初始值为Lc0,外接三角形的重心位置的当前值为Lc,且移动阈值为Td3,则:当Lc位于Lc0的上方,Lc与Lc0之间的距离大于移动阈值Td3时,终端设备识别出头部动作信息为上;当Lc位于Lc0的下方,Lc与Lc0之间的距离大于移动阈值Td3时,终端设备识别出头部动作信息为下;当Lc位于Lc0的左方,Lc与Lc0之间的距离大于移动阈值Td3时,终端设备识别出头部动作信息为左;当Lc位于Lc0的右方,Lc与Lc0之间的距离大于移动阈值Td3时,终端设备识别出头部动作信息为右;当Lc与Lc0之间的距离小于移动阈值Td3时,终端设备识别出头部动作信息为静止。
进一步的,当在预设时间Tt1内,终端设备连续依次检测到头部动作信息分别为上、下、静止时,则终端设备识别出头部动作信息为点头动作;或者,当在预设时间Tt2内,终端设备依次连续检测到头部动作信息分别为左、右、静止时,则终端设备识别出头部动作信息为摇头动作。
步骤3、终端设备通过监测外接三角形的面积A的变化情况识别出头部动作信息;其中,该头部动作信息具体为接近动作或者远离动作。
具体的,在识别头部动作信息的过程中,假设外接三角形的面积的初始值为A0,外接三角形的面积的当前值为A,面积变化阈值为Ta,则:当A>A0,且|A-A0|>Ta时,终端设备识别出头部动作信息为接近动作;或者,当A<A0,且|A-A0|>Ta时,终端设备识别出头部动作信息为远离动作。
步骤4、终端设备通过监测外接三角形的中心线Line的变化情况识别出头部动作信息;其中,该头部动作信息具体为旋转动作。
具体的,在识别头部动作信息的过程中,假设外接三角形的中心线的初始值为Line0,外接三角形的中心线的当前值为Line,且旋转角度阈值为Tr,则:当Line相对于Line0的旋转角度大于Tr时,终端设备识别出头部动作信息为顺时针旋转动作;或者,当Line相对于Line0的旋转角度小于Tr时,终端设备识别出头部动作信息为逆时针旋转动作。
步骤103,终端设备根据头部动作信息确定输入信息。
其中,该头部动作信息为:上、下、左、右、静止、点头动作、摇头动作、接近动作、远离动作、旋转动作;基于头部动作信息,可以确定相应的输入信息。例如,当头部动作信息为上时,可以确定相应的输入信息为向上滑动;当头部动作信息为下时,可以确定相应的输入信息为向下滑动;当头部动作信息为左时,可以确定相应的输入信息为向左滑动;当头部动作信息为右时,可以确定相应的输入信息为向右滑动;当头部动作信息为点头动作时,可以确定相应的输入信息为点击;当头部动作信息为摇头动作时,可以确定相应的输入信息为返回;当头部动作信息为接近动作时,可以确定相应的输入信息为放大;当头部动作信息为远离动作时,可以确定相应的输入信息为缩小等。因此,基于头部动作信息,可以实现类似触摸屏的上下左右滑动、点击、返回、放大、缩小、旋转等信息输入操作。
综上所述,本发明实施例中,通过提供一种基于头部动作的人机交互方式,用以提供一种自然友好的、解放人类双手的人机交互途径,并可以提高用户的使用体验,使用户可以方便地完成类似触摸屏的上下左右滑动、点击、返回、放大、缩小、旋转等信息输入操作。通过采用多信息融合的方式进行头部动作的识别,包括颜色、位置和形状等信息,不仅最大程度地保证了头部动作识别的可靠性和稳定性,而且运行效率高,适合在运算能力偏低的终端设备上使用。在通过头部动作实现信息输入的过程中,并不接触终端设备的屏幕,与触摸屏操作相比,整个输入过程均不会遮挡屏幕内容。
实施例二
基于与上述方法同样的发明构思,本发明实施例中还提供了一种终端设备,如图3所示,所述终端设备具体包括:
第一识别模块11,用于获得人脸的图像信息,并利用所述图像信息识别出双眼位置以及嘴位置;
第二识别模块12,用于通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息;
确定模块13,用于根据所述头部动作信息确定输入信息。
所述第一识别模块11,具体用于通过终端设备的摄像头采集眼白颜色Ce1、眼仁颜色Ce2以及嘴唇颜色Cm,利用所述眼白颜色Ce1和所述眼仁颜色Ce2识别出双眼位置Le1和Le2,利用所述嘴唇颜色Cm识别出嘴位置Lm。
所述第一识别模块11,进一步用于根据眼白颜色Ce1和眼仁颜色Ce2识别眼白颜色区域和眼仁颜色区域;其中,眼白颜色区域的外接矩形为Rwi(i=1,2,3…),眼白颜色区域的中心点的屏幕坐标为Ewi(Xw、Yw);眼仁颜色区域的外接矩形为Rki(i=1,2,3…),眼仁颜色区域的中心点的屏幕坐标为Eki(Xk、Yk);
将每个眼白颜色区域的中心点Ewi与每个眼仁颜色区域的中心点Eki分别进行比对;当眼仁颜色区域的中心点Eki位于眼白颜色区域的中心点Ewi对应的眼白颜色区域的外接矩形Rwi内部时,记录当前的眼白颜色区域和眼仁颜色区域;否则,过滤当前的眼白颜色区域和眼仁颜色区域;
识别眼球的形状区域;其中,所述眼球的形状区域具体为多个符合椭圆形特征的形状区域Si(i=1,2,3…);
确定所述眼球的形状区域与所述眼白颜色区域重合的位置为双眼位置Le1和Le2;当眼球的形状区域Si的中心点Sip与眼白颜色区域的外接矩形Rwi之间的距离小于预设阈值Td1时,则眼球的形状区域与眼白颜色区域重合,否则,眼球的形状区域与眼白颜色区域不重合。
所述第一识别模块11,进一步用于根据所述嘴唇颜色Cm识别嘴唇颜色区域;其中,嘴唇颜色区域的外接矩形为Rmi(i=1,2,3…),嘴唇颜色区域的中心点的屏幕坐标为Moi(Xm、Ym);以及,识别嘴的形状区域;其中,所述嘴的形状区域具体为多个符合椭圆形特征的形状区域Si(i=1,2,3…);
确定所述嘴的形状区域与所述嘴唇颜色区域重合的位置为嘴位置Lm;其中,当嘴的形状区域Si的中心点Sip与嘴唇颜色区域的外接矩形Rmi之间的距离小于预设阈值Td2时,则所述嘴的形状区域与所述嘴唇颜色区域重合,否则,所述嘴的形状区域与所述嘴唇颜色区域不重合。
所述第二识别模块12,具体用于利用双眼位置Le1和Le2以及所述嘴位置Lm计算出双眼和嘴的外接三角形的重心位置Lc、面积A和中心线Line;
通过监测所述外接三角形的重心位置Lc的变化情况识别出头部动作信息;该头部动作信息具体为上、下、左、右、静止、点头动作或者摇头动作;
通过监测所述外接三角形的面积A的变化情况识别出头部动作信息;其中,该头部动作信息具体为接近动作或者远离动作;
通过监测所述外接三角形的中心线Line的变化情况识别出头部动作信息;其中,该头部动作信息具体为旋转动作。
所述第二识别模块12,进一步用于当外接三角形的重心位置的初始值为Lc0,外接三角形的重心位置的当前值为Lc,且移动阈值为Td3时,当Lc位于Lc0的上方,Lc与Lc0之间的距离大于移动阈值Td3时,识别出头部动作信息为上;当Lc位于Lc0的下方,Lc与Lc0之间的距离大于移动阈值Td3时,识别出头部动作信息为下;当Lc位于Lc0的左方,Lc与Lc0之间的距离大于移动阈值Td3时,识别出头部动作信息为左;当Lc位于Lc0的右方,Lc与Lc0之间的距离大于移动阈值Td3时,识别出头部动作信息为右;当Lc与Lc0之间的距离小于移动阈值Td3时,识别出头部动作信息为静止;
当在预设时间Tt1内,依次检测到头部动作信息分别为上、下、静止时,则识别出头部动作信息为点头动作;或者,当在预设时间Tt2内,依次检测到头部动作信息分别为左、右、静止时,则识别出头部动作信息为摇头动作。
所述第二识别模块12,进一步用于当外接三角形的面积的初始值为A0,外接三角形的面积的当前值为A,面积变化阈值为Ta时,当A>A0,且|A-A0|>Ta时,别出头部动作信息为接近动作;或者,当A<A0,且|A-A0|>Ta时,识别出头部动作信息为远离动作。
所述第二识别模块12,进一步用于当外接三角形的中心线的初始值为Line0,外接三角形的中心线的当前值为Line,且旋转角度阈值为Tr时,当Line相对于Line0的旋转角度大于Tr时,识别出头部动作信息为顺时针旋转动作;或者,当Line相对于Line0的旋转角度小于Tr时,识别出头部动作信息为逆时针旋转动作。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (16)

1.一种输入信息的确定方法,其特征在于,该方法包括:
终端设备获得人脸的图像信息,并利用所述图像信息识别出双眼位置以及嘴位置;
所述终端设备通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息;
所述终端设备根据所述头部动作信息确定输入信息。
2.如权利要求1所述的方法,其特征在于,所述终端设备获得人脸的图像信息,并利用所述图像信息识别出双眼位置以及嘴位置,具体包括:
所述终端设备通过本终端设备的摄像头采集眼白颜色Ce1、眼仁颜色Ce2以及嘴唇颜色Cm,利用所述眼白颜色Ce1和所述眼仁颜色Ce2识别出双眼位置Le1和Le2,并利用所述嘴唇颜色Cm识别出嘴位置Lm。
3.如权利要求2所述的方法,其特征在于,所述终端设备利用所述眼白颜色Ce1和所述眼仁颜色Ce2识别出双眼位置Le1和Le2,具体包括:
所述终端设备根据所述眼白颜色Ce1和眼仁颜色Ce2识别眼白颜色区域和眼仁颜色区域;其中,眼白颜色区域的外接矩形为Rwi(i=1,2,3…),眼白颜色区域的中心点的屏幕坐标为Ewi(Xw、Yw);眼仁颜色区域的外接矩形为Rki(i=1,2,3…),眼仁颜色区域的中心点的屏幕坐标为Eki(Xk、Yk);
所述终端设备将每个眼白颜色区域的中心点Ewi与每个眼仁颜色区域的中心点Eki分别进行比对;当眼仁颜色区域的中心点Eki位于眼白颜色区域的中心点Ewi对应的眼白颜色区域的外接矩形Rwi内部时,记录当前的眼白颜色区域和眼仁颜色区域;否则,过滤当前的眼白颜色区域和眼仁颜色区域;
所述终端设备识别眼球的形状区域;其中,所述眼球的形状区域具体为多个符合椭圆形特征的形状区域Si(i=1,2,3…);
所述终端设备确定所述眼球的形状区域与所述眼白颜色区域重合的位置为双眼位置Le1和Le2;其中,当眼球的形状区域Si的中心点Sip与眼白颜色区域的外接矩形Rwi之间的距离小于预设阈值Td1时,则眼球的形状区域与眼白颜色区域重合,否则,眼球的形状区域与眼白颜色区域不重合。
4.如权利要求2所述的方法,其特征在于,所述终端设备利用所述嘴唇颜色Cm识别出嘴位置Lm,具体包括:
所述终端设备根据所述嘴唇颜色Cm识别嘴唇颜色区域;其中,嘴唇颜色区域的外接矩形为Rmi(i=1,2,3…),嘴唇颜色区域的中心点的屏幕坐标为Moi(Xm、Ym);以及,所述终端设备识别嘴的形状区域;其中,所述嘴的形状区域具体为多个符合椭圆形特征的形状区域Si(i=1,2,3…);
所述终端设备确定所述嘴的形状区域与所述嘴唇颜色区域重合的位置为嘴位置Lm;其中,当嘴的形状区域Si的中心点Sip与嘴唇颜色区域的外接矩形Rmi之间的距离小于预设阈值Td2时,则所述嘴的形状区域与所述嘴唇颜色区域重合,否则,所述嘴的形状区域与所述嘴唇颜色区域不重合。
5.如权利要求2所述的方法,其特征在于,所述终端设备通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息的过程,具体包括:
所述终端设备利用所述双眼位置Le1和Le2以及所述嘴位置Lm计算出双眼和嘴的外接三角形的重心位置Lc、面积A和中心线Line;
所述终端设备通过监测所述外接三角形的重心位置Lc的变化情况识别出头部动作信息;其中,该头部动作信息具体为上、下、左、右、静止、点头动作或者摇头动作;
所述终端设备通过监测所述外接三角形的面积A的变化情况识别出头部动作信息;其中,该头部动作信息具体为接近动作或者远离动作;
所述终端设备通过监测所述外接三角形的中心线Line的变化情况识别出头部动作信息;其中,该头部动作信息具体为旋转动作。
6.如权利要求5所述的方法,其特征在于,当外接三角形的重心位置的初始值为Lc0,外接三角形的重心位置的当前值为Lc,且移动阈值为Td3时,所述终端设备通过监测所述外接三角形的重心位置Lc的变化情况识别出头部动作信息的过程,具体包括:
当Lc位于Lc0的上方,Lc与Lc0之间的距离大于移动阈值Td3时,所述终端设备识别出头部动作信息为上;当Lc位于Lc0的下方,Lc与Lc0之间的距离大于移动阈值Td3时,所述终端设备识别出头部动作信息为下;当Lc位于Lc0的左方,Lc与Lc0之间的距离大于移动阈值Td3时,所述终端设备识别出头部动作信息为左;当Lc位于Lc0的右方,Lc与Lc0之间的距离大于移动阈值Td3时,所述终端设备识别出头部动作信息为右;当Lc与Lc0之间的距离小于移动阈值Td3时,所述终端设备识别出头部动作信息为静止;
当在预设时间Tt1内,所述终端设备依次检测到头部动作信息分别为上、下、静止时,则所述终端设备识别出头部动作信息为点头动作;或者,当在预设时间Tt2内,所述终端设备依次检测到头部动作信息分别为左、右、静止时,则所述终端设备识别出头部动作信息为摇头动作。
7.如权利要求5所述的方法,其特征在于,当外接三角形的面积的初始值为A0,外接三角形的面积的当前值为A,面积变化阈值为Ta时,所述终端设备通过监测外接三角形的面积A的变化情况识别出头部动作信息,包括:
当A>A0,且|A-A0|>Ta时,终端设备识别出头部动作信息为接近动作;或者,当A<A0,且|A-A0|>Ta时,终端设备识别出头部动作信息为远离动作。
8.如权利要求5所述的方法,其特征在于,当外接三角形的中心线的初始值为Line0,外接三角形的中心线的当前值为Line,且旋转角度阈值为Tr时,所述终端设备通过监测所述外接三角形的中心线Line的变化情况识别出头部动作信息的过程,具体包括:
当Line相对于Line0的旋转角度大于Tr时,所述终端设备识别出头部动作信息为顺时针旋转动作;或者,当Line相对于Line0的旋转角度小于Tr时,所述终端设备识别出头部动作信息为逆时针旋转动作。
9.一种终端设备,其特征在于,所述终端设备具体包括:
第一识别模块,用于获得人脸的图像信息,并利用所述图像信息识别出双眼位置以及嘴位置;
第二识别模块,用于通过监测双眼位置的变化信息以及嘴位置的变化信息确定头部动作信息;
确定模块,用于根据所述头部动作信息确定输入信息。
10.如权利要求9所述的终端设备,其特征在于,
所述第一识别模块,具体用于通过终端设备的摄像头采集眼白颜色Ce1、眼仁颜色Ce2以及嘴唇颜色Cm,利用所述眼白颜色Ce1和所述眼仁颜色Ce2识别出双眼位置Le1和Le2,并利用所述嘴唇颜色Cm识别出嘴位置Lm。
11.如权利要求10所述的终端设备,其特征在于,
所述第一识别模块,进一步用于根据所述眼白颜色Ce1和眼仁颜色Ce2识别眼白颜色区域和眼仁颜色区域;其中,眼白颜色区域的外接矩形为Rwi(i=1,2,3…),眼白颜色区域的中心点的屏幕坐标为Ewi(Xw、Yw);眼仁颜色区域的外接矩形为Rki(i=1,2,3…),眼仁颜色区域的中心点的屏幕坐标为Eki(Xk、Yk);
将每个眼白颜色区域的中心点Ewi与每个眼仁颜色区域的中心点Eki分别进行比对;当眼仁颜色区域的中心点Eki位于眼白颜色区域的中心点Ewi对应的眼白颜色区域的外接矩形Rwi内部时,记录当前的眼白颜色区域和眼仁颜色区域;否则,过滤当前的眼白颜色区域和眼仁颜色区域;
识别眼球的形状区域;其中,所述眼球的形状区域具体为多个符合椭圆形特征的形状区域Si(i=1,2,3…);
确定所述眼球的形状区域与所述眼白颜色区域重合的位置为双眼位置Le1和Le2;其中,当眼球的形状区域Si的中心点Sip与眼白颜色区域的外接矩形Rwi之间的距离小于预设阈值Td1时,则眼球的形状区域与眼白颜色区域重合,否则,眼球的形状区域与眼白颜色区域不重合。
12.如权利要求10所述的终端设备,其特征在于,
所述第一识别模块,进一步用于根据所述嘴唇颜色Cm识别嘴唇颜色区域;其中,嘴唇颜色区域的外接矩形为Rmi(i=1,2,3…),嘴唇颜色区域的中心点的屏幕坐标为Moi(Xm、Ym);以及,识别嘴的形状区域;其中,所述嘴的形状区域具体为多个符合椭圆形特征的形状区域Si(i=1,2,3…);
确定所述嘴的形状区域与所述嘴唇颜色区域重合的位置为嘴位置Lm;其中,当嘴的形状区域Si的中心点Sip与嘴唇颜色区域的外接矩形Rmi之间的距离小于预设阈值Td2时,则所述嘴的形状区域与所述嘴唇颜色区域重合,否则,所述嘴的形状区域与所述嘴唇颜色区域不重合。
13.如权利要求10所述的终端设备,其特征在于,
所述第二识别模块,具体用于利用所述双眼位置Le1和Le2以及所述嘴位置Lm计算出双眼和嘴的外接三角形的重心位置Lc、面积A和中心线Line;
通过监测所述外接三角形的重心位置Lc的变化情况识别出头部动作信息;该头部动作信息具体为上、下、左、右、静止、点头动作或者摇头动作;
通过监测所述外接三角形的面积A的变化情况识别出头部动作信息;其中,该头部动作信息具体为接近动作或者远离动作;
通过监测所述外接三角形的中心线Line的变化情况识别出头部动作信息;其中,该头部动作信息具体为旋转动作。
14.如权利要求13所述的终端设备,其特征在于,
所述第二识别模块,进一步用于当外接三角形的重心位置的初始值为Lc0,外接三角形的重心位置的当前值为Lc,且移动阈值为Td3时,当Lc位于Lc0的上方,Lc与Lc0之间的距离大于移动阈值Td3时,识别出头部动作信息为上;当Lc位于Lc0的下方,Lc与Lc0之间的距离大于移动阈值Td3时,识别出头部动作信息为下;当Lc位于Lc0的左方,Lc与Lc0之间的距离大于移动阈值Td3时,识别出头部动作信息为左;当Lc位于Lc0的右方,Lc与Lc0之间的距离大于移动阈值Td3时,识别出头部动作信息为右;当Lc与Lc0之间的距离小于移动阈值Td3时,识别出头部动作信息为静止;
当在预设时间Tt1内,依次检测到头部动作信息分别为上、下、静止时,则识别出头部动作信息为点头动作;或者,当在预设时间Tt2内,依次检测到头部动作信息分别为左、右、静止时,则识别出头部动作信息为摇头动作。
15.如权利要求13所述的终端设备,其特征在于,
所述第二识别模块,进一步用于当外接三角形的面积的初始值为A0,外接三角形的面积的当前值为A,面积变化阈值为Ta时,当A>A0,且|A-A0|>Ta时,别出头部动作信息为接近动作;或者,当A<A0,且|A-A0|>Ta时,识别出头部动作信息为远离动作。
16.如权利要求13所述的终端设备,其特征在于,
所述第二识别模块,进一步用于当外接三角形的中心线的初始值为Line0,外接三角形的中心线的当前值为Line,且旋转角度阈值为Tr时,当Line相对于Line0的旋转角度大于Tr时,识别出头部动作信息为顺时针旋转动作;或者,当Line相对于Line0的旋转角度小于Tr时,识别出头部动作信息为逆时针旋转动作。
CN201310535766.5A 2013-11-01 2013-11-01 一种输入信息的确定方法和设备 Active CN104615231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310535766.5A CN104615231B (zh) 2013-11-01 2013-11-01 一种输入信息的确定方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310535766.5A CN104615231B (zh) 2013-11-01 2013-11-01 一种输入信息的确定方法和设备

Publications (2)

Publication Number Publication Date
CN104615231A true CN104615231A (zh) 2015-05-13
CN104615231B CN104615231B (zh) 2019-01-04

Family

ID=53149723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310535766.5A Active CN104615231B (zh) 2013-11-01 2013-11-01 一种输入信息的确定方法和设备

Country Status (1)

Country Link
CN (1) CN104615231B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325517A (zh) * 2016-08-29 2017-01-11 袁超 一种基于虚拟现实的目标对象触发方法、系统和穿戴设备
CN106484103A (zh) * 2016-09-19 2017-03-08 上海斐讯数据通信技术有限公司 智能终端的控制方法、系统及智能终端
CN107643821A (zh) * 2016-07-22 2018-01-30 北京搜狗科技发展有限公司 一种输入控制方法、装置及电子设备
CN108919946A (zh) * 2018-06-11 2018-11-30 诚迈科技(南京)股份有限公司 操作智能终端的方法及智能终端
CN110162187A (zh) * 2019-06-19 2019-08-23 重庆工商职业学院 基于人工智能的眼球移动识别方法及装置
CN117170492A (zh) * 2022-05-27 2023-12-05 林诚皓 一种基于自然语言处理和计算机视觉的输入系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028960A (en) * 1996-09-20 2000-02-22 Lucent Technologies Inc. Face feature analysis for automatic lipreading and character animation
CN101639939A (zh) * 2008-07-29 2010-02-03 株式会社日立制作所 图像信息处理方法及装置
CN103116400A (zh) * 2013-01-16 2013-05-22 广州市动景计算机科技有限公司 一种屏幕显示状态的控制方法及电子设备
CN103116403A (zh) * 2013-02-16 2013-05-22 广东欧珀移动通信有限公司 一种屏幕切换方法及移动智能终端
CN103186230A (zh) * 2011-12-30 2013-07-03 北京朝歌数码科技股份有限公司 基于颜色识别与跟踪的人机交互方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028960A (en) * 1996-09-20 2000-02-22 Lucent Technologies Inc. Face feature analysis for automatic lipreading and character animation
CN101639939A (zh) * 2008-07-29 2010-02-03 株式会社日立制作所 图像信息处理方法及装置
CN103186230A (zh) * 2011-12-30 2013-07-03 北京朝歌数码科技股份有限公司 基于颜色识别与跟踪的人机交互方法
CN103116400A (zh) * 2013-01-16 2013-05-22 广州市动景计算机科技有限公司 一种屏幕显示状态的控制方法及电子设备
CN103116403A (zh) * 2013-02-16 2013-05-22 广东欧珀移动通信有限公司 一种屏幕切换方法及移动智能终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107643821A (zh) * 2016-07-22 2018-01-30 北京搜狗科技发展有限公司 一种输入控制方法、装置及电子设备
CN107643821B (zh) * 2016-07-22 2021-07-27 北京搜狗科技发展有限公司 一种输入控制方法、装置及电子设备
CN106325517A (zh) * 2016-08-29 2017-01-11 袁超 一种基于虚拟现实的目标对象触发方法、系统和穿戴设备
CN106484103A (zh) * 2016-09-19 2017-03-08 上海斐讯数据通信技术有限公司 智能终端的控制方法、系统及智能终端
CN108919946A (zh) * 2018-06-11 2018-11-30 诚迈科技(南京)股份有限公司 操作智能终端的方法及智能终端
CN110162187A (zh) * 2019-06-19 2019-08-23 重庆工商职业学院 基于人工智能的眼球移动识别方法及装置
CN117170492A (zh) * 2022-05-27 2023-12-05 林诚皓 一种基于自然语言处理和计算机视觉的输入系统和方法

Also Published As

Publication number Publication date
CN104615231B (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
US10429944B2 (en) System and method for deep learning based hand gesture recognition in first person view
US11567534B2 (en) Wearable devices for courier processing and methods of use thereof
CN104615231A (zh) 一种输入信息的确定方法和设备
US9135503B2 (en) Fingertip tracking for touchless user interface
US9104242B2 (en) Palm gesture recognition method and device as well as human-machine interaction method and apparatus
US11386717B2 (en) Fingerprint inputting method and related device
WO2016206279A1 (zh) 触控显示装置及其触控方法
US20210405763A1 (en) Wearable device and control method thereof, gesture recognition method, and control system
WO2014137806A2 (en) Visual language for human computer interfaces
KR20090119107A (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
CN104636649A (zh) 电子设备及其导引方法
CN109508687A (zh) 人机交互控制方法、装置、存储介质和智能设备
CN102609093A (zh) 用手势控制视频播放的方法及装置
CN105528607A (zh) 区域提取方法、模型训练方法及装置
CN105426818A (zh) 区域提取方法及装置
EP3699808B1 (en) Facial image detection method and terminal device
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
CN107943272A (zh) 一种智能交互系统
CN107977155A (zh) 一种手写识别方法、装置、设备和存储介质
CN111476209A (zh) 手写输入的识别方法、设备及计算机存储介质
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
CN103176651B (zh) 一种手写信息快速采集方法
CN103729059A (zh) 交互方法及装置
CN109740430A (zh) 指纹录入方法及相关设备
CN110796096B (zh) 一种手势识别模型的训练方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant