CN108509029B - 非接触式输入方法及非接触式输入系统 - Google Patents

非接触式输入方法及非接触式输入系统 Download PDF

Info

Publication number
CN108509029B
CN108509029B CN201810194338.3A CN201810194338A CN108509029B CN 108509029 B CN108509029 B CN 108509029B CN 201810194338 A CN201810194338 A CN 201810194338A CN 108509029 B CN108509029 B CN 108509029B
Authority
CN
China
Prior art keywords
portrait
head
user
input
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810194338.3A
Other languages
English (en)
Other versions
CN108509029A (zh
Inventor
吴宗训
黄敏雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qisda Suzhou Co Ltd
Qisda Corp
Original Assignee
Qisda Suzhou Co Ltd
Qisda Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qisda Suzhou Co Ltd, Qisda Corp filed Critical Qisda Suzhou Co Ltd
Priority to CN201810194338.3A priority Critical patent/CN108509029B/zh
Publication of CN108509029A publication Critical patent/CN108509029A/zh
Priority to US16/290,964 priority patent/US11055517B2/en
Application granted granted Critical
Publication of CN108509029B publication Critical patent/CN108509029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明公开一种非接触式输入系统及非接触式输入方法,先撷取于非接触式输入系统的非接触式输入接口前方的影像,接着自该影像解析出人像,然后再根据该人像的姿态,判断对应该人像的使用者是否处于输入状态。当该使用者未处于该输入状态时,忽略该使用者的活动,当该使用者处于该输入状态时,接收该使用者的声音输入或姿态输入;一种非接触式输入系统包含显示装置、至少一个摄影机及处理模块,该处理模块与该显示装置及该至少一个摄影机电连接,该至少一个摄影机用于撷取使用者影像,该处理模块实施前述非接触式输入方法。藉此,可有效解决先前技术中输入系统因接收使用者非用于输入的手势而产生使用者非预期的系统响应的问题。

Description

非接触式输入方法及非接触式输入系统
技术领域
本发明关于一种非接触式输入方法及非接触式输入系统,尤指一种能分辨使用者是否处于输入状态的非接触式输入方法及非接触式输入系统。
背景技术
于一般非接触式输入系统中,用户以非接触的方式实现输入。例如以摄影机撷取用户的手势影像,并根据该手势影像解析出对应的输入操作,输入系统进而根据该输入操作响应用户,例如移动窗口。然而,并非所有使用者的手势都是用于输入,例如使用者手臂下意识的挥动,又或与他人交谈时手臂习惯性的挥动等,这些手势均可能被系统视为合法的输入操作而产生用户非预期的系统响应,例如关闭窗口、删除档案等,此现象徒增此输入系统使用上的不方便。此外,若多个用户同时使用该输入系统时,将会有使用者彼此间无关输入操作的互动(例如相互对话时手臂的挥动),造成输入系统更容易产生用户非预期的系统响应,使得前述问题更形严重。
发明内容
本发明提供一种用于非接触式输入系统及非接触式输入方法,通过分析使用者的姿态以判断该使用者是否处于输入状态,以避免将使用者非意欲作为非接触式输入的反应(包含动作、声音等)视为输入。
为达上述目的,本发明提供一种用于非接触式输入系统的非接触式输入方法,该方法包含下列步骤:
(a)撷取于该非接触式输入系统的非接触式输入接口前方的影像;
(b)自该影像解析出人像;
(c)根据该人像的姿态,判断对应该人像的使用者是否处于输入状态;以及(d)当判断对应该人像的使用者未处于该输入状态时,该非接触式输入接口忽略该使用者的活动。
较佳的,该人像包含头部及位于该头部的至少一个器官,步骤(c)以下列步骤实施:
根据该头部及该至少一个器官相对于该头部的几何尺寸,判断对应该人像的使用者是否处于该输入状态。
较佳的,该人像包含头部及位于该头部的一双眼睛,自该一双眼睛的中点至该头部的上边界定义为第一上纵向长度,自该中点至该头部的下边界定义为第一下纵向长度,于步骤(c)中,当该第一下纵向长度除以该第一上纵向长度的值大于第一阈值或小于第二阈值时,判断对应该人像的使用者未处于该输入状态。
较佳的,该第一阈值为1.2,该第二阈值为0.8。
较佳的,该人像包含头部及位于该头部的一对眉毛,自该一对眉毛的中点至该头部的上边界定义为第二上纵向长度,自该中点至该头部的下边界定义为第二下纵向长度,于步骤(c)中,当该第二下纵向长度除以该第二上纵向长度的值大于第五阈值或小于第六阈值时,判断对应该人像的使用者未处于该输入状态。
较佳的,该人像包含头部及位于该头部的左眼及右眼,该左眼及该右眼的相对内侧间的长度定义为第一中间横向长度,自该左眼的外侧至该头部的左边界定义为第一左侧横向长度,自该右眼的外侧至该头部的右边界定义为第一右侧横向长度,于步骤(c)中,当该第一左侧横向长度及该第一右侧横向长度中的数值大者除以该第一中间横向长度的值大于第三阈值时,判断对应该人像的使用者未处于该输入状态。
较佳的,该第三阈值为1.5。
较佳的,该人像包含头部及位于该头部的左眉及右眉,该左眉及该右眉的相对内侧间定义为第二中间横向长度,自该左眉的外侧至该头部的左边界定义为第二左侧横向长度,自该右眉的外侧至该头部的右边界定义为第二右侧横向长度,于步骤(c)中,当该第二左侧横向长度及该第二右侧横向长度中的数值大者除以该中间横向长度的值大于第七阈值,判断对应该人像的使用者未处于该输入状态。
较佳的,于步骤(c)中,当该人像包含头部及位于该头部的单一眼睛时,判断对应该人像的使用者未处于该输入状态。
为达上述目的,本发明还提供一种非接触式输入方法,包含下列步骤:
如权利要求1至9其中之一所述的方法;以及
(e)当对应该人像的使用者处于该输入状态时,该非接触式输入系统经由该非接触式输入接口接收该使用者的声音输入或姿态输入。
较佳的,于步骤(a)中,使用摄影机撷取于该非接触式输入接口前方的该影像,于步骤(e)中,使用另一摄影机撷取关于该使用者和的手势影像以作为该姿态输入。
为达上述目的,本发明还提供一种非接触式输入系统,包含:
显示装置;
至少一个摄影机;以及
处理模块,与该显示装置及该至少一个摄影机电连接,该处理模块利用该至少一个摄影机撷取于该显示装置前方的影像,自该影像解析出人像,并根据该人像的姿态,判断对应该人像的使用者是否处于输入状态,当该处理模块判断对应该人像的使用者未处于该输入状态时,该处理模块忽略该使用者的活动,当该处理模块判断对应该人像的使用者处于该输入状态时,该处理模块接收该使用者的声音输入或姿态输入。
较佳的,该人像包含头部及位于该头部的至少一个器官,该处理模块根据该头部及该至少一个器官相对于该头部的几何尺寸,判断对应该人像的使用者是否处于该输入状态。
较佳的,该人像包含头部及位于该头部的一双眼睛,自该一双眼睛的中点至该头部的上边界定义为第一上纵向长度,自该中点至该头部的下边界定义为第一下纵向长度,当该第一下纵向长度除以该第一上纵向长度的值大于第一阈值或小于第二阈值时,该处理模块判断对应该人像的使用者未处于该输入状态。
较佳的,该第一阈值为1.2,该第二阈值为0.8。
较佳的,该人像包含头部及位于该头部的一对眉毛,自该一对眉毛的中点至该头部的上边界定义为第二上纵向长度,自该中点至该头部的下边界定义为第二下纵向长度,当该第二下纵向长度除以该第二上纵向长度的值大于第五阈值或小于第六阈值时,判断对应该人像的使用者未处于该输入状态。
较佳的,该人像包含头部及位于该头部的左眼及右眼,该左眼及该右眼的相对内侧间的长度定义为第一中间横向长度,自该左眼的外侧至该头部的左边界定义为第一左侧横向长度,自该右眼的外侧至该头部的右边界定义为第一右侧横向长度,当该第一左侧横向长度及该第一右侧横向长度中的数值大者除以该第一中间横向长度的值大于第三阈值时,该处理模块判断对应该人像的使用者未处于该输入状态。
较佳的,该第三阈值为1.5。
较佳的,该人像包含头部及位于该头部的左眉及右眉,该左眉及该右眉的相对内侧间的长度定义为第二中间横向长度,自该左眉的外侧至该头部的左边界定义为第二左侧横向长度,自该右眉的外侧至该头部的右边界定义为第二右侧横向长度,当该第二左侧横向长度及该第二右侧横向长度中的数值大者除以该第二中间横向长度的值大于第七阈值时,该处理模块判断对应该人像的使用者未处于该输入状态。
较佳的,当该人像包含头部及位于该头部的单一眼睛时,该处理模块判断对应该人像的使用者未处于该输入状态。
较佳的,该至少一个摄影机包含第一摄影机及第二摄影机,该处理模块利用该第一摄影机撷取于该显示装置前方的该影像,并利用该第二摄影机撷取关于该使用者的手势影像以作为该姿态输入。
相对于先前技术,本发明非接触式输入方法及非接触式输入系统通过分析使用者的姿态以判断该使用者是否处于输入状态,以避免将使用者非意欲作为非接触式输入的反应(包含动作、声音等)视为输入,故可有效解决先前技术中输入系统因接收使用者非用于输入的手势而产生使用者非预期的系统响应的问题。
附图说明
图1为根据实施例的非接触式输入系统设置的示意图。
图2为图1的非接触式输入系统的功能方块图。
图3为人像头部的示意图。
图4为头部上仰的示意图。
图5为头部下俯的示意图。
图6为脸朝左的示意图。
图7为脸朝右的示意图。
图8为人像头部的示意图。
图9为根据实施例的非接触式输入方法的流程图。
图10为根据另一实施例的非接触式输入方法的流程图。
图11为根据另一实施例的非接触式输入方法的流程图。
图12为根据实施例的辨识非接触式输入的方法的流程图。
具体实施方式
为使对本发明的目的、构造、特征、及其功能有进一步的了解,兹配合实施例详细说明如下。
请参阅图1至图2。根据实施例的非接触式输入系统1包含显示装置12、第一摄影机14a、第二摄影机14b、麦克风16及处理模块18,处理模块18与显示装置12、第一摄影机14a、第二摄影机14b及麦克风16电连接(于图1中以虚线表示)。其中,显示装置12为显示器(例如但不限于液晶显示器);于实际应用上,显示装置12亦可由投影机搭配投影幕(或可供投影的表面,例如墙面)而实际应用,又或由立体投影的显示器进行实际应用。第一摄影机14a及第二摄影机14b相对于显示装置12为独立构件而设置于显示装置12上,其镜头朝向显示装置12前方以能撷取显示装置12前方的影像,但于实际应用上,第一摄影机14a及第二摄影机14b亦可与显示装置12整合,例如摄影机14a、14b的镜头自显示装置12上边框露出。麦克风16为独立构件而设置于显示装置12上,于实际应用上,麦克风16可整合至显示装置12、第一摄影机14a或第二摄影机14b中。处理模块18由计算机主机进行实际应用,但于实际应用上,处理模块18可由但不限于电路板模块(例如包含电路板及设置于该电路板上的至少一个处理单元、一个内存、至少一个电连接接口及其他于运作时所需的电子组件),处理模块18以直接或间接的方式与显示装置12,第一摄影机14a及第二摄影机14b电连接;处理模块18亦可与显示装置12整合,例如一体机(all-in-one PC)。处理模块18控制显示装置12于其屏幕12a上显示影像,使用者2A、2B可位于显示装置12前方,并参考屏幕12a上显示的影像以进行非接触式操作。
于本实施例中,非接触式输入系统1以第一摄影机14a、第二摄影机14b及显示装置12的屏幕12a上显示的影像以提供使用者非接触式输入接口,使用者可经由此非接触式输入接口进行输入操作。当非接触式输入系统1处于可接受非接触输入的状态时(或非接触式输入系统1始终保持在可随时接受非接触输入的状态),处理模块18利用第一摄影机14a撷取于显示装置12(或屏幕12a)前方的影像。例如,使用者2A、2B均站立于第一摄影机14a的视野内,故此影像包含使用者2A、2B。处理模块18可自该影像解析出使用者2A、2B的人像,例如通过市面上现有的图像处理方法即可找出人像轮廓(可包含人体特征轮廓,例如脸面、五官,眼、耳、鼻、口、眉的轮廓),在此不再赘述。接着,处理模块18可根据每一个人像的姿态,判断对应该人像的使用者2A或使用者2B是否处于输入状态。
一般而言,当使用者2A、2B处于该输入状态时,使用者2A、2B会注视或面向屏幕12a,故于应用上,可通过判断使用者头部的状况来辨识使用者2A、2B是否注视或面向屏幕12a。于本实施例中,该人像至少包含头部及位于该头部的至少一个器官,处理模块18可根据该头部及该至少一个器官相对于该头部的几何尺寸,判断对应该人像的使用者2A、2B是否处于该输入状态。但本发明不以此为限,例如以每一个人像整体或部分肢体所呈现的姿态作为判断使用者2A、2B是否处于该输入状态的基础。
请并参阅图3,其为头部影像的示意图。为简化说明及图式,图3仅显示该人像包含头部30、一双眼睛32a、32b、一对眉毛34a、34b、一对耳朵35a、35b、一张嘴36及头发38(以填充斜线的区域表示于图中),其他头部外观特征则未显示于图中。于实际应用上,例如,可利用眼睛32a、32b相对于头部30的几何尺寸来判断对应该人像的使用者2A、2B是否处于该输入状态。其中,自眼睛32a、32b的中点33a(以圆点表示于图中)至头部30的上边界(即头部30轮廓上缘)定义为上纵向长度33b,自中点33a至头部30的下边界(即头部30轮廓下缘)定义为下纵向长度33c。于实际应用上,中点33a可由眼睛32a、32b的轮廓间的最小长度的中点来定义,或可由眼睛32a、32b的轮廓间的最大长度的中点来定义,又或可由前述两者的均值而定义。当使用者2A、2B的头有俯、仰的现象时,上纵向长度33b与下纵向长度33c的比例也会随之变化。因此,可通过此比例来判断使用者2A、2B在俯、仰的方向上是否有朝向屏幕12a。例如,当下纵向长度33c除以上纵向长度33b的值大于第一阈值(即视为使用者2A、2B的脸朝上,例如如图4所示者)或小于第二阈值(即视为使用者2A、2B的脸朝下,例如如图5所示者)时,处理模块18判断对应该人像的使用者2A、2B未处于该输入状态。于实际应用上,该第一阈值及该第二阈值可事先(例如出厂前)设定或事后使用者设定(例如直接输入数值,或经使用者实际俯、仰而测定),例如该第一阈值为1.2,该第二阈值为0.8。
此外,如图3所示,左眼32a及右眼32b的相对内侧(即内眼角)间定义为中间横向长度33d,自左眼32a的外侧(即外眼角)至头部30的左边界(即头部30轮廓左缘)定义为左侧横向长度33e,自右眼32b的外侧(即外眼角)至头部30的右边界(即头部30轮廓右缘)定义为右侧横向长度33f。当使用者2A、2B的头有左右摆动(或谓横向转动)的现象时,左侧横向长度33e及右侧横向长度33f分别与中间横向长度33d的比例也会随之变化。因此,可通过此比例来判断使用者2A、2B在左右摆动的方向上是否有朝向屏幕12a。例如,当左侧横向长度33e及右侧横向长度33f中的数值大者除以中间横向长度33d的值大于第三阈值(即视为使用者2A、2B的脸朝左或朝右,例如如图6及图7所示者)时,处理模块18判断对应该人像的使用者2A、2B未处于该输入状态。又,例如,就头部30仅有左右转动的情形而言,当左侧横向长度33e及右侧横向长度33f中的大者除以中间横向长度33d的值小于第四阈值(即视为使用者2A、2B的脸大致正面朝向屏幕12a)时,处理模块18判断对应该人像的使用者2A、2B处于该输入状态。于实际应用上,该第三阈值及该第四阈值可事先(例如出厂前)设定或事后使用者设定(例如直接输入数值,或经使用者实际左右转动头部而测定),例如该第三阈值为1.5,该第四阈值为1.3。
此外,前述说明以使用者2A、2B的头单纯地上下俯仰或左右摆动的情形而判断使用者2A、2B是否处于该输入状态,但使用者2A、2B的头实际上可能同时包含上下俯仰、左右摆动的情形(例如斜向俯仰或斜向摆动),故于实际应用上,处理模块18可同时考虑使用者2A、2B的头上下俯仰及左右摆动的程度而判断。例如个别针对上下俯仰及左右摆动的程度以对应地判断使用者2A、2B是否过度上下俯仰及左右摆动,若有过度上下俯仰(例如前文中对应的比值大于该第一阈值或小于该第二阈值)或过度左右摆动(例如前文中对应的比值大于该第三阈值)时,处理模块18判断使用者2A、2B未处于该输入状态。又,例如当处理模块18判断使用者2A、2B的头同时具有上下俯仰及左右摆动时,处理模块18先将上下俯仰及左右摆动的程度(即如前文中以比值表示者)分别以权重加权,再将两者加总,并以此加总值为基础判断使用者2A、2B是否处于该输入状态;例如当该加总值超出范围(例如以两个阈值界定)时,即判断使用者2A、2B未处于该输入状态。又例如,以可容许使用者2A、2B的头上下俯仰及左右摆动的范围作为判断使用者2A、2B是否处于该输入状态的检验标准,其中该范围逻辑上以二维表面表示,例如横轴代表左右摆动的程度,纵轴代表上下俯仰的程度,左右摆动及上下俯仰的程度得以前文中对应的比值表示),该范围于该二维平面上可能包含至少一个区域。于实际应用上,该范围可预设(例如根据非接触式输入系统1的应用情境而定)或事后使用者设定,该范围可通过多个不等式来表现,有利于处理模块18判断的速度。
另外,前述使用者2A、2B的头上下俯仰、左右摆动的判断基于眼睛32a、32b相对于头部30的几何尺寸而定,但于实际应用上,前述判断亦可改成基于眉毛34a、34b而定。例如,如图8所示(其中,为便于参考前述说明,图中仍使用类似的参考符号),自眉毛34a、34b的中点33a’(以圆点表示于图中)至头部30的上边界定义为上纵向长度33b’,自中点33a’至头部30的下边界定义为下纵向长度33c’,左眉34a及右眉34b的相对内侧(即眉头)间定义为中间横向长度33d’,自左眉34a的外侧(即眉毛的尾部)至头部30的左边界定义为左侧横向长度33e’,自右眉34b的外侧至头部30的右边界定义为右侧横向长度33f’。当下纵向长度33c’除以上纵向长度33b’的值大于该第五阈值或小于该第六阈值时,判断对应该人像的使用者2A、2B未处于该输入状态。当左侧横向长度33e’及右侧横向长度33f’中的大者除以中间横向长度33d’的值大于该第七阈值(即视为使用者2A、2B的脸朝右或朝左)时,处理模块18判断对应该人像的使用者2A、2B未处于该输入状态。就头部30仅有左右转动的情形而言,当左侧横向长度33e及右侧横向长度33f中的大者除以中间横向长度33d的值小于该第八阈值(即视为使用者2A、2B的脸大致正面朝向屏幕12a)时,处理模块18判断对应该人像的使用者2A、2B处于该输入状态。此外,此处的第五至第八阈值原则上与前文不同,但同样可事先或事后设定,又或经由使用者实际测试而定。又,前段关于同时考虑考虑使用者2A、2B的头上下俯仰及左右摆动的程度而判断的说明,于此亦可适用,不再赘述。
另外,前述利用眼睛32a、32b、眉毛34a、34b相对于头部30的几何尺寸而判断使用者2A、2B是否处于该输入状态,于实际应用上,亦可利用耳朵35a、35b相对于头部30的几何尺寸而判断使用者2A、2B是否处于该输入状态。此外,于实际应用中,当使用者的头过度左右摆动时,该人像可能仅包含单一眼睛32a或单一眼睛32b(及对应的单一眉毛34a或单一眉毛34b、对应的单一耳朵35a或者单一耳朵35b);此时,处理模块18判断对应该人像的使用者2A、2B未处于该输入状态。
此外,于本实施例中,第一摄影机14a及第二摄影机14b同时设置在显示装置12上边框的中间,以简化说明。于实际应用上,若第一摄影机14a及第二摄影机14b偏离中间位置设置,前述关于几何尺寸(长度33b-33f)的比例变化倾向的说明仍可适用,此时判断使用者2A、2B是否朝向屏幕12a而处于该输入状态而引入的阈值,亦可参考前文说明而设定出来,不另赘述。
于本实施例中,当处理模块18判断对应该人像的使用者2A或使用者2B未处于该输入状态时,该非接触式输入接口(或处理模块18)忽略使用者2A或使用者2B的活动(亦即不将使用者2A或使用者2B此时的活动列入判断其是否为合法的输入操作(或不回应使用者2A或使用者2B此时的活动),此活动可能包含声音、肢体动作等)。当处理模块18判断对应该人像的使用者2A或使用者2B处于该输入状态时,处理模块18便可经由该非接触式输入接口接收使用者2A或使用者2B的声音输入(例如经由麦克风16)或姿态输入(例如经由第二摄影机14b),并进一步地响应该声音输入或该姿态输入,例如控制显示装置12以改变屏幕12a显示的影像中的光标位置、关闭窗口、开启档案等等。反之,若使用者2A、2B未被处理模块18判断为处于该输入状态时,使用者2A、2B的肢体动作、发出的声音均不会被处理模块18视为合法输入。因此,于前述实施例中的非接触式输入系统1均能辨识出使用者2A、2B是否处于输入状态,以避免将使用者2A、2B非意欲作为非接触式输入的反应视为合法输入而产生使用者非预期的系统响应,例如关闭窗口、删除档案等。此外,于实际应用上,该声音输入可为使用者的语音或其他人为的声响,例如捻弹手指。又,于实际应用上,该姿态输入可为使用者整体展现的姿态或其一部分的肢体所展现的姿态,例如手势。对于该姿态输入,当处理模块18判断使用者2A或使用者2B处于该输入状态时,处理模块18利用第二摄影机14b撷取关于对应使用者2A或使用者2B的手势影像以作为该姿态输入。但本发明不以此为限。例如,处理模块18亦可再次利用第一摄影机14a撷取该手势影像,此时第二摄影机14b可自非接触式输入系统1中除去,即仅设置第一摄影机14a。又例如,处理模块18亦可直接使用前述用于判断使用者2A或使用者2B是否处于该输入状态的影像,以截取出对应使用者2A或使用者2B关于手部的影像以作为前述手势影像;于此例中,第二摄影机14b亦可自非接触式输入系统1中除去,即仅设置第一摄影机14a。另外,于本实施例中,第一摄影机14a及第二摄影机14b用途不同,两者规格于实际应用上不以相同为限。
另外,于实际应用上,前述关于处理模块18的作动可藉由软件而实施,亦可再撘配专用的硬件(例如处理模块18可包含市面上专用的图像处理单元,例如专用于辨识脸部特征,以处理自摄影机14a、14b接收的影像信号)而实施。
请参阅图9,其为根据实施例的非接触式输入方法的流程图。为简化说明,该非接触式输入方法基于前述非接触式输入系统1而说明,故于后文中,关于非接触式输入系统1中各部件运作的说明,请参阅前文相关说明(包含各部件变化的说明)及图式,不另赘述。于本实施例中,如步骤S100所示,该方法使用第一摄影机14a撷取于非接触式输入接口前方的影像(例如撷取于显示装置12前方的影像);如步骤S110所示,处理模块18自该影像解析出使用者2A、2B的人像;如步骤S120所示,处理模块18根据每一个人像的姿态,判断对应该人像的使用者2A或使用者2B是否处于输入状态;如步骤S130所示,当对应该人像的使用者2A或使用者2B处于该输入状态时,处理模块18接收该使用者2A或使用者2B的一声音输入(例如经由麦克风16接收使用者2A或使用者2B发出的语音或人为的声响)或姿态输入(例如经由第二摄影机14b接收使用者2A或使用者2B的手势影像);如步骤S140所示,处理模块18响应接收的声音输入或姿态输入(即使用者2A或2B的输入操作),例如控制显示装置12以改变屏幕12a显示的影像中的光标位置、关闭窗口、开启档案等等;如步骤S150所示,当对应该人像的使用者2A或使用者2B未处于该输入状态时,该非接触式输入接口(或处理模块18)忽略该使用者2A或使用者2B的活动(亦即不将使用者2A或使用者2B此时的活动列入判断其是否为合法的输入操作,此活动可能包含声音、肢体动作等)。于步骤S140后,本方法流程回到步骤S100,以及于该步骤S150后,本方法流程返回到步骤S100,以进行下一次的影像撷取、判断使用者2A、2B的状态。此外,于实际应用上,步骤S100可但不限于周期地实施或经由其他事件触发(例如处理模块18经由第一摄影机14a接收的影像变化而触发)。
一般而言,当使用者2A、2B处于该输入状态时,使用者2A、2B会注视或面向显示装置12的屏幕12a,故于实际应用上,可通过判断使用者头部的状况来辨识使用者2A、2B是否注视或面向屏幕12a。于本实施例中,该人像至少包含一个头部及位于该头部的至少一个器官,处理模块18可根据该头部及该至少一个器官相对于该头部的几何尺寸,判断对应该人像的使用者2A、2B是否处于该输入状态。但本发明不以此为限,例如以每一个人像整体或部分肢体所呈现的姿态作为判断使用者2A、2B是否处于该输入状态的基础。
于实施例中,如图10所示(请并参阅图3),前述步骤S120由步骤S220实施。如步骤S221所示,该方法使用处理模块18判断下纵向长度33c除以上纵向长度33b的值是否大于第一阈值或小于第二阈值;其中,该第一阈值可为1.2,该第二阈值可为0.8。若判断为是,处理模块18判断对应该人像的使用者2A或使用者2B未处于该输入状态,如步骤S222所示。若判断为否,处理模块18判断左侧横向长度33e及右侧横向长度33f中的大者除以中间横向长度33d的值是否大于第三阈值,如步骤S223所示;其中,该第三阈值可为1.5。若判断为是,处理模块18判断对应该人像的使用者2A或使用者2B未处于该输入状态,如步骤S222所示。若判断为否,此时对应该人像的使用者2A或使用者2B的脸被视为于纵向(俯、仰的方向)及横向(左右摆动的方向)上均朝向屏幕12a,故处理模块18判断对应该人像的使用者2A或使用者2B处于该输入状态,如步骤S224所示。接着,该方法实施步骤S130。此外,当使用者2A或使用者2B被判断为未处于该输入状态(即步骤S222),该方法实施步骤S150;之后,该方法流程返回到步骤S100,以进行下一次的影像撷取、判断使用者2A、2B的状态。另外,于本实施例中,该方法先实施步骤S221,再实施步骤S223,但本发明不以此为限;例如该方法先实施步骤S223,再实施步骤S221,同样能实现步骤S220的效果。
另外,于实际应用上,步骤S223可改为处理模块18判断左侧横向长度33e及右侧横向长度33f中的大者除以中间横向长度33d的值是否小于第四阈值,如图11中步骤S225所示;其中该第四阈值可为1.3。如图11所示,若判断为否,处理模块18判断对应该人像的使用者2A或使用者2B未处于该输入状态,如步骤S222所示。若判断为是,此时对应该人像的使用者2A或使用者2B的脸被视为于纵向(俯、仰的方向)及横向(左右摆动的方向)上均朝向屏幕12a,故处理模块18判断对应该人像的使用者2A或使用者2B处于该输入状态,如步骤S224所示。
另外,于前述各实施例的方法中,步骤S220基于眼睛32a、32b相对于头部30的几何尺寸而实施,但于实际应用上前述判断亦可改基于眉毛34a、34b而实施。换言之,于步骤S220中,中点33a改由眉毛34a、34b的中点取代,称为中点33a’,上纵向长度33b改由眉毛34a、34b的中点33a至头部30的上边界定义,称为上纵向长度33b’,下纵向长度33c改由眉毛34a、34b的中点33a至头部30的下边界定义,称为下纵向长度33c’,中间横向长度33d改由左眉34a及右眉34b的相对内侧间定义,称为中间横向长度33d’,左侧横向长度33e改由自左眉34a的外侧至头部30的左边界定义,称为左侧横向长度33e’,右侧横向长度33f改由自右眉34b的外侧至头部30的右边界定义,称为右侧横向长度33f’。此外,前述利用眼睛32a、32b、眉毛34a、34b相对于头部30的几何尺寸而判断使用者2A、2B是否处于该输入状态,于实际应用上,亦可利用耳朵35a、35b相对于头部30的几何尺寸而判断使用者2A、2B是否处于该输入状态。又,于前文中,关于同时考虑使用者2A、2B的头上下俯仰及左右摆动的程度而判断的说明,于此亦可适用,不再赘述。
此外,于实际应用中,当使用者的头过度左右摆动时,该人像可能仅包含单一眼睛32a或单一眼睛32b(及对应的单一眉毛34a或单一眉毛34b、对应的单一耳朵35a或单一耳朵35b)。因此,以图10所示的实施例为例,步骤S220还包含步骤S220a,处理模块18判断该人像是否包含单一眼睛32a或单一眼睛32b(及对应的单一眉毛34a或单一眉毛34b)。若判断为是,处理模块18判断对应该人像的使用者2A或使用者2B未处于该输入状态,如步骤S222所示。若判断为否,该方法接续实施步骤S221。
因此,于前述实施例中的非接触式输入方法均能辨识出使用者2A、2B是否处于输入状态,以避免将使用者2A、2B非意欲作为非接触式输入的反应视为合法输入而产生使用者非预期的系统响应,例如关闭窗口、删除档案等。
如前文说明,于前述各实施例中的非接触式输入系统1及非接触式输入方法均具有辨识出使用者2A、2B是否处于输入状态的功能。请参阅图12,枨据实施例的辨识非接触式输入的方法包含如图9中的步骤S100、S110、S120及S150(故其相关说明请参阅前文,不另赘述)。换言之,图9所示的非接触式输入方法包含图12所示的辨识非接触式输入的方法,并于使用者2A或使用者2B处于输入状态时接收对应的使用者2A或使用者2B的输入操作(如步骤S130),并响应该输入操作(如步骤S140)。同时,图10及图11所示的流程图可在去除步骤S130及步骤S140后,视之为辨识非接触式输入的方法的适例,故这些适例不另赘述,可径参阅前文说明。
同样的,本实施例的辨识非接触式输入使用者的方法能辨识出使用者2A、2B是否处于输入状态,以避免将使用者2A、2B非意欲作为非接触式输入的反应视为合法输入而产生使用者非预期的系统响应,例如关闭窗口、删除档案等。
综上,本发明提供一种非接触式输入方法及非接触式输入系统,通过分析使用者的姿态以判断该使用者是否处于输入状态,以避免将使用者非意欲作为非接触式输入的反应(包含动作、声音等)视为输入,故可有效解决先前技术中输入系统因接收使用者非用于输入的手势而产生使用者非预期的系统响应的问题。
本发明已由上述相关实施例加以描述,然而上述实施例仅为实施本发明的范例。必需指出的是,已揭露的实施例并未限制本发明的范围。相反地,在不脱离本发明的精神和范围内所作的更动与润饰,均属本发明的专利保护范围。

Claims (15)

1.一种用于非接触式输入系统的非接触式输入方法,其特征在于,该方法包含下列步骤:
(a) 撷取于该非接触式输入系统的非接触式输入接口前方的影像;
(b) 自该影像解析出人像;
(c) 根据该人像的姿态,判断对应该人像的使用者是否处于输入状态;以及
(d) 当判断对应该人像的使用者未处于该输入状态时,该非接触式输入接口忽略该使用者的活动;
该人像包含头部及位于该头部的一双眼睛,自该一双眼睛的中点至该头部的上边界定义为第一上纵向长度,自该中点至该头部的下边界定义为第一下纵向长度,于步骤(c)中,当该第一下纵向长度除以该第一上纵向长度的值大于第一阈值或小于第二阈值时,判断对应该人像的使用者未处于该输入状态。
2.如权利要求1所述的方法,其特征在于,该第一阈值为1.2,该第二阈值为0.8。
3.一种用于非接触式输入系统的非接触式输入方法,其特征在于,该方法包含下列步骤:
(a) 撷取于该非接触式输入系统的非接触式输入接口前方的影像;
(b) 自该影像解析出人像;
(c) 根据该人像的姿态,判断对应该人像的使用者是否处于输入状态;以及
(d) 当判断对应该人像的使用者未处于该输入状态时,该非接触式输入接口忽略该使用者的活动;
该人像包含头部及位于该头部的一对眉毛,自该一对眉毛的中点至该头部的上边界定义为第二上纵向长度,自该中点至该头部的下边界定义为第二下纵向长度,于步骤(c)中,当该第二下纵向长度除以该第二上纵向长度的值大于第五阈值或小于第六阈值时,判断对应该人像的使用者未处于该输入状态。
4.一种用于非接触式输入系统的非接触式输入方法,其特征在于,该方法包含下列步骤:
(a) 撷取于该非接触式输入系统的非接触式输入接口前方的影像;
(b) 自该影像解析出人像;
(c) 根据该人像的姿态,判断对应该人像的使用者是否处于输入状态;以及
(d) 当判断对应该人像的使用者未处于该输入状态时,该非接触式输入接口忽略该使用者的活动;
该人像包含头部及位于该头部的左眼及右眼,该左眼及该右眼的相对内侧间的长度定义为第一中间横向长度,自该左眼的外侧至该头部的左边界定义为第一左侧横向长度,自该右眼的外侧至该头部的右边界定义为第一右侧横向长度,于步骤(c)中,当该第一左侧横向长度及该第一右侧横向长度中的数值大者除以该第一中间横向长度的值大于第三阈值时,判断对应该人像的使用者未处于该输入状态。
5.如权利要求4所述的方法,其特征在于,该第三阈值为1.5。
6.一种用于非接触式输入系统的非接触式输入方法,其特征在于,该方法包含下列步骤:
(a) 撷取于该非接触式输入系统的非接触式输入接口前方的影像;
(b) 自该影像解析出人像;
(c) 根据该人像的姿态,判断对应该人像的使用者是否处于输入状态;以及
(d) 当判断对应该人像的使用者未处于该输入状态时,该非接触式输入接口忽略该使用者的活动;
该人像包含头部及位于该头部的左眉及右眉,该左眉及该右眉的相对内侧间定义为第二中间横向长度,自该左眉的外侧至该头部的左边界定义为第二左侧横向长度,自该右眉的外侧至该头部的右边界定义为第二右侧横向长度,于步骤(c)中,当该第二左侧横向长度及该第二右侧横向长度中的数值大者除以该中间横向长度的值大于第七阈值,判断对应该人像的使用者未处于该输入状态。
7. 一种非接触式输入方法,其特征在于,包含下列步骤:
如权利要求1至6其中之一所述的方法;以及
(e) 当对应该人像的使用者处于该输入状态时,该非接触式输入系统经由该非接触式输入接口接收该使用者的声音输入或姿态输入。
8.如权利要求7所述的非接触式输入方法,其特征在于,于步骤(a)中,使用摄影机撷取于该非接触式输入接口前方的该影像,于步骤(e)中,使用另一摄影机撷取关于该使用者和的手势影像以作为该姿态输入。
9.一种非接触式输入系统,其特征在于,包含:
显示装置;
至少一个摄影机;以及
处理模块,与该显示装置及该至少一个摄影机电连接,该处理模块利用该至少一个摄影机撷取于该显示装置前方的影像,自该影像解析出人像,并根据该人像的姿态,判断对应该人像的使用者是否处于输入状态,当该处理模块判断对应该人像的使用者未处于该输入状态时,该处理模块忽略该使用者的活动,当该处理模块判断对应该人像的使用者处于该输入状态时,该处理模块接收该使用者的声音输入或姿态输入;
该人像包含头部及位于该头部的一双眼睛,自该一双眼睛的中点至该头部的上边界定义为第一上纵向长度,自该中点至该头部的下边界定义为第一下纵向长度,当该第一下纵向长度除以该第一上纵向长度的值大于第一阈值或小于第二阈值时,该处理模块判断对应该人像的使用者未处于该输入状态。
10.如权利要求9所述的非接触式输入系统,其特征在于,该第一阈值为1.2,该第二阈值为0.8。
11.一种非接触式输入系统,其特征在于,包含:
显示装置;
至少一个摄影机;以及
处理模块,与该显示装置及该至少一个摄影机电连接,该处理模块利用该至少一个摄影机撷取于该显示装置前方的影像,自该影像解析出人像,并根据该人像的姿态,判断对应该人像的使用者是否处于输入状态,当该处理模块判断对应该人像的使用者未处于该输入状态时,该处理模块忽略该使用者的活动,当该处理模块判断对应该人像的使用者处于该输入状态时,该处理模块接收该使用者的声音输入或姿态输入;
该人像包含头部及位于该头部的一对眉毛,自该一对眉毛的中点至该头部的上边界定义为第二上纵向长度,自该中点至该头部的下边界定义为第二下纵向长度,当该第二下纵向长度除以该第二上纵向长度的值大于第五阈值或小于第六阈值时,判断对应该人像的使用者未处于该输入状态。
12.一种非接触式输入系统,其特征在于,包含:
显示装置;
至少一个摄影机;以及
处理模块,与该显示装置及该至少一个摄影机电连接,该处理模块利用该至少一个摄影机撷取于该显示装置前方的影像,自该影像解析出人像,并根据该人像的姿态,判断对应该人像的使用者是否处于输入状态,当该处理模块判断对应该人像的使用者未处于该输入状态时,该处理模块忽略该使用者的活动,当该处理模块判断对应该人像的使用者处于该输入状态时,该处理模块接收该使用者的声音输入或姿态输入;
该人像包含头部及位于该头部的左眼及右眼,该左眼及该右眼的相对内侧间的长度定义为第一中间横向长度,自该左眼的外侧至该头部的左边界定义为第一左侧横向长度,自该右眼的外侧至该头部的右边界定义为第一右侧横向长度,当该第一左侧横向长度及该第一右侧横向长度中的数值大者除以该第一中间横向长度的值大于第三阈值时,该处理模块判断对应该人像的使用者未处于该输入状态。
13.如权利要求12所述的非接触式输入系统,其特征在于,该第三阈值为1.5。
14.一种非接触式输入系统,其特征在于,包含:
显示装置;
至少一个摄影机;以及
处理模块,与该显示装置及该至少一个摄影机电连接,该处理模块利用该至少一个摄影机撷取于该显示装置前方的影像,自该影像解析出人像,并根据该人像的姿态,判断对应该人像的使用者是否处于输入状态,当该处理模块判断对应该人像的使用者未处于该输入状态时,该处理模块忽略该使用者的活动,当该处理模块判断对应该人像的使用者处于该输入状态时,该处理模块接收该使用者的声音输入或姿态输入;
该人像包含头部及位于该头部的左眉及右眉,该左眉及该右眉的相对内侧间的长度定义为第二中间横向长度,自该左眉的外侧至该头部的左边界定义为第二左侧横向长度,自该右眉的外侧至该头部的右边界定义为第二右侧横向长度,当该第二左侧横向长度及该第二右侧横向长度中的数值大者除以该第二中间横向长度的值大于第七阈值时,该处理模块判断对应该人像的使用者未处于该输入状态。
15.如权利要求9、11、12、14中任一项所述的非接触式输入系统,其特征在于,该至少一个摄影机包含第一摄影机及第二摄影机,该处理模块利用该第一摄影机撷取于该显示装置前方的该影像,并利用该第二摄影机撷取关于该使用者的手势影像以作为该姿态输入。
CN201810194338.3A 2018-03-09 2018-03-09 非接触式输入方法及非接触式输入系统 Active CN108509029B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810194338.3A CN108509029B (zh) 2018-03-09 2018-03-09 非接触式输入方法及非接触式输入系统
US16/290,964 US11055517B2 (en) 2018-03-09 2019-03-04 Non-contact human input method and non-contact human input system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810194338.3A CN108509029B (zh) 2018-03-09 2018-03-09 非接触式输入方法及非接触式输入系统

Publications (2)

Publication Number Publication Date
CN108509029A CN108509029A (zh) 2018-09-07
CN108509029B true CN108509029B (zh) 2021-07-02

Family

ID=63377150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194338.3A Active CN108509029B (zh) 2018-03-09 2018-03-09 非接触式输入方法及非接触式输入系统

Country Status (2)

Country Link
US (1) US11055517B2 (zh)
CN (1) CN108509029B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354910B2 (en) * 2019-09-27 2022-06-07 Ncr Corporation Frictionless authentication and monitoring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103577003A (zh) * 2012-07-30 2014-02-12 联想(北京)有限公司 一种非接触式输入装置及电子设备
CN106527729A (zh) * 2016-11-17 2017-03-22 科大讯飞股份有限公司 非接触式输入方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172793B2 (ja) * 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
US8406479B2 (en) * 2006-07-14 2013-03-26 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
US7412077B2 (en) * 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
CN101441513B (zh) 2008-11-26 2010-08-11 北京科技大学 一种利用视觉进行非接触式人机交互的系统
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US9176608B1 (en) * 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
US10078780B2 (en) * 2015-03-27 2018-09-18 Intel Corporation Gesture recognition mechanism
CN106814854A (zh) 2016-12-29 2017-06-09 杭州联络互动信息科技股份有限公司 一种防止误操作的方法及装置
JP2019040465A (ja) * 2017-08-25 2019-03-14 トヨタ自動車株式会社 行動認識装置,学習装置,並びに方法およびプログラム
US10838505B2 (en) * 2017-08-25 2020-11-17 Qualcomm Incorporated System and method for gesture recognition
US11152001B2 (en) * 2018-12-20 2021-10-19 Synaptics Incorporated Vision-based presence-aware voice-enabled device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103577003A (zh) * 2012-07-30 2014-02-12 联想(北京)有限公司 一种非接触式输入装置及电子设备
CN106527729A (zh) * 2016-11-17 2017-03-22 科大讯飞股份有限公司 非接触式输入方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Combining Body Pose, Gaze, and Gesture to Determine Intention to Interact in Vision-Based Interfaces;Julia Schwarz.;《Proceeding of the SIGCHI Conference on Human Factors in Computing Systems》;20140430;第3443页-第3452页 *

Also Published As

Publication number Publication date
US11055517B2 (en) 2021-07-06
US20190278981A1 (en) 2019-09-12
CN108509029A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
US8966613B2 (en) Multi-frame depth image information identification
JP6878572B2 (ja) 顔認識に基づいた認証
US10248197B2 (en) Systems and methodologies for real time eye tracking for electronic device interaction
US11087519B2 (en) Facial animation implementation method, computer device, and storage medium
JP4758073B2 (ja) 頭部姿勢の査定方法およびシステム
EP3859717A1 (en) Liveness detection
EP3845282A1 (en) Interaction method of application scenario, and mobile terminal and storage medium
US20140092015A1 (en) Method and apparatus for manipulating a graphical user interface using camera
CN109937434B (zh) 图像处理方法、装置、终端和存储介质
US10576633B2 (en) Communication device
CN106778574A (zh) 用于人脸图像的检测方法和装置
CN111241922B (zh) 一种机器人及其控制方法、计算机可读存储介质
US10444831B2 (en) User-input apparatus, method and program for user-input
CN108509029B (zh) 非接触式输入方法及非接触式输入系统
JP7259447B2 (ja) 発話者検出システム、発話者検出方法及びプログラム
WO2020244160A1 (zh) 终端设备控制方法、装置、计算机设备及可读存储介质
US10970922B2 (en) Generating a 3D model of a fingertip for visual touch detection
Sambrekar et al. Human computer interaction for disabled using eye motion tracking
Gorodnichy Towards automatic retrieval of blink-based lexicon for persons suffered from brain-stem injury using video cameras
CN115484411A (zh) 拍摄参数的调整方法、装置、电子设备和可读存储介质
Buddhika et al. Smart photo editor for differently-abled people using assistive technology
WO2012082077A2 (en) Pose-independent 3d face reconstruction from a sample 2d face image
KR20170067398A (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
CN112766063B (zh) 基于位移补偿的微表情拟合方法和系统
WO2023276271A1 (ja) 情報処理装置、情報処理方法、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant