CN105264465A - 输入装置以及输入动作要求的方法 - Google Patents

输入装置以及输入动作要求的方法 Download PDF

Info

Publication number
CN105264465A
CN105264465A CN201480029957.7A CN201480029957A CN105264465A CN 105264465 A CN105264465 A CN 105264465A CN 201480029957 A CN201480029957 A CN 201480029957A CN 105264465 A CN105264465 A CN 105264465A
Authority
CN
China
Prior art keywords
action
feedback
data
action command
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480029957.7A
Other languages
English (en)
Other versions
CN105264465B (zh
Inventor
纳瓦特·西拉旺
池田洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN105264465A publication Critical patent/CN105264465A/zh
Application granted granted Critical
Publication of CN105264465B publication Critical patent/CN105264465B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

本申请公开一种输入装置,包括:检测操作者的身体部位的移动,并生成与所述身体部位的所述移动相关的移动数据的传感器;包含根据所述移动数据生成动作指令的动作指令生成部、根据所述移动数据生成表示所述移动的速度的速度数据的速度数据生成部、基于所述速度数据决定是否需要用于可让所述操作者确认所述动作指令的反馈动作的反馈决定部的处理部;以及包含如果所述反馈决定部决定需要所述反馈动作则执行所述反馈动作的反馈动作装置的动作部。

Description

输入装置以及输入动作要求的方法
技术领域
本发明涉及一种输入装置以及用于输入动作要求的方法。
背景技术
目前存在用于向各种装置输入动作要求的各种技术。装置基于动作要求而动作。
操作者有时也会接触式地操作输入旋钮向装置输入动作要求。例如,操作者旋转无线电广播装置的旋钮来调整音量。
操作者也有时操作遥控器来无线控制装置。例如,操作者使用遥控器将所希望的电视节目输入电视装置。
操作者也有时使用机械性的计算机鼠标、光学性的计算机鼠标、包含笔、触针等其它的指示装置的鼠标装置向装置输入动作要求。例如,操作者使用光学性的计算机鼠标选择计算机屏幕上的“保存”按钮来保存所编辑的文件。
操作者也有时触摸触摸屏装置向装置输入动作要求。例如,操作者触摸显示在触摸屏装置上的箭头来调整触摸屏的亮度。
操作者也有时希望不接触物体而向装置输入动作要求。例如,在手脏时,如果操作者在空中作出手势就能输入动作要求,对于操作者来说非常地方便。
专利文献1公开了一种能够利用在空中的手势输入动作要求的技术。
专利文献1的技术给出了可让操作者确认所选择的菜单是否被执行的反馈动作的启示。然而,反馈动作并不总是需要。例如,如果操作者适应装置的操作,操作者也有时不需要反馈动作。有时,反馈动作还会妨碍向装置的顺畅的输入动作。
专利文献2所公开的技术通过机械性的计算机鼠标、光学性的计算机鼠标、包含笔、触针等其它的指示装置的各种鼠标装置,可让操作者通过手势输入动作要求。
专利文献2的技术给出了指导不熟练于手势动作的操作者适当地完成手势动作的技术启示。在专利文献2中,如果操作者在设定的时间内不能结束手势动作,就执行指导用的反馈。另外,专利文献2的技术也给出了仅告知操作者所决定的动作指令的反馈动作的启示。
然而,在现状下不存在显示出所输入的手势的状态的显示器,且操作者在没有可视觉识别的反馈的情况下不得不从头到尾执行空中的手势的条件下,对于空中的手势动作来说,特别是手势识别容易出错。此外,检测手势的传感器的限制也会引起手势识别出错。作为这些限制,例如有被限制的视野、被限制的检测范围以及检测距离、空气介质内的检测信号的失真以及杂讯。手势识别的错误成为系统不稳定以及操作者感到不便的一个原因。
现有技术文献
专利文献
专利文献1:日本专利公开公报特开平7-334299号
专利文献2:美国专利公开公报第2012/0124472号
发明内容
本发明的目的在于提供一种选择性地执行用于向操作者通知装置的状态的反馈动作的技术。
本发明的一方面所涉及的输入装置,包括:传感器,检测操作者的身体部位的移动,并生成与所述身体部位的所述移动相关的移动数据;处理部,包含根据所述移动数据生成动作指令的动作指令生成部、根据所述移动数据生成表示所述移动的速度的速度数据的速度数据生成部和基于所述速度数据决定是否需要用于可让所述操作者确认所述动作指令的反馈动作的反馈决定模块;以及动作部,包含反馈动作装置,如果所述反馈决定模块决定需要所述反馈动作,所述反馈动作装置执行所述反馈动作。
本发明的另一方面所涉及的方法被用于输入动作要求。该方法包括:检测操作者的身体部位的移动,并生成与所述身体部位的所述移动相关的移动数据的步骤;根据所述移动数据,生成定义规定的动作的动作指令和表示所述移动的速度的速度数据的步骤;基于所述速度数据,决定是否需要可让所述操作者确认所述动作指令的反馈动作的步骤;如果需要所述反馈动作,就执行所述反馈动作的步骤。
本发明的技术能够选择性地生成用于向操作者通知装置的状态的反馈动作。
附图说明
图1是第1实施方式的输入装置的概要框图。
图2是表示图1所示的输入装置的例示性的硬件结构的概要框图。
图3是表示第2实施方式的输入装置的例示性的硬件结构的概要框图。
图4是第3实施方式的输入装置的例示性的功能框图。
图5是表示图4所示的输入装置的处理的概要流程图。
图6表示由图4所示输入装置的动作检测部生成的例示性的图像数据。
图7A表示由图6所示的图像数据所示的一系列图像。
图7B表示由图4所示的输入装置的手势识别模块识别的数据。
图8A示出表示手的其它动作的一系列图像。
图8B表示旋转虚拟旋钮的手的例示性的动作。
图9表示由手势识别模块生成的矢量数据的例示性的数据结构。
图10是第4实施方式的输入装置的例示性的功能框图。
图11是第5实施方式的输入装置的例示性的功能框图。
图12是第6实施方式的输入装置的例示性的功能框图。
图13是表示图12所示的输入装置的处理的概要流程图。
图14是表示图12所示的输入装置的处理的其它的另一个处理的概要流程图。
图15A表示例示性的手势模式。
图15B表示其它的另一个例示性的手势模式。
图16是生成模式数据的概念图。
图17是存储在图12所示的输入装置的第2存储部的指令组数据的数据结构的概念图。
图18是加到模式数据的时间数据的概念图。
图19是存储在图12所示的输入装置的第3存储部的候选数据的数据结构的概念图。
图20A是作出开始手势的手势概要立体图。
图20B表示三维坐标系。
图21是作出开始手势的其它的手势的概要立体图。
图22是第7实施方式的输入装置的例示性的功能框图。
图23是图22所示的输入装置的输出控制部的处理的概要流程图。
图24A是第8实施方式的加热烹调器的概要立体图。
图24B表示利用图24A所示的加热烹调器的操作者。
图25A表示用于使加热程度增大的例示性的手势模式。
图25B表示用于使加热程度降低的例示性的手势模式。
图26是第9实施方式的输入装置的例示性的功能框图。
图27是表示图26所示的输入装置的处理的概要流程图。
图28是第10实施方式的输入装置的例示性的功能框图。
图29是表示包含以不同的速度进行的四个步骤的例示性的手势模式的图。
图30是表示包含所执行的手势模式和在替代动作指令预测中得到的替代手势模式的例示性的手势模式的图。
具体实施方式
以下,参照附图对有关输入技术的各种实施方式进行说明。通过以下的说明,可明确地理解输入技术的原理。表示“上”、“下”、“左”、“右”方向的用语只是为了便于说明的清晰化为目的。因此,这些用语不应限定性地被解释。
(第1实施方式)
图1是例示性的输入装置100的概要框图。参照图1对输入装置100进行说明。
输入装置100具备传感器200、处理单元300、多个动作装置400。操作者例如在传感器200的前面用手作出手势。传感器200检测出手的动作,生成表示手的动作的移动数据。在本实施方式中,操作者的手作为身体部位而被例示。取而代之,传感器200也可以检测操作者的其它的身体部位的动作。
移动数据从传感器200传输到处理单元300。移动数据也可以是表示手的移动的图像数据。取而代之,也可以利用表示操作者的身体部位的移动的其它类型的数据作为移动数据。如果图像数据作为移动数据而被利用,传感器200也可以是摄像装置或能够拍摄手的移动的其它装置。
处理单元300具有用于生成动作指令的指令生成功能、用于生成表示手的移动速度的速度数据的数据生成功能以及用于判断是否需要反馈动作的判断功能等多个功能。动作装置400中的至少一个装置根据动作指令执行规定的动作。例如,如果动作装置400中的一个是加热器,且处理单元300生成指示增大加热程度的动作指令,加热器就增加加热程度。本实施方式中,图1所示的动作装置400的组作为动作部而被例示。动作装置400中的至少一个装置作为指令执行装置而被例示。
如果处理单元300判断需要反馈动作,动作装置400中的至少另一个装置执行反馈动作。如果动作装置400中的一个装置是通知操作者增加加热程度的指示灯,若处理单元300判断对指示增大加热程度的动作指令要求反馈动作,指示灯就可以闪烁。因此,操作者以视觉识别闪烁的指示灯,能够确认组装了输入装置100的装置的加热功能变成活跃的动作指令的内容。本实施方式中,动作装置400的至少一个装置作为反馈动作装置而被例示。
是否需要反馈动作也可以依赖于由处理单元300生成的速度数据。如果操作者不习惯在空中对输入装置100作出手势,操作者慢慢地移动手的情况多。此时,操作者需要或希望确认动作要求是否适当地被输入到输入装置100的情况多。如果操作者用手在空中作出手势时上述指示灯没有闪烁,操作者可知在空中的手势没有被输入装置100适当地接收,之后,操作者可再次作出在空中的手势。因此,如果操作者以比阈值低的速度使手移动,处理单元300可以判断需要反馈。如果操作者很熟悉在空中对输入装置100作出手势,操作者不需反馈动作的辅助就能适当且快速地对输入装置100输入动作要求。因此,如果操作者以超过阈值的速度使手移动,处理单元300就可以判断不需要反馈动作。本实施方式中,处理单元300作为处理部而被例示。
图2是表示输入装置100的例示性的硬件结构的概要框图。参照图1以及图2对输入装置100进一步进行说明。
输入装置100从操作者接收动作要求。动作要求被处理单元300处理后,被传输到家用电器、音频视频装置、平板计算机终端以及便携式通信终端等动作装置400中的至少一个装置。输入装置100既可以组装于该至少一个动作装置400中,或者也可以是独立于该至少一个动作装置400的其它装置。图2中,作为家用电器、音频视频装置、平板计算机终端以及便携式通信终端等而发挥功能的动作装置400作为执行装置410而被例示。
处理单元300具备CPU310(CentralProcessingUnit)、ROM320(ReadOnlyMemory)、RAM330(RandomAccessMemory)、HDD340(HardDiskDrive)、总线350以及接口361、362、363、364、365(图2中用“I/F”表示)。ROM320固定保持定义执行装置410的动作的计算机程序和数据。如果执行装置410是导航系统,HDD340内的内容数据也可以是地图数据。如果执行装置410是音乐播放器,HDD340内的内容数据也可以是音乐数据。取而代之,如果RAM330为非易失性存储器,各种用途(例如,导航用途或音乐播放用途)用的内容数据也可以存储在RAM330。
存储在ROM320及/或HDD340内的计算机程序之中的一些程序也可以实现上述的各种功能(指令生成功能、数据生成功能以及判断功能)。本实施方式中,实现指令生成功能的计算机程序作为动作指令生成部而被例示。实现数据生成功能的计算机程序作为速度数据生成部而被例示。实现判断功能的计算机程序作为反馈决定模块而被例示。
CPU310、ROM320以及RAM330与总线350连接。HDD340通过接口365与总线350连接。执行装置410通过接口362与总线350连接。CPU310通过总线350从ROM320以及HDD340读取计算机程序和数据并生成动作指令。动作指令通过总线350以及接口362从CPU310向执行装置410发送。执行装置410也可以根据动作指令执行各种动作。RAM330在生成动作指令和CPU310执行其它处理的期间,也可以暂时存储计算机程序和数据。ROM320以及RAM330也可以是闪存、可写入的非易失性存储器或可读取的介质。本实施方式中,CPU310是单一的CPU。取而代之,输入装置100也可以利用多个CPU。
传感器200通过接口363与总线350连接。如参照图1说明所述,传感器200生成移动数据。移动数据也可以通过接口363以及总线350从传感器200发送到RAM330。执行指令生成功能、数据生成功能以及判断功能用的计算机程序的CPU310从RAM330读取移动数据。在CPU310执行指令生成功能用的计算机程序时,CPU310根据移动数据生成动作指令。动作指令通过总线350以及接口362从CPU310向执行装置410输出。在CPU310执行数据生成功能用的计算机程序时,CPU310根据移动数据生成速度数据。CPU310在执行判断功能用的计算机程序时,基于速度数据判断是否需要反馈动作。本实施方式中,执行装置410作为指令执行装置而被例示。
图1所示的动作装置400的其中之一装置也可以对应于图2的显示装置420。如图2所示,显示装置420通过接口361与总线350连接。显示装置420显示用于与操作者进行意思传达的信息。显示装置420也可以是LCD(液晶显示器)或显示传达信息的其它装置。本实施方式中,显示装置420作为反馈动作装置而被例示。
如果CPU310判断需要反馈动作,CPU310就生成反馈要求指令。反馈要求指令通过总线350以及接口361从CPU310向显示装置420输出。接收反馈要求指令的显示装置420也可以显示有关对应于动作指令的执行装置410的动作的信息。因此,操作者可知输入装置100是否适当地从操作者接收了动作要求。如果显示装置420由触摸面板形成,操作者也可以操作触摸面板取消动作要求。本实施方式中,显示装置420的显示动作作为通知动作而被例示。
输入装置100还可以具备编辑装置510以及便携式记录介质520。编辑装置510通过接口364与总线350连接。便携式记录介质520也可以存储内容数据以及计算机程序。便携式记录介质520也可以是SD、CD、BD、存储卡或能保持内容数据及/或计算机程序的其它的存储装置。编辑装置510从便携式记录介质520读取内容数据。内容数据之后也可以从编辑装置510输出至RAM330及/或HDD340。CPU310可以在各种数据处理中利用内容数据。根据需要,显示装置420也可以显示内容数据作为编辑菜单。操作者也可以视觉识别显示装置420上的编辑菜单重写内容数据。
内容数据也可以包含判断功能用的判断基准信息。执行判断功能用的计算机程序的CPU310也可以参照判断基准信息判断是否需要反馈动作。操作者也可以编辑便携式记录介质520内的内容数据,变更判断功能的判断基准。编辑装置510也可以将所编辑的内容数据重写到便携式记录介质520。
(第2实施方式)
获取操作者的身体部位的移动数据的传感器也可以被输入装置和其它的系统共享。第2实施方式中,输入装置利用作为用于控制各种家用电器的住宅控制系统的一部分的传感器。
图3是表示输入装置100的其它的例示性的硬件结构的概要框图。参照图1以及图3对输入装置100的硬件结构进行说明。图2以及图3中共同使用的符号意味着赋予该共同的符号的要素与第1实施方式的该要素具有相同的功能。因此,对这些要素援用对第1实施方式的说明。
与第1实施方式同样,输入装置100具备传感器200、处理单元300、显示装置420、执行装置410、编辑装置510以及便携式记录介质520。输入装置100与用于控制空调器、电视装置、烹调器具等各种家用电器的控制网络900进行通信。传感器200被输入装置100和控制网络900共享。由传感器200生成的移动数据不仅被输入装置100利用也可以被控制网络900利用。传感器200与控制网络900连接。控制网络900与处理单元300的接口363连接。移动数据通过控制网络900、接口363以及总线350从传感器200发送到RAM330。
控制网络900也可以用于向CPU310提供计算机程序。计算机程序也可以通过接口363以及总线350从控制网络900发送至RAM330及/或HDD340。CPU310也可以读取并执行存储在RAM330及/或HDD340的计算机程序。从控制网络900向输入装置100的数据传输既可以是有线方式,或者也可以是无线方式。
(第3实施方式)
图4是输入装置100的例示性的功能框图。功能框图是基于第1实施方式中相关联说明的技术概念而设计的。参照图1、图2以及图4对输入装置100的功能与第3实施方式相关联进行说明。
输入装置100具备动作检测部210、手势识别模块311、指令决定模块312、速度获取模块313、反馈决定模块314、动作指令执行部411以及反馈动作执行部421。动作检测部210检测操作者的身体部位的移动。之后,动作检测部210生成表示身体部位的移动的图像数据作为移动数据。动作检测部210与第1实施方式相关联说明的传感器200相对应。
图像数据从动作检测部210向手势识别模块311输出。手势识别模块311将图像数据的一部分作为表示身体部位的动作的特征的手势数据来识别。手势识别模块311也可以利用已知的图像识别技术识别手势数据。手势识别模块311与执行被设计成识别图像数据内的特定的图像的计算机程序的CPU310相对应。本实施方式中,手势识别模块311作为识别部而被例示。
手势识别模块311之后从图像数据提取手势数据。手势数据作为矢量数据从手势识别模块311向指令决定模块312以及速度获取模块313输出。
指令决定模块312根据矢量数据辨别移动模式。如果矢量数据表示身体部位的直线轨迹,指令决定模块312也可以决定与直线轨迹对应的特定的动作指令(例如,指示增加加热程度的动作指令)。如果矢量数据表示身体部位的旋涡状轨迹,指令决定模块312也可以决定与旋涡状轨迹对应的其它特定的动作指令(例如,指示降低加热程度的动作指令)。指令决定模块312与执行第1实施方式中相关联说明的指令生成功能用的计算机程序的CPU310相对应。这些动作指令从指令决定模块312向速度获取模块313输出。本实施方式中,指令决定模块312作为动作指令生成部而被例示。
如果速度获取模块313从指令决定模块312接收动作指令,速度获取模块313根据矢量数据生成速度数据。矢量数据也可以包含表示从身体部位开始移动的开始点到身体部位停止移动的结束点为止的时间长度的时间数据。速度获取模块313也可以测量由矢量数据表示的矢量的整体长度。速度获取模块313也可以由时间长度和整体的矢量长度获取速度数据。速度数据和动作指令的组之后从速度获取模块313向反馈决定模块314输出。速度获取模块313与执行第1实施方式中相关联说明的数据生成功能用的计算机程序的CPU310相对应。本实施方式中,速度获取模块313作为速度数据生成部而被例示。
反馈决定模块314具备要求指令生成部315、输出控制部316以及暂时存储部331。速度数据和动作指令被输入到要求指令生成部315。要求指令生成部315基于速度数据和动作指令决定是否需要反馈动作。如果动作指令表示需要反馈动作的动作,且要求指令生成部315比较速度数据与阈值的结果而辨别出速度数据表示低于阈值的速度,要求指令生成部315则生成表示反馈动作的必要性的反馈要求指令。要求指令生成部315将反馈指令以及动作指令向输出控制部316输出。要求指令生成部315之后让输出控制部316将动作指令发送至暂时存储部331且将反馈要求指令发送至反馈动作执行部421。如果动作指令表示不需要反馈动作的其它动作,或者,速度数据表示阈值以上的速度,要求指令生成部315将动作指令输出至输出控制部316。之后,要求指令生成部315让输出控制部316将动作指令输出至动作指令执行部411。要求指令生成部315与执行第1实施方式中相关联说明的判断功能用的计算机程序的CPU310相对应。暂时存储部331与RAM330及/或HDD340相对应。本实施方式中,反馈决定模块314作为反馈决定部而被例示。
如果反馈动作执行部421接收反馈要求指令,反馈动作执行部421就执行反馈动作。反馈动作执行部421与图1的动作装置400之中的一个装置(例如,图2的显示装置420)相对应。反馈动作执行部421也可以被设计成受理操作者的输入。如果操作者确认到输入装置100适当地接收了操作者的动作要求,为了谋求进一步的处理,操作者也可以操作反馈动作执行部421。在其它的情况下,操作者也可以操作反馈动作执行部421停止或取消进一步的处理。反馈动作执行部421根据来自操作者的输入生成确认结果。确认结果从反馈动作执行部421输出到要求指令生成部315。本实施方式中,反馈动作执行部421作为反馈动作装置而被例示。
如果要求指令生成部315从反馈动作执行部421接收确认结果且确认结果表示进一步的处理的要求,要求指令生成部315让输出控制部316从暂时存储部331读取动作指令。之后,动作指令从输出控制部316输出到动作指令执行部411。如果确认结果并不表示进一步的处理的要求,则输入装置100中断数据处理,等待动作检测部210检测出身体部位的新的移动。
如果动作指令表示要求反馈动作的动作且速度数据表示低于阈值的速度,动作指令执行部411执行反馈动作之后被动作指令定义的动作。如果动作指令表示不要求反馈动作的动作,或者速度数据并不表示比阈值低的速度,动作指令执行部411不等待反馈动作而执行被动作指令定义的动作。动作指令执行部411也可以与图1的动作装置400之中的一个装置(例如,图2的执行装置410)相对应。本实施方式中,动作指令执行部411作为指令执行装置而被例示。
图5是输入装置100的处理的概要流程图。流程图是基于参照图4说明的结构而设计的。参照图4以及图5对输入装置100的处理进行说明。图5的流程图只不过是举例说明的图。因此,输入装置100除了图5所示的处理步骤以外,还可以执行各种次要的处理。
(步骤S110)
在步骤S110,动作检测部210检测操作者的身体部位的移动。之后,动作检测部210生成图像数据来作为表示操作者的动作的移动数据。图像数据从动作检测部210向手势识别模块311输出。之后,执行步骤S120。
(步骤S120)
在步骤S120,手势识别模块311将数据的一部分作为身体部位的数据而识别,并根据识别出的数据部分生成矢量数据。矢量数据从手势识别模块311发送至指令决定模块312以及速度获取模块313。之后,执行步骤S130。
(步骤S130)
在步骤S130,指令决定模块312基于矢量数据决定动作指令。由指令决定模块312生成的动作指令之后向速度获取模块313输出。之后,执行步骤S140。
(步骤S140)
在步骤S140,速度获取模块313根据矢量数据生成表示身体部位的速度的速度数据。速度获取模块313将速度数据和动作指令输出到要求指令生成部315。之后,执行步骤S150。
(步骤S150)
在步骤S150,要求指令生成部315参照动作指令判断动作指令定义的动作是否需要反馈动作。如果该动作需要反馈动作,就执行步骤S160。在其它的情况下,执行步骤S190。
(步骤S160)
在步骤S160,要求指令生成部315将由速度数据表示的速度与阈值进行比较。如果该速度低于阈值,要求指令生成部315判断需要反馈动作。之后,要求指令生成部315生成反馈要求指令。反馈要求指令通过输出控制部316从要求指令生成部315向反馈动作执行部421输出。动作指令通过输出控制部316从要求指令生成部315向暂时存储部331输出。之后,执行步骤S170。如果速度不低于阈值,要求指令生成部315就判断不需要反馈动作。要求指令生成部315通过输出控制部316将动作指令向动作指令执行部411输出。之后,执行步骤S190。
(步骤S170)
在步骤S170,反馈动作执行部421根据反馈要求指令执行反馈动作。因此,操作者能够确认输入装置100是否确切地接收了来自操作者的动作要求。之后,执行步骤S180。
(步骤S180)
在步骤S180,要求指令生成部315等待来自操作者的反馈输入。如果操作者操作反馈动作执行部421要求进一步的处理,就执行步骤S190。如果操作者操作反馈动作执行部421取消处理,输入装置100停止处理。
(步骤S190)
在步骤S190,动作指令执行部411根据动作指令执行规定的动作。
(手势识别)
图6是由动作检测部210生成的例示性的图像数据。参照图4至图6对步骤S110的手势识别进行说明。
图6的图像数据表示操作者的手和作为背景的家具。手势识别模块311将手作为作出手势的身体部位来识别,该手势用于赋予与动作要求相关联的输入信息。
图7A表示由图6所示图像数据表示的一系列的图像。图7B表示由手势识别模块311识别的数据。参照图4至图7B对步骤S110的手势识别进一步进行说明。
如图7A所示,在操作者使手水平移动的期间,动作检测部210生成表示水平移动的图像数据。手势识别模块311从图像数据提取表示手的数据部分。因此,如图7B所示,手势识别模块311识别从左向右移动的手。
如果识别的数据中的手的状态从静止状态变为移动状态,手势识别模块311就将发生了状态变化的手的位置作为开始点识别。如果识别的数据中的手的状态从移动状态变为新的静止状态,手势识别模块311就将发生了状态变化的手的位置作为结束点识别。
手势识别模块311生成表示从开始点到结束点水平延伸的矢量的矢量数据。手势识别模块311也可以将与手从开始点移动到结束点所需的时间相关联的时间信息加到矢量数据中。
图8A示出表示手的其它的移动的一系列的图像。参照图4、图5以及图8A对步骤S110的手势识别进一步进行说明。
如果操作者以描绘旋涡状轨迹的方式使手移动,手势识别模块311就生成表示以图8A的虚线描绘的曲线所示的旋涡状的矢量的矢量数据。
图8B表示旋转虚拟旋钮的操作者的手的例示性的移动。参照图4、图7A至图8B举例说明动作指令以及速度数据的生成。
由矢量数据的矢量描绘的形状依赖于参照图7A至图8A说明的手的移动。如果操作者使手直线移动,矢量数据就表示直线矢量。如果操作者使手回旋,矢量数据就表示圆形的轨迹的长度。如果操作者转动手,矢量数据就表示角度的变化。指令决定模块312生成指示动作指令执行部411执行第1动作(例如,让作为动作指令执行部411而使用的加热器关闭)的第1动作指令。指令决定模块312生成指示动作指令执行部411执行第2动作(例如,调整作为动作指令执行部411而使用的加热器的加热程度)的第2动作指令。如图8B所示,操作者也可以作出操作虚拟旋钮的手势。
如参照图7B所说明,手势识别模块311也可以将时间信息加到矢量数据中。如图7B所示,如果操作者使手水平移动,速度获取模块313测量从开始点到结束点的距离(即,从开始点到结束点的矢量长度)。速度获取模块313也可以使用测量到的距离和时间信息生成表示移动速度(直线速度)的速度数据。如图8A所示,如果操作者使手回旋,速度获取模块313也可以测量从开始点到结束点的圆形轨迹的全部长度。速度获取模块313也可以使用测量到的全部长度和时间信息生成速度数据。如图8B所示,如果操作者转动手,速度获取模块313也可以测量从开始点到结束点的角度变化。速度获取模块313也可以使用测量到的全部角度变化和时间信息生成表示角速度的速度数据。
要求指令生成部315使用速度数据判断要否需要反馈动作。如果速度数据表示低于阈值的直线速度或角速度,反馈动作执行部421执行反馈动作。在其它的情况下,动作指令执行部411执行由动作指令定义的动作。
速度获取模块313也可以设定笛卡尔坐标系、极坐标系、圆筒坐标系、球坐标系或其它的适当的坐标系等坐标系,生成速度数据。速度获取模块313也可以根据从指令决定模块312接收的动作指令使用不同的坐标系。
图9表示由手势识别模块311生成的矢量数据的例示性的数据结构。参照图4以及图9对矢量数据的数据结构进行说明。
数据结构也可以包含标头部分、手势模式代码部分、位置变化部分、角度变化部分、半径变化部分、经过时间部分、矢量结束部分以及其它必要的数据部分。标头部分可以包含指令决定模块312以及速度获取模块313读取矢量数据所用的信息。手势模式代码部分可以包含使指令决定模块312以及速度获取模块313识别手的移动模式(例如,直线移动或角度移动等)的信息。位置变化部分可以包含手在开始点以及结束点的座标值。角度变化部分可以包含操作者转动手时的手的位置的角度变化的信息。半径变化部分可以包含有关手的旋涡状的轨迹半径的信息。经过时间部分可以包含有关从开始点到结束点的时间长度的信息。矢量结束部分可以包含指令决定模块312以及速度获取模块313为了识别矢量数据的结束所利用的信息。图9所示的例示性的数据结构也可以表示手或其它的身体部位的各种移动模式。指令决定模块312也可以参照这些数据部分的其中之一或者其中一些数据部分决定并生成动作指令。速度获取模块313也可以参照这些数据部分的其中之一或者其中一些数据部分决定并生成速度数据。
(第4实施方式)
操作者也可以根据反馈动作在输入装置输入反馈信息。第3实施方式中,操作者可以操作反馈动作执行部输入反馈信息。但是,操作者也可以操作其它的装置赋予反馈信息。对于第4实施方式中的输入装置,操作者可使用其它的装置输入反馈信息。
图10是输入装置100的其它的例示性的功能框图。功能框图是基于第1实施方式中相关联说明的技术概念而设计的。参照图10对第4实施方式相关联的输入装置100的功能进行说明。图4以及图10之间共同使用的符号意味着附上该共同符号的要素具有与第3实施方式相同的功能。因此,这些要素的说明援用第3实施方式的说明。
与第3实施方式同样,输入装置100具备动作检测部210、手势识别模块311、指令决定模块312、速度获取模块313、反馈决定模块314以及动作指令执行部411。输入装置100还具备反馈动作执行部421A以及反馈界面422。与第3实施方式同样,反馈动作执行部421A根据来自反馈决定模块314的反馈要求指令执行反馈动作。另一方面,反馈动作执行部421A不同于第3实施方式而不输出确认结果。取而代之,如果操作者操作反馈界面422,反馈界面422输出确认结果。确认结果从反馈界面422输出到要求指令生成部315。如果操作者希望进一步的处理,要求指令生成部315之后让输出控制部316从暂时存储部331读取动作指令。最终,动作指令执行部411根据从输出控制部316输出的动作指令执行规定的动作。
例如,反馈界面422也可以具有声音识别功能来识别操作者的声音。反馈界面422也可以输出让反馈决定模块314执行或取消进一步的处理的确认结果。
(第5实施方式)
操作者也可以根据反馈动作向输入装置输入反馈信息。第4实施方式中,操作者能够操作专用的反馈界面来输入反馈信息。但是,操作者也可以操作动作检测部赋予反馈信息。对于第5实施方式中的输入装置,使用者可利用动作检测部输入反馈信息。
图11是输入装置100的其它的例示性的功能框图。功能框图是基于第1实施方式中相关联说明的技术概念而设计的。参照图11对第5实施方式相关联的输入装置100的功能进行说明。另外,图10以及图11之间共同使用的符号意味着附上该共同的符号的要素具有与第4实施方式相同的功能。因此,这些要素的说明援用第4实施方式的说明。
与第4实施方式同样,输入装置100具备动作检测部210、指令决定模块312、速度获取模块313、反馈决定模块314、动作指令执行部411以及反馈动作执行部421A。输入装置100还具备手势识别模块311B。手势识别模块311B具有与第4实施方式相同的功能,生成矢量数据。除此以外,手势识别模块311B还具有识别移动数据内的特定的手势来作为用于生成确认结果的数据的功能。
如果操作者作出用于产生确认结果的特定的手势,手势识别模块311B生成指示让反馈决定模块314执行或取消进一步的处理的确认结果。确认结果与矢量数据不同,从手势识别模块311B直接输出到要求指令生成部315。如果操作者希望进一步的处理,要求指令生成部315之后让输出控制部316从暂时存储部331读取动作指令。最终,动作指令执行部411根据从输出控制部316输出的动作指令执行规定的动作。
(第6实施方式)
根据第3实施方式,全部的动作指令通过反馈决定模块。但是,没有必要所有的动作指令都要接受反馈决定模块的处理。动作指令中的一些动作指令也可以无需反馈动作执行部的反馈动作而执行。下面与第6实施方式相关联说明分配动作指令的技术。
图12是输入装置100的例示性的功能框图。功能框图是基于第1实施方式中相关联说明的技术概念而设计的。参照图1、图2以及图12与第6实施方式相关联对输入装置100的功能进行说明。图4以及图12之间共同使用的符号意味着附上该共同的符号的要素具有与第3实施方式相同的功能。因此,这些要素的说明援用第3实施方式的说明。
与第3实施方式同样,输入装置100具备动作检测部210、动作指令执行部411以及反馈动作执行部421。输入装置100具备手势识别模块311C、指令决定模块312C、速度获取模块313C、反馈决定模块314C、第1存储部321、编辑部511以及第2存储部521。
动作检测部210与第3实施方式同样地生成移动数据。移动数据被输出到手势识别模块311C。
第1存储部321存储各种手势模式相关的手势组数据。各手势模式可以是多个手势的组合。手势识别模块311C从第1存储部321读取手势组数据。手势识别模块311C之后将手势组数据与移动数据进行比较,辨别表示与移动数据所表示的手势模式一致的手势模式的组数据的部分。手势识别模块311C将被辨别的数据部分转换为模式数据。模式数据从手势识别模块311C输出到指令决定模块312C以及速度获取模块313C。第1存储部321也可以是参照图2说明的ROM320或HDD340。
第2存储部521存储一些动作指令相关的指令组数据和将指令组数据的动作指令分类为高优先度或低优先度的优先度数据。指令组数据内的各动作指令分别也可与手势组数据内的各手势模式相关联。
如果指令决定模块312C从手势识别模块311C接收模式数据,指令决定模块312C从第2存储部521读取指令组数据。指令决定模块312C之后将指令组数据与模式数据进行比较,辨别与由模式数据定义的手势模式相对应的动作指令。另外,如上所述,被辨别的动作指令根据优先度数据,使用高优先度和低优先度的其中之一被标识化。本实施方式中,如果被辨别的动作指令受到低优先度的标识化,动作指令在决定是否需要反馈动作之后执行。在其它的情况下,动作指令不经过反馈动作就执行。优先度数据作为表示是否需要反馈动作的标识符而被例示。
指令决定模块312C也可以参照赋予被辨别的动作指令的优先度数据决定动作指令的输出路径。
本实施方式中,如图12所示,对于来自指令决定模块312C的动作指令准备了两条路径。一条路径从指令决定模块312C向速度获取模块313C延伸。另一条路径从指令决定模块312C直接向动作指令执行部411延伸。赋予了低优先度的动作指令从指令决定模块312C向速度获取模块313C被输出,接受速度获取模块313C以及反馈决定模块314C的各种处理。最终,赋予了低优先度的动作指令被动作指令执行部411执行。赋予了高优先度的动作指令不通过速度获取模块313C以及反馈决定模块314C而从指令决定模块312C直接向动作指令执行部411输出。如果动作指令执行部411接收赋予了高优先度的动作指令,动作指令执行部411不等待反馈动作就执行赋予了高优先度的动作指令。
操作者也可以使用编辑部511变更优先度数据。如果操作者以高频度作出特定的手势,操作者有时也就不需要反馈动作。此时,操作者可使用编辑部511将“高优先度”的标签附在与该特定的手势相对应的动作指令。取而代之,编辑部511也可以基于动作指令的使用频度自动地更新优先度数据。本实施方式中,第2存储部521与参照图2说明的便携式记录介质520相对应。编辑部511与参照图2说明的编辑装置510相对应。
如上所述,模式数据从手势识别模块311C不仅被输出到指令决定模块312C,而且也被输出到速度获取模块313C。由模式组数据表示的各手势模式也可以包含定义开始点的开始手势和定义结束点的结束手势。在操作者开始动作要求的输入时,操作者可以作出作为开始手势的特定的手势。同样,在结束动作要求的输入时,操作者也可以作出作为结束手势的其它另外一个特定的手势。模式数据也可以包含表示从由开始手势定义的开始点到由结束手势定义的结束点为止的时间长度的时间数据。速度获取模块313C也可以使用模式数据的时间数据作为速度数据。速度数据从速度获取模块313C向反馈决定模块314C输出。赋予了低优先度的动作指令也从速度获取模块313C向反馈决定模块314C输出。
与第3实施方式同样,反馈决定模块314C包含输出控制部316和暂时存储部331。反馈决定模块314C还包含要求指令生成部315C和第3存储部323。要求指令生成部315C接收速度数据以及赋予了低优先度的动作指令。第3存储部323存储表示各种反馈动作的候选数据。由候选数据表示的各反馈动作也可以与赋予了低优先度的各动作指令相关联。本实施方式中,第3存储部323作为反馈候选存储部而被例示。
要求指令生成部315C从第3存储部323读取候选数据。要求指令生成部315C将从速度获取模块313C接收到的动作指令与候选数据进行比较。如果候选数据表示的反馈动作的其中之一与动作指令相对应,要求指令生成部315C验证速度数据是否表示低于阈值的速度。如果速度数据表示低于阈值的速度,要求指令生成部315C与3实施方式同样地生成表示对应的反馈动作的反馈要求指令。反馈要求指令通过输出控制部316被输出到反馈动作执行部421。反馈动作执行部421执行由反馈要求指令定义的反馈动作。在操作者确认表示动作要求已被适当地输入到输入装置100的反馈动作之后,要求指令生成部315C通过输出控制部316使动作指令输出到动作指令执行部411。动作指令执行部411执行由动作指令决定的动作。本实施方式中,要求指令生成部315C作为反馈决定部而被例示。
图13是输入装置100的处理的概要流程图。流程图是基于参照图12说明的结构而设计的。参照图12以及图13对输入装置100的处理进行说明。另外,图13的流程图仅是举例说明而已。因此,输入装置100除了图13的步骤以外还可以执行各种次要的处理。
(步骤S210)
在步骤S210,动作检测部210检测操作者的身体部位的移动。动作检测部210之后生成图像数据来作为表示操作者的动作的移动数据。图像数据从动作检测部210被输出到手势识别模块311C。之后,执行步骤S220。
(步骤S220)
在步骤S220,手势识别模块311C从第1存储部321读取手势组数据。手势识别模块311C将手势组数据与图像数据进行比较,辨别与图像数据表示的手势相对应的手势模式。手势识别模块311C生成表示对应的手势模式的模式数据。模式数据从手势识别模块311C发送至指令决定模块312C以及速度获取模块313C。之后,执行步骤S230。
(步骤S230)
在步骤S230,指令决定模块312C从第2存储部521读取指令组数据。指令决定模块312C将指令组数据与模式数据进行比较,辨别与由模式数据表示的模式数据相对应的动作指令。指令决定模块312C生成对应的动作指令。之后,执行步骤S235。
(步骤S235)
在步骤S235,指令决定模块312C参照给动作指令赋予的优先度数据。如果优先度数据表示低优先度,动作指令从指令决定模块31C输出到速度获取模块313C。在其它的情况下,动作指令从指令决定模块312C输出到动作指令执行部411。如果动作指令被输出到速度获取模块313C,执行步骤S240。如果动作指令被输出到动作指令执行部411,执行步骤S290。
(步骤S240)
在步骤S240,速度获取模块313C参照模式数据中包含的时间数据。时间数据如上所述地表示由开始手势和结束手势定义的时间长度。速度获取模块313C使用时间数据生成速度数据。速度数据从速度获取模块313C被输出到要求指令生成部315C。在此期间,赋予了低优先度的动作指令也从速度获取模块313C被输出到要求指令生成部315C。之后,执行步骤S250。
(步骤S250)
在步骤S250,要求指令生成部315C从第3存储部323读取候选数据。要求指令生成部315C将候选数据与赋予了低优先度的动作指令进行比较,辨别与动作指令相对应的反馈动作。如果由候选数据表示的反馈动作的其中之一与接收的动作指令相关联,就执行步骤S260。如果由候选数据表示的反馈动作均不与接收到的动作指令相关联,就执行步骤S290。
(步骤S260)
在步骤S260,要求指令生成部315C将由速度数据表示的速度与阈值进行比较。如果速度低于阈值,要求指令生成部315C判断为需要反馈动作。要求指令生成部315C之后生成用于指示反馈动作执行部421执行在步骤S250决定的反馈动作的反馈要求指令。反馈要求指令通过输出控制部316从要求指令生成部315C被输出到反馈动作执行部421。之后,执行步骤S270。如果速度不低于阈值,要求指令生成部315C判断为不需要反馈动作。要求指令生成部315C通过输出控制部316将动作指令输出到动作指令执行部411。之后,执行步骤S290。
(步骤S270)
在步骤S270,反馈动作执行部421根据反馈要求指令执行反馈动作。因此,操作者能够确认输入装置100是否适当地接收到来自操作者的动作要求。之后,执行步骤S280。
(步骤S280)
在步骤S280,要求指令生成部315C等待来自操作者的反馈输入。如果操作者操作反馈动作执行部421要求进一步的处理,就执行步骤S290。如果操作者操作反馈动作执行部421取消处理,输入装置100就停止处理。
(步骤S290)
在步骤S290,动作指令执行部411根据动作指令执行规定的处理。
图14是输入装置100的处理的其它的概要流程图。流程图是基于参照图12说明的结构而设计的。参照图12至图14对输入装置100的处理进行说明。另外,图14所示的流程图仅是举例说明而已。因此,除了图14所示的步骤以外,输入装置100也可以执行各种次要的处理。
从步骤S210到步骤S240为止的一系列处理与参照图13说明的处理相同。输入装置100执行步骤S350来代替步骤S250。
(步骤S350)
在步骤S350,如果由候选数据表示的反馈动作的其中之一与动作指令相关联,则与图13所示的流程图同样地执行从步骤S260到步骤S290为止的一系列处理。如果由候选数据表示的反馈动作均不与动作指令相关联,要求指令生成部315C生成指示反馈动作执行部421向操作者给予警告信息的反馈要求指令。警告信息相关的反馈要求指令通过输出控制部316被输出到反馈动作执行部421。之后,执行步骤S355。
(步骤S355)
在步骤S355,反馈动作执行部421给予警告信息,输入装置100停止处理。操作者可再次执行向输入装置100的动作要求的输入。输入装置100之后重新开始步骤S210。
图15A表示例示性的手势模式。图15B表示其它的例示性的手势模式。参照图6、图12、图15A以及图15B对手势模式进行说明。
操作者首先可用手定义三维坐标系。在图15A以及图15B中,操作者将食指、中指和拇指朝彼此不同的方向伸展来定义三维坐标系。食指定义x轴。中指定义y轴。拇指定义z轴。本实施方式中,xyz轴的其中之一作为第1轴而被例示。这些坐标轴之中的其它的另一轴作为第2轴而被例示。剩下的坐标轴作为第3轴而被例示。
与参照图6说明的图像识别技术同样,手势识别模块311C提取表示操作者的手的数据。在用手定义三维坐标系时,手势识别模块311C将定义三维坐标系的手的手势作为开始手势进行识别。
操作者在手势模式结束时也可以合上手。手势识别模块311C将合上手的手势作为结束手势进行识别。
操作者可在开始手势和结束手势之间作出各种手势。图15A中,操作者使手沿中指定义的y轴移动。图15B中,使拇指和食指绕中指定义的y轴以圆状移动。手势识别模块311C可通过比较开始手势和结束手势之间的手势与手势组数据辨别操作者输入了哪种动作要求。
图16是生成模式数据的概念图。参照图12、图15A至图16对模式数据的生成进行说明。
如果手势识别模块311C在开始手势和结束手势之间辨别出图15A所示的手的手势,手势识别模块311C将“模式代码A”加到模式数据中。如果手势识别模块311C在开始手势和结束手势之间辨别出图15A所示的手的手势,手势识别模块311C将“模式代码B”加到模式数据中。在此,模式代码B和模式代码A相互不同。如上所述,模式数据被输出到指令决定模块312C。
图17是存储在第2存储部521的指令组数据的数据结构的概念图。参照图12、图16以及图17对指令组数据的数据结构进行说明。
指令组数据包含手势识别模块311C可加到模式数据的各种模式代码相关的数据。指令组数据包含各种动作指令相关的数据。如图17所示,指令组数据将各动作指令与各模式代码相关联。指令决定模块312C从第2存储部521读取指令组数据。指令决定模块312C参照图17的“模式代码”栏辨别与模式数据对应的动作指令。如果模式数据包含模式代码A,指令决定模块312C就选择并生成动作指令A。如果模式数据包含模式代码B,指令决定模块312C就选择并生成动作指令B。如果模式数据包含模式代码C,指令决定模块312C就选择并生成动作指令C。另外,由动作指令A、B、C各自定义的动作彼此不同。本实施方式中,由动作指令A定义的动作作为第1动作而被例示。由动作指令C定义的动作作为第2动作而被例示。
指令组数据还包含优先度数据。指令组数据将各动作指令与高优先度或低优先度相关联。图17中,动作指令A被赋予低优先度。动作指令B被赋予高优先度。动作指令C被赋予低优先度。
指令决定模块312C参照赋予被选择的动作指令的优先度数据。如果指令决定模块312C选择动作指令A或动作指令C,指令决定模块312C就找出低优先度的标签。如果指令决定模块312C选择动作指令B,指令决定模块312C就找出高优先度的标签。
指令决定模块312C基于优先度数据决定动作指令的输出路径。如果指令决定模块312C选择动作指令A或动作指令C,因为有低优先度的标签,所以将动作指令A或动作指令C向速度获取模块313C输出。如果指令决定模块312C选择动作指令B,因为有高优先度的标签,所以指令决定模块312C将动作指令B向动作指令执行部411输出。
图18是加到模式数据的时间数据的概念图。参照图12、图17以及图18对时间数据进行说明。
手势识别模块311C将有关从开始手势到结束手势的时间长度的数据加到模式数据。速度获取模块313C提取有关时间长度的数据。提取的数据与赋予了低优先度的动作指令(动作指令A或动作指令C)一起从速度获取模块313C向要求指令生成部315C输出。
图19是存储在第3存储部323的候选数据的数据结构的概念图。参照图12以及图19对候选数据的数据结构进行说明。
候选数据包含有关赋予了低优先度的各种动作指令的数据。候选数据还包含有关各种反馈要求指令的数据。在候选数据内被列举的反馈要求指令定义的反馈动作也可以彼此不同。候选数据将各动作指令与各反馈要求指令相关联。如果要求指令生成部315C接收动作指令A,在时间数据表示低于阈值的速度时,要求指令生成部315C生成反馈要求指令A。如果要求指令生成部315C接收动作指令C,在时间数据表示低于阈值的速度时,要求指令生成部315C生成反馈要求指令C。本实施方式中,由反馈要求指令A定义的反馈动作作为第1反馈动作而被例示。由反馈要求指令C定义的反馈动作作为第2反馈动作而被例示。
图20A是作出开始手势的手的手势的概要立体图。图20B表示三维坐标系。参照图12、图20A和图20B对开始手势进行说明。
操作者也可以让食指、中指和拇指在彼此不同的方向伸展,如图20A所示地作出开始手势。食指定义x轴的方向。中指定义y轴的方向。拇指定义z轴的方向。三维坐标系如图20B所示地被这些手指而定义。
图20B表示在x轴和y轴之间定义的角度A、在x轴和z轴之间定义的角度B、在y轴和z轴之间定义的角度C。这些角度A、B、C分别在70°到120°的范围。操作者除非特意作出,则难以作出这些角度。因此,如果手势识别模块311C识别图20A所示的手的手势,动作指令执行部411就难以发生动作性的错误。
图21是作出开始手势的其它的手的手势的概要立体图。参照图12、图20A至图21对开始手势进行说明。
与参照图20A说明的手的手势不同,操作者不仅伸开中指而且也伸开无名指和小手指来定义z轴。手势识别模块311C也可以从图21所示的手的手势识别图20B所示的三维坐标系。
(第7实施方式)
根据第3实施方式至第6实施方式,如果需要反馈动作,输入装置就根据确认结果输出动作指令。但是,如果操作者具有确认反馈动作并进行必要的动作所需要的充分长的延迟时间,则不需要确认结果。第7实施方式中,对例示性的延迟功能进行说明。
图22是输入装置100的例示性的功能框图。功能框图是基于第3实施方式中相关联说明的技术概念而设计并简化的。参照图22对输入装置100进行说明。另外,图4与图22之间共同使用的符号意味着附上该共同的符号的要素具有与第3实施方式相同的功能。因此,这些要素的说明援用第3实施方式的说明。
与第3实施方式同样,输入装置100具备动作检测部210、指令决定模块312、速度获取模块313、动作指令执行部411。输入装置100还具备反馈决定模块314D和反馈动作执行部421D。
与第3实施方式同样,反馈决定模块314D包含暂时存储部331。反馈决定模块314D还包含要求指令生成部315D和输出控制部316D。
与第3实施方式同样,要求指令生成部315D接收速度数据和动作指令。如果速度数据表示低于阈值的速度,要求指令生成部315D向输出控制部316D不仅输出动作指令,而且还输出反馈要求指令。在其它的情况下,要求指令生成部315D只将动作指令向输出控制部316D输出。与第3实施方式不同,要求指令生成部315D不接收确认结果。
如果输出控制部316D接收动作指令以及反馈要求指令双方,输出控制部316D将动作指令向暂时存储部331输出,并且,将反馈要求指令向反馈动作执行部421D输出。如果输出控制部316D只接收到动作指令,输出控制部316D将动作指令向动作指令执行部411输出。与第3实施方式不同,输出控制部316D具有延迟功能。
如果反馈动作执行部421D接收反馈要求指令,反馈动作执行部421D执行由接收到的反馈要求指令定义的反馈动作。与第3实施方式不同,反馈动作执行部421D在反馈动作之后不输出确认结果。
图23是参照图22说明的输出控制部316D的处理的概要流程图。参照图22以及图23对输出控制部316D的处理进行说明。另外,图23的流程图仅是举例说明而已。因此,除了图23所示的步骤以外,输出控制部316D还可以执行各种次要的处理。
(步骤S410)
在步骤S410,输出控制部316D从要求指令生成部315D接收动作指令。之后,执行步骤S420。
(步骤S420)
在步骤S420,输出控制部316D判断输出控制部316D是否从要求指令生成部315D接收了反馈要求指令。如果输出控制部316D接收了反馈要求指令,就执行步骤S430。在其它的情况下,执行步骤S470。
(步骤S430)
在步骤S430,输出控制部316D开始计时。之后,执行步骤S440。
(步骤S440)
在步骤S440,输出控制部316D将动作指令输出至暂时存储部331,并且,将反馈要求指令向反馈动作执行部421D输出。之后,执行步骤S450。
(步骤S450)
在步骤S450,输出控制部316D将时间长度与阈值进行比较直至从步骤S430起计时的时间长度超过阈值为止。时间长度的阈值被设定为让操作者能够确认反馈动作执行部421D的反馈动作并执行动作要求的取消或其它的行为等必要动作。在时间长度超过阈值后,执行步骤S460。
(步骤S460)
在步骤S460,输出控制部316D从暂时存储部331读取动作指令。之后执行步骤S470。
(步骤S470)
在步骤S470,输出控制部316D将动作指令向动作指令执行部411输出。
(第8实施方式)
第1实施方式至第7实施方式中相关联说明的各种技术也可以加到被设计成在操作者的动作要求下动作的各种装置中。与第8实施方式相关联,作为这种装置,对加热烹调器进行说明。
图24A是加热烹调器600的概要立体图。图24B表示使用加热烹调器600加热鸡蛋的操作者。参照图1、图24A和图24B对加热烹调器600进行说明。
加热烹调器600具备长方体形状的箱体610。长方体形状的箱体610包含前壁611和顶壁612。左加热区域621和右加热区域622形成在顶壁612上。操作者使用左加热区域621加热鸡蛋。操作者用左手握住平底锅。操作者可以用右手作出各种手势。
参照图1说明的传感器200被搭载在顶壁612上。传感器200连接于参照图1说明的处理单元300。处理单元300被收容在箱体610内。操作者可在传感器200前作出各种手的手势。
加热烹调器600还具备左发光部631和右发光部632。左发光部631和右发光部632被安装在顶壁612上。左发光部631对应于参照图1说明的动作装置400中的其中之一。右发光部632对应于参照图1说明的动作装置400之中的其它的另一个。
左发光部631可在左加热区域621被加热时发光。右发光部632可在右加热区域622被加热时发光。左发光部631和右发光部632可在处理单元300的控制下,根据操作者作出的手势变更发光模式。操作者能视觉识别发光模式,确认是否适当地向加热烹调器600输入了动作要求。
加热烹调器600还具备配置在前壁611上的左指示器641和右指示器642。左指示器641表示左加热区域621的加热程度。右指示器642表示右加热区域622的加热程度。左指示器641和右指示器642分别包含发出光的多个显示窗。图24A以及图24B中,黑色的显示窗射出光。白色的显示窗不发光。黑色的显示窗的数量表示加热程度。
在左加热区域621和右加热区域622分别被实际加热之前,左指示器641以及右指示器642在处理单元300的控制下,也可根据操作者作出的手的手势变更发出光的显示窗的数量。此时,操作者能视觉识别左指示器641以及右指示器642,确认基于手的手势的调整量。左指示器641对应于参照图1说明的动作装置400中的其中之一。右指示器642对应于参照图1说明的动作装置400中的其它的另一个。
加热烹调器600还具备在处理单元300的控制下动作的扬声器650。如果操作者作出用于使加热程度增大的手的手势,“增大加热程度”的声音可从扬声器650传出。如果操作者作出用于使加热程度降低的手的手势,“降低加热程度”的声音可从扬声器650传出。操作者可聆听来自扬声器650的声音来确认动作要求是否适当地被输入到加热烹调器600。扬声器650对应于参照图1说明的动作装置400的其中之一。
加热烹调器600在前壁611上还具备左增大按钮661、左降低按钮662、右增大按钮663以及右降低按钮664。操作者可按压左增大按钮661使左加热区域621的加热程度增大。操作者也可按压左降低按钮662使左加热区域621的加热程度降低。操作者可按压右增大按钮663使右加热区域622的加热程度增大。操作者也可按压右降低按钮664使右加热区域622的加热程度降低。
图25A表示用于使加热程度增大的例示性的手势模式。图25B表示用于使加热程度降低的例示性的手势模式。参照图24A至图25B对用于调整加热程度的手势模式进行说明。
操作者首先可作出用于定义三维坐标系的手的手势。朝向传感器200直线延伸的食指定义x轴。朝向左方直线延伸的中指规定y轴。朝向上方直线延伸的拇指定义z轴。处理单元300识别由操作者的右手定义的三维坐标系。如果处理单元300识别朝向左方延伸的y轴及/或朝向上方延伸的z轴,处理单元300将来自传感器200的在图像数据内描绘的手的手势作为手势处理。
如果操作者将手腕向顺时针方向扭转大约90°,由操作者的右手定义的三维坐标系以x轴为中心沿顺时针方向旋转大约90°。如果操作者将手腕向逆时针方向扭转大约90°,由操作者的右手定义的三维坐标系以x轴为中心沿逆时针方向旋转大约90°。处理单元300识别三维坐标系的旋转运动。
处理单元300根据从传感器200输出的图像数据辨别三维坐标系的旋转方向。如果识别的三维坐标系沿顺时针方向旋转,处理单元300可开始用于使加热程度增大的控制。如果识别的三维坐标系沿逆时针方向旋转,处理单元300可开始用于使加热程度降低的控制。
处理单元300辨别三维坐标系旋转了多少。如果三维坐标系以小角度旋转,处理单元300就使加热程度稍微地变化。如果三维坐标系以大角度旋转,处理单元300就使加热程度大幅度地变化。
加热程度的变化量可取决于目前的加热程度(操作者作出开始手势时)与最大或最小的加热程度之间的差异。如图25A以及图25B所示,在操作者作出开始手势时,左指示器641从六个显示窗中的三个显示窗射出光。如果使用者向顺时针方向扭转手腕大约90°,处理单元300使加热程度增大到最大程度。此时,左指示器641从所有的显示窗射出光。如果使用者向逆时针方向扭转手腕大约90°,处理单元300使加热程度降低到最小程度,或者关闭左加热区域621用的加热器。此时,射出光的显示窗就不存在了。如果使用者向顺时针方向扭转手腕大约60°,处理单元300使加热程度增大,以使左指示器641从六个显示窗中的五个显示窗发出光。如果使用者向逆时针方向扭转手腕大约60°,处理单元300使加热程度降低,以使左指示器641从六个显示窗中的一个显示窗发出光。如果使用者向顺时针方向扭转手腕大约30°,处理单元300使加热程度增大,以使左指示器641从六个显示窗中的四个显示窗发出光。如果使用者向逆时针方向扭转手腕大约30°,处理单元300使加热程度降低,以使左指示器641从六个显示窗中的两个显示窗发出光。
对加热程度进行了适当的调整之后,操作者可合上手完成手势模式。如果操作者合上手,处理单元300不从传感器200输出的图像数据识别三维坐标系。在没有识别出三维坐标系时,处理单元300判断操作者的输入动作结束,之后,开始对左加热区域621的加热处理等下一步处理。
(第9实施方式)
第4实施方式中,如果取消在反馈动作期间决定的动作指令,整个过程就结束。为了使输入装置100动作,操作者需要从输入过程的开始起再次输入用于作出所要求的正确动作的手势。但是,也存在不能顺利地进行所要求的操作或作业的情况。为了解决该问题,第9实施方式在取消最初决定的动作指令后生成替代的动作指令。替代的动作指令也可以与被取消的动作指令相关联。
图26是输入装置100的其它例示性的功能框图。功能框图是基于第1实施方式中相关联说明的技术概念而设计的。参照图26,与第9实施方式相关联地说明输入装置100的功能。图10以及图26之间共同使用的符号意味着附上该共同的符号的要素具有与第4实施方式相同的功能。因此,这些要素的说明援用第4实施方式的说明。
与第4实施方式同样,输入装置100包含动作检测部210、手势识别模块311、输出控制部316、暂时存储部331、动作指令执行部411、反馈动作执行部421A以及反馈界面422。输入装置100还包含指令决定模块312E、速度获取模块313E以及要求指令生成部315E。
与第4实施方式同样,指令决定模块312E决定基于从手势识别模块311接收的矢量数据的特定的动作指令。另一方面,如果从要求指令生成部315E有替代的指令要求,指令决定模块312E决定替代的动作指令。替代的动作指令可基于与最初决定的动作指令的关联性来决定。
与第4实施方式同样,速度获取模块313E根据矢量数据生成速度数据。另一方面,在从指令决定模块312E发送来的动作指令为替代的动作指令时,速度获取模块313E不生成速度数据。速度获取模块313E只是允许替代的动作指令朝向要求指令生成部314E通过。
与第4实施方式同样,要求指令生成部315E基于速度数据和动作指令决定是否需要反馈动作。另一方面,如果最初决定的动作指令被取消,要求指令生成部315E生成对指令决定模块312E的替代的指令要求。而且,在输入到要求指令生成部315E的动作指令为替代的动作指令时,因为替代的动作指令为预测的指令且在执行前需要操作者确认,所以要求指令生成部315E执行反馈动作。
图27是输入装置100的处理的概要流程图。流程图基于参照图26说明的结构而设计。参照图26以及图27对输入装置100的处理进行说明。图27的流程图仅是举例说明而已。因此,除了图27所示的处理步骤以外,输入装置100还可以执行各种次要的处理。
(步骤S110)
在步骤S110,动作检测部210检测操作者的身体部位的移动。之后,动作检测部210生成图像数据来作为表示操作者的动作的移动数据。图像数据从动作检测部210被输出到手势识别模块311。之后,执行步骤S120。
(步骤S120)
在步骤S120,手势识别模块311将数据的一部分作为身体部位的数据识别,根据识别的数据部分生成矢量数据。矢量数据从手势识别模块311发送至指令决定模块312E以及速度获取模块313E。之后,执行步骤S130。
(步骤S130)
在步骤S130,指令决定模块312E基于矢量数据决定动作指令。由指令决定模块312E生成的动作指令之后被输出到速度获取模块313E。之后,执行步骤S140。
(步骤S140)
在步骤S140,速度获取模块313E根据矢量数据生成表示身体部位的速度的速度数据。速度获取模块313E将速度数据和动作指令输出到要求指令生成部315E。之后,执行步骤S150。
(步骤S150)
在步骤S150,要求指令生成部315E参照动作指令判断动作指令定义的动作是否需要反馈动作。如果该动作需要反馈动作,就执行步骤S160。在其它的情况下,执行步骤S190。
(步骤S160)
在步骤S160,要求指令生成部315E将由速度数据表示的速度与阈值进行比较。如果该速度低于阈值,要求指令生成部315E判断需要反馈动作。之后,要求指令生成部315E生成反馈要求指令。反馈要求指令通过输出控制部316从要求指令生成部315E被输出到反馈动作执行部421A。动作指令通过输出控制部316从要求指令生成部315E被输出到暂时存储部331。之后,执行步骤S170。如果速度不低于阈值,要求指令生成部315E判断不需要反馈动作。要求指令生成部315E通过输出控制部316将动作指令输出到动作指令执行部411。之后,执行步骤S190。
(步骤S170)
在步骤S170,反馈动作执行部421A根据反馈要求指令执行反馈动作。因此,操作者能够确认输入装置100是否确切地接收了来自操作者的动作要求。之后,执行步骤S180A。
(步骤S180A)
在步骤S180A,要求指令生成部315E等待来自操作者的反馈输入。如果操作者操作反馈界面422要求进一步处理,就执行步骤S190。如果操作者操作反馈界面422取消处理,就执行步骤S191。
(步骤S190)
在步骤S190,动作指令执行部411根据动作指令执行规定的动作。
(步骤S191)
在步骤S191,要求指令生成部315E生成替代的指令要求,并向指令决定模块312E输出要求。之后,指令决定模块312E基于最初决定且被操作者取消的动作指令决定替代的动作指令。之后,替代的动作指令被输出到速度获取模块313E。速度获取模块313E使替代的动作指令向要求指令生成部315E通过。在接收替代的动作指令后,要求指令生成部315E生成替代的动作指令用的反馈要求指令。反馈要求指令通过输出控制部316从要求指令生成部315E向反馈动作执行部421A输出。替代的动作指令通过输出控制部316从要求指令生成部315E向暂时存储部331输出。之后,执行步骤S192。
(步骤S192)
在步骤S192,反馈动作执行部421A根据替代的动作指令用的反馈要求指令执行反馈动作。因此,操作者能够确认输入装置100是否适当地预测了替代的动作指令。之后,执行步骤S193。
(步骤S193)
在步骤S193,要求指令生成部315E等待来自操作者的反馈输入。如果操作者操作反馈界面422要求进一步处理,就执行步骤S194。如果操作者操作反馈界面422取消处理,输入装置100就停止处理。
(步骤S194)
在步骤S194,动作指令执行部411根据替代的动作指令执行规定的动作。
第9实施方式的例示性的使用也可以通过IH加热烹调器的使用来进行说明。IH加热烹调器能够通过在空中的手势从操作者接收指令。但存在这样的情况,即,操作者想要降低IH加热烹调器的加热程度,并且,操作者作出了错误的手势而输入了使加热程度增大的动作指令。此时,操作者取消使加热程度增大的动作指令。取消之后,IH加热烹调器的处理单元预测与取消的加热程度增大用的动作指令相关联的替代的动作指令。如果预测替代的动作指令的算法被设计成选择与取消的动作指令相反的指令,IH加热烹调器的处理单元能够预测降低加热程度的替代的动作指令。操作者在执行之际也可确认替代的动作指令。其结果,操作者无需从头开始再次输入开始手势。因此,加热处理顺利地继续。
在预测替代的动作指令时,可利用各种算法(选择相反的指令(增大/降低)的算法、选择具有最接近的手势的指令的算法以及选择在目前的系统状态下利用最多的指令的算法)。
(第10实施方式)
第9实施方式中,如果最初决定的动作指令被取消,根据与最初决定的动作指令的关联性,在不使用速度数据的情况下预测替代的动作指令。但是,预测也可以通过包含来自速度数据的信息得到改善。
图28是输入装置100的其它的例示性的功能框图。功能框图基于第1实施方式中相关联说明的技术概念而设计。参照图28,与第10实施方式相关联地说明输入装置100的功能。图26以及图28之间共同使用的符号意味着附上该共同的符号的要素具有与第9实施方式相同的功能。因此,这些要素的说明援用第9实施方式的说明。
与第9实施方式同样,输入装置100包含动作检测部210、手势识别模块311、反馈决定模块314E、动作指令执行部411、反馈动作执行部421A以及反馈界面422。输入装置100还包含指令决定模块312F和速度获取模块313F。
与第9实施方式同样,指令决定模块312F决定基于从手势识别模块311接收的矢量数据的特定的动作指令。另外,指令决定模块312F在从要求指令生成部315E有替代的指令要求时,决定替代的动作指令。另一方面,在替代的指令要求被输入到指令决定模块312F时,指令决定模块312F也可以从速度获取模块313F接收速度数据。替代的动作指令也可以根据最初决定的动作指令、矢量数据以及速度数据来决定。
与第9实施方式同样,速度获取模块313F基于矢量数据生成速度数据。另一方面,如果指令决定模块312F预测替代的动作指令,速度获取模块313F也可以将速度数据输出至指令决定模块312F。
上述结构也可以加到用于改善替代的动作指令的预测的各种装置中。第10实施方式中,将IH加热烹调器作为利用了上述结构的例示性的装置而进行说明。以下的说明参照图24A、图25、图29以及图30。
图24A是加热烹调器600的概要立体图。另外,加热烹调器600的详细结构已在第8实施方式的说明中进行了说明。
图29表示用于启动加热烹调器600的加热区域的例示性的手势模式。
加热烹调器600的操作者期待使加热烹调器600内的加热区域621、622双方启动而缓慢地作出图29所示的手势模式。该模式分为“开始”、“启动”、“加热区域的选择”以及“结束”四个步骤。然而,作出的手势模式却与仅使左加热区域621工作的指令一致。因此,操作者取消最初决定的动作指令。根据图28的结构,加热烹调器600内的处理单元利用速度数据预测替代的动作指令。在预测替代的动作指令时,利用手势模式中欠缺的步骤的速度数据。根据图29所示的速度数据可知手势模式的第3步骤缓慢地执行。因此,预测第3步骤是错误的手势的可能性高。之后,处理单元研究替代的模式。因为是假设第3步骤存在错误,所以,可以认为替代的模式是在所执行的手势模式与第1步骤、第2步骤以及第4步骤中共同的模式。
根据上述例示性的使用方式,利用所执行的手势模式内的各个步骤的速度数据,可以增大使所选择的替代的动作指令与操作者的期待相一致的可能性。
另外,有可能性的替代的手势模式以及指令的其它的选择方法并不限于上述例示性的使用方式。例如,在存在“启动/停止”或“程度的调整”等不同的动作状态的各种可能的手势模式时,最初决定的指令也可以用于高精度地选择有可能性的手势模式。
与第9实施方式和第10实施方式相关联说明的技术,当上次决定的指令在反馈处理期间被操作者取消时,可以提供与上次决定的指令相关联的替代的动作指令。
与第9实施方式和第10实施方式相关联说明的输入装置在操作者缓慢地作出手势时,提供用于让操作者在执行前确认动作指令的反馈。输入装置在进入下一个步骤之前,等待来自操作者的执行确认或动作指令的取消。
因此,基于以缓慢的动作作出的手势的动作指令在执行前被确认。其结果,利用与第9实施方式和第10实施方式相关联说明的技术的系统在执行基于空中的手势的动作的过程中具有高稳定性。
与第9实施方式和第10实施方式相关联说明的输入装置在最初决定的动作指令在指令确认处理中被操作者取消后,提供替代的动作(应为提供替代的动作指令)。替代的动作指令可以从与最初决定的动作指令相关联或接近的指令组中选择。例如,不习惯手势动作的操作者慢慢地进行在空中的手势。因此,输入装置判断需要确认反馈。在反馈处理期间,因为最初决定的动作指令出错,所以操作者取消该动作指令。例如也存在这样的情况,即、操作者期望降低音量而最初决定的动作指令却用于加大收音机的音量。此时,输入装置从与音量增大指令相关联的指令组预测替代的指令。之后,输入装置给予操作者替代的动作指令。如果预测算法被设计成找到与最初决定的动作指令相反的动作指令,则用于降低收音机的音量的动作指令作为替代的动作指令而被选择。
根据与第9实施方式和第10实施方式相关联说明的技术,在操作者作出了错误的手势时,操作者可以不必从最初起再次输入正确的手势。因此,动作得以顺利地执行。
上述各种实施方式的原理也可以适用于在触摸面板或触摸屏等接触检测型装置上的手势识别。因此,上述各种实施方式的原理可以适用于各种输入装置。
与上述各种实施方式相关联说明的有关例示性的动作要求的输入的技术,主要具备以下的特征。
上述各种实施方式的一方面所涉及的输入装置,包括:传感器,检测操作者的身体部位的移动,并生成与所述身体部位的所述移动相关的移动数据;处理部,包含根据所述移动数据生成动作指令的动作指令生成部、根据所述移动数据生成表示所述移动的速度的速度数据的速度数据生成部和基于所述速度数据决定是否需要用于可让所述操作者确认所述动作指令的反馈动作的反馈决定模块;以及动作部,包含反馈动作装置,如果所述反馈决定模块决定需要所述反馈动作,所述反馈动作装置执行所述反馈动作。
根据上述构成,反馈决定模块基于速度数据判断是否需要反馈动作。因为速度数据表示操作者的身体部位的移动速度,所以,反馈决定模块的决定取决于操作者的身体部位的移动速度。因此,操作者能够变更身体部位的速度,选择是否让反馈动作装置执行反馈动作。
在上述构成中,所述传感器也可以生成所述移动的图像数据作为所述移动数据。所述处理部也可以包含从所述图像数据识别并提取手势数据的识别部。所述手势数据也可以被利用于所述动作指令以及所述速度数据的生成。
根据上述构成,因为手势数据被利用于动作指令以及速度数据的生成,所以,操作者能够通过移动身体部位作出手势而向输入装置赋予指示。在此期间,操作者能够变更身体部位的速度,选择是否让反馈动作装置执行反馈动作。
在上述构成中,所述动作部也可以包含根据所述动作指令执行规定的动作的指令执行装置。所述反馈动作装置也可以执行向所述操作者给予与由所述动作指令定义的所述规定的动作相关的动作信息的通知动作。
根据上述构成,也可以使身体部位移动从而让指令执行装置执行规定的动作。在此期间,操作者能够通过变更身体部位的速度来选择是否让反馈动作装置执行反馈动作。
在上述构成中,所述反馈决定模块也可以通过将所述速度数据与阈值进行比较而决定是否需要所述反馈动作。如果所述速度数据表示低于所述阈值的速度,所述动作部也可以执行所述反馈动作。如果所述速度数据不表示低于所述阈值的速度,所述动作部也可以不执行所述反馈动作而是根据所述动作指令执行规定的动作。
根据上述构成,如果操作者以低于阈值的速度使身体部位移动,动作部就执行反馈动作。在其它的情况下,动作部不执行反馈动作而是根据动作指令执行规定的动作。因此,输入装置能够有选择地执行反馈动作。
在上述构成中,所述反馈决定模块也可以包含存储与所述反馈动作相关的反馈候选数据的反馈候选存储部。所述反馈候选数据也可以与所述动作指令相关联。
根据上述构成,因为存储在反馈候选存储部的反馈候选数据与动作指令相关联,所以,基于反馈候选数据和动作指令之间的关系,多样性地及/或正确地控制输入装置。
在上述构成中,如果所述动作指令定义第1动作,所述反馈决定模块也可以从所述反馈候选数据选择第1反馈动作。如果所述动作指令定义与所述第1动作不同的第2动作,所述反馈决定模块也可以从所述反馈候选数据选择与所述第1反馈动作不同的第2反馈动作。
根据上述构成,反馈动作装置能够根据动作指令有选择地执行第1反馈动作或第2反馈动作。
在上述构成中,如果所述动作指令不与所述反馈候选数据相关联,所述动作部也可以不执行所述反馈动作而是根据所述动作指令执行规定的动作。
根据上述构成,如果动作指令不与反馈候选数据相关联,动作部就不执行反馈动作而是执行规定的动作,因此,操作者无需等待反馈动作装置的反馈动作,就能让动作部执行规定的动作。
在上述构成中,所述标识符也可以表示是否需要所述反馈动作。如果所述标识符表示需要所述反馈动作,所述动作部也可以执行所述反馈动作。如果所述标识符表示不需要所述反馈动作,所述动作部也可以不执行所述反馈动作而是根据所述动作指令执行规定的动作。
根据上述构成,除了速度数据以外,标识符还被用于决定是否需要反馈动作,因此,能正确地控制输入装置。
在上述构成中,如果所述标识符表示需要所述反馈动作,所述动作指令也可以被发送至所述反馈决定模块。所述反馈决定模块也可以根据接收到的所述动作指令,基于所述速度数据,决定是否需要所述反馈动作。
根据上述构成,除了速度数据以外,标识符还被用于决定是否需要反馈动作,因此,能正确地控制输入装置。
在上述构成中,如果所述标识符表示不需要所述反馈动作,所述动作指令也可以不通过所述反馈决定部而被发送至所述动作部。
根据上述构成,如果标识符表示不需要反馈动作,动作指令不通过反馈决定模块而被发送至动作部,因此,动作部不用对动作指令进行不必要的处理就能执行规定的动作。
在上述构成中,所述动作指令生成部也可以基于所述移动数据,决定所述标识符表示需要所述反馈动作还是所述标识符表示不需要所述反馈动作。
根据上述构成,标识符是表示需要反馈动作还是不需要反馈动作取决于身体部位的移动,因此,输入装置能够有选择地执行反馈动作。
在上述构成中,所述标识符也可变更。
根据上述构成,由于标识符可变更,因此,可根据使用环境适当地调整输入装置。
在上述构成中,如果所述操作者的手定义三维坐标系,所述识别部也可以将表示所述手的数据作为所述手势数据提取。
根据上述构成,动作指令生成部也可以利用通过手定义的三维坐标系生成动作指令。速度数据生成部也可以利用通过手定义的三维坐标系生成速度数据。在生成动作指令以及速度数据时共享三维坐标系,因此,身体部位的移动能适当地被反映到动作指令以及速度数据中。
在上述构成中,所述三维坐标系也可以包含由所述手的伸直的手指定义的第1轴、由所述手的另一伸直的手指定义的第2轴以及由剩下的手指中伸直的至少一个手指定义的第3轴。所述第1轴和所述第2轴之间的角度、所述第2轴和所述第3轴之间的角度以及所述第3轴和所述第1轴之间的角度也可以在70°到120°的范围。
根据上述构成,由于第1轴和第2轴之间的角度、第2轴和第3轴之间的角度以及第3轴和第1轴之间的角度在70°到120°的范围,因此,如果操作者不是有意图地用手形成三维坐标系,识别部几乎不会去识别手势数据。因此,输入装置几乎不会误生成动作指令及/或速度数据。
在上述构成中,所述反馈动作装置也可以执行用于向所述操作者通知与由所述动作指令定义的所述规定的动作相关的动作信息的通知动作。
根据上述构成,操作者能够在从执行通知动作的反馈动作装置接收到动作信息时得知是否向输入装置正确地输入了信息。
在上述构成中,所述指令执行装置也可以在所述反馈动作装置给予了所述动作信息起经过规定的延迟期间之后执行所述规定的动作。
根据上述构成,由于存在反馈动作装置给予了动作信息之后的延迟期间,因此,能够在指令执行装置开始规定的动作之前取消在延迟期间输入到输入装置的要求。
在上述构成中,所述传感器也可以包含根据所述身体部位的接触生成所述移动数据的接触检测型装置。所述处理部也可以包含从所述移动数据识别并提取手势数据的识别部。所述手势数据也可以被利用于所述动作指令以及所述速度数据的生成。
根据上述构成,使用者能够利用各种接触检测型装置输入动作要求。
在上述构成中,所述动作部也可以包含接收来自所述操作者的所述反馈动作的确认结果的反馈界面装置。所述确认结果也可以表示确认所述动作指令的执行或所述动作指令的取消。
根据上述构成,使用者能够高精度地输入动作要求。
在上述构成中,如果所述确认结果指示所述动作指令的执行,所述动作部也可以根据所述动作指令执行规定的动作。
根据上述构成,动作部能够根据使用者的动作要求适当地动作。
在上述构成中,如果所述确认结果指示所述动作指令的取消,所述动作部也可以不从所述传感器接收新的移动数据而生成替代的动作指令。
根据上述构成,动作部不从传感器接收新的移动数据就生成替代的动作指令,因此,使用者能够顺利地输入动作要求。
在上述构成中,所述反馈决定部也可以判断需要与所述替代的动作指令相对应的反馈动作。所述动作部也可以根据所述替代的动作指令执行所述反馈动作。
根据上述构成,动作部根据替代的动作指令执行反馈动作,因此,使用者能够判断替代的动作指令是否合适。
在上述构成中,所述速度数据也可以被用于由所述动作指令生成部生成所述替代的动作指令。
根据上述构成,速度数据被用于由动作指令生成部生成替代的动作指令,因此,动作部能够高精度地生成替代的动作指令。
在上述构成中,所述动作指令生成部也可以在所述动作指令的取消之后,限于一次生成所述替代的动作指令。
根据上述构成,动作指令生成部在动作指令的取消之后限于一次生成替代的动作指令,因此,使用者能够顺利地输入动作要求。
在上述构成中,所述动作指令生成部也可以分别在所述动作指令的取消以及上次的替代的动作指令的取消之后,限于两次生成所述替代的动作指令。
根据上述构成,动作指令生成部分别在动作指令的取消以及上次的替代的动作指令的取消之后限于两次生成替代的动作指令,因此,使用者能够顺利地输入动作要求。
上述各种实施方式的另一方面所涉及的方法被用于输入动作要求。该方法包括:检测操作者的身体部位的移动,并生成与所述身体部位的所述移动相关的移动数据的步骤;根据所述移动数据,生成定义规定的动作的动作指令和表示所述移动的速度的速度数据的步骤;基于所述速度数据,决定是否需要可让所述操作者确认所述动作指令的反馈动作的步骤;如果需要所述反馈动作,就执行所述反馈动作的步骤。
根据上述构成,是否需要反馈动作基于速度数据来决定。速度数据表示操作者的身体部位的移动速度,因此,该决定取决于操作者的身体部位的移动速度。因此,操作者能够通过变更身体部位的速度来选择是否让反馈动作装置执行反馈动作。
在上述构成中,上述方法还可以包括根据所述动作指令执行所述规定的动作的步骤。
根据上述构成,为了获得规定的动作,操作者也可以使身体部位移动。在此期间,操作者能够通过变更身体部位的速度来选择是否执行反馈动作。
产业上的可利用性
上述各种实施方式的原理可以利用到被设计成根据来自操作者的动作要求动作的各种装置中。

Claims (22)

1.一种输入装置,其特征在于包括:
传感器,检测操作者的身体部位的移动,并生成与所述身体部位的所述移动相关的移动数据;
处理部,包含根据所述移动数据生成动作指令的动作指令生成部、根据所述移动数据生成表示所述移动的速度的速度数据的速度数据生成部和基于所述速度数据决定是否需要用于可让所述操作者确认所述动作指令的反馈动作的反馈决定部;以及
动作部,包含反馈动作装置,如果所述反馈决定部决定需要所述反馈动作,所述反馈动作装置执行所述反馈动作。
2.根据权利要求1所述的输入装置,其特征在于:
所述传感器生成所述移动的图像数据作为所述移动数据,
所述处理部包含从所述图像数据识别并提取手势数据的识别部,
所述手势数据被利用于所述动作指令以及所述速度数据的生成。
3.根据权利要求1所述的输入装置,其特征在于:
所述传感器包含根据所述身体部位的接触生成所述移动数据的接触检测型装置,
所述处理部包含从所述移动数据识别并提取手势数据的识别部,
所述手势数据被利用于所述动作指令以及所述速度数据的生成。
4.根据权利要求1至3中任一项所述的输入装置,其特征在于:
所述动作部包含根据所述动作指令执行规定的动作的指令执行装置,
所述反馈动作装置执行向所述操作者给予与由所述动作指令定义的所述规定的动作相关的动作信息的通知动作。
5.根据权利要求1至3中任一项所述的输入装置,其特征在于:
所述反馈决定部通过将所述速度数据与阈值进行比较而决定是否需要所述反馈动作,
如果所述速度数据表示低于所述阈值的速度,所述动作部就执行所述反馈动作,
如果所述速度数据不表示低于所述阈值的速度,所述动作部就不执行所述反馈动作而是根据所述动作指令执行规定的动作。
6.根据权利要求1至3中任一项所述的输入装置,其特征在于:
所述反馈决定部包含存储与所述反馈动作相关的反馈候选数据的反馈候选存储部,
所述反馈候选数据与所述动作指令相关联。
7.根据权利要求6所述的输入装置,其特征在于:
如果所述动作指令定义第1动作,所述反馈决定部就从所述反馈候选数据选择第1反馈动作,
如果所述动作指令定义与所述第1动作不同的第2动作,所述反馈决定部就从所述反馈候选数据选择与所述第1反馈动作不同的第2反馈动作。
8.根据权利要求6或7所述的输入装置,其特征在于:
如果所述动作指令不与所述反馈候选数据相关联,所述动作部就不执行所述反馈动作而是根据所述动作指令执行规定的动作。
9.根据权利要求1至3中任一项所述的输入装置,其特征在于:
所述动作指令包含表示是否需要所述反馈动作的标识符,
如果所述标识符表示需要所述反馈动作,所述动作部就执行所述反馈动作,
如果所述标识符表示不需要所述反馈动作,所述动作部就不执行所述反馈动作而是根据所述动作指令执行规定的动作。
10.根据权利要求9所述的输入装置,其特征在于:
如果所述标识符表示需要所述反馈动作,所述动作指令就被发送至所述反馈决定部,
所述反馈决定部根据接收到的所述动作指令,基于所述速度数据,决定是否需要所述反馈动作。
11.根据权利要求9所述的输入装置,其特征在于:
如果所述标识符表示不需要所述反馈动作,所述动作指令就不通过所述反馈决定部而被发送至所述动作部。
12.根据权利要求9所述的输入装置,其特征在于:
所述动作指令生成部基于所述移动数据,决定所述标识符表示需要所述反馈动作还是所述标识符表示不需要所述反馈动作。
13.根据权利要求9至12中任一项所述的输入装置,其特征在于:
所述标识符可变更。
14.根据权利要求2所述的输入装置,其特征在于:
如果所述操作者的手定义三维坐标系,所述识别部就将表示所述手的数据作为所述手势数据提取。
15.根据权利要求1至4中任一项所述的输入装置,其特征在于:
所述动作部包含接收来自所述操作者的所述反馈动作的确认结果的反馈界面装置,
所述确认结果表示确认所述动作指令的执行或所述动作指令的取消。
16.根据权利要求15所述的输入装置,其特征在于:
如果所述确认结果指示所述动作指令的执行,所述动作部根据所述动作指令执行规定的动作。
17.根据权利要求15所述的输入装置,其特征在于:
如果所述确认结果指示所述动作指令的取消,所述动作部不从所述传感器接收新的移动数据而生成替代的动作指令。
18.根据权利要求17所述的输入装置,其特征在于:
所述反馈决定部判断需要与所述替代的动作指令相对应的反馈动作,
所述动作部根据所述替代的动作指令执行所述反馈动作。
19.根据权利要求17所述的输入装置,其特征在于:
所述速度数据被用于由所述动作指令生成部生成所述替代的动作指令。
20.根据权利要求17所述的输入装置,其特征在于:
所述动作指令生成部在所述动作指令的取消之后,限于一次生成所述替代的动作指令。
21.根据权利要求17所述的输入装置,其特征在于:
所述动作指令生成部分别在所述动作指令的取消以及上次的替代的动作指令的取消之后,限于两次生成所述替代的动作指令。
22.一种用于输入动作要求的方法,其特征在于包括以下步骤:
检测操作者的身体部位的移动,并生成与所述身体部位的所述移动相关的移动数据的步骤;
根据所述移动数据,生成定义规定的动作的动作指令和表示所述移动的速度的速度数据的步骤;
基于所述速度数据,决定是否需要可让所述操作者确认所述动作指令的反馈动作的步骤;
如果需要所述反馈动作,就执行所述反馈动作的步骤。
CN201480029957.7A 2013-06-18 2014-05-26 输入装置以及输入动作要求的方法 Expired - Fee Related CN105264465B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013127384 2013-06-18
JP2013-127384 2013-06-18
PCT/JP2014/002766 WO2014203459A1 (ja) 2013-06-18 2014-05-26 入力装置及び動作要求を入力する方法

Publications (2)

Publication Number Publication Date
CN105264465A true CN105264465A (zh) 2016-01-20
CN105264465B CN105264465B (zh) 2018-11-09

Family

ID=52104212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480029957.7A Expired - Fee Related CN105264465B (zh) 2013-06-18 2014-05-26 输入装置以及输入动作要求的方法

Country Status (4)

Country Link
US (1) US20160077597A1 (zh)
JP (1) JP6215933B2 (zh)
CN (1) CN105264465B (zh)
WO (1) WO2014203459A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) * 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
CN105786375A (zh) * 2014-12-25 2016-07-20 阿里巴巴集团控股有限公司 在移动终端操作表单的方法及装置
JP6727921B2 (ja) * 2016-05-18 2020-07-22 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法
WO2018133063A1 (zh) * 2017-01-22 2018-07-26 深圳华盛昌机械实业有限公司 一种基于运动手势识别的测量仪控制方法及测量仪
DE112018000770T5 (de) * 2017-02-10 2019-11-14 Panasonic Intellectual Property Management Co., Ltd. Fahrzeugeingabevorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
CN102033703A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 输入装置
CN102591587A (zh) * 2012-02-06 2012-07-18 广西佳微电子科技有限公司 一种非接触式投影机翻动系统及方法
JP2012198626A (ja) * 2011-03-18 2012-10-18 Panasonic Corp 情報端末、表示画面切り替えのための方法、及びそのプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038149A1 (en) * 1998-01-26 1999-07-29 Wayne Westerman Method and apparatus for integrating manual input
JP2002311936A (ja) * 2001-04-18 2002-10-25 Toshiba Tec Corp 電子機器
JP2007102426A (ja) * 2005-10-03 2007-04-19 Sharp Corp 電子機器の操作案内装置および電子機器の操作案内方法
US7338075B2 (en) * 2006-07-14 2008-03-04 Honda Motor Co., Ltd. Knee bolster
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
JP2012088851A (ja) * 2010-10-18 2012-05-10 Fujitsu Ten Ltd 表示システム及び表示方法
FR2969654B1 (fr) * 2010-12-22 2013-02-08 Rhodia Operations Composition d'additif carburant a base d'une dispersion de particules de fer et d'un detergent
US20130006674A1 (en) * 2011-06-29 2013-01-03 State Farm Insurance Systems and Methods Using a Mobile Device to Collect Data for Insurance Premiums
US20130006742A1 (en) * 2011-06-30 2013-01-03 Signature Systems Llc Method and system for generating a dynamic purchase incentive
US8788979B2 (en) * 2011-09-10 2014-07-22 Microsoft Corporation Secondary actions on a notification
US8999769B2 (en) * 2012-07-18 2015-04-07 Globalfoundries Singapore Pte. Ltd. Integration of high voltage trench transistor with low voltage CMOS transistor
US9223761B2 (en) * 2011-11-04 2015-12-29 Microsoft Technology Licensing, Llc Real time visual feedback during move, resize and/or rotate actions in an electronic document
US9414779B2 (en) * 2012-09-12 2016-08-16 International Business Machines Corporation Electronic communication warning and modification
US9971495B2 (en) * 2013-01-28 2018-05-15 Nook Digital, Llc Context based gesture delineation for user interaction in eyes-free mode

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
CN102033703A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 输入装置
JP2012198626A (ja) * 2011-03-18 2012-10-18 Panasonic Corp 情報端末、表示画面切り替えのための方法、及びそのプログラム
CN102591587A (zh) * 2012-02-06 2012-07-18 广西佳微电子科技有限公司 一种非接触式投影机翻动系统及方法

Also Published As

Publication number Publication date
US20160077597A1 (en) 2016-03-17
JPWO2014203459A1 (ja) 2017-02-23
CN105264465B (zh) 2018-11-09
JP6215933B2 (ja) 2017-10-18
WO2014203459A1 (ja) 2014-12-24

Similar Documents

Publication Publication Date Title
CN105264465A (zh) 输入装置以及输入动作要求的方法
US10248846B2 (en) Information processing device
JP6030430B2 (ja) 制御装置、車両及び携帯端末
CN106225174B (zh) 空调器控制方法和系统及空调器
RU2609101C2 (ru) Узел сенсорного управления, способ управления устройствами, контроллер и электронное оборудование
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
CN109426478B (zh) 用于使用多个控制器控制电子设备的显示器的方法和设备
RU2583754C2 (ru) Устройство управления
WO2014027666A1 (ja) 入力装置、入力方法、及び記憶媒体
KR20160001600A (ko) 단말 장치
CN105190515A (zh) 输入装置以及输入程序
US10362028B2 (en) Information processing apparatus
EP3474517A1 (en) Electronic device for controlling iot device to correspond to state of external electronic device and operation method thereof
KR20190102715A (ko) 컨트롤러와 접촉된 신체 부위에 따라 그래픽 객체를 다르게 표시하는 방법 및 전자 장치
JP2012058854A (ja) ジェスチャ認識装置及び方法
CN105144034A (zh) 利用被动式传感器启动非触摸式手势控制的便携式设备
CN107037736A (zh) 智能家居系统的联动控制方法、红外感应器及智能网关
US20200175979A1 (en) Device and method for processing voice command for vehicle
US20160232674A1 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
US9880280B2 (en) Object detection method and object detector using the same
CN110531843A (zh) 电子装置及电子装置的操作控制方法
KR101314641B1 (ko) 사용자 제스처를 이용한 조작 방법 및 디지털 장치
JP4765780B2 (ja) 環境制御システム及び入力装置
CN106839343B (zh) 基于移动终端的显示装置和方法
CN113332705B (zh) 游戏功能界面控制方法、装置、电子设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181109

Termination date: 20190526