CN104584080B - 输入设备和输入方法 - Google Patents

输入设备和输入方法 Download PDF

Info

Publication number
CN104584080B
CN104584080B CN201380043996.8A CN201380043996A CN104584080B CN 104584080 B CN104584080 B CN 104584080B CN 201380043996 A CN201380043996 A CN 201380043996A CN 104584080 B CN104584080 B CN 104584080B
Authority
CN
China
Prior art keywords
hand
shape
user
degree
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380043996.8A
Other languages
English (en)
Other versions
CN104584080A (zh
Inventor
秋吉贤治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corp
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN104584080A publication Critical patent/CN104584080A/zh
Application granted granted Critical
Publication of CN104584080B publication Critical patent/CN104584080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

一种输入设备是基于用户的手部在与显示可选择区域的操作屏幕关联的拾取的图像中的运动来确定用户的输入的设备。输入设备包括：输入确定器(155)，该输入确定器基于由移动的手部引起的用户的手部在拾取的图像中的形状改变来确定用户的输入是否为对可选择区域的选择操作或者手势操作。确定的输入通过传输器(156)被传输给经受操作的应用。

Description

输入设备和输入方法
技术领域
本公开内容涉及一种输入设备、输入方法和非瞬态记录介质。
背景技术
已知一种基于用户的手部的运动来确定来自用户的操作指令的输入设备。例如，专利文献1公开了一种基于操作使用三维显示器描绘的虚拟操作屏幕的用户的手部运动来确定用户的操作的图像识别设备。此外，专利文献2公开了一种基于用户的拾取的手势来设置将在显示器上显示的图像的排列方式的显示控制设备。进而另外，专利文献3公开了一种基于对触屏的触摸操作的移动量来确定用户的触摸操作是否为下压操作(敲击操作)或者手势操作的信息处理设备的信息处理设备。
引用列表
专利文献
专利文献1：待审日本专利申请Kokai公开号2011-175623
专利文献2：待审日本专利申请Kokai公开号2011-248606
专利文献3：待审日本专利申请Kokai公开号2009-151691
发明内容
技术问题
涉及专利文献1中公开的技术，存在如下设备，该设备关联拾取的图像与具有经受到选择操作的一个或者多个定义的可选择区域(例如，按钮和图标的显示区域)的操作屏幕，并且基于用户在图像拾取期间的手部运动(例如，手部在与可选择区域对应的定位处暂停某个时间段)来识别用户的在可选择区域内选择的操作(下文被称为“选择操作”)。根据这样的输入设备，如果除了选择操作之外还可以确定与选择操作不同的手势操作，则操作的变化数目增加，并且因此变得对用户而言更方便。
在触屏的情况下，在通过敲击操作来选择显示图标等的可选择区域时，用户用手指触摸的仅为可选择区域，并且在手指移动到可选择区域时，从触屏释放手指。因此，用户在移向可选择区域之时的手部运动未被触屏检测到。因而，如在例如专利文献3中建议的那样，输入设备可以仅基于关于由触屏捕获的用户的手部的移动量的信息来容易地确定触摸运动是否为选择操作(敲击操作等)或者手势操作。
然而，在用户的手部运动未被触屏而是被相机拾取以确定用户的输入时，用户的移向可选择区域的手部运动被相机拾取。也就是说，根据存在/不存在检测，难以区分在选择操作之前的手部运动与手势运动。因此，根据在专利文献3中公开的技术，难以区分对可选择区域的选择操作与手势运动，并且因此难以增加对于输入设备可确定的操作的变化数目。
已经鉴于前述境况而做出了本公开内容，并且本公开内容的目的是提供一种除了选择操作之外还可以确定手势操作的输入设备、输入方法和非瞬态记录介质。
对问题的解决方案
根据本公开内容的第一方面的一种输入设备基于用户的手部在与具有一个或者多个定义的可选择区域的操作屏幕关联的拾取的图像中的运动来确定用户的输入，并且输入设备包括：输入确定装置，该输入确定装置基于手部在多个拾取的图像中的形状改变来确定用户的输入是否为对可选择区域的选择操作或者与选择操作不同的手势操作，手部的形状改变由移动的手部引起。
根据本公开内容的第二方面的一种输入方法是用于基于用户的手部在与显示经受到选择操作的一个或者多个可选择区域的操作屏幕关联的拾取的图像中的运动来确定用户的输入，并且该方法包括：基于手部在多个拾取的图像中的形状改变来确定用户的输入是否为对可选择区域的选择操作或者与选择操作不同的手势操作，手部的形状改变由移动的手部引起。
根据本公开内容的第三方面的一种计算机可读非瞬态记录介质具有在其中存储的程序，并且该程序使得控制输入设备的计算机执行以下功能，输入设备基于用户的手部在与显示一个或者多个可选择区域的操作屏幕关联的拾取的图像中的运动来确定用户的输入：输入确定功能，该输入确定功能基于手部在多个拾取的图像中的形状改变来确定用户的输入是否为对可选择区域的选择操作或者与选择操作不同的手势操作，手部的形状改变由移动的手部引起。
本发明的有利效果
根据本公开内容，变得有可能提供一种除了选择操作之外还可以确定手势操作的输入设备、输入方法和非瞬态记录介质。
附图说明
图1是图示了通过根据本公开内容的一个实施例的输入设备的输入条件的示图；
图2A是图示了在输入设备的显示器上显示的操作屏幕的示图；
图2B是图示了由输入设备的成像器拾取的拾取的图像的示图；
图2C是图示了输入设备的操作屏幕如何与拾取的图像关联的示图；
图3A是用于说明手势操作的图；
图3B是用于说明手势操作的图；
图3C是用于说明选择操作的图；
图4是图示了在图1中所示的输入设备的内部配置的框图；
图5是用于说明在图4中所示的控制器的功能的功能框图；
图6是用于说明均在图4中所示的存储器中存储的手势确定表和命令表的示图；
图7A是用于说明在用户的手部运动模式之中的绘制顺时针圆的运动模式的示图；
图7B是用于说明绘制逆时针圆的运动模式作为用户的手部运动模式的示例的示图；
图7C是用于说明在向左方向上的直线移动的运动模式作为用户的手部运动模式的示例的示图；
图7D是用于说明在向右方向上的直线移动的运动模式作为用户的手部运动模式的示例的示图；
图8是根据第一实施例的输入过程的流程图；
图9是用于说明在输入过程中利用的拾取的图像的示图；
图10是用于说明手部区域的示图；
图11是图示了如何指定指向可选择区域的方向的示图；
图12A是图示了在比较指向可选择区域的方向与用户的手部的移动方向时如何指定用户的手部的移动方向的示图；
图12B是图示了在比较指向可选择区域的方向与用户的手部的移动方向时如何基于指向可选择区域的方向和用户的手部的移动方向来计算方向差异程度的示图；
图13A是图示了用户的手部在选择操作时的形状改变的示图；
图13B是图示了用户的手部在手势操作时的形状改变的示图；
图14是用于说明第一实施例的输入设备的效果的示图；
图15是用于说明在图4中所示的存储器中预备的FIFO队列的示图；
图16是根据第二实施例的输入过程的流程图；
图17A是图示了在指定用户的手部的移动方向及其形状改变时如何指定用户的手部的移动方向改变的示图；
图17B是图示了在指定用户的手部的移动方向及其形状改变时如何指定用户的手部的形状改变的示图；
图18是图示了如何对于每个某个时间间隔计算方向差异程度、形状差异程度和相加值的示图；
图19是用于说明第二实施例的输入设备的效果的示图；
图20A是用于输入设备的修改的示例的示图，并且是用于说明参照指向可选择区域的方向和用户的手部在移动开始时的定位而创建的方向比较映射的示图；
图20B是图示了如何基于方向比较映射来指定方向差异程度的示图；
图21A是图示了如何显示用户的手部的运动轨迹作为光轨道以便说明反馈器的操作的示图；
图21B是图示了圆形指导指示符的透明度如何基于累积值而改变的示图；
图22是用于说明输入设备的修改的示例的示图；
图23A是图示了在用户的手部的移动速度快时的过程以便说明输入设备的修改的示例的示图；以及
图23B是图示了在用户的手部的移动速度慢时的过程的示图。
具体实施方式
以下将参照附图说明根据本公开内容的一个实施例的输入设备。
(第一实施例)
这一实施例的输入设备100包括用于基于由相机拾取的用户的手部运动来确定从用户对设备的输入(例如，用户的对设备的操作指令、在显示命令、图标等的可选择区域内的选择)的功能。输入设备100例如是具有如在图1中所示的外观的个人计算机。首先，将参照图2和图3说明由输入设备100执行的过程的概况。
输入设备100包括例如显示在图2A中所示的并且在经受到选择的可选择区域中显示图像(图标和按钮)的操作屏幕的显示器120，以及例如在图2B中所示的图像的成像器130。如在图2C中所示，所拾取的图像(下文被称为“拾取的图像”)与操作屏幕关联。例如，输入设备100通过坐标转换(比如仿射变换)来关联拾取的图像上的每个坐标点与操作屏幕上的坐标点。接着，当在拾取的图像的一部分上反映用户的指尖时，这被接受作为指出操作屏幕上的关联的部分的操作。因此，可以输入指定操作屏幕上的定位的操作而未用指示设备，比如鼠标或者触屏。根据应用的条件在操作屏幕上设置可选择区域，该应用是输入操作的目标。可选择区域可以同时显示例如可下压按钮的图像、经受到选择的图标的图像等。备选地，在对于用户可识别的部分(比如屏幕的上端及其下端)的情况下，并不在可选择区域中显示特殊图像这样的设置是可能的。输入设备100例如与应用通信以获得可选择区域的坐标，并且在RAM中存储获得的坐标。在以下说明中，假设可选择区域的坐标参考在RAM中的预定区域在任何时间可获得。作为操作输入的具体种类，输入设备100基于用户在拾取的图像中的手部运动来确定用户的输入是否为选择操作或者与选择操作不同的手势操作。在这一情况下，“手势操作”是预定动作(比如身体语言信号和预先定义的用于操作设备的手部手势)，例如，如在图3A中所示的手部的圆形运动、如在图3B中所示的绕着腕部和肘部转动手部而有手指指向的运动(下文将把这一运动称为“轻弹运动”)和旋转手部的运动(下文被称为“旋转运动”)等。此外，“选择操作”(也被称为“指点操作”)是用户的、在屏幕上显示的可选择区域内选择的运动。“选择操作”包括用户在移向点区域之时的手部运动。
在用户执行选择操作时，用户的手部朝着可选择区域移动。在这一情况下，用户经常在查看操作屏幕之时水平地移动手部，并且因此如在图3C中所示，手部的拾取的形状例如最小程度地改变。反言之，在手势操作的情况下，用户经常在绕着腕部转动手部之时移动手部，并且因此如在图3A和图3B中所示，例如，手部的拾取的形状显著地改变。输入设备100基于由移动所引起的用户的手部的形状的改变来确定用户的输入是否为选择操作或者手势操作。
以下将给出对输入设备100的配置的具体说明。
如在图4中所示，输入设备100包括操作设备110、显示器120、成像器130、图像存储器140、控制器150和存储器160。
操作设备110是输入设备，比如键盘。操作设备110例如接受来自用户的过程开始指令，并且向将随后将讨论的控制器150传输接受的指令。。
显示器120是显示设备，比如液晶显示器。显示器120根据控制器150的控制来显示各种图像。
成像器130是图像拾取设备，比如CCD(电荷耦合器件图像传感器)相机或者CMOS(互补金属氧化物半导体)相机。例如，在显示器120的上中心处提供成像器130。成像器130依次拾取用户的手部的图像(包括移动图像)、向每个帧添加图像拾取时间并且向图像存储器140依次传输这样的图像。
图像存储器140是视频存储器，比如RAM(随机存取存储器)。图像存储器140存储从成像器130传输的多条图像数据。
控制器150例如包括算术设备(比如处理器)、可以用作为用于这一算术设备的工作区域的RAM以及存储程序和数据(包括初始值等)的ROM(只读存储器)。控制器150根据在RAM中从ROM加载的程序操作，并且执行各种过程，包括随后将讨论的“输入过程”。控制器150根据“输入过程”操作，由此如在图5中所示用作图像获取器150、移动检测器152、方向比较器153、形状比较器154、输入确定器155和传输器156。注意，将在对于“输入过程”的随后说明中说明那些功能。
存储器160是可以从其读取和在其中写入数据的存储器设备，比如DRAM(动态随机存取存储器)、SRAM(静态随机存取存储器)、闪存或者硬盘。存储器160存储各种数据，包括“手势确定表”和“命令表”。
“手势确定表”是用于匹配手部手势和轨迹与预先存储的多个运动模式之一的信息。“运动模式信息”是如在图6中所示的关联“标识信息”与“特征数据”的信息。
“标识信息”是唯一地标识多个运动模式中的每个模式的信息(标识符)，这些运动模式被预先存储并且是用户的手部的运动模式。例如，在图6中的示例情况下，唯一标识信息被分配给作为用户的手部的运动的互不相同的手部的不同运动中的每个运动，比如“旋转(顺时针运动)”被分配给如在图7A中所示的顺时针旋转运动、“旋转(逆时针运动)”被分配给如在图7B中所示的逆时针旋转运动、“线性移动(在向左方向上)”被分配给如在图7C中所示的在向左方向上的轻弹运动。标识信息的形式不限于任何特定形式。例如，这样的信息可以是数值，比如1、2、3等或者可以是符号，比如A、B、C等。
“特征数据”是用于指定用户的手部的运动模式的信息。特征数据由例如通过预先提取由用户的手部绘制的运动轨迹的特征并且存储提取的特征而获得的特征量数据构成。特征量数据被预先存储于存储器设备(比如ROM)中，并且例如用于通过使用移动矢量的模式识别的对手势操作的确定。控制器150用特征数据校验用户的手部的轨迹，由此确定用户的手部的运动轨迹与运动模式中的哪个运动模式匹配。
“命令表”是用于确定用户的手势操作与多个操作命令中的哪个操作命令匹配的信息。如在图6中所示，命令表包括关联“标识信息”与“控制命令”的信息。
“控制命令”是用来控制设备的控制信息。示例“控制命令”是全部向应用软件(比如音乐播放器软件或者操作系统)输入的命令，比如播放、停止、快进、跳过、设置、取消和音量改变。
接着，将给出对运用以上说明的配置的输入设备100的操作的说明。
在从操作设备110接收过程开始指令时，控制器150指令成像器130开始拾取图像。在被指令开始图像拾取时，成像器130向图像存储器140依次传输拾取的图像。此外，在从操作设备110接收过程开始指令时，控制器150运行应用软件，并且开始用于向这一应用软件输入各种控制信息的“输入过程”。以下将参照图8的流程图说明“输入过程”。
控制器150的图像获取器151按照与从图像存储器140拾取的人的手部的图像的最新预定时间段对应的时间段获取拾取的图像(例如，如在图9中所示，用于从图像拾取时间1：23：40.50至图像拾取时间1：24：00.50的20秒的多个帧的图像数据(步骤S101)。也就是说，控制器150从图像获取器151获取具有不同图像拾取定时的多个拾取的图像。
返回到图8中的流程，控制器150的移动检测器152从拾取的图像的多个帧中的每个帧提取具有指示食指的手部被拍照的区域(下文被称为“手部区域”)(步骤S102)。待提取的手部区域可以是手部本身的形状(例如，由图10中的虚线包围的部分PA)或者可以是包围手部的最小矩形区域(例如，由图10中的虚线包围的部分PB)。
返回到图8中的流程，移动检测器152基于手部区域在拾取的图像的相应的帧中的定位来确定是否检测到移动开始(步骤S103)。作为具体示例，移动检测器152比较手部区域在步骤S101中获取的多个拾取的图像中的定位，并且基于手部区域在相应的帧中的定位的差异(手部移动量)和图像拾取定时的差异(时间差异)来获取手部的移动速度。接着，基于获取的速度，确定在步骤S101中拾取图像的预定时间段中，存在用户的手部的状态从暂停状态(其中手部的移动速度与某个速度相等或者更慢的状态)向移动状态(其中手部的移动速度变成与某个速度相等或者更快的状态)转变的时间点。在没有这样的转变时间点时，移动检测器152确定(步骤S103：否)用户的手部未向移动状态转变、使该过程返回到步骤S101并且重复步骤S101至步骤S103中的过程，直至检测到转变时间点。反言之，在用户的手部向移动状态转变(步骤S103：是)时，在RAM等中存储在状态向移动状态转变的时间点的图像拾取时间(下文被称为移动开始时间点T1)，并且该过程前进到步骤S104。
移动检测器152基于手部区域在移动开始之后在每个帧中的定位改变来确定是否存在用户的手部在移动开始时间点T1之后在拾取的图像中从移动状态向暂停状态转变的时间点(步骤S104)。与步骤S103相反地，移动检测器152基于以手部区域的定位的差异(手部移动量)和图像拾取定时的差异(时间差异)为基础而获取的手部的移动速度来确定是否存在用户的手部从移动状态向暂停状态转变的时间点。作为结果，在用户的手部未向暂停状态转变(步骤S104：否)时，该过程返回到步骤S101，并且重复步骤S101至步骤S104中的过程。在用户的手部向暂停状态转变(步骤S104：是)时，在RAM等中存储状态向移动暂停状态转变的图像拾取时间(下文被称为移动暂停时间点T2)，并且该过程前进到步骤S105。
移动检测器152从图像存储器140获取在移动开始时间点T1的拾取的图像和在移动暂停时间点T2的拾取的图像，并且在RAM中存储那些条图像(步骤S105)。例如，当在步骤S103中检测到移动开始时间点T1、即1：23：45.67时，在RAM中存储拾取的图像的两个帧(在1：23：45.67的帧和在1：23：46.67的帧)。
控制器150的方向比较器153基于在用户的手部的移动开始时间点T1的拾取的图像相对于用户的手部在移动开始时间点T1的定位来指定(步骤S106)指向可选择区域的方向。可以例如基于在RAM中的预定区域中记录的可选择区域的重心的坐标和在步骤S102中提取的手部区域的重心来获得这一方向。在存在多个可选择区域时，指定指向相应的可选择区域的方向。例如，在如图11中所示存在四个可选择区域时，方向比较器153可以指定如下线的角度作为可选择区域的方向，该线在移动开始时间点T1互连手部区域的重心定位G1与每个可选择区域(C1至C4)的中心(例如，从预定参考方向(比如图中的向上方向)的顺时针角度，这在用于说明操作屏幕的角度的每幅图中同样成立)。
返回到图8中的流程，方向比较器153比较在步骤S106中获取的指向可选择区域的方向与用户的手部的移动方向。接着，方向比较器获取比较结果作为代表方向的差异程度的“方向差异程度”。可以例如基于均在步骤S105中存储的、手部区域在移动开始时间点T1和移动暂停时间点T2在帧中的定位来获取用户的手部的移动方向。在存在多个可选择区域时，获取用于相应的可选择区域的方向差异程度(步骤S107)。例如，方向比较器153指定如下线的角度，该线互连用户的手部在移动开始时间点T1的重心定位G1和用户的手部在移动暂停时间点T2的重心定位G2(例如，在图中的向上方向如在图12A中所示被设置成0度时的角度)。接着，如在图12B中所示，计算在指定的角度与指向可选择区域的方向的角度之间的差异，并且获取在计算的差异之中的最小差异(在图12B中所示的示例情况下的17度)作为方向差异程度。一般而言，在移动手部作为选择操作的一部分时，用户朝着在移动开始时间点(在这一示例中的移动开始时间点T1)与移动暂停时间点(在这一示例中的移动暂停时间点T2)之间的可选择区域中的任何可选择区域移动手部。反言之，在手势运动的情况下，如在图3B(轻弹运动)和图19(旋转运动)中所示，移动方向与从移动开始时间点朝着可选择区域的方向无关。因此，代表用户的手部是否朝着在操作屏幕上设置的可选择区域中的任一可选择区域移动的方向差异程度是如下系数，该系数代表关于手部移动是否为选择操作的一部分的确信度。方向差异程度越小，用户的手部移向可选择区域中的任一可选择区域的确信度变得越高。也就是说，方向差异程度越小，用户的手部的移动是选择操作的一部分的确信度变得越高。反言之，方向差异程度越大，用户的手部的移动不是选择操作而是手势操作的确信度变得越高。
返回到图8中的流程，控制器150的形状比较器154比较用户的手部在手部开始移动的时间点的形状与用户的手部在手部退出移动的时间点的形状。接着，获取比较结果作为代表形状的改变程度的“形状差异程度”(步骤S108)。例如，形状比较器154比较在移动开始时间点T1的在手部区域的重心定位G1与指尖F1之间的定位关系与在手部区域的重心定位G2与指尖F2之间的定位关系以计算在移动暂停时间点T2的形状差异程度。更具体而言，形状比较器154计算在移动开始时间点T1互连手部区域的重心定位G1与指尖F1的线的角度与在移动暂停时间点T2互连手部区域的重心定位G2与指尖F2的线的角度之间的差异作为形状差异程度(例如，在顺时针角度与逆时针角度之间的较小角度)。以这一方式计算的形状差异程度是用于用户的手部作为预定手势操作的一部分而移动(不同于移向可选择区域中的任一可选择区域)的确信度的气压表。这是因为一般而言在移动手部作为选择操作的一部分时，用户移动手部而未改变其形状。反言之，在手势运动的情况下，如在图3B(轻弹运动)和图19(旋转运动)中所示，手部的形状与选择操作的形状比较大量地改变。也就是说，形状差异程度越大，用户的手部作为手势操作的一部分而移动的确信度变得越高。如图13A中示范的那样，在用户的手部的运动可能是选择操作时，形状差异程度变成小值(在图13A中所示的示例情况下的在345度与347度之间的差异＝2度)。如在图13中示范的那样，在用户的手部的运动可能是与选择操作不同的手势操作时，形状差异程度变成比运动可能是选择操作的情况的形状差异程度更大的值(在图13A中所示示例情况下，在328度与83度之间的差异＝115度)。
返回到图8中的流程，控制器150的输入确定器155用预定权值将方向差异程度与形状差异程度相加(步骤S109)。例如，在步骤S107中获取的方向差异程度是D并且在步骤S108中获取的形状差异程度是S时，令方向差异程度D和形状差异程度S的相应的权值系数被设置为w1、w2，通过以下(公式1)获取相加值ADD。每个权值的值是通过测试预先获取的并且在ROM中存储的设置值。备选地，这样的值可以由用户根据用户自己的操作的习惯而可设置。在这一示例中，w1和w2均为正值。
ADD＝w1×D+w2×S (公式1)
输入确定器155确定相加值(例如，相加值ADD)是否等于或者小于预定阈值(步骤S110)。在相加值等于或者小于预定阈值(步骤S110：是)时，确定用户的手部的运动是选择操作，并且该过程前进到步骤S111。在相加值大于预定阈值(步骤S110：否)时，确定用户的手部的运动是手势操作，并且输入确定器155使该过程前进到步骤S112。相加值ADD是代表用户的手部的运动是否用于手势操作或者是选择操作的一部分的系数，并且基于代表用户的手部朝着哪个可选择区域移动的方向差异程度D和代表用户的手部的形状改变的量值的形状差异程度S而被获取。在w1和w2均为正值时，ADD越大，用户的手部运动是手势运动的可能性变得越高。因此，通过获取ADD并且在ADD的量值超过阈值时确定用户的手部的运动是手势运动，输入设备变得有可能根据用户的意图确定输入。
在确定用户的手部的运动是选择操作(步骤S110：是)时，输入确定器155基于在步骤S106中获取的可选择区域相对于用户的手部而位于的方向、用户的手部在移动开始时间点T1的重心定位G1和用户的手部在移动暂停时间点T2的重心定位G2来确定已经选择了可选择区域中的哪个可选择区域。接着，传输器156与由输入确定器155确定的信息一起向应用软件通知指示选择了可选择区域的命令(步骤S111)。
返回到步骤S110，在确定用户的手部的运动是手势操作(步骤S110：否)时，输入确定器155用在图6中所示的手势确定表中的特征数据校验由手部的重心从移动开始到其暂停而绘制的运动轨迹，从而由此确定用户的手势。接着，传输器156从命令表获取向确定的手势(也就是标识信息)分配的控制命令，并且向应用软件传输获取的控制命令(步骤S112)。也就是说，传输器156向已经经受到操作的应用传输确定的输入结果。当在手势确定表中没有对应的特征数据时，传输器156并不输入控制命令，并且直接地终止步骤S112。
在完成输入时，控制器150使该过程返回到步骤S101，并且重复步骤S101至步骤S111中的过程。
如以上说明的那样，由于基于关于用户的手部的形状改变的信息来确定用户的手部的运动，所以这一实施例的输入设备100可以精确地确定用户的手部的运动是否为选择操作或者手势操作。例如，如在图13A和图13B中所示，即使用户的手部以相似方式朝着可选择区域移动，仍然基于关于用户的手部的形状改变的信息，例如，图13A中的情况可以被确定为“选择操作”，而图13B中的情况可以被确定为“手势操作”。因此，输入设备100除了选择操作之外还可以同时识别手势操作，作为结果，输入设备100可以实现具有多个变化的输入操作，从而增强对于用户的输入方便。
此外，除了用户的手部的形状改变之外，也基于关于手部的移动方向的信息来确定用户的运动。因此，输入设备100还可以精确地确定用户的手部的运动是否为选择操作或者手势操作。例如，如在图14中所示，虽然手部的形状贯穿移动几乎不变，但是由于用户的手部并未朝着可选择区域移动，所以可以确定运动不是“选择操作”而是“手势操作”。
(第二实施例)
第一实施例的输入设备100基于手部在移动开始时间点和在移动暂停时间点的形状改变来确定用户的输入是否为选择操作或者手势操作。备选地，如下配置也有效，该配置包括基于手部沿着手部形状从移动开始到移动暂停的时间序列的逐步形状改变或者其依次改变来确定用户的输入。这一实施例公开了一种基于手部沿着时间序列的逐步形状改变或者依次改变来确定用户的输入的输入设备。
第二实施例的输入设备100如在图4中所示与第一实施例一样包括操作设备110、显示器120、成像器130、图像存储器140、控制器150和存储器160。
根据这一实施例的输入设备100，如在图15中所示，存储器160保证FIFO(先入先出)格式的存储器区域(下文被称为“FIFO队列”)，该存储器区域可以存储多个帧(例如，三个帧)的图像数据。用于相应的帧的存储器区域存储手部当前(最新)的拾取的图像、在时间T之前的拾取的图像n-2和在时间2T之前的拾取的图像n-3等。控制器150以时间间隔T从图像存储器140获取最新单个帧的图像数据，并且在FIFO队列中使获取的图像数据入队列。作为结果，对于每个时间T，在FIFO队列中存储新的拾取的图像，并且使在当前存储的图像之中首先入队列的拾取的图像(在图15中的拾取的图像n-4)出队列。在以下说明中，在FIFO队列中存储的拾取的图像将按照新顺序被称为图像数据A、图像数据B和图像数据C。控制器150从图像存储器140获取图像的时间间隔T不限于具体时间顺序，并且可以被自由地设置。例如，它可以基于在工厂装运时的时间或者由用户给予的设置操作而对于每一秒或者对于每一个帧。
输入设备100的其它部件具有与第一实施例的具有相同名称的部件相同的功能。
接着，将说明第二实施例的输入设备100的操作。
在从操作设备110接收过程开始指令时，控制器150指令成像器130开始拾取图像。在被指令开始图像拾取时，成像器130向图像存储器140依次传输拾取的图像。此外，在从操作设备110接收过程开始指令之后，控制器150运行应用软件并且开始用于向应用软件输入各种种类的控制信息的“输入过程”。以下将参照图6的流程图说明“输入过程”。
移动检测器152通过例如与第一实施例的步骤S103中的方式相同的方式确定用户的手部是否从暂停状态向移动状态转变(步骤S201)。在用户的手部未向移动状态转变(步骤S201：否)时，重复步骤S201中的过程，直至用户的手部向移动状态转变。在用户的手部向移动状态转变(步骤S201：是)时，该过程前进到步骤S202。
图像获取器151确定FIFO队列的内容是否被控制器150更新，也就是说自从FIFO队列的上次更新起是否已经流逝了时间T(步骤S202)。在FIFO队列未被更新时，或者在用户的手部向移动状态转变之后首次执行步骤S202(步骤S202：否)时，重复步骤S202中的过程，直至FIFO队列被更新。在更新FIFO队列(步骤S202：是)时，该过程前进到步骤S203。
方向比较器153对于每个时间间隔T指定用户的手部的移动方向改变。更具体而言，方向比较器153比较用户的手部从由图像A和B指定的在时间2T之前的先前时间点到在时间T之前的先前时间点的移动方向(下文被称为“先前移动方向”)与用户的手部从由图像B和C指定的在时间T之前的先前时间点到当前时间点的移动方向(下文被称为“当前移动方向”)。接着，获取比较结果作为代表在先前时间点与当前时间点之间的移动方向的差异程度的“方向差异程度”(步骤S203)。例如，如在图17A中所示，方向比较器153指定如下线的角度(在图中所示的示例情况下的88度)作为先前移动方向，该线互连用户的手部在图像A的时间点的重心定位GA与用户的手部在图像B的时间点的重心定位GB。此外，方向比较器指定如下线的角度(在图中所示的示例情况下的96度)作为当前移动方向，该线互连用户的手部在图像B的时间点的重心定位GB与用户的手部在图像C的时间点的重心定位GC。接着，获取在两个指定的角度之间的差异作为方向差异程度D。在以下说明中，为了有助于理解本公开内容，如在图18中所示，方向差异程度D按照在检测到移动之后的获取顺序被指派编号，比如D0、D1、D2等(下文被表达为Di：i＝0、1、2、3等)。一般而言，在移动手部作为选择操作的一部分时，用户移动手部而未改变从移动开始时间点到移动暂停时间点的方向。因此，在每个时间段与其累积的相加值之间的方向差异程度D越小，手部的移动是选择操作的一部分的可能性变得越高。反言之，累积的相加值越大，手部的移动是与选择操作不同的手势操作的可能性变得越高。
返回到图16中的流程，形状比较器154对于每个某个时间段T指定用户的手部的形状改变。更具体而言，形状比较器154比较用户的手部在图像B的时间点的形状(下文被称为“先前形状”)与用户的手部在图像C的时间点的形状(下文被称为“当前形状”)。接着，获取比较结果为代表形状的改变程度的“形状差异程度”(步骤S204)。例如，如在图17B中所示，形状比较器154计算在图像B的时间点将手部区域的重心定位GB与指尖FB互连的线的角度(在图中所示的示例情况下的351度)与在图像C的时间点将手部区域的重心定位GC与指尖FC互连的线的角度(在图中所示的示例情况下的53度)之间的差异作为形状差异程度S。在以下说明中，为了有助于理解本公开内容，形状差异程度S按照在检测到移动之后的获取顺序被指派编号，比如S0、S1、S2等(下文被表达为Si：i＝0、1、2、3等)。一般而言，在移动手部作为选择操作的一部分时，用户从移动开始时间点(在这一示例情况下的移动开始时间点T1)向移动暂停时间点(在这一示例情况下的移动暂停时间点T2)移动手部而未改变其形状。因此，在每个时间段与其累积的相加值之间的形状差异程度S越小，手部的移动是选择操作的一部分的可能性变得越高。反言之，形状差异程度S的累积的相加值越大，手部的移动是与选择操作不同的手势操作的可能性变得越高。
返回到图16中的流程，输入确定器155用预定权值将方向差异程度Di和形状差异程度Si相加(步骤S205)。例如，令方向差异程度D和形状差异程度S的相应加权系数被设置为w1、w2，通过以下(公式2)获取相加值ADDi(i＝0、1、2、3等)。每个权值的值是通过测试预先获取的并且在ROM中存储的设置值。备选地，这样的值可以由用户根据用户自己的操作的习惯而可设置。在这一示例中，w1和w2均为正值。
ADDi＝w1×Di+w2×Si (公式2)
输入确定器155将在检测到移动开始之后获取的所有相加值ADD累积地相加(步骤S206)。例如，令最新计算的相加值为ADDn，输入确定器155通过以下(公式)3获取累积值ACC。
ACC＝ADD0+ADD1+…+ADDn (公式3)
输入确定器155确定累积值ACC是否等于或者大于预定阈值(步骤S207)。在累积值ACC等于或者大于预定阈值(步骤S207：是)时，输入确定器155确定用户的输入是手势操作，并且使该过程前进到步骤S208。在累积值小于预定阈值(步骤S207：否)时，该过程前进到步骤S210。这一累积值ACC是代表用户的手部的运动是否用于手势操作或者是选择操作的一部分的系数，并且基于用户的手部的移动方向的改变程度和手部的形状(角度)从移动开始时间点T1到移动暂停时间点T2的改变程度被获取。在w1和w2均为正值时，ACC越大，手部的运动是手势运动的可能性变得越高。因此，通过获取ACC并且确定在ACC的量值超过阈值时确定手部的运动是手势运动，输入设备变得有可能根据用户的意图确定输入。
在累积值ACC等于或者大于预定阈值(步骤S207：是)时，移动检测器152例如通过与第一实施例的步骤S104中的方式相同的方式确定用户的手部是否从移动状态向暂停状态转变(步骤S208)。在用户的手部并未向暂停状态转变(步骤S208：否)时，重复步骤S208中的过程，直至用户的手部向暂停状态转变。在用户的手部向暂停状态转变(步骤S208：是)时，该过程前进到步骤S209。
输入确定器155用图6中的手势确定表中的特征数据校验由手部的重心从移动开始到其暂停而绘制的运动轨迹，由此确定用户的手势。接着，传输器156从命令表获取向确定的手势分配的控制命令，并且向应用软件输入控制命令(步骤S209)。
返回到图16中的步骤S207，在累积值ACC小于预定阈值(步骤S207：否)时，移动检测器152例如通过与第一实施例的步骤S104中的方式相同的方式确定(步骤S210)用户的手部是否从移动状态向暂停状态转变。在用户的手部并未向暂停状态转变(步骤S210：否)时，控制器150使该过程返回到步骤S202，并且重复步骤S202至步骤S210中的过程。在用户的手部向暂停状态转变(步骤S210：是)时，该过程前进到步骤S211。
输入确定器155通过与第一实施例的步骤S111中的方式相同的方式确定选择可选择区域中的哪个可选择区域。接着，传输器156向应用软件通知指示选择了可选择区域的信息(控制信号)(步骤S211)。
如以上说明的那样，根据这一实施例，不仅基于手部在移动开始时间点和在移动暂停时间点的形状而且基于关于手部在移动之时的形状和关于其方向改变的信息来确定用户的输入。一般而言，在移动手部作为选择操作的一部分时，用户移动手部而基本上未改变在移动开始时间点与移动暂停时间点之间的移动方向。此外，移动手部而未改变其形状。反言之，在手势运动的情况下，如在图3B(轻弹运动)和图19(旋转运动)中所示，改变手部的移动方向和形状以移动手部。然而在例如如在图19中所示的手势运动的情况下，手部的形状可以在移动开始时间点T1和在移动暂停时间点T2保持相同，并且移动方向可以被指向可选择区域。然而，在这一情况下，这一实施例的输入设备100可以适当地确定用户的手部的运动是否为选择操作或者手势操作。因此，确定精确度高。
以上描述的相应实施例仅为示例，并且可以在需要时允许进行各种改变和修改。
例如，在以上描述的相应的实施例中，输入设备100基于关于手部的移动方向和关于其形状改变的信息来确定用户的输入，但是可以仅基于关于形状改变的信息而无关于移动方向的信息来确定用户的输入。在例如第一实施例的情况下，当在步骤S108中获取的形状差异程度S等于或者小于预定阈值时，输入确定器155可以确定用户的手部的运动是选择操作，并且在形状差异程度大于预定阈值时，输入确定器可以确定用户的手部的运动是手势操作。此外，在例如第二实施例的情况下，输入确定器155可以未基于累积的相加值ADD0至ADDn而但是基于形状差异程度S0至Sn的累积值来确定该用户的输入。进而另外，可以应用形状差异程度S0至Sn的平均值而不是累积的相加值。
在步骤S107中或者在步骤S203中获取代表移动方向的差异程度的“方向差异程度”。取代这一配置，方向比较器153可以获取代表在可选择区域的方向与用户的手部的移动方向之间的匹配程度或者在当前移动方向与先前移动方向之间的匹配程度的“方向匹配程度”。
这时，方向比较器153可以通过将移动距离与用户手部的移动方向相加来计算方向匹配程度。例如，方向比较器153参照在步骤S106中获取的可选择区域的方向和用户的手部在移动开始时间点的定位来创建具有逐步设置的区域的方向比较映射(例如，如在图20A中所示，逐步设置具有对角线的矩形区域A至E，这些对角线在将用户的手部在移动开始时间点T1的重心定位G1与相应的可选择区域的中心互连的线上)。接着，方向比较器153以区域落在与用户的手部的重心定位越远、值变得越大这样的方式向每个区域分配值。方向比较器153获取向如下区域分配的值作为方向匹配程度，用户的手部的重心定位G2在该区域位于移动暂停时间点T2(在图20B中所示示例情况下的区域C)。也就是说，以这样的方式设置权值的值，该方式为方向相互匹配的定位与可选择区域越近，越多地确定用户的手部的运动被确定为选择操作。这样的配置支持高度地精确的输入确定。
此外，在步骤S108中或者在步骤S204中，获取代表手部的形状改变程度的“形状差异程度”。然而，形状比较器154可以获取代表在手部在移动开始时间点T1的形状与手部在移动暂停时间点T2的形状之间的匹配程度或者在手部的先前形状与手部的当前形状之间的匹配程度的“形状匹配程度”。在这一情况下，以形状匹配程度越高、越多确定手部的运动是选择操作的一部分这样的方式设置权值的值。
在步骤S109中或者在步骤S205中，用预定权值将方向差异程度(方向差异程度D或者Di)和形状差异程度(S或者Si)相加以获取相加值，并且基于相加值来确定用户的手部的运动是否为选择操作或者手势操作。取代这一配置，输入确定器155可以基于通过用预定权值将方向匹配程度和形状匹配程度相加而获得的值来确定用户的手部的运动是否为选择操作或者手势运动。
为了辅助手势操作，输入设备100在操作屏幕上显示如下指导是有效的，该指导指示用于手势操作的手部的理想动作。例如，如由图21A中的RA和RB指示的那样，输出带状半透明指导指示符，这些指示符指导用于用户的手部的理想运动。这时，控制器150可以包括反馈器，该反馈器具有沿着指导指示符以可见方式输出由用户的手部绘制的运动轨迹的功能。例如，反馈器在用户的手部沿着指导指示符的带在这样的带附近移动时、根据如在图21A中所示的用户的手部的定位来显示沿着带移动的星光轨道。此外，作为又一输入辅助，反馈器可以根据手部的运动是手势操作的可能性来改变显示指导的方式。在这一情况下，例如，基于在步骤S206中计算的累积值ACC的改变来在需要时改变指导指示符的透明度。更具体而言，如由图21B中的RC指示的那样，累积值ACC的值越大，反馈器将指导指示符的透明度减少越多。这一配置允许用户识别已经确定了用户的手部的运动是手势操作。
根据以上描述的实施例，在步骤S109中或者在步骤S205中，基于互连手部的重心定位与指尖的线的角度改变来获取手部的形状改变(形状差异程度)。取代这一配置，形状比较器154可以基于在手部的重心定位与指尖之间的距离来检测手部的形状改变。如在图22中所示，形状比较器154可以计算在移动开始时间点T1或者先前时间点与手部的重心定位和指尖的距离L1与在移动暂停时间点T2或者当前时间点与手部的重心定位和指尖的距离L2之间的差异作为形状差异程度。在计算形状差异程度时，还可以应用关于互连手部的重心定位与指尖的线的角度改变的信息。根据这一配置，可以精确地检测手部的形状改变。
形状比较器154可以校正基于手部的移动距离而被计算的形状差异程度或者形状匹配程度。例如，形状比较器154计算在手部在先前时间点的重心定位与其在当前时间点的重心定位之间的距离作为手部的移动距离，并且以这样的方式校正计算的形状差异程度或者形状匹配程度，该方式为计算的移动距离越大，形状差异程度变得越小，或者移动距离越大，形状匹配程度变得越大。例如，形状差异程度可以除以移动距离以获取新形状差异程度。备选地，形状匹配程度可以乘以移动距离以获取新形状匹配程度。例如，如在图23A中所示，在移动距离长时(也就是说，在手部的移动距离快时)，尽管有略微角度改变，仍然可以确定手部的形状改变小。反言之，如在图23B中所示，在移动距离短(也就是说，手部的移动速度慢)时，即使角度改变小，仍然可以确定手部的形状改变大。根据这一配置，可以基于关于移动速度和关于手部的形状改变的全面评估来通过确定过程改进输入确定系统。
在以上描述的相应的实施例中，传输器156向应用软件传输确定的控制命令。然而，基于输入确定结果将控制命令传输到的软件不限于应用软件。输入确定器155可以例如向操作系统输入确定的控制命令。此外，可以通过通信线或者无线通信向除了输入设备100之外的设备输入确定的命令。也就是说，与输入设备分离地，可以存在执行经受到操作的应用或者操作系统的设备。在这一情况下，取代向相同设备的应用传输确定的输入，可以提供作为传输器通过并行端口或者USB(通用串行总线)向执行应用的另一设备传输输入结果的输出设备。
在以上描述的实施例中，个人计算机被说明作为示例输入设备100，但是输入设备100并不限于个人计算机而可以是具有确定用户的输入的功能的其它种类的电子设备。例如，输入设备100可以是电视、记录器、游戏装置、固线电话、移动电话、智能电话、平板终端或者PDA(个人数字助理)。
前述实施例的输入设备100可以由专用系统实现或者可以由普通计算机系统实现。例如，可以分发计算机可读非瞬态记录介质，该计算机可读非瞬态记录介质具有在其中存储的用于执行以上说明的操作的程序，并且可以在计算机中安装这样的程序以配置执行以上说明的过程的输入设备100。此外，这样的程序可以被存储在网络(如因特网)之上的服务器设备等的盘设备中，并且可以被下载等到计算机。以上说明的功能可以通过OS和应用软件的协作工作来实现。在这一情况下，仅除了OS之外的部分可以被存储在介质中并且被分发或者下载等到计算机。
存储程序的示例可适用非瞬态记录介质是USB存储器、软盘、CD(光盘)、DVD(数字万用盘)、蓝光盘(注册商标)、MO(磁光盘)、SD存储器卡(安全数字存储器卡)、存储器棒(注册商标)或者其它计算机可读非瞬态记录介质，比如磁盘、光盘、磁光盘、半导体存储器或者磁带。此外，可以在载波上叠加并且通过通信网络分发计算机程序。例如，可以在通信网络之上的BBS(公告板)上发表计算机程序，并且可以通过网络分发这样的计算机程序。接着，通过运行计算机程序，可以实现输入设备1的相应功能。
可以进行修改和变化而未脱离本公开内容的更广义精神实质和范围。应当注意，以上实施例仅为了举例说明那些实施例并且并非旨在于限制本公开内容的范围。因而，本公开内容的范围不应取决于所示实施例而取决于所附权利要求。因此，本公开内容的意图旨在于被解释为包括在权利要求及其等效含义的范围内进行的各种修改。
前述实施例可以部分或者全部被描述为以下补充备注，但是本公开内容不限于以下补充备注。
(补充备注1)
一种基于用户的手部在与具有一个或者多个定义的可选择区域的操作屏幕关联的拾取的图像中的运动来确定用户的输入的输入设备，输入设备包括：
输入确定装置，该输入确定装置基于手部在多个拾取的图像中的形状改变，来确定用户的输入是否为对可选择区域的选择操作或者为与选择操作不同的手势操作，手部的形状改变由移动的手部引起。
(补充备注2)
根据补充备注1的输入设备，其中输入确定装置基于由移动的手部引起的手部的形状改变，并且还基于手部在多个拾取的图像中移动的方向，来确定用户的输入是否为对可选择区域的选择操作或者为手势操作。
(补充备注3)
根据补充备注2的输入设备，还包括：移动检测装置，该移动检测装置检测手部的移动开始时间点及其移动暂停时间点，
其中输入确定装置基于通过比较手部在移动开始时间点的形状与手部在移动暂停时间点的形状而指定的手部的形状改变，并且基于手部在移动开始时间点的定位和手部在移动暂停时间点的定位而指定的手部的移动方向，来确定用户的输入是否为对可选择区域的选择操作或者为手势操作。
(补充备注4)
根据补充备注2的输入设备，还包括：移动检测装置，该移动检测装置检测手部的移动开始时间点及其移动暂停时间点，
其中输入确定装置基于针对从移动开始时间点到移动暂停时间点的每个预定时间间隔的手部的形状改变，并且还基于针对从移动开始时间点到移动暂停时间点的每个预定时间间隔的手部的移动方向改变，来确定用户的输入是否为对可选择区域的选择操作或者为手势操作。
(补充备注5)
根据补充备注3的输入设备，还包括：
形状比较装置，该形状比较装置比较手部在移动开始时间点的形状与手部在移动暂停时间点的形状，并且计算代表形状的差异程度的形状差异程度或者代表形状的匹配程度的形状匹配程度；以及
方向比较装置，该方向比较装置基于手部在移动开始时间点的定位和手部在移动暂停时间点的定位来指定手部的移动方向，参照手部在移动开始时间点的定位来指定可选择区域的方向，比较手部的指定的移动方向与可选择区域的指定的方向，并且计算代表方向的差异程度的方向差异程度或者代表方向的匹配程度的方向匹配程度，
其中输入确定装置用预定权值将形状差异程度或者形状匹配程度和方向差异程度或者方向匹配程度相加，并且基于相加值来确定用户的输入是否为对可选择区域的选择操作或者为手势操作。
(补充备注6)
根据补充备注4的输入设备，还包括：
形状比较装置，该形状比较装置针对每个预定时间间隔比较手部在当前时间点的形状与手部在确定的时间段之前的形状，并且计算代表形状的差异程度的形状差异程度或者代表形状的匹配程度的形状匹配程度；以及
方向比较装置，该方向比较装置针对每个预定时间间隔比较在当前时间点的移动方向与在先前时间点的移动方向，并且计算代表方向的差异程度的方向差异程度或者代表方向的匹配程度的方向匹配程度，
其中输入确定装置：
用预定权值将形状差异程度或者形状匹配程度和方向差异程度或者方向匹配程度相加；
以移动开始时间点作为累积开始时间点将针对每个预定时间间隔的相加值累积地相加；以及
在累积的相加值超过预定阈值时确定用户的输入是手势操作，并且在累积的相加值直至移动暂停时间点或者在累积的开始之后的预定时间段内未超过预定阈值时确定用户的输入是对可选择区域的选择操作。
(补充备注7)
根据补充备注6的输入设备，其中：
手部是用户的具有手指指向的手部；以及
形状比较装置比较在当前时间点的在手部的重心定位与指尖之间的定位关系与在预定时间段之前的在手部的重心定位与指尖之间的定位关系，并且计算形状差异程度或者形状匹配程度。
(补充备注8)
根据补充备注6或者7的输入设备，其中：
操作屏幕显示向用户指导手部的理想运动轨迹的带状半透明指导指示符；以及
输入设备还包括：反馈装置，该反馈装置沿着指导指示符以视觉可识别方式输出由手部绘制的运动轨迹，并且根据累积的相加值依次改变指导指示符的透明度。
(补充备注9)
一种用于基于用户的手部在与显示经受到选择操作的一个或者多个可选择区域的操作屏幕关联的拾取的图像中的运动来确定用户的输入的输入方法，方法包括：
基于手部在多个拾取的图像中的形状改变，来确定用户的输入是否为对可选择区域的选择操作或者为与选择操作不同的手势操作，手部的形状改变由移动的手部引起。
(补充备注10)
一种计算机可读非瞬态记录介质，该计算机可读非瞬态记录介质具有在其中存储的程序，程序使得控制输入设备的计算机执行以下功能，输入设备基于用户的手部在与显示一个或者多个可选择区域的操作屏幕关联的拾取的图像中的运动来确定用户的输入：
输入确定功能，该输入确定功能基于手部在多个拾取的图像中的形状改变，来确定用户的输入是否为对可选择区域的选择操作或者为与选择操作不同的手势操作，手部的形状改变由移动的手部引起。
本申请基于提交于2012年8月17日的第2012-181223号日本专利申请。在本说明书中通过引用而将第2012-181223号日本专利申请的全部说明书、权利要求书和附图结合于此。
工业适用性
本公开内容适用于一种基于用户的手部的拾取的图像来确定用户的输入的输入设备。
标号列表
100 输入设备
110 操作设备
120 显示器
130 成像器
140 图像存储器
150 控制器
151 图像获取器
152 移动检测器
153 方向比较器
154 形状比较器
155 输入确定器
156 传输器
160 存储器

Claims (7)

1.一种基于用户的手部在与具有一个或者多个定义的可选择区域的操作屏幕关联的拾取的图像中的运动来确定所述用户的输入的输入设备，所述输入设备包括：
移动检测器，所述移动检测器检测所述手部的移动开始时间点及其移动暂停时间点；
形状比较器，所述形状比较器比较所述手部在所述移动开始时间点的形状与所述手部在所述移动暂停时间点的形状，并且计算代表形状的差异程度的形状差异程度或者代表形状的匹配程度的形状匹配程度；
方向比较器，所述方向比较器基于所述手部在所述移动开始时间点的定位和所述手部在所述移动暂停时间点的定位来指定所述手部的移动方向，参照所述手部在所述移动开始时间点的所述定位来指定所述可选择区域的方向，比较所述手部的指定的所述移动方向与所述可选择区域的指定的所述方向，并且计算代表方向的差异程度的方向差异程度或者代表方向的匹配程度的方向匹配程度；以及
输入确定器，所述输入确定器基于所述形状差异程度或者所述形状匹配程度和所述方向差异程度或者所述方向匹配程度，来确定所述用户的所述输入是否为对可选择区域的选择操作或者为与所述选择操作不同的手势操作，所述手部的形状改变由移动的所述手部引起。
2.根据权利要求1所述的输入设备，
其中所述输入确定器用预定权值将所述形状差异程度或者所述形状匹配程度和所述方向差异程度或者所述方向匹配程度相加，并且基于相加值来确定所述用户的所述输入是否为对所述可选择区域的所述选择操作或者为所述手势操作。
3.一种基于用户的手部在与具有一个或者多个定义的可选择区域的操作屏幕关联的拾取的图像中的运动来确定所述用户的输入的输入设备，所述输入设备包括：
移动检测器，所述移动检测器检测所述手部的移动开始时间点及其移动暂停时间点；
形状比较器，所述形状比较器针对每个预定时间间隔比较所述手部在当前时间点的形状与所述手部在确定的时间段之前的形状，并且计算代表形状的差异程度的形状差异程度或者代表形状的匹配程度的形状匹配程度；以及
方向比较器，所述方向比较器针对所述每个预定时间间隔比较在所述当前时间点的移动方向与在先前时间点的移动方向，并且计算代表方向的差异程度的方向差异程度或者代表方向的匹配程度的方向匹配程度；
输入确定器，所述输入确定器用预定权值将所述形状差异程度或者所述形状匹配程度和所述方向差异程度或者所述方向匹配程度相加，以所述移动开始时间点作为累积开始时间点将针对所述每个预定时间间隔的相加值累积地相加，在累积的所述相加值超过预定阈值时确定所述用户的所述输入是手势操作，并且在累积的所述相加值直至所述移动暂停时间点或者在累积的开始之后的预定时间段内未超过所述预定阈值时确定所述用户的所述输入是对所述可选择区域的选择操作。
4.根据权利要求3所述的输入设备，其中：
所述手部是所述用户的具有手指指向的手部；以及
所述形状比较器比较在当前时间点的在所述手部的重心定位与指尖之间的定位关系与在所述先前时间点之前的在所述手部的重心定位与指尖之间的定位关系，并且计算所述形状差异程度或者所述形状匹配程度。
5.根据权利要求3或者4所述的输入设备，其中：
所述操作屏幕显示向所述用户指导所述手部的理想运动轨迹的带状半透明指导指示符；以及
所述输入设备还包括：反馈器，所述反馈器沿着所述指导指示符以视觉可识别方式输出由所述手部绘制的运动轨迹，并且根据累积的所述相加值依次改变所述指导指示符的透明度。
6.一种用于基于用户的手部在与显示经受到选择操作的一个或者多个可选择区域的操作屏幕关联的拾取的图像中的运动来确定所述用户的输入的输入方法，所述方法包括：
检测所述手部的移动开始时间点及其移动暂停时间点；
比较所述手部在所述移动开始时间点的形状与所述手部在所述移动暂停时间点的形状，并且计算代表形状的差异程度的形状差异程度或者代表形状的匹配程度的形状匹配程度；
基于所述手部在所述移动开始时间点的定位和所述手部在所述移动暂停时间点的定位来指定所述手部的移动方向，参照所述手部在所述移动开始时间点的所述定位来指定所述可选择区域的方向，比较所述手部的指定的所述移动方向与所述可选择区域的指定的所述方向，并且计算代表方向的差异程度的方向差异程度或者代表方向的匹配程度的方向匹配程度；以及
基于所述形状差异程度或者所述形状匹配程度和所述方向差异程度或者所述方向匹配程度，来确定所述用户的所述输入是否为对可选择区域的所述选择操作或者为与所述选择操作不同的手势操作，所述手部的形状改变由移动的所述手部引起。
7.一种用于基于用户的手部在与显示经受到选择操作的一个或者多个可选择区域的操作屏幕关联的拾取的图像中的运动来确定所述用户的输入的输入方法，所述方法包括：
检测所述手部的移动开始时间点及其移动暂停时间点；
针对每个预定时间间隔比较所述手部在当前时间点的形状与所述手部在确定的时间段之前的形状，并且计算代表形状的差异程度的形状差异程度或者代表形状的匹配程度的形状匹配程度；以及
针对所述每个预定时间间隔比较在所述当前时间点的移动方向与在先前时间点的移动方向，并且计算代表方向的差异程度的方向差异程度或者代表方向的匹配程度的方向匹配程度；
用预定权值将所述形状差异程度或者所述形状匹配程度和所述方向差异程度或者所述方向匹配程度相加，以所述移动开始时间点作为累积开始时间点将针对所述每个预定时间间隔的相加值累积地相加，在累积的所述相加值超过预定阈值时确定所述用户的所述输入是手势操作，并且在累积的所述相加值直至所述移动暂停时间点或者在累积的开始之后的预定时间段内未超过所述预定阈值时确定所述用户的所述输入是对所述可选择区域的所述选择操作。
CN201380043996.8A 2012-08-17 2013-08-13 输入设备和输入方法 Active CN104584080B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012181223A JP5665140B2 (ja) 2012-08-17 2012-08-17 入力装置、入力方法、及びプログラム
JP2012-181223 2012-08-17
PCT/JP2013/071893 WO2014027666A1 (ja) 2012-08-17 2013-08-13 入力装置、入力方法、及び記憶媒体

Publications (2)

Publication Number Publication Date
CN104584080A CN104584080A (zh) 2015-04-29
CN104584080B true CN104584080B (zh) 2017-03-01

Family

ID=50286613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380043996.8A Active CN104584080B (zh) 2012-08-17 2013-08-13 输入设备和输入方法

Country Status (10)

Country Link
US (1) US9753545B2 (zh)
EP (1) EP2887318A4 (zh)
JP (1) JP5665140B2 (zh)
KR (1) KR101624215B1 (zh)
CN (1) CN104584080B (zh)
CA (1) CA2882004A1 (zh)
HK (1) HK1207192A1 (zh)
IL (1) IL237225A0 (zh)
TW (1) TWI543018B (zh)
WO (1) WO2014027666A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
JP6178741B2 (ja) * 2013-09-24 2017-08-09 京セラドキュメントソリューションズ株式会社 電子機器
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US10168786B2 (en) * 2014-02-18 2019-01-01 Mitsubishi Electric Corporation Gesture guidance device for moving platform, gesture guidance system for moving platform, and gesture guidance method for moving platform
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
JP6579866B2 (ja) * 2015-08-31 2019-09-25 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
JP6650595B2 (ja) * 2015-09-24 2020-02-19 パナソニックＩｐマネジメント株式会社 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体
EP3182250B1 (en) 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
CA2999057C (en) * 2016-04-27 2023-12-05 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP2018005815A (ja) * 2016-07-08 2018-01-11 大日本印刷株式会社 入力システム及びその入力装置
US10162422B2 (en) * 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
JP6719434B2 (ja) * 2017-09-25 2020-07-08 Kddi株式会社 機器制御装置、機器制御方法及び機器制御システム
JP6958951B2 (ja) * 2018-03-02 2021-11-02 Ｎｅｃソリューションイノベータ株式会社 操作推定装置、操作推定方法、及びプログラム
CN111062312B (zh) * 2019-12-13 2023-10-27 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
JP7489048B2 (ja) * 2020-06-01 2024-05-23 国立研究開発法人産業技術総合研究所 ジェスチャ認識装置、システム及びそのプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236414A (zh) * 2011-05-24 2011-11-09 北京新岸线网络技术有限公司 三维显示空间中的图片操作方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5239328B2 (ja) 2007-12-21 2013-07-17 ソニー株式会社 情報処理装置及びタッチ動作認識方法
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
JP5114795B2 (ja) 2010-01-29 2013-01-09 島根県 画像認識装置および操作判定方法並びにプログラム
IL204436A (en) * 2010-03-11 2016-03-31 Deutsche Telekom Ag A system and method for remote control of online TV by waving hands
JP2011204019A (ja) 2010-03-25 2011-10-13 Sony Corp ジェスチャ入力装置、ジェスチャ入力方法およびプログラム
JPWO2011142317A1 (ja) * 2010-05-11 2013-07-22 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
JP2011248606A (ja) 2010-05-26 2011-12-08 Canon Inc 表示制御装置および表示制御方法
US9262015B2 (en) * 2010-06-28 2016-02-16 Intel Corporation System for portable tangible interaction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236414A (zh) * 2011-05-24 2011-11-09 北京新岸线网络技术有限公司 三维显示空间中的图片操作方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于交互行为分析的手势跟踪方法;冯志全 等;《计算机集成制造系统》;20120131;第18卷(第1期);31-39 *

Also Published As

Publication number Publication date
TWI543018B (zh) 2016-07-21
HK1207192A1 (zh) 2016-01-22
EP2887318A1 (en) 2015-06-24
US9753545B2 (en) 2017-09-05
EP2887318A4 (en) 2016-04-27
KR20150034258A (ko) 2015-04-02
KR101624215B1 (ko) 2016-06-07
IL237225A0 (en) 2015-04-30
WO2014027666A1 (ja) 2014-02-20
JP2014038527A (ja) 2014-02-27
CN104584080A (zh) 2015-04-29
CA2882004A1 (en) 2014-02-20
TW201423482A (zh) 2014-06-16
US20150234469A1 (en) 2015-08-20
JP5665140B2 (ja) 2015-02-04

Similar Documents

Publication Publication Date Title
CN104584080B (zh) 输入设备和输入方法
CN108509113B (zh) 信息处理设备、信息处理方法和计算机可读记录介质
US11118928B2 (en) Method for providing map information and electronic device for supporting the same
JP5148700B2 (ja) 入力検出装置、入力検出方法、プログラムおよび記録媒体
CN104126161B (zh) 使用状态确定的交互绘图识别
CN103262008B (zh) 智能无线鼠标
CN108245888A (zh) 虚拟对象控制方法、装置及计算机设备
US20120210254A1 (en) Information processing apparatus, information sharing method, program, and terminal device
CN104081307A (zh) 图像处理装置、图像处理方法和程序
CN105320275B (zh) 可穿戴设备和操作可穿戴设备的方法
CN103562820B (zh) 目标歧义消除和校正
JP2016507793A (ja) 基準座標系の決定
US11054930B2 (en) Electronic device and operating method therefor
US8922351B2 (en) Display apparatus, information processing system, recording medium and television receiver
US10140002B2 (en) Information processing apparatus, information processing method, and program
CN105900056A (zh) 辅助显示器的悬停敏感控制
CN102918477B (zh) 装置、方法、计算机程序和用户接口
US9170732B2 (en) Information input device, information input method, and information input program
US9507436B2 (en) Storage medium having stored thereon information processing program, information processing system, information processing apparatus, and information processing execution method
CN106775411A (zh) 显示控制方法及系统
TW201101146A (en) System and method of distinguishing multiple touch points
CN106325699B (zh) 应用程序的启动方法和装置
US9047244B1 (en) Multi-screen computing device applications
CN106406572A (zh) 光标的控制方法和装置
JP2012221358A (ja) 電子機器、手書き入力方法、および手書き入力プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1207192

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1207192

Country of ref document: HK