CN104834410B - 输入装置以及输入方法 - Google Patents

输入装置以及输入方法 Download PDF

Info

Publication number
CN104834410B
CN104834410B CN201510003742.4A CN201510003742A CN104834410B CN 104834410 B CN104834410 B CN 104834410B CN 201510003742 A CN201510003742 A CN 201510003742A CN 104834410 B CN104834410 B CN 104834410B
Authority
CN
China
Prior art keywords
hand
unit
movement
detect
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510003742.4A
Other languages
English (en)
Other versions
CN104834410A (zh
Inventor
杉山润
下远野享
野村良太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN104834410A publication Critical patent/CN104834410A/zh
Application granted granted Critical
Publication of CN104834410B publication Critical patent/CN104834410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及输入装置以及输入方法，在使用手来模拟定位设备的输入操作的情况下，用户的使用便利性较好、且误操作较少。该输入装置具备：拍摄单元，其拍摄被拍摄体来获取图像；检测单元，其对由上述拍摄单元获取到的图像进行解析，来检测手是否正接触规定的物体，在检测出上述手正接触到述规定的物体的情况下，检测上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方；以及操作指示单元，其进行与由上述检测单元检测出的上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方对应的输入操作，来模拟定位设备的输入操作。

Description

输入装置以及输入方法
技术领域
本发明涉及输入装置、以及输入方法。
背景技术
信息处理装置的画面操作、数据输入一般除了基于键盘的操作以外，是基于鼠标、触摸板、跟踪点、以及触摸笔等定位设备的操作。
近年来，作为信息处理装置的输入接口，提出了一种使用手势输入的方法。在基于手势输入的输入接口中，使用相机来拍摄手指，并根据该拍摄图像实时识别手指的手势来进行模拟鼠标的输入处理。
然而，在该基于手势输入的方法中，由于没有支承手的物体，所以在长时间作业中较疲劳，与通常的操作鼠标的感觉大不相同。另外，在开启手势输入的情况下，由于没有鼠标功能的Active/Idle的基准，所以若在相机的拍摄范围内没有意图地放置手或移动手，则成为误动作的原因。
这里，提及了鼠标，但在通过手势模拟其它定位设备的情况下也会产生同样的问题
专利文献1：日本特开2013－15877号公报
专利文献2：日本特开2010－267220号公报
【非专利文献1】P.Mistry,P.Maes.Mouseless-a Computer Mouse as Small asInvisible.To be appear in CHI2011.Interactivity.Vancouver,BC,canada.2011
发明内容
本发明是鉴于上述情况而完成的，其课题在于，提供一种在使用手来模拟定位设备的输入操作的情况下用户的使用便利性较好、且误操作较少的输入装置、以及输入方法。
为了解决上述课题、实现目的，本发明的特征在于，具备：拍摄单元，其拍摄被拍摄体来获取图像；检测单元，其对由上述拍摄单元获取到的图像进行解析，来检测手是否正接触规定的物体，在检测出上述手正接触上述规定的物体的情况下，检测上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方；以及操作指示单元，其进行与由上述检测单元检测出的上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方对应的输入操作，来模拟定位设备的输入操作。
另外，根据本发明的优选方式，希望上述检测单元包括：平面检测单元，其对由上述拍摄单元获取到的图像进行解析，来检测用于使上述规定的物体进行动作的动作平面；物体检测单元，其对由上述拍摄单元获取到的图像进行解析，来检测上述规定的物体；手接触检测单元，在由上述物体检测单元检测出上述规定的物体的情况下，该手接触检测单元对上述图像进行解析，来检测手是否正接触上述规定的物体；以及动作检测单元，在由上述手接触检测单元检测出手正接触上述规定的物体的情况下，该动作检测单元检测上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方。
另外，根据本发明的优选方式，希望具备通过上述拍摄单元拍摄上述规定的物体并进行登记的登记单元，上述检测单元对被上述登记单元登记的规定的物体进行检测。
另外，根据本发明的优选方式，希望上述检测单元在检测出手正接触上述规定的物体之后检测出手从上述规定的物体离开的情况下，使上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方的检测停止。
另外，根据本发明的优选方式，希望上述定位设备是鼠标，上述操作指示单元根据由上述检测单元检测出的上述规定的物体的移动来使光标移动，另外，进行与第1手指或者第2手指对上述规定的物体的操作对应的左按钮或者右按钮的点击操作。
另外，根据本发明的优选方式，希望上述拍摄单元是3D相机，获取被拍摄体的三维图像。
另外，为了解决上述的课题、实现目的，本发明的特征在于，包括：拍摄工序，拍摄被拍摄体来获取图像；检测工序，对通过上述拍摄工序获取到的图像进行解析，来检测手是否正接触规定的物体，在检测出上述手正接触上述规定的物体的情况下，检测上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方；以及操作指示工序，进行与由上述检测工序检测出的上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方对应的输入操作，来模拟定位设备的输入操作。
另外，为了解决上述的课题、实现目的，本发明是被搭载于输入装置的程序，使计算机执行如下工序：拍摄工序，拍摄被拍摄体来获取图像；检测工序，对通过上述拍摄工序获取到的图像进行解析，来检测手是否正接触规定的物体，在检测出上述手正接触上述规定的物体的情况下，检测上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方；以及操作指示工序，进行与通过上述检测工序检测出的上述规定的物体的移动以及手对上述规定的物体的动作中的至少一方对应的输入操作，来模拟定位设备的输入操作。
根据本发明所涉及的输入装置，起到能够提供一种在使用手来模拟定位设备的输入操作的情况下，用户的使用便利性较好、且误操作较少的输入装置这一效果。
附图说明
图1是本实施方式所涉及的输入装置的概念图。
图2－A是作为应用了本实施方式所涉及的输入装置的信息处理装置的笔记本型PC的简要外观图(其1)。
图2－B是作为应用了本实施方式所涉及的输入装置的信息处理装置的笔记本型PC的简要外观图(其2)。
图3是表示笔记本型PC的简要的硬件构成例的图。
图4是表示鼠标模拟用应用程序的功能构成的图。
图5是用于说明鼠标模拟用应用程序的处理的概略的流程图。
符号说明
1…输入装置；2…拍摄单元；3…检测单元；4…操作指示单元；10…动作平面；11…规定的物体；12…手；20…PC；22…主体侧框体；23…显示器侧框体；24…输入部；25…LCD(液晶显示器)；26…3D相机；27a、27b…连结部；28…光标；30…HID物体；31…手；31a…第1手指；31b…第2手指；32…动作平面；41…CPU；42…ROM；43…存储器；44…HDD(硬盘)；45…OS；46…驱动器；47…鼠标模拟用应用程序；48…其它应用程序；50…3D相机设备；51…通信设备；52…电池；53…DC－DC转换器；54…AC适配器；55…USB端口；56…相机处理电路；61…HID物体登记部；62…HID有效/无效判定部；63…HID模拟部；71…平面检测部；72…HID物体检测部；73…手接触检测部；81…HID物体坐标追踪部；82…手指操作追踪部；83…操作指示部。
具体实施方式
以下，基于附图，详细地对该发明所涉及的输入装置、其输入方法以及计算机可执行的程序进行说明。本发明的构成要素一般在本说明书的附图中示出，但能够容易理解为可通过各种构成广泛多样地配置、设计。因此，针对本发明的装置、方法以及程序的实施方式的以下更详细的说明并不限定技术方案的范围所示的本发明的范围，只表示本发明所选择的实施方式的一个例子，与本说明书的技术方案的范围所示的本发明没有矛盾，只表示针对装置、方法以及程序选择出的实施方式。本领域技术人员可知即使没有一个以上特定的细节，或者即使通过其它方法、部件、材料也能够实现本发明。
(实施方式)
图1是本实施方式所涉及的输入装置的概念图。图1所示的输入装置1能够由硬件、软件模块，或者其组合构成。
如图1所示，输入装置1具备拍摄单元2、检测单元3以及操作指示单元4等。
拍摄单元2将拍摄被拍摄体而得到的图像(动态图像)输出给检测单元3。拍摄单元2例如是3D相机，可以获取被拍摄体的三维图像。
检测单元3对由拍摄单元2获取的图像进行解析，来检测手12是否正接触规定的物体11，在检测出手12正接触规定的物体11的情况下，检测规定的物体11的移动以及手12相对规定的物体11的动作中的至少一方，并将该检测结果输出给操作指示单元4。规定的物体11优选是用户能够在桌子上使其移动的部件，例如可使用橙子、箱子、移动电话、智能手机、笔等各种物体。
操作指示单元4进行与由检测单元3检测出的、规定的物体11的移动以及手12相对规定的物体11的动作中的至少一方对应的输入操作，对定位设备的输入操作进行模拟。由此，用户通过利用手12使规定的物体11移动，或利用手12对规定的物体11进行操作，能够进行与定位设备同样的输入操作。定位设备例如是鼠标、触摸板、跟踪点以及触摸笔等。
另外，也可以具备通过拍摄单元2拍摄规定的物体11并进行登记的登记单元。该情况下，检测单元3也可以对由登记单元登记的规定的物体11进行检测。由此，用户能够登记所希望的物体，并利用手操作所希望的物体11来进行与定位设备同样的输入操作。
另外，检测单元3可以构成为具备：平面检测单元5，其对由拍摄单元2获取到的图像进行解析，来检测用于使规定的物体11动作的动作平面10；物体检测单元6，其对由拍摄单元2获取到的图像进行解析，来检测规定的物体11；手接触检测单元7，在由物体检测单元6检测出规定的物体11的情况下，该手接触检测单元7对图像进行解析来检测手12是否正接触规定的物体11；以及动作检测单元8，在由手接触检测单元7检测出手12正接触规定的物体11的情况下，该动作检测单元8检测规定的物体11的移动以及手12相对规定的物体11的动作中的至少一方，并将该检测结果输出给操作指示单元4。由此，能够通过简单的方法检测出规定的物体11的移动、手12相对规定的物体11的动作。
另外，检测单元3也可以在检测出手12正接触规定的物体11后，当检测出手12与规定的物体11分离时，使检测中的规定的物体11的移动以及/或者手相对规定的物体的动作的检测停止。由此，由于在用户从规定的物体11放开手12的情况下，检测被中断，所以通过用户从规定的物体11放开手12，能够使输入操作中断。
另外，模拟的定位设备也可以为鼠标。操作指示单元4也可以根据由检测单元3检测出的规定的物体11的移动来使光标移动，还进行与第1手指或者第2手指对规定的物体11的操作对应的左按钮或者右按钮的点击操作。由此，能够使用规定的物体11和手12来进行与鼠标同样的输入操作。
此外，在想要只进行光标的移动操作的情况下(例如，模拟触摸板的情况下)，可以成为仅检测规定的物体11的移动的构成，另外，在想要只进行点击操作的情况下(例如，仅模拟触笔的点击按钮的情况下)，可以成为仅检测手指对规定的物体11的操作的构成。即，只要模拟想要利用规定的物体进行的操作即可。
如以上说明那样，根据本实施方式，由于拍摄单元2拍摄被拍摄体来获取图像，检测单元3对由拍摄单元2获取到的图像进行解析，检测手是否正接触规定的物体，并在检测出手正接触规定的物体的情况下，检测规定的物体11的移动以及手针对规定的物体11的动作中的至少一方，操作指示单元4进行与由检测单元3检测出的、规定的物体11的移动以及手12针对规定的物体11的动作中的至少一方对应的输入操作，来模拟定位设备的输入操作，所以在使用手来模拟定位设备的输入操作的情况下，用户的使用便利性较好、且能够防止因用户无意图的手的动作等引起的用户不希望的输入操作。
(实施例)
图2－A以及图2－B是作为应用了本实施方式所涉及的输入装置的信息处理装置的笔记本型PC20的示意外观图。笔记本型PC20如图2－A所示，具备均为近似长方体的主体侧框体22以及显示器侧框体23。主体侧框体22具备：具有键盘以及触摸板等的输入部24。显示器侧框体23具备LCD(液晶显示器)25、以及在LCD25的显示面侧被配置于其上方的大致中央并能够拍摄前方的被拍摄体的3D相机26。3D相机26例如能够使用立体相机。
主体侧框体22以及显示器侧框体23在各自的端部通过一对连结部(铰接部)27a、27b连结，连结部27a、27b以开闭自如的方式支承这些框体。
如上所述，在仅通过手势来模拟鼠标操作的方法中，由于没有支承手的物体，所以在长时间作业中手的疲劳变大，另外，与操作鼠标的感觉大不相同。鉴于此，在本实施例中，通过用手操作HID物体来模拟鼠标操作，从而利用HID物体支承手，即使在长时间作业中手的疲劳也较少，另外，可进行与操作鼠标相同感觉下的输入操作。这里，作为一个例子，对使用橙子作为HID物体30的情况进行说明。
如图2－A所示，用户将所希望的HID物体30置于动作平面32上，通过3D相机26拍摄HID物体30来登记HID物体30。如图2－B所示，用户握住已登记的HID物体30，利用手31在动作平面32上移动物体30，进行显示于LCD25的光标28的移动操作，另外，使手31的手指31a、31b相对于HID物体30进行按下操作，从而进行左右的点击操作。
图3是表示上述笔记本型PC20的简要硬件构成例的图。笔记本型PC20如该图所示，具备CPU41、ROM42、存储器43、HDD(硬盘)44、LCD25、输入部24、3D相机设备50、通信设备51、电池52、DC－DC转换器53、AC适配器54、以及USB端口55等，各部经由总线直接或者间接连接。
CPU41承担通过经由总线而连接的HDD44中储存的OS45来进行笔记本型PC20整体的控制，并且，基于HDD44中储存的各种程序来执行处理的功能。ROM42储存有BIOS(BasicInput/Output System：基本输入输出系统)42a、数据等。
存储器43由高速缓存、RAM构成，是被利用为CPU41的执行程序的读入区域、写入执行程序的处理数据的作业区域的可写入的存储器。
HDD(硬盘)44例如具有对Windows(注册商标)XP、Vista、7、8等用于进行笔记本型PC20整体的控制的OS45、用于对外围设备类进行硬件操作的各种驱动器46、鼠标模拟用应用程序47、面向特定业务的其它应用程序48等进行存储的功能。
OS45是控制笔记本型PC20的基本动作的系统，管理各种资源，例如将应用程序产生的命令传递给各种驱动器46、BIOS42a。OS45具有多任务功能以及多窗口功能，构成为还进行应用程序的执行上下文(某个应用程序利用的寄存器组、主存图像、文件句柄等)、GUI的部件等软件资源的管理。OS45对应用程序和各设备驱动器之间的数据或者指令的收发进行中介。
各种驱动器46例如是按照OS45的指示来控制LCD25的显示驱动器、按照OS45的指示来控制3D相机设备50的相机驱动器、按照OS35的指示来控制鼠标的鼠标驱动器、按照OS45的指示来控制通信设备51的通信驱动器等。
鼠标模拟用应用程序47是用于通过手来操作用户登记的HID物体30，进行与鼠标同样的输入操作的应用程序。其它应用程序48是浏览器、邮件、文字处理机、表计算等的程序。
LCD25按照CPU41的控制，将显示信息变换为视频信号，并在显示画面显示与变换后的视频信号对应的各种信息。
此外，在本实施方式中，使用LCD作为显示器，但本发明并不限于此，也可以使用有机EL显示器、CRT等其它显示器。
输入部24是用户用于进行输入操作的用户接口，具备由输入文字、指令等的各种按键构成的键盘、使画面上的光标移动或选择各种菜单的触摸板等。
3D相机设备50具备立体相机等3D相机26、和相机处理电路56。3D相机26具备透镜、拍摄部(CCD或CMOS)，透镜对被拍摄体光进行成像，拍摄部将成像后的被拍摄体光作为R、G、B的图像信号进行输出。相机处理电路56具备A/D变换器、图像处理用LSI、存储器等，进行拍摄部的驱动定时、曝光控制等，并且对由拍摄部得到的RGB的图像信号进行信号处理(包括三维图像的生成处理)，将三维的图像输出给CPU41。
通信设备51是用于经由网络来进行数据的收发的设备，将图像数据以及声音数据发送给网络，另外，接收经由网络发送来的图像数据以及声音数据。此外，通信设备51也可以对图像数据以及声音数据进行编码并发送，另外，在接收到被编码的图像数据以及声音数据的情况下，也可以解码。能够在USB端口55连接USB设备(例如，USB鼠标等)。
AC适配器54与工业电源连接，将AC电压变换为DC电压并输出给DC－DC转换器53。DC－DC转换器53将由AC适配器54供给的DC电压变换为规定的电压并向各部供给电力，另外，进行电池52的充电。电池52由DC－DC转换器53进行充电，并将充电后的电压向各部供给。在AC适配器54未与工业电源连接的情况下使用电池53。
参照图4以及图5，对由鼠标模拟用应用程序47实现的鼠标模拟处理进行说明。在鼠标模拟处理中，利用3D相机设备50对已登记的HID物体30以及操作HID物体30的操作者的手31进行拍摄。鼠标模拟用应用程序47对来自3D相机设备50的图像进行图像处理，并进行解析，从而检测HID物体30的移动以及由手31的手指31a、31b实现的(虚拟的)左点击或者(虚拟的)右点击操作。鼠标模拟用应用程序47进行与这些检测结果对应的光标28的移动、左右点击处理。
图4是表示鼠标模拟用应用程序47的功能构成的图。鼠标模拟用应用程序47具备HID物体登记部61、HID有效/无效判定部62、以及HID模拟部63。
HID物体登记部61利用3D相机设备50拍摄HID物体30，并进行登记。具体而言，HID物体登记部61在LCD25显示用于使用户登记HID物体30的引导，用户按照引导，在3D相机26的拍摄区域内放置所希望的HID物体30。3D相机26拍摄HID物体30，HID物体登记部61将拍摄到的HID物体30的三维图像登记至存储器。该情况下，优选使HID物体30旋转，从多个方向进行拍摄。
例如，在图2－A所示的例子中，若用户按照HID物体登记部61在LCD25显示的引导(未图示)，在3D相机设备50的3D相机26的拍摄区域内放置橙子30，则3D相机设备50拍摄橙子30，HID物体登记部61将拍摄到的橙子的三维图像登记至存储器。由此，例如用户在忘记了鼠标的情况下等通过登记身边的物体，能够通过与鼠标类似的操作来进行模拟的鼠标输入。
HID有效/无效判定部62具备平面检测部71、HID物体检测部72、和手接触检测部73。平面检测部71对3D相机设备50拍摄到的图像进行解析，来检测是否有动作平面32。由于平面的检测方法能够使用公知方法，所以省略其详细的说明。这里，动作平面32是用于确保HID物体30的动作的平面，只要是规定大小以上的平面即可，其颜色没有限定。
HID物体检测部72对来自3D相机设备50的图像进行解析，来检测在动作平面32上是否有被HID物体登记部61登记的HID物体30。在HID物体检测部72检测出HID物体30的情况下，手接触检测部73对来自3D相机设备50的图像进行解析，来检测手31是否正接触HID物体30，在手31正接触HID物体30的情况下，将该情况通知给HID模拟部63。由此，HID模拟部63对HID物体30的跟踪(Tracking)为激活(Active)(鼠标功能为激活)。其中，由于手的检测方法是公知的，所以省略其详细的说明。
在从手接触检测部73有手31正接触HID物体30的通知的情况下，HID模拟部63开始HID物体30的跟踪。HID模拟部63具备HID物体坐标追踪部81、手指操作追踪部82、和操作指示部83。
HID物体坐标追踪部81通过对来自3D相机设备50的图像进行解析，检测HID物体30的坐标位置，来检测HID物体30的移动，并将其移动方向以及移动量输出给操作指示部83。更具体而言，HID物体坐标追踪部81在检测出HID物体30的三维坐标位置(X3D，Y3D，Z3D)后，变换为二维坐标位置(X2D，Y2D)。由于三维－二维坐标变换能够使用公知方法，所以省略其详细的说明。三维坐标位置(X3D，Y3D，Z3D)能够作为HID物体30的重心位置或中心位置。坐标追踪部81计算出HID物体30在二维坐标中的移动方向以及移动量，并输出给操作指示部83。
手指操作追踪部82分别对第1手指31a分配鼠标的右按钮的功能，对第2手指31b分配鼠标的左按钮的功能，对来自3D相机设备50的图像进行解析，来检测第1手指31a或者第2手指31b的坐标，由此监视第1手指31a或者第2手指31b对HID物体30的按下动作(参照图2－B)。手指操作追踪部82能够在例如第1手指31a或者第2手指31b从HID物体30暂时离开后检测出按压(接触)HID物体30的动作的情况下，判定为右按钮或者左按钮被点击。手指操作追踪部82判定右按钮或者左按钮是否被点击，并将该判定结果输出给操作指示部83。被分配鼠标的右按钮以及左按钮的功能的手指并不限于第1手指31a、第2手指31b，也可以分配给其它手指。
操作指示部83根据由HID物体坐标追踪部81输入的HID物体30的移动方向以及移动量来使光标28移动。另外，在从手指操作追踪部82有进行了右按钮或者左按钮的点击的通知的情况下，操作指示部83执行右点击操作或者左点击操作。
图5是用于说明图4的鼠标模拟用应用程序47的处理的概略的流程图。若鼠标模拟用应用程序47起动，则鼠标模拟用应用程序47使3D相机设备50起动，总是拍摄三维图像并使其输出。
首先，HID物体登记部61通过3D相机设备50拍摄HID物体30，并登记其三维图像(步骤S1)。
平面检测部71对3D相机设备50拍摄到的图像进行解析，来判定是否有动作平面32(步骤S2)。在平面检测部71判定为有动作平面32的情况下(步骤S2的“是”)，HID物体检测部72对由3D相机设备50拍摄到的图像进行解析，来判定在动作平面32上是否有被HID物体登记部61登记的HID物体30(步骤S3)。在由HID物体检测部72判定为在动作平面32上有被HID物体登记部61登记的HID物体30的情况下(步骤S3的“是”)，手接触检测部73对来自3D相机设备50的图像进行解析，来判定手31是否正接触HID物体30(步骤S4)。
在判定为手31正接触HID物体30的情况下(步骤S4的“是”)，手接触检测部73将该情况通知给HID模拟部63。由此，由HID模拟部63对HID物体30的跟踪为激活(鼠标功能为激活)。这样，由于在检测出手31正接触HID物体30的情况下鼠标功能为激活，所以能够防止因手的动作引起的误操作。
在步骤S5中，HID物体坐标追踪部81对来自3D相机设备50的图像进行解析，来判定HID物体30是否移动(步骤S5)。HID物体坐标追踪部81在判定为HID物体30移动了的情况下(步骤S5的“是”)，将HID物体30的移动方向以及移动量输出给操作指示部83。操作指示部83根据HID物体30的移动方向以及移动量来使光标移动(步骤S6)。在判定为HID物体30未移动的情况下(步骤S5的“否”)，移至步骤S7。
在步骤S7中，手指操作追踪部82判定是否对HID物体30进行了第1手指31a或者第2手指31b的按下。在对HID物体30进行了第1手指31a或者第2手指31b的按下的情况下(步骤S7的“是”)，将进行了右点击或者左点击的信息输出给操作指示部83，操作指示部83执行右点击操作或者左点击操作(步骤S8)。
在未对HID物体30进行第1手指31a或者第2手指31b的按下的情况下(步骤S7的“否”)，移至步骤S9。在步骤S9中，手接触检测部73判定手31是否从HID物体30离开(手31未放置在HID物体30的状态)。在手31未从HID物体30离开的情况下(步骤S9的“否”)，返回到步骤S5。
另一方面，在手31从HID物体30离开了的情况下(步骤S9的“是”)，返回到步骤S2，由HID模拟部63对HID物体30的跟踪成为非激活(Idle)(鼠标功能成为非激活)，再次进行动作平面30、已登记的HID物体30、手对已登记的HID物体30的接触的检测(步骤S2～S4)，在检测出这些的情况下，由HID模拟部63对HID物体30的跟踪为激活(鼠标功能为激活)。这样，能够通过用户从HID物体30放开手31，使鼠标功能的使用中断，只要在用户使用鼠标功能时，将手放置到HID物体30上即可，与仅通过手势的手法相比，用户的使用便利性提高。
如以上说明那样，根据上述实施例，由于具备：3D相机设备50，其拍摄被拍摄体来获取三维图像；HID物体登记部61，其通过3D相机设备50来拍摄HID物体，并进行登记；平面检测部71，其对由3D相机设备50拍摄到的图像进行解析，来检测用于使HID物体30进行动作的动作平面32；HID物体检测部72，其对由3D相机设备50拍摄到的图像进行解析，并检测已登记的HID物体30；手接触检测部73，在检测出由HID物体检测部72登记的HID物体30的情况下，该手接触检测部73对由3D相机设备50拍摄到的图像进行解析，来检测手31是否正接触HID物体30；HID物体坐标追踪部81以及手指操作追踪部82，在由手接触检测部73检测出手31正接触HID物体30的情况下，检测HID物体30的移动以及手指对HID物体30的按下动作；以及操作指示部83，其根据HID物体30的移动以及手指对HID物体30的按下动作来进行光标28的移动以及左右点击操作，并模拟鼠标的输入操作，所以在使用手来模拟鼠标的输入操作的情况下，用户的使用便利性较好、且能够减少误操作。
根据本实施例，由于利用手操作HID物体30来模拟鼠标操作，所以能够通过HID物体30支承手，手的疲劳较少，另外，能够进行与操作鼠标相同感觉下的输入操作。
另外，由于仅在利用手触摸HID物体30时鼠标功能为有效，所以能够减少误操作、误检测。
此外，在上述实施例中，表示了通过第1以及第2手指31a、31b对HID物体30的按下进行左按钮操作以及右按钮操作的例子，但也可以使用第3手指来进行滚动按钮的操作。
另外，表示了通过第1以及第2手指31a、31b对HID物体30的按下来进行左按钮操作以及右按钮操作的例子，但本发明并不限于此。
例如，在HID物体30具有特征形状的部分的情况下，鼠标模拟用应用程序47可以成为在检测出手指接触到该特征形状的部分的情况下，进行规定的输入操作的构成。更具体而言，例如在将HID物体30设为智能电话的情况下，也可以当检测出手指接触到智能电话的主画面按钮时进行左点击操作，当检测出手指接触到智能电话的话筒时，进行右点击操作。
另外，在HID物体30具有规定颜色的区域的情况下，鼠标模拟用应用程序47也可以成为在检测出手指接触到该规定颜色的区域的情况下，进行规定的操作的构成。更具体而言，例如在HID物体30具有红色区域和蓝色区域的情况下，也可以当检测出手指接触到HID物体30的红色区域时进行左点击操作，当检测出手指接触到HID物体30的蓝色区域时，进行右点击操作。
此外，在本实施例中，鼠标模拟用应用程序47执行鼠标模拟处理，但也可以由驱动器程序、实用程序或者OS执行。并且，3D相机设备50也可以执行鼠标模拟处理的一部分或者全部。
另外，在本实施例中，作为信息处理装置，例示了笔记本型PC，但本发明并不限于此，能够应用于台式PC、平板PC、PDA、智能电话、移动电话等。
工业上的可利用性
如上所述，本发明所涉及的输入装置、输入方法以及计算机可执行的程序能够广泛利用于对定位设备的输入操作进行模拟的情况。

Claims (7)

1.一种输入装置，其特征在于，具备：
拍摄单元，其拍摄被拍摄体来获取图像；
检测单元，其对由所述拍摄单元获取到的图像进行解析，来检测手是否正接触规定的物体，在检测出所述手正接触所述规定的物体的情况下，检测所述规定的物体的移动以及手对所述规定的物体的动作中的至少一方，所述规定的物体为用户能够在桌子上使其移动的部件，通过所述规定的物体模拟鼠标操作；以及
操作指示单元，其进行与由所述检测单元检测出的所述规定的物体的移动以及手对所述规定的物体的动作中的至少一方对应的输入操作，来模拟定位设备的输入操作，所述定位设备包括鼠标、触摸板、跟踪点或触摸笔。
2.根据权利要求1所述的输入装置，其特征在于，
所述检测单元包括：
平面检测单元，其对由所述拍摄单元获取到的图像进行解析，来检测用于使所述规定的物体进行动作的动作平面；
物体检测单元，其对所述图像进行解析，来检测所述规定的物体；
手接触检测单元，在由所述物体检测单元检测出所述规定的物体的情况下，该手接触检测单元对所述图像进行解析，来检测手是否正接触所述规定的物体；以及
动作检测单元，在由所述手接触检测单元检测出手正接触所述规定的物体的情况下，该动作检测单元对所述图像进行解析，来检测所述规定的物体的移动以及手对所述规定的物体的动作中的至少一方。
3.根据权利要求1或者2所述的输入装置，其特征在于，
所述输入装置具备利用所述拍摄单元拍摄所述规定的物体并进行登记的登记单元，
所述检测单元对被所述登记单元登记了的规定的物体进行检测。
4.根据权利要求1～2中任意一项所述的输入装置，其特征在于，
所述检测单元在检测出手正接触所述规定的物体之后检测到手从所述规定的物体离开的情况下，使所述规定的物体的移动以及手对所述规定的物体的动作中的至少一方的检测停止。
5.根据权利要求1～2中任意一项所述的输入装置，其特征在于，
所述定位设备是鼠标，
所述操作指示单元根据由所述检测单元检测出的所述规定的物体的移动来使光标移动，另外，进行与第1手指或者第2手指对所述规定的物体的操作对应的左按钮或者右按钮的点击操作。
6.根据权利要求1～2中任意一项所述的输入装置，其特征在于，
所述拍摄单元是3D相机，获取被拍摄体的三维图像。
7.一种输入装置的输入方法，其特征在于，包括：
拍摄工序，拍摄被拍摄体来获取图像；
检测工序，对通过所述拍摄工序获取到的图像进行解析，来检测手是否正接触规定的物体，在检测出所述手正接触所述规定的物体的情况下，检测所述规定的物体的移动以及手对所述规定的物体的动作中的至少一方，所述规定的物体为用户能够在桌子上使其移动的部件，通过所述规定的物体模拟鼠标操作；以及
操作指示工序，进行与通过所述检测工序检测出的所述规定的物体的移动以及手对所述规定的物体的动作中的至少一方对应的输入操作，来模拟定位设备的输入操作，所述定位设备包括鼠标、触摸板、跟踪点或触摸笔。
CN201510003742.4A 2014-02-10 2015-01-05 输入装置以及输入方法 Active CN104834410B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014023778A JP5956481B2 (ja) 2014-02-10 2014-02-10 入力装置、入力方法、及びコンピュータが実行可能なプログラム
JP2014-023778 2014-02-10

Publications (2)

Publication Number Publication Date
CN104834410A CN104834410A (zh) 2015-08-12
CN104834410B true CN104834410B (zh) 2018-11-27

Family

ID=53774902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510003742.4A Active CN104834410B (zh) 2014-02-10 2015-01-05 输入装置以及输入方法

Country Status (3)

Country Link
US (1) US9870061B2 (zh)
JP (1) JP5956481B2 (zh)
CN (1) CN104834410B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048769B2 (en) * 2015-11-18 2018-08-14 Ted Selker Three-dimensional computer-aided-design system user interface
CN106770815B (zh) * 2016-11-24 2019-10-11 浙江三雷模塑有限公司 适用于终端设备的触控优化方法和装置
JP7185493B2 (ja) * 2018-11-05 2022-12-07 株式会社Pfu エミュレータ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694056A (zh) * 2004-05-06 2005-11-09 阿尔派株式会社 操作输入装置及操作输入方法
TW200945174A (en) * 2008-04-14 2009-11-01 Pointgrab Ltd Vision based pointing device emulation
CN102216883A (zh) * 2008-11-12 2011-10-12 苹果公司 生成为放置在表面上的手定制的手势
CN103154858A (zh) * 2010-09-22 2013-06-12 岛根县 操作输入装置与方法及程序
TWI421732B (zh) * 2007-11-27 2014-01-01 Nvidia Corp 整合電腦滑鼠功能在行動通訊裝置中的方法與系統

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
JPH07175587A (ja) * 1993-10-28 1995-07-14 Hitachi Ltd 情報処理装置
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
JP2001265523A (ja) * 2000-03-21 2001-09-28 Sony Corp 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
CN100374998C (zh) * 2005-03-01 2008-03-12 联想(北京)有限公司 一种触控式信息输入装置及方法
EP2296079A3 (en) * 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
DE102007053008A1 (de) * 2007-11-05 2009-05-14 Repetzki, Sebastian, Dr.-Ing. Zielkörper und Verfahren zur Bestimmung seiner räumlichen Lage
US8654187B2 (en) * 2009-06-08 2014-02-18 Panasonic Corporation Work recognition system, work recognition device, and work recognition method
TWI371681B (en) * 2009-09-18 2012-09-01 Primax Electronics Ltd Notebook computer with multi-image capture function
CN102236511B (zh) * 2010-04-30 2015-11-25 腾讯科技（深圳）有限公司 响应操作的方法和装置
US9489040B2 (en) * 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space
JP5167523B2 (ja) * 2010-09-22 2013-03-21 島根県 操作入力装置および操作判定方法並びにプログラム
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
WO2013126905A2 (en) * 2012-02-24 2013-08-29 Moscarillo Thomas J Gesture recognition devices and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694056A (zh) * 2004-05-06 2005-11-09 阿尔派株式会社 操作输入装置及操作输入方法
TWI421732B (zh) * 2007-11-27 2014-01-01 Nvidia Corp 整合電腦滑鼠功能在行動通訊裝置中的方法與系統
TW200945174A (en) * 2008-04-14 2009-11-01 Pointgrab Ltd Vision based pointing device emulation
CN102216883A (zh) * 2008-11-12 2011-10-12 苹果公司 生成为放置在表面上的手定制的手势
CN103154858A (zh) * 2010-09-22 2013-06-12 岛根县 操作输入装置与方法及程序

Also Published As

Publication number Publication date
JP2015152973A (ja) 2015-08-24
US20150227214A1 (en) 2015-08-13
JP5956481B2 (ja) 2016-07-27
CN104834410A (zh) 2015-08-12
US9870061B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
Kim et al. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment
Bai et al. 3D gesture interaction for handheld augmented reality
CN108519817A (zh) 基于增强现实的交互方法、装置、存储介质及电子设备
CN109313812A (zh) 具有上下文增强的共享体验
Sathiyanarayanan et al. Map navigation using hand gesture recognition: A case study using myo connector on apple maps
Grandi et al. Design and evaluation of a handheld-based 3d user interface for collaborative object manipulation
CN107038455A (zh) 一种图像处理方法及装置
Park et al. Design evaluation of information appliances using augmented reality-based tangible interaction
Katzakis et al. INSPECT: extending plane-casting for 6-DOF control
CN104834410B (zh) 输入装置以及输入方法
Chen et al. SEMarbeta: mobile sketch-gesture-video remote support for car drivers
Riduwan et al. Finger-based gestural interaction for exploration of 3D heart visualization
Bai et al. Free-hand gesture interfaces for an augmented exhibition podium
Fuvattanasilp et al. SlidAR+: Gravity-aware 3D object manipulation for handheld augmented reality
Lee et al. Affective property evaluation of virtual product designs
Zhang et al. A hybrid 2D–3D tangible interface combining a smartphone and controller for virtual reality
Giannopoulos et al. Touching the void: exploring virtual objects through a vibrotactile glove
Grinyer et al. Low-Fi VR Controller: Improved Mobile Virtual Reality Interaction via Camera-Based Tracking
Rupprecht et al. Virtual reality meets smartwatch: Intuitive, natural, and multi-modal interaction
Wang et al. Multiple perspectives integration for virtual reality-aided assemblability assessment in narrow assembly spaces
Setthawong et al. Updated Goals Operators Methods and Selection Rules (GOMS) with touch screen operations for quantitative analysis of user interfaces
CN111290583A (zh) 三维立体板书的生成方法、电子设备及教学系统
Knierim et al. The SmARtphone Controller: Leveraging Smartphones as Input and Output Modality for Improved Interaction within Mobile Augmented Reality Environments
McNamara et al. Investigating low-cost virtual reality technologies in the context of an immersive maintenance training application
WO2019127325A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant