CN111886567B - 操作输入装置、操作输入方法及计算机可读的记录介质 - Google Patents

操作输入装置、操作输入方法及计算机可读的记录介质 Download PDF

Info

Publication number
CN111886567B
CN111886567B CN201880090820.0A CN201880090820A CN111886567B CN 111886567 B CN111886567 B CN 111886567B CN 201880090820 A CN201880090820 A CN 201880090820A CN 111886567 B CN111886567 B CN 111886567B
Authority
CN
China
Prior art keywords
projection surface
sensor
operation input
aerial projection
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090820.0A
Other languages
English (en)
Other versions
CN111886567A (zh
Inventor
铃木夏美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of CN111886567A publication Critical patent/CN111886567A/zh
Application granted granted Critical
Publication of CN111886567B publication Critical patent/CN111886567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Abstract

操作输入装置(100)具备显示操作画面的显示装置(10)、将操作画面投影到空中来生成空中投影面(21)的光学板(20)、传感器装置(30)、确定操作输入的控制装置(40)。传感器装置(30)输出包含确定感测区中的物体的二维坐标的信息和到物体(50)的深度的传感器数据。控制装置(40)从传感器数据检测物体(50)在空中投影面(21)中的位置，若物体的一部分位于空中投影面(21)的传感器装置侧，则在传感器数据中设定包围物体(50)的一部分的图形，使用图形的外缘的深度来校正物体(50)的空中投影面(21)上的位置。

Description

操作输入装置、操作输入方法及计算机可读的记录介质
技术领域
本发明涉及能进行基于向显示于空中的画面的触摸的输入操作的操作输入装置以及操作输入方法，进一步涉及记录了用于实现它们的程序的计算机可读的记录介质。
背景技术
近年来，提出一种操作装置，将操作用的画面投影到空中，用户通过触摸投影到空中的画面(以下标记为「空中投影面」)来进行操作输入(例如参考专利文献1)。由专利文献1提出的操作装置由显示装置、将显示装置的画面成像在空中的图像成像板、摄像机、距离传感器、和控制组件构成。
这当中，图像成像板具有使位于特定的位置的图像所放出的光会聚在从图像成像板来看相反侧的相同距离的位置来形成相同图像的功能(例如参考专利文献2)。为此，若从显示于显示装置的画面放出的光通过图像成像板，则画面就被投影在空中。
另外，在上述专利文献1公开的操作装置中，摄像机对空中投影面和用户的手指进行拍摄，将拍摄图像输入到控制组件。距离传感器据此来测定到用户的指尖的距离，将测定的距离输入到控制组件。
控制组件首先将映在拍摄图像的用户的指尖的图像上的位置、和距离传感器中测定的距离代入换算式，来算出用户的手指在空中投影面中的坐标。另外，这时所用的换算式根据空中投影面的位置坐标、和摄像机的信息(位置、视角、焦距等)来预先确定。
接下来，控制组件基于算出的坐标来判定用户的手指与显示于空中投影面的操作用的图标的重叠，基于判定结果来确定用户所进行的输入操作。通过这样的结构，用户能通过触摸显示于空中的画面来进行输入操作。
现有技术文献
专利文献
专利文献1：JP特开2017-62709号公报
专利文献2：JP特开2012-14194号公报
发明内容
发明要解决的课题
但在上述专利文献1公开的操作装置中有如下问题：若用户的指尖位于比空中的操作画面更里侧的位置，就不再能正确地检测空中投影面中的用户的手指的接触位置的坐标。
具体地，若用户的指尖位于比空中的空中投影面更里侧的位置，则由距离传感器测定的距离就会变得比用户所打算的接触位置处的距离短。其结果，例如若设置距离传感器，使得空中投影面的中心位置处的距离最短，则根据上述的换算式，空中投影面中的用户的手指的坐标就会比实际更向画面的中央侧移动。
本发明的目的的一例消除上述问题，提供在用户触摸显示于空中的画面来进行输入操作的情况下，能抑制用户的误操作导致的触摸位置的检测精度的降低的操作输入装置、操作输入方法以及计算机可读的记录介质。
用于解决课题的手段
为了达成上述目的，本发明的一侧面中的操作输入装置的特征在于，具备：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的控制装置，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，所述控制装置从所述传感器数据检测所述物体在所述空中投影面中的位置，进而若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形，然后使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
另外，为了达成上述目的，本发明的一侧面中的操作输入方法的特征在于，使用：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的计算机，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，所述操作输入方法具有如下步骤：(a)通过所述计算机，从所述传感器数据检测所述物体在所述空中投影面中的位置；(b)通过所述计算机，若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形；和(c)通过所述计算机，使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
进而，为了达成上述目的，本发明的一侧面中的计算机可读的记录介质的特征在于，记录有程序，所述程序包含有在操作输入装置中使计算机执行步骤的命令，所述操作输入装置具备：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的计算机，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，在所述操作输入装置中，使所述计算机执行如下步骤：(a)从所述传感器数据检测所述物体在所述空中投影面中的位置；(b)若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形；和(c)使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
发明的效果
如以上那样，根据本发明，在用户触摸显示于空中的画面来进行输入操作的情况下，能抑制用户的误操作导致的触摸位置的检测精度的降低。
附图说明
图1是表示本发明的实施方式中的操作输入装置的结构的结构图。
图2是说明本发明的实施方式中的操作输入装置中所用的传感器装置的功能的图。
图3是表示本发明的实施方式中的操作输入装置中所具备的传感器装置的感测结果的一例的图。
图4是表示本发明的实施方式中的操作输入装置的动作的流程图。
图5是实现本发明的实施方式中的操作输入装置的控制装置的计算机的一例的框图。
具体实施方式
(实施方式)
以下参考图1～图5来说明本发明的实施方式中的操作输入装置、操作输入方法以及程序。
[装置结构]
最初说明本实施方式中的操作输入装置的结构。图1是表示本发明的实施方式中的操作输入装置的结构的结构图。
图1所示的本实施方式中的操作输入装置100是能进行基于向显示于空中的画面的触摸的输入操作的装置。如图1所示那样，操作输入装置100具备显示装置10、光学板20、传感器装置30和控制装置40。
显示装置10显示输入用的操作画面。光学板20将操作画面投影到空中来生成空中投影面21。传感器装置30是用于检测与空中投影面21接触的物体50在三维空间上的位置的装置。在图1的示例中，物体50是进行操作输入的用户的手指。
传感器装置30配置于空中投影面21的背面侧。传感器装置30输出包含用于确定感测区中的物体50的二维坐标的信息、和从传感器装置30到物体50的深度在内的传感器数据。
控制装置40具备操作输入确定部41、图形设定部42和深度校正部43。操作输入确定部41从传感器装置30输出的传感器数据中检测物体50在空中投影面21中的位置。然后，操作输入确定部41对应于检测到的物体50的位置来确定对操作画面进行的操作输入。
另外，图形设定部42若从传感器数据中检测到物体50的一部分位于空中投影面21的传感器装置30侧，就在传感器数据中设定包围该物体的一部分的图形。深度校正部43使用图形设定部42设定的图形的外缘的深度来校正物体50的空中投影面21中的位置。
如此地，在本实施方式中，例如在用户的指尖位于比空中投影面更靠里侧的位置的情况下，对手指的位置进行校正。为此，根据本实施方式，在用户触摸显示于空中的操作画面来进行输入操作的情况下，避免由于用户的误操作而触摸位置的检测精度降低的事态。
接下来，使用图2以及图3来更详细地说明本实施方式中的操作输入装置100的结构以及功能。图2是说明本发明的实施方式中的操作输入装置中所用的传感器装置的功能的图。图3是表示在本发明的实施方式中的操作输入装置中具备的传感器装置的感测结果的一例的图。
首先在本实施方式中，显示装置10是液晶显示装置等。作为光学板20，使用上述的专利文献2公开的图像成像板。光学板20具备如下功能：将显示于显示装置10的画面的图像所放出的光会聚在从图像成像板来看相反侧的相同距离的位置，来形成相同图像。
传感器装置30在本实施方式中是深度传感器。深度传感器若进行感测，就将通过感测得到的图像的图像数据、和对图像的每个像素附加的深度(depth)作为传感器数据来输出。另外，在本实施方式中，作为传感器装置30，可以使用由摄像机和距离传感器构成的装置。
并且，根据传感器数据中所含的图像数据，能确定感测区中的物体50的二维坐标。具体地，如图2所示那样，根据传感器数据中所含的图像数据，能确定物体50中的图像的垂直方向(V轴方向)的位置和图像的水平方向(H轴方向)的位置。另外，根据传感器数据中所含的深度，能确定物体50与传感器装置30在Z轴方向上的距离。Z轴是沿着传感器装置30的感测面的法线的轴。
在本实施方式中，在控制装置40中，操作输入确定部41若接受到传感器数据，就根据图像数据、和对图像的每个像素附加的各深度来确定物体50的最前端侧(传感器装置30侧)的部分的三维空间中的位置。然后，操作输入确定部41将确定的位置换算成空中投影面21上的位置。
具体地，操作输入确定部41首先提取物体50的最前端侧的部分。然后，操作输入确定部41从传感器数据中确定所提取的部分在三维空间中的位置、即X轴上的坐标、Y轴上的坐标以及深度。
然后，如图2所示那样预先决定空中投影面21上的垂直方向(Y轴方向)以及水平方向(X轴方向)、与传感器装置30中的V轴方向、H轴方向以及Z轴方向的位置关系。因此，操作输入确定部41通过将物体50的最前端侧的部分的三维空间中的位置代入根据该位置关系确定的换算式，来检测物体50在空中投影面21的垂直方向上的位置和空中投影面21的水平方向上的位置。
若物体50的一部分位于空中投影面21的传感器装置30侧(图2中以虚线示出的状态)，则图形设定部42就从传感器数据检测这一情况。具体地，图形设定部42根据传感器数据来判定物体50的最前端侧的部分的Z坐标(深度)是否是阈值以上。在判定的结果为不是阈值以上(比阈值小)的情况下，图形设定部42判定为物体50的一部分位于空中投影面21的传感器装置30侧。
另外，阈值对应于物体50的位置来设定。例如在图2中，物体50位于空中投影面21的上侧时的阈值成为比物体50位于空中投影面21的下方侧时的阈值小的值。
另外，如图4所示那样，在本实施方式中，图形设定部42在传感器数据中设定包围物体50的最前端侧的部分的矩形。如此地设定矩形是因为，虽然空中投影面21的X轴方向和传感器数据的H轴方向一致，但空中投影面21的Y轴方向和传感器数据的V轴方向不一致，若物体50的一部分位于空中投影面21的传感器装置30侧，就会在Y轴方向的位置出现误差。
在本实施方式中，深度校正部43使用设定的矩形的位于V轴方向侧的2边当中任一边中的深度，来对操作输入确定部41检测到的物体50在空中投影面21的垂直方向上的位置进行校正。
另外，对应于物体50的位置来决定位于V轴方向侧的2边当中任一边的深度。例如在物体50位于比与穿过传感器装置30的感测面的中央的法线与空中投影面21的交点在垂直方向上更靠下侧时，通过V轴方向上上侧的边的深度来进行校正。另一方面，在物体50位于比该交点在垂直方向上更靠上侧时，通过V轴方向上下侧的边的深度来进行校正。
进而，对应于空中投影面21与传感器装置30的位置关系，也可以使用位于H轴方向侧的边。进而，根据这些位置关系，也可以设定矩形以外的图形。另外，对应于这些位置关系，也可以是仅校正物体50在空中投影面21的水平方向上的位置的方式，还可以是校正垂直方向以及水平方向这两个方向上的位置的方式。
[装置动作]
接下来使用图4来说明本实施方式中的操作输入装置100的动作。图4是表示本发明的实施方式中的操作输入装置的动作的流程图。在以下的说明中适宜参酌图1～图3。另外，在本实施方式中，通过使操作输入装置100动作来实施操作输入方法。因而，将本实施方式中的操作输入方法的说明替换成以下的操作输入装置100的动作说明。
首先，传感器装置30空开设定间隔来连续地输出传感器数据。每当传感器数据被输出，控制装置40就接收该传感器数据，并执行以下的处理。
如图4所示那样，最初，在控制装置40，操作输入确定部41从传感器数据中所含的图像数据和各深度提取物体50的最前端侧(传感器装置30侧)的部分(步骤A1)。
接下来，操作输入确定部41确定步骤A1中确定的部分的三维空间中的位置，根据所确定的位置来检测物体50的最前端侧的部分在空中投影面21上的位置(步骤A2)。
具体地，操作输入确定部41从传感器数据确定所提取的部分在三维空间中的位置、即X轴上的坐标、Y轴上的坐标以及深度。然后，操作输入确定部41将所确定的三维空间中的位置代入根据位置关系求得的换算式，来检测物体50的最前端侧的部分在空中投影面21的垂直方向上的位置和空中投影面21的水平方向上的位置。
接下来，图形设定部42根据传感器数据来判定物体50的最前端侧的部分的Z坐标(深度)是否是阈值以上(步骤A3)。
在步骤A3的判定的结果为Z坐标是阈值以上的情况下，图形设定部42将这一情况通知给操作输入确定部41。由此，操作输入确定部41基于步骤A2中检测到的位置来确定用户的操作输入(步骤A4)。
另一方面，在步骤A3的判定的结果为Z坐标不是阈值以上(比阈值小)的情况下，物体的最前端侧的部分位于空中投影面21的传感器装置30侧。因此，如图3所示那样，图形设定部42在传感器数据中设定包围物体50的最前端侧的部分的矩形(步骤A5)。
接下来，深度校正部43对应于物体50的位置来选择所设定的矩形的一边，使用所选择的一边中的深度，来校正步骤A2中检测到的物体50的最前端侧的部分在空中投影面21上的位置(步骤A6)。
若执行了步骤A6，深度校正部43就将位置被校正这一情况通知给操作输入确定部41。由此，操作输入确定部41基于校正后的位置来确定用户的操作输入(步骤A4)。
上述的步骤A1到A4被反复执行直到操作输入装置100的启动被停止为止。
如以上那样，在本实施方式中，在用户的指尖这样的物体50位于比空中投影面21更靠里侧的情况下，对物体50在空中投影面21上的位置进行校正。因此，根据本实施方式，在用户触摸空中投影面21上的操作画面来进行输入操作的情况下，即使用户进行误操作，也会抑制触摸位置的检测精度的降低。
[程序]
本实施方式中的程序只要是使计算机执行图4所示的步骤A1～A6的程序即可。通过将该程序安装到计算机并执行，能实现本实施方式中的操作输入装置100的控制装置40。在该情况下，计算机的处理器作为操作输入确定部41、图形设定部42以及深度校正部43发挥功能，进行处理。
另外，本实施方式中的程序也可以通过由多个计算机构建的计算机系统执行。在该情况下，例如各计算机可以分别作为操作输入确定部41、图形设定部42以及深度校正部43的任一项发挥功能。
在此，使用图5来说明通过执行本实施方式中的程序来实现操作输入装置100的控制装置40的计算机。图5是表示实现本发明的实施方式中的操作输入装置的控制装置的计算机的一例的框图。
如图5所示那样，计算机110具备CPU(Central Processing Unit，中央处理器)111、主存储器112、存储装置113、输入接口114、显示控制器115、数据读写器116和通信接口117。这些各部分经由总线121而相互能数据通信地连接。另外，计算机110可以除了具备CPU111以外，或取代CPU111而具备GPU(Graphics Processing Unit，图形处理器)或FPGA(Field-Programmable Gate Array，现场可编程门阵列)。
CPU111将存放于存储装置113的本实施方式中的程序(代码)在主存储器112中展开，通过以给定顺序执行该程序来实施各种运算。主存储器112典型地是DRAM(DynamicRandom Access Memory，动态随机存取存储器)等易失性的存储装置。另外，本实施方式中的程序以存放于计算机可读的记录介质120的状态被提供。另外，本实施方式中的程序也可以是在经由通信接口117连接的因特网上流通的程序。
另外，作为存储装置113的具体例，除了硬盘驱动器以外，还能举出闪速存储器等半导体存储装置。输入接口114对CPU111与键盘以及鼠标这样的输入设备118之间的数据传输进行中介。显示控制器115与显示器装置119连接，控制显示器装置119中的显示。
数据读写器116对CPU111与记录介质120之间的数据传输进行中介，执行从记录介质120的程序的读出以及计算机110中的处理结果向记录介质120的写入。通信接口117对CPU111与其他计算机之间的数据传输进行中介。
另外，作为记录介质120的具体例，能举出CF(Compact Flash(注册商标))以及SD(Secure Digital)等通用的半导体存储器件、软盘(Flexible Disk)等磁记录介质或CD-ROM(Compact Disk Read Only Memory，光盘只读存储器)等光学记录介质。
另外，本实施方式中的控制装置40还能不是由安装程序的计算机、而是使用与各部分对应的硬件来实现。进而，控制装置40也可以一部分以程序实现，剩余的部分以硬件实现。
上述的实施方式的一部分或全部能通过以下记载的(附记1)～(附记15)表现，但并不限定于以下的记载。
(附记1)
一种操作输入装置，其特征在于，具备：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的控制装置，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，所述控制装置从所述传感器数据检测所述物体在所述空中投影面中的位置，进而若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形，然后使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
(附记2)
根据附记1中记载的操作输入装置，其特征在于，所述控制装置在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。
(附记3)
根据附记2中记载的操作输入装置，其特征在于，所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。
(附记4)
根据附记1～3任一项中记载的操作输入装置，其特征在于，所述控制装置在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。
(附记5)
根据附记1～4任一项中记载的操作输入装置，其特征在于，所述传感器装置是深度传感器。
(附记6)
一种操作输入方法，其特征在于，使用：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的计算机，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，操作输入方法具有如下步骤：(a)通过所述计算机，从所述传感器数据检测所述物体在所述空中投影面中的位置；(b)通过所述计算机，若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，就在所述传感器数据中设定包围所述物体的一部分的图形；(c)通过所述计算机，使用设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
(附记7)
根据附记6中记载的操作输入方法，其特征在于，在所述(c)的步骤中，在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。
(附记8)
根据附记7中记载的操作输入方法，其特征在于，在所述(c)的步骤中，所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。
(附记9)
根据附记6～8任一项中记载的操作输入方法，其特征在于，在所述(b)的步骤中，在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下，判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。
(附记10)
根据附记6～9任一项中记载的操作输入方法，其特征在于，所述传感器装置是深度传感器。
(附记11)
一种计算机可读的记录介质，其特征在于，记录有程序，所述程序包含有在操作输入装置中使计算机执行步骤的命令，所述操作输入装置具备：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的计算机，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，在所述操作输入装置中，使所述计算机执行如下步骤：(a)从所述传感器数据检测所述物体在所述空中投影面中的位置；(b)若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形；(c)使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
(附记12)
根据附记11中记载的计算机可读的记录介质，其特征在于，在所述(c)的步骤中，在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。
(附记13)
根据附记12中记载的计算机可读的记录介质，其特征在于，在所述(c)的步骤中，所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。
(附记14)
根据附记11～13任一项中记载的计算机可读的记录介质，其特征在于，在所述(b)的步骤中，在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下，判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。
(附记15)
根据附记11～14任一项中记载的计算机可读的记录介质，所述传感器装置是深度传感器。
以上参考实施方式说明了本申请发明，但本申请发明并不限定于上述实施方式。在本申请发明的结构、详细说明中，能在本申请发明的范围内进行本领域技术人员能理解的种种变更。
本申请主张以在2018年3月7日申请的日本申请特愿2018-41162为基础的优先权，将其公开的全部内容引入于此。
产业上的可利用性
如以上那样，根据本发明，在用户触摸显示于空中的画面来进行输入操作的情况下，能抑制用户的误操作导致的触摸位置的检测精度的降低。本发明在进行空中投影面上的输入的各种装置中有用。
附图标记的说明
10 显示装置
20 光学板
21 空中投影面
30 传感器装置
40 控制装置
41 操作输入确定部
42 图形设定部
43 深度校正部
50 物体
110 计算机
111 CPU
112 主存储器
113 存储装置
114 输入接口
115 显示控制器
116 数据读写器
117 通信接口
118 输入设备
119 显示器装置
120 记录介质
121 总线。

Claims (15)

1.一种操作输入装置，其特征在于，具备：
显示操作画面的显示装置；
将所述操作画面投影到空中来生成空中投影面的光学板；
用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和
确定对所述操作画面进行的操作输入的控制装置，
所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，
所述控制装置从所述传感器数据检测所述物体在所述空中投影面中的位置，进而若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形，然后使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
2.根据权利要求1所述的操作输入装置，其特征在于，
所述控制装置在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。
3.根据权利要求2所述的操作输入装置，其特征在于，
所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。
4.根据权利要求1所述的操作输入装置，其特征在于，
所述控制装置在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。
5.根据权利要求1所述的操作输入装置，其特征在于，
所述传感器装置是深度传感器。
6.一种操作输入方法，其特征在于，使用：
显示操作画面的显示装置；
将所述操作画面投影到空中来生成空中投影面的光学板；
用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和
确定对所述操作画面进行的操作输入的计算机，
所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，
所述操作输入方法具有如下步骤：
通过所述计算机，从所述传感器数据检测所述物体在所述空中投影面中的位置；
通过所述计算机，若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形；和
通过所述计算机，使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
7.根据权利要求6所述的操作输入方法，其特征在于，
在所述位置的校正步骤中，在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。
8.根据权利要求7所述的操作输入方法，其特征在于，
在所述位置的校正步骤中，所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。
9.根据权利要求6所述的操作输入方法，其特征在于，
在所述图形的设定步骤中，在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下，判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。
10.根据权利要求6所述的操作输入方法，其特征在于，
所述传感器装置是深度传感器。
11.一种计算机可读的记录介质，记录有程序，所述程序包含有在操作输入装置中使计算机执行步骤的命令，
所述操作输入装置具备：
显示操作画面的显示装置；
将所述操作画面投影到空中来生成空中投影面的光学板；
用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和
确定对所述操作画面进行的操作输入的计算机，
所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，
在所述操作输入装置中，使所述计算机执行如下步骤：
从所述传感器数据检测所述物体在所述空中投影面中的位置；
若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形；和
使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。
12.根据权利要求11所述的计算机可读的记录介质，其特征在于，
在所述位置的校正步骤中，在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。
13.根据权利要求12所述的计算机可读的记录介质，其特征在于，
在所述位置的校正步骤中，所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。
14.根据权利要求11所述的计算机可读的记录介质，其特征在于，
在所述图形的设定步骤中，在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下，判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。
15.根据权利要求11所述的计算机可读的记录介质，其特征在于，
所述传感器装置是深度传感器。
CN201880090820.0A 2018-03-07 2018-09-18 操作输入装置、操作输入方法及计算机可读的记录介质 Active CN111886567B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-041162 2018-03-07
JP2018041162 2018-03-07
PCT/JP2018/034490 WO2019171635A1 (ja) 2018-03-07 2018-09-18 操作入力装置、操作入力方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN111886567A CN111886567A (zh) 2020-11-03
CN111886567B true CN111886567B (zh) 2023-10-20

Family

ID=67846002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090820.0A Active CN111886567B (zh) 2018-03-07 2018-09-18 操作输入装置、操作输入方法及计算机可读的记录介质

Country Status (3)

Country Link
JP (1) JP6898021B2 (zh)
CN (1) CN111886567B (zh)
WO (1) WO2019171635A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016352A1 (zh) * 2021-08-13 2023-02-16 安徽省东超科技有限公司 定位感测方法、定位感测装置及输入终端设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009131128A1 (ja) * 2008-04-22 2009-10-29 Fujishima Tomohiko 光学結像装置及びそれを用いた光学結像方法
CN102025951A (zh) * 2009-09-18 2011-04-20 精工爱普生株式会社 投影型显示装置、梯形失真修正方法
CN102170573A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置及方法、图像校正装置、图像显示系统
WO2013124901A1 (ja) * 2012-02-24 2013-08-29 日立コンシューマエレクトロニクス株式会社 光学投射型表示装置、携帯端末、プログラム
CN103620535A (zh) * 2011-06-13 2014-03-05 西铁城控股株式会社 信息输入装置
CN103677274A (zh) * 2013-12-24 2014-03-26 广东威创视讯科技股份有限公司 一种基于主动视觉的互动投影方法及系统
CN104375638A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 感知设备、移动终端及空中感知系统
CN104375639A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种空中感应设备
CN105026997A (zh) * 2014-02-18 2015-11-04 松下电器（美国）知识产权公司 投影系统、半导体集成电路及图像修正方法
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN105765494A (zh) * 2013-12-19 2016-07-13 日立麦克赛尔株式会社 投影型影像显示装置和投影型影像显示方法
WO2016121708A1 (ja) * 2015-01-26 2016-08-04 Ｎｅｃソリューションイノベータ株式会社 入力システム、入力装置、入力方法、および、記録媒体
CN106062683A (zh) * 2014-12-26 2016-10-26 株式会社尼康 检测装置、电子设备、检测方法以及程序
JP2017062709A (ja) * 2015-09-25 2017-03-30 新光商事株式会社 ジェスチャー操作装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2012073659A (ja) * 2010-09-01 2012-04-12 Shinsedai Kk 操作判定装置、指先検出装置、操作判定方法、指先検出方法、操作判定プログラム、及び、指先検出プログラム
JP5197777B2 (ja) * 2011-02-01 2013-05-15 株式会社東芝 インターフェイス装置、方法、およびプログラム
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
JP2015060296A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009131128A1 (ja) * 2008-04-22 2009-10-29 Fujishima Tomohiko 光学結像装置及びそれを用いた光学結像方法
CN102025951A (zh) * 2009-09-18 2011-04-20 精工爱普生株式会社 投影型显示装置、梯形失真修正方法
CN102170573A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置及方法、图像校正装置、图像显示系统
CN103620535A (zh) * 2011-06-13 2014-03-05 西铁城控股株式会社 信息输入装置
WO2013124901A1 (ja) * 2012-02-24 2013-08-29 日立コンシューマエレクトロニクス株式会社 光学投射型表示装置、携帯端末、プログラム
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN105765494A (zh) * 2013-12-19 2016-07-13 日立麦克赛尔株式会社 投影型影像显示装置和投影型影像显示方法
CN103677274A (zh) * 2013-12-24 2014-03-26 广东威创视讯科技股份有限公司 一种基于主动视觉的互动投影方法及系统
CN105026997A (zh) * 2014-02-18 2015-11-04 松下电器（美国）知识产权公司 投影系统、半导体集成电路及图像修正方法
CN104375638A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 感知设备、移动终端及空中感知系统
CN104375639A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种空中感应设备
CN106062683A (zh) * 2014-12-26 2016-10-26 株式会社尼康 检测装置、电子设备、检测方法以及程序
WO2016121708A1 (ja) * 2015-01-26 2016-08-04 Ｎｅｃソリューションイノベータ株式会社 入力システム、入力装置、入力方法、および、記録媒体
JP2017062709A (ja) * 2015-09-25 2017-03-30 新光商事株式会社 ジェスチャー操作装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Toe input with mobile projector and depth camera;Daiki Matsuda 等;IEEE;全文 *

Also Published As

Publication number Publication date
CN111886567A (zh) 2020-11-03
WO2019171635A1 (ja) 2019-09-12
JP6898021B2 (ja) 2021-07-07
JPWO2019171635A1 (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
JP6000797B2 (ja) タッチパネル式入力装置、その制御方法、および、プログラム
JP6039343B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
KR102035166B1 (ko) 전자기기, 그 제어방법 및 기억매체
US20110242038A1 (en) Input device, input method, and computer program for accepting touching operation information
CN110869897A (zh) 修正笔坐标与指示器的显示位置之间的偏离的方法
WO2012114876A1 (ja) 電子機器、コンテンツ表示方法、およびコンテンツ表示プログラム
JP2014092809A (ja) 電子機器および描画方法
US9933895B2 (en) Electronic device, control method for the same, and non-transitory computer-readable storage medium
US10042426B2 (en) Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium
US20160196002A1 (en) Display device
JP7300304B2 (ja) ペン状態検出回路及びペン状態検出方法
WO2014112132A1 (ja) 情報機器及び情報処理方法
JP6202874B2 (ja) 電子機器、キャリブレーション方法およびプログラム
US10684772B2 (en) Document viewing apparatus and program
US20150309597A1 (en) Electronic apparatus, correction method, and storage medium
CN111886567B (zh) 操作输入装置、操作输入方法及计算机可读的记录介质
US20160378312A1 (en) Terminal device, display control method, and non-transitory computer-readable recording medium
US20130215085A1 (en) Controlling Method Applied to A Sensing System
JP6555958B2 (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体
JP6417939B2 (ja) 手書きシステム及びプログラム
JP6373664B2 (ja) 電子機器、方法及びプログラム
JP2012068759A (ja) 表示装置および表示制御プログラム
JP2014022788A (ja) 投影装置、投影システム、プログラム
JP7452917B2 (ja) 操作入力装置、操作入力方法及びプログラム
TWI522871B (zh) 光學觸控系統之物件影像之處理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant