CN111727417A - 操作检测装置和操作检测方法 - Google Patents

操作检测装置和操作检测方法 Download PDF

Info

Publication number
CN111727417A
CN111727417A CN201980013835.1A CN201980013835A CN111727417A CN 111727417 A CN111727417 A CN 111727417A CN 201980013835 A CN201980013835 A CN 201980013835A CN 111727417 A CN111727417 A CN 111727417A
Authority
CN
China
Prior art keywords
unit
operation unit
determination
detection device
depth sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980013835.1A
Other languages
English (en)
Inventor
望月隆义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Enlightened Hall Co ltd
Murakami Corp
Original Assignee
Murakami Enlightened Hall Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Enlightened Hall Co ltd filed Critical Murakami Enlightened Hall Co ltd
Publication of CN111727417A publication Critical patent/CN111727417A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

一个实施方式的操作检测装置具备：显示部，其将操作部显示为虚像；传感器，其检测接近操作部的对象物的位置；以及判定部，其基于由传感器检测出的对象物的位置来判定操作部是否被按下。在对象物到达操作部之前，判定部判定为操作部被按下。

Description

操作检测装置和操作检测方法
技术领域
本公开涉及一种操作检测装置和操作检测方法。
背景技术
专利文献1公开一种检测操作者针对被显示为全息图像的输入设备进行的操作的全息人机接口(HMI：Human Machine Interface)。该HMI具有配置于从操作者观看时的全息图像的后侧的发射器/检测器。发射器/检测器朝向全息图像发射波。在该HMI中，当物体(例如操作者的手指)存在于全息图像出现的位置时，来自发射器/检测器的波被该物体反射后作为反射波射入发射器/检测器。发射器/检测器通过该反射来检测操作者针对全息图像进行的操作。
在该HMI中，能够检测操作者针对被显示为全息图像的输入设备进行的按下操作。HMI通过在物体实际达到输入设备的位置时判定为输入设备被按下，能够检测操作者针对输入设备进行的按下操作。
现有技术文献
专利文献
专利文献1：日本专利第4741488号公报
发明内容
发明要解决的问题
然而，对于用户(操作者)而言有时难以识别全息图像等虚像成像的位置。因此，用户识别出的操作部(输入设备)的位置与实际成像为虚像的操作部的位置之间可能产生偏离。结果是，就算用户通过手指等按下了操作部，但实际上有时手指等没有到达操作部的位置。在该情况下，在前述的HMI中，尽管用户认为通过手指等按下了操作部，但没有被判定为操作部被按下。因而，在该HMI中，具有使用户感到没有如用户预期的那样对操作部进行按下操作的可能性。
在前述的HMI中，能够在对象物实际到达了操作部时识别用户的按下操作。在该HMI中，对象物到达了操作部时才使设备开始动作，因此具有用户感到按下操作的反应慢的可能性。因而，在前述的HMI中，具有使用户感到操作部的操作性不良的可能性。
本公开的目的在于提供一种能够使用户感到被显示为虚像的操作部的操作性良好的操作检测装置和操作检测方法。
用于解决问题的方案
一个实施方式的操作检测装置具备：显示部，其将操作部显示为虚像；传感器，其检测接近操作部的对象物的位置；以及判定部，其基于由传感器检测出的对象物的位置来判定操作部是否被按下。判定部在对象物到达操作部之前判定为操作部被按下。
一个实施方式的操作检测方法包括以下工序：检测接近被显示为虚像的操作部的对象物的位置；以及在对象物到达操作部之前判定为操作部被按下。
在前述的操作检测装置和操作检测方法中，操作部被显示为虚像，因此能够以浮出的方式显示操作部。通过像这样以浮出的方式显示操作部，能够提高操作部的可视性。并且，在前述的操作检测装置和操作检测方法中，在对象物到达操作部之前判定为操作部被按下。即，在对象物到达操作部之前完成操作部被按下这个按下判定。由此，在对象物实际到达操作部之前完成按下判定，能够使基于操作部的按下操作的设备的动作提前进行，因此能够使用户感到按下操作的反应良好。通过在对象物到达操作部之前进行按下判定，能够抑制尽管用户认为已经按下了操作部但没有完成按下判定这个现象的发生。因而，能够在用户认为按下了操作部时进行按下判定，因此能够使用户感到如用户预期的那样进行了按下操作。因而，根据前述的操作检测装置和操作检测方法，能够使用户感到操作部的操作性良好。
判定部可以在对象物到达设置于从对象物观看时的操作部的近前侧的按下判定面时，判定为操作部被按下。由此，能够以简单的结构实现通过对象物进行了按下的意思的按下判定。
也可以是，判定部检测接近操作部的对象物的速度，根据检测出的速度和对象物的位置来判定操作部是否被按下。例如，在用户缓慢地运动手指等对象物来使对象物接近操作部时，具有用户识别为比想象中更早地完成了按下判定的可能性。与此相对地，如前述的那样，在根据对象物的速度和位置进行按下判定的情况下，能够基于对象物的位置的时间序列变化来进行按下判定。因而，能够在掌握对象物的操作的行进程度的基础上进行按下判定。因而，通过根据对象物的速度和位置来进行针对操作部的按下判定，能够在考虑对象物的位置预测的基础上进行判定，因此能够更准确地进行针对操作部的按下判定。
传感器可以为以隔着操作部的方式设置于对象物的相反侧的深度传感器。另外，当在对象物向操作部接近的接近方向与深度传感器的坐标轴所示的各方向之间产生了偏离的情况下，为了正确地检测对象物的位置，需要对深度传感器的坐标系进行坐标转换处理。对此，在以隔着操作部的方式在对象物的相反侧设置深度传感器的情况下，能够将深度传感器配置于从操作部看来的对象物的相反侧，由此能够减轻前述的坐标转换处理的负荷。由此，能够减轻操作检测装置的处理负荷。
发明的效果
根据本公开，能够使用户感到被显示为虚像的操作部的操作性良好。
附图说明
图1是表示一个实施方式的操作检测装置的结构图。
图2是表示由图1的操作检测装置的显示部显示的虚像的概念图。
图3是表示被显示为虚像的操作部的一例的图。
图4是图1的操作检测装置的控制部的功能框图。
图5是表示由图1的操作检测装置的传感器输出的距离图像数据的一例的图。
图6是表示操作检测装置的动作的一例的流程图。
图7是表示传感器的变形例的图。
具体实施方式
下面，参照附图详细地说明本公开所涉及的操作检测装置和操作检测方法的实施方式。在附图的说明中，对相同的要素标注相同的标记，省略重复的说明。
(第一实施方式)
图1是表示第一实施方式的操作检测装置1的结构图。操作检测装置1例如为在车辆与车辆的搭乘者(用户)之间构建HMI(Human Machine Interface)的操作检测装置。操作检测装置1在从用户观看时的近前侧将操作部2在空中显示为虚像3，并且检测接近操作部2的对象物4。操作部2例如为能够使搭载于车辆的各设备(例如车载用后置摄像头或空调等)动作的部位，作为一例为被显示为虚像3的开关等按钮。对象物4对操作部2进行操作以使设备动作，例如为用户的手指或笔等棒状物。
操作检测装置1基于检测出的对象物4的位置来检测对象物4针对操作部2的按下操作，基于检测出的操作来使各设备动作。按下操作包括向下按压操作部2的操作和向上按压操作部2的操作这两方的操作。如图1所示，操作检测装置1具备显示部10、深度传感器20(传感器)以及控制部30。显示部10将操作部2在空中显示为虚像3。显示部10具备作为空中成像元件的AI(Aerial Imaging：空中成像)板11(注册商标)和液晶面板12。AI板11例如是使用日本专利第4865088号所记载的技术制成的。
液晶面板12例如为PC(个人计算机)、平板终端或移动电话等移动终端的显示器。液晶面板12例如以其显示面大致水平的方式配置。AI板11相对于液晶面板12(水平方向)斜向倾斜。AI板11相对于液晶面板12的倾斜角度可以设为可变。液晶面板12基于从控制部30输出的信号来显示图像。
图2为表示由显示部10显示的虚像3的概念图。如图2所示，液晶面板12显示的图像通过AI板11在相对于AI板11和液晶面板12靠用户U侧的位置显示为虚像3。例如，从液晶面板12向上方射出后射入AI板11的光L1在AI板11反射两次，在从用户U观看时的比显示部10靠近前侧的位置的空间中成像出成虚像3。
图3为被显示为虚像3的操作部2的一例。如图3所示，操作部2例如为能够操作车载用后置摄像头的操作画面，能够通过按下操作部2的各按钮来切换车载用后置摄像头的摄影的位置。作为一例，操作部2包括拍摄车辆的左方的第一虚像按钮2A、拍摄车辆的后方的第二虚像按钮2B以及拍摄车辆的右方的第三虚像按钮2C。
再次参照图1。深度传感器20以隔着操作部2的方式设置于对象物4的相反侧。在一例中，深度传感器20设置于连结操作部2和对象物4的虚拟直线上。深度传感器20获取距离图像数据，该距离图像数据包括对象物4的在与该虚拟直线垂直的面上的位置(二维位置)的信息和从深度传感器20至对象物4的距离D1的信息。距离图像数据例如以640×480像素被获取。深度传感器20以规定的周期(例如1/30秒)向控制部30输出获取到的距离图像数据。
具体地说，深度传感器20向存在于包括对象物4的摄影区域内的物体上的各点照射光线(例如红外线)，接受从物体上的各点反射来的光线。而且，深度传感器20基于接受到的光线来测量深度传感器20与物体上的各点的距离，按像素输出测量出的距离。
深度传感器20与物体上的各点的距离例如通过Light Coding(光编码)方式进行测量。在该方式中，深度传感器20以随机点图案向存在于包括对象物4的摄影区域内的物体上的各点照射光线。而且，深度传感器20接受从物体上的各点反射来的光线，检测反射来的光线的图案的变形，由此测量深度传感器20与物体上的各点的距离。深度传感器20将物体上的各点的二维位置的信息和从深度传感器20至物体上的各点的距离的信息作为多个像素进行检测，将检测出的多个像素输出至控制部30。
控制部30能够与深度传感器20及液晶面板12进行通信。控制部30例如具备执行程序的CPU 31(Central Processing Unit：中央处理单元)、ROM(Read Only Memory：只读存储器)和RAM(Random Access Memory：随机存取存储器)等存储部32、输入输出部33以及驱动器34。在CPU 31的控制下使输入输出部33动作来进行存储部32中的数据的读出和写入，由此实现控制部30的各功能性的构成要素实现的功能。不对控制部30的方式和配置场所特别地进行限定。
图4是控制部30的功能框图。如图4所示，控制部30具有作为功能性的构成要素的图像输出部40、对象物检测部41、操作判定部42(判定部)以及信号输出部43。图像输出部40将在液晶面板12显示的图像的图像数据输出至液晶面板12。液晶面板12显示的图像不限于图3所示的操作画面。液晶面板12能够基于来自图像输出部40的图像数据来显示各种图像。
对象物检测部41基于从深度传感器20输出的距离图像数据来检测对象物4。图5是示意性地表示从深度传感器20输出的距离图像数据D的图。当对象物检测部41被输入来自深度传感器20的距离图像数据D时，针对距离图像数据D设定扫描区域R。扫描区域R例如为距离图像数据D中的作为扫描对象的区域。对象物检测部41例如将距离图像数据D的包括中央的区域(即距离图像数据D的除了端部以外的区域)设定为扫描区域R。像这样，对象物检测部41将距离图像数据D的包括中央的区域设定为扫描区域R，由此能够提高检测对象物4的速度。对象物检测部41也可以将距离图像数据D的整体设定为扫描区域R。
对象物检测部41例如将处于扫描区域R内的多个像素E中的、被设为矩形状的扫描区域R的对角线上的一个角部的像素EA的位置设为扫描开始位置，将处于另一个角部的像素EB的位置设为扫描结束位置，从像素EA到像素EB依次对扫描区域R内的各像素E进行扫描。针对各像素E对应有深度传感器20与物体上的各点的距离的信息。对象物检测部41对扫描区域R内的各像素E进行扫描，例如根据与各像素E相对应的距离是否为规定值以下来检测对象物4的有无。对象物检测部41当检测到对象物4时，将表示对象物4的位置的位置数据输出至操作判定部42。
再次参照图4。操作判定部42基于从对象物检测部41输出的位置数据来判定是否通过对象物4按下了操作部2。具体地说，操作判定部42如图1所示的那样判定深度传感器20与对象物4的距离D1是否为阈值T以下。而且，在对象物4到达了虚拟的按下判定面S时，操作判定部42判定为距离D1为阈值T以下，判定为操作部2被按下。按下判定面S为形成于距深度传感器20的距离固定的区域的虚拟的面。
操作判定部42在对象物4到达操作部2之前判定为对象物4被操作部2按下。通过设定比深度传感器20与操作部2的距离D2大的阈值T，在从对象物4观看时的操作部2的近前侧设置按下判定面S。例如，距离D2为100mm，阈值T为120mm，但这些值能够适当变更。在对象物4到达按下判定面S并且距离D1为阈值T以下时，操作判定部42判定为操作部2被按下。
具体地说，按下判定面S设置于相比于操作部2向对象物4侧靠近了距离d1的位置。距离d1为操作部2与按下判定面S的距离，相当于阈值T与从深度传感器20至操作部2的距离D2之差。例如在将圆形的按钮显示为虚像3的情况下，距离d1为圆形的按钮的半径的一半。距离d1例如为10mm～30mm，优选为15mm～25mm，但距离d1的值能够适当变更。在本实施方式中，距离d1的值为20mm。
在操作判定部42判定为进行了操作部2的按下操作的情况下，信号输出部43生成基于操作部2的按下操作的控制信号。信号输出部43将生成的控制信号输出至前述的车载用后置摄像头等设备，该设备从信号输出部43接受控制信号并且进行动作。在图3所示的例子中，在操作判定部42判定为进行了第一虚像按钮2A、第二虚像按钮2B或第三虚像按钮2C的按下操作的情况下，信号输出部43向车载用后置摄像头输出控制信号。车载用后置摄像头基于输入的控制信号来显示车辆的左方的图像、车辆的后方的图像以及车辆的右方的图像中的任一图像。
接着，对操作检测装置1的动作进行说明。并且，对本实施方式的操作检测方法进行说明。操作检测装置1的动作是通过CPU 31读出并且执行例如存储部32中存储的程序来执行的。图6是表示操作检测装置1的动作的一例的流程图。首先，深度传感器20获取距离图像数据D并将获取到的距离图像数据D输出至控制部30，距离图像数据D包括对象物4的二维位置的信息和从深度传感器20至对象物4的距离D1的信息。对象物检测部41基于输入的距离图像数据D来检测对象物4(工序P1)。此时，对象物检测部41可以从距离图像数据D的多个像素E中确定表示深度传感器20与对象物4的距离近的像素E，由此检测对象物4。对象物检测部41当检测到对象物4时，将表示对象物4的位置的位置数据输出至操作判定部42。
接着，操作判定部42基于从对象物检测部41输出的位置数据来判定是否通过对象物4按下了操作部2(工序P2)。操作判定部42在判定为对象物4到达设置于从对象物4观看时的操作部2的近前侧的按下判定面S并且距离D1为阈值T以下时(在工序P2中为“是”)，判定为操作部2被按下。另一方面，操作判定部42在判定为对象物4没有到达按下判定面S并且距离D1不是阈值T以下时(在工序P2中为“否”)，判定为操作部2没有被按下。在判定为操作部2没有被按下的情况下，返回工序P1，继续执行检测对象物4的工序P1。
在操作判定部42判定为进行了操作部2的按下操作的情况下(在工序P2中为“是”)，信号输出部43生成基于操作部2的按下操作的控制信号。信号输出部43将生成的控制信号输出至前述的车载用后置摄像头等设备，该设备从信号输出部43接受控制信号并且进行动作(工序P3)。然后，一系列的工序结束。
接着，对通过本实施方式的操作检测装置1和操作检测方法得到的效果进行说明。在本实施方式中，操作部2被显示为虚像3，因此能够以浮出的方式显示操作部2。通过像这样以浮出的方式显示操作部2，能够提高操作部2的可视性。并且，在本实施方式的操作检测装置1和操作检测方法中，在对象物4到达操作部2之前判定操作部2被按下。即，在对象物4到达操作部2之前完成操作部2被按下这个按下判定。由此，在对象物4实际到达操作部2时之前完成按下判定，能够使基于按下操作的设备的动作提前进行，因此能够使用户U感到按下操作的反应良好。
通过在对象物4到达操作部2之前进行按下判定，能够抑制用户U认为按下了操作部2但没有完成按下判定这个现象的发生。因而，能够在用户U认为按下了操作部2时进行按下判定，因此能够使用户U感到如用户U预期的那样进行了按下操作。因而，根据前述的操作检测装置1和操作检测方法，能够使用户U感到操作部2的操作性良好。
如图1所示，在对象物4到达了设置于从对象物4观看时的操作部2的近前侧的按下判定面S时，操作判定部42判定为操作部2被按下。由此，能够以简单的结构实现通过对象物4进行了按下的意思的按下判定。
深度传感器20以隔着操作部2的方式设置于对象物4的相反侧。另外，当在对象物4向操作部2接近的接近方向与深度传感器20的坐标轴所示的各方向之间产生了偏离的情况下，为了准确地检测对象物4的位置，需要对深度传感器20的坐标系进行坐标转换处理。对此，在以隔着操作部2的方式在对象物4的相反侧设置深度传感器20的情况下，通过将深度传感器20配置于从操作部2观看时的对象物4的相反侧，能够减轻前述的坐标转换处理的负荷。由此，能够减轻操作检测装置1的处理负荷。
(第二实施方式)
接着，对第二实施方式的操作检测装置和操作检测方法进行说明。在第二实施方式中，与第一实施方式不同点在于：操作判定部(判定部)检测接近操作部2的对象物4的速度，根据检测出的速度和对象物4的位置来判定操作部2是否被按下。在以下的说明中，适当省略与第一实施方式重复的说明。
在第二实施方式中，例如，在时刻t1、t2、t3…[s]从深度传感器20向控制部30以规定的周期依次输出距离图像数据D。而且，例如设为时刻t1的对象物4与操作部2的距离D1为15mm，下一个时刻t2的距离D1为5mm。在该情况下，对象物4的速度为10/(t2-t1)[mm/s]，由此预测对象物4在下一个时刻t3之前到达操作部2。例如，即使从深度传感器20输出距离图像数据D的周期(即t2-t1)约为1/30秒，也能够在时刻t3的1周期或2周期前(时刻t1或时刻t2的时间点)判定为操作部2被按下。
如以上那样，在第二实施方式中，操作判定部检测接近操作部2的对象物4的速度，根据检测出的速度和对象物4的位置来判定操作部2是否被按下。另外，当在对象物4到达了按下判定面S时进行按下判定的情况下，例如在用户U缓慢地运动对象物4来使对象物4接近操作部2时，对象物4比想象中更早地到达按下判定面S，由此具有用户U识别为比想象中更早地完成了按下判定的可能性。与此相对，如第二实施方式那样，在操作判定部根据对象物4的速度和位置进行按下判定的情况下，能够基于对象物4的位置的时间序列变化进行按下判定。因而，能够在掌握对象物4的行进程度的基础上进行按下判定。因而，通过根据对象物4的速度和位置进行针对操作部2的按下判定，能够在考虑对象物4的位置预测的基础上进行判定，因此能够更准确地进行针对操作部2的按下判定。
以上对本公开所涉及的操作检测装置和操作检测方法的各实施方式进行了说明。然而，本公开并不限定于前述的各实施方式，可以在不变更各权利要求所记载的主旨的范围中进行变形或应用于其它方式。即，操作检测方法的各工序的内容、顺序以及操作检测装置的各部的构成能够在不变更各权利要求的主旨的范围中适当变更。
例如，在前述的实施方式中，深度传感器20通过Light Coding方式测量深度传感器20与物体上的各点的距离，但并不限定于该方式。例如，深度传感器20可以通过TOF(Timeof Flight：飞行时间)方式测量深度传感器20与物体上的各点的距离。在TOF方式中，深度传感器20计算光线在物体上的各点进行反射后到达深度传感器20为止的光线的飞行时间(即延迟时间)，根据计算出的飞行时间和光的速度来测量深度传感器20与物体上的各点的距离。即使为这样的方式，也起到与前述的各实施方式同样的效果。
在前述的各实施方式中，作为检测对象物4的传感器，使用了获取与对象物4的距离D1的信息的深度传感器20，但也可以使用深度传感器20以外的其它传感器。即，例如可以使用红外线传感器或超声波传感器等，以取代深度传感器20，能够适当变更传感器的种类。
图7表示变形例所涉及的具备传感器20A的操作检测装置。传感器20A为反射型光电传感器，其向与对象物4向操作部2接近的接近方向交叉的方向照射光线(例如红外线)LA，在对象物4接触到照射出的光线LA时检测对象物4。传感器20A相对于对象物4和操作部2配置于与对象物4向操作部2接近的接近方向交叉的方向上。即，传感器20A设置于按下判定面S的延长面上。
照射来自传感器20A的光线LA的照射位置(即按下判定面S的位置)设置于从对象物4观看时的操作部2的近前侧。因而，操作判定部42在对象物4到达操作部2之前判定为操作部2被按下。因而，即使在使用该传感器20A的情况下，也起到与前述的各实施方式相同的效果。
在前述的各实施方式中，说明了操作部2具备第一虚像按钮2A、第二虚像按钮2B以及第三虚像按钮2C的例子，但能够适当变更操作部的布局和种类。操作检测装置可以为检测使车辆以外的各设备动作的操作部的操作的装置，操作检测装置和操作检测方法也能够应用于车辆以外的各种设备中。
附图标记说明
1：操作检测装置；2：操作部；3：虚像；4：对象物；10：显示部；20：深度传感器；30：控制部；41：对象物检测部；42：操作判定部；S：按下判定面。

Claims (5)

1.一种操作检测装置，具备：
显示部，其将操作部显示为虚像；
传感器，其检测接近所述操作部的对象物的位置；以及
判定部，其基于由所述传感器检测出的所述对象物的位置来判定所述操作部是否被按下，
其中，所述判定部在所述对象物到达所述操作部之前判定为所述操作部被按下。
2.根据权利要求1所述的操作检测装置，其中，
在所述对象物到达设置于从所述对象物观看时的所述操作部的近前侧的按下判定面时，所述判定部判定为所述操作部被按下。
3.根据权利要求1或2所述的操作检测装置，其中，
所述判定部检测接近所述操作部的所述对象物的速度，根据检测出的所述速度和所述对象物的位置来判定所述操作部是否被按下。
4.根据权利要求1至3中的任一项所述的操作检测装置，其中，
所述传感器为以隔着所述操作部的方式设置于所述对象物的相反侧的深度传感器。
5.一种操作检测方法，包括以下工序：
检测接近被显示为虚像的操作部的对象物的位置；以及
在所述对象物到达所述操作部之前判定为所述操作部被按下。
CN201980013835.1A 2018-02-19 2019-02-05 操作检测装置和操作检测方法 Pending CN111727417A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-026997 2018-02-19
JP2018026997 2018-02-19
PCT/JP2019/004058 WO2019159760A1 (ja) 2018-02-19 2019-02-05 操作検出装置及び操作検出方法

Publications (1)

Publication Number Publication Date
CN111727417A true CN111727417A (zh) 2020-09-29

Family

ID=67619883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980013835.1A Pending CN111727417A (zh) 2018-02-19 2019-02-05 操作检测装置和操作检测方法

Country Status (5)

Country Link
US (1) US11237673B2 (zh)
JP (1) JP7286613B2 (zh)
CN (1) CN111727417A (zh)
DE (1) DE112019000858T5 (zh)
WO (1) WO2019159760A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016352A1 (zh) * 2021-08-13 2023-02-16 安徽省东超科技有限公司 定位感测方法、定位感测装置及输入终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074703A (ja) * 2012-10-05 2014-04-24 Kyocera Document Solutions Inc 電子機器及び画像形成装置
US20150309584A1 (en) * 2014-04-25 2015-10-29 Fujitsu Limited Input control device and method
CN105468139A (zh) * 2014-09-26 2016-04-06 精工爱普生株式会社 位置检测装置、投影仪以及位置检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4741488Y1 (zh) 1968-08-14 1972-12-15
EP1649309A4 (en) 2003-07-03 2011-03-09 Holo Touch Inc HOLOGRAPHIC HUMAN MACHINE INTERFACES
JP2009260907A (ja) * 2008-03-18 2009-11-05 Nec Corp 携帯端末装置、端末操作方法、プログラム、及び記録媒体
JP2013114647A (ja) * 2011-12-01 2013-06-10 Exvision Inc ジェスチャー入力システム
JP2013186827A (ja) * 2012-03-09 2013-09-19 Konica Minolta Inc 操作装置
JP2014219938A (ja) * 2013-05-10 2014-11-20 株式会社ゲッシュ 入力支援装置、入力支援方法、および、プログラム
JP6569496B2 (ja) * 2015-11-26 2019-09-04 富士通株式会社 入力装置、入力方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074703A (ja) * 2012-10-05 2014-04-24 Kyocera Document Solutions Inc 電子機器及び画像形成装置
US20150309584A1 (en) * 2014-04-25 2015-10-29 Fujitsu Limited Input control device and method
CN105468139A (zh) * 2014-09-26 2016-04-06 精工爱普生株式会社 位置检测装置、投影仪以及位置检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016352A1 (zh) * 2021-08-13 2023-02-16 安徽省东超科技有限公司 定位感测方法、定位感测装置及输入终端设备

Also Published As

Publication number Publication date
JP7286613B2 (ja) 2023-06-05
US20200401271A1 (en) 2020-12-24
US11237673B2 (en) 2022-02-01
JPWO2019159760A1 (ja) 2021-01-28
DE112019000858T5 (de) 2020-10-29
WO2019159760A1 (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
EP2353069B1 (en) Stereo optical sensors for resolving multi-touch in a touch detection system
CN102541365B (zh) 产生多点触碰指令的系统与方法
US20030226968A1 (en) Apparatus and method for inputting data
US20040201575A1 (en) Auto-aligning touch system and method
US20140168065A1 (en) Motion detection system
US11256932B2 (en) Falling object detection apparatus, in-vehicle system, vehicle, and computer readable medium
US20110007001A1 (en) Dual Mode Input Device
US20210055813A1 (en) Virtual image display device
US8355012B2 (en) Scanning method for determining a touch position of a touch input apparatus
CN105446563B (zh) 降低等待时间的混合感测
CN111727417A (zh) 操作检测装置和操作检测方法
US20110043484A1 (en) Apparatus for detecting a touching position on a flat panel display and a method thereof
US20140176505A1 (en) Image display device and input determination method
KR101488287B1 (ko) 터치 인식 디스플레이 장치
EP2957998A1 (en) Input device
CN111788544A (zh) 操作检测装置和操作检测方法
JPH07110733A (ja) 入力装置
JP2751614B2 (ja) 曲げ角度検出可能な折曲げ装置
US10747358B2 (en) Position detection circuit and position detection method
KR102001148B1 (ko) 입력 기기 및 그의 이미지 처리 방법
US20150153846A1 (en) Coordinate detection system, information processing apparatus, and recording medium
US10349039B2 (en) Object detection systems and methods
US10044904B2 (en) Apparatus, image reading method, and storage medium for reading an image of a target object
US9575574B2 (en) Coordinate detection system, coordinate detection method, and information processing device
CN113167895B (zh) 测距校正装置、测距校正系统、测距校正方法和计算机能读取的存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200929