CN111788544A - 操作检测装置和操作检测方法 - Google Patents

操作检测装置和操作检测方法 Download PDF

Info

Publication number
CN111788544A
CN111788544A CN201980013795.0A CN201980013795A CN111788544A CN 111788544 A CN111788544 A CN 111788544A CN 201980013795 A CN201980013795 A CN 201980013795A CN 111788544 A CN111788544 A CN 111788544A
Authority
CN
China
Prior art keywords
pixels
distance
pixel
unit
operation detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980013795.0A
Other languages
English (en)
Inventor
望月隆义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Enlightened Hall Co ltd
Murakami Corp
Original Assignee
Murakami Enlightened Hall Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Enlightened Hall Co ltd filed Critical Murakami Enlightened Hall Co ltd
Publication of CN111788544A publication Critical patent/CN111788544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一个实施方式的操作检测装置为检测接近操作部的对象物的操作检测装置。该操作检测装置具备:将与对象物的距离作为多个像素进行检测的传感器和检测对象物的对象物检测部。对象物检测部确定多个像素中的与距离为最短的最短距离相对应的第一像素,扫描位于第一像素的周围的多个第二像素,在多个第二像素中的、各第二像素所对应的距离与最短距离的差为固定值以下的第二像素的数量为规定数量以上的情况下,检测到对象物。

Description

操作检测装置和操作检测方法
技术领域
本公开涉及一种操作检测装置和操作检测方法。
背景技术
专利文献1公开了一种使用距离图像传感器的用户接口装置。该用户接口装置具备显示图像的透明显示器、获取用于测量与物体的距离的距离图像的距离图像传感器、以及分析距离图像以检测用户的输入操作的距离图像分析部。在该用户接口装置中,距离图像传感器将处于以某种程度接近的距离的物体的重心识别为点位置,距离图像分析部基于识别出的点位置来检测用户的输入操作。
现有技术文献
专利文献
专利文献1:日本特开2012-3585号公报
发明内容
发明要解决的问题
另外,在前述那样的获取距离图像以检测物体(对象物)的操作检测装置中,传感器将与对象物的距离作为多个像素进行检测。通过该传感器获取的各像素同对象物的表面上的各点与传感器的距离相对应。该操作检测装置将由传感器获取到的多个像素中的任一个像素确定为表示与对象物的距离近的像素,由此检测对象物。
然而,该种操作检测装置有时尽管不存在对象物也错误地检测表示与对象物的距离近的像素,该像素有时成为噪声。即,在传感器检测的像素中包括噪声,由此具有尽管不存在对象物也错误地检测对象物的可能性。因而,对象物的检测的精度具有改善的余地。另外,在如前述的用户接口装置那样计算对象物的重心的情况下,认为需要获取对象物的形状。在该情况下,会产生计算处理等的负荷大,对象物的检测花费时间这个问题。
本公开的目的在于提供一种能够高精度且高速地检测对象物的操作检测装置和操作检测方法。
用于解决问题的方案
一个实施方式的操作检测装置为检测接近操作部的对象物的操作检测装置。该操作检测装置具备:传感器,其将与对象物的距离作为多个像素进行检测;以及对象物检测部,其检测对象物。对象物检测部确定多个像素中的与距离为最短的最短距离相对应的第一像素,扫描位于第一像素的周围的多个第二像素,在多个第二像素中的、各第二像素所对应的距离与最短距离之差为固定值以下的第二像素的数量为规定数量以上的情况下,检测到对象物。
一个实施方式的操作检测方法为通过传感器来检测接近操作部的对象物的操作检测方法。该操作检测方法包括以下工序:将从对象物至传感器的距离作为多个像素进行检测;确定多个像素中的与距离为最短的最短距离相对应的第一像素;以及扫描位于第一像素的周围的多个第二像素,在多个第二像素中的、各第二像素所对应的距离与最短距离之差为固定值以下的第二像素的数量为规定数量以上的情况下,检测到对象物。
在前述的操作检测装置和操作检测方法中,传感器将与对象物的距离作为多个像素进行检测,对象物检测部确定与距对象物的距离为最短的最短距离相对应的第一像素。对象物检测部扫描位于确定出的第一像素的周围的多个第二像素,在扫描出的多个第二像素中的、与最短距离的差为固定值以下的距离所对应的第二像素的数量为规定数量以上的情况下,检测到对象物。另一方面,对象物检测部在扫描出的多个第二像素中的、与最短距离的差为固定值以下的距离所对应的第二像素的数量小于规定数量的情况下,不检测对象物。像这样,在第二像素的数量小于规定数量时不检测对象物,由此能够判断为确定出的第一像素为噪声。其结果是,能够排除噪声的影响,从而抑制对象物的误检测,因此能够高精度地检测对象物。并且,在该操作检测装置和操作检测方法中,在检测对象物时不需要获取对象物的形状的处理,因此能够减轻处理负荷以提高处理速度。由此,能够高速地检测对象物。
前述的操作检测装置还可以具备判定部,所述判定部判定由对象物检测部检测出的对象物针对操作部的操作。前述的操作检测装置具备判定部,由此能够判定是否对操作部进行了操作。
操作部可以被显示为虚像。在操作部被显示为虚像的情况下,能够以浮出的方式显示操作部,因此能够提高操作部的可视性。在操作部被显示为虚像的情况下,假定有时用户识别的操作部的位置产生偏差,使得不恰当地对操作部进行操作。即使在这样的情况下,在该操作检测装置和操作检测方法中,也能够抑制对象物的误检测。因而,根据该操作检测装置和操作检测方法,能够高精度地检测对象物。
发明的效果
根据本公开,能够高精度且高速地检测对象物。
附图说明
图1是表示一个实施方式的操作检测装置的结构图。
图2是表示通过图1的操作检测装置的显示部显示的虚像的概念图。
图3是表示被显示为虚像的操作部的一例的图。
图4是图1的操作检测装置的控制部的功能框图。
图5是表示由图1的操作检测装置的传感器输出的距离图像数据的一例的图。
图6是表示距离图像数据的第一像素以及位于第一像素的周围的第二像素的一例的图。
图7是表示图1的操作检测装置的动作的一例的流程图。
图8是详细地表示图7的流程图的工序的一部分的流程图。
具体实施方式
下面,参照附图详细地说明本公开所涉及的操作检测装置和操作检测方法的实施方式。在附图的说明中,对相同的要素标注相同的标记,省略重复的说明。
图1是表示本实施方式的操作检测装置1的结构图。操作检测装置1例如为在车辆与车辆的搭乘者(用户)之间构建HMI(Human Machine Interface)的操作检测装置。操作检测装置1在从用户观看时的近前侧将操作部2在空中显示为虚像3,并且检测接近操作部2的对象物4。操作部2例如为能够使搭载于车辆的各设备(例如车载用后置摄像头或空调等)动作的部位,作为一例为被显示为虚像3的开关等按钮。对象物4对操作部2进行操作以使设备动作,例如为用户的手指或笔等棒状物。
操作检测装置1基于检测出的对象物4的位置来检测对象物4针对操作部2的操作,基于检测出的操作来使各设备动作。作为操作的例子,举出对象物4对操作部2进行的按下操作、触摸操作或滑动操作等,但对操作的种类不特别进行限定。在本实施方式中,作为操作部2的操作,例示按下操作。按下操作包括向下按压操作部2的操作和向上按压操作部2的操作这两方的操作。
如图1所示,操作检测装置1具备显示部10、深度传感器20(传感器)以及控制部30。显示部10将操作部2在空中显示为虚像3。显示部10具备作为空中成像元件的AI(AerialImaging:空中成像)板11(注册商标)和液晶面板12。AI板11例如是使用日本专利第4865088号所记载的技术制成的。
液晶面板12例如为PC(个人计算机)、平板终端或移动电话等移动终端的显示器。液晶面板12例如以其显示面大致水平的方式配置。AI板11相对于液晶面板12(水平方向)斜向倾斜。AI板11相对于液晶面板12的倾斜角度可以设为可变。液晶面板12基于从控制部30输出的信号来显示图像。
图2为表示由显示部10显示的虚像3的概念图。如图2所示,液晶面板12显示的图像通过AI板11在相对于AI板11和液晶面板12靠用户U侧的位置显示为虚像3。例如,从液晶面板12向上方射出后射入AI板11的光L1在AI板11反射两次,在从用户U观看时的比显示部10靠近前侧的位置的空间中成像出成虚像3。
图3为被显示为虚像3的操作部2的一例。如图3所示,操作部2例如为能够操作车载用后置摄像头的操作画面,能够通过按下操作部2的各按钮来切换车载用后置摄像头的摄影的位置。作为一例,操作部2包括拍摄车辆的左方的第一虚像按钮2A、拍摄车辆的后方的第二虚像按钮2B以及拍摄车辆的右方的第三虚像按钮2C。
再次参照图1。深度传感器20以隔着操作部2的方式设置于对象物4的相反侧。在一例中,深度传感器20设置于连结操作部2和对象物4的虚拟直线上。深度传感器20获取距离图像数据,该距离图像数据包括对象物4的在与该虚拟直线垂直的面上的位置(二维位置)的信息和从深度传感器20至对象物4的距离D1的信息。距离图像数据例如以640×480像素被获取。深度传感器20以规定的周期(例如1/30秒)向控制部30输出获取到的距离图像数据。
具体地说,深度传感器20向存在于包括对象物4的摄影区域内的物体上的各点照射光线(例如红外线),接受从物体上的各点反射来的光线。而且,深度传感器20基于接受到的光线来测量深度传感器20与物体上的各点的距离,按像素输出测量出的距离。
深度传感器20与物体上的各点的距离例如通过Light Coding(光编码)方式进行测量。在该方式中,深度传感器20以随机点图案向存在于包括对象物4的摄影区域内的物体上的各点照射光线。而且,深度传感器20接受从物体上的各点反射来的光线,检测反射来的光线的图案的变形,由此测量深度传感器20与物体上的各点的距离。深度传感器20将物体上的各点的二维位置的信息和从深度传感器20至物体上的各点的距离的信息作为多个像素进行检测,将检测出的多个像素输出至控制部30。
控制部30能够与深度传感器20及液晶面板12进行通信。控制部30例如具备执行程序的CPU 31(Central Processing Unit:中央处理单元)、ROM(ReadOnly Memory:只读存储器)和RAM(Random Access Memory:随机存取存储器)等存储部32、输入输出部33以及驱动器34。在CPU 31的控制下使输入输出部33动作来进行存储部32中的数据的读出和写入,由此实现控制部30的各功能性的构成要素实现的功能。不对控制部30的方式和配置场所特别地进行限定。
图4是控制部30的功能框图。如图4所示,控制部30具有作为功能性的构成要素的图像输出部40、对象物检测部41、操作判定部42以及信号输出部43。图像输出部40将在液晶面板12显示的图像的图像数据输出至液晶面板12。液晶面板12显示的图像不限于图3所示的操作画面。液晶面板12能够基于来自图像输出部40的图像数据来显示各种图像。
对象物检测部41从自深度传感器20输出的距离图像数据中包括的多个像素之中确定表示深度传感器20与对象物4的距离近的像素,由此检测对象物4。图5是示意性地表示从深度传感器20输出的距离图像数据D的图。当对象物检测部41被输入来自深度传感器20的距离图像数据D时,针对距离图像数据D设定扫描区域R1。
扫描区域R1例如为距离图像数据D中的作为扫描对象的区域。对象物检测部41例如将距离图像数据D的包括中央的区域设定为扫描区域R1。像这样,对象物检测部41将距离图像数据D的包括中央的区域(即距离图像数据D的除了端部以外的区域)设定为扫描区域R1,由此能够提高检测对象物4的速度。对象物检测部41也可以将距离图像数据D的整体设定为扫描区域R1。对象物检测部41设定临时的基准值T1作为表示深度传感器20与对象物4上的各点的距离中的最短的最短距离的值。临时的基准值T1例如为300mm,但能够适当变更。
对象物检测部41例如将处于扫描区域R1内的多个像素E中的、被设为矩形状的扫描区域R1的对角线上的一个角部的像素EA的位置设为扫描开始位置,将处于另一个角部的像素EB的位置设为扫描结束位置,从像素EA到像素EB依次对扫描区域R1内的各像素E进行扫描。针对各像素E对应有深度传感器20与物体上的各点的距离的信息。对象物检测部41针对每个像素E判定与像素E对应的距离是否比临时的基准值T1小。对象物检测部41在判断为该距离比临时的基准值T1小的情况下,将与该距离相对应的像素E确定为第一像素。第一像素为扫描区域R1内的多个像素E中的、对象物4上的各点与深度传感器20的距离为最短的距离所对应的像素E。
在图6所示的例子中,以深颜色表示对象物4与深度传感器20的距离近的像素E,以浅颜色表示对象物4与深度传感器20的距离远的像素E。对象物检测部41在判定为像素E为与比临时的基准值T1小的距离相对应的第一像素E1的情况下,设定以第一像素E1为中心的周围区域R2,扫描周围区域R2内的多个第二像素E2。周围区域R2例如为具有与对象物4的大小相对应的大小(范围)的区域。在本实施方式中,周围区域R2例如为以第一像素E1为中心的包括7×7像素的矩形区域。第二像素E2例如为周围区域R2内的除去第一像素E1以外的全部的像素E。在图6所示的例子中,第二像素E2为位于第一像素E1的周围的48个像素E。
对象物检测部41判定周围区域R2内的多个第二像素E2中的、各第二像素E2所对应的距离与第一像素E1所对应的距离之差为固定值(例如10mm)以下的第二像素E21的数量是否为规定数量以上。“规定数量”例如为第二像素E2的总数的一半或第二像素E2的总数的七成,但能够适当变更。
在本实施方式中,对象物检测部41判定第二像素E2的总数即48个中的、各第二像素E2所对应的距离与第一像素E1所对应的距离之差为10mm以下的第二像素E21的数量是否为35个以上。在图6所示的例子中,通过比第一像素E1浅的颜色表示第二像素E21,通过比第二像素E21更浅的颜色表示上述的距离之间的差不是10mm以下的第二像素E22。
对象物检测部41在判定为第二像素E21的数量为35个以上的情况下,用与第一像素E1相对应的距离更新临时的基准值T1,并且记录对象物4的二维位置。另一方面,对象物检测部41在判定为第二像素E21的数量不为35个以上的情况下,判断为第一像素E1为噪声,不进行临时的基准值T1的更新。
对象物检测部41在对扫描区域R1内的全部的像素E进行了扫描后,将与被记录为临时的基准值T1的最短距离相对应的第一像素E1确定为表示深度传感器20与对象物4的距离近的像素。对象物检测部41将第一像素E1确定为表示深度传感器20与对象物4的距离近的像素,由此检测对象物4。对象物检测部41当检测对象物4时,将表示对象物4的位置的位置数据输出至操作判定部42。
再次参照图4。操作判定部42基于从对象物检测部41输出的位置数据来判定是否通过对象物4对操作部2进行了按下操作。如图1所示,操作判定部42判定深度传感器20与对象物4的距离D1、即与对象物检测部41确定出的第一像素E1相对应的最短距离是否为预先确定的阈值T2以下。阈值T2例如为100mm,但能够适当变更。而且,操作判定部42在判定为距离D1为阈值T2以下的情况下,判定为对象物4到达虚拟的按下判定面S,进行了操作部2的按下操作。
按下判定面S为形成于距离深度传感器20的距离固定的部位的虚拟的面,并且设置于接近操作部2的位置。按下判定面S的位置可以与操作部2的位置一致,也可以为与操作部2分离规定距离的位置。在本实施方式中,按下判定面S的位置与操作部2的位置一致。
在操作判定部42判定为进行了操作部2的按下操作的情况下,信号输出部43生成基于操作部2的按下操作的控制信号。信号输出部43将生成的控制信号输出至前述的车载用后置摄像头等设备,该设备从信号输出部43接受控制信号并且进行动作。在图3所示的例子中,在操作判定部42判定为进行了第一虚像按钮2A、第二虚像按钮2B或第三虚像按钮2C的按下操作的情况下,信号输出部43向车载用后置摄像头输出控制信号。车载用后置摄像头基于输入的控制信号来显示车辆的左方的图像、车辆的后方的图像以及车辆的右方的图像中的任一图像。
接着,对操作检测装置1的动作进行说明。操作检测装置1的动作是通过CPU 31读出并且执行例如存储部32中存储的程序来执行的。图6是表示操作检测装置1的动作的一例的流程图。首先,深度传感器20获取距离图像数据D并将获取到的距离图像数据D输出至控制部30,距离图像数据D包括对象物4的二维位置的信息和从深度传感器20至对象物4的距离D1的信息。对象物检测部41基于输入的距离图像数据D来检测对象物4(工序P1)。在后文中叙述工序P1的详情。对象物检测部41当检测到对象物4时,将表示对象物4的位置的位置数据输出至操作判定部42。
接着,操作判定部42基于从对象物检测部41输出的位置数据来判定是否进行了操作部2的按下操作(工序P2)。具体地说,操作判定部42如图1所示的那样判定深度传感器20与对象物4的距离D1是否为阈值T2以下。操作判定部42在判定为距离D1为阈值T2以下的情况下(在工序P2中为“是”),判定为对象物4到达虚拟的按下判定面S,进行了操作部2的按下操作。另一方面,操作判定部42在判定为距离D1不为阈值T2以下的情况下(在工序P2中为“否”),判定为对象物4没有到达按下判定面S,没有未操作部2的按下操作。在判定为未进行操作部2的按下操作的情况下,返回工序P1,继续执行检测对象物4的工序P1。
在操作判定部42判定为对操作部2进行了按下操作的情况下(在工序P2中为“是”),信号输出部43生成基于操作部2的按下操作的控制信号。信号输出部43将生成的控制信号输出至前述的车载用后置摄像头等设备,该设备从信号输出部43接受控制信号并且进行动作(工序P3)。然后,一系列的工序结束。
在此,详细地说明对象物检测部41检测对象物4的工序P1。并且,还说明本实施方式的操作检测方法。图8是详细地表示图7所示的流程图的工序P1的流程图。首先,深度传感器20将包括物体上的各点的二维位置的信息和从深度传感器20至物体上的各点的距离的信息的距离图像数据D作为多个像素E进行检测,将检测出的多个像素E输出至控制部30(工序P11)。
接着,对象物检测部41针对从深度传感器20输入的距离图像数据D设定扫描区域R1(工序P12)。例如,对象物检测部41将处于被设为矩形状的扫描区域R1的对角线上的一个角部的像素EA的位置设为扫描开始位置。之后,对象物检测部41设定临时的基准值T1作为表示深度传感器20与对象物4上的各点的距离为最短的最短距离的值(工序P13)。
接着,对象物检测部41从像素EA起依次对扫描区域R1内的各像素E进行扫描,判定与像素E相对应的距离是否比临时的基准值T1小(工序P14)。对象物检测部41在判定为该距离比临时的基准值T1小的情况下(在工序P14中为“是”),将与该距离相对应的像素E确定为第一像素E1(工序P15)。另一方面,对象物检测部41在判定为与像素E相对应的距离不比临时的基准值T1小的情况下(在工序P14中为“否”),不将与该距离相对应的像素E确定为第一像素E1,对扫描区域R1内的下一个像素E进行扫描(工序P19)。
对象物检测部41在判定为与像素E相对应的距离比临时的基准值T1小并且进行了第一像素E1的确定之后,以确定出的第一像素E1为中心来设定周围区域R2,扫描周围区域R2内的多个第二素E2(工序P16)。之后,对象物检测部41判定周围区域R2内的多个第二像素E2中的、各第二像素E2所对应的距离与第一像素E1所对应的距离之差为固定值以下的第二像素E21的数量是否为规定数量以上(工序P17)。在本实施方式中,对象物检测部41判定各第二像素E2所对应的距离与第一像素E1所对应的距离之差为10mm以下的第二像素E21的数量是否为35个以上。
对象物检测部41在判定为第二像素E21的数量为35个以上的情况下(在工序P17中为“是”),用与第一像素E1相对应的距离更新临时的准值T1(工序P18)。此时,对象物检测部41记录对象物4的二维位置。之后,对象物检测部41对扫描区域R1内的下一个像素E进行扫描(工序P19)。另一方面,对象物检测部41在判定为第二像素E21的数量不为35个以上的情况下(在工序P17中为“否”),判断为第一像素E1为噪声,不进行临时的基准值T1的更新。而且,执行工序P19。
对象物检测部41在对扫描区域R1内的下一个像素E进行扫描之后,判定像素E是否为与扫描结束位置相对应的像素EB(工序P20)。对象物检测部41在判定为像素E为像素EB的情况下(在工序P20中为“是”),将与被记录为临时的基准值T1的最短距离相对应的第一像素E1确定为表示深度传感器20与对象物4的距离近的像素,由此检测到对象物4(工序P21)。对象物检测部41当检测到对象物4时,将包括对象物4的位置的信息的位置数据输出至操作判定部42,之后,执行工序P2。另一方面,对象物检测部41在判定为像素E不为像素EB的情况下(在工序P20中为“否”),返回工序P14。
接着,对通过本实施方式的操作检测装置1和操作检测方法得到的效果进行说明。在本实施方式中,如图6所示,深度传感器20将与对象物4的距离作为多个像素E进行检测,对象物检测部41确定与距对象物4的距离为最短的最短距离相对应的第一像素E1。而且,对象物检测部41对位于确定出的第一像素E1的周围的多个第二像素E2进行扫描,在扫描出的多个第二像素E2中的、与最短距离的差为固定值以下的距离所对应的第二像素E21的数量为规定数量以上的情况下,检测到对象物4。另一方面,对象物检测部41在扫描出的多个第二像素E2中的、与最短距离的差为固定值以下的距离所对应的第二像素E21的数量小于规定数量的情况下,未检测到对象物4。像这样,在第二像素E21的数量小于规定数量时未检测到对象物4,由此能够将确定出的第一像素E1判断为噪声。其结果是,能够排除噪声的影响,能够抑制对象物4的误检测,因此能够高精度地检测对象物4。并且,在该操作检测装置1和操作检测方法中,在检测对象物4时不需要获取对象物4的形状的处理,因此能够减轻处理负荷以提高处理速度。由此,能够高速地检测对象物4。
对象物检测部41在周围区域R2内的多个第二像素E2中的、与最短距离的差为固定值以下的距离所对应的第二像素E21的数量为第二像素E2的总数的一半以上或七成以上的情况下,检测到对象物4。由此,能够更加准确地抑制由于噪声引起的对象物4的误检测,能够更高精度地检测对象物4。并且,通过对象物检测部41设定的周围区域R2具有与对象物4的大小相对应的大小。由此,例如能够抑制比对象物4小的非对象物的误检测,能够更高精度地检测对象物4。
操作检测装置1具备操作判定部42。由此,能够判定是否对操作部2进行了按下操作。
操作部2被显示为虚像3。在操作部2被显示为虚像3的情况下,能够以浮出的方式显示操作部2,因此能够提高操作部2的可视性。在操作部2被显示为虚像3的情况下,假定用户U识别的操作部2的位置有时产生偏差,不恰当地对操作部2进行按下操作。即使在这样的情况下,在本实施方式的操作检测装置1和操作检测方法中,也能够抑制对象物4的误检测。因而,根据本实施方式的操作检测装置1和操作检测方法,能够高精度地检测对象物4。
以上对本公开所涉及的操作检测装置和操作检测方法的实施方式进行了说明。然而,本公开并不限定于前述的各实施方式,可以在不变更各权利要求所记载的主旨的范围中进行变形或应用于其它方式。即,操作检测方法的各工序的内容、顺序以及操作检测装置的各部的构成能够在不变更各权利要求的主旨的范围中适当变更。
例如,在前述的实施方式中,深度传感器20通过Light Coding方式测量深度传感器20与物体上的各点的距离,但并不限定于该方式。例如,深度传感器20可以通过TOF(Timeof Flight:飞行时间)方式测量深度传感器20与物体上的各点的距离。在TOF方式中,深度传感器20计算光线在物体上的各点进行反射后到达深度传感器20为止的光线的飞行时间(即延迟时间),根据计算出的飞行时间和光的速度来测量深度传感器20与物体上的各点的距离。即使为这样的方式,也起到与前述的实施方式同样的效果。
在前述的实施方式中,对象物检测部41判定第二像素E2的总数即48个中的第二像素E21的数量是否为35个以上。然而,第二像素E2的总数不限定于48个,能够适当变更。作为判定基准的第二像素E21的数量不限于35个,能够适当变更。关于各像素E的形状和显示方式,不特别限定,能够适当变更。在前述的实施方式中,对矩形状的扫描区域R1和周围区域R2进行了说明,但不特别地限定这些区域的形状和显示方式。
在前述的实施方式中,说明了操作部2具备第一虚像按钮2A、第二虚像按钮2B以及第三虚像按钮2C的例子,但能够适当变更操作部的布局和种类。操作检测装置可以为检测使车辆以外的各设备动作的操作的装置,操作检测装置和操作检测方法也能够应用于车辆以外的各种设备中。
附图标记说明
1:操作检测装置;2:操作部;3:虚像;4:对象物;10:显示部;20:深度传感器;30:控制部;41:对象物检测部;42:操作判定部;E:像素;E1:第一像素;E2、E21、E22:第二像素。

Claims (4)

1.一种操作检测装置,检测接近操作部的对象物,所述操作检测装置具备:
传感器,其将与所述对象物的距离作为多个像素进行检测;以及
对象物检测部,其检测所述对象物,
其中,所述对象物检测部确定所述多个像素中的与所述距离为最短的最短距离相对应的第一像素,扫描位于所述第一像素的周围的多个第二像素,在所述多个第二像素中的、各所述第二像素所对应的距离与所述最短距离之差为固定值以下的所述第二像素的数量为规定数量以上的情况下,检测到所述对象物。
2.根据权利要求1所述的操作检测装置,其中,
还具备判定部,所述判定部判定由所述对象物检测部检测出的所述对象物是否对所述操作部进行了操作。
3.根据权利要求1或2所述的操作检测装置,其特征在于,
所述操作部被显示为虚像。
4.一种操作检测方法,通过传感器来检测接近操作部的对象物,所述操作检测方法包括以下工序:
将从所述对象物至所述传感器的距离作为多个像素进行检测;
确定所述多个像素中的与所述距离为最短的最短距离相对应的第一像素;以及
扫描位于所述第一像素的周围的多个第二像素,在所述多个第二像素中的、各所述第二像素所对应的距离与所述最短距离之差为固定值以下的所述第二像素的数量为规定数量以上的情况下,检测到所述对象物。
CN201980013795.0A 2018-02-19 2019-02-05 操作检测装置和操作检测方法 Pending CN111788544A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018026996 2018-02-19
JP2018-026996 2018-12-11
PCT/JP2019/004054 WO2019159759A1 (ja) 2018-02-19 2019-02-05 操作検出装置及び操作検出方法

Publications (1)

Publication Number Publication Date
CN111788544A true CN111788544A (zh) 2020-10-16

Family

ID=67619862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980013795.0A Pending CN111788544A (zh) 2018-02-19 2019-02-05 操作检测装置和操作检测方法

Country Status (5)

Country Link
US (1) US11380000B2 (zh)
JP (1) JP7286612B2 (zh)
CN (1) CN111788544A (zh)
DE (1) DE112019000869T5 (zh)
WO (1) WO2019159759A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4325345A1 (en) * 2021-09-06 2024-02-21 Samsung Electronics Co., Ltd. Electronic device for acquiring user input through virtual keyboard and operating method thereof

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
WO2009119110A1 (ja) * 2008-03-27 2009-10-01 パナソニック株式会社 死角表示装置
US8087791B2 (en) * 2009-04-15 2012-01-03 Toyota Motor Engineering And Manufacturing North America, Inc. Methods and systems for adjusting the position of vehicle outside mirrors
JP2012003585A (ja) 2010-06-18 2012-01-05 Toyota Infotechnology Center Co Ltd ユーザインタフェース装置
JP5757182B2 (ja) 2011-07-12 2015-07-29 東芝ライテック株式会社 電源装置および照明装置
JP5954336B2 (ja) * 2011-12-13 2016-07-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JP5966535B2 (ja) 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
JP2014181949A (ja) 2013-03-18 2014-09-29 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9508173B2 (en) 2013-10-30 2016-11-29 Morpho, Inc. Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium
US10007350B1 (en) * 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP2016017749A (ja) 2014-07-04 2016-02-01 三菱電機株式会社 干渉計測装置系の調整システムおよびその調整方法
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
JP2016177491A (ja) 2015-03-19 2016-10-06 富士通株式会社 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
KR102614323B1 (ko) * 2015-04-01 2023-12-14 바야비전 리미티드 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
JP2018148483A (ja) * 2017-03-08 2018-09-20 オリンパス株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US11380000B2 (en) 2022-07-05
JPWO2019159759A1 (ja) 2021-01-28
US20210035311A1 (en) 2021-02-04
DE112019000869T5 (de) 2020-11-05
JP7286612B2 (ja) 2023-06-05
WO2019159759A1 (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
EP2353069B1 (en) Stereo optical sensors for resolving multi-touch in a touch detection system
KR101033428B1 (ko) 에어리어 이미지 센서를 사용한 위치 검출 장치
US10747326B2 (en) Motion detection system
CN104035555A (zh) 系统、信息处理装置和信息处理方法
US11016618B2 (en) Sensor device for detecting pen signal transmitted from pen
US20160306490A1 (en) Operation detecting device
US9690430B2 (en) Touch detection apparatus, touch detection method and recording medium
US8780084B2 (en) Apparatus for detecting a touching position on a flat panel display and a method thereof
CN111788544A (zh) 操作检测装置和操作检测方法
US20100134446A1 (en) Optical output device
JP2011118466A (ja) 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器
US11237673B2 (en) Operation detection device and operation detection method
US20220201164A1 (en) Image registration apparatus, image generation system, image registration method, and image registration program product
US20160139735A1 (en) Optical touch screen
US9569013B2 (en) Coordinate detection system, information processing apparatus, and recording medium
KR101224090B1 (ko) 근접 차량 검출 방법 및 그 장치
US11423687B2 (en) Electronic device including point detector and biometric information obtaining method using the same
US20130162601A1 (en) Optical touch system
US11073947B2 (en) Touch panel device
WO2012140772A1 (ja) タッチパネル装置、および、これを用いた情報処理方法
CN115023950B (zh) 用于尺寸标注系统的交错图像捕获
CN111886567A (zh) 操作输入装置、操作输入方法及计算机可读的记录介质
US11567589B2 (en) Information processing device, information processing method, program, display system, display method, and electronic writing instrument
US11709564B2 (en) Electronic device comprising sensor for touch recognition and sensor for hovering recognition, and method for operating same
US20220397393A1 (en) Shielding detection device and computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination