CN116964484A - 信息处理设备、信息处理方法和感测系统 - Google Patents

信息处理设备、信息处理方法和感测系统 Download PDF

Info

Publication number
CN116964484A
CN116964484A CN202180095515.2A CN202180095515A CN116964484A CN 116964484 A CN116964484 A CN 116964484A CN 202180095515 A CN202180095515 A CN 202180095515A CN 116964484 A CN116964484 A CN 116964484A
Authority
CN
China
Prior art keywords
unit
point cloud
information
image
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095515.2A
Other languages
English (en)
Inventor
高桥恒介
北野和俊
川村祐介
久保田刚史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116964484A publication Critical patent/CN116964484A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)

Abstract

根据本公开的信息处理设备包括:识别单元(122),基于从使用频率调制连续波并输出点云的光检测测距单元(11)输出的点云进行识别处理并确定关于真实物体的指定区域,光检测测距单元根据被目标物体反射的并接收的接收信号输出包括速度信息的点云和点云的三维坐标,以及识别单元被配置为输出包括表示所确定的指定区域的信息的三维识别信息;以及校正单元(125),基于识别单元输出的三维识别信息来校正指定区域在点云中的三维坐标。

Description

信息处理设备、信息处理方法和感测系统
技术领域
本公开涉及信息处理设备、信息处理方法和感测系统。
背景技术
传统上,已知的是在大范围内接收与用户的行为相对应的操作的技术、接收人以外的物体的移动的技术。例如,在虚拟现实、增强现实、混合现实或投影映射的领域中,使用设备的姿势检测功能、拍摄功能和显示功能。因此,可执行对应于用户的手势或除用户之外的物体的移动的输入操作。
引用列表
专利文献
专利文献1:JP 2017-41187A
发明内容
技术问题
在执行对应于用户的手势或除用户之外的物体的动作的输入操作的系统中,传感器检测手指、手、手臂或除人之外的物体的动作或位置,并且借助于包括在虚拟空间中配置的虚拟手或指针、虚拟物体或用于反馈的视觉感的演出来执行输入操作。因此,在用于检测人的手指、手、手臂或者除人之外的物体的动作或位置的三维位置传感器的输出误差或处理时间很大的情况下,存在针对输入可能发生违和感的问题。
为了解决该问题,考虑通过使用低通滤波器的位置校正、下采样等来减少处理数据的量的方法。然而,低通滤波器的处理导致响应性的劣化。此外,处理的数据的量的减少具有动作和位置信息的分辨率降低的问题,并且变得难以获取精细的动作和位置。
此外,专利文献1公开了一种技术,该技术通过使用三维距离相机和包括安装在人体上的惯性传感器和发送器的手腕装置来提高用户在虚拟现实中指向位置的稳定性和响应性。然而,在专利文献1中,用户需要佩戴手腕装置,并且目标输入仅是从肘部的位置和前臂的方位估计的人的指向输入。
本公开提供一种能够根据人或者除人之外的物体的大范围的移动来提高显示稳定性和响应性的信息处理设备、信息处理方法以及感测系统。
问题的解决方案
为了解决上述问题,根据本公开的一个方面的信息处理设备具有:识别单元,被配置为基于从使用频率调制连续波的光检测测距单元输出的点云执行识别处理,以确定真实物体中的指定区域;光检测测距单元被配置为根据接收的被物体反射的接收信号输出包括速度信息的点云和点云的三维坐标,并且识别单元被配置为输出三维识别信息,三维识别信息包括指示所确定的指定区域的信息;以及校正单元,被配置为基于由识别单元输出的三维识别信息校正指定区域在点云中的三维坐标。
一种由处理器执行的根据本公开的一个方面的信息处理方法,包括:识别步骤,基于从使用频率调制连续波的光检测测距单元输出的点云,执行识别处理,来确定真实物体内的指定区域,该光检测测距单元被配置为根据接收的被物体反射的接收信号输出包括速度信息的点云和点云的三维坐标,并且识别步骤输出包括表示所确定的指定区域的信息的三维识别信息;以及校正步骤,基于在识别步骤中输出的三维识别信息,校正指定区域在点云中的三维坐标。
为了解决上述问题,根据本公开的一个方面的感测系统具有:使用频率调制连续波的光检测测距单元,被配置为基于由被物体反射并且接收的接收信号来输出包括速度信息的点云和点云的三维坐标;识别单元,被配置为基于所述点云执行识别处理以确定真实物体中的指定区域,并且被配置为输出包括表示所确定的指定区域的信息的三维识别信息;以及校正单元,被配置为基于由识别单元输出的三维识别信息校正指定区域在点云中的三维坐标。
附图说明
图1为示出了可应用于本公开的实施方式的感测系统的示例性配置的框图。
图2是示出可应用于本公开的实施方式的光检测测距单元的示例性配置的框图。
图3是示意性地示出通过扫描单元对发送光进行扫描的示例的示意图。
图4是示出了根据本公开的感测系统的示例性配置的框图。
图5是示出根据第一实施方式的感测系统的示例性配置的框图。
图6是用于说明根据第一实施方式的感测系统的示例性使用的示意图。
图7是用于描述根据第一实施方式的应用执行单元的功能的示例性功能框图。
图8是用于说明根据第一实施方式的感测系统的操作的示例的流程图。
图9为用于说明根据第一实施方式的传感器单元进行的处理的示例的流程图。
图10是用于说明根据第一实施方式的第一变形例的感测系统的示例性使用的示意图。
图11是用于说明根据第一实施方式的第二变形例的感测系统的示例性使用的示意图。
图12是用于说明根据第二实施方式的感测系统的示例性使用的示意图。
图13是示出根据第二实施方式的感测系统的示例性配置的框图。
图14是示出以描述根据第二实施方式的眼镜型设备的功能的示例性功能框图。
图15是用于说明根据第二实施方式的感测系统的操作的示例的流程图。
图16是用于说明根据第二实施方式的传感器单元的处理的示例的流程图。
图17是示出了根据第二实施方式的变形例的感测系统的示例性配置的框图。
图18是示出了根据第二实施方式的变形例的感测系统的示例性配置的框图。
图19是用于说明根据第三实施方式的感测系统的示例性使用的示意图。
图20是示出了根据第三实施方式的感测系统的示例性配置的框图。
图21是示出用于描述根据第三实施方式的应用执行单元的功能的示例性功能框图。
图22是用于说明根据第三实施方式的感测系统的操作的示例的流程图。
图23是用于说明根据第三实施方式的传感器单元的处理的示例的流程图。
图24是示出根据第四实施方式的感测系统的示例性配置的框图。
图25是用于说明根据第四实施方式的传感器单元的处理的示例的流程图。
具体实施方式
现在参考附图详细描述本公开的实施方式。此外,在下面描述的实施方式中,相同的部件由相同的参考标号表示,并且因此省略其描述。
现在以下列顺序描述本公开的实施方式。
1.本公开的概述
1-1.LiDAR
1-2.FMCW-LiDAR
1-3.适用于本公开的配置
2.第一实施方式
2-1.第一实施方式的第一变形例
2-2.第一实施方式的第二变形例
3.第二实施方式
3-1.第二实施方式的变形例
4.第三实施方式
5.第四实施方式
(1.本公开的概述)
本公开涉及适用于根据人的手势或除人之外的物体的移动将虚拟物体显示在虚拟空间中的技术。在本公开中,通过对这些目标执行测距来检测人或者除人之外的物体的移动。在本公开的每个示例性实施方式的描述之前,将示意性地描述应用于本公开的用于检测人或者除人之外的物体的移动的测距方法。
在下文中,除非另有规定,否则作为测距对象的存在于真实空间中的人或者除人之外的物体统称为“真实物体”。
(1-1.LiDAR)
作为用于检测真实物体的移动的方法,使用激光成像检测和测距(LiDAR)的方法是已知的。LiDAR是基于通过接收照射至目标物体的激光的反射光而获得的光接收信号来测量至目标物体的距离的光检测测距设备。在LiDAR中,一起使用扫描激光的扫描仪、作为光接收单元的焦平面阵列型检测器等。在LiDAR中,相对于空间对激光的扫描视圆中的每个角度执行测距,并且基于角度和距离的信息输出称为点云的数据。
点云是通过采样包括在激光的扫描范围内的物体的位置和空间结构获得的,并且通常每隔恒定周期的帧时间输出。通过对点云数据执行计算处理,可以检测和识别目标物体的准确位置、姿势等。
在LiDAR中,由于其操作原理,测量结果不太可能受到外部光的影响,因此,例如,即使在低照度环境下,也可稳定地检测和识别目标物体。以往提出了使用LiDAR的光检测测距方法的各种方法。对于长距离测量应用,结合脉冲调制和直接检测的脉冲飞行时间(ToF)方法已经变得普遍。在下文中,使用LiDAR的利用脉冲ToF的光检测测距方法被适当地称为dToF(直接ToF)-LiDAR。
在dToF-LiDAR中,通常以恒定周期(帧)输出点云。通过比较帧的点云,可以估计在点云中检测到的物体的移动(移动速度、方向等)。
(1-2.FMCW-LiDAR)
此处,将描述作为使用LiDAR的光检测测距方法之一的频率调制连续波(FMCW)-LiDAR。在FMCW-LiDAR中,作为要发射的激光,使用其中脉冲的频率随着时间流逝线性改变的啁啾光。在FMCW-LiDAR中,通过相干检测对通过对作为啁啾光发射的激光和发射的激光的反射光进行组合而获得的接收信号执行测距。
在FMCW-LiDAR中,通过使用多普勒效应,可与测距同时地测量速度。因此,通过使用FMCW-LiDAR,容易快速掌握具有速度的物体(诸如,人或者其他移动物体)的位置。因此,在本公开中,使用FMCW-LiDAR检测和识别真实物体。这使得可以高响应性地检测真实物体的移动并且在显示等中反映移动。
(1-3.适用于本公开的配置)
现在描述可应用于本公开的配置。图1为示出了可应用于本公开的实施方式的感测系统1的示例性配置的框图。在图1中,感测系统1包括传感器单元10和根据从传感器单元10输出的输出信号执行预定操作的应用执行单元20。
传感器单元10包括光检测测距单元11和信号处理单元12。将使用频率连续调制激光执行测距的FMCW-LiDAR应用于光检测测距单元11。光检测测距单元11的检测和测距结果作为具有三维空间信息的点云信息被提供给信号处理单元12。信号处理单元12对从光检测测距单元11提供的检测和测距结果执行信号处理,并且输出包括关于物体的属性信息和区域信息的信息。
图2是示出可应用于本公开的实施方式的光检测测距单元11的示例性配置的框图。在图2中,光检测测距单元11包括扫描单元100、光发送单元101、偏振分束器(PBS)102、光接收单元103、第一控制单元110、第二控制单元115、点云生成单元130、前级处理单元140、以及接口(I/F)单元141。
第一控制单元110包括扫描控制单元111和角度检测单元112,并且控制扫描单元100的扫描。第二控制单元115包括发送光控制单元116和接收信号处理单元117,并且执行光检测测距单元11的激光的发送的控制以及对接收光的处理。
例如,光发送单元101包括用于发射作为发送光的激光的光源(例如,激光二极管)、用于发射由光源发射的光的光学系统、以及用于驱动光源的激光输出调制装置。光发送单元101根据从稍后描述的发送光控制单元116提供的光发送控制信号使光源发射光,并且发射基于频率随着时间推移在预定的频率范围内线性改变的啁啾光的发送光。发送光被发送至扫描单元100并且作为局部光被发送至光接收单元103。
发送光控制单元116生成其频率随着时间流逝在预定的频率范围内线性改变(例如,增加)的信号。这种频率在预定的频率范围内随时间线性改变的信号被称为啁啾信号。发送光控制单元116基于啁啾信号向包括在光发送单元101中的激光输出调制装置输入调制同步时序信号。生成光发送控制信号。发送光控制单元116将生成的光发送控制信号提供至光发送单元101和点云生成单元130。
由扫描单元100接收的接收光被PBS102偏振和分离,并且基于TM偏振光(p偏振光)从PBS102发射作为接收光(TM),并且基于TE偏振光(s偏振光)从PBS102发射作为接收光(TE)。从PBS102发射的接收光(TM)和接收光(TE)被输入到光接收单元103。
例如,光接收单元103包括分别接收输入的接收光(TM)和接收光(TE)的光接收单元(TM)和光接收单元(TE),以及驱动光接收单元(TM)和光接收单元(TE)的驱动电路。例如,其中构成像素的诸如光电二极管的光接收元件布置成二维格状图案的像素阵列可以应用于光接收单元(TM)和光接收单元(TE)。
光接收单元103进一步包括组合单元(TM)和组合单元(TE),所述组合单元(TM)和组合单元(TE)将已经输入的接收光(TM)和接收光(TE)与从光发送单元101发送的局部光组合。如果接收光(TM)和接收光(TE)是来自发送光的物体的反射光,则接收光(TM)和接收光(TE)是根据距离物体的距离相对于局部光延迟的信号,并且通过将接收光(TM)和接收光(TE)与局部光组合所获得的各组合信号是恒定频率的信号(节拍信号)。光接收单元103将与接收光(TM)和接收光(TE)对应的信号分别作为接收信号(TM)和接收信号(TE)提供至接收信号处理单元117。
接收信号处理单元117对从光接收单元103提供的接收信号(TM)和接收信号(TE)中的每一个执行诸如快速傅里叶变换的信号处理。接收信号处理单元117通过信号处理获得到物体的距离和表示物体的速度的速度,并且生成测量信息(TM)和测量信息(TE),测量信息(TM)和测量信息(TE)分别包括表示距离和速度的距离信息和速度信息。接收信号处理单元117可以进一步基于接收信号(TM)和接收信号(TE)获得表示物体的反射率的反射率信息并且在测量信息中包括反射率信息。接收信号处理单元117将生成的测量信息提供给点云生成单元130。
扫描单元100根据从扫描控制单元111提供的扫描控制信号以一定角度发送从光发送单元101发送的发送光,并接收从该角度入射的光作为接收光。在扫描单元100中,例如,双轴反射镜扫描装置可用作发送光的扫描机构。在这种情况下,扫描控制信号例如是施加至双轴反射镜扫描装置的每个轴的驱动电压信号。
扫描控制单元111生成用于在预定角度范围内改变扫描单元100的发送/接收角度的扫描控制信号,并且将扫描控制信号提供至扫描单元100。扫描单元100可根据提供的扫描控制信号使用发送光在特定范围内执行扫描。
扫描单元100包括检测将要发射的发送光的发射角的传感器,并且输出指示由传感器检测的发送光的发射角的角度检测信号。角度检测单元112基于从扫描单元100输出的角度检测信号来获得发送/接收角度,并且生成表示所获得的角度的角度信息。角度检测单元112将生成的角度信息提供给点云生成单元130。
图3是示意性地示出通过扫描单元100扫描发送光的示例的示意图。扫描单元100在预定角度范围200内根据预定数量的扫描线210执行扫描。扫描线210对应于通过在角度范围200的左端和右端之间进行扫描获得的一个轨迹。扫描单元100响应于扫描控制信号根据扫描线210在角度范围200的上端和下端之间进行扫描。
此时,根据扫描控制信号,扫描单元100以例如恒定的时间间隔(点速度)沿着扫描线210顺序地和离散地改变啁啾光的发射点,例如,点2201、2202、2203、...。此时,在扫描线210的角度范围200的左端和右端处的转折点附近,双轴反射镜扫描装置的扫描速度降低。因此,点2201、2202、2203、...没有布置在角度范围200中的网格中。注意,光发送单元101可以根据从发送光控制单元116提供的光发送控制信号一次或多次向一个发射点发射啁啾光。
返回至图2的描述,点云生成单元130基于从角度检测单元112提供的角度信息、从发送光控制单元116提供的光发送控制信号、以及从接收信号处理单元113提供的测量信息来生成点云。更具体地,点云生成单元130基于测量信息中包括的角度信息和距离信息通过角度和距离指定空间中的一个点。点云生成单元130在预定条件下获取点云作为指定点的集合。点云生成单元130考虑到每个指定点的速度,基于包含在测量信息中的速度信息获得点云。即,点云包括指示包括在点云中的每个点的三维坐标和速度的信息。
点云生成单元130将所获得的点云提供给前级处理单元140。前级处理单元140对提供的点云执行预定的信号处理,诸如格式转换。经过前级处理单元140的信号处理的点云经由I/F单元141输出到光检测测距单元11的外部。
尽管图2中未示出,但是点云生成单元130可经由前级处理单元140和I/F单元141将从接收信号处理单元117提供的测量信息(TM)和测量信息(TE)中的每一个包括的每条信息(距离信息、速度信息、反射率信息等)输出至外部。
图4是示出了根据本公开内容的感测系统的示例性配置的框图。在图4中,感测系统1包括传感器单元10和应用执行单元20。传感器单元10包括光检测测距单元11和信号处理单元12。信号处理单元12包括三维(3D)物体检测单元121、3D物体识别单元122、I/F单元123、点云校正单元125和存储单元126。
可以通过在诸如中央处理单元(CPU)的处理器上执行根据本公开的信息处理程序来配置3D物体检测单元121、3D物体识别单元122、I/F单元123和点云校正单元125。不限于此,可以通过彼此协作操作的硬件电路来配置3D物体检测单元121、3D物体识别单元122、I/F单元123和点云校正单元125中的一些或全部。
从光检测测距单元11输出的点云被输入到信号处理单元12,并且被提供给信号处理单元12中的I/F单元123和3D物体检测单元121。
3D物体检测单元121检测指示包括在所提供的点云中的3D物体的测量点。应注意,在下文中,为了避免复杂性,诸如“检测指示包括在组合的点云中的3D物体的测量点”的表达被描述为“检测包括在组合的点云中的3D物体”等。
3D物体检测单元121将具有速度的点云和包括该点云并且被识别为具有例如来自点云的具有一定密度以上的连接的关系的点云检测为对应于3D物体的点云(称为局部点云)。例如,为了在点云中包括的静态物体和动态物体之间进行区分,3D物体检测单元121从点云中提取具有等于或大于一定值的速度绝对值的点。3D物体检测单元121基于所提取的点从点云中检测定位在某一空间范围(对应于目标物体的尺寸)内的点云的集合作为对应于3D物体的局部点云。3D物体检测单元121可以从点云中提取多个局部点云。
3D物体检测单元121获取所检测到的局部点云中的每个点的3D坐标和速度信息。此外,3D物体检测单元121将指示对应于局部点云的3D物体的标签信息添加到检测到的局部点云的区域中。3D物体检测单元121输出关于局部点云的3D坐标、速度信息和标签信息作为指示3D检测结果的3D检测信息。
3D物体识别单元122获取从3D物体检测单元121输出的3D检测信息。3D物体识别单元122基于所获取的3D检测信息对由3D检测信息指示的局部点云执行物体识别。例如,在由3D检测信息指示的局部点云中包括的点的数量等于或大于可用于识别目标物体的预定数量的情况下,3D物体识别单元122对局部点云执行点云识别处理。3D物体识别单元122通过点云识别处理估计关于所识别的物体的属性信息。
3D物体识别单元122对从光检测测距单元11输出的点云中与3D物体相对应的局部点云执行物体识别处理。例如,3D物体识别单元122去除从光检测测距单元11输出的点云中的除了局部点云以外的部分的点云,并且不对该部分执行物体识别处理。因此,可以减少由3D物体识别单元122进行的识别处理的负担。
当估计的属性信息的置信度等于或大于一定值时,即,当可以显著地执行识别处理时,3D物体识别单元122输出针对局部点云的识别结果,作为3D识别信息。3D物体识别单元122可以包括关于局部点云的3D坐标、速度信息、属性信息、所识别的物体的位置、大小和姿势以及3D识别信息的置信度。
注意,属性信息是指示目标物体的属性的信息,诸如作为识别处理结果的点云的各点的单元所属的目标物体的类型和固有分类。当目标物体是人时,属性信息可表示为例如分配给点云的各点并属于人的固有数值。
从3D物体识别单元122输出的3D识别信息被输入到I/F单元123。如上所述,从光检测测距单元11输出的点云也被输入到I/F单元123。I/F单元123将点云与3D识别信息整合并且将整合的识别信息提供至点云校正单元125。这里,提供给点云校正单元125的3D识别信息是在被点云校正单元125校正之前的3D识别信息。
点云校正单元125相对于从I/F单元123提供的3D识别信息校正包括在3D识别信息中的关于局部点云的位置信息。点云校正单元125可通过使用存储在存储单元126中的关于局部点云的过去的3D识别信息来估计当前获取的关于局部点云的位置信息来执行该校正。例如,点云校正单元125基于包括在过去的3D识别信息中的速度信息预测当前局部点云的位置信息。
点云校正单元125将校正的3D识别信息提供给应用执行单元20。此外,点云校正单元125将例如3D识别信息中包括的速度信息和位置信息累积并存储在存储单元126中作为过去信息。
例如,在包括中央处理单元(CPU)、存储器、存储设备等的通用信息处理设备中,根据预定程序配置应用执行单元20。本发明不限于此,应用执行单元20可以通过特定硬件来实现。
(2.第一实施方式)
现在给出本公开的第一实施方式的描述。第一实施方式是通过作为操作者的用户的手势来操作投影在墙壁表面等上的用于操作的虚拟物体的示例。
图5是示出根据第一实施方式的感测系统的示例性配置的框图。在图5中,感测系统1a包括传感器单元10、应用执行单元20a以及投影仪40。
应用执行单元20a可以生成用于通过投影仪40投影图像的显示信号。例如,应用执行单元20a生成用于投影对应于从传感器单元10提供的校正的3D识别结果的图像的显示信号。此外,应用执行单元20a还可以生成用于将固定图像投影的显示信号或者用于将与校正的3D识别结果相对应的图像以叠加的方式投影在固定图像上的显示信号。投影仪40将对应于由应用执行单元20a生成的显示信号的图像投影到诸如墙壁表面的投影对象上。
图6是用于说明根据第一实施方式的感测系统的示例性使用的示意图。在图6中,根据第一实施方式的感测系统1a通过投影仪40将作为被操作图像的按钮图像310a和310b投影并且将作为操作图像的光标图像311投影在作为固定表面的墙壁表面300(例如,屏幕)上。感测系统1a通过传感器单元10检测和识别真实物体(即,操作者320的手321),并且根据手321的移动移动光标图像311。
例如,在光标图像311的至少一部分与按钮图像310a重叠的情况下,例如,根据手321的移动,应用执行单元20a可以执行预定处理。作为示例,在这种情况下,应用执行单元20a将按钮图像310a改变为指示按钮图像310a处于选择待机状态的图像。
此外,例如,当在光标图像311的至少一部分与按钮图像310a重叠的状态下基于传感器单元10的输出检测到手321与光标图像311的移动表面相交并且在朝向按钮图像310a的方向上移动时,应用执行单元20a可以确定按钮图像310a被选择并且执行与按钮图像310a相关联的功能。
图7是用于描述根据第一实施方式的应用执行单元20a的功能的示例性功能框图。在图7中,应用执行单元20a包括变换单元200a、确定单元201a、图像生成单元202a和应用本体210a。
变换单元200a、确定单元201a、图像生成单元202a和应用本体210a通过例如在CPU上执行预定程序来配置。不限于此,变换单元200a、确定单元201a、图像生成单元202a和应用本体210a中的一些或全部可由彼此协作操作的硬件电路配置。
在图7中,应用本体210a生成由用户操作的被操作图像(在图6的示例中的按钮图像310a和310b)以及用于用户执行操作的操作图像(在图6的示例中的光标图像311)。应用本体210a将固定坐标提供到被操作图像且将初始坐标提供到操作图像。应用本体210a将被操作图像的坐标传送到确定单元201a。
变换单元200a将包括在从传感器单元10提供的校正后的3D识别信息中的3D坐标变换为将由投影仪40(在图6的示例中的墙壁表面300)投影的物体上的坐标。变换单元200a将变换后的坐标传送给确定单元201a和图像生成单元202a。从变换单元200a传送到图像生成单元202a的坐标是操作图像在投影仪40的投影对象上的坐标。
确定单元201a基于被操作图像的坐标以及基于从变换单元200a传送的3D识别信息的操作图像的坐标来确定操作图像与被操作图像之间的重叠。此外,在被操作图像的至少一部分与操作图像重叠的情况下,确定单元201a基于例如3D识别信息中包括的速度信息确定操作图像的3D坐标是否相对于与被操作图像的显示表面相交的方向朝向被操作图像改变。例如,在操作图像的3D坐标相对于与操作图像的显示表面相交的方向朝向被操作图像改变的情况下,可以确定对被操作图像执行预定操作。
确定单元201a将确定结果传送给应用本体210a。例如,应用本体210a可以根据从确定单元201a传送的确定结果执行预定操作,并且可以更新被操作图像。应用本体210a将更新后的被操作图像传送给图像生成单元202a。
图像生成单元202a基于从变换单元200a传送的被操作图像和操作图像的坐标以及从应用本体210a传送的被操作图像和操作图像的图像,生成将由投影仪40投影到投影对象上的图像。图像生成单元202a生成用于投影所生成的图像的显示信号,并且将生成的显示信号传送至投影仪40。
投影仪40根据从图像生成单元202a传送的显示信号在投影表面上投影图像。
图8是用于说明根据第一实施方式的感测系统1a的操作的示例的流程图。在图8中,在步骤S10中,感测系统1a使投影仪40将被操作图像和操作图像投影到投影对象上。在下一步骤S11中,感测系统1a通过传感器单元10获取真实物体中的指定区域的位置信息。可以预先指定将哪个区域设定为指定区域。
注意,真实物体是例如在真实空间中操作操作图像的人。另外,指定区域是人的一部分中与操作图像的操作相关的部分。例如,指定区域为人的手或从手伸出的手指。指定区域并不局限于此,可以是包括人的前臂和手的部分,也可以是人的脚,不限于手臂。
在下一步骤S12中,感测系统1a使应用执行单元20a的变换单元200a将指定区域的3D坐标变换成投影表面的坐标。在下一步骤S13中,感测系统1a在图像生成单元202a中根据由变换单元200a变换的坐标来更新操作图像。通过投影仪40将更新的操作图像投影到投影表面上。
在下一步骤S14中,在感测系统1a中,应用执行单元20a的确定单元201a确定是否使用操作图像对被操作图像执行了操作。
例如,当基于由变换单元200a基于指定区域的3D坐标变换的操作图像的坐标,操作图像的至少一部分与被操作图像重叠时,确定单元201a可确定已经执行操作。此外,在操作图像的至少一部分与被操作图像重叠的情况下,确定单元201a可以确定在执行了按压被操作图像的操作的情况下已经执行了操作。
在步骤S14中,当确定单元201a确定未执行操作时(步骤S14,“否”),感测系统1a将处理返回至步骤S11。另一方面,当确定单元201a确定已经在步骤S14中执行操作时(步骤S14,“是”),感测系统1a将处理转移至步骤S15。
在步骤S15中,感测系统1a将指示确定单元201a的操作已被执行的确定结果通知给应用本体210a。此时,感测系统1a将操作的内容通知给应用本体210a。操作的内容可以包括例如诸如操作了哪个被操作图像、以及进行了操作图像的至少一部分重叠在被操作图像上的操作和被操作图像上的按压操作中的哪一个的信息。
在步骤S15中的处理完成时,感测系统1a将处理返回至步骤S11。
图9为用于说明根据第一实施方式的由传感器单元10进行的处理的示例的流程图。图9的流程图更详细地示出了上述图8的流程图中的步骤S11的处理。
在图9中,在步骤S110中,传感器单元10使用光检测测距单元11进行扫描以获取点云。假定所获取的点云包括与作为操作被操作图像的操作者的真实物体相对应的点云。
在下一步骤S111中,传感器单元10使3D物体检测单元121确定在步骤S110中所获取的点云中是否存在具有预定值以上的速度的点云。在3D物体检测单元121确定不存在具有预定值以上的速度的点云的情况下(步骤S111,“否”),传感器单元10将处理返回至步骤S110。另一方面,在3D物体检测单元121确定存在具有预定值以上的速度的点云的情况下(步骤S111,“是”),传感器单元10进行处理到步骤S112。
在步骤S112中,传感器单元10使3D物体检测单元121从在步骤S110中所获取的点云中提取具有预定值以上的速度的点云。在下一步骤S113中,传感器单元10使3D物体检测单元121从在步骤S110中所获取的点云中提取包括在步骤S112中所提取的点云并且例如具有一定密度以上的连接的点云作为局部点云。
以这种方式,通过使用点云的速度信息从通过使用光检测测距单元11扫描而获得的点云中提取局部点云,减少了要处理的点云的数量,并且能够提高响应性。
在下一步骤S114中,传感器单元10基于在步骤S113中提取的局部点云使用3D物体识别单元122估计指定区域。例如,在真实物体是人的情况下,指定区域是与指示相对于人的空间的位置的部分相对应的区域,诸如手、在手中伸出的手指或包括手的前臂。例如,可以预先为感测系统1指定要设置为指定区域的区域。
在下一步骤S115中,传感器单元10使用3D物体识别单元122估计在步骤S114中估计的指定区域的位置和姿势。例如,当指定区域具有长边和短边的形状时,可以通过长边或短边的方向指示指定区域的姿势。在下一步骤S116中,传感器单元10基于在步骤S110中获取的点云指定速度信息,该速度信息指示点云校正单元125在步骤S115中估计其位置和姿势的指定区域的速度。
通过补充地使用点云的速度信息校正指定区域的位置和姿势,可以提高指定区域的位置和姿势的稳定性和响应性。
在下一步骤S117中,传感器单元10使点云校正单元125使用在步骤S116中指定的速度信息校正在步骤S115中估计的指定区域的位置和方位。例如,点云校正单元125可以使用与指定区域相关的过去的位置和姿势和存储在存储单元126中的速度信息来校正指定区域的当前位置和方位。此时,点云校正单元125可校正指定区域相对于由指定区域指示的方向和与该方向相交的平面的三维坐标。结果,例如,可以根据图6中所示的用户的手321的移动来校正与光标图像311的移动和选择(按压)操作相关的三维坐标。
点云校正单元125将位置和姿势已被校正的指定区域的局部点云传送到应用执行单元20a。此外,点云校正单元125将指示局部点云的位置和姿势的校正信息和局部点云的速度信息存储在存储单元126中。
在步骤S117的处理之后,处理进行到图8的步骤S12的处理。
如上所述,在第一实施方式中,传感器单元10从通过光检测测距单元11的扫描所获取的点云中提取与指定区域对应的局部点云。传感器单元10使用通过光检测测距单元11的扫描所获取的点云的速度信息,来校正所提取的局部点云的指定区域的位置和姿势。该校正包含指定区域的位置和方位的校正,这从速度信息和由光检测测距单元11获取距离到由投影仪40显示光标图像30的延迟时间信息估算得到。因此,通过应用第一实施方式,可以通过减少要被处理的点云的数量来提高响应性,并且可以通过基于速度信息和相对于显示的延迟时间来提高位置和姿势估计的响应性,并且可以提高指定区域的位置和姿势的稳定性。
例如,在作为指定区域的手321的移动速度等于或高于一定值的情况下,用作光标图像311的坐标的坐标不是实际检测到的坐标,而是使用从速度信息和相对于显示的延迟时间估计的坐标变换的并由投影仪40投影到投影对象(在图6的示例中的墙壁表面300)上的坐标。该处理可以提高光标图像311的显示响应性。
此外,例如,在作为指定区域的手321的移动速度小于一定值的情况下,用作光标图像311的坐标的坐标是在对检测到的坐标执行利用低通滤波器的位置校正之后变换的并由投影仪40投影到投影对象(在图6的示例中的墙壁表面300)上的坐标。该处理可以提高光标图像311的显示稳定性。
使对应于移动速度的稳定性或响应性优先的机制根据移动速度而被精细地定义,并且能够进行违和感减少的切换。
因此,通过应用第一实施方式,可以提高对应于人或者除人之外的物体的宽范围的移动的显示稳定性和响应性。
注意,在上面的描述中,已经描述了其中在投影在墙壁表面300上的按钮图像310a和310b由光标图像311操作的情况下应用第一实施方式的示例,但是这不限于该示例。例如,被操作图像不限于按钮图像,而可以是刻度盘图像或开关图像,并且投影表面可以不是平坦表面。另外,也可以通过操作操作图像,在墙壁表面300或虚拟空间上描画图像或角色。
(2-1.第一实施方式的第一变形例)
现在描述第一实施方式的第一变形例。在上述第一实施方式中,一个操作者使用操作图像(光标图像311)进行操作。另一方面,第一实施方式的第一变形例是多个操作者各自使用操作图像进行操作的示例。
图10是用于说明根据第一实施方式的第一变形例的感测系统的示例性使用的示意图。在图10中,省略了被操作图像(例如,按钮图像310a和310b)。
图10的示例说明两个操作者320a和320b中的操作者320a用手321a操作光标图像311a,且操作者320b用手321b操作光标图像311b的状态。感测系统1a基于通过传感器单元10中的光检测测距单元11的扫描获得的点云,估计每个操作者320a和320b的指定区域(手、在手中伸出的手指、包括手的前臂等)。感测系统1a可基于操作者320a和320b中的每一个的指定区域的位置和姿势确定光标图像311a和311b中的哪一个被操作者320a和320b中的每一个设置为操作对象。
即,感测系统1a可在不限制操作者的动作的情况下获取操作者的姿势和速度信息。因此,即使在存在多个操作者的情况下,多个操作者中的每个操作者也能够如在存在一个操作者的情况下那样使用感测系统1a。
作为示例,通过应用第一实施方式的第一变形例,能够通过多个操作者移动其身体来执行诸如改变投影在墙壁表面300上的图像的舞台表演。在这种情况下,可以想到,作为图像操作的相关部分的指定区域是操作者的全身。
(2-2.第一实施方式的第二变形例)
现在说明第一实施方式的第二变形例。在上述第一实施方式中,操作者使用操作图像(光标图像311)进行操作。另一方面,第一实施方式的第二变形例是操作者通过细微且快速的动作执行操作的示例。
图11是用于说明根据第一实施方式的第二变形例的感测系统的示例性使用的示意图。这里,键盘乐器的播放被应用作为通过精细和快速动作的操作的示例。
在图11中,操作者佩戴与例如混合现实(MR)对应的眼镜型设备。可以认为,对应于MR的眼镜型设备包括透射型显示单元,并且能够混合虚拟空间中的场景和外部世界中的场景并且在显示单元上显示该混合。
感测系统1a使得应用执行单元20a在虚拟空间上将键盘乐器312(例如,钢琴)显示为在MR兼容的眼镜型设备的显示单元上的操作图像。佩戴眼镜型设备的操作者利用真实空间中的手322操作(播放)眼镜型设备的显示单元上显示的虚拟空间中的键盘乐器312。
另外,在检测到键盘乐器312的键盘被按压时,应用执行单元20a输出与该键盘对应的声音。
感测系统1a通过传感器单元10识别操作者的手322,并且将作为虚拟空间上的手的虚拟手330指定为作为与图像的操作相关的部分的指定区域。注意,在该示例中,由于眼镜型设备的显示单元上显示的真实空间中的手322用作操作图像,因此应用执行单元20a不需要单独生成操作图像。
在这种配置中,应用于光检测测距单元11的FMCW-LiDAR可以如上所述获取点云的速度信息。因此,感测系统1a可使用与手322对应的虚拟手330的速度信息来估计真实空间中的手322的手指的位置到达虚拟空间中的键盘的定时,并可认为手322的手指按下了键盘。因此,可以将键盘乐器312输出的声音相对于手322的手指在真实空间中的移动的延迟抑制得较小。
(3.第二实施方式)
接着,说明第二实施方式。第二实施方式是将本发明的感测系统应用于虚拟空间内进行比赛的电子体育的示例。
在电子体育中,竞技者在虚拟空间中竞技。在电子体育中,比赛可以由竞技者操作控制器来执行,或者可以由竞技者类似于真实空间中的比赛而移动身体来执行。在第二实施方式中,针对后一种电子体育,其中竞技者类似于真实空间中的比赛而移动身体。
图12是用于说明根据第二实施方式的感测系统的示例性使用的示意图。在图12中,感测系统1b包括由竞技者325佩戴的眼镜型设备60a和测量竞技者325的动作的动作测量设备50。作为眼镜型设备60a,例如,优选使用上述MR兼容设备。
在该示例中,假设包括竞技者325投掷虚拟球340的动作的电子体育。虚拟球340被显示在眼镜型设备60a的显示单元上并且不存在于真实空间中。竞技者325可以通过眼镜型设备60a观察虚拟球340。
动作测量设备50包括光检测测距单元11,并扫描包括竞技者325的空间以获取点云。动作测量设备50基于所获取的点云将手326识别为竞技者325操作(投掷、握持、接收等)虚拟球340的操作区域(指定区域),并指定手326的位置和姿势。此时,动作测量设备50基于手326的过去位置和姿势以及当前速度信息校正手326的指定位置和姿势。动作测量设备50将包括指示手326的校正的位置和姿势的信息的3D识别信息传输至眼镜型设备60a。
眼镜型设备60a基于从动作测量设备50传输的3D识别信息使显示单元显示虚拟球340的图像。眼镜型设备60a根据3D识别信息估计虚拟球340的行为并指定虚拟球340的位置。例如,当基于3D识别信息估计竞技者325用手326握持虚拟球340时,眼镜型设备60a将虚拟球340的位置设置为对应于0手326的位置。此外,例如,当基于3D识别信息估计竞技者325指示投掷虚拟球340的动作时,眼镜型设备60a从手326释放虚拟球并且在估计随着时间的流逝虚拟球已经被投掷的方向上移动虚拟球340。
图13是示出了根据第二实施方式的感测系统1b的示例性配置的框图。在图13中,动作测量设备50包括传感器单元10和通信单元51。通信单元51可以使用天线52传输从传感器单元10输出的校正的3D识别信息。
眼镜型设备60a包括通信单元62、应用执行单元20b和显示单元63。通信单元62使用天线61接收从动作测量设备50发送的3D识别信息,并且将该3D识别信息传送至应用执行单元20b。应用执行单元20b基于3D识别信息更新或生成被操作物体(图12的示例中的虚拟球340)的图像。更新或生成的被操作物体的图像被发送到显示单元63并被显示在显示单元63上。
图14是示出以描述根据第二实施方式的眼镜型设备60a的功能的示例性功能框图。在图14中,应用执行单元20b包括动作信息生成单元212、变换单元200b和图像生成单元202b。
通过在CPU上执行程序来配置动作信息生成单元212、变换单元200b和图像生成单元202b。本发明不限于此,动作信息生成单元212、变换单元200b和图像生成单元202b可由彼此协作操作的硬件电路配置。
动作信息生成单元212基于从通信单元62传送的3D识别信息,生成表示竞技者325对被操作物体的动作(投掷、接收、握持等)的动作信息。该动作信息包含例如表示被操作物体的位置和姿势的信息。本发明不限于此,动作信息还可包括指示被操作物体的速度的速度信息。
变换单元200b基于由动作信息生成单元212生成的动作信息将被操作物体的图像的坐标变换为眼镜型设备60a的显示单元63上的坐标。图像生成单元202b根据由变换单元200b变换的坐标生成被操作物体的图像,并将所生成的图像传送至显示单元63。
显示单元63包括显示控制单元64和显示设备65。显示控制单元64生成用于使显示设备65显示从应用执行单元20b传送的被操作物体的图像的显示信号。
显示设备65包括例如基于液晶显示器(LCD)、有机发光二极管(OLED)等的显示元件、驱动显示元件的驱动电路、以及将显示元件显示的图像投影到眼镜型设备60a的眼镜表面上的光学系统。显示设备65根据显示控制单元64生成的显示信号通过显示元件显示被操作物体的图像,并将所显示的图像投射到眼镜表面上。
图15是用于说明根据第二实施方式的感测系统1b的操作的示例的流程图。
在图15中,在步骤S20中,感测系统1b通过传感器单元10获取操作区域(例如,竞技者325的手326)的点云的位置。在接下来的步骤S21中,感测系统1b基于在步骤S20中获取的操作区域的点云,通过使用动作信息生成单元212生成被操作物体(例如,虚拟球340)的位置、姿势和动作。在下一步骤S22中,感测系统1b基于在步骤S21中生成的被操作物体的位置、姿势和动作通过使用图像生成单元202b生成被操作物体的图像。图像生成单元202b将生成的被操作物体的图像传送至显示单元63。在步骤S22的处理之后,处理返回至步骤S20。
图16是用于说明根据第二实施方式的传感器单元10的处理的示例的流程图。图16的流程图更详细地示出了上述图15的步骤S20的处理。
在图16中,在步骤S200中,传感器单元10使用光检测测距单元11执行扫描以获取点云。假定所获取的点云包括与作为操作被操作物体的操作者(图12的示例中的竞技者325)的真实物体相对应的点云。
在下一步骤S201中,传感器单元10使3D物体检测单元121确定在步骤S200中所获取的点云中是否存在具有预定值以上的速度的点云。在3D物体检测单元121确定不存在具有预定值以上的速度的点云的情况下(步骤S201,“否”),传感器单元10将处理返回至步骤S200。另一方面,在3D物体检测单元121确定存在具有预定值以上的速度的点云的情况下,传感器单元10进行处理到步骤S202。
在步骤S202中,传感器单元10使3D物体检测单元121从在步骤S200中所获取的点云中提取具有预定值以上的速度的点云。在下一步骤S203中,传感器单元10使3D物体检测单元121从在步骤S200中获取的点云中提取包括在步骤S202中提取的点云并且例如具有一定密度以上的连接的点云作为局部点云。
在下一步骤S204中,传感器单元10基于在步骤S203中提取的局部点云使用3D物体识别单元122估计操作者(在图12的示例中的竞技者325)。在下一步骤S205中,传感器单元10使用3D物体识别单元122从在步骤S204中估计的操作者的点云估计操作区域的位置,并且将指示操作区域的属性分配给与所估计的操作区域相对应的点云。
在下一步骤S206中,传感器单元10使用由在步骤S200中获取的由点云表示的速度信息和对应于在步骤S205中指定的操作区域的点云的位置,来校正具有表示操作区域的属性的点云的位置。例如,点云校正单元125可以使用存储在存储单元126中的与操作区域相关的过去的位置和速度信息来校正操作区域的当前位置。
点云校正单元125将位置已被校正的操作区域的点云传送到应用执行单元20b。此外,点云校正单元125将点云的校正位置和速度信息存储在存储单元126中。
在步骤S206的处理之后,处理进行到图15的步骤S21的处理。
如上所述,在第二实施方式中,传感器单元10从通过光检测测距单元11的扫描所获取的点云中提取与操作者相对应的局部点云,并且进一步从局部点云中提取操作区域的点云。传感器单元10使用通过光检测测距单元11的扫描所获取的点云的速度信息,来校正所提取的点云的操作区域的位置。因此,通过应用第二实施方式,可以减少要处理的点云的数量,可以提高响应性,并且可以抑制操作区域相对于被操作物体的位置的偏差和延迟。因此,通过应用第二实施方式,可以根据人或者除人之外的物体的大范围的移动来提高显示响应性。由此,作为竞技者325的操作者能够舒适地操作被操作物体。
(3-1.第二实施方式的变形例)
接着,说明第二实施方式的变形例。在上述第二实施方式中,传感器单元10设置在眼镜型设备的外部。另一方面,第二实施方式的变形例是传感器单元10被结合在眼镜型设备中的示例。
图17是示出了根据第二实施方式的变形例的感测系统的示例性配置的框图。在图17中,感测系统1c包括MR兼容的眼镜型设备60b。
图18是示出了根据第二实施方式的变形例的感测系统1c的示例性配置的框图。在图18中,眼镜型设备60b包括传感器单元10、应用执行单元20b和显示单元63。例如,传感器单元10被结合在眼镜型设备60b中,以便能够扫描竞技者325的操作区域(例如,手326)。
如图17所示,竞技者325可以通过佩戴眼镜型设备60b观察虚拟球340。包含作为竞技者325的操作区域的手326的空间由眼镜型设备60b中包含的传感器单元10中的光检测测距单元11扫描。传感器单元10基于通过扫描所获取的点云提取对应于手326的局部点云,并且将属性分配给所提取的局部点云。传感器单元10基于包括局部点云的过去的速度信息校正被分配属性的局部点云的位置,并且输出其中校正了局部点云的位置的3D识别信息。
应用执行单元20b基于从传感器单元10输出的3D识别信息生成被操作物体(在图17的示例中为虚拟球340)的图像。由应用执行单元20b生成的被操作物体的图像被传送到显示单元63并被投影并显示在显示设备65上。
如上所述,根据第二实施方式的变形例,竞技者325可以仅通过使用眼镜型设备60b执行电子体育,并且可以减少系统配置。
(4.第三实施方式)
接着说明第三实施方式。第三实施方式是将根据本公开的感测系统应用于投影映射的示例。投影映射是使用诸如投影仪的投影设备将图像投影在三维物体上的技术。在根据第三实施方式的投影映射中,在移动的三维物体上投影图像。
在下文中,“移动的三维物体”被适当地称为“移动体”。
图19是用于说明根据第三实施方式的感测系统的示例性使用的示意图。在图19中,例如,如图中的箭头所示,感测系统1d扫描包括作为真实物体旋转的移动体350的空间,并且指定移动体350。另外,感测系统Id也可以将移动体350的与光检测测距单元11的测量方向相对的面确定为指定区域。感测系统1d包括投影仪,并且将投影图像360投影到指定的移动体350上。
图20是示出根据第三实施方式的感测系统1d的示例性配置的框图。在图20中,感测系统1d包括传感器单元10、应用执行单元20c以及投影仪40。应用执行单元20c基于通过由传感器单元10扫描包括移动体350的空间而获得的3D识别结果来使图像变形,并且生成将由投影仪40投影的投影图像360。由应用执行单元20c生成的投影图像360由投影仪40投影在移动体350上。
图21是用于描述根据第三实施方式的应用执行单元20c的功能的示例性功能框图。在图21中,应用执行单元20c包括变换单元200c、图像生成单元202c和应用本体210c。
通过在CPU上执行预定程序来配置变换单元200c、图像生成单元202c和应用本体210c。本发明不限于此,变换单元200c、图像生成单元202c和应用本体210c可由彼此协作操作的硬件电路配置。
变换单元200c基于在从传感器单元10提供的校正的3D识别信息中指示的移动体350的位置和姿势,根据移动体350的投影表面执行坐标变换。变换单元200c将经历坐标变换的坐标信息传送到图像生成单元202c。
应用本体210c提前具有投影在移动体350上的投影图像(或视频)。应用本体210c将投影图像传送至图像生成单元202c。图像生成单元202c基于从变换单元200c传送的坐标信息使从应用本体210c传送的投影图像变形,并且将变形的投影图像传送给投影仪40。
图22是用于说明根据第三实施方式的感测系统1d的操作的示例的流程图。注意,假定应用本体210c提前具有投影图像。投影图像可以是静止图像或动作图像。
在步骤S30中,基于通过由传感器单元10对包括移动体350的空间的扫描所获取的点云,感测系统1d获取来自投影仪40的图像(视频)所投影在移动体350中的投影表面的信息。关于投影表面的信息包括指示投影表面在真实空间中的3D坐标的坐标信息。在下一步骤S31中,感测系统1d使得应用执行单元20c基于在步骤S30中获取的投影表面的坐标信息,将例如投影图像的形状变换成与投影表面相对应的形状。在下一步骤S32中,感测系统1d使用投影仪40将在步骤S31中经过形状变换的投影图像投影在移动体350的投影表面上。
图23是用于说明根据第三实施方式的传感器单元10的处理的示例的流程图。图23的流程图更详细地示出了上述图22的流程图中的步骤S30的处理。
注意,在根据图23的流程图的处理之前,假设3D物体识别单元122预先登记移动体350的信息。3D物体识别单元122可预先登记诸如形状、尺寸、重量、动作模式和动作速度的信息作为移动体350的信息。
在步骤S301中,传感器单元10使用光检测测距单元11对包括移动体350的空间进行扫描以获取点云。
在下一步骤S302中,传感器单元10使3D物体检测单元121确定在步骤S301中获取的点云中是否存在具有预定值以上的速度的点云。在3D物体检测单元121确定不存在具有预定值以上的速度的点云的情况下(步骤S302,“否”),传感器单元10将处理返回至步骤S301。另一方面,在3D物体检测单元121确定存在具有预定值以上的速度的点云的情况下(步骤S302,“是”),传感器单元10进行处理到步骤S303。
在步骤S303中,传感器单元10使3D物体检测单元121从在步骤S301中获取的点云中提取具有预定值以上的速度的点云。在下一步骤S304中,传感器单元10使3D物体检测单元121从在步骤S301中获取的点云中提取包括在步骤S303中提取的点云并且例如具有一定密度以上的连接的点云作为局部点云。
在下一步骤S305中,传感器单元10使3D物体识别单元122基于局部点云识别包括投影表面的物体。3D物体识别单元122指定预先登记的物体中的哪一个是所识别的物体。
在下一步骤S306中,传感器单元10基于点云和包括投影表面的物体(图19的示例中的移动体350)的识别结果以及包括点云的过去的速度信息使用点云校正单元125校正点云的位置。例如,点云校正单元125可以使用与投影表面相关的过去的位置和方位以及存储在存储单元126中的速度信息来校正投影表面的当前位置和方位。此外,在关于目标移动体350的信息预先登记在3D物体识别单元122中的情况下,点云校正单元125可进一步在校正投影表面的位置和姿势时使用关于移动体350的信息。
点云校正单元125将位置和姿势已被校正的指定区域的局部点云传送到应用执行单元20c。此外,点云校正单元125将表示投影表面的点云的位置和姿势的校正信息和点云的速度信息存储在存储单元126中。
在步骤S306的处理之后,处理进行至图22的步骤S31的处理。
如上所述,在第三实施方式中,点云校正单元125使用投影表面的过去的位置和姿势以及速度信息校正由投影仪40在移动体350中投影的投影表面的位置和姿势。因此,通过将第三实施方式应用于投影映射,可以减小在运动中的移动体350上投影图像或视频时的投影位置的偏差,并且可以执行具有较少违和感的呈现。因此,通过应用第三实施方式,可以根据人或者除人之外的物体的大范围的移动来提高显示响应性。
(5.第四实施方式)
接着,对第四实施方式进行说明。除了光检测测距单元11之外,第四实施方式在传感器单元中还设置成像装置,并且使用由光检测测距单元11获取的点云和由成像装置捕获的捕获图像执行物体识别以获得3D识别信息的示例。
能够获取具有红色(R)、绿色(G)以及蓝色(B)的颜色信息的捕获图像的成像装置通常具有比基于FMCW-LiDAR的光检测测距单元11更高的分辨率。因此,与仅使用来自光检测测距单元11的点云信息进行检测和识别处理的情况相比,通过使用光检测测距单元11和成像装置进行识别处理,能够以更高的精度执行检测和识别处理。
图24是示出根据第四实施方式的感测系统的示例性配置的框图。注意,这里,假设根据第四实施方式的感测系统被应用于使用第二实施方式所描述的电子体育。在图24中,感测系统1e包括传感器单元10a和应用执行单元20b。
传感器单元10a包括光检测测距单元11、相机14和信号处理单元12a。相机14是能够获取具有RGB颜色的信息的捕获图像的成像装置,并且能够获取分辨率比光检测测距单元11所获取的点云的分辨率高的捕获图像。光检测测距单元11和相机14被配置为获取相同方向的信息。另外,认为光检测测距单元11和相机14按照每个视场的姿势、位置和大小的关系进行匹配,预先获取由光检测测距单元11获取的点云中包含的各点与相机14所获取的捕获图像的各像素的对应关系。
在下文中,假设光检测测距单元11和相机14被安装为能够对包括待测量的3D物体(例如,人)的空间进行扫描和成像。
信号处理单元12a包括3D物体检测单元121a、3D物体识别单元122a、2D物体检测单元151、2D物体识别单元152、I/F单元160a、点云校正单元125以及存储单元126。
将具有从光检测测距单元11输出的速度信息的点云提供给I/F单元160a和3D物体检测单元121a。
类似于图4中的3D物体检测单元121,3D物体检测单元121a从点云中检测具有速度的点云和包括点云并且具有例如一定密度以上的连接的点云作为对应于3D物体的局部点云。3D物体检测单元121a获取所检测到的局部点云中的每个点的3D坐标和速度信息。此外,3D物体检测单元121a将指示对应于局部点云的3D物体的标签信息添加到所检测的局部点云的区域中。3D物体检测单元121a输出关于局部点云的3D坐标、速度信息和标签信息作为指示3D检测结果的3D检测信息。
3D物体检测单元121a进一步将指示包括局部点云的区域的信息作为3D信息输出到2D物体检测单元151。
从相机14输出的捕获图像被提供给I/F单元160a和2D物体检测单元151。
2D物体检测单元151将从3D物体检测单元121a提供的3D区域信息变换成2D区域信息,该2D区域信息是对应于捕获的图像的二维信息。2D物体检测单元151从由相机14提供的捕获图像中切出由2D区域信息表示的区域的图像作为部分图像。2D物体检测单元151将2D区域信息和部分图像提供给2D物体识别单元152。
2D物体识别单元152对从2D物体检测单元151提供的部分图像执行识别处理,并将作为识别结果的属性信息添加到部分图像的每个像素。如上所述,2D物体识别单元152将包括属性信息和2D区域信息的部分图像提供给3D物体识别单元122a。此外,2D物体识别单元152将2D区域信息提供给I/F单元160a。
与图4中的3D物体识别单元122类似,3D物体识别单元122a基于从3D物体检测单元121a输出的3D检测信息以及包括从2D物体识别单元152提供的属性信息和2D区域信息的部分图像,对由3D检测信息表示的局部点云执行物体识别。3D物体识别单元122a通过点云识别处理估计关于所识别的物体的属性信息。3D物体识别单元122a进一步将所估计的属性信息添加至部分图像的每个像素中。
在所估计的属性信息的置信度等于或大于一定值时,3D物体识别单元122a输出局部点云的识别结果,作为3D识别信息。3D物体识别单元122a可包括关于局部点云的3D坐标、速度信息、属性信息、识别的物体的位置、尺寸、以及姿势、以及3D识别信息的置信度。该3D识别信息被输入到I/F单元160a。
I/F单元160a输出光检测测距单元11提供的点云中的指定信息、从相机14提供的捕获的图像、从3D物体识别单元122a提供的3D识别信息、以及从2D物体识别单元152提供的2D区域信息。在图24的示例中,I/F单元160a输出3D识别信息作为校正之前的3D识别信息。
由于点云校正单元125中的处理类似于参考图4描述的处理,因此这里将省略其描述。
图25是用于说明根据第四实施方式的传感器单元10a的处理的示例的流程图。
要注意的是,在此处,假设根据第四实施方式的感测系统1e应用于使用第二实施方式描述的电子体育,并且图25的流程图更详细地示出图15的流程图的步骤S20的处理。注意,这不限于该示例。感测系统1e也可应用于第一实施方式及其变形例和第三实施方式。
在步骤S210中,传感器单元10a使用光检测测距单元11进行扫描以获取点云。假定所获取的点云包括与作为操作被操作图像的操作者的真实物体相对应的点云。
与步骤S210中的处理并行,在步骤S220中,传感器单元10a通过相机14进行成像以获取捕获的图像。将捕获的图像提供给I/F单元160a和2D物体检测单元151。在步骤S210的处理之后,等待后述的步骤S214的处理后,处理进入步骤S221。
当在步骤S210中获取点云时,在步骤S211中,传感器单元10a使3D物体检测单元121a确定在步骤S210中获取的点云中是否存在具有预定值以上的速度的点云。在3D物体检测单元121a确定不存在具有预定值以上的速度的点云的情况下(步骤S211,“否”),传感器单元10a将处理返回至步骤S210。另一方面,在3D物体检测单元121a确定存在具有预定值以上的速度的点云的情况下(步骤S211,“是”),传感器单元10a将处理进行至步骤S212。
在步骤S212中,传感器单元10a使3D物体检测单元121a从在步骤S210中获取的点云中提取具有预定值以上的速度的点云。在下一步骤S213中,传感器单元10a使3D物体检测单元121a从在步骤S210中获取的点云中提取包括在步骤S212中提取的点云并且例如具有一定密度以上的连接的点云作为局部点云。
在下一步骤S214中,传感器单元10a基于在步骤S213中提取的局部点云,使用3D物体检测单元121a估计指定区域。在感测系统1e应用于电子体育的该示例中,指定区域是竞技者325中用于竞技者325操作虚拟比赛工具(诸如虚拟球340)的操作区域。哪个区域被设定为指定区域可以相对于感测系统1e预先指定。
3D物体检测单元121a将在步骤S214中估计的指定区域作为3D区域信息传送给2D物体检测单元151。
在步骤S221中,2D物体检测单元151基于从3D物体检测单元121a传送的3D区域信息,提取对应于点云中的操作区域的捕获图像的区域作为部分图像。此外,2D物体检测单元151将3D区域信息变换成2D区域信息。2D物体检测单元151将所提取的部分图像和从3D区域信息变换的2D区域信息传送给2D物体识别单元152。
在下一步骤S222中,2D物体识别单元152对在步骤S221中提取的部分图像执行识别处理,并且将作为识别处理的结果而获得的属性添加到包括在部分图像中指定的区域中的像素。2D物体识别单元152将包括属性信息和2D区域信息的部分图像提供给3D物体识别单元122a。
当3D物体识别单元122a获取包括从2D物体识别单元152中提供的属性信息以及2D区域信息的部分图像时,处理继续至步骤S215。在步骤S215中,传感器单元10a使3D物体识别单元122a将在2D物体识别单元152中根据对部分图像的识别处理所获得的属性信息添加到在步骤S214中由3D物体检测单元121a估计的指定区域中的点云中。
3D物体识别单元122a输出3D属性信息,包括指定区域内的点云的3D坐标、速度信息、通过对部分图像的识别处理而添加到点云的属性信息、所识别的物体的位置、大小和姿势以及置信度。经由I/F单元160a将从3D物体识别单元122a输出的3D识别信息提供给点云校正单元125。
在下一步骤S216中,传感器单元10a使点云校正单元125使用包含在3D识别信息中的速度信息来校正在步骤S214中估计的指定区域的位置。例如,点云校正单元125可以使用与指定区域相关的过去的位置和存储在存储单元126中的速度信息来校正指定区域的当前位置。点云校正单元125可以进一步校正指定区域的姿势。
点云校正单元125将位置已被校正的指定区域的点云传送到应用执行单元20b。此外,点云校正单元125将指示局部点云的位置和姿势的校正信息和局部点云的速度信息存储在存储单元126中。
如上所述,在第四实施方式中,除了使用由光检测测距单元11获取的点云之外,还将属性信息添加到使用由具有比点云高得多的分辨率的相机14捕获的捕获图像的3D物体识别结果中。因此,在第四实施方式中,能够提高对应于人或者除人之外的物体的大范围的移动的显示响应性,并且与仅使用由光检测测距单元11获取的点云执行3D物体识别的情况相比,能够以更高的精度向点云添加属性信息。
此外,本说明书中描述的效果仅是说明性的而不是限制性的,并且可以实现其他效果。
应注意,本技术可包括以下配置。
(1)一种信息处理设备,包括:
识别单元,被配置为基于从使用频率调制连续波的光检测测距单元输出的点云(点群,point cloud)进行识别处理,以确定真实物体的指定区域,该光检测测距单元被配置为根据被物体反射的并被接收的接收信号输出包含速度信息的点云和点云的三维坐标,并且识别单元被配置为输出包含表示所确定的指定区域的信息的三维识别信息;以及
校正单元,被配置为基于所述识别单元输出的所述三维识别信息校正所述指定区域在所述点云中的三维坐标。
(2)根据上述(1)的信息处理设备,其中,
所述校正单元使用基于由所述光检测测距单元预先输出的所述点云的所述三维坐标来校正所述指定区域的所述三维坐标。
(3)根据以上(1)或(2)所述的信息处理设备,其中,
所述校正单元基于由所述点云表示的速度信息预测并校正所述指定区域的三维坐标。
(4)根据以上(1)至(3)中任一项所述的信息处理设备,其中
所述真实物体为人,所述指定区域为人的手臂或脚。
(5)根据上述(4)的信息处理设备,其中,
所述校正单元校正所述指定区域相对于所述指定区域指示的方向和与所述方向相交的平面的三维坐标。
(6)根据以上(1)至(3)中任一项所述的信息处理设备,其中
所述真实物体是移动体,所述指定区域是所述移动体在由所述光检测测距单元测量的测量方向上的表面。
(7)根据以上(1)至(6)中任一项所述的信息处理设备,进一步包括:
生成单元,被配置为根据由所述校正单元校正后的所述指定区域的三维坐标,生成用于显示虚拟物体的显示信号。
(8)根据上述(7)的信息处理设备,其中,
所述生成单元生成用于将所述虚拟物体的图像投影到固定表面上的所述显示信号。
(9)根据上述(8)的信息处理设备,其中,
所述生成单元基于所述指定区域的三维坐标和所述固定表面的三维坐标,将所述虚拟物体的所述图像的坐标变换成所述固定表面的坐标。
(10)根据上述(7)的信息处理设备,其中,
所述生成单元生成用于在由用户佩戴的眼镜型设备的显示单元上显示所述虚拟物体的图像的显示信号。
(11)根据上述(7)的信息处理设备,其中,
所述生成单元生成用于在作为移动体的所述真实物体上显示所述虚拟物体的图像的显示信号。
(12)根据上述(11)的信息处理设备,其中,
所述校正单元将作为所述移动体的所述真实物体的与所述光检测测距单元面对的表面确定为所述指定区域,以及
所述生成单元将所述虚拟物体的图像的坐标变换成所述指定区域的三维坐标。
(13)一种由处理器执行的信息处理方法,包括:
识别步骤,基于从使用频率调制连续波的光检测测距单元输出的点云执行识别处理,以确定真实物体的指定区域,该光检测测距单元被配置为根据被物体反射并被接收的接收信号输出包括速度信息的点云和点云的三维坐标,并且识别步骤输出包括表示所确定的指定区域的信息的三维识别信息;以及
校正步骤,基于在所述识别步骤中输出的所述三维识别信息,校正所述指定区域在所述点云中的三维坐标。
(14)一种感测系统,包括:
光检测测距单元,所述光检测测距单元使用频率调制连续波,并被配置为根据被物体反射并被接收的接收信号,输出包含速度信息的点云和所述点云的三维坐标;
识别单元,被配置为基于所述点云执行识别处理以确定真实物体中的指定区域,并且被配置为输出包括表示所确定的指定区域的信息的三维识别信息;以及
校正单元,被配置为基于所述识别单元输出的所述三维识别信息校正所述指定区域在所述点云中的三维坐标。
参考标号列表
1、1a、1b、1c、1d、1e感测系统
10、10a传感器单元
11光检测测距单元
12、12a信号处理单元
14相机
20a、20b、20c应用执行单元
40 投影仪
50 动作测量设备
51、62 通信单元
60a、60b眼镜型设备
63 显示单元
100 扫描单元
101 光发送单元
102PBS
103 光接收单元
111 扫描控制单元
112 角度检测单元
116 发送光控制单元
117 接收信号处理单元
130 点云生成单元
121、121a 3D物体检测单元
122、122a 3D物体识别单元
125 点云校正单元
126 存储单元
151 2D物体检测单元
152 2D物体识别单元
200a、200b、200c变换单元
201a确定单元
202a、202b、202c图像生成单元
210a、210c应用本体
212 动作信息生成单元
300 墙壁表面
310a、310b按钮图像
311、311a、311b光标图像
312键盘乐器
320、320a、320b操作者
321、321a、321b、322、326手
325 竞技者
330 虚拟手
340 虚拟球
350 移动体
360 投影图像

Claims (14)

1.一种信息处理设备,包括:
识别单元,配置为基于从使用频率调制连续波的光检测测距单元输出的点云进行识别处理,以确定真实物体的指定区域,所述光检测测距单元配置为基于被物体反射并接收的接收信号输出包含速度信息的所述点云和所述点云的三维坐标,并且所述识别单元配置为输出包含表示所确定的所述指定区域的信息的三维识别信息;以及
校正单元,配置为基于所述识别单元输出的所述三维识别信息校正所述指定区域在所述点云中的三维坐标。
2.根据权利要求1所述的信息处理设备,其中,
所述校正单元使用基于由所述光检测测距单元预先输出的所述点云的所述三维坐标来校正所述指定区域的所述三维坐标。
3.根据权利要求1所述的信息处理设备,其中,
所述校正单元基于由所述点云表示的速度信息预测并校正所述指定区域的所述三维坐标。
4.根据权利要求1所述的信息处理设备,其中,
所述真实物体为人,以及所述指定区域为人的手臂或脚。
5.根据权利要求4所述的信息处理设备,其中,
所述校正单元相对于由所述指定区域指示的方向和与所述方向相交的平面校正所述指定区域的所述三维坐标。
6.根据权利要求1所述的信息处理设备,其中,
所述真实物体是移动体,所述指定区域是在由所述光检测测距单元测量的测量方向上所述移动体的表面。
7.根据权利要求1所述的信息处理设备,进一步包括:
生成单元,配置为根据由所述校正单元校正后的所述指定区域的所述三维坐标,生成用于显示虚拟物体的显示信号。
8.根据权利要求7所述的信息处理设备,其中,
所述生成单元生成用于将所述虚拟物体的图像投影到固定表面上的所述显示信号。
9.根据权利要求8所述的信息处理设备,其中,
所述生成单元基于所述指定区域的三维坐标和所述固定表面的三维坐标,将所述虚拟物体的所述图像的坐标变换成所述固定表面的坐标。
10.根据权利要求7所述的信息处理设备,其中,
所述生成单元生成用于在由用户佩戴的眼镜型设备的显示单元上显示所述虚拟物体的图像的所述显示信号。
11.根据权利要求7所述的信息处理设备,其中,
所述生成单元生成用于在作为移动体的所述真实物体上显示所述虚拟物体的图像的所述显示信号。
12.根据权利要求11所述的信息处理设备,其中,
所述校正单元将作为所述移动体的所述真实物体的面对所述光检测测距单元的表面确定为所述指定区域,以及
所述生成单元将所述虚拟物体的图像的坐标变换成所述指定区域的三维坐标。
13.一种由处理器执行的信息处理方法,包括:
识别步骤,基于从使用频率调制连续波的光检测测距单元输出的点云执行识别处理,以确定真实物体的指定区域,所述光检测测距单元配置为根据被物体反射并接收的接收信号输出包括速度信息的所述点云和所述点云的三维坐标,并且所述识别步骤输出包括表示所确定的所述指定区域的信息的三维识别信息;以及
校正步骤,基于在所述识别步骤中输出的所述三维识别信息,校正所述指定区域在所述点云中的三维坐标。
14.一种感测系统,包括:
使用频率调制连续波的光检测测距单元,配置为根据被物体反射并接收的接收信号,输出包含速度信息的点云和所述点云的三维坐标;
识别单元,配置为基于所述点云执行识别处理以确定真实物体的指定区域,并且配置为输出包括表示所确定的所述指定区域的信息的三维识别信息;以及
校正单元,配置为基于所述识别单元输出的所述三维识别信息校正所述指定区域在所述点云中的三维坐标。
CN202180095515.2A 2021-03-17 2021-12-23 信息处理设备、信息处理方法和感测系统 Pending CN116964484A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163162234P 2021-03-17 2021-03-17
US63/162,234 2021-03-17
PCT/JP2021/047830 WO2022196016A1 (ja) 2021-03-17 2021-12-23 情報処理装置および情報処理方法、ならびに、センシングシステム

Publications (1)

Publication Number Publication Date
CN116964484A true CN116964484A (zh) 2023-10-27

Family

ID=83320022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095515.2A Pending CN116964484A (zh) 2021-03-17 2021-12-23 信息处理设备、信息处理方法和感测系统

Country Status (3)

Country Link
US (1) US20240103133A1 (zh)
CN (1) CN116964484A (zh)
WO (1) WO2022196016A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091426A (ja) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc 距離計測装置及びプログラム
EP2787322B1 (de) * 2013-04-05 2017-10-04 Leica Geosystems AG Geodätisches Referenzieren von Punktwolken
JP6845929B2 (ja) * 2017-06-12 2021-03-24 株式会社日立製作所 三次元計測装置、および方法
CN111344647B (zh) * 2017-09-15 2024-08-02 艾耶股份有限公司 具有低延时运动规划更新的智能激光雷达系统
CN110059608B (zh) * 2019-04-11 2021-07-06 腾讯科技(深圳)有限公司 一种物体检测方法、装置、电子设备和存储介质
WO2021054217A1 (ja) * 2019-09-20 2021-03-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20240103133A1 (en) 2024-03-28
WO2022196016A1 (ja) 2022-09-22

Similar Documents

Publication Publication Date Title
US11920916B1 (en) Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
US11625845B2 (en) Depth measurement assembly with a structured light source and a time of flight camera
US9208566B2 (en) Speckle sensing for motion tracking
CN111949111B (zh) 交互控制方法、装置、电子设备及存储介质
US8602887B2 (en) Synthesis of information from multiple audiovisual sources
US11102467B2 (en) Array detector for depth mapping
US11585937B2 (en) Autonomous gating selection to reduce noise in direct time-of-flight depth sensing
US20160131902A1 (en) System for automatic eye tracking calibration of head mounted display device
CN109565585A (zh) 用于深度信息确定的多发射器照明源
US11156843B2 (en) End-to-end artificial reality calibration testing
US10957059B1 (en) Multi-pattern depth camera assembly
CN110895676B (zh) 动态对象跟踪
US10126123B2 (en) System and method for tracking objects with projected m-sequences
US11093031B2 (en) Display apparatus for computer-mediated reality
CN116964484A (zh) 信息处理设备、信息处理方法和感测系统
CN109803089B (zh) 电子设备和移动平台
CN109618085B (zh) 电子设备和移动平台
CN109587304B (zh) 电子设备和移动平台
US12066545B2 (en) Power-efficient hand tracking with time-of-flight sensor
US12124623B1 (en) Techniques for gaze-contingent sensing and processing
US20240265574A1 (en) Method and system for determining direction of gaze
CN105164617A (zh) 自主nui设备的自发现

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination