CN116997821A - 感测系统 - Google Patents

感测系统 Download PDF

Info

Publication number
CN116997821A
CN116997821A CN202180095514.8A CN202180095514A CN116997821A CN 116997821 A CN116997821 A CN 116997821A CN 202180095514 A CN202180095514 A CN 202180095514A CN 116997821 A CN116997821 A CN 116997821A
Authority
CN
China
Prior art keywords
unit
scanning
information
point cloud
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095514.8A
Other languages
English (en)
Inventor
北野和俊
川村祐介
高桥恒介
久保田刚史
北野胜己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116997821A publication Critical patent/CN116997821A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

关于本公开的感测系统(1)包括：使用调频连续波的光检测距离装置(11)，该光检测测距装置(11)基于速度点群信息输出速度图像作为对象的信息，该速度点群信息基于由该对象反射并接收的接收信号；以及固态成像装置(12)，输出目标的捕捉图像作为目标的信息，该光检测测距装置和固态成像装置被布置成从目标的同一侧面获取信息。

Description

感测系统
技术领域
本公开涉及一种感测系统。
背景技术
以往，为了测量或监测存在于对象空间的人员或其他移动体的动作、移动，广泛使用相机(例如，专利文献1)。相机可获取通过捕捉包含在其视野(视角)内的对象的图像而获得的捕捉图像。可通过对由相机获取的捕捉图像执行计算处理来检测和识别捕捉图像中包括的对象。
由于相机的光学特性，随着与目标对象的距离增加，对应于捕捉图像中的目标对象的局部图像的像素数减少，并且基于相机的捕捉图像的目标对象的检测和识别的准确度减少。通过使用使用高分辨率图像传感器的相机，可减轻取决于到目标对象的距离的准确度的这种降低。
同时，已知一种被称为激光成像检测和测距(LiDAR)的光学测距装置，该装置基于通过接收施加至目标对象的激光的反射光获得的光接收信号测量到目标对象的距离。在LiDAR中，扫描仪、焦平面阵列检测器等一起用于对视野范围内的每个角度执行测距，并且基于关于角度和距离的信息，例如以特定帧速率输出称为点云的数据。当对这样的点云数据进行计算处理时，可以检测并识别目标对象的准确位置、姿势等(例如，专利文献2和专利文献3)。
现有技术文献
专利文献
专利文献1：JP 2019-114280A
专利文献2：JP 2019-101000A
专利文献3：JP 2003-272061A
发明内容
本发明要解决的技术问题
在高分辨率图像传感器用于使用相机的检测和识别处理的情况下，对捕捉图像的计算处理的负荷增加。具体地，在为了测量和监测整个视场而针对整个捕捉图像重复处理的高级检测处理和识别处理中，处理时间、计算成本和功耗增加。
此外，目标对象的表面的亮度根据诸如阳光和照明光的外部光条件而改变，因此，使用相机的目标对象的检测和识别处理的准确度取决于外部光。例如，在低照度环境下使用相机检测目标对象的检测和识别处理中，存在捕捉图像的亮度降低并且对捕捉图像中包括的目标对象的检测和识别的准确度降低的可能性。
另外，根据光学特性，相机在捕捉目标对象的图像时与目标对象一起捕捉存在于相机与目标对象之间的雨滴、灰尘等微小的遮蔽物。因此，在由相机捕捉的捕捉图像中对应于目标对象的图像区域相对于目标对象的原始图像是部分的，并且存在包括在捕捉图像中的目标对象的检测和识别的准确度降低的可能性。
另一方面，在LiDAR中，由于其操作原理，测量结果几乎不受外部光的影响，因此，例如，即使在低照度环境下，也可以稳定地检测和识别目标对象。然而，在LiDAR中，由于其操作原理，规范彼此具有权衡关系，因此，例如，为了确保某个帧速率或更大，需要保持低分辨率。因此，在LiDAR中，对应于目标物的部分点云中的点的数量量随着距目标物的距离增加而减少，并且存在目标物的检测和识别的准确度降低的可能性。
本公开的目的是提供一种能够在各种环境下稳定地执行目标对象的检测和识别的感测系统。
问题的解决方案
为了解决上述问题，根据本公开的一个方面的感测系统具有：光检测和测距装置，基于速度点云信息输出速度图像，该速度点云信息基于由对象反射和接收的接收信号作为对象的信息，该光检测和测距装置使用调频连续波；以及固态成像装置，输出通过捕捉对象的图像而获得的捕捉图像作为对象的信息，其中，光检测和测距装置和固态成像装置被布置成从所述对象的同一侧面获取信息。
附图说明
图1为示出可应用于本公开的每个实施方式的感测系统的示例的配置的框图。
图2是示出可应用于本公开的每个实施方式的光检测和测距单元的一个示例的配置的框图。
图3是示意性地示出通过扫描单元对传输光进行扫描的示意图。
图4是示出根据第一实施方式的感测系统的示例的配置的框图。
图5是示意性示出距离图像的示例的视图。
图6是示意性示出速度图像的示例的视图。
图7为示意性示出合成图像的示例的视图。
图8是示出根据第一实施方式的传感器单元的布置示例的示意图。
图9是示出根据第一实施方式的感测系统的处理的示例的流程图。
图10是示意性地示出速度点云的示例的视图。
图11是示意性地示出从速度点云提取的3D区域信息的示例的视图。
图12是更详细地示出3D区域信息的示例的示意图。
图13是示意性示出捕捉图像的示例的视图。
图14是示意性地示出从合成图像帧中获取3D区域信息的状态的图。
图15是示意性示出根据3D区域信息提取的局部图像的示例的视图。
图16是示出根据第一实施方式的变形例的多个传感器单元10的布置示例的示意图。
图17是示出根据第一实施方式的变形例的感测系统的示例的配置的框图。
图18是示出根据第二实施方式的传感器单元的布置示例的示意图。
图19是示出根据第二实施方式的感测系统的示例的配置的框图。
图20是示出根据第二实施方式的由信号处理单元进行的处理的示例的流程图。
图21是用于描述根据第二实施方式的生成ROI扫描控制信息的过程的示意图。
图22是用于描述根据第二实施方式的ROI扫描的示意图。
图23是用于描述根据第二实施方式的ROI扫描的示意图。
图24是示出根据第二实施方式的变形例的布置多个传感器单元时的ROI扫描的示意图。
图25是示出根据第二实施方式的变形例的感测系统的示例的配置的框图。
图26是示意性地示出根据第三实施方式的人流分析系统的配置的图。
图27是更详细地示出根据第三实施方式的人员流量分析系统的示例的配置的框图。
图28是示意性地示出通过信息呈现装置在显示装置上显示的人流的示例的视图。
图29是示出根据第三实施方式的人员流量分析系统的处理的示例的流程图。
图30A是示意性地表示第四实施方式所涉及的异常检测系统的结构的图。
图30B是示意性地表示第四实施方式所涉及的异常检测系统的结构的图。
图31是更详细地示出根据第四实施方式的异常检测系统的示例的配置的框图。
图32是表示第四实施方式所涉及的异常检测系统的处理的示例的流程图。
图33是表示第四实施方式所涉及的异常检测系统的处理的示例的流程图。
具体实施方式
在下文中，将参考附图详细描述本公开的实施方式。注意，在以下实施方式中，相同的部分由相同的附图标记表示，并且将省略其重复描述。
在下文中，将按照以下顺序描述本公开的实施方式。
1.关于现有技术
1-1.使用相机的方法
1-2.使用LiDAR的方法
1-3.关于FMCW-LiDAR
2.本公开的概述
3.第一实施方式
3-1.第一实施方式的变形例
4.第二实施方式
4-1.第二实施方式的变形例
5.第三实施方式
6.第四实施方式
[1.关于现有技术]
本公开涉及适用于检测对象，具体地，检测和跟踪移动对象的技术。在描述本公开的每个实施方式之前，为了便于理解，将示意性地描述与本公开的技术相关的现有技术。
(1-1.使用相机的方法)
作为检测和追踪移动对象的方法之一，传统上已知使用相机的方法(例如，专利文献1)。相机可以获取通过捕捉包括在其视角内的对象的图像而获得的捕捉图像。当对由相机获取的捕捉图像执行计算处理时，可以从捕捉对象检测和识别目标对象。例如，对在不同时间捕捉的多个捕捉图像执行该处理，以跟踪在各个捕捉图像中共同识别的目标对象。
在下文中，假定通过相机的透镜获取的图像对应于通过人眼获取的图像，相机的视角被适当地称为视场。
由于相机的光学特性，随着与目标对象的距离增加，对应于捕捉图像中的目标对象的局部图像的像素数减少，并且基于相机的捕捉图像的目标对象的检测和识别的准确度减少。通过使用使用高分辨率图像传感器的相机，可减轻取决于到目标对象的距离的准确度的这种降低。
同时，在使用相机的检测和识别处理中使用高分辨率图像传感器的情况下，捕捉图像上的计算处理的负荷增加。具体地，在为了测量和监测整个视角的目的而对整个捕捉图像重复处理的高级检测处理和识别处理中，处理时间、计算成本和功耗增加。
此外，目标对象的亮度根据诸如阳光和照明光的外部光条件而变化，因此，使用相机的目标对象的检测和识别处理的准确度取决于外部光。例如，在低照度环境下使用相机检测目标对象的检测和识别处理中，存在捕捉图像的亮度降低并且对捕捉图像中包括的目标对象的检测和识别的准确度降低的可能性。
另外，由于光学特性，在捕捉目标对象的图像时与目标对象同时地捕捉存在于相机与目标对象之间的雨滴、灰尘等微小的遮蔽物。因此，在由相机捕捉的捕捉图像中对应于目标对象的图像区域相对于目标对象的原始图像是部分的，并且存在包含在捕捉图像中的目标对象的检测和识别的准确度降低的可能性。
(1-2.使用LiDAR的方法)
作为用于检测和跟踪移动对象的另一种方法，使用激光成像检测和测距(LiDAR)的方法是已知的。LiDAR是基于通过接收施加至目标对象的激光的反射光获得的光接收信号测量到目标对象的距离的光检测和测距装置。在LiDAR中，一起使用执行激光扫描的扫描器、作为光接收单元的焦平面阵列检测器等。在LiDAR中，针对激光的扫描范围中的每个特定角度执行测距，并且基于关于角度和距离的信息输出被称为点云的数据。
点云是通过采样包括在激光的扫描范围内的对象的位置和空间结构获得的，并且通常每特定周期的帧时间输出。当对这样的点云数据执行计算处理时，可以检测并识别目标对象的准确位置、姿势等(例如，专利文献2和专利文献3)。
在下文中，假设从LiDAR中的光接收单元观看的扫描范围对应于人眼可识别的范围，并且扫描范围被适当地称为视场或视场范围。
在LiDAR中，由于其操作原理，测量结果几乎不受外部光的影响，因此，例如，即使在低照度环境下，也可以稳定地检测和识别目标对象。常规地提出了使用LiDAR的各种光检测和测距方法。对于长距离测量应用，结合脉冲调制和直接检测的脉冲飞行时间(ToF)方法已经变得普遍。在下文中，使用LiDAR的通过脉冲ToF的光检测和测距方法被适当地称为直接ToF(dToF)-LiDAR。
在LiDAR中，由于其操作原理，规范彼此具有权衡关系，因此，例如，为了确保某个帧速率或更大，需要保持低分辨率。因此，在LiDAR中，对应于目标物的部分点云中的点的数量量随着距目标物的距离增加而减少，并且存在目标物的检测和识别的准确度降低的可能性。此外，通常，LiDAR可以测量对象的表面反射率，但不测量对象的颜色。因此，可以说LiDAR不适于使用相机执行的诸如高级对象识别、分类等的识别应用。
此外，dToF-LiDAR是接收光的能量并且执行测距的方法，因此，难以区分接收光是由LiDAR发射的激光的反射光还是另一光源的光。因此，在dToF-LiDAR中，在存在诸如太阳的高照度光源的环境中，存在环境光影响接收光的可能性，这导致噪声增加和干扰的出现。
此外，在微小对象存在于扫描范围的空间中的情况下，dToF-LiDAR同时接收来自微小对象的反射光和来自目标对象的反射光。因此，在存在一定数量的具有特定大小或更大的微小对象的情况下，在接收信号中检测包括由来自微小对象的反射光引起的脉冲的多个脉冲，并且难以区分由来自目标对象的反射光引起的脉冲和由来自微小对象的反射光引起的脉冲。因此，在从dToF-LiDAR输出的点云中，对应于目标对象的点的数量减少或消失，但是由微小对象引起的检测点以分散的方式出现在扫描范围的空间中。
此外，在dToF-LiDAR中，如上所述，通常每隔某个周期(帧)输出点云。当比较各个帧的点云时，可以估计在点云中检测到的对象的移动(移动速度、方向等)。
然而，在目标对象不是刚体而是形状改变的情况下(诸如人)，难以将帧之间的点云相关联。特别地，在扫描范围的空间中同时存在多个目标对象并且不同地移动的情况下，极难关联帧之间的点云。另外，在远处存在目标物的情况下、形状复杂的情况下、多个目标物同时复杂移动的情况下，也难以高准确地检测目标物的移动。
(1-3.关于FMCW-LiDAR)
此处，将描述作为使用LiDAR的光检测和测距方法之一的调频连续波(FMCW)-LiDAR。在FMCW-LiDAR中，作为要发射的激光，使用例如脉冲的频率根据时间的流逝线性变化的啁啾光。在FMCW-LiDAR中，通过相干检测对通过组合作为啁啾光发射的激光和发射的激光的反射光而获得的接收信号执行测距。
在FMCW-LiDAR中，通过利用多普勒效应，可以与测距同时测量速度。因此，当使用FMCW-LiDAR时，容易快速掌握具有速度的对象，诸如，人或者其他移动对象的位置。此外，因为相干检测不太可能从其他光源接收干扰，所以可以避免串扰，并且此外，由于诸如阳光的高照度光源引起的噪声的影响很小。因此，通过FMCW-LiDAR的测量耐环境变化，并且甚至在低照度环境下，可以稳定地测量目标对象。
在本公开中，相机和FMCW-LiDAR协作用于检测和识别目标对象。这使得可以在各种环境中实现稳定、高速和高准确度的检测和识别。
[2.本公开的概述]
接下来，将示意性地描述本公开。图1为示出可应用于本公开的每个实施方式的感测系统1的一个示例的配置的框图。在图1中，感测系统1包括传感器单元10和信号处理单元13，信号处理单元13对从传感器单元10输出的输出信号执行预定信号处理。信号处理单元13的输出被提供给例如执行预定应用程序的信息处理装置(未示出)。
传感器单元10包括光检测和测距单元11和相机12。使用调频连续波激光执行测距的FMCW-LiDAR被应用于光检测和测距单元11。通过光检测和测距单元11获得的检测和测距结果作为具有三维空间信息的点云信息被供应至信号处理单元13。
相机12捕捉例如可见光波长区域内的光的图像，并基于包括关于红色(R)、绿色(G)和蓝色(B)的每种颜色的信息的二维信息输出捕捉的图像。从相机12输出的捕捉图像被提供给信号处理单元13。
在传感器单元10中，光检测和测距单元11和相机12被布置为从待测量的对象的同一侧面获取信息。例如，可以设想，光检测和测距单元11的光传输方向的角度范围和相机12的视角面向基本上相同的方向，并且光检测和测距单元11和相机12被布置为彼此靠近。
信号处理单元13对从光检测和测距单元11提供的检测和测距结果以及从相机12提供的捕捉图像执行信号处理，以输出包括关于对象的属性信息和区域信息的信息。
要注意的是，在图1的示例中示出包括一个传感器单元10和与该传感器单元10相对应的一个信号处理单元13的感测系统1，但是这不限于该示例。例如，感测系统1可包括用于一个信号处理单元13的多个传感器单元10。
图2为示出可应用于本公开的每个实施方式的光检测和测距单元11的一个示例的配置的框图。在图2中，光检测和测距单元11包括扫描单元100、扫描控制单元101和角度检测单元102。光检测和测距单元11还包括传输光控制单元110、光发射器111、光接收器112和接收信号处理单元113。此外，光检测和测距单元11包括点云生成单元120、预处理单元130和接口(I/F)单元131。
例如，光发射器111包括诸如用于发射作为传输光的激光的激光二极管的光源、用于发射由光源发射的光的光学系统、以及驱动光源的激光输出调制装置。光发射器111根据从稍后描述的传输光控制单元110提供的光传输控制信号使光源发射光，并且使用频率随着时间流逝在预定的频率范围内线性变化的啁啾光发射传输光。传输光被传输到扫描单元100并且作为本振光(local oscillator light)被传输到光接收器112。
传输光控制单元110生成频率随着时间经过而在预定频率范围内线性变化(例如，增加)的信号。这种频率随着时间经过而在预定频率范围内线性变化的信号被称为啁啾信号。传输光控制单元110是基于啁啾信号输入到包括在光发射器111中的激光输出调制装置的调制动力定时信号。产生光传输控制信号。传输光控制单元110将生成的光传输控制信号供应至光发射器111和点云生成单元120。
光接收器112例如包括接收(接受)来自扫描单元100的接收光的光接收单元和驱动光接收单元的驱动电路。作为光接收单元，例如，可以应用其中分别构成像素的诸如光电二极管的光接收元件以二维格状图案布置的像素阵列。光接收器112还包括组合单元，组合从扫描单元接收的接收光和从光发射器111发送的本振光。如果接收光是来自传输光的对象的反射光，则接收光变成相对于本振光根据到对象的距离而延迟的信号，并且通过组合接收光和本振光获得的合成信号变成特定频率的信号(节拍信号)。光接收器112将该信号作为接收信号提供至接收信号处理单元113。
接收信号处理单元113对从光接收器112提供的接收信号执行诸如快速傅里叶变换的信号处理。通过该信号处理，接收信号处理单元113获得到对象的距离和表示对象的速度的速度，并且生成包括分别表示距离和速度的距离信息和速度信息的测量信息。接收信号处理单元113可以基于接收信号还获得表示被检体的反射率的反射率信息并且在测量信息中包括反射率信息。接收信号处理单元113将生成的测量信息提供给点云生成单元120。
扫描单元100根据从扫描控制单元101提供的扫描控制信号以一定角度传输从光传输器111传输的传输光，并接收从该角度入射的光作为接收光。在扫描单元100中，例如，可应用双轴反射镜扫描装置作为传输光的扫描机构。在这种情况下，扫描控制信号例如是施加至双轴反射镜扫描装置的每个轴的驱动电压信号。
扫描控制单元101产生用于使扫描单元100的发送/接收角度在预定角度范围内改变的扫描控制信号，并将该扫描控制信号提供给扫描单元100。扫描单元100可根据提供的扫描控制信号通过传输光在特定范围内执行扫描。
扫描单元100包括检测将要发射的传输光的发射角的传感器，并且输出指示由传感器检测的传输光的发射角的角度检测信号。角度检测单元102基于从扫描单元100输出的角度检测信号来获取发送/接收角度，并且生成表示所获取的角度的角度信息。角度检测单元102将生成的角度信息提供给点云生成单元120。
图3是示意性地示出通过扫描单元100对传输光进行扫描的示意图。扫描单元100在预定角度范围200内根据预定数量的扫描线210进行扫描。扫描线210对应于通过在角度范围200的左边缘和右边缘之间扫描获得的一个轨迹。扫描单元100响应于扫描控制信号，根据扫描线210在角度范围200的上边缘与下边缘之间执行扫描。
此时，根据扫描控制信号，扫描单元100以例如点2201、2202、2203等的顺序以特定的点速率沿着扫描线210顺序地且离散地改变啁啾光的发射点。因此，点2201、2202、2203等在角度范围200中不必排列成格子形状。注意，光发射器111可根据从传输光控制单元110提供的光传输控制信号向一个发射点发射啁啾光一次或多次。
返回图2的描述，点云生成单元120基于从角度检测单元102提供的角度信息、从传输光控制单元110提供的光传输控制信号、以及从接收信号处理单元113提供的测量信息生成点云信息。更具体地，点云生成单元120基于测量信息中包括的角度信息和距离信息通过角度和距离指定空间中的一个点。点云生成单元120在预定条件下获取点云作为指定点的集合。点云生成单元120基于包含在测量信息中的速度信息获得通过将每个指定点的速度加到点云中获得的速度点云。
点云生成单元120将获得的速度点云提供给预处理单元130。预处理单元130对所提供的速度点云执行预定信号处理，诸如格式转换。经受由预处理单元130进行的信号处理的速度点云经由I/F单元131输出到光检测和测距单元11的外部。
此外，点云生成单元120可经由预处理单元130和I/F单元131将从接收信号处理单元113供应的测量信息中包括的每条信息(距离信息、速度信息、反射率信息等)输出至外部，尽管图2中未示出。
[3.第一实施方式]
接下来，将描述本公开的第一实施方式。图4是示出根据第一实施方式的感测系统1的示例的配置的框图。
在图4中，感测系统1包括一个传感器单元10和一个信号处理单元13。信号处理单元13包括点云组合单元140、3D(三维)对象检测单元141、3D对象识别单元142、图像组合单元150、2D(二维)对象检测单元151、2D对象识别单元152和I/F单元160。
可以通过在诸如中央处理单元(CPU)的处理器上执行根据本公开的信息处理程序来配置点云组合单元140、3D对象检测单元141、3D对象识别单元142、图像组合单元150、2D对象检测单元151、2D对象识别单元152和I/F单元160。不限于此，点云组合单元140、3D对象检测单元141、3D对象识别单元142、图像组合单元150、2D对象检测单元151、2D对象识别单元152和I/F单元160中的一部分或全部可以由彼此协作操作的硬件电路配置。
在图4中，点云组合单元140、3D对象检测单元141和3D对象识别单元142执行与点云信息相关的处理。此外，图像组合单元150、2D对象检测单元151和2D对象识别单元152执行与捕捉的图像相关的处理。
点云组合单元140从光检测和测距单元11获取速度点云并且从相机12获取捕捉图像。点云组合单元140基于速度点云和捕捉图像组合颜色信息和其他信息以生成合成点云，该合成点云是通过将新信息等添加至速度点云的每个测量点而获得的点云。
更具体地，点云组合单元140通过坐标系变换来参照对应于速度点云中的每个测量点的角坐标的捕捉图像的像素，并且获取表示每个测量点的点的颜色信息。测量点对应于相对于参照图3描述的点2201、2202、2203等中的每个点接收反射光的点。点云组合单元140将获取到的每个测量点的颜色信息添加到每个测量点的测量信息中。点云组合单元140输出其中每个测量点具有速度信息和颜色信息的合成点云。
应注意，例如，在提前执行基于光检测和测距单元11与相机12之间的位置关系的校准处理并且将校准的结果反映在速度点云的角坐标和捕捉图像中的像素的坐标上之后，优选地执行速度点云与捕捉图像之间的坐标系变换。
3D对象检测单元141获取从点云组合单元140输出的合成点云，并且检测指示包括在所获取的合成点云中的3D对象的测量点。应注意，在下文中，为了避免复杂性，诸如“检测指示包括在合成点云内的3D对象的测量点”的表达将被描述为“检测包括在合成点云内的3D对象”等。
3D对象检测单元141提取指示从合成点云中检测到的3D对象的测量点的点云作为局部点云。
更具体地，为了在包括在合成点云中的静态对象和动态对象之间进行区分，3D对象检测单元141从合成点云中的颜色信息被忽略的速度点云中提取每个具有特定绝对速度值或更大的点。3D对象检测单元141从所提取的点的速度点云中提取在特定空间范围(对应于目标对象的大小)内的局部速度点云的集合(称为局部速度点云)。3D对象检测单元141可以从合成点云中提取多个局部速度点云。
此外，3D对象检测单元141生成区域信息，该区域信息是指示目标对象(即，局部点云)存在于表示整个目标空间的点云中的范围的信息。更具体地，在包括在每个局部速度点云中的点的数量为第一常数或更大的情况下，3D对象检测单元141估计例如包括局部速度点云的最小区域的位置、大小和姿势，并且生成所估计的区域的区域信息。在下文中，关于点云的区域信息被称为3D区域信息。3D区域信息由例如诸如3D边界框的长方体表示。
3D对象检测单元141输出局部点云和对应于局部点云的3D区域信息。
3D对象识别单元142获取从3D对象检测单元141输出的局部点云和3D区域信息。此外，3D对象识别单元142获取从稍后描述的2D对象识别单元152输出的区域信息和属性信息。3D对象识别单元142基于所获取的局部点云和3D区域信息以及从2D对象识别单元152获取的区域信息和属性信息，对局部点云执行对象识别。
在局部速度点云中包括的点的数量是第二常数或更大(即，能够用于识别目标对象的点的数量)的情况下，3D对象识别单元142基于3D点云区域信息对局部速度点云执行点云识别处理。3D对象识别单元142通过点云识别处理估计与所识别上午对象相关的属性信息。在下文中，基于点云的属性信息被称为3D属性信息。
在所估计的3D属性信息的可信度(certainty factor)为特定值或更大的情况下，即，已经有效地执行了识别处理，3D对象识别单元142以集成的方式输出指示已经执行测量的时间的时间信息、3D区域信息和3D属性信息。
应注意，属性信息是指示目标对象的属性的信息，诸如作为识别处理结果的单元所属的目标对象的类型和特定分类，该单元是点云的点和图像的像素。例如，当目标对象是人时，3D属性信息可表示为被分配给点云的每个点并且属于人的唯一数值。
图像组合单元150从光检测和测距单元11获取速度点云并且从相机12获取捕捉图像。图像组合单元150基于速度点云和捕捉图像生成距离图像和速度图像。
图5是示意性示出距离图像50的示例的视图。距离图像50是包括指示距测量点的距离的信息的图像。在图5的示例中，距离图像50通过阴影分阶段地指示距离。图5示出测距点的距离以对象500、501和502的顺序增加。此外，示出对象503和504与测量点的距离比对象502的距离更长并且处于相同的距离。示出对象505具有比对象503和504更长的距测量点的距离。注意，在距离图像50中以黑色填充的区域表示无限距离或者不可能进行测距的区域。
图6是示意性示出速度图像51的示例的视图。在图6中，速度图像51中包括的对象512至515分别对应于图5中示出的距离图像50中包括的对象502至505。
速度图像51是使用多普勒效应获得的图像，并且包括例如表示关于测量点的速度和速度的方向的信息。在图6的示例中，在速度图像51中，以第一颜色显示移动以接近测量点的对象513、514以及515，并且以第二颜色显示移动以远离测量点的对象512。此外，在图6中，以第三颜色显示相对于测量点的速度是[0]的区域516。注意，虽然在图6中未示出，但是对象的移动速度可以由第一颜色和第二颜色的浓度来表示。
图像组合单元150在通过坐标系变换匹配坐标的同时合成距离图像50、速度图像51和捕捉图像，并且基于具有关于红色(R)、绿色(G)和蓝色(B)的每种颜色的颜色信息的RGB图像生成合成图像。这里生成的合成图像是其中每个像素具有颜色、距离和速度信息的图像。应注意，距离图像50和速度图像51具有比从相机12输出的捕捉图像低的分辨率。因此，图像组合单元150可通过诸如放大的处理来将距离图像50和速度图像51的分辨率与捕捉的图像的分辨率匹配。
图像组合单元150输出捕捉图像和生成的合成图像。注意，合成图像是指通过组合距离、速度和其他信息将新信息添加到图像的每个像素的图像。
图7为示意性示出合成图像52的示例的视图。在图7中，对象520至525分别对应于图5中示出的对象500至505。例如，图7中所示的合成图像52可被表示为捕捉图像作为纹理被粘贴至速度点云的图像。合成图像52是例如当被人观察时可容易地识别对象520至525中的每个的图像。
2D对象检测单元151基于从3D对象检测单元141输出的3D区域信息，从由图像组合单元150提供的合成图像中提取与3D区域信息对应的局部图像。此外，2D对象检测单元151从所提取的局部图像中检测对象，并且生成指示例如具有包括所检测的对象的最小面积的矩形区域的区域信息。基于所捕捉图像的该区域信息被称为2D区域信息。2D区域信息表示为点或像素的集合，每个点或像素具有由光检测和测距单元11对每个测量点或每个像素给出的落入指定范围内的值。
2D对象检测单元151输出所生成的局部图像和2D区域信息。
2D对象识别单元152获取从2D对象检测单元151输出的局部图像，对所获取的局部图像执行图像识别处理，诸如推断处理，并估计与局部图像相关的属性信息。在这种情况下，例如，在目标是车辆的情况下，属性信息表示为分配给图像的每个像素并且表示该像素属于车辆的唯一数值。在下文中，基于局部图像(捕捉图像)的属性信息被称为2D属性信息。
在估计的2D属性信息的可信度为特定值或更大(即，可以有效地进行识别处理)的情况下，2D对象识别单元152以集成的方式输出指示已经执行图像捕捉的时间的时间信息、2D区域信息和2D属性信息。注意，在估计的2D属性信息的可信度小于特定值的情况下，2D对象识别单元152以集成的方式输出时间信息和2D区域信息。
从点云组合单元140输出的合成点云和从3D对象识别单元142输出的3D属性信息和3D区域信息被输入到I/F单元160。此外，从图像组合单元150输出的合成图像和捕捉图像以及从2D对象识别单元152输出的2D属性信息和2D区域信息输入到I/F单元160。例如，I/F单元160根据来自外部的设置选择要从输入的合成点云输出的信息、3D属性信息、3D区域信息、合成图像、捕捉图像、2D属性信息以及2D区域信息。
图8是示出根据第一实施方式的传感器单元10的布置示例的示意图。空间3是包括要进行空间测量的目标空间的空间。空间3可包括移动的移动对象40或静态的静态对象41。传感器单元10布置在空间3中。在传感器单元10中，例如，光检测和测距单元11扫描角度α的角度范围内的对象，并测量空间3中的目标范围30的内部。
请注意，在图8的示例中，为了进行说明，将目标范围30例示为平面，但实际上目标范围30包含高度方向的范围。此外，传感器单元10不仅在水平方向上执行扫描，而且如参考图3所描述的在垂直方向上执行扫描，而且这里将注意到在水平方向上的角度范围，并且将省略在垂直方向上的角度范围的描述。
图9是示出根据第一实施方式的感应系统1的处理的示例的流程图。
在图9中示出的每个处理由信号处理单元13中的每个单元执行。更具体地，在图9中的左侧示出的步骤S100至S112对应于与主要由点云组合单元140、3D对象检测单元141和3D对象识别单元142执行的3D数据相关的处理。此外，在右侧示出的步骤S200至S207对应于与主要由图像组合单元150、2D对象检测单元151和2D对象识别单元152执行的2D数据相关的处理。
在图9中，在步骤S100中，点云组合单元140基于通过在由光检测和测距单元11执行的角度范围200内扫描测量的速度点云和由相机12捕捉的捕捉图像来获取一帧合成点云(被称为合成点云帧)。
图10是示意性地示出速度点云的示例的视图。要注意的是，在图10的示例中，假设传感器单元10设置在附图的右下角的外部，并且在俯视图中示出由传感器单元10的光检测和测距单元11检测的速度点云。速度点云60可被表示为例如从光检测和测距单元11发射的传输光的光点在扫描线210上对准的图像。
在图10中，速度点云60包括例如分别对应于图7的对象520至525的对象600至605。示出，在对象600至605中，对象603至605具有以第一颜色显示的区域613至615，并且移动以接近传感器单元10。此外，示出对象602具有以第二颜色显示的区域612并且远离传感器单元10移动。另一方面，示出对象600和601以及与地面相对应的区域和与诸如建筑物的固定对象相对应的区域以第三颜色显示，并且相对于传感器单元10是静态的。
在下一个步骤S101中，3D对象检测单元141从在步骤S100中生成的合成点云中提取每个具有特定绝对速度值或更大的点。在接下来的步骤S102中，3D对象检测单元141生成在步骤S101中提取的点当中的被定位在特定空间范围中的速度点云(局部速度点云)的集合。在步骤S102中，3D对象检测单元141可从合成点云帧中生成多个局部速度点云。
在下一步骤S103中，3D对象检测单元141从在步骤S102中生成的局部速度点云中提取一个局部速度点云作为待处理目标。在下一步骤S104中，信号处理单元13使3D对象检测单元141确定包括在所提取的局部速度点云中的点的数量是否是第一常数或更大。当确定点的数量小于第一常数时(步骤S104，“否”)，3D对象检测单元141将处理返回至步骤S103，从在步骤S102中生成的局部速度点云中提取下一局部速度点云，并且继续处理。
当3D对象检测单元141确定点的数量是第一常数或更大时(步骤S104，“是”)，处理转移到步骤S105。在步骤S105中，3D对象检测单元141估计例如包括作为目标的局部速度点云的最小区域的区域信息(位置、大小和姿势)，并且获取3D区域信息。
图11是示意性示出从速度点云60中提取的3D区域信息的示例的视图。图11的示例示出根据在速度点云60中每个具有特定绝对速度值或更大的对象601至605，来生成多条3D区域信息621至625的状态。每条3D区域信息621至625被示出为例如具有最小体积并且包括构成对象601至605中的每个的局部速度点云的长方体。注意，在图11的示例中，对象601被示为以某个绝对速度值或更大的速度值移动的对象。
图12是更详细地示出3D区域信息的示例的示意图。图12的部分(a)示出对象602的3D区域信息622的示例。此外，图12的部分(b)示出对象601的3D区域信息的示例。
当在步骤S105中获取3D区域信息时，3D对象检测单元141将处理转移到步骤S106。同时，3D对象检测单元141将3D区域信息传递给2D对象检测单元151，用于稍后描述的步骤S201中的处理。
在步骤S106中，3D对象识别单元142从3D对象检测单元141获取局部速度点云和3D区域信息。在步骤S106的处理后，转移到后述的步骤S107。
另一方面，与上述步骤S100中的获取合成图像帧的处理并行地执行步骤S200中的处理。在步骤S200中，图像组合单元150基于通过在由光检测和测距单元11执行的角度范围200内扫描获取的速度点云和通过相机12获取的捕捉图像来生成一帧合成图像(被称为合成图像帧)。
图13是示意性示出合成图像帧的示例的视图。在图13中，合成图像帧70可对应于由相机12捕捉的捕捉图像的帧。在图13的示例中，合成图像帧70包括分别与图10的对象600至605对应的对象700至705。
在下一个步骤S201中，2D对象检测单元151获取在上述步骤S105中由3D对象检测单元141估计的3D区域信息。使用所获取的3D区域信息，2D对象检测单元151从合成图像中提取作为与整个捕捉图像对应的整个图像的局部图像。
图14是示意性地示出从合成图像帧70获取3D区域信息的状态的图。图14示出对于对象700至705中均具有特定绝对速度值或更大的对象701至705获取多条3D区域信息721至725的状态。例如，多条3D区域信息721至725可以被获取为分别包括对象701至705的最小矩形区域。不限于此，每条3D区域信息721至725可以是指示相对于最小矩形区域具有余量的区域的区域信息。
图15是示意性示出基于3D区域信息提取的局部图像的示例的视图。图15的部分(a)示出基于与对象703相对应的3D区域信息723的局部图像的示例。此外，图15的部分(b)示出基于与对象701相对应的3D区域信息721的局部图像的示例。
在下一个步骤S202中，2D对象检测单元151确定在步骤S201中获取的局部图像的亮度是否足够。作为示例，2D对象检测单元151计算例如局部图像的像素的亮度值的平均值作为局部图像的亮度值。当所计算的亮度值为阈值或更大时，2D对象检测单元151确定局部图像的亮度是足够的。
在2D对象检测单元151确定局部图像的亮度值不足的情况下(步骤S202，“否”)，处理转移到步骤S206。另一方面，在2D对象检测单元151确定局部图像的亮度值足够的情况下(步骤S202，“是”)，处理转移到步骤S203。
在步骤S203中，2D对象识别单元152从2D对象检测单元151获取局部图像，并对所获取的局部图像执行识别处理。2D对象识别单元152基于识别处理的结果来估计2D属性信息。
在接下来的步骤S204中，2D对象识别单元152确定步骤S203中的识别结果的可信度是否为特定值或更大。在2D对象识别单元152判定为可信度小于特定值的情况下(步骤S204：“否”)，处理进入步骤S206。另一方面，在2D对象识别单元152确定可信度为特定值或更大的情况下(步骤S204：“是”)，处理进入步骤S205。
在步骤S205中，3D对象识别单元142以集成方式将指示捕捉图像已经被捕捉的时间的时间信息、2D属性信息和2D区域信息输出到I/F单元160。
同时，如上所述，在步骤S202中确定局部图像的亮度不足的情况下(步骤S202，“否”)或者在步骤S204中确定可信度小于特定值的情况下(步骤S204，“否”)，处理进入步骤S206。在这些情况下，在2D对象识别单元152中未获取2D属性信息。因此，在步骤S206中，2D对象识别单元152以集成的方式将时间信息和2D区域信息输出到I/F单元160。
在步骤S205或步骤S206的处理之后，处理转移到步骤S207。在步骤S207中，2D对象识别单元152将时间信息和2D属性信息输出到3D对象识别单元142。
返回到对图9左侧的处理的描述，在从步骤S106过渡到步骤S107时，3D对象识别单元142获取在步骤S207中从2D对象识别单元152输出的时间信息和2D属性信息。
在步骤S107中，3D对象识别单元142确定在步骤S106中获取的局部速度点云中包括的点的数量是否为第二常数或更大。在3D对象识别单元142确定点的数量小于第二常数的情况下(步骤S107，“否”)，处理转移到步骤S111。另一方面，在3D对象识别单元142确定点的数量为第二常数或更大(步骤S107，“是”)的情况下，处理转移到步骤S108。
在步骤S108中，3D对象识别单元142对作为目标的局部速度点云执行对象识别处理，并且估计3D属性信息。在接下来的步骤S109中，3D对象识别单元142确定在步骤S108中估计的3D属性信息的可信度是否为特定值或更大。在3D对象识别单元142确定可信度小于特定值的情况下(步骤S109，“否”)，处理进入步骤S111。另一方面，在3D对象识别单元142确定可信度为特定值或更大的情况下(步骤S109：“是”)，处理进入步骤S110。
在步骤S110中，3D对象识别单元142集成指示已经执行测量的时间的时间信息、3D区域信息和3D属性信息。
在下一步骤S111中，3D对象识别单元142确定是否已经完成了对在步骤S103中生成的所有局部速度点云的处理。当确定尚未完成对所有生成的局部速度点云的处理时(步骤S111，“否”)，信号处理单元13将处理返回至步骤S103，从在步骤S102中生成的局部速度点云中提取下一个局部速度点云，并且继续处理。
另一方面，当3D对象识别单元142确定已经完成了所有生成的局部速度点云的处理时(步骤S111，“是”)，处理进入步骤S112。在步骤S112中，3D对象识别单元142针对所有生成的局部速度点云，将在步骤S110中集成的时间信息、3D属性信息和3D区域信息输出到I/F单元160。
当在步骤S112中输出时间信息、3D属性信息以及3D区域信息时，根据图9的流程图的一系列处理结束。
此处，将从光检测和测距单元11输出的速度点云与从相机12输出的捕捉图像进行比较。捕捉图像具有比速度点云更高的分辨率。因此，使用捕捉图像的识别处理可以实现比使用速度点云的识别处理更高的准确度。另一方面，使用捕捉图像的识别处理比使用速度点云的识别处理需要更高的计算负荷。在没有三维空间信息的捕捉图像中，三维位置估计是困难的，但是在具有三维空间信息的速度点云中，三维位置估计是容易的。此外，速度点云具有速度信息，并且因此使得容易检测移动体，而捕捉图像具有颜色信息，并且因此使得容易获取和估计属性信息。
以这种方式，从光检测和测距单元11输出的速度点云和从相机12输出的捕捉图像具有不同的特性。因此，通过根据图9的流程图的处理组合光检测和测距单元11的输出和相机12的输出来执行对象检测和识别处理，可以在各种环境下稳定地执行对目标对象的检测和识别。
(3-1.第一实施方式的变形例)
接着，说明第一实施方式的变形例。在上述第一实施方式中，在包括要进行空间测量的目标空间的空间3中仅布置一个传感器单元10，并且从一个方向执行测量和捕捉。这种从一个方向对目标空间进行测量和捕捉的系统被称为单角度系统。
在单角度方式的情况下，在目标空间中存在多个目标对象的情况或大的目标对象的情况下，屏蔽发生的概率高。因此，在单角度系统中，有可能仅测定目标对象的一部分，测量点的个数减少。由于目标物的测量点的数量量减少，所以目标物的检测概率和识别准确度下降。
因此，在第一实施方式的变形例中，从不同的方向执行测量和捕捉的多个传感器单元10被布置在包括目标空间的空间3中，并且由多个传感器单元10测量的速度点云被集成。由于从多个方向进行测量和捕捉，因此即使在从方向进行测量和捕捉时发生屏蔽的情况下，也可以通过从另一方向进行测量和捕捉来防止屏蔽的发生。这种从多个方向对目标空间进行测量和捕捉的系统被称为多角度系统。
图16是示出根据第一实施方式的变形例的多个传感器单元10的布置示例的示意图。在图16中，感测系统1a包括布置在空间3中的两个传感器单元101和102以及信号处理单元13a。传感器单元101中的光检测和测距单元11扫描角度α1的角度范围内的目标，并且传感器单元102中的光检测和测距单元11扫描角度α2的角度范围内的目标。在图16的示例中，传感器单元101和102布置在相对于共同的目标范围31彼此相对的位置处，并且从不同的方向执行目标范围31的扫描和捕捉。
在图16的示例中，例如，在从传感器单元101测量和捕捉时，由于静态对象42，在角度β的角度范围内生成屏蔽区域43。在多角度系统中，即使在这种情况下，也可以通过利用另一传感器单元102执行由传感器单元101引起的包括在屏蔽区域43中的目标对象的测量和捕捉。
应注意，在一般的LiDAR，例如，使用脉冲ToF的dToF-LiDAR中，存在以下可能性：在用来自多个方向的光同时照射同一目标对象的情况下，由于干扰的发生而在测量点云中发生缺陷。另一方面，在相干检测中通常不会发生干扰。因此，在执行相干检测的FMCW-LiDAR中，即使在使用来自多个方向的光同时照射同一目标对象的情况下，也不太可能在测量点云中出现缺陷。
图17是示出根据第一实施方式的变形例的感测系统的示例的配置的框图。在图17中，感测系统1a包括两个传感器单元101和102。传感器单元101包括光检测和测距单元111和相机121。类似地，传感器单元102包括光检测和测距单元112和相机122。
信号处理单元13a包括点云组合单元140a、3D对象检测单元141、3D对象识别单元142、图像组合单元150a、2D对象检测单元151a、2D对象识别单元152a和I/F单元160a。
点云组合单元140a获取分别从传感器单元101的光检测和测距单元111和相机121输出的速度点云和捕捉图像。类似地，点云组合单元140a获取分别从传感器单元102的光检测和测距单元112和相机122输出的速度点云和捕捉图像。
点云合成单元140a针对传感器单元101、102中的每个传感器单元，与第一实施方式同样地通过坐标系变换来参照与各测量点的角坐标对应的摄像图像的像素，针对每个测量点获取表示该点的颜色信息。点云合成单元140a将获取到的各测量点的颜色信息与各传感器单元101、102的各测量点的测量信息相加。点云组合单元140a生成其中每个测量点具有关于每个传感器单元101和102的速度信息和颜色信息的合成点云。
注意，点云组合单元140a可以包括执行与传感器单元101相关的处理的处理单元和执行与传感器单元102相关的处理的处理单元。不限于此，点云组合单元140a可以通过公共处理单元以时分方式执行与传感器单元101相关的处理和与传感器单元102相关的处理。
基于每个速度点云的每个测量点的角坐标，点云组合单元140a对基于传感器单元101的输出生成的合成点云和基于传感器单元102的输出生成的合成点云进行集成，以生成集成合成点云。集成点云(集成合成点云)是指通过将多个点云(合成点云)集成到单个点云中同时匹配其空间位置关系而获得的。可以使用基于分别包括在传感器单元101和102中的光检测单元111和测距单元112之间的位置关系预先校准的角坐标来集成合成点云。
此处，基于多普勒原理执行应用于光检测和测距单元111和112的FMCW-LiDAR中的速度测量。因此，由每个速度点云表示的速度仅是径向分量的速度(径向速度)。点云组合单元140a通过法线和由每个测量存储器估计的径向速度的矢量组合和其空间插值来集成各个合成点云。
点云组合单元140a将生成的集成合成点云输出到3D对象检测单元141和I/F单元160a。
3D对象检测单元141和3D对象识别单元142中的处理与根据上述第一实施方式的3D对象检测单元141和3D对象识别单元142中的处理类似，因此这里将省略其详细描述。
3D对象检测单元141获取从点云组合单元140a输出的集成合成点云，并且从所获取的集成合成点云中提取局部点云。此外，3D对象检测单元141生成区域信息，区域信息是指示目标对象，即，局部点云存在于表示整个目标空间的点云中的范围的信息。3D对象检测单元141输出局部点云和对应于局部点云的3D区域信息。
3D对象识别单元142获取从3D对象检测单元141输出的局部点云和3D区域信息。此外，3D对象识别单元142获取从稍后描述的2D对象识别单元152a输出的2D区域信息和2D属性信息。3D对象识别单元142基于所获取的局部点云和3D区域信息以及从2D对象识别单元152a获取的2D区域信息和2D属性信息，对局部点云执行对象识别。3D对象识别单元142基于对象识别的结果来估计关于所识别对象的3D属性信息。
在所估计的3D属性信息的可信度为特定值或更大的情况下，即，已经有效地执行了识别处理，3D对象识别单元142以集成的方式输出指示已经执行测量的时间的时间信息、3D区域信息和3D属性信息。
图像组合单元150a获取分别从传感器单元101的光检测和测距单元111和相机121输出的速度点云和捕捉图像。类似地，图像组合单元150a获取分别从传感器单元102的光检测和测距单元112和相机122输出的速度点云和捕捉图像。
图像组合单元150a、2D对象检测单元151a和2D对象识别单元152a中的每一个对传感器单元101的输出和传感器单元102的输出中的每一个执行处理。例如，图像组合单元150a、2D对象检测单元151a和2D对象识别单元152a并行地或以时分方式执行对传感器单元101的输出的处理和对传感器单元102的输出的处理。
以这种方式，与上述点云组合单元140a不同，图像组合单元150a不对从传感器单元101输出的捕捉图像和从传感器单元102输出的捕捉图像进行集成。即，通过考虑各自的姿势和位置来三维地组合，可以容易地集成分别以不同角度获取的3D点云。另一方面，难以对在二维平面上以不同角度捕捉的捕捉图像进行组合，因此不执行集成。
图像组合单元150a输出每个传感器单元101和102的捕捉图像和生成的合成图像。
基于从3D对象检测单元141输出的3D区域信息，2D对象检测单元151a从用于每个传感器单元101和102的图像组合单元150a提供的每个合成图像中提取与3D区域信息对应的每个局部图像。此外，2D对象检测单元151a从每个提取的局部图像中检测对象并且生成包括检测到的对象的2D区域信息。
2D对象检测单元151a输出为每个传感器单元101和102生成的每个局部图像和每条2D区域信息。
2D对象识别单元152a针对传感器单元101和102中的每一个对从2D对象检测单元151a输出的局部图像执行图像识别处理。2D对象识别单元152a估计关于传感器单元101和102中的每一个的局部图像的2D属性信息。
在估计的2D属性信息的可信度对于每个传感器单元101和102是特定值或更大的情况下，2D对象识别单元152a对表示已经执行捕捉的时间的时间信息、2D区域信息和2D属性信息进行集成。2D对象识别单元152a将与传感器单元101相关的时间信息、2D区域信息和2D属性信息以集成方式输出到I/F单元160a。此外，2D对象识别单元152a以集成的方式将与传感器单元102相关的时间信息、2D区域信息和2D属性信息输出到I/F单元160a。
从点云组合单元140a输出的集成的合成点云和从3D对象识别单元142输出的3D属性信息和3D区域信息被输入到I/F单元160a。此外，从图像组合单元150a输出的每个传感器单元101和102的合成图像和捕捉图像被输入到I/F单元160a。此外，将从2D对象识别单元152a输出的每个传感器单元101和102的2D属性信息和2D区域信息输入到I/F单元160a。例如，I/F单元160根据来自外部的设置，选择要从输入的集成合成点云中输出的信息、3D属性信息和3D区域信息、以及已经针对传感器单元101和102中的每一个输入的合成图像、捕捉图像、2D属性信息和2D区域信息。
要注意的是，作为实际处理，例如，在根据图9的流程图的处理之中，根据在感测系统1a中包括的传感器单元10的数量(在图16和图17的示例中为两个)，并行执行在步骤S200到S207中的处理。
[4.第二实施方式]
接下来，将描述本公开的第二实施方式。在第二实施方式中，由传感器单元10进行的测量和捕捉的目标范围被设置为比传感器单元10的可扫描范围窄。
FMCW-LiDAR由于其特性，具有比相机更低的分辨率，并且通常，在目标对象较小时，在目标对象远离装置时，与目标对象对应的点云的测量点的数量量减少。因此，存在远离装置的目标对象或者小于一定程度的目标对象的检测概率和识别准确度降低的可能性。另外，将从测定对象的对象空间整体取得的点云中与目标对象相当的部分的点云称为部分点云。
因此，在第二实施方式中，选择被测量的对象空间中包含人或其他移动体等目标对象的区域作为感兴趣区域(ROI)来进行局部扫描。通过这种局部扫描，与扫描整个目标空间的情况相比，可以增加与目标对象对应的部分点云的测量点的数量，并且可以局部提高点云的分辨率。此外，在目标对象移动的情况下，通过使执行扫描的感兴趣区域跟随移动，可维持相对于目标对象的局部高分辨率。
图18是示出根据第二实施方式的传感器单元的布置示例的示意图。在图18中，根据第二实施方式的感测系统1b包括传感器单元10a和信号处理单元13b。
在第二实施方式中，作为传感器单元10a的扫描模式，包括第一扫描模式和第二扫描模式，其中，在第一扫描模式中，扫描将在后面描述的光检测和测距单元11a可扫描的角度α的角度范围(第一扫描范围)，在第二扫描模式中，扫描相对于角度α的角度γ的角度范围(第二扫描范围)。以这种方式，在比第二扫描模式中的第一扫描范围窄的第二扫描范围中执行扫描。
光检测和测距单元11a可以在第二扫描模式下在角度γ的角度范围内扫描感兴趣区域32。当扫描模式是第二扫描模式时，信号处理单元13b向传感器单元10a供应局部扫描区域信息，以用于控制光检测和测距单元11a扫描感兴趣区域32。
图19是示出根据第二实施方式的感测系统1b的示例的配置的框图。在感测系统1b中，信号处理单元13b包括添加到根据图4中示出的第一实施方式的信号处理单元13的配置中的局部扫描控制单元170。局部扫描控制单元170从3D对象识别单元142获取3D区域信息。在光检测和测距单元11a的扫描模式是第二扫描模式的情况下，局部扫描控制单元170基于从3D对象识别单元142获取的3D区域信息生成局部扫描控制信号，并且将局部扫描控制信号输出至光检测和测距单元11a。
在光检测和测距单元11a中，根据从局部扫描控制单元170输出的局部扫描控制信号来控制扫描单元100以扫描感兴趣区域32。
要注意的是，在信号处理单元13b中的点云组合单元140、3D对象检测单元141和3D对象识别单元142以及图像组合单元150、2D对象检测单元151和2D对象识别单元152的基本功能与参照图4描述的信号处理单元13中的相应单元的基本功能相似，因此，在本文中省略其描述。
图20是示出根据第二实施方式的由信号处理单元13b进行的处理的示例的流程图。根据图20的流程图的处理例如在紧挨在图9的流程图的步骤S206的处理之前开始。即，在图20的流程图的处理之前，在作为光检测和测距单元11a的扫描模式的第一扫描模式中开始根据图9的流程图的处理。
例如，假设在步骤S201中提取的局部图像是对应于从速度点检云测到移动的区域的图像。在这种情况下，当2D对象检测单元151在步骤S202中确定局部图像的亮度值不足时(步骤S202，“否”)并且处理进行至步骤S206时，执行根据图20的流程图的处理。此外，当2D对象识别单元152在步骤S204中确定可信度小于特定值(步骤S204，“否”)并且处理进入步骤S206时，执行根据图20的流程图的处理。
可选地，当从速度点云中检测到移动的区域对应的局部图像的识别结果是预设的目标对象并且确定需要对目标对象进行更详细的三维移动分析时，可执行根据图20的流程图的处理。该确定可以由使用感测系统1b的人员执行，或者可以由感测系统1b自身或使用感测系统1b的测量结果的应用程序自动执行。
此外，对应于从速度点云中检测到移动的区域的局部图像可被呈现给用户，并且根据图20的流程图的处理可响应于用户响应于该呈现对详细分析等的请求而执行。
在图20中，在步骤S300中，光检测和测距单元11a的扫描模式从第一扫描模式切换至第二扫描模式。局部扫描控制单元170从3D对象识别单元142获取3D区域信息作为感兴趣区域，并且基于获取的3D区域信息生成局部扫描控制信息。更具体地，通过坐标系变换，局部扫描控制单元170将作为指示目标对象存在的区域的感兴趣区域的3D区域信息转换成由光检测和测距单元11a的扫描坐标系定义的扫描区域信息。局部扫描控制单元170基于扫描区域信息生成局部扫描控制信息。局部扫描控制单元170将生成的局部扫描控制信息输入到光检测和测距单元11a的扫描单元100。
图21是用于描述根据第二实施方式的生成局部扫描控制信息的过程的示意图。如图21的部分(a)中所示，传感器单元10a在第一扫描模式中在角度α的角度范围中扫描对象，并且测量在空间3中的目标范围30的内部。这里，假设正在移动的移动对象47是要注意的目标。移动对象47例如是以规定速度或更大移动的人员。移动对象47并不限定于此，只要是移动中的车辆等正在移动的对象，则也可以是其他对象。
如图21的部分(b)中所示，3D对象检测单元141从由传感器单元10a执行的扫描的角度范围200中提取包括要注意的移动对象47的区域230的区域信息。基于区域230的区域信息，局部扫描控制单元170生成局部扫描控制信息，使得光检测和测距单元11a以第二扫描模式执行扫描。
在下一步骤S301中，光检测和测距单元11a开始对由局部扫描控制信息指定的区域230进行扫描(被称为局部扫描)。基于通过局部扫描获得的测量结果，点云组合单元140通过例如在图9的流程图的步骤S100中描述的过程获取合成点云帧。此外，3D对象检测单元141通过流程图的步骤S101至S103中描述的处理获取局部速度点云。
图22是用于描述根据第二实施方式的局部扫描的示意图。如图22的部分(a)中所示，光检测和测距单元11a根据局部扫描控制信息以小于角度α的角度γ执行局部扫描。在该局部扫描中，如图22的部分(b)中所示，光检测和测距单元11a扫描具有对应于角度范围200中的区域230的角度范围200a的局部扫描区域231。
图23是用于描述根据第二实施方式的局部扫描的示意图。图23中的部分(a)对应于上述图3，并且示出扫描整个角度范围200的全扫描的状态。光检测和测距单元11a根据扫描线210(第一扫描图案)扫描角度α的角度范围200的内部。在该示例中，包括移动对象47的区域230是感兴趣区域。
图23的部分(b)是更具体地示出在区域230上的局部扫描的图。光检测和测距单元11a根据从局部扫描控制单元170提供的局部扫描控制信号扫描与区域230相对应的局部扫描区域231。该扫描是相对于在角度范围200上的全扫描，在小于角度范围200的角度α的角度γ的角度范围200a上的局部扫描。
此时，光检测和测距单元11a根据局部扫描控制信息(第二扫描图案)利用与用于角度范围200的扫描线210相同或基本上相同数量的扫描线扫描角度范围200a。在这种情况下，第二扫描图案具有比第一扫描图案更多的每单位面积的扫描线数量。换言之，在根据第二实施方式的局部扫描中，以比在第一扫描图案中的角度范围200的扫描中更高的密度在第二扫描图案中的角度范围200a上执行扫描。
3D对象检测单元141基于通过局部扫描从局部扫描区域231获取的测量结果来提取与感兴趣区域相关的速度点云。
在下一个步骤S302中，3D对象识别单元142从3D对象检测单元141获取局部速度点云。在下一个步骤S303中，3D对象识别单元142确定在步骤S302中获取的局部速度点云中包括的点的数量是否为第二常数或更大。例如，在3D对象识别单元142确定点的数量小于第二常数的情况下(步骤S303，“否”)，根据图20的流程图的一系列处理结束，并且处理被转移到图9的流程图的步骤S206。
另一方面，在3D对象识别单元142确定点的数量为第二常数或更大的情况下(步骤S303，“是”)，处理进入步骤S304。在步骤S304中，3D对象识别单元142对在步骤S302中获取的局部速度点云执行对象识别处理。
在接下来的步骤S305中，3D对象识别单元142确定通过步骤S304中的对象识别处理所获得的识别结果的可信度是否等于或大于特定值。例如，在3D对象识别单元142确定为可信度小于特定值的情况下(步骤S305：“否”)，根据图20的流程图的一系列处理结束，转移到图9的流程图的步骤S206。另一方面，在3D对象识别单元142确定可信度为特定值或更大的情况下(步骤S305：“是”)，处理进入步骤S306。
在步骤S306中，3D对象识别单元142将在步骤S300中获取的3D区域信息和指示在步骤S304中的对象识别处理的结果的识别信息进行集成。
在步骤S306的处理之后，例如，处理转移到图9的流程图的步骤S206。在这种情况下，在步骤S206中，代替2D区域信息，可以将与识别信息集成的3D区域信息与时间信息集成。此外，可以在下一步骤S207中获取包括在步骤S304中的对象识别处理中的识别信息中的3D属性信息，而不是2D属性信息。
(4-1.第二实施方式的变形例)
接着，说明第二实施方式的变形例。在上述第二实施方式中，感测系统1b被配置为相对于包括要进行空间测量的目标空间的空间3仅设置一个传感器单元10a的单角度系统。另一方面，在第二实施方式的变形例中，感测系统被配置为多个传感器单元10a布置在空间3中的多角度系统。
图24是示出根据第二实施方式的变形例的布置多个传感器单元时的ROI扫描的示意图。图24中，感测系统1a包括设置在空间3中的两个传感器单元10a1和10a2以及信号处理单元13c。在第二扫描模式中，传感器单元10a1和10a2可以分别在角度γ1和角度γ2的角度范围中扫描目标。在图24的示例中，传感器单元10a1和10a2被布置在相对于共同的感兴趣区域33彼此相对的位置处，并且从不同的方向执行感兴趣区域33的扫描和捕捉。
图25是示出根据第二实施方式的变形例的感测系统的示例的配置的框图。图25中，感测系统1c包括两个传感器单元10a1和10a2。传感器单元10a1包括光检测和测距单元111和相机121。类似地，传感器单元10a2包括光检测和测距单元112和相机122。
信号处理单元13c包括点云组合单元140a、3D对象检测单元141、3D对象识别单元142、图像组合单元150a、2D对象检测单元151a、2D对象识别单元152a和I/F单元160a。
点云组合单元140a获取分别从传感器单元10a1的光检测和测距单元111和相机121输出的速度点云和捕捉图像。类似地，点云组合单元140a获取分别从传感器单元10a2的光检测和测距单元112和相机122输出的速度点云和捕捉图像。
基于每个速度点云的每个测量点的角坐标，点云组合单元140a对基于传感器单元10a1的输出生成的合成点云和基于传感器单元10a2的输出生成的合成点云进行集成，以生成集成合成点云。可以使用基于分别包括在传感器单元10a1和10a2中的光检测单元111和测距单元112之间的位置关系预先校准的角坐标来集成合成点云。
点云组合单元140a将生成的集成合成点云输出到3D对象检测单元141和I/F单元160。3D对象检测单元141和3D对象识别单元142中的处理与根据上述第一实施方式的修改的3D对象检测单元141和3D对象识别单元142中的处理类似，因此将省略其描述。
图像组合单元150a获取分别从传感器单元10a1的光检测和测距单元111和相机121输出的速度点云和捕捉图像。类似地，图像组合单元150a获取分别从传感器单元10a2的光检测和测距单元112和相机122输出的速度点云和捕捉图像。
图像组合单元150a、2D对象检测单元151a和2D对象识别单元152a中的每一个对传感器单元10a1的输出和传感器单元10a2的输出执行处理。2D对象检测单元151a和2D对象识别单元152a中的处理与根据上述第一实施方式的修改的2D对象检测单元151a和2D对象识别单元152a中的处理相似，因此这里将省略对其的描述。
局部扫描控制单元170从3D对象识别单元142获取3D区域信息。局部扫描控制单元170基于从3D对象识别单元142获取的3D区域信息生成局部扫描控制信号，并且将局部扫描控制信号输出到光检测和测距单元111和112。
此时，优选地，局部扫描控制单元170b设定光检测和测距单元111进行扫描的角度γ1和光检测和测距单元112进行扫描的角度γ2，以使得光检测和测距单元111和112扫描共同感兴趣区域32。
第二实施方式的变形例中的信号处理单元13c的处理与参照图20的流程图描述的根据第二实施方式的信号处理单元13b的处理基本上相似地执行。在这种情况下，可以对通过将基于传感器单元10a1的输出的局部速度点云与基于传感器单元10a2的输出的局部速度点云集成而获得的集成局部速度点云执行步骤S302中和步骤S302之后的处理。
此外，根据第二实施方式，根据图20的流程图的处理可以在图9的流程图的步骤S206的处理之前立即开始。在这种情况下，可在2D对象检测单元151a确定局部图像的亮度值不足的情况下或在2D对象识别单元152确定可信度小于特定值的情况下开始处理。可选地，当从速度点云中检测到移动的区域对应的局部图像的识别结果是预设的目标对象并且确定需要对目标对象进行更详细的三维移动分析时，可执行根据图20的流程图的处理。此外，对应于从速度点云中检测到移动的区域的局部图像可被呈现给用户，并且根据图20的流程图的处理可响应于用户响应于该呈现对详细分析等的请求而执行。
根据第二实施方式的变形例，由于ROI扫描和多角度系统组合，因此即使在容易发生屏蔽的环境条件下，也可以在减少屏蔽的影响的同时，局部地增加针对目标对象的测量点的数量。因而，能够更高准确度地识别目标对象。
[5.第三实施方式]
接下来，将描述本公开的第三实施方式。第三实施方式是根据本公开的感测系统应用于分析人流的人流分析系统的示例。
图26是示意性地示出根据第三实施方式的人员流量分析系统的示例的配置的图。在图26中，人流分析系统300包括多个感应系统1，每个感应系统包括传感器单元10和信号处理单元13、人流分析装置320、人流数据库(DB)330和信息呈现装置340。
每个信号处理单元13经由诸如局域网(LAN)或互联网的网络310连接到人流分析装置320。不限于此，每个信号处理单元13可以直接连接到人流分析装置320，而无需网络310等的干预。
每个信号处理单元13基于由每个传感器单元10获得的测量结果和捕捉图像执行例如根据上述第一实施方式中的图9的流程图的处理，并且周期性地获取时间信息、2D和3D区域信息以及2D和3D属性信息。时间信息、2D和3D区域信息以及2D和3D属性信息经由网络310被发送到人流分析装置320。
人流分析装置(people flow analysis device)320基于从每个信号处理单元13发送的时间信息、2D和3D区域信息以及2D和3D属性信息以及存储在人流DB 330中的信息来检测并识别人员44，人员44是每个传感器单元10的测量目标并且包括在每个目标范围30中。人流分析装置320基于人员44的检测和识别结果来分析人流，该人流是在各个目标范围30中的人员44的流。人流分析装置320将人流分析装置320对人流的分析结果发送给信息呈现装置340。
例如，信息呈现装置340可以采用通用计算机装置，并且将从人流分析装置320发送的人流的分析结果作为可视化信息呈现给用户。
图27是更详细地示出根据第三实施方式的人员流量分析系统300的示例的配置的框图。
人流分析系统300包括一个或多个感测系统，每个感测系统包括传感器单元10和信号处理单元13。每个传感器单元10和每个信号处理单元13的配置等同于例如参考图4描述的传感器单元10和信号处理单元13的配置，并且因此，这里将省略其描述。每个感测系统1例如以预定周期执行测量和捕捉，并输出时间信息、2D和3D区域信息以及2D和3D属性信息。从每个信号处理单元13输出的时间信息、2D和3D区域信息以及2D和3D属性信息经由网络310(未示出)被传输到人流分析装置320。
人流分析装置320包括人员识别单元321、人流分析单元322和人流DB 330。
人员识别单元321经由网络310周期性地获取时间信息、2D和3D区域信息以及2D和3D属性信息。人员识别单元321基于所获取的时间信息、2D和3D区域信息以及2D和3D属性信息，估计在目标范围30中测量和捕捉人员44的时间以及人员44的位置、姿势和移动速度。因此，人员识别单元321可以识别在目标范围30中移动的人。在下文中，这些与人员44相关的时间、位置、姿势和移动速度将统称为人流信息。
此外，人员识别单元321基于从多个传感器单元10获取的多条时间信息、2D和3D区域信息以及2D和3D属性信息，识别从各个目标范围30检测的人员44中在每个目标范围30中共同检测的人员44。
人员识别单元321集成并输出从多个感测系统1获取的关于一个或多个人员44的多条人流信息。人流分析单元322将从人员识别单元321输出的集成人流信息作为时间序列数据记录在人流DB 330中。此外，例如，人流分析单元322对作为时间序列数据的人流信息执行统计分析，并且获取诸如人员44停留在一个地点的停留时间以及目标范围30中的拥挤度的统计分析信息。人流分析单元322将人流信息和统计分析信息输出到信息呈现装置340。
信息呈现装置340获取从人流分析单元322输出的人流信息和统计分析信息。这里，假设信息呈现装置340预先具有要由每个传感器单元10进行测量和捕捉的每个目标范围30的图。信息呈现装置340在显示装置上显示地图，并且基于获取的人流信息将人员44的移动轨迹叠加显示在地图上。信息呈现装置340可将统计分析信息与人员44的移动轨迹一起显示在显示装置上。
图28是示意性地示出由信息呈现装置340显示在显示装置上的人流的示例的视图。在图28中，包括布置在相应目标范围30中的静态对象41的地图341显示在显示装置上。信息呈现装置340将人员441至444和人员441至444分别沿其移动的轨迹451至454显示为叠加在地图341上。用户可通过观察地图341来掌握各个目标范围30中的人流。
图29是示出根据第三实施方式的人流分析系统300的处理的示例的流程图。另外，适当省略与上述图9的流程图相同的图29的处理进行说明。
图29中示出的每个处理由人流分析系统300中包括的每个信号处理单元13中的每个单元执行。更具体地，图29的左侧示出的步骤S400至S413中的过程对应于与主要由点云组合单元140、3D对象检测单元141和3D对象识别单元142执行的3D数据相关的处理。此外，右侧所示的步骤S500至S507中的处理对应于与主要由图像组合单元150、2D对象检测单元151和2D对象识别单元152执行的2D数据相关的处理。
在图29中，步骤S400至S406中的处理与图9中的步骤S100至S106中的处理相似。即，在步骤S400中，点云组合单元140基于通过在由光检测和测距单元11执行的角度范围200内进行扫描而测量的速度点云来获取速度点云帧。
在下一步骤S401中，3D对象检测单元141从在步骤S400中生成的速度点云帧中提取具有特定绝对速度值或更大的点。在接下来的步骤S402中，3D对象检测单元141生成在步骤S401中提取的点中的局部化在特定空间范围内的速度点云(局部速度点云)的集合。
在下一步骤S403中，3D对象检测单元141从步骤S402中生成的局部速度点云中提取一个局部速度点云作为待处理目标。在下一步骤S404中，信号处理单元13使3D对象检测单元141确定包括在提取的局部速度点云中的点的数量是否为第一常数或更大。当确定点的数量小于第一常数时(步骤S404，“否”)，3D对象检测单元141将处理返回至步骤S403，从在步骤S402中生成的局部速度点云中提取下一局部速度点云，并且继续处理。
当3D对象检测单元141确定点的数量是第一常数或更大(步骤S404，“是”)时，处理转移到步骤S405。在步骤S405中，3D对象检测单元141基于作为目标的局部速度点云获取3D区域信息。
当在步骤S505中获取3D区域信息时，3D对象检测单元141将处理移到步骤S406，并且将3D区域信息发送到2D对象检测单元151，用于稍后将描述的步骤S501中的处理。在步骤S406中，3D对象识别单元142从3D对象检测单元141获取局部速度点云和3D区域信息。在步骤S406中的处理之后，处理转移到后述的步骤S407。
另一方面，与上述步骤S400中获取合成图像帧的处理并行执行步骤S500中的处理。在步骤S500中，图像组合单元150基于通过在由光检测和测距单元11执行的角度范围200内扫描获取的速度点云和通过相机12获取的捕捉图像生成合成图像帧。
注意，步骤S500至S507中的处理与图9的流程图的步骤S200至S207中的处理相同。也就是说，在步骤S501中，2D对象检测单元151获取在上述步骤S405中由3D对象检测单元141估计的3D区域信息。2D对象检测单元151使用所获取的3D区域信息从整个图像中提取局部图像。
在下一步骤S502中，2D对象检测单元151确定在步骤S501中获取的局部图像的亮度是否足够。在2D对象检测单元151确定局部图像的亮度值不足的情况下(步骤S502，“否”)，处理转移到步骤S506。另一方面，在2D对象检测单元151确定局部图像的亮度值足够的情况下(步骤S502，“是”)，处理转移到步骤S503。
在步骤S503中，2D对象识别单元152从2D对象检测单元151获取局部图像，并对所获取的局部图像执行识别处理。2D对象识别单元152基于识别处理的结果来估计2D属性信息。
在接下来的步骤S504中，2D对象识别单元152确定步骤S503中的识别结果的可信度是否为特定值或更大。在2D对象识别单元152确定可信度小于特定值的情况下(步骤S504，“否”)，处理进入步骤S506。另一方面，在2D对象识别单元152确定可信度为特定值或更大的情况下(步骤S504：“是”)，处理进入步骤S505。
在步骤S505中，3D对象识别单元142以集成方式将指示捕捉图像已被捕捉的时间的时间信息、2D属性信息和2D区域信息输出到I/F单元160。
同时，如上所述，在步骤S502中确定局部图像的亮度不足的情况下(步骤S502，“否”)或者在步骤S504中确定可信度小于特定值的情况下(步骤S504，“否”)，处理进入步骤S506。在步骤S506中，2D对象识别单元152以集成的方式将时间信息和2D区域信息输出到I/F单元160。
在步骤S505或步骤S506中的处理之后，处理转移到步骤S507。在步骤S507中，2D对象识别单元152获取集成时间信息和2D属性信息，并将所获取的信息输出到3D对象识别单元142。
返回到对图29左侧的处理的描述，在从步骤S406到步骤S407的转变中，3D对象识别单元142在步骤S507中获取从2D对象识别单元152输出的时间信息和2D属性信息。
在步骤S407中，3D对象识别单元142确定与构成在步骤S406中获取的3D区域信息的局部速度点云相对应的2D属性信息是否指示人员。在3D对象识别单元142确定2D属性信息不指示人员的情况下(步骤S407，“否”)，处理转移到步骤S411。另一方面，在3D对象识别单元142确定2D属性信息指示人员的情况下(步骤S407，“是”)，处理转移到步骤S408。
在步骤S408中，3D对象识别单元142估计人员相对于作为目标的局部速度点云的位置和姿势。在接下来的步骤S409中，3D对象识别单元142确定在步骤S408中估计出的位置姿势的可信度是否为特定值或更大。在3D对象识别单元142确定可信度小于特定值的情况下(步骤S409，“否”)，处理进入步骤S411。另一方面，在3D对象识别单元142确定可信度为特定值或更大的情况下(步骤S409：“是”)，处理进入步骤S410。
在步骤S410中，3D对象识别单元142基于在步骤S408中估计的位置和姿势，更新相应的3D区域信息。
在下一个步骤S411中，3D对象识别单元142确定是否已经完成针对在步骤S403中生成的所有局部速度点云的处理。当确定尚未完成对所有生成的局部速度点云的处理时(步骤S411，“否”)，信号处理单元13将处理返回至步骤S403，从步骤S402中生成的局部速度点云中提取下一个局部速度点云，并且继续处理。
另一方面，当3D对象识别单元142确定已经完成了所有生成的局部速度点云的处理(步骤S411，“是”)时，该处理进入步骤S412。在步骤S412中，3D对象识别单元142针对生成的所有局部速度点云，将时间信息、3D属性信息和3D区域信息输出到I/F单元160。
在下一步骤S413中，信号处理单元13确定人流分析系统300的监测操作是否已经结束。当确定监测操作尚未结束时(步骤S413，“否”)，信号处理单元13将处理移至步骤S400和S500，并且获取下一速度点云帧和图像帧。
另一方面，当确定人流分析系统300的监测操作结束时(步骤S413，“是”)，信号处理单元13根据图29中的流程图结束一系列处理。
以这种方式，根据第三实施方式的人流分析系统300基于从光检测和测距单元11的测量结果获取的点云和由相机12捕捉的捕捉图像来检测和识别目标范围30中的人员44。因此，能够以更高的准确度执行人流分析。
注意，其中传感器单元10被布置在每个目标范围30中的单角度系统被应用在人流分析系统300中，但是这不限于该示例。例如，使用第一实施方式的变形例所描述的多角度系统可应用于根据第三实施方式的人流分析系统300。
[6.第四实施方式]
接下来，将描述本公开的第四实施方式。第四实施方式是将根据本公开内容的感测系统应用于检测目标范围内的异常的异常检测系统的示例。
许多异常事件物理上涉及位置的改变。这种异常事件的示例包括人的跌倒或可疑行为、车辆的异常启动或突然停止等。假定在这些事件中产生了一种速度。因此，认为能够通过监测生成速度的点的周围来检测异常。
图30A和图30B是用于描述根据第四实施方式的异常检测系统的示意图。图30A示出正常操作的状态。此外，图30B示出检测到异常之后的局部异常检测操作的状态。在第四实施方式中，执行局部扫描的感测系统1b，在第二实施方式中参照图18至图23进行描述，用作异常检测系统所使用的感测系统。
在图30A中，部分(a)示出在根据第三实施方式的异常检测系统400中没有检测到或更大的情况的示例的配置。异常检测系统400包括传感器单元10a、信号处理单元13b(未示出)、异常分析装置410、异常事件数据库(DB)420、以及通知装置430。
在图30A的部分(a)的示例中，一个传感器单元10a被布置在空间3中，并且通过传感器单元10a获得的测量结果和捕捉图像被输入到信号处理单元13b(未示出)。此外，虽然未示出，但局部扫描控制信号从信号处理单元13b被提供给传感器单元10a。
另外，在本示例中，在异常检测系统400中应用将一个传感器单元10a配置在空间3内的单角度系统，但是不限于此。例如，可以将相对于空间3配置多个传感器单元的多角度系统应用于异常检测系统400。另外，在本实施方式中，将传感器单元10a(信号处理单元13b)和异常分析装置410设为直接连接的状态，但并不限定于此。例如，传感器单元10a(信号处理单元13b)和异常分析装置410可以经由诸如局域网(LAN)或互联网的网络连接。
在传感器单元10a中，光检测和测距单元11a以第一扫描模式扫描角度α的角度范围内的目标范围30以执行测量，并且通过相机12捕捉包括目标范围30的范围的图像。
信号处理单元13b(未示出)基于由传感器单元10a获得的测量结果和捕捉图像执行例如根据上述第一实施方式中的图9的流程图的处理，并且周期性地获取时间信息、2D和3D区域信息以及2D和3D属性信息。信号处理单元13b输出时间信息、2D和3D区域信息以及2D和3D属性信息。
这里，假定从对象46检测基于传感器单元10a的测量和捕捉的结果被估计为异常的移动。如图30A的部分(b)中所示，假设对象46存在于目标范围30中的区域34中。
当检测到被估计为异常的移动时，信号处理单元13b将传感器单元10a中的光检测和测距单元11a的扫描模式从第一扫描模式切换至第二扫描模式，并且生成局部扫描控制信号，以用于控制传感器单元10a根据已检测到移动的区域34进行局部扫描。根据局部扫描控制信号，传感器单元10a使得光检测和测距单元11a使用角度γtgt扫描感兴趣区域32tgt，感兴趣区域32tgt是对应于区域34的区域，角度γtgt具有比角度α窄的角度范围并且对应于区域34。
通过该局部扫描，可以更详细地检测对象46的异常。
异常分析装置410获取从信号处理单元13b输出的时间信息、2D和3D区域信息以及2D和3D属性信息。时刻信息表示检测到异常的时刻，2D、3D区域信息表示检测到异常的区域。另外，2D和3D属性信息是检测出异常的对象46的属性信息。
异常分析装置410基于所获取的时间信息、2D和3D区域信息以及2D和3D属性信息以及存储在异常事件DB 420中的信息来检测在目标范围30中发生的异常。当在目标范围30中检测到异常时，异常分析装置410将表示检测到异常的异常检测信息发送到通知装置430。通知装置430根据异常检测信息向用户等通知异常的发生。
图31是更详细地示出根据第四实施方式的异常检测系统400的示例的配置的框图。
异常检测系统400具有包括传感器单元10a和信号处理单元13b的感测系统1b。根据第四实施方式的感测系统1b的配置等同于参考图19描述的感测系统1b的配置，并且因此，这里将省略其描述。感测系统1b例如以预定周期执行测量和捕捉，并且输出时间信息、2D和3D区域信息以及2D和3D属性信息。
异常分析装置410具有异常分析部411和异常事件数据库(DB)420。异常分析单元411获取从信号处理单元13b输出的时间信息、2D和3D区域信息以及2D和3D属性信息。异常分析单元411基于2D区域信息和3D区域信息识别异常事件的发生位置。异常分析单元411基于所识别的异常事件的发生位置，从2D区域信息和3D区域信息提取异常事件的发生位置周围的局部图像和部分点云。
异常分析单元411在异常事件DB 420中登记与异常事件相关的内容(属性)、发生位置、局部图像、以及局部点云。另外，异常解析部411也参照在异常事件DB 420中登记的信息，解析异常事件的内容、持续时间等。异常分析单元411基于分析的结果确定异常事件的重要性，并且当基于确定的结果需要通知时，将通知命令输出至通知装置430。
通知装置430响应于从异常分析单元411输出的通知命令输出指示异常事件的发生的通知。通知装置430可以将该通知作为视觉信息、声音信息或其组合输出。不限于此，通知装置430可以将通知输出到另一装置。
图32和图33是表示第四实施方式的异常检测系统的处理的示例的流程图。应注意，在图32与图33之间，图32和图33中的参考标号“A”和“B”表示处理被移动至相应参考标号。要注意的是，在适当地省略在图32中的与在上述图9的流程图中的工艺共同的工艺的同时，进行描述。
图32所示的各处理由异常检测系统400所包含的信号处理单元13b中的各部执行。更具体地，图32的左侧所示的步骤S600至S609中的处理对应于与主要由点云组合单元140、3D对象检测单元141和3D对象识别单元142执行的3D数据相关的处理。此外，右侧所示的步骤S700至S706对应于与主要由图像组合单元150、2D对象检测单元151和2D对象识别单元152执行的2D数据相关的处理。
在图32中，步骤S600至S606中的处理与图9中的步骤S100至S106中的处理相似。即，在步骤S600中，点云组合单元140基于通过在光检测和测距单元11的第一扫描模式下在角度范围200内进行扫描而测量的速度点云来获取速度点云帧。
在下一步骤S601中，3D对象检测单元141从在步骤S600中生成的速度点云帧中提取具有特定绝对速度值或更大的点。在下一步骤S602中，3D对象检测单元141生成在步骤S601中提取的点中的被局部化在特定空间范围中的速度点云(局部速度点云)的集合。
在下一步骤S603中，3D对象检测单元141从步骤S602中生成的局部速度点云中提取一个局部速度点云作为待处理目标。在下一步骤S604中，信号处理单元13使3D对象检测单元141确定包括在提取的局部速度点云中的点的数量是否为第一常数或更大。当确定点的数量小于第一常数时(步骤S604，“否”)，3D对象检测单元141将处理返回至步骤S603，从在步骤S602中生成的局部速度点云中提取下一局部速度点云，并且继续处理。
当3D对象检测单元141确定点的数量是第一常数或更大时(步骤S604，“是”)，处理转移到步骤S605。在步骤S605中，3D对象检测单元141估计例如包括作为目标的局部速度点云的最小区域的区域信息(位置、大小和姿势)，并且获取3D区域信息。
当在步骤S505中获取3D区域信息时，3D对象检测单元141使处理转到步骤S606，并且向2D对象检测单元151发送3D区域信息，用于稍后描述的步骤S701中的处理。在步骤S606中，3D对象识别单元142从3D对象检测单元141获取局部速度点云和3D区域信息。在步骤S606的处理之后，处理转移到后述的步骤S607。
另一方面，与上述步骤S600中的获取合成图像帧的处理并行地执行步骤S700中的处理。在步骤S700中，图像组合单元150基于通过在由光检测和测距单元11执行的角度范围200内扫描获取的速度点云和由相机12获取的捕捉图像生成合成图像帧。
在步骤S701中，2D对象检测单元151获取由上述步骤S605中的3D对象检测单元141估计的3D区域信息。2D对象检测单元151使用所获取的3D区域信息从整个捕捉的图像中提取局部图像。
在下一步骤S702中，2D对象检测单元151确定在步骤S701中获取的局部图像是否具有足够的信息量。例如，2D对象检测单元151通过将局部图像的亮度或可见度与阈值相比较来确定信息量。可以想到通过例如针对局部图像的边缘检测来获取可见性。
在2D对象检测单元151确定局部图像的信息量不足的情况下(步骤S702，“否”)，处理转移到图33中的步骤S800。另一方面，在2D对象检测单元151确定局部图像的信息量足够的情况下(步骤S702，“是”)，处理转移到步骤S703。
在步骤S703中，2D对象识别单元152从2D对象检测单元151获取局部图像，并对所获取的局部图像执行识别异常事件的异常事件识别处理。2D对象识别单元152基于异常事件识别处理的结果来估计作为与异常事件相关的属性的异常事件属性信息。作为异常事件属性信息，例如，可以应用异常事件的类型、实体(人员等)、规模等。
例如，2D对象识别单元152可以基于异常事件的识别结果执行学习，并且通过该学习生成用于识别异常事件的学习模型。不限于此，2D对象识别单元152可以使用现有的学习模型从局部图像识别异常事件。
在接下来的步骤S704中，2D对象识别单元152确定通过步骤S703中的异常事件识别处理所获得的识别结果的可信度是否为特定值或更大。在2D对象识别单元152确定可信度小于特定值的情况下(步骤S704，“否”)，处理转移到图33的流程图的步骤S800。另一方面，在2D对象识别单元152确定可信度为特定值或更大的情况下(步骤S704：“是”)，处理进入步骤S705。
在步骤S705中，3D对象识别单元142以集成方式将指示捕捉图像已经被捕捉的时间的时间信息和异常事件属性信息输出到I/F单元160。
另一方面，如上所述，在步骤S702中确定局部图像的信息量不足的情况下(步骤S702，“否”)，或者在步骤S704中确定可信度小于特定值的情况下(步骤S704，“否”)，处理转移到图33的步骤S800。
在后面描述的图33的流程图的步骤S705或步骤S806中的处理之后，处理转移到步骤S706。在步骤S706中，2D对象识别单元152获取集成时间信息和异常事件属性信息，并将所获取的信息输出到3D对象识别单元142。
返回图32左侧的处理的说明，在从步骤S606至步骤S607的转变中，3D对象识别单元142获取在步骤S706中从2D对象识别单元152输出的时间信息和异常事件属性信息。
在步骤S607中，3D对象识别单元142确定是否已经完成了在步骤S602中生成的所有局部速度点云的处理。当确定尚未完成对所有生成的局部速度点云的处理时(步骤S607，“否”)，信号处理单元13将处理返回至步骤S603，从步骤S602中生成的局部速度点云中提取下一个局部速度点云，并且继续处理。
另一方面，当3D对象识别单元142确定已经完成了所有生成的局部速度点云的处理时(步骤S607，“是”)，该处理进入步骤S608。在步骤S608中，3D对象识别单元142针对生成的所有局部速度点云，将时间信息和异常事件属性信息输出到I/F单元160。
在接下来的步骤S609中，信号处理单元13b确定异常检测系统400的监测动作是否结束。在确定为监测动作未结束的情况下(步骤S609：“否”)，信号处理单元13b使处理转移到步骤S600和S700，获取下一个速度点云帧和图像帧。
另一方面，当确定异常检测系统400的监测操作结束时(步骤S609，“是”)，信号处理单元13b根据图32的流程图结束一系列处理。
将描述根据图33的流程图的处理。另外，适当省略与上述图20的流程图共同的图33的流程图的处理进行说明。
在图33中，在步骤S800中，局部扫描控制单元170从3D对象识别单元142获取3D区域信息作为感兴趣区域，并且基于所获取的3D区域信息生成局部扫描控制信息。局部扫描控制单元170将生成的局部扫描控制信息输入到光检测和测距单元11a的扫描单元100。
在下一步骤S801中，光检测和测距单元11a的扫描模式从第一扫描模式转变到第二扫描模式，并且开始针对由局部扫描控制信息指定的感兴趣区域32tgt的局部扫描。基于通过局部扫描获得的测量结果，点云组合单元140通过例如在图9的流程图的步骤S100中描述的过程获取合成点云帧。此外，3D对象检测单元141通过流程图的步骤S101至S103中描述的处理获取局部速度点云。
3D对象检测单元141基于通过局部扫描从感兴趣区域32tgt获取的测量结果来提取与感兴趣区域32tgt相关的局部速度点云。
在下一个步骤S802中，3D对象识别单元142从3D对象检测单元141获取局部速度点云。在接下来的步骤S803中，3D对象识别单元142确定在步骤S802中获取的局部速度点云中包括的点的数量是否为第二常数或更大。例如，在3D对象识别单元142确定点的数量小于第二常数的情况下(步骤S803，“否”)，根据图33的流程图的一系列处理结束，并且处理被转移到图32的流程图的步骤S706。
另一方面，在3D对象识别单元142确定点的数量为第二常数或更大的情况下(步骤S803，“是”)，处理转移到步骤S804。在步骤S804中，3D对象识别单元142对在步骤S802中获取的局部速度点云执行异常事件识别处理，并估计异常事件属性信息。3D对象识别单元142的异常事件识别处理可以与步骤S703中描述的2D对象识别单元152的异常事件识别处理相同的方式执行。
在接下来的步骤S805中，3D对象识别单元142确定步骤S804中的异常事件识别处理的识别结果的可信度是否为特定值或更大。在3D对象识别单元142确定可信度小于特定值的情况下(步骤S805，“否”)，根据图33的流程图的一系列处理结束，并且处理移动到图32的流程图的步骤S706。另一方面，在3D对象识别单元142确定可信度为特定值或更大的情况下(步骤S805，“是”)，处理进入步骤S806。
在步骤S806中，3D对象识别单元142将在步骤S800中获取的3D区域信息和指示在步骤S804中的异常事件识别处理的结果的识别信息进行集成。在步骤S806中的处理之后，处理转移到图32的流程图的步骤S706。
如上所述，在第四实施方式中，基于通过传感器单元10a中的光检测和测距单元11a的测量获取的速度点云和通过相机12捕捉的捕捉图像来检测在目标范围内发生的异常事件。可以在不使用速度点云的情况下执行基于对象本身的移动的异常事件的检测。在第四实施方式中，除了捕捉图像之外，还使用速度点云扫描发生异常事件的区域作为感兴趣区域，同时缩小角度范围。因此，可以更详细地分析所生成的异常事件。
应注意，本说明书中描述的效果仅是示例并且不限制本文中的公开，并且还可以实现本文中未描述的其他效果。
应注意，本技术还可具有以下配置。
(1)一种感测系统，包括：
光检测和测距装置，基于速度点云信息输出速度图像作为对象的信息，速度点云信息基于由对象反射并接收的接收信号，光检测和测距装置使用调频连续波；以及
固态成像装置，输出通过捕捉对象的图像而获得的捕捉图像作为对象的信息，
其中，光检测和测距装置和固态成像装置被布置成获取来自对象的同一侧面的信息。
(2)根据上述(1)的感测系统，其中
固态成像装置的分辨率高于光检测和测距装置的分辨率。
(3)根据以上(1)或(2)的感测系统，包括
多个单元，每个单元包括光检测和测距装置以及固态成像装置，
多个单元中的每个单元被布置成获取来自对象的相互不同的侧面的信息。
(4)根据上述(1)至(3)中任一项的感测系统，其中，
光检测和测距装置包括：
扫描控制单元，控制扫描接收信号的扫描范围，
扫描控制单元具有：
第一扫描模式和第二扫描模式以作为用于扫描扫描范围的扫描模式，在第一扫描模式中，执行控制以扫描第一扫描范围，在第二扫描模式中，执行控制以扫描比第一扫描范围窄的第二扫描范围。
(5)根据上述(4)的感测系统，其中
第二扫描范围包括在第一扫描范围内。
(6)根据上述(4)或(5)的感测系统，其中，
光检测和测距装置
使用第一扫描模式以第一密度获取速度点云信息，并且使用第二扫描模式以比第一密度更高的第二密度获取速度点云信息。
(7)根据上述(4)至(6)中任一项的感测系统，其中，
第二扫描范围包括移动的对象。
(8)根据上述(4)至(7)中任一项的感测系统，其中，
第二扫描范围包括作为以预定速度或更大速度移动的人员的对象。
(9)根据上述(4)至(8)中任一项的感测系统，其中，
扫描控制单元
基于由固态成像装置捕捉的捕捉图像从第一扫描模式切换到第二扫描模式。
(10)根据上述(9)的感测系统，其中
扫描控制单元
基于捕捉图像中的局部图像而从第一扫描模式切换至第二扫描模式，局部图像对应于基于速度点云信息而检测到移动的区域。
(11)根据上述(4)至(10)中任一项的感测系统，其中，
扫描控制单元
使用第一扫描模式以第一扫描图案扫描第一扫描范围，并且使用第二扫描模式以第二扫描图案扫描第二扫描范围。
(12)根据上述(11)的感测系统，其中
第二扫描图案每单位面积的扫描线的数量大于第一扫描图案。
(13)根据上述(1)至(12)中任一项的感测系统，还包括：
识别单元，基于光检测和测距装置的输出以及固态成像装置的输出来识别移动人员；以及
人流分析单元，按时间序列获取由识别单元识别出的移动人员，并且对人流进行分析。
(14)根据上述(1)至(12)中任一项的感测系统，还包括：
信号处理单元，基于速度点云信息从捕捉图像中提取包括对象的局部图像；
识别单元，识别局部图像中包括的异常事件；以及
扫描控制单元，控制光检测和测距装置的扫描接收信号的扫描范围，
其中，扫描控制单元具有：
第一扫描模式和第二扫描模式以作为用于扫描扫描范围的扫描模式，在第一扫描模式中，执行控制以扫描第一扫描范围，在第二扫描模式中，执行控制以扫描比第一扫描范围窄的第二扫描范围，并且
在局部图像不具有供识别单元识别异常事件的足够量的信息的情况下，将用于扫描接收信号的扫描模式从第一扫描模式切换到用于扫描与局部图像的区域相对应的第二扫描范围的第二扫描模式。
参考标号列表
1、1a、1b、1c感测系统
3空间
10、101、102、10a、10a1、10a2传感器单元
11、111、112、11a光检测和测距单元
12、121、122相机
13、13a、13b、13c信号处理单元
30、31目标范围
32、32tgt、33感兴趣区域
40、47 移动对象
41、42 静态对象
43 屏蔽区域
50 距离图像
51 速度图像
52 合成图像
60 速度点云
70 合成图像帧
100 扫描单元
101 扫描控制单元
102 角度检测单元
110 传输光控制单元
111 光发射器
112 光接收器
113 接收信号处理单元
120 点云生成单元
140、140a点云组合单元
141 3D对象检测单元
142 3D对象识别单元
150、150a图像组合单元
151、151a 2D对象检测单元
152、152a 2D对象识别单元
160、160a I/F单元
170局部扫描控制单元
200、200a角度范围
210 扫描线
231 局部扫描区域
300 人流分析系统
320 人流分析装置
321 人员识别单元
322 人流分析单元
330人流DB
340 信息呈现装置
341 地图
400 异常检测系统
410 异常分析装置
411 异常分析单元
420异常事件DB
430通知装置。

Claims (14)

1.一种感测系统，包括：
光检测和测距装置，基于速度点云信息输出速度图像作为对象的信息，所述速度点云信息基于由所述对象反射并接收的接收信号，所述光检测和测距装置使用调频连续波；以及
固态成像装置，输出通过捕捉所述对象的图像而获得的捕捉图像作为所述对象的信息，
其中，所述光检测和测距装置和所述固态成像装置被布置成获取来自所述对象的同一侧面的信息。
2.根据权利要求1所述的感测系统，其中，
所述固态成像装置的分辨率高于所述光检测和测距装置的分辨率。
3.根据权利要求1所述的感测系统，包括：
多个单元，每个单元包括所述光检测和测距装置以及所述固态成像装置，
所述多个单元中的每个单元被布置成获取来自所述对象的相互不同的侧面的信息。
4.根据权利要求1所述的感测系统，其中，
所述光检测和测距装置包括：
扫描控制单元，控制扫描所述接收信号的扫描范围，
所述扫描控制单元具有：
第一扫描模式和第二扫描模式以作为用于扫描所述扫描范围的扫描模式，在所述第一扫描模式中，执行控制以扫描第一扫描范围，在所述第二扫描模式中，执行控制以扫描比所述第一扫描范围窄的第二扫描范围。
5.根据权利要求4所述的感测系统，其中，
所述第二扫描范围包括在所述第一扫描范围内。
6.根据权利要求4所述的感测系统，其中，
所述光检测和测距装置
使用所述第一扫描模式以第一密度获取所述速度点云信息，并且使用所述第二扫描模式以比所述第一密度更高的第二密度获取所述速度点云信息。
7.根据权利要求4所述的感测系统，其中，
所述第二扫描范围包括移动的对象。
8.根据权利要求4所述的感测系统，其中，
所述第二扫描范围包括作为以预定速度或更大速度移动的人员的对象。
9.根据权利要求4所述的感测系统，其中，
所述扫描控制单元
基于由所述固态成像装置捕捉的捕捉图像从所述第一扫描模式切换到所述第二扫描模式。
10.根据权利要求9所述的感测系统，其中，
所述扫描控制单元
基于所述捕捉图像中的局部图像而从所述第一扫描模式切换至所述第二扫描模式，所述局部图像对应于基于所述速度点云信息而检测到移动的区域。
11.根据权利要求4所述的感测系统，其中，
所述扫描控制单元
使用所述第一扫描模式以第一扫描图案扫描所述第一扫描范围，并且使用所述第二扫描模式以第二扫描图案扫描所述第二扫描范围。
12.根据权利要求11所述的感测系统，其中，
所述第二扫描图案每单位面积的扫描线的数量大于所述第一扫描图案。
13.根据权利要求1所述的感测系统，还包括：
识别单元，基于所述光检测和测距装置的输出以及所述固态成像装置的输出来识别移动人员；以及
人流分析单元，按时间序列获取由所述识别单元识别出的移动人员，并且对人流进行分析。
14.根据权利要求1所述的感测系统，还包括：
信号处理单元，基于所述速度点云信息从所述捕捉图像中提取包括所述对象的局部图像；
识别单元，识别所述局部图像中包括的异常事件；以及
扫描控制单元，控制所述光检测和测距装置的扫描所述接收信号的扫描范围，
其中，所述扫描控制单元具有：
第一扫描模式和第二扫描模式以作为用于扫描所述扫描范围的扫描模式，在所述第一扫描模式中，执行控制以扫描第一扫描范围，在所述第二扫描模式中，执行控制以扫描比所述第一扫描范围窄的第二扫描范围，并且
在所述局部图像不具有供所述识别单元识别异常事件的足够量的信息的情况下，将用于扫描所述接收信号的扫描模式从所述第一扫描模式切换到用于扫描与所述局部图像的区域相对应的所述第二扫描范围的所述第二扫描模式。
CN202180095514.8A 2021-03-17 2021-11-11 感测系统 Pending CN116997821A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163162210P 2021-03-17 2021-03-17
US63/162,210 2021-03-17
PCT/JP2021/041642 WO2022195954A1 (ja) 2021-03-17 2021-11-11 センシングシステム

Publications (1)

Publication Number Publication Date
CN116997821A true CN116997821A (zh) 2023-11-03

Family

ID=83320269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095514.8A Pending CN116997821A (zh) 2021-03-17 2021-11-11 感测系统

Country Status (6)

Country Link
EP (1) EP4310549A1 (zh)
JP (1) JPWO2022195954A1 (zh)
KR (1) KR20230158474A (zh)
CN (1) CN116997821A (zh)
TW (1) TW202238172A (zh)
WO (1) WO2022195954A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651012B1 (ko) * 2021-11-24 2024-03-25 (주)스마트레이더시스템 4차원 레이더 신호처리 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006577B2 (ja) 2002-03-13 2007-11-14 オムロン株式会社 監視装置
JP6488647B2 (ja) 2014-09-26 2019-03-27 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
JP6350923B2 (ja) * 2016-02-24 2018-07-04 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法
JP2019101000A (ja) 2017-12-08 2019-06-24 コニカミノルタ株式会社 測距点群データ測定システム、および制御プログラム
KR102363751B1 (ko) * 2018-09-05 2022-02-15 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 코히런트 lidar의 피치-캐치 스캐닝을 위한 방법 및 시스템
JP7337654B2 (ja) * 2018-11-13 2023-09-04 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
US10846817B2 (en) * 2018-11-15 2020-11-24 Toyota Research Institute, Inc. Systems and methods for registering 3D data with 2D image data
EP3893194A4 (en) * 2018-12-07 2022-01-26 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, MOBILE BODY CONTROL DEVICE AND MOBILE BODY
CN112859033A (zh) * 2021-02-23 2021-05-28 加特兰微电子科技(上海)有限公司 目标探测的方法、装置及相关设备

Also Published As

Publication number Publication date
KR20230158474A (ko) 2023-11-20
JPWO2022195954A1 (zh) 2022-09-22
WO2022195954A1 (ja) 2022-09-22
TW202238172A (zh) 2022-10-01
EP4310549A1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
US20220390610A1 (en) Visualization and semantic monitoring using lidar data
CN103852754B (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
US10935371B2 (en) Three-dimensional triangulational scanner with background light cancellation
Gandhi et al. High-resolution depth maps based on TOF-stereo fusion
CN103852067B (zh) 调整飞行时间(tof)测量系统的操作参数的方法
TWI709943B (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
Wallace EURASIP Member et al. Full waveform analysis for long-range 3D imaging laser radar
CN110325879A (zh) 用于压缩三维深度感测的系统和方法
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
CN111045000A (zh) 监测系统和方法
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN113160327A (zh) 一种点云补全的实现方法和系统
WO2022135594A1 (zh) 目标物体的检测方法及装置、融合处理单元、介质
US20210264626A1 (en) Method for depth image acquisition, electronic device, and storage medium
US11523029B2 (en) Artificial intelligence scan colorization
Vechersky et al. Colourising point clouds using independent cameras
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
EP4310549A1 (en) Sensing system
US20220373683A1 (en) Image processing device, monitoring system, and image processing method
US11734833B2 (en) Systems and methods for detecting movement of at least one non-line-of-sight object
US20240151853A1 (en) Measurement device, measurement method, and information processing device
WO2022083529A1 (zh) 一种数据处理方法及装置
CN112364741B (zh) 无人机单目远距离障碍检测方法、装置及无人机
EP4035940A1 (en) Gating camera, automobile, vehicle lamp, image processing device, and image processing method
Distante et al. Active range imaging dataset for indoor surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination