CN115667993A - 预测追踪装置、预测追踪方法以及预测追踪程序 - Google Patents

预测追踪装置、预测追踪方法以及预测追踪程序 Download PDF

Info

Publication number
CN115667993A
CN115667993A CN202080100999.0A CN202080100999A CN115667993A CN 115667993 A CN115667993 A CN 115667993A CN 202080100999 A CN202080100999 A CN 202080100999A CN 115667993 A CN115667993 A CN 115667993A
Authority
CN
China
Prior art keywords
moving object
tracking
point clouds
moving
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080100999.0A
Other languages
English (en)
Inventor
池西俊仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN115667993A publication Critical patent/CN115667993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

移动物体检测部(113)从由进行针对移动体周边的计测的LiDAR得到的点云数据中，提取表示存在于所述移动体周边的移动物体的点云。移动物体追踪部(116)从所述点云数据中，提取作为正被追踪的移动物体的追踪物体用的后验分布的范围内的点云，对提取出的点云进行与所述移动物体的点云之间的匹配。

Description

预测追踪装置、预测追踪方法以及预测追踪程序
技术领域
本发明涉及移动物体的预测追踪。
背景技术
已知有利用由LiDAR计测的点云追踪移动物体的方法。
LiDAR是Light Detection And Ranging(光探测和测距，激光雷达)的简称。
在专利文献1公开的方法中，通过ICP算法进行周边物体的点云的匹配，估计自身位置。此外，使用卡尔曼滤波器或贝叶斯估计等预测滤波器，估计周边车辆的移动位置。
ICP是Iterative Closest Point(迭代最近点)的简称。
现有技术文献
专利文献
专利文献1：日本特开2018-141716号公报
发明内容
发明要解决的课题
在现有技术中，使用预测滤波器预测对象物体的移动，进行后验概率的最大化。由此，估计精度提高。
但是，在无先验分布的情况下不能进行估计，被赋予先验分布的对象物体限于车辆。
此外，在后验概率的最大化中，后验概率有可能陷入局部解。在以车辆以外的物体为对象的情况下，值未根据先验分布的赋予而收敛，预测变得困难。
此外，由于ICP算法用于较大的范围或多个对象，因此计算成本增大。
本发明的目的在于，能够在抑制计算成本的同时提高移动物体的预测追踪精度。
用于解决课题的手段
本发明的预测追踪装置具有：
移动物体检测部，其从由进行针对移动体周边的计测的LiDAR得到的点云数据中，提取表示存在于所述移动体周边的移动物体的点云；以及
移动物体追踪部，其从所述点云数据中，提取作为正被追踪的移动物体的追踪物体用的后验分布的范围内的点云，对提取出的点云进行与所述移动物体的点云之间的匹配。
发明效果
根据本发明，能够在抑制计算成本的同时提供移动物体的预测追踪精度。
附图说明
图1是实施方式1中的预测追踪系统200的结构图。
图2是实施方式1中的预测追踪装置100的结构图。
图3是实施方式1中的传感器组180的结构图。
图4是实施方式1中的预测追踪方法的流程图。
图5是实施方式1中的预测追踪方法的流程图。
图6是实施方式1中的预测追踪方法的流程图。
图7是实施方式1中的预测追踪方法的流程图。
图8是与实施方式1中的预测滤波器相关的说明图。
图9是与实施方式1中的预测追踪相关的说明图。
图10是与实施方式1中的预测追踪相关的说明图。
图11是与实施方式1中的针对移动物体的类别的先验分布和似然函数相关的说明图。
图12是与实施方式1中的针对移动物体的移动方向的先验分布和似然函数相关的说明图。
图13是示出实施方式1中的传感器组180的一例的图。
图14是实施方式2中的预测追踪装置100的结构图。
图15是实施方式中的预测追踪装置100的硬件结构图。
具体实施方式
在实施方式和附图中，对相同的要素或相应的要素标注相同的标号。适当省略或简化标注有与已说明的要素相同标号的要素的说明。图中的箭头主要示出数据流或处理流。
实施方式1
根据图1～图13，说明预测追踪系统200。
***结构的说明***
根据图1，说明预测追踪系统200的结构。
预测追踪系统200搭载于本车辆210。
本车辆210是搭载有预测追踪系统200的汽车。汽车是移动体的一例。
预测追踪系统200具有预测追踪装置100和传感器组180。
根据图2，说明预测追踪装置100的结构。
预测追踪装置100是具有处理器101、存储器102、辅助存储装置103、通信装置104和输入输出接口105这样的硬件的计算机。这些硬件经由信号线相互连接。
处理器101是进行运算处理的IC，对其他硬件进行控制。例如，处理器101是CPU、DSP或GPU。
IC是Integrated Circuit(集成电路)的简称。
CPU是Central Processing Unit(中央处理单元)的简称。
DSP是Digital Signal Processor(数字信号处理器)的简称。
GPU是Graphics Processing Unit(图形处理单元)的简称。
存储器102是易失性或非易失性存储装置。存储器102也被称作主存储装置或主存储器。例如，存储器102是RAM。存储器102中存储的数据根据需要保存到辅助存储装置103。
RAM是Random Access Memory(随机存取存储器)的简称。
辅助存储装置103是非易失性存储装置。例如，辅助存储装置103是ROM、HDD或闪存。辅助存储装置103中存储的数据根据需要加载到存储器102。
ROM是Read Only Memory(只读存储器)的简称。
HDD是Hard Disk Drive(硬盘驱动器)的简称。
通信装置104是接收器和发送器。例如，通信装置104是通信芯片或NIC。
NIC是Network Interface Card(网络接口卡)的简称。
输入输出接口105是与输入装置、输出装置和传感器组180连接的端口。例如，输入输出接口105是USB端子，输入装置是键盘和鼠标，输出装置是显示器。
USB是Universal Serial Bus(通用串行总线)的简称。
预测追踪装置100具有传感器数据取得部111、自身位置估计部112、移动物体检测部113、移动物体识别部114、移动预测部115和移动物体追踪部116这样的要素。这些要素通过软件实现。
在辅助存储装置103中，存储有用于使计算机作为传感器数据取得部111、自身位置估计部112、移动物体检测部113、移动物体识别部114、移动预测部115和移动物体追踪部116发挥功能的预测追踪程序。预测追踪程序加载到存储器102，由处理器101执行。
在辅助存储装置103中还存储有OS。OS的至少一部分加载到存储器102，由处理器101执行。
处理器101在执行OS的同时执行预测追踪程序。
OS是Operating System(操作系统)的简称。
预测追踪程序的输入输出数据存储于存储部190。
存储器102作为存储部190发挥功能。但是，辅助存储装置103、处理器101内的寄存器和处理器101内的闪存等存储装置也可以代替存储器102或者与存储器102一起作为存储部190发挥功能。
预测追踪装置100也可以具有代替处理器101的多个处理器。多个处理器分担处理器101的功能。
预测追踪程序能够以计算机能读取的方式记录(保存)于光盘或闪存等非易失性记录介质。
根据图3，说明传感器组180的结构。
传感器组180包含LiDAR 181、GPS 182和速度计183等传感器。
作为LiDAR 181的一例，具有激光扫描仪。LiDAR 181向各方向射出激光，入射由各地点反射后的激光，输出点云数据。点云数据按照反射激光的每个地点，表示距离向量和反射强度。LiDAR是Light Detection and Ranging(光探测和测距，激光雷达)的简称。
GPS 182是定位系统的一例。GPS 182接收定位信号，对自身位置进行定位，输出定位数据。定位数据表示位置信息。位置信息表示三维坐标值。GPS是Global PositioingSystem(全球定位系统)的简称。
速度计183计测本车辆210的速度，输出速度数据。速度数据表示本车辆210的速度。
***动作的说明***
预测追踪装置100的动作过程相当于预测追踪方法。此外，预测追踪装置100的动作过程相当于基于预测追踪程序的处理过程。
根据图4～图7，说明预测追踪方法。
在步骤S101中，传感器数据取得部111从传感器组180取得传感器数据组。
传感器组180是传感器的集合。传感器数据组是传感器数据的集合。传感器数据是由传感器得到的数据。
传感器数据组包含点云数据、定位数据和速度数据等传感器数据。
在步骤S102中，自身位置估计部112使用传感器数据组，估计本车辆210的位置。将本车辆210的位置称作“自身位置”。
例如，自身位置估计部112使用速度数据所示的速度和从计测时起的经过时间，计算移动量。然后，自身位置估计部112根据定位数据所示的位置信息和计算出的移动量，估计自身位置。
例如，自身位置估计部112使用点云数据，通过SLAM技术进行地上物的点云的匹配，估计自身位置。
在步骤S103中，移动物体检测部113从点云数据所示的点云中，提取表示存在于本车辆210周围的移动物体的点云。
移动物体是汽车等移动的物体。即，行驶着的汽车和停止着的汽车均相当于移动物体。但是，移动物体不限于车辆。
具体而言，移动物体检测部113通过机器学习、基于规则的方法或者深度学习，提取移动物体的点云。
在基于规则的方法中，首先，检测路面的点云，从除了路面的点云以外的点云中提取移动物体的点云。
将与提取出的点云对应的移动物体称作“检测物体”。
在步骤S104中，移动物体检测部113根据移动物体的点云，计算检测物体的相对位置。
检测物体的相对位置是检测物体相对于本车辆210的位置。
具体而言，移动物体检测部113从移动物体的点云中选择1个代表点，将代表点的距离向量转换成三维坐标值。通过转换而得到的三维坐标值表示检测物体的相对位置。
在步骤S105中，移动物体识别部114根据移动物体的点云，判別检测物体的属性。
检测物体的属性包含类别、方向和尺寸等。类别区分卡车、普通车辆、摩托车、自行车或行人等移动物体的种类。方向是指移动物体的航向，相当于移动方向。尺寸表示宽度、进深和高度等。
具体而言，移动物体识别部114通过机器学习、基于规则的方法或者深度学习，判別移动物体的属性。
在步骤S106中，移动物体追踪部116从点云数据中，提取追踪物体的后验分布的范围内的点云。
追踪物体是正被追踪的移动物体，即预测追踪装置100正在追踪的移动物体。
关于后验分布，将在后面叙述。
移动物体追踪部116对提取出的点云进行与检测物体的点云之间的匹配。
例如，移动预测部115通过ICP算法进行匹配。ICP是Iterative Closest Point(迭代最近点)的简称。
在后验分布的范围内具有多个点云的情况下，移动预测部115按照基于后验分布的似然度从大到小的顺序，进行匹配。
在步骤S107中，移动物体追踪部116根据匹配结果，判定在追踪物体的后验分布的范围内的点云中是否具有与检测物体的点云一致的点云。
在具有与检测物体的点云一致的点云的情况下，处理进入步骤S111。
在不具有与检测物体的点云一致的点云的情况下，处理进入步骤S121。
在步骤S111中，移动物体追踪部116使用匹配结果，修改在步骤S104中计算出的检测物体的相对位置。即，移动预测部115计算检测物体的准确相对位置。
准确相对位置由相对距离(x，y，z)与旋转角度(θx，θy，θz)的组表示。
在步骤S112中，移动预测部115根据检测物体的相对位置，对追踪物体用的预测滤波器的参数进行更新。
预测滤波器的具体例是卡尔曼滤波器。卡尔曼滤波器的参数是预测值、状态转移矩阵的协方差、观测噪声和卡尔曼增益。
在卡尔曼滤波器的预测步骤中，根据系统噪声的协方差和状态转移的雅可比矩阵对预测值和状态转移矩阵的协方差进行更新。
在卡尔曼滤波器的计测更新步骤中，使用状态转移矩阵的协方差和观测噪声对卡尔曼增益进行更新。
在一般的卡尔曼滤波器中，卡尔曼增益如下所述进行更新。将在步骤S111中得到的相对位置称作准确相对位置。
在上次的步骤S112中，移动预测部115通过运算卡尔曼滤波器，预测检测物体的本次相对位置。将预测出的相对位置(预测值)称作预测相对位置。
在本次的步骤S112中，移动预测部115计算准确相对位置与预测相对位置之差。然后，移动预测部115使用计算出的差，对卡尔曼增益进行更新。
在使用贝叶斯估计作为预测滤波器的情况下，预测滤波器的参数是预测值和超参数等。超参数用于确定观测噪声的似然度(概率分布)的分布形状。观测噪声的似然度(概率分布)通过EM算法或近似方法进行更新。
在步骤S113中，移动预测部115使用追踪物体用的预测滤波器、先验分布和似然函数，计算追踪物体用的后验分布。
然后，移动预测部115使用追踪物体用的后验分布，预测追踪物体的状态量。
要预测的状态量是后验概率最大的状态量。通过最大后验概率估计计算后验概率最大的状态量。
例如，状态量是位置、速度、加速度、偏摆角、偏摆率和尺寸等。另外，先验分布、似然函数和后验分布按照状态量进行设定。
在步骤S114中，移动物体追踪部116判定是否具有检测物体用的追踪ID。
在具有针对检测物体的追踪ID的情况下，继续使用针对检测物体的追踪ID。处理进入步骤S116。
在不具有针对检测物体的追踪ID的情况下，处理进入步骤S115。
在步骤S115中，移动物体追踪部116生成新的追踪ID以用于检测物体，将新的追踪ID附加到检测物体的点云。
在步骤S116中，移动物体追踪部116对检测物体用的追踪持续时间加上采样时间。
追踪持续时间是追踪物体正被追踪的时间长度。追踪持续时间的初始值是零秒。
采样时间例如是在步骤S101中取得传感器数据组的时间间隔。
在步骤S117中，移动物体追踪部116将追踪物体用的后验分布设定成追踪物体用的新的先验分布。由此，追踪物体用的后验分布在下次的步骤S101以后的处理中用作追踪物体用的先验分布。
在步骤S117之后，处理进入步骤S101。
在步骤S121中，移动物体追踪部116判定是否具有至少1个追踪ID。
在具有追踪ID的情况下，继续使用该追踪ID。处理进入步骤S131。
在不具有追踪ID的情况下，处理进入步骤S122。
在步骤S122中，移动物体追踪部116生成新的追踪ID以用于检测物体，将新的追踪ID附加到检测物体的点云。由此，检测物体被作为新的追踪物体处理。
在步骤S123中，移动物体追踪部116根据检测物体的属性，对先验分布、似然函数和预测滤波器进行初始设定，以用于检测物体。
在步骤S124中，移动物体追踪部116使用检测物体用的先验分布、似然函数和预测滤波器，预测检测物体的状态量。
预测方法与步骤S113中的方法相同。
在步骤S125中，移动物体追踪部116将采样时间设定成检测物体用的追踪持续时间。
在步骤S126中，移动物体追踪部116将检测物体用的后验分布设定成检测物体用的新的先验分布。由此，检测物体被作为追踪物体处理，检测物体用的后验分布在下次的步骤S101以后的处理中用作检测物体(追踪物体)用的先验分布。
在步骤S126之后，处理进入步骤S101。
对步骤S131以后的步骤进行说明。在步骤S131以后的步骤的说明中，“追踪物体”是指由在步骤S121中发现的追踪ID识别的追踪物体。
在步骤S131中，移动预测部115根据追踪物体的上次的预测状态量，对追踪物体用的预测滤波器的参数进行更新。
在步骤S132中，移动预测部115使用追踪物体用的先验分布、似然函数和预测文件，预测追踪物体的状态量。
预测方法与步骤S113中的方法相同。
在步骤S133中，移动物体追踪部116判定追踪物体用的追踪中断时间是否小于追踪中止时间。
追踪中断时间是针对追踪物体的追踪中断的时间长度，相当于未检测出追踪物体的点云的时间长度。
追踪中止时间是追踪中断时间的上限，被预先定义。
在追踪物体用的追踪中断时间小于追踪中止时间的情况下，处理进入步骤S134。
在追踪物体用的追踪中断时间为追踪中止时间以上的情况下，处理进入步骤S135。
在步骤S134中，移动物体追踪部116对追踪物体用的追踪中断时间加上采样时间。
在步骤S134之后，处理进入步骤S136。
在步骤S135中，移动物体追踪部116丢弃追踪物体用的追踪ID。由此，中止针对追踪物体的追踪。
在步骤S135之后，处理进入步骤S136。
在步骤S136中，移动物体追踪部116将追踪物体用的后验分布设定成追踪物体用的新的先验分布。由此，追踪物体用的后验分布在下次的步骤S101以后的处理中用作追踪物体用的先验分布。
在步骤S136之后，处理进入步骤S101。
根据图8，对作为预测滤波器的一例的贝叶斯估计进行说明。
移动预测部115例如使用贝叶斯估计，预测移动物体的未来位置。
图8示出贝叶斯估计的简单例子。横轴表示作为移动物体的一例的车辆的位置。纵轴表示车辆存在于各位置的概率密度。
先验分布P(A)表示发生事件A的概率。事件A相当于移动物体的状态量。先验分布也称作先验概率分布。
后验分布P(A|X)表示在似然函数为P(X|A)时发生事件X这样的条件下发生事件A的概率(带条件概率)。事件X相当于移动物体的状态量。后验分布也称作后验概率分布。
如图8所示，后验分布P(A|X)相对于先验分布P(A)和似然函数P(X|A)，形成复杂形状。
为了求出后验概率最大的车辆位置(最优解)，需要以分析的方式求解最优解，或者以数值的方式进行计算。
下式表示贝叶斯估计。标注有下标“A”的Σ是指针对全部事件A的值之和。
移动预测部115计算下式，计算使得后验分布P(A|X)最大化的预测值A＾和后验分布P(A|X)。另外，先验分布P(A)和似然函数P(X|A)的初始值根据移动物体的属性而不同。
[式1]
Figure BDA0003946166060000101
后验概率最大的最优解需要以分析的方式或以数值的方式求出。将求出后验概率最大的最优解称作后验概率最大化。
在以分析的方式求最优解时，先验分布为共轭先验分布，能够导出与先验分布相同分布的后验分布。在先验分布为共轭先验分布的情况下，能够以分析的方式求解最优解。在该情况下，能够使用变分法或拉普拉斯近似等近似估计方法，求出后验概率的近似。
在以数值的方式求最优解时，需要求解最优化问题。为了求解最优化问题，具有EM算法或MCMC法等。
在EM算法中，不需要后验分布的导数。EM是Expectation-Maximization(期望最大化)的简称。
MCMC法是采样法的一种，对分布进行近似。MCMC是马尔可夫链蒙特卡罗(MarkovChain Monte Carlo Method)的简称。
根据图9和图10，说明移动预测部115和移动物体追踪部116的动作。实线圆表示先验分布，虚线圆表示似然函数，点划线圆表示后验分布。
考虑时刻t的本车位置Vt(参照图9)作为原点(0，0)。在能够观测本车的移动量的情况下，从时刻t到时刻t+1的本车移动量ΔV(参照图10)是显而易见的。在此，移动预测部115设定先验分布和似然函数以用于作为预测对象的移动物体，求出后验分布。通过后验概率最大化，能够与复杂后验分布的形状对应。通过预测出的后验分布，规定追踪对象的存在范围。移动物体追踪部116在后验分布的范围内进行点云的匹配。在点云彼此一致的情况下，移动物体追踪部116将一致的点云彼此视为同一物体的点云进行追踪。此外，移动物体追踪部116计算移动物体相对于本车的准确移动量(相对距离)和姿势(旋转角度)。计算出的移动量和姿势为观测值。
在图9中，移动预测部115设定本车前方的车辆(移动物体A)用先验分布Pt(A)和对向车道的车辆(移动体B)用的先验分布Pt(B)。
在预测初始(t＝0)，移动预测部115根据移动物体A的属性，设定先验分布Pt(A)和似然函数Pt(X|A)。
在预测初始(t＝0)，移动预测部115根据移动物体B的属性，设定先验分布Pt(B)和似然函数Pt(X|B)。
关于基于移动物体的属性的先验分布和似然函数，将在后面叙述。
在图10中，移动预测部115使用先验分布Pt(A)和似然函数Pt(X|A)，计算时刻t+1的移动物体A的位置(预测值A＾t+1)和后验分布Pt(A|X)。
此外，移动预测部115使用先验分布Pt(B)和似然函数Pt(X|B)，计算时刻t+1的移动物体B的位置(预测值B＾t+1)和后验分布Pt(B|X)。
根据图11和图12，对基于移动物体的属性的先验分布和似然函数进行说明。阴影表示先验分布。
图11在视觉上示出根据移动物体的类别而不同的先验分布。
图12在视觉上示出根据移动物体的移动方向(航向)而不同的先验分布。
同样地，似然函数也根据类别和移动方向等而不同。
***实施例的说明***
预测追踪装置100只要能够从本车辆210的传感器组180取得传感器数据组即可，也可以设置于本车辆210的外部。
传感器组180只要能够进行针对本车辆210和本车辆210的周边的计测即可，也可以设置于本车辆210的外部。
如图13所示，传感器组180也可以包含摄像机184、毫米波雷达185和声纳186等传感器。
摄像机184拍摄本车辆210的周边，输出图像数据。图像数据表示拍摄有本车辆210周边的图像。摄像机184例如是立体摄像机。
毫米波雷达185代替激光而利用毫米波输出反射距离数据。毫米波雷达的反射距离数据按照反射毫米波的每个地点表示距离。
声纳186代替激光而利用声波输出反射距离数据。反射距离数据的反射距离数据按照反射声波的每个地点表示距离。
通过利用图像数据和反射距离数据，能够高精度地进行自身位置的估计。
还能够仅使用图像数据，估计自身位置。例如，自身位置估计部112使用由立体摄像机得到的图像数据，估计自身位置。或者，自身位置估计部112通过Visual SLAM，从图像内的特征点测定距离，估计自身位置。
通过利用图像数据和反射距离数据，能够提高移动物体的点云的提取精度和移动物体的属性的判別精度。
也可以使用与卡尔曼滤波器和贝叶斯估计不同的预测滤波器。例如也可以使用粒子滤波器那样的公知滤波器。此外，也可以通过IMM法，切换使用多个滤波器。IMM是Interacting Multiple Model(交互式多模型)的简称。
也可以利用ICP算法以外的算法，进行点云的匹配。例如也可以利用NDT算法。NDT是Normal Distributions Transform(正态分布变换)的简称。
移动物体追踪部116也可以使用追踪持续时间，进行追踪的准确性评价。此外，为了评价追踪的准确性，除了追踪持续时间以外，还可以使用追踪中断时间。追踪持续时间为用于确认追踪物体被准确地追踪了多少时间的指标。追踪中断时间例如是从追踪物体隐藏到阴影起到再次观测到为止反复进行的追踪处理的时间。
移动物体追踪部116也可以使用追踪持续时间，求出追踪物体的预测位置存在追踪物体的概率。
***实施方式1的效果***
预测追踪装置100可以考虑从移动物体的识别结果得到的类别(卡车、公交车、客车、摩托车或行人等)和移动方向(航向)，设定移动物体的先验分布。由此，追踪移动物体时的预测精度提高。
预测追踪装置100仅在预测出的后验分布的范围内进行基于ICP算法的点云的匹配。由此，实现计算成本的削減和关于其他车辆的移动量的准确计测。
预测追踪装置100在求后验分布以实现后验概率最大化时，使用拉普拉斯近似或变分贝叶斯法等近似方法。由此，追踪移动物体时的预测精度提高。
预测追踪装置100还能够仅使用传感器数据组中的点云数据，检测(点云的提取)、识别(属性的判別)和追踪移动物体。即，还能够仅使用传感器组180中的LiDAR181，进行移动物体的检测、识别和追踪。
实施方式2
关于利用传感器融合的方式，根据图14，主要说明与实施方式1不同的方面。
***结构的说明***
根据图14，说明预测追踪装置100的结构。
预测追踪装置100还具有传感器融合部117。
预测追踪程序还使计算机作为传感器融合部117发挥功能。
***动作的说明***
传感器融合部117使用传感器数据组中包含的两种以上的传感器数据，进行传感器融合。
作为用于传感器融合的主要方法，具有融合RAW数据的方法、融合中间数据的方法和融合检测后数据的方法。任何方法都采用深度学习等方法，与单独使用1种传感器数据的情况相比，能够高精度地进行移动物体的点云的提取以及移动物体的属性的判别。
在传感器融合中，有早期融合、交叉融合、后期融合等种类。
作为传感器融合中的传感器的组合，可考虑摄像机184与LiDAR 181、LiDAR 181与毫米波雷达185或者摄像机184与毫米波雷达185等各种组合。
自身位置估计部112使用由针对两种以上的传感器数据的传感器融合而得到的数据，估计自身位置。
移动物体检测部113根据由针对包含点云数据的两种以上的传感器数据的传感器融合而得到的数据，计算检测物体的相对位置。
***实施方式2的效果***
通过利用传感器融合，能够更高精度地进行移动物体的检测、识别和追踪。
***实施方式的补充***
根据图15，说明预测追踪装置100的硬件结构。
预测追踪装置100具有处理电路109。
处理电路109是实现传感器数据取得部111、自身位置估计部112、移动物体检测部113、移动物体识别部114、移动预测部115、移动物体追踪部116和传感器融合部117的硬件。
处理电路109可以是专用硬件，也可以是执行存储器102中存储的程序的处理器101。
在处理电路109是专用硬件的情况下，处理电路109例如是单一电路、复合电路、程序化的处理器、并列程序化的处理器、ASIC、FPGA或者它们的组合。
ASIC是Application Specific Integrated Circuit(专用集成电路)的简称。
FPGA是Field Programmable Gate Array(现场可编程门阵列)的简称。
预测追踪装置100也可以具有代替处理电路109的多个处理电路。多个处理电路分担处理电路109的功能。
在处理电路109中，也可以通过专用硬件实现一部分功能，通过软件或固件实现剩余的功能。
这样，预测追踪装置100的功能能够通过硬件、软件、固件或者它们的组合实现。
各实施方式是优选方式的例示，并不意图限制本发明的技术范围。各实施方式可以部分地实施，也可以与其他方式组合实施。使用流程图等说明的步骤也可以适当地变更。
作为预测追踪装置100的要素的“部”也可以替换成“处理”或“工序”。
标号说明
100：预测追踪装置；101：处理器；102：存储器；103：辅助存储装置；104：通信装置；105：输入输出接口；109：处理电路；111：传感器数据取得部；112：自身位置估计部；113：移动物体检测部；114：移动物体识别部；115：移动预测部；116：移动物体追踪部；117：传感器融合部；180：传感器组；181：LiDAR；182：GPS；183：速度计；184：摄像机；185：毫米波雷达；186：声纳；190：存储部；200：预测追踪系统；210：本车辆。

Claims (7)

1.一种预测追踪装置，其中，该预测追踪装置具有：
移动物体检测部，其从由进行针对移动体周边的计测的LiDAR得到的点云数据中，提取表示存在于所述移动体周边的移动物体的点云；以及
移动物体追踪部，其从所述点云数据中，提取作为正被追踪的移动物体的追踪物体用的后验分布的范围内的点云，对提取出的点云进行与所述移动物体的点云之间的匹配。
2.根据权利要求1所述的预测追踪装置，其中，该预测追踪装置具有：
移动物体识别部，其根据所述移动物体的点云，判別所述移动物体的属性；以及
移动预测部，其根据所述移动物体的属性设定所述移动物体用的先验分布和似然函数，并使用所述移动物体用的先验分布和似然函数计算所述移动物体用的后验分布。
3.根据权利要求2所述的预测追踪装置，其中，
所述移动物体识别部判別所述移动物体的类别，
所述移动预测部根据所述移动物体的类别，设定所述移动物体用的先验分布和似然函数。
4.根据权利要求2或3所述的预测追踪装置，其中，
所述移动物体识别部判別所述移动物体的移动方向，
所述移动预测部根据所述移动物体的移动方向，设定所述移动物体用的先验分布和似然函数。
5.根据权利要求2～4中的任意一项所述的预测追踪装置，其中，
所述移动预测部在后验概率最大化中求后验概率的近似时，使用近似估计方法。
6.一种预测追踪方法，其中，
移动物体检测部从由进行针对移动体周边的计测的LiDAR得到的点云数据中，提取表示存在于所述移动体周边的移动物体的点云，
移动物体追踪部从所述点云数据中，提取作为正被追踪的移动物体的追踪物体用的后验分布的范围内的点云，对提取出的点云进行与所述移动物体的点云之间的匹配。
7.一种预测追踪程序，该预测追踪程序用于使计算机执行以下处理：
移动物体检测处理，从由进行针对移动体周边的计测的LiDAR得到的点云数据中，提取表示存在于所述移动体周边的移动物体的点云；以及
移动物体追踪处理，从所述点云数据中，提取作为正被追踪的移动物体的追踪物体用的后验分布的范围内的点云，对提取出的点云进行与所述移动物体的点云之间的匹配。
CN202080100999.0A 2020-05-26 2020-05-26 预测追踪装置、预测追踪方法以及预测追踪程序 Pending CN115667993A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020676 WO2021240623A1 (ja) 2020-05-26 2020-05-26 予測追跡装置、予測追跡方法および予測追跡プログラム

Publications (1)

Publication Number Publication Date
CN115667993A true CN115667993A (zh) 2023-01-31

Family

ID=78723050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080100999.0A Pending CN115667993A (zh) 2020-05-26 2020-05-26 预测追踪装置、预测追踪方法以及预测追踪程序

Country Status (5)

Country Link
US (1) US20230036137A1 (zh)
JP (1) JP7126633B2 (zh)
CN (1) CN115667993A (zh)
DE (1) DE112020006961B4 (zh)
WO (1) WO2021240623A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024013839A1 (ja) 2022-07-12 2024-01-18 三菱電機株式会社 物体認識装置及び物体認識方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10324897A1 (de) 2003-05-30 2004-12-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Opjektbestimmung in Fahrerassistenzsystemen für Kraftfahrzeuge
JP4413957B2 (ja) * 2007-08-24 2010-02-10 株式会社東芝 移動物体検出装置および自律移動物体
JP5728815B2 (ja) 2010-03-18 2015-06-03 株式会社豊田中央研究所 物体検出装置
US9129211B2 (en) 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
JP5838901B2 (ja) * 2012-04-25 2016-01-06 トヨタ自動車株式会社 物体識別装置及び物体識別方法
JP2016152586A (ja) * 2015-02-19 2016-08-22 国立大学法人電気通信大学 プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
JP6481520B2 (ja) * 2015-06-05 2019-03-13 トヨタ自動車株式会社 車両の衝突回避支援装置
KR20200110823A (ko) * 2016-01-29 2020-09-25 각코호진 메이지다이가쿠 레이저 스캔 시스템, 레이저 스캔 방법, 이동 레이저 스캔 시스템 및 프로그램
JP6847442B2 (ja) * 2016-06-06 2021-03-24 地方独立行政法人東京都立産業技術研究センター 物体追跡装置、物体追跡方法、及び物体追跡プログラム
JP6901870B2 (ja) 2017-02-28 2021-07-14 パイオニア株式会社 位置推定装置、制御方法、及びプログラム
JP2020052897A (ja) 2018-09-28 2020-04-02 株式会社デンソーテン 物標検出装置および物標検出方法

Also Published As

Publication number Publication date
JPWO2021240623A1 (zh) 2021-12-02
DE112020006961B4 (de) 2024-02-29
JP7126633B2 (ja) 2022-08-26
DE112020006961T5 (de) 2023-01-26
WO2021240623A1 (ja) 2021-12-02
US20230036137A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
KR102452550B1 (ko) 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
CN111712731B (zh) 目标检测方法、系统及可移动平台
CN108028023B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
CN107490794B (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶系统
US9429650B2 (en) Fusion of obstacle detection using radar and camera
EP2657644B1 (en) Positioning apparatus and positioning method
CN111352110A (zh) 处理雷达数据的方法和装置
CN104517281B (zh) 用于识别车辆的设备和方法
JP2019185347A (ja) 物体認識装置、及び、物体認識方法
CN110794406A (zh) 多源传感器数据融合系统和方法
CN111103587A (zh) 用于预测同时并线车辆的方法和设备及包括其的车辆
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN115909281A (zh) 匹配融合的障碍物检测方法、系统、电子设备及存储介质
JP6411933B2 (ja) 車両状態判定装置
JP6263453B2 (ja) 運動量推定装置及びプログラム
CN114675295A (zh) 一种障碍物判定的方法、装置、设备及存储介质
KR100962329B1 (ko) 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체
US20230036137A1 (en) Predictive tracking apparatus, predictive tracking method, and computer-readable medium
CN116587978A (zh) 一种基于车载显示屏的碰撞预警方法及系统
JP7312275B2 (ja) 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム
WO2022264533A1 (ja) 検知枠位置精度向上システム、及び検知枠位置補正方法
JP4151631B2 (ja) 物体検出装置
JP2022009231A (ja) 判定装置、判定方法及び判定用プログラム
CN112014822A (zh) 车载雷达测量数据识别方法、装置、介质和电子装置
US20240219570A1 (en) LiDAR-BASED OBJECT DETECTION METHOD AND DEVICE

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination