CN113298016A - 基于神经网络的跟踪目标动静状态判断方法及其系统 - Google Patents

基于神经网络的跟踪目标动静状态判断方法及其系统 Download PDF

Info

Publication number
CN113298016A
CN113298016A CN202110647264.6A CN202110647264A CN113298016A CN 113298016 A CN113298016 A CN 113298016A CN 202110647264 A CN202110647264 A CN 202110647264A CN 113298016 A CN113298016 A CN 113298016A
Authority
CN
China
Prior art keywords
dynamic
neural network
feature
target
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110647264.6A
Other languages
English (en)
Inventor
翁理洪
胡益飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weilai Automobile Technology Anhui Co Ltd
NIO Technology Anhui Co Ltd
Original Assignee
Weilai Automobile Technology Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weilai Automobile Technology Anhui Co Ltd filed Critical Weilai Automobile Technology Anhui Co Ltd
Priority to CN202110647264.6A priority Critical patent/CN113298016A/zh
Publication of CN113298016A publication Critical patent/CN113298016A/zh
Priority to EP22165639.0A priority patent/EP4102474A1/en
Priority to US17/837,409 priority patent/US20220397671A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于神经网络的跟踪目标动静状态判断方法及其系统。该方法包括：训练步骤，对于跟踪目标集合中的每个跟踪目标，提取特征点，将特征点转换成特征向量并标注跟踪目标的动静状态的真值，将特征向量和对应的动静状态的真值作为训练样本参数来训练神经网络，得到经训练的神经网络分类模型；以及测试步骤，提取跟踪目标的特征向量，输入到所述神经网络分类模型，得到跟踪目标的动静状态分类结果。根据本发明，通过使用神经网络方法进行激光雷达跟踪目标的动静态判定，能够提升判定结果的准确率。

Description

基于神经网络的跟踪目标动静状态判断方法及其系统
技术领域
本发明涉及自动驾驶技术，具体地涉及一种基于神经网络的跟踪目标动静状态判断方法及基于神经网络的跟踪目标动静状态判断方系统。
背景技术
激光雷达作为自动驾驶车辆的一种重要传感器，通常用于检测与跟踪道路上其他车辆等目标。在道路目标跟踪问题中，目标的动静状态分类是个重要的子问题。
作为跟踪目标动静状态的判断方法，现有技术中通常直接对目标速度进行跟踪，根据速度大小来判断目标的运动或者静止。然而，这样的判断方法中，容易因为遮挡等原因导致点云形态发生变化，跟踪位置发生变化，误将静态目标判定为动态。另外，直接根据目标的速度来划分目标的动静状态，容易将低速的行人等误判为静止的目标。目标动静状态的误判将影响车辆的决策规划与控制，因此需要良好算法来提高目标动静状态判定的准确率。
发明内容
鉴于上述问题，本发明旨在提出一种能够准确进行目标动静判断的基于神经网络的跟踪目标动静状态判断方法及基于神经网络的跟踪目标动静状态判断方系统。
本发明一方面的基于神经网络的跟踪目标动静状态判断方法，其特征在于，包括：
训练步骤，对于来自车辆激光雷达的跟踪目标集合中的每个跟踪目标，提取特征点，将特征点转换成特征向量并标注跟踪目标的动静状态的真值，将特征向量和对应的动静状态的真值作为训练样本参数来训练神经网络，得到经训练的神经网络分类模型；以及
测试步骤，提取跟踪目标的特征向量，输入到所述神经网络分类模型，得到跟踪目标的动静状态分类结果。
可选地，所述训练步骤包括：
第一特征提取子步骤，对于跟踪目标集合中的每个跟踪目标，提取特征点；
第一特征转换子步骤，将所述特征点转换成特征向量；以及
模型训练子步骤，对转换后的特征向量标注跟踪目标的动静状态的真值，作为训练样本参数来训练神经网络，得到神经网络分类模型。
可选地，在所述第一特征提取子步骤中，提取所述跟踪目标的距离本车最近的点、长边的中心点以及质心点作为所述特征点。
可选地，在所述第一特征提取子步骤中，在所述第一特征提取子步骤中，距离本车最近的点的提取方法为，遍历跟踪目标的点云数据中的所有点，得到距离激光雷达原点最近的点；长边的中心点的提取方法为，对所述点云数据使用直线拟合方法，提取点云较长的边沿，并求取边沿的中心点；质心点提取方法为，直接对所述点云数据中的各个点的三维坐标求和取平均，其中，所述点云数据是由激光雷达采集到的点构成。
可选地，在所述第一特征转换子步骤中包括：
记当前时刻为 t，记t时刻提取到的最近点为Pn,t(Xn,t , Yn,t)，长边中心点为Pe,t(Xe,t , Ye,t)，质心点为Pc,t(Xc,t , Yc,t)，特征向量是将三种特征点的时间序列一维展开，表示为Ft=[ Xn,t, Yn,t, Xe,t , Ye,t, Xc,t , Yc,t, Xn,t-1,Yn,t-1, Xe,t-1 , Ye,t-1, Xc,t ,Yc,t-1,..., Xn,t-N,Yn,t-N, Xe,t-N , Ye,t-N, Xc,t-N , Yc,t-N ]，其中，N取值为5，目标的动静状态真值的标签记为Mt，Mt取值为0或者1，则一个训练样本数据表示为Si=[Ft, Mt]。
可选地，所述测试步骤包括：
第二特征提取子步骤，对于每个跟踪目标，对跟踪结果提取特征点；
第二特征转换子步骤，将特征点转换成特征向量；以及
测试子步骤，将特征向量输入到训所述神经网络分类模型，判断当前跟踪目标的动静状态，得到动静状态分类结果。
可选地，在所述测试子步骤中，对于得到的跟踪目标的动静状态分类结果，进一步采用贝叶斯滤波进行滤波。
本发明一方面的基于神经网络的跟踪目标动静状态判断系统，其特征在于，包括：
训练模块，用于对于来自车辆激光雷达的跟踪目标集合中的每个跟踪目标，提取特征点，将特征点转换成特征向量并标注跟踪目标的动静状态的真值，将特征向量和对应的动静状态的真值作为训练样本参数来训练神经网络，得到经训练的神经网络分类模型；以及
测试模块，用于提取跟踪目标的特征向量，输入到所述神经网络分类模型，得到跟踪目标的动静状态分类结果。
可选地，所述训练模块包括：
第一特征提取子模块，用于对于跟踪目标集合中的每个跟踪目标，提取特征点；
第一特征转换子模块，用于将所述特征点转换成特征向量；以及
模型训练子模块，用于对转换后的特征向量标注跟踪目标的动静状态的真值，作为训练样本参数来训练神经网络，得到神经网络分类模型。
可选地，在所述第一特征提取子模块中，提取所述跟踪目标的距离本车最近的点、长边的中心点以及质心点作为所述特征点。
可选地，在所述第一特征提取子模块中，在所述第一特征提取子步骤中，距离本车最近的点的提取方法为，遍历跟踪目标的点云数据中的所有点，得到距离激光雷达原点最近的点；长边的中心点的提取方法为，对所述点云数据使用直线拟合方法，提取点云较长的边沿，并求取边沿的中心点；质心点提取方法为，直接对所述点云数据中的各个点的三维坐标求和取平均，其中，所述点云数据是由激光雷达采集到的点构成。
可选地，所述测试模块包括：
第二特征提取子模块，用于对于跟踪目标集合中的每个跟踪目标，提取特征点；
第二特征转换子模块，用于将特征点转换成特征向量；以及
测试子模块，用于将特征向量输入到训所述神经网络分类模型，判断当前跟踪目标的动静状态，得到动静状态分类结果。
可选地，在所述测试子模块中，对于得到的跟踪目标的动静状态分类结果，进一步采用贝叶斯滤波进行滤波。
本发明一方面的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现所述的基于神经网络的跟踪目标动静状态判断方法。
本发明一方面的计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的基于神经网络的跟踪目标动静状态判断方法。
如上所述，根据本发明的基于神经网络的跟踪目标动静状态判断方法及基于神经网络的跟踪目标动静状态判断方系统，通过使用神经网络方法进行激光雷达跟踪目标的动静态判定，能够解决单纯使用速度判定产生的误判问题（例如将被遮挡的静态目标识别车运动目标，或者将低速的行人等判定为静止目标），能够提升判定结果的准确率。
附图说明
图1是表示本发明的基于神经网络的跟踪目标动静状态判断方法的流程示意图。
图2是表示本发明一实施方式的基于神经网络的跟踪目标动静状态判断方法中的训练阶段的流程示意图。
图3示例了一个跟踪目标形成的跟踪时间序列。
图4中表示提取三个特征点的示意图。
图5是表示本发明一实施方式的基于神经网络的跟踪目标动静状态判断方法中的测试阶段的流程示意图。
图6是表示本发明的基于神经网络的跟踪目标动静状态判断系统的结构框图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到，相同的原理可等效地应用于所有类型的基于神经网络的跟踪目标动静状态判断方法及基于神经网络的跟踪目标动静状态判断方系统，并且可以在其中实施这些相同的原理，以及任何此类变化不背离本专利申请的真实精神和范围。
而且，在下文描述中，参考了附图，这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、机械、逻辑和结构上的更改。此外，虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或可识别的功能可能是期望和/或有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此，下文描述不应视为在限制意义上的，并且本发明的范围由所附权利要求及其等效物来定义。
诸如“具备”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元（模块）和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元（模块）和步骤的情形。
本发明的基于神经网络的跟踪目标动静状态判断方法的主要技术构思在于，通过提取激光雷达跟踪目标上的特征点，累积多帧特征点作为特征向量来进行动静状态的判别。具体地，在训练阶段，收集激光雷达跟踪目标的序列，提取特征向量，并标注跟踪目标动静状态的真值，作为训练样本来训练神经网络的参数。在测试阶段，提取每个跟踪目标的特征向量，输入给经训练的神经网络进行判别，输出当前跟踪目标的动静分类结果。
这样，通过用神经网络来实现目标动静状态的分类，能减少因为遮挡等导致目标点云形态发生变化而将静态目标误判为动态目标的情况，以及减少单纯使用速度判定而将低速行人等检测为静态的情况，从而提高对激光雷达跟踪目标动静状态分类的准确性。
图1是表示本发明的基于神经网络的跟踪目标动静状态判断方法的流程示意图。
如图1所示，本发明的基于神经网络的跟踪目标动静状态判断方法，包括：
训练阶段（或者称“训练步骤”）S100：对于跟踪目标集合中的每个跟踪目标，提取特征点，将特征点转换成特征向量并标注跟踪目标的动静状态的真值，将特征向量和对应的动静状态的真值作为训练样本参数来训练神经网络，得到经训练的用于实现动静状态分类的神经网络分类模型；以及
测试阶段（或者称“测试阶段”）S200，提取跟踪目标的特征点，将特征点转换成特征向量，输入到步骤S100中获得的神经网络分类模型中，得到跟踪目标的动静状态分类结果。
接着，对于训练阶段和测试阶段的具体内容进行说明。
图2是表示本发明一实施方式的基于神经网络的跟踪目标动静状态判断方法中的训练阶段的流程示意图。
如图2所示，训练阶段包括：
步骤S101：获得来自激光雷达的跟踪目标的集合，其中，集合中包含了不同跟踪ID的跟踪目标序列，这里的ID是用于区别不同的目标，对于跟踪的目标，每个目标有一个特定的ID，跟踪目标序列是指同一个目标，随着时间变化，位置也发生变化，组成一个行驶轨迹；
步骤S102：对于每个跟踪目标，对每连续N帧跟踪结果提取特征点，这里作为N优选为例如N=5，也就是，对于每个跟踪目标序列，对连续5帧跟踪结果，提取跟踪目标点云中的特征点，在本实施方式中优选地选取N=5，实际应用中N也可以选择其他数量，但是数量太少容易导致检测不准确，数量太多会导致检测有延时；
步骤S103：将特征点转换成特征向量，对于特征点转换成特征向量的具体算法将在下文中描述；
步骤S104：对于特征向量标注跟踪目标的动静状态的真值（即真值标签），存储特征向量和标签作为一个训练样本；
步骤S105：得到跟踪目标的动静状态数据集合，作为训练神经网络的参数集合；以及
步骤S106：采用上述参数集合对神经网络进行训练，得到经训练的用于实现动静状态分类的神经网络分类模型。
其中，关于步骤S101和步骤S102中提到的跟踪目标序列，在图3中示例了一个跟踪目标形成的跟踪时间序列。对于跟踪的目标，每个目标有一个特定的ID，跟踪目标序列是指同一个目标，随着时间变化，位置也发生变化，如图3所示，组成一个行驶轨迹。其中，这里的目标是指从激光雷达点云提取出来的障碍物，所以“目标”本质上是指点云组成的障碍物，区别于地面与其他道路外的激光雷达点云。
接着，对于步骤S102中的提取特征点的具体内容进行说明。
在本实施方式中提取三个特征点，图4中表示提取三个特征点的示意图。
如图4所示，图4中表示了本实施方式中提取的三个特征点A、B、C。其中，A点代表了当前跟踪目标的点云数据中，距离本车最近的点，B点表示激光雷达扫描到的长边的中心点，C点代表了跟踪目标点云的质心点。
目前一般进行跟踪的方法只使用目标的中心点，在激光雷达扫描到车辆目标时，只能扫描到一部分，所以中心点不是很稳定，在本实施方式中选择三个特征点，可以在不同的距离和角度实现特征点的稳定性互相冗余，可以给后续的机器学习算法提供更丰富的特征，使得结果更稳定。
这里，对于三个特征点的获取方法进行说明。
A点、即目标点云的最近点，其提取方法为，遍历跟踪目标的点云数据中的所有点，得到距离激光雷达原点（即，激光雷达传感器的坐标系原点）最近的点，将A点作为A点。
B点、即目标点云的长边中心点，其提取方法为，对点云数据使用直线拟合方法，提取点云较长的边沿，并求取边沿的中心点，将A点作为B点。其中，直线提取方法可以使用最小二乘，RANSAC等直线拟合方法。
C点、即目标点云的质心点，其提取方法为，直接对点云数据中的各个点的三维坐标求和取平均，获得质心点。
接着，对于步骤S103中将特征点转换成特征向量的具体过程进行说明。将特征点转换为特征向量就是将以上三个特征点的时间序列一维展开，具体如下：
记当前时刻为 t，记t时刻提取到的最近点为Pn,t(Xn,t , Yn,t)，长边中心点为Pe,t(Xe,t , Ye,t)，质心点为Pc,t(Xc,t , Yc,t)，特征向量是将三种特征点的时间序列一维展开，表示为Ft=[ Xn,t, Yn,t, Xe,t , Ye,t, Xc,t , Yc,t, Xn,t-1,Yn,t-1, Xe,t-1 , Ye,t-1, Xc,t ,Yc,t-1,..., Xn,t-N,Yn,t-N, Xe,t-N , Ye,t-N, Xc,t-N , Yc,t-N ]，其中，N取值为5（即，取5帧），目标的动静状态真值的标签记为Mt，Mt取值为0或者1，则一个训练样本数据表示为Si=[Ft,Mt]。
在步骤S106中，采用上述参数对神经网络进行训练得到经训练的用于实现动静状态分类的神经网络分类模型。在本实施方式中，优选地，在保证精度的条件下，为了降低参数和计算量，使用5层神经网络作为分类模型，输入层为1x30的特征向量，隐层的节点数分别为50、20和10，输出层为2x1的向量，使用随机梯度下降等方法训练神经网络的参数，得到用于实现动静状态分类的神经网络分类模型。
图5是表示本发明一实施方式的基于神经网络的跟踪目标动静状态判断方法中的测试阶段的流程示意图。
参考图5，在测试阶段，采用上述得到的神经网络分类模型进行跟踪目标动静状态的判定，对于当前时刻的跟踪目标，优选地，例如取最近5帧的跟踪结果，提取特征点并转换成特征向量，将特征向量输入上述得到的神经网络分类模型，得到目标动状态的分类结果。
如图5所示，测试阶段的具体步骤包括：
步骤S201：获得激光雷达跟踪目标集合；
步骤S202：对于每个跟踪目标，对最新的5帧跟踪结果提取特征点；
步骤S203：将特征点转换成特征向量；以及
步骤S204：将特征向量输入到训练好上述训练好的神经网络分类模型，判断当前跟踪目标的动静状态，得到动静状态分类结果。
其中，在步骤S203中将特征点转换成特征向量的方法与步骤S103相同。
在测试阶段中，作为进一步优选的方式，在步骤S204之后，对于得到的跟踪目标的动静状态分类结果，采用贝叶斯滤波进行滤波，由此能够得到更稳定的动静状态分类结果。
以上对于本发明的基于神经网络的跟踪目标动静状态判断方法进行了说明，接着对于本发明的基于神经网络的跟踪目标动静状态判断系统进行说明。
图6是表示本发明的基于神经网络的跟踪目标动静状态判断系统的结构框图。
如图6所示，本发明的基于神经网络的跟踪目标动静状态判断系统包括：
训练模块100，用于对于跟踪目标集合中的每个跟踪目标，提取特征点，将特征点转换成特征向量并标注跟踪目标的动静状态的真值，作为训练样本参数来训练神经网络，得到经训练的神经网络分类模型；以及
测试模块200，用于提取跟踪目标的特征向量，输入到所述神经网络分类模型，得到跟踪目标的动静状态分类结果。
其中，训练模块100包括：
第一特征提取子模块110，用于对于跟踪目标集合中的每个跟踪目标，提取特征点；
第一特征转换子模块120，用于将所述特征点转换成特征向量；以及
模型训练子模块130，用于对转换后的特征向量标注跟踪目标的动静状态的真值，作为训练样本参数来训练神经网络，得到神经网络分类模型。
优选地，在所述第一特征提取子模块110中，提取本车最近的点、长边的中心点以及质心点作为所述特征点。其中，在所述第一特征提取子模块110中，本车最近的点的提取方法为，距离本车最近的点的提取方法为，遍历激光雷达点云的所有点，得到距离雷达原点最近的点；长边的中心点的提取方法为，对激光雷达点云使用直线拟合方法，提取点云较长的边沿，并求取边沿的中心点；质心点提取方法为，直接对激光雷达点云的各个点的三维坐标求和取平均，其中，所述激光雷达点云是由激光雷达采集到的点构成。
这样，在第一特征转换子模块中通过下述方式执行从特征点到特征向量的转换：记当前时刻为 t，记t时刻提取到的最近点为Pn,t(Xn,t , Yn,t)，长边中心点为Pe,t(Xe,t ,Ye,t)，质心点为Pc,t(Xc,t , Yc,t)，特征向量是将三种特征点的时间序列一维展开，表示为Ft=[ Xn,t, Yn,t, Xe,t , Ye,t, Xc,t , Yc,t, Xn,t-1,Yn,t-1, Xe,t-1 , Ye,t-1, Xc,t ,Yc,t-1,..., Xn,t-N,Yn,t-N, Xe,t-N , Ye,t-N, Xc,t-N , Yc,t-N ]，其中，N取值为5（即，取5帧），目标的动静状态真值的标签记为Mt，Mt取值为0或者1，则一个训练样本数据表示为Si=[Ft,Mt]。进一步，测试模块200包括：
第二特征提取子模块210，用于对于跟踪目标集合中的每个跟踪目标，提取特征点；
第二特征转换子模块220，用于将特征点转换成特征向量；以及
测试子模块230，用于将特征向量输入到训所述神经网络分类模型，判断当前跟踪目标的动静状态，得到动静状态分类结果。
优选地，在测试子模块230中，对于得到的跟踪目标的动静状态分类结果，进一步采用贝叶斯滤波进行滤波。
如上所述，根据本发明的基于神经网络的跟踪目标动静状态判断方法及基于神经网络的跟踪目标动静状态判断方系统，通过使用神经网络方法进行激光雷达跟踪目标的动静态判定，能够解决单纯使用速度判定产生的误判问题（例如将被遮挡的静态目标识别车运动目标，或者将低速的行人等判定为静止目标），能够提升判定结果的准确率。
本发明还提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现所述的基于神经网络的跟踪目标动静状态判断方法。
本发明还提供一种计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的基于神经网络的跟踪目标动静状态判断方法。
以上例子主要说明了本发明的基于神经网络的跟踪目标动静状态判断方法及基于神经网络的跟踪目标动静状态判断方系统。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (15)

1. 一种基于神经网络的跟踪目标动静状态判断方法，其特征在于，包括：
训练步骤，对于来自车辆激光雷达的跟踪目标集合中的每个跟踪目标提取特征点，将特征点转换成特征向量并标注跟踪目标的动静状态的真值，将特征向量和对应的动静状态的真值作为训练样本参数来训练神经网络，得到经训练的神经网络分类模型；以及
测试步骤，提取跟踪目标的特征点并转换成特征向量之后输入到所述神经网络分类模型，得到跟踪目标的动静状态分类结果。
2.如权利要求1所述的基于神经网络的跟踪目标动静状态判断方法，其特征在于，所述训练步骤包括：
第一特征提取子步骤，对于跟踪目标集合中的每个跟踪目标，提取多个特征点；
第一特征转换子步骤，将所述多个特征点转换成特征向量；以及
模型训练子步骤，对转换后的特征向量标注跟踪目标的动静状态的真值，将特征向量和对应的动静状态的真值作为训练样本参数来训练神经网络，得到神经网络分类模型。
3.如权利要求2所述的基于神经网络的跟踪目标动静状态判断方法，其特征在于，
在所述第一特征提取子步骤中，提取所述跟踪目标的距离本车最近的点、长边的中心点以及质心点作为所述特征点。
4.如权利要求3所述的基于神经网络的跟踪目标动静状态判断方法，其特征在于，
在所述第一特征提取子步骤中，距离本车最近的点的提取方法为，遍历跟踪目标的点云数据中的所有点，得到距离激光雷达原点最近的点；长边的中心点的提取方法为，对所述点云数据使用直线拟合方法，提取点云较长的边沿，并求取边沿的中心点；质心点提取方法为，直接对所述点云数据中的各个点的三维坐标求和取平均，其中，所述点云数据是由激光雷达采集到的点构成。
5.如权利要求3所述的基于神经网络的跟踪目标动静状态判断方法，其特征在于，
在所述第一特征转换子步骤中包括：
记当前时刻为 t，记t时刻提取到的最近点为Pn,t(Xn,t , Yn,t)，长边中心点为Pe,t(Xe,t , Ye,t)，质心点为Pc,t(Xc,t , Yc,t)，特征向量是将三种特征点的时间序列一维展开，表示为Ft=[ Xn,t, Yn,t, Xe,t , Ye,t, Xc,t , Yc,t, Xn,t-1,Yn,t-1, Xe,t-1 , Ye,t-1, Xc,t ,Yc,t-1,..., Xn,t-N,Yn,t-N, Xe,t-N , Ye,t-N, Xc,t-N , Yc,t-N ]，其中，N取值为5，目标的动静状态真值的标签记为Mt，Mt取值为0或者1，则一个训练样本数据表示为Si=[Ft, Mt]。
6.如权利要求1所述的基于神经网络的跟踪目标动静状态判断方法，其特征在于，所述测试步骤包括：
第二特征提取子步骤，对于每个跟踪目标，对跟踪结果提取多个特征点；
第二特征转换子步骤，将所述多个特征点转换成特征向量；以及
测试子步骤，将特征向量输入到所述神经网络分类模型，由所述神经网络分类模型判断当前跟踪目标的动静状态并得到动静状态分类结果。
7.如权利要求6所述的基于神经网络的跟踪目标动静状态判断方法，其特征在于，
在所述测试子步骤中，对于得到的跟踪目标的动静状态分类结果，进一步采用贝叶斯滤波进行滤波。
8. 一种基于神经网络的跟踪目标动静状态判断系统，其特征在于，包括：
训练模块，用于对于来自车辆激光雷达的跟踪目标集合中的每个跟踪目标，提取特征点，将特征点转换成特征向量并标注跟踪目标的动静状态的真值，将特征向量和对应的动静状态的真值作为训练样本参数来训练神经网络，得到经训练的神经网络分类模型；以及
测试模块，用于提取跟踪目标的特征向量，输入到所述神经网络分类模型，得到跟踪目标的动静状态分类结果。
9.如权利要求8所述的基于神经网络的跟踪目标动静状态判断系统，其特征在于，所述训练模块包括：
第一特征提取子模块，用于对于跟踪目标集合中的每个跟踪目标，提取多个特征点；
第一特征转换子模块，用于将所述多个特征点转换成特征向量；以及
模型训练子模块，用于对转换后的特征向量标注跟踪目标的动静状态的真值，作为训练样本参数来训练神经网络，得到神经网络分类模型。
10.如权利要求9所述的基于神经网络的跟踪目标动静状态判断系统，其特征在于，
在所述第一特征提取子模块中，提取所述跟踪目标的距离本车最近的点、长边的中心点以及质心点作为所述特征点。
11.如权利要求10所述的基于神经网络的跟踪目标动静状态判断系统，其特征在于，
在所述第一特征提取子模块中，在所述第一特征提取子步骤中，距离本车最近的点的提取方法为，遍历跟踪目标的点云数据中的所有点，得到距离激光雷达原点最近的点；长边的中心点的提取方法为，对所述点云数据使用直线拟合方法，提取点云较长的边沿，并求取边沿的中心点；质心点提取方法为，直接对所述点云数据中的各个点的三维坐标求和取平均，其中，所述点云数据是由激光雷达采集到的点构成。
12.如权利要求8所述的基于神经网络的跟踪目标动静状态判断系统，其特征在于，所述测试模块包括：
第二特征提取子模块，用于对于跟踪目标集合中的每个跟踪目标，提取多个特征点；
第二特征转换子模块，用于将所述多个特征点转换成特征向量；以及
测试子模块，用于将特征向量输入到训所述神经网络分类模型，由所述神经网络分类模型判断当前跟踪目标的动静状态并得到动静状态分类结果。
13.如权利要求12所述的基于神经网络的跟踪目标动静状态判断系统，其特征在于，
在所述测试子模块中，对于得到的跟踪目标的动静状态分类结果，进一步采用贝叶斯滤波进行滤波。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，
该计算机程序被处理器执行时实现权利要求1~7任意一项所述的基于神经网络的跟踪目标动静状态判断方法。
15.一种计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~7任意一项所述的基于神经网络的跟踪目标动静状态判断方法。
CN202110647264.6A 2021-06-10 2021-06-10 基于神经网络的跟踪目标动静状态判断方法及其系统 Pending CN113298016A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110647264.6A CN113298016A (zh) 2021-06-10 2021-06-10 基于神经网络的跟踪目标动静状态判断方法及其系统
EP22165639.0A EP4102474A1 (en) 2021-06-10 2022-03-30 Method and system for determining moving/stationary state of tracking target based on neural network
US17/837,409 US20220397671A1 (en) 2021-06-10 2022-06-10 Method and system for determining moving/stationary state of tracking target based on neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110647264.6A CN113298016A (zh) 2021-06-10 2021-06-10 基于神经网络的跟踪目标动静状态判断方法及其系统

Publications (1)

Publication Number Publication Date
CN113298016A true CN113298016A (zh) 2021-08-24

Family

ID=77327789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110647264.6A Pending CN113298016A (zh) 2021-06-10 2021-06-10 基于神经网络的跟踪目标动静状态判断方法及其系统

Country Status (3)

Country Link
US (1) US20220397671A1 (zh)
EP (1) EP4102474A1 (zh)
CN (1) CN113298016A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860034B1 (en) * 2017-09-27 2020-12-08 Apple Inc. Barrier detection
CN110018489B (zh) * 2019-04-25 2022-11-08 上海蔚来汽车有限公司 基于激光雷达的目标追踪方法、装置及控制器和存储介质
CN113785253B (zh) * 2019-05-09 2024-07-19 索尼集团公司 信息处理装置、信息处理方法和程序

Also Published As

Publication number Publication date
EP4102474A1 (en) 2022-12-14
US20220397671A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US11709058B2 (en) Path planning method and device and mobile device
CN110632921B (zh) 机器人路径规划方法、装置、电子设备和存储介质
CN110018489B (zh) 基于激光雷达的目标追踪方法、装置及控制器和存储介质
Tan et al. Color model-based real-time learning for road following
EP3851870A1 (en) Method for determining position data and/or motion data of a vehicle
CN110674705B (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN112781599B (zh) 确定车辆的位置的方法
CN101577006A (zh) 视频监控中的徘徊检测方法和系统
CN108960083B (zh) 基于多传感器信息融合的自动驾驶目标分类方法及系统
Gomaa et al. Real-time algorithm for simultaneous vehicle detection and tracking in aerial view videos
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
CN110940979A (zh) 障碍物检测方法、装置、设备以及存储介质
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN111723724A (zh) 一种路面障碍物识别方法和相关装置
CN114675295A (zh) 一种障碍物判定的方法、装置、设备及存储介质
Bayerl et al. Detection and tracking of rural crossroads combining vision and LiDAR measurements
KR20090093119A (ko) 움직이는 객체 추적을 위한 다중 정보의 융합 방법
CN113298016A (zh) 基于神经网络的跟踪目标动静状态判断方法及其系统
CN107256382A (zh) 基于图像识别的虚拟保险杠控制方法和系统
CN115980738A (zh) 一种基于动静分离的多目标跟踪方法
Bai et al. An extended hyperbola model for road tracking for video-based personal navigation
KR102373826B1 (ko) 센서 융합 기반의 차량 측위 방법 및 이를 이용한 차량 측위 장치
Singh Tracking of moving object using centroid based prediction and boundary tracing scheme
CN113052871A (zh) 一种基于智能选择策略的目标检测与自动跟踪算法
CN113298950A (zh) 一种物体属性的确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination