CN112348848A - 一种交通参与者的信息生成方法及系统 - Google Patents

一种交通参与者的信息生成方法及系统 Download PDF

Info

Publication number
CN112348848A
CN112348848A CN202011158188.4A CN202011158188A CN112348848A CN 112348848 A CN112348848 A CN 112348848A CN 202011158188 A CN202011158188 A CN 202011158188A CN 112348848 A CN112348848 A CN 112348848A
Authority
CN
China
Prior art keywords
target
information
result
data
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011158188.4A
Other languages
English (en)
Inventor
鲁小伟
王跃建
徐月云
高嵩
余骝
王瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Original Assignee
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd filed Critical Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority to CN202011158188.4A priority Critical patent/CN112348848A/zh
Publication of CN112348848A publication Critical patent/CN112348848A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种交通参与者的信息生成方法及系统，根据真实交通场景采集数据建立场景库数据集，具有数据内容丰富、目标信息准确等特点更加符合国内实际交通场景应用，基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，并确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联更新目标预测估计结果，作为跟踪算法结果输出同时也为下一帧的数据输入形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果获得交通参与者目标最终信息，能够准确的获取多种类型的交通参与者信息。

Description

一种交通参与者的信息生成方法及系统
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种交通参与者的信息生成方法及系统。
背景技术
随着人工智能技术发展迅速，智能化机器在很多行业辅助或者代替人进行高效、精准地工作。自动驾驶汽车通过车载传感器以及信息通信技术来获得车辆周围的环境感知信息，并对周围的交通参与者进行运动预测，进而将目标信息提供给驾驶操作辅助系统或者自动驾驶系统中的决策、规划环节。但是由于交通环境中场景复杂多变，交通参与者类型众多，准确且快速的获取复杂环境中的交通参与者信息十分具有挑战，现有技术对于交通参与者检测方法的缺点在于目标信息只能获得三维目标框的位置，大小，方向且目标单一，不能获取准确且快速的获取复杂环境中的交通参与者信息。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中不能获取准确且快速的获取复杂环境中的交通参与者信息的缺陷，从而提供一种交通参与者的信息生成方法及系统。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种交通参与者的信息生成方法，包括如下步骤：在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据；
将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注；
对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型；
将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果；
将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。
在一实施例中，每一帧目标信息标注包括：目标类别、目标位置、目标尺寸、目标方向、目标ID。
在一实施例中，目标检测结果D＝(type，x,y,z,θ,l,w,h)，其中type为目标类别，x,y,z,分别为目标框在自身车辆坐标系下的横坐标，纵坐标，高度；l,w,h分别为目标框的长，宽，高；θ为目标框在自身车辆坐标系下的航向角；
物体跟踪的状态量T＝(x’,y’,z’,θ’,vx,vy,vz；)，其中x’,y’,z’,θ’分别表示目标在大地坐标系下的横坐标、纵坐标、高度以及航向角，vx,vy,vz表示目标在横坐标、纵坐标、高度三个方向的速度信息。
在一实施例中，交通参与者目标最终信息包括:根据预测的目标状态结果改善目标检测位置结果、目标速度及目标ID。
在一实施例中，所述的交通参与者的信息生成方法，还包括：对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据支持场景库建立。
在一实施例中，在车辆连续预设帧数检测到目标确认场景中有该目标，并且车辆连续预设帧数检测不到才确认目标离开检测范围。
在一实施例中，在目标数据关联之后，如果预测的目标状态结果与目标检测结果的目标方向或者尺寸大于预设差值，采用预测的目标状态结果优化目标检测结果。
第二方面，本发明实施例提供一种交通参与者的信息生成系统，包括：场景数据采集模块，用于在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据；
场景数据建立模块，用于将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注；
目标模型训练模块，用于对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型；
目标检测模块，用于将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果；
目标信息获取模块，用于将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。
在一实施例中，所述的交通参与者的信息生成系统，还包括：目标结果场景库建立模块，用于对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据支持场景库建立。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面的交通参与者的信息生成方法。
第四方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例第一方面的交通参与者的信息生成方法。
本发明技术方案，具有如下优点：
本发明提供的交通参与者的信息生成方法及系统，根据真实交通场景采集数据，建立场景库数据集，具有数据量大、数据内容丰富、目标信息准确等特点，更加准确且符合国内实际交通场景应用。基于场景数据进行网络模型训练生成的目标数据信息丰富，包括：类别、横向速度、纵向速度、位置、尺寸、方向、身份ID、目标历史列表以及目标预测列表，基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，并确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息，解决了现有的交通参与者物在关键场景中检测类别单一，误检，漏检，延迟检测，多目标信息预测等问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中提供的交通参与者的信息生成方法的一个具体示例的工作流程图；
图2为本发明实施例中提供的激光雷达安装位置的示意图；
图3为本发明实施例中交通参与者的信息生成系统的一个具体示例的模块组成图；
图4为本发明实施例中交通参与者的信息生成系统的另一个具体示例的模块组成图；
图5为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种交通参与者的信息生成方法，应用于自动驾驶场景中，如图1所示，包括如下步骤：
步骤S10：在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据。
在一具体实施例中，如图2所示，将激光雷达安装在车顶横向中心线上，车辆两侧盲区边界距离车辆中心线不超过3.125m，顶置激光雷达的光束尽量不要打到车辆本体上，激光雷达安装、标定好之后在真实交通场景采集数据。在汽车自动驾驶时也同时安装摄像头、长距雷达、角毫米雷达等获取交通行驶数据，数据采集的过程中将被存储在外存储设备，如：移动硬盘等。将采集完后数据包上传到云平台等待进一步处理。
步骤S20：将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注。
交通参与者目标首先需要生成目标物类别、位置、尺寸、方向这些基本信息，三维目标检测网络模型训练结果依赖于数据集，因此建立场景数据是首要工作。本发明实施例从数据包中解析出来，点云数据解析为时间戳命令的.pcd文件，然后根据解析后的数据进行场景切分，主要包括自车切入、自车切出、变道、跟车等场景，在切分后的场景流片段中进行数据场景描述，描述文件一般以json格式保存。对场景流中的点云数据中每一帧目标信息标注，标注的信息至少包括目标类别(包括：汽车、客车、摩托车，三轮车等)、目标位置、目标尺寸、目标方向、目标ID，标注的类别内容丰富且符合中国交通场景特色利于检测结果，每一个点云数据对应一个标注文件，标准文件一般以txt或者json的文件形式保存。
步骤S30：对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型。
由于原始点云数据存在噪点且数据量庞大，直接进行目标检测模型训练，会降低检测算法的处理速度因此需要对原始点云数据进行预处理。本发明实施例对获得原始点云数据进行预处理的过程包括：去离群点噪声，对环境或者设备自身影响造成的噪声点云进行过滤，原始点云数据范围以及数量较大，对点云进行特定范围过滤并进行下采样，建立自身车辆坐标系设置在一车体后轴中心为坐标系原点下，车辆前方行驶为x轴正方向，右手定则确定y轴以及z轴方向，过滤的范围在(x：-80m，+100m；y:-40m,+40m；z:0m,4m)。采用VoxelGrid滤波器进行下采样，网格单位为0.01m，然后用每个体素的重心来近似表达体素中的其它点云。
根据原始点云数据以及标注数据进行SECOND(Sparsely EmbeddedConvolutional Detection，稀疏嵌入的卷积目标检测网络)模型训练，获得网络模型权重参数。首先，对定义标注模型的数值的实际信息生成字典类型并在原始数据中根据标注的目标框内的点云信息与标注的信息生成pkl数据预处理文件。根据采集的数据改进网络代码，只根据点云数据而不依赖于图像且点云标注信息符合场景数据标注的内容。然后根据模型网络进行体素网格生成、体素特征编码、类别anchor(包括：三维bbox相关信息，长宽高、中心点的偏移量、旋转角度等)voxel特征提取、中间特征提取层、RPN区域推荐层。通过网络迭代收敛网络loss接近0之后，保存生成的模型参数到ckpt文件。
本发明实施例根据真实交通场景采集数据，建立场景库数据集，因此该数据集具有数据量大、数据内容丰富、目标信息准确等特点，基于场景数据进行网络模型训练生成基本目标信息，目标信息更加准确且符合国内实际交通场景应用。
需要说明的是，本发明实施例是自身车辆坐标系的设置方式、下采样的算法及网络模型的选择只是作为一种具体的实施例进行举例说明，并不以此为限。
步骤S40：将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果。
本发明实施例的目标检测结果，包括：交通参与者分类结果，目标框回归结果，目标框偏航角结果，输出的每个目标检测结果表示为D＝(type，x,y,z,θ,l,w,h)，其中，type是目标类别(包括：car小车、truck卡车、bicycle自行车、pedestrian行人等)，x,y,z,分别是目标框在自身车辆坐标系下的横坐标，纵坐标，高度；l,w,h分别为目标框的长，宽，高；θ为目标框在自身车辆坐标系下的航向角。利用训练好的目标检测模型输出的目标数据信息丰富，解决了交通参与者物在关键场景中检测类别单一，误检，漏检，延迟检测，多目标信息预测等问题。
步骤S50：将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。
本发明实施例基于自身车辆坐标系检测的目标信息转换为大地坐标系下，然后确定物体运动模型(例如是匀加速运动模型或者匀速直线运动模型)以及物体跟踪的状态量，物体跟踪的状态量T＝(x’,y’,z’,θ’,vx,vy,vz；)，x’,y’,z’,θ’分别表示目标在大地坐标系下的横坐标、纵坐标、高度以及航向角，vx,vy,vz表示目标在横坐标、纵坐标、高度三个方向的速度信息。本发明实施例利用卡尔曼滤波算法对目标信息进行预测，利用匈牙利算法进行多目标的数据关联，仅作为举例，不以此为限。交通参与者目标最终信息为根据预测的目标状态结果改善目标检测位置结果、目标速度及目标ID。
本发明实施例中，状态量预测、数据关联及目标状态更新为一个闭环的循环过程，当前帧的目标状态更新后将作为下一帧的的数据输入进行状态量预测，最终更新的目标估计结果作为下一帧的数据输入，以此类推。
本发明实施例在车辆连续5帧检测到到目标确认场景中有该目标，并且车辆连续3帧检测不到才确认目标离开检测范围。在目标数据关联之后，如果预测的目标状态结果与目标检测结果的目标方向或者尺寸大于预设差值，采用预测的目标状态结果优化目标检测结果。具体为：前后帧目标框的面积区域不应缩小；前后帧目标框角度旋转变化不应大于0.04弧度值。
本发明实施例还对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据(例如车道线信息，gps信息等)支持场景库建立，以更准确的对场景进行切分以及仿真系统的开发。
在实际在自动驾驶场景中终端显示目标信息包括：类别、横向速度、纵向速度、位置、尺寸、方向、身份ID、目标轨迹历史列表以及目标轨迹预测列表(预设时间步长根据实际应用设置，在此不作限制)，方便实时查看了，及时了解行驶状态及轨迹预测。
本发明实施例提供的交通参与者的信息生成方法，根据真实交通场景采集数据，建立场景库数据集，具有数据量大、数据内容丰富、目标信息准确等特点，更加准确且符合国内实际交通场景应用。基于场景数据进行网络模型训练生成的目标数据信息丰富，基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息，解决了现有的交通参与者物在关键场景中检测类别单一，误检，漏检，延迟检测，多目标信息预测等问题。
实施例2
本发明实施例提供一种交通参与者的信息生成系统，如图3所示，包括：
场景数据采集模块10，用于用于在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据。此模块执行实施例1中的步骤S10所描述的方法，在此不再赘述。
场景数据建立模块20，用于将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注。此模块执行实施例1中的步骤S20所描述的方法，在此不再赘述。
目标模型训练模块30，用于对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型。此模块执行实施例1中的步骤S30所描述的方法，在此不再赘述。
目标检测模块40，用于将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果。此模块执行实施例1中的步骤S40所描述的方法，在此不再赘述。
目标信息获取模块50，用于将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。此模块执行实施例1中的步骤S50所描述的方法，在此不再赘述。
本发明实施例提供的交通参与者的信息生成系统，根据真实交通场景采集数据，建立场景库数据集，具有数据量大、数据内容丰富、目标信息准确等特点，更加准确且符合国内实际交通场景应用。基于场景数据进行网络模型训练生成的目标数据信息丰富，基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息，解决了现有的交通参与者物在关键场景中检测类别单一，误检，漏检，延迟检测，多目标信息预测等问题。
在另一实施例中，上述的交通参与者的信息生成系统，如图4所示，还包括：目标结果场景库建立模块60，用于对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据支持场景库建立。其他自动驾驶场景的数据包括：车道线信息，gps信息等，以更准确的对场景进行切分以及仿真系统的开发。
实施例3
本发明实施例提供一种计算机设备，如图5所示，该设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的交通参与者的信息生成方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、企业内网、移动通信网及其组合。
一个或者多个模块存储在存储器52中，当被处理器51执行时，执行实施例1中的交通参与者的信息生成方法。
上述计算机设备具体细节可以对应参阅实施例1中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (11)

1.一种交通参与者的信息生成方法，其特征在于，包括如下步骤：
在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据；
将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注；
对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型；
将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果；
将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。
2.根据权利要求1所述的交通参与者的信息生成方法，其特征在于，每一帧目标信息标注包括：目标类别、目标位置、目标尺寸、目标方向、目标ID。
3.根据权利要求2所述的交通参与者的信息生成方法，其特征在于，所述目标检测结果包括：交通参与者分类结果，目标框回归结果，目标框偏航角结果，目标检测结果D＝(type，x,y,z,θ,l,w,h)，其中type为目标类别，x,y,z,分别为目标框在自身车辆坐标系下的横坐标，纵坐标，高度；l,w,h分别为目标框的长，宽，高；θ为目标框在自身车辆坐标系下的航向角；
物体跟踪的状态量T＝(x’,y’,z’,θ’,vx,vy,vz；)，其中x’,y’,z’,θ’分别表示目标在大地坐标系下的横坐标、纵坐标、高度以及航向角，vx,vy,vz表示目标在横坐标、纵坐标、高度三个方向的速度信息。
4.根据权利要求3所述的交通参与者的信息生成方法，其特征在于，交通参与者目标最终信息包括:根据预测的目标状态结果改善目标检测位置结果、目标速度及目标ID。
5.根据权利要求4所述的交通参与者的信息生成方法，其特征在于，还包括：对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据支持场景库建立。
6.根据权利要求1所述的交通参与者的信息生成方法，其特征在于，在车辆连续预设帧数检测到目标确认场景中有该目标，并且车辆连续预设帧数检测不到才确认目标离开检测范围。
7.根据权利要求1所述的交通参与者的信息生成方法，其特征在于，在目标数据关联之后，如果预测的目标状态结果与目标检测结果的目标方向或者尺寸大于预设差值，采用预测的目标状态结果优化目标检测结果。
8.一种交通参与者的信息生成系统，其特征在于，包括：
场景数据采集模块，用于在车辆的预设位置安装激光雷达，获取不同的交通场景流中的点云数据；
场景数据建立模块，用于将所述点云数据进行数据解析，并对解析后的数据进行人工场景切分，对切分后的场景流片段中进行点云数据场景描述以及每一帧点云数据中的目标信息进行标注；
目标模型训练模块，用于对点云数据进行预处理，并就根据预处理后的点云数据及目标信息标注数据对网络模型进行训练，得到训练好的目标检测模型；
目标检测模块，用于将实时采集交通流中的点云数据输入到已经训练好的目标检测模型，得到目标检测结果；
目标信息获取模块，用于将目标检测结果中的基于自身车辆坐标系检测的目标信息结果转换为大地坐标系下目标信息结果，确定物体跟踪的状态量并建立物体的运动模型；将激光雷达的当前测量结果与前一帧的通过运动模型计算的目标预测估计结果进行数据关联，更新当前的目标预测估计结果；该目标估计结果作为跟踪算法结果输出，同时也作为下一帧的数据输入，以此形成算法迭代；根据物体跟踪算法的目标估计结果来改善目标检测结果，获得交通参与者目标最终信息。
9.根据权利要求8所述的交通参与者的信息生成系统，其特征在于，还包括：目标结果场景库建立模块，用于对获取的原始点云数据、场景描述信息、场景中目标的类别、目标框位置信息、目标框偏航角信息、目标速度、目标ID、目标轨迹以及预测信息作为数据基础，结合其他自动驾驶场景的数据支持场景库建立。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-7任一项所述的交通参与者的信息生成方法。
11.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-7任一项所述的交通参与者的信息生成方法。
CN202011158188.4A 2020-10-26 2020-10-26 一种交通参与者的信息生成方法及系统 Pending CN112348848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011158188.4A CN112348848A (zh) 2020-10-26 2020-10-26 一种交通参与者的信息生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011158188.4A CN112348848A (zh) 2020-10-26 2020-10-26 一种交通参与者的信息生成方法及系统

Publications (1)

Publication Number Publication Date
CN112348848A true CN112348848A (zh) 2021-02-09

Family

ID=74360195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011158188.4A Pending CN112348848A (zh) 2020-10-26 2020-10-26 一种交通参与者的信息生成方法及系统

Country Status (1)

Country Link
CN (1) CN112348848A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468735A (zh) * 2021-06-24 2021-10-01 国汽(北京)智能网联汽车研究院有限公司 一种激光雷达仿真方法、装置、系统和存储介质
CN113538516A (zh) * 2021-07-19 2021-10-22 中国兵器工业计算机应用技术研究所 基于记忆信息的目标对象跟踪方法、装置及电子设备
CN113920166A (zh) * 2021-10-29 2022-01-11 广州文远知行科技有限公司 一种选择物体运动模型方法、装置、交通工具及存储介质
CN114280582A (zh) * 2021-12-31 2022-04-05 中国第一汽车股份有限公司 激光雷达的标定校准方法、装置、存储介质及电子设备
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质
CN114530039A (zh) * 2022-01-27 2022-05-24 浙江梧斯源通信科技股份有限公司 一种路口人流量与车流量的实时检测装置及方法
CN114612500A (zh) * 2022-01-28 2022-06-10 广州文远知行科技有限公司 基于点云的车辆速度估计方法、装置、设备及存储介质
CN115131426B (zh) * 2022-07-28 2024-03-22 苏州轻棹科技有限公司 一种对车辆后轴中心点进行估计的处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110658531A (zh) * 2019-08-23 2020-01-07 畅加风行(苏州)智能科技有限公司 一种用于港口自动驾驶车辆的动态目标追踪方法
CN111476822A (zh) * 2020-04-08 2020-07-31 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110658531A (zh) * 2019-08-23 2020-01-07 畅加风行(苏州)智能科技有限公司 一种用于港口自动驾驶车辆的动态目标追踪方法
CN111476822A (zh) * 2020-04-08 2020-07-31 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468735A (zh) * 2021-06-24 2021-10-01 国汽(北京)智能网联汽车研究院有限公司 一种激光雷达仿真方法、装置、系统和存储介质
CN113468735B (zh) * 2021-06-24 2024-03-22 国汽(北京)智能网联汽车研究院有限公司 一种激光雷达仿真方法、装置、系统和存储介质
CN113538516A (zh) * 2021-07-19 2021-10-22 中国兵器工业计算机应用技术研究所 基于记忆信息的目标对象跟踪方法、装置及电子设备
CN113538516B (zh) * 2021-07-19 2024-04-16 中国兵器工业计算机应用技术研究所 基于记忆信息的目标对象跟踪方法、装置及电子设备
CN113920166A (zh) * 2021-10-29 2022-01-11 广州文远知行科技有限公司 一种选择物体运动模型方法、装置、交通工具及存储介质
CN113920166B (zh) * 2021-10-29 2024-05-28 广州文远知行科技有限公司 一种选择物体运动模型方法、装置、交通工具及存储介质
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质
CN114280582A (zh) * 2021-12-31 2022-04-05 中国第一汽车股份有限公司 激光雷达的标定校准方法、装置、存储介质及电子设备
CN114530039A (zh) * 2022-01-27 2022-05-24 浙江梧斯源通信科技股份有限公司 一种路口人流量与车流量的实时检测装置及方法
CN114612500A (zh) * 2022-01-28 2022-06-10 广州文远知行科技有限公司 基于点云的车辆速度估计方法、装置、设备及存储介质
CN115131426B (zh) * 2022-07-28 2024-03-22 苏州轻棹科技有限公司 一种对车辆后轴中心点进行估计的处理方法

Similar Documents

Publication Publication Date Title
CN112348848A (zh) 一种交通参与者的信息生成方法及系统
CN111874006B (zh) 路线规划处理方法和装置
CN114862901A (zh) 一种露天矿山的路端多源传感器融合目标感知方法和系统
CN113223317B (zh) 一种更新地图的方法、装置和设备
CN114930401A (zh) 基于点云的三维重建方法、装置和计算机设备
CN111986128A (zh) 偏心图像融合
US11693927B2 (en) Generating fused sensor data through metadata association
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN112465868A (zh) 一种目标检测跟踪方法、装置、存储介质及电子装置
US20230278587A1 (en) Method and apparatus for detecting drivable area, mobile device and storage medium
CN114694123B (zh) 交通信号灯感知方法、装置、设备及存储介质
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN113771573A (zh) 一种基于识别路面信息的车辆悬架控制方法及装置
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
CN115112125A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN110446106B (zh) 一种前置摄像头文件的识别方法、电子设备及存储介质
US11544899B2 (en) System and method for generating terrain maps
CN117612127B (zh) 场景生成方法、装置和存储介质及电子设备
CN117612140B (zh) 道路场景的识别方法、装置和存储介质及电子设备
CN115116236B (zh) 行驶行为的预测方法、装置、存储介质和电子装置
Alrousan et al. Multi-Sensor Fusion in Slow Lanes for Lane Keep Assist System
CN117601903B (zh) 车辆行驶场景的生成方法、装置和存储介质及电子设备
US20230252638A1 (en) Systems and methods for panoptic segmentation of images for autonomous driving
CN117593892B (zh) 真值数据的获取方法和装置、存储介质及电子设备
US20240020964A1 (en) Method and device for improving object recognition rate of self-driving car

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination