CN111891124A - 目标信息融合的方法、系统、计算机设备和可读存储介质 - Google Patents

目标信息融合的方法、系统、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN111891124A
CN111891124A CN202010511733.7A CN202010511733A CN111891124A CN 111891124 A CN111891124 A CN 111891124A CN 202010511733 A CN202010511733 A CN 202010511733A CN 111891124 A CN111891124 A CN 111891124A
Authority
CN
China
Prior art keywords
reference point
motion information
target vehicle
target
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010511733.7A
Other languages
English (en)
Other versions
CN111891124B (zh
Inventor
刘嵩
刘熙
吴孟
张天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Freetech Intelligent Systems Co Ltd
Original Assignee
Freetech Intelligent Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Freetech Intelligent Systems Co Ltd filed Critical Freetech Intelligent Systems Co Ltd
Priority to CN202010511733.7A priority Critical patent/CN111891124B/zh
Publication of CN111891124A publication Critical patent/CN111891124A/zh
Application granted granted Critical
Publication of CN111891124B publication Critical patent/CN111891124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种目标信息融合的方法、系统、计算机设备和可读存储介质，其中，目标信息融合的方法包括：获取目标车辆在时空配准后的第一运动信息和第二运动信息，根据目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点，根据目标车辆相对于自动驾驶车辆的运动方向，确定目标车辆的第二参考点，将第一参考点和第二参考点融合，确定量测参考点，根据量测参考点、第一运动信息和第二运动信息，计算目标车辆的量测运动信息。通过本申请，解决了将大目标作为点目标进行雷达识别，使得融合输出的目标车辆的位置误差过大，容易引发FCW或AEB功能误触发的问题，提高了对大目标的位置识别精度，降低FCW或AEB功能的误报率。

Description

目标信息融合的方法、系统、计算机设备和可读存储介质
技术领域
本申请涉及智能驾驶技术领域，特别是涉及目标信息融合的方法、系统、计算机设备和可读存储介质。
背景技术
在智能驾驶领域，智能驾驶车辆需要通过装配的传感器实时感知周围环境，以对潜在威胁及时做出应对。由于传感器性能各有优劣，相关技术中为了减小融合中心的计算负担，通常采用分布式融合结构，例如，在多传感器融合系统中，选择具有一定计算能力的传感器，各传感器独立完成对目标的感知、滤波、对运动状态估计和其他属性判断，然后将估计结果送至融合中心统一处理，完成对障碍物的融合跟踪。
装配了高级驾驶辅助系统(Advanced Driving Assistance System，简称为ADAS)的自动驾驶车辆，通常采用一个毫米波雷达和一个前视摄像头来感知前方目标车辆，通过目标车辆的位置和速度等信息计算自动驾驶车辆与目标车辆的碰撞时间，根据碰撞时间与设定的时间阈值的关系，及时触发前方碰撞预警(Forward Collision Warning，简称为FCW)或自动紧急刹车功能(Autonomous Emergency Braking，简称为AEB)。
在相关技术中，毫米波雷达在输出目标车辆的信息时，都是将目标车辆当作点目标看待，在目标为小目标或距离较远的大目标的情况下，融合输出的目标车辆的位置误差较小，在大目标距离较近的情况下，由于大目标本身具有一定的长和宽，无法确定雷达目标来自目标车辆车身的具体位置。此时将雷达目标与摄像头目标融合，会使融合输出的目标车辆的位置误差过大，容易导致FCW或AEB功能误触发。其中，大目标例如卡车，小目标例如行人或者摩托车。
目前针对相关技术中，将大目标作为点目标进行雷达识别，使得融合输出的目标车辆的位置误差过大，容易引发FCW或AEB功能误触发的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种目标信息融合的方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中将大目标作为点目标进行雷达识别，使得融合输出的目标车辆的位置误差过大，容易引发FCW或AEB功能误触发的问题。
第一方面，本申请实施例提供了一种目标信息融合的方法，所述方法包括：
获取目标车辆在时空配准后的第一运动信息和第二运动信息；
根据所述目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点，根据所述目标车辆相对于所述自动驾驶车辆的运动方向，确定所述目标车辆的第二参考点；
将所述第一参考点和所述第二参考点进行融合，确定量测参考点，根据所述量测参考点、所述第一运动信息和所述第二运动信息，计算所述目标车辆的量测运动信息。
在其中一些实施例中，所述几何关系为角度关系。
在其中一些实施例中，所述根据所述目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点包括：
在所述目标车辆上标注所述参考点，根据自动驾驶车辆参考点、所述目标车辆的中心点和所述参考点，计算夹角，其中，所述夹角的第一边线为所述自动驾驶车辆参考点与所述中心点之间的连线，所述夹角的第二边线为所述中心点与所述参考点之间的连线；
在所述夹角中，选择最小的所述夹角对应的所述参考点作为第一参考点。
在其中一些实施例中，所述将所述第一参考点和所述第二参考点进行融合包括：
将所述第一参考点转移至所述第二参考点，将所述第二参考点作为所述量测参考点。
在其中一些实施例中，在所述确定第一参考点之前，所述方法还包括：
计算所述第一运动信息与所述第二运动信息之间的差值，根据所述差值和与所述差值对应的权重值，计算关联得分；
在所述关联得分大于关联阈值的情况下，判定所述第一运动信息对应的车辆与所述第二运动信息对应的车辆为所述目标车辆。
在其中一些实施例中，在所述计算所述目标车辆的量测运动信息之后，所述方法还包括：
对所述量测运动信息和所述时空配准后得到的预测运动信息，进行滤波计算，得到融合运动信息。
在其中一些实施例中，所述时空配准包括：
以所述自动驾驶车辆坐标系为基准，将所述第一运动信息和所述第二运动信息进行空间同步；
以所述第二运动信息中的时间信息为基准，将所述第一运动信息中的时间信息进行配准。
第二方面，本申请实施例提供了一种目标信息融合的系统，所述系统包括：探测装置、图像采集装置和中央处理器：
所述探测装置获取目标车辆的第一运动信息，所述图像采集装置获取所述目标车辆的第二运动信息，所述中央处理器将所述第一运动信息和所述第二运动信息进行时空配准；
所述中央处理器根据所述目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点，根据所述目标车辆相对于所述自动驾驶车辆的运动方向，确定所述目标车辆的第二参考点；
所述中央处理器将所述第一参考点和所述第二参考点进行融合，确定量测参考点，根据所述量测参考点、所述第一运动信息和所述第二运动信息，计算所述目标车辆的量测运动信息。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述方法。
相比于相关技术，本申请实施例提供的目标信息融合的方法，通过获取目标车辆在时空配准后的第一运动信息和第二运动信息，根据该目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点，根据该目标车辆相对于自动驾驶车辆的运动方向，确定该目标车辆的第二参考点，将该第一参考点和该第二参考点进行融合，确定量测参考点，根据该量测参考点、第一运动信息和第二运动信息，计算该目标车辆的量测运动信息，解决了将大目标作为点目标进行雷达识别，使得融合输出的目标车辆的位置误差过大，容易引发FCW或AEB功能误触发的问题，提高了对大目标的位置识别精度，降低FCW或AEB功能的误报率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的目标信息融合的方法的应用环境示意图；
图2是根据本申请实施例的目标信息融合的方法的流程图；
图3是根据本申请实施例的确定第一参考点的方法的流程图；
图4是根据本申请实施例的确定第一参考点的示意图；
图5是根据本申请实施例的数据关联的方法的流程图；
图6是根据本申请实施例的目标信息融合的系统的结构框图；
图7是根据本申请实施例的融合系统进行计算的示意图；
图8是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供的目标信息融合的方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的目标信息融合的方法的应用环境示意图，如图1所示。其中，自动驾驶车辆102与目标车辆104行驶于道路中，安装于自动驾驶车辆102的探测系统106获取目标车辆104在时空配准后的第一运动信息和第二运动信息，探测系统106根据该目标车辆104的多个参考点分别与自动驾驶车辆102的几何关系，确定第一参考点，根据该目标车辆104相对于自动驾驶车辆102的运动方向，确定该目标车辆104的第二参考点，探测系统106将该第一参考点和该第二参考点进行融合，确定量测参考点，根据该量测参考点、第一运动信息和第二运动信息，计算该目标车辆104的量测运动信息。其中，自动驾驶车辆102与探测系统106通过网络进行通信，探测系统106包括雷达、摄像头或者探测器等等。
本实施例提供了一种目标信息融合的方法，图2是根据本申请实施例的目标信息融合的方法的流程图，如图2所示，该方法包括如下步骤：
步骤S201，获取目标车辆在时空配准后的第一运动信息和第二运动信息。
本实施例基于自动驾驶车辆在道路上对周围环境的感知实现，目标车辆为与自动驾驶车辆距离较近的大目标，例如，轿车、卡车。其中，第一运动信息包括目标车辆的位置、速度和加速度等运动信息，第二运动信息包括目标车辆的位置、速度、加速度、方位角和尺寸等信息，第一运动信息和第二运动信息可以来自于不同的探测装置，可选地，第一运动信息可以来自于自动驾驶车辆的雷达，第二运动信息可以来自于自动驾驶车辆的摄像头。
时空配准包括时间配准和空间配准，其中，时间配准为将获取第一运动信息和第二运动信息的时间值进行统一，空间配准为将第一运动信息与第二运动信息统一至同一坐标系，在时空配准之后，才能根据第一运动信息和第二运动信息，对目标车辆的运动信息进行更加准确的量测。
步骤S202，根据该目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点，根据该目标车辆相对于自动驾驶车辆的运动方向，确定该目标车辆的第二参考点。
本实施例中，目标车辆为大目标，需要将该目标车辆看做扩展目标，在目标车辆中选取多个参考点，在这些参考点中选取与第一运动信息对应的第一参考点，其中，扩展目标常用于智能驾驶领域，具体为在同一时刻产生多个量测的目标，例如，自动驾驶车辆在每一个时刻能都能接收到来自同一辆目标车辆的车头、车尾、车轮等不同部位的检测信息，那么该目标车辆则为扩展目标。
几何关系可以为距离关系，例如，可以选择与自动驾驶车辆之间的距离最近的参考点作为第一参考点，几何关系还可以为角度关系，例如，可以计算“参考点-自动驾驶车辆”连线与“自动驾驶车辆-目标车辆中心点”连线之间的角度，选择角度最小的参考点作为第一参考点。
步骤S203，将该第一参考点和该第二参考点进行融合，确定量测参考点，根据该量测参考点、该第一运动信息和该第二运动信息，计算该目标车辆的量测运动信息。
在进行目标车辆的信息融合的过程中，需要将第一参考点与第二参考点融合为一个参考点，才能进行后续的航迹计算，该融合后的参考点即为量测参考点，在确定量测参考点之后，还需要以量测参考点为基准点，将第一运动信息和第二运动信息进行修正。本实施例的量测运动信息包括目标车辆的速度、加速度，以及目标车辆与自动驾驶车辆之间的距离等等。
通过上述步骤S201至步骤S203，本实施例在获取第一运动信息和第二运动信息之后，将目标车辆作为扩展目标，根据几何关系在目标车辆上的多个参考点中选取第一参考点，提高对目标车辆状态进行计算的精确度，解决了将大目标作为点目标进行雷达识别，使得融合输出的目标车辆的位置误差过大，容易引发FCW或AEB功能误触发的问题，提高了对大目标的位置识别精度，降低FCW或AEB功能的误报率。
在其中一些实施例中，在确定第一参考点的过程中，可以根据多个参考点与自动驾驶车辆之间的角度关系确定。本实施例中的角度，可选地，其第一边线可以为目标车辆的参考点与自动驾驶车辆中心点的连线，第二边线可以为自动驾驶车辆的中心点与目标车辆中心点之间的连线，在计算所有参考点对应的角度之后，根据角度的大小选择合适的参考点作为第一参考点。例如，可以选择最小的角度对应的参考点作为第一参考点。
在其中一些实施例中，图3是根据本申请实施例的确定第一参考点的方法的流程图，如图3所示，该方法包括如下步骤：
步骤S301，在目标车辆上标注参考点，根据自动驾驶车辆参考点、目标车辆的中心点和参考点，计算夹角。
在本实施例中，参考点可以标注于目标车辆的边界框上，例如，车头、车尾的中间点，或者车身边线。夹角的第一边线为该自动驾驶车辆参考点与该中心点之间的连线，夹角的第二边线为该中心点与该参考点之间的连线。
步骤S302，选择最小的夹角对应的参考点作为第一参考点。
图4是根据本申请实施例的确定第一参考点的示意图，如图4所示。目标车辆104被分为8等份，在等分点以数字0至7分别标注8个参考点，同时标注目标车辆104的中心点P和自动驾驶车辆102参考点M，x方向为自动驾驶车辆102行驶的方向，记为纵向方向，y方向与x方向垂直，记为横向方向。连接PM，依次分别计算PM与P0、P1、…、P7的夹角值，记为θi，其中，i的取值范围为从0至7的整数，在得到所有的夹角值之后，标记最小夹角值对应的参考点i，作为第一参考点。
通过上述步骤S301和步骤S302，本实施例在目标车辆上标注多个参考点，在计算多个参考点、目标车辆的中心点和自动驾驶车辆参考点之间的夹角之后，选择最小的夹角对应的参考点作为第一参考点，提高了对目标车辆的位置识别的精度。
在其中一些实施例中，将第一参考点和第二参考点进行融合包括：将第一参考点转移至第二参考点，将第二参考点作为该量测参考点。由于第一参考点可能来自于目标车辆的任何一个位置，而第二参考点相对固定，因此可以考虑将第一参考点转移至第二参考点的位置，在转移之后，将第一运动信息与第二运动信息进行加权计算，合成量测参考点。本实施例中，通过将第一参考点转移至第二参考点实现参考点融合，确定量测参考点，方便快捷，减小了计算量，提高了计算效率，同时提高了量测参考点选取的准确度。
可选地，根据目标车辆相对于自动驾驶车辆的运动方向，确定目标车辆的第二参考点具体为：在目标车辆相对于自动驾驶车辆的运动方向为同向的情况下，第二参考点为目标车辆的车尾框中心点；在目标车辆相对于自动驾驶车辆的运动方向为反向的情况下，第二参考点为目标车辆的车头框中心点；在目标车辆相对于自动驾驶车辆的运动方向为从左往右横穿的情况下，第二参考点为目标车辆的车身右侧框中心点；在目标车辆相对于自动驾驶车辆的运动方向为从右往左横穿的情况下，第二参考点为目标车辆的车身左侧框中心点。
如图4所示，目标车辆104相对于自动驾驶车辆102为同向运动，此时第二参考点对应0点，在计算夹角之后，第一参考点对应1点，因此需要将第一参考点从1点转移到0点，通过如下公式1计算第一参考点在0点处与自动驾驶车辆102的距离：
Figure BDA0002528628850000081
在公式1中，
Figure BDA0002528628850000082
表示第一参考点在0处的沿x方向的纵向距离、
Figure BDA0002528628850000083
表示第一参考点在0处的沿y方向的横向距离，
Figure BDA0002528628850000084
表示第一参考点在1处的纵向距离，
Figure BDA0002528628850000085
表示第一参考点在1处的横向距离，W为目标车辆104的车宽。
在将第一参考点和第二参考点进行融合之后，可以计算量测运动信息Z，计算公式如公式2所示：
Figure BDA0002528628850000086
在公式2中，量测运动信息Z包括目标车辆104距离自动驾驶车辆102的纵向距离x、横向距离y、纵向速度vx和横向速度vy，其中
Figure BDA0002528628850000087
是自动驾驶车辆102的车头中心点M距量测参考点的距离，
Figure BDA0002528628850000088
表示量测参考点与中心点M的纵向距离，
Figure BDA0002528628850000089
表示量测参考点与中心点M的横向距离，θ为第二运动信息中的目标车辆方位角。
Figure BDA00025286288500000810
分别为第一运动信息中的纵向速度和横向速度，
Figure BDA00025286288500000811
分别为第二运动信息中的纵向速度和横向速度。λ1和λ2表示权重，λ1≤1，λ2≤1。
在其中一些实施例中，图5是根据本申请实施例的数据关联的方法的流程图，如图5所示，该方法包括如下步骤：
步骤S501，计算第一运动信息与第二运动信息之间的差值，根据差值和与差值对应的权重值，计算关联得分。
本实施例中，第一运动信息与第二运动信息之间的差值包括：第一参考点与第二参考点之间的位置差值δx和δy、不同参考点下观测得到的目标车辆速度差值δv、加速度差值δa和方位角差值δh。在得到差值之后，可以通过如下公式3计算关联得分：
S＝k1δx+k2δy+k3δv+k4δa+k5δh 公式3
其中，S为关联得分，k1、k2、k3、k4和k5为权重值，且k1、k2、k3、k4和k5满足k1+k2+k3+k4+k5＝1。
步骤S502，在该关联得分大于关联阈值的情况下，判定该第一运动信息对应的车辆与该第二运动信息对应的车辆为该目标车辆。
用户可以根据需要自行设定关联阈值T。在S≥T的情况下，判定第一运动信息与第二运动信息为关联，并进行标记，在S<T的情况下，判定第一运动信息与第二运动信息描述的车辆为不同的车辆，不进行关联。
在本实施例中，在关联成功之后，可以进行参考点的融合，未关联成功需要对目标车辆重新进行观测和数据获取。
通过上述步骤S501和步骤S502，本实施例在对第一参考点和第二参考点进行融合之前，计算第一运动信息和第二运动信息的关联度，在第一运动信息与第二运动信息之间的关联度满足关联阈值的情况下，再对第一参考点和第二参考点进行融合，避免了对不同的车辆进行参考点融合计算，减少了计算量，提高了计算效率。
在其中一些实施例中，在计算目标车辆的量测运动信息之后，还需要对量测运动信息和时空配准后得到的预测运动信息，进行滤波计算，得到融合运动信息。本实施例中，滤波计算通过卡尔曼滤波完成，其中，卡尔曼滤波(Kalman Filtering)是一种利用线性系统状态方程，通过系统输入和输出的观测数据，对系统状态进行最优估计的算法。本实施例可以通过如下公式4得到融合运动信息：
X＝Xpre+K(Z-HXpre) 公式4
在公式4中，X为融合运动信息，Xpre为时空配准后的预测运动信息，Z为量测运动信息，H为观测矩阵，K为卡尔曼增益，卡尔曼增益可以根据实际数据进行调整。
本实施例通过将量测运动信息作为输入，进行滤波计算，使得最后输出的融合运动信息更加精确，减小对目标车辆位置估计的误差。
在其中一些实施例中，时空配准包括：以自动驾驶车辆坐标系为基准，将第一运动信息和第二运动信息进行空间同步；以第二运动信息中的时间信息为基准，将该第一运动信息中的时间信息进行配准。由于第一运动信息与第二运动信息可能通过不同的设备采集得到，因此二者空间位置和时间周期可能不同，需要进行时空配准以进行后续计算。时空配准后得到的预测运动信息如公式5所示：
Figure BDA0002528628850000101
在公式5中，xpre、ypre、
Figure BDA0002528628850000102
分别是时空配准后预测运动信息的纵向位置、横向位置、纵向速度、横向速度、纵向加速度和横向加速度。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种目标信息融合的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的目标信息融合的系统的结构框图，如图6所示，该系统包括探测装置61、图像采集装置62和中央处理器63：
探测装置61获取目标车辆的第一运动信息，该图像采集装置62获取该目标车辆的第二运动信息，该中央处理器63将该第一运动信息和该第二运动信息进行时空配准；中央处理器63还根据该目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点，根据该目标车辆相对于该自动驾驶车辆的运动方向，确定该目标车辆的第二参考点；中央处理器63将该第一参考点和该第二参考点进行融合，确定量测参考点，根据该量测参考点、该第一运动信息和该第二运动信息，计算该目标车辆的量测运动信息。
本实施例中的探测装置61可以为雷达，图像采集装置62可以为摄像头，中央处理器63在获取第一运动信息和第二运动信息之后，将目标车辆作为扩展目标，根据几何关系在目标车辆上的多个参考点中选取第一参考点，提高对目标车辆状态进行计算的精确度，解决了将大目标作为点目标进行雷达识别，使得融合输出的目标车辆的位置误差过大，容易引发FCW或AEB功能误触发的问题，提高了对大目标的位置识别精度，降低FCW或AEB功能的误报率。
下面通过优选实施例对本申请实施例进行描述和说明。
在采用单个前中置毫米波雷达和单个前视摄像头的情况下，毫米波雷达安装于自动驾驶车辆的车头部位，前视摄像头安装于自动驾驶车辆的车顶部位。在融合系统中，输入由毫米波雷达获取的关于目标车辆的第一运动信息、由摄像头获取的关于目标车辆的第二运动信息和自动驾驶车辆信息，其中，自动驾驶车辆信息包括速度、偏航角速度等。图7是根据本申请实施例的融合系统进行计算的示意图，如图7所示，融合系统在每一个扫描周期都按照图7所示的计算过程进行融合操作。
融合系统将第一运动信息和第二运动信息以自动驾驶车辆坐标系为基准进行空间同步，将毫米波雷达和摄像头中的各传感器数据统一至自动驾驶车辆坐标系中，然后以摄像头采样时刻为基准，将现有的初始航迹和第二运动信息进行时间配准。
一方面，在将目标车辆看做扩展目标的情况下，需要先判断毫米波雷达在获取第一运动信息时的第一参考点，本实施例中通过将目标车辆的车身分为八等份获取参考点，通过计算每个参考点对应的夹角，确定第一参考点的位置。其中，夹角的第一边线为自动驾驶车辆参考点与目标车辆的中心点之间的连线，夹角的第二边线为中心点与参考点之间的连线。
另一方面，摄像头基于图像特征分割或者深度学习的方法，可完成对目标车辆的边界框进行识别。一般来说，边界框的中心点即为摄像头目标参考点。摄像头对应的第二参考点相对于目标车辆的位置较固定，在摄像头可检测到目标车辆的前提下，按照目标车辆相对自动驾驶车辆的运动方向，选择第二参考点。
由于第一参考点有可能来自于目标车身的任何位置，因此可以将第一参考点转移至第二参考点，并将转移后的第一运动信息与第二运动信息进行加权计算，合成单个量测参考点。基于该量测参考点，通过卡尔曼滤波器，将融合后的量测运动信息与时空配准得到的预测运动信息进行滤波更新。
本实施例采用摄像头与雷达的分布式融合结构，摄像头与雷达中的传感器在融合操作前已完成一次对目标车辆的滤波跟踪操作，减轻了融合系统的计算负担，且系统造价较低。同时，本实施例将大目标看作扩展目标，引入目标车辆的参考点以实现对目标车辆的跟踪，与点目标相比，更能精确估计出目标车辆的状态。而且，采用摄像头与雷达的目标融合方案来跟踪扩展目标，相比激光雷达，成本更低，对于尺寸固定的目标，可利用摄像头直接输出目标尺寸，不需要利用高分辨率传感器通过每个扫描周期实时计算得到目标尺寸信息，更节约算力。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标信息融合的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图8是根据本申请实施例的电子设备的内部结构示意图，如图8所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标信息融合的方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的目标信息融合的方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的目标信息融合的方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标信息融合的方法，其特征在于，所述方法包括：
获取目标车辆在时空配准后的第一运动信息和第二运动信息；
根据所述目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点，根据所述目标车辆相对于所述自动驾驶车辆的运动方向，确定所述目标车辆的第二参考点；
将所述第一参考点和所述第二参考点进行融合，确定量测参考点，根据所述量测参考点、所述第一运动信息和所述第二运动信息，计算所述目标车辆的量测运动信息。
2.根据权利要求1所述的方法，其特征在于，所述几何关系为角度关系。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点包括：
在所述目标车辆上标注所述参考点，根据自动驾驶车辆参考点、所述目标车辆的中心点和所述参考点，计算夹角，其中，所述夹角的第一边线为所述自动驾驶车辆参考点与所述中心点之间的连线，所述夹角的第二边线为所述中心点与所述参考点之间的连线；
在所述夹角中，选择最小的所述夹角对应的所述参考点作为第一参考点。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一参考点和所述第二参考点进行融合包括：
将所述第一参考点转移至所述第二参考点，将所述第二参考点作为所述量测参考点。
5.根据权利要求1所述的方法，其特征在于，在所述确定第一参考点之前，所述方法还包括：
计算所述第一运动信息与所述第二运动信息之间的差值，根据所述差值和与所述差值对应的权重值，计算关联得分；
在所述关联得分大于关联阈值的情况下，判定所述第一运动信息对应的车辆与所述第二运动信息对应的车辆为所述目标车辆。
6.根据权利要求1所述的方法，其特征在于，在所述计算所述目标车辆的量测运动信息之后，所述方法还包括：
对所述量测运动信息和所述时空配准后得到的预测运动信息，进行滤波计算，得到融合运动信息。
7.根据权利要求1所述的方法，其特征在于，所述时空配准包括：
以所述自动驾驶车辆坐标系为基准，将所述第一运动信息和所述第二运动信息进行空间同步；
以所述第二运动信息中的时间信息为基准，将所述第一运动信息中的时间信息进行配准。
8.一种目标信息融合的系统，其特征在于，所述系统包括：探测装置、图像采集装置和中央处理器：
所述探测装置获取目标车辆的第一运动信息，所述图像采集装置获取所述目标车辆的第二运动信息，所述中央处理器将所述第一运动信息和所述第二运动信息进行时空配准；
所述中央处理器根据所述目标车辆的多个参考点分别与自动驾驶车辆的几何关系，确定第一参考点，根据所述目标车辆相对于所述自动驾驶车辆的运动方向，确定所述目标车辆的第二参考点；
所述中央处理器将所述第一参考点和所述第二参考点进行融合，确定量测参考点，根据所述量测参考点、所述第一运动信息和所述第二运动信息，计算所述目标车辆的量测运动信息。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202010511733.7A 2020-06-08 2020-06-08 目标信息融合的方法、系统、计算机设备和可读存储介质 Active CN111891124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010511733.7A CN111891124B (zh) 2020-06-08 2020-06-08 目标信息融合的方法、系统、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010511733.7A CN111891124B (zh) 2020-06-08 2020-06-08 目标信息融合的方法、系统、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111891124A true CN111891124A (zh) 2020-11-06
CN111891124B CN111891124B (zh) 2021-08-24

Family

ID=73206554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010511733.7A Active CN111891124B (zh) 2020-06-08 2020-06-08 目标信息融合的方法、系统、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111891124B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731320A (zh) * 2020-12-29 2021-04-30 福瑞泰克智能系统有限公司 车载雷达误差数据的估计方法、装置、设备及存储介质
CN113109798A (zh) * 2021-03-01 2021-07-13 福瑞泰克智能系统有限公司 目标检测方法、装置、计算机设备和存储介质
CN113177550A (zh) * 2021-05-12 2021-07-27 的卢技术有限公司 一种车牌识别方法、车牌识别装置、车牌识别系统及存储介质
CN113721240A (zh) * 2021-08-27 2021-11-30 中国第一汽车股份有限公司 一种目标关联方法、装置、电子设备及存储介质
CN114545385A (zh) * 2022-02-18 2022-05-27 华域汽车系统股份有限公司 一种基于车载前视摄像头和前向毫米波雷达的融合目标探测方法
CN115472005A (zh) * 2022-08-09 2022-12-13 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质
WO2024199192A1 (zh) * 2023-03-29 2024-10-03 北京罗克维尔斯科技有限公司 多传感器融合的车辆检测方法、装置、设备、介质及车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655561A (zh) * 2009-09-14 2010-02-24 南京莱斯信息技术股份有限公司 基于联合卡尔曼滤波的多点定位数据与雷达数据融合方法
CN104035071A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
US20190001978A1 (en) * 2017-06-29 2019-01-03 Denso Corporation Vehicle control method and apparatus
CN109975798A (zh) * 2019-03-26 2019-07-05 武汉理工大学 一种基于毫米波雷达与摄像头的目标检测方法
CN110285793A (zh) * 2019-07-08 2019-09-27 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
US20190337515A1 (en) * 2016-09-01 2019-11-07 Samsung Electronics Co., Ltd. Autonomous driving method and apparatus
CN111241224A (zh) * 2020-01-10 2020-06-05 福瑞泰克智能系统有限公司 目标距离估计的方法、系统、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655561A (zh) * 2009-09-14 2010-02-24 南京莱斯信息技术股份有限公司 基于联合卡尔曼滤波的多点定位数据与雷达数据融合方法
CN104035071A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
US20190337515A1 (en) * 2016-09-01 2019-11-07 Samsung Electronics Co., Ltd. Autonomous driving method and apparatus
US20190001978A1 (en) * 2017-06-29 2019-01-03 Denso Corporation Vehicle control method and apparatus
CN109975798A (zh) * 2019-03-26 2019-07-05 武汉理工大学 一种基于毫米波雷达与摄像头的目标检测方法
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110285793A (zh) * 2019-07-08 2019-09-27 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN111241224A (zh) * 2020-01-10 2020-06-05 福瑞泰克智能系统有限公司 目标距离估计的方法、系统、计算机设备和存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731320A (zh) * 2020-12-29 2021-04-30 福瑞泰克智能系统有限公司 车载雷达误差数据的估计方法、装置、设备及存储介质
CN113109798A (zh) * 2021-03-01 2021-07-13 福瑞泰克智能系统有限公司 目标检测方法、装置、计算机设备和存储介质
CN113177550A (zh) * 2021-05-12 2021-07-27 的卢技术有限公司 一种车牌识别方法、车牌识别装置、车牌识别系统及存储介质
CN113177550B (zh) * 2021-05-12 2024-04-09 的卢技术有限公司 一种车牌识别方法、车牌识别装置、车牌识别系统及存储介质
CN113721240A (zh) * 2021-08-27 2021-11-30 中国第一汽车股份有限公司 一种目标关联方法、装置、电子设备及存储介质
CN113721240B (zh) * 2021-08-27 2024-03-15 中国第一汽车股份有限公司 一种目标关联方法、装置、电子设备及存储介质
CN114545385A (zh) * 2022-02-18 2022-05-27 华域汽车系统股份有限公司 一种基于车载前视摄像头和前向毫米波雷达的融合目标探测方法
CN115472005A (zh) * 2022-08-09 2022-12-13 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质
CN115472005B (zh) * 2022-08-09 2023-12-19 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质
WO2024199192A1 (zh) * 2023-03-29 2024-10-03 北京罗克维尔斯科技有限公司 多传感器融合的车辆检测方法、装置、设备、介质及车辆

Also Published As

Publication number Publication date
CN111891124B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN111891124B (zh) 目标信息融合的方法、系统、计算机设备和可读存储介质
CN111428943B (zh) 障碍物车辆轨迹预测的方法、设备和计算机设备
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
CN110745140B (zh) 一种基于连续图像约束位姿估计的车辆换道预警方法
JP7388971B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
CN111976718B (zh) 自动泊车的控制方法和系统
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
JP7147420B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11842545B2 (en) Object collision prediction method and apparatus
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
CN113239719B (zh) 基于异常信息识别的轨迹预测方法、装置和计算机设备
CN112084810A (zh) 一种障碍物检测方法、装置、电子设备及存储介质
US20220055660A1 (en) Stationary object detection
CN110659548B (zh) 车辆及其目标检测方法、装置
CN113435237B (zh) 物体状态识别装置、识别方法和计算机可读的记录介质以及控制装置
CN111353510B (zh) 多传感器目标检测方法、装置、计算机设备和存储介质
CN111497741A (zh) 碰撞预警方法及装置
CN113335311B (zh) 一种车辆碰撞检测方法、装置、车辆及存储介质
CN114942430A (zh) 传感器数据的基于多假设的融合
US20230182728A1 (en) Collision determination apparatus, collision determination method, collision avoidance system
CN207281585U (zh) 一种基于ecu的行车控制装置
CN113227834A (zh) 用于车辆的传感器数据融合的方法和装置
CN111596288B (zh) 测量速度的方法、装置、车载终端和车载测速系统
JP2022093107A (ja) センサ評価システム、センサ評価装置、車両
JP7154470B2 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant