CN111634290A - 高级驾驶辅助的前向融合系统及方法 - Google Patents

高级驾驶辅助的前向融合系统及方法 Download PDF

Info

Publication number
CN111634290A
CN111634290A CN202010439915.8A CN202010439915A CN111634290A CN 111634290 A CN111634290 A CN 111634290A CN 202010439915 A CN202010439915 A CN 202010439915A CN 111634290 A CN111634290 A CN 111634290A
Authority
CN
China
Prior art keywords
information
vehicle
camera
fusion
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010439915.8A
Other languages
English (en)
Other versions
CN111634290B (zh
Inventor
郑艳
房旭龙
唐为林
张顺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayu Automotive Systems Co Ltd
Original Assignee
Huayu Automotive Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayu Automotive Systems Co Ltd filed Critical Huayu Automotive Systems Co Ltd
Priority to CN202010439915.8A priority Critical patent/CN111634290B/zh
Publication of CN111634290A publication Critical patent/CN111634290A/zh
Application granted granted Critical
Publication of CN111634290B publication Critical patent/CN111634290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种高级驾驶辅助的前向融合系统，包括依次连接的车载TBOX、摄像头和雷达；TBOX接收路侧信息并传输；摄像头和雷达均包括目标检测模块、融合模块和功能模块，目标检测模块检测得到相应的目标信息；摄像头和雷达融合模块分别对所对应的车载目标信息和路侧目标信息融合，随后将其与路侧地图信息或其他目标信息结合；功能模块分别根据对应融合模块的融合信息和车身信息等来实现不同的ADAS功能。本发明还提供前向融合方法。本发明的高级驾驶辅助的前向融合系统采用车载信息和路侧信息融合针对车载信息和路侧信息分别采用不同的策略在雷达ECU和/或摄像头ECU中进行融合以及实现不同的ADAS功能，可达到最小的时间延迟。

Description

高级驾驶辅助的前向融合系统及方法
技术领域
本发明属于ADAS领域，具体涉及一种高级驾驶辅助的前向融合系统及方法。
背景技术
传统的前向融合系统主要是车端的前视摄像头和前向雷达的1R1V(R：毫米波雷达，V：前视摄像头)融合。1R1V融合常常将数据融合和功能实现放在雷达ECU(electroniccontrol unit电子控制单元)或者摄像头ECU中来实现。
传统的前向融合系统的数据源是车端的前视摄像头和前向雷达的1R1V融合。由于(1)传感器的自身速度引起对目标速度的量测有误差；(2) 雷达和摄像头在不能重叠的区域中不能形成优势互补；(3)只能依靠单摄像头实施的功能如LDW、LKA等，在天气和光线不佳时，目标输出的准确率不高，因此，1R1V在应用上还存在缺陷。
随着互联网示范园区数量和质量的快速提升和5G通信的快速发展，高级自动驾驶辅助之前向融合系统的信息来源有机会包括更多的来自路侧单元的目标信息。此类来自路侧单元的目标信息除了车辆、行人之外，还可以涵盖最新的地图信息以及限速信号等，有效增强了前向融合系统目标输出的准确性和可靠性。
申请号为201710182832.3的专利文件，其公开了一种基于路侧设备的智能车辆地图融合系统及方法，其中车载设备的局部地图生成模块用于通过车载传感器检测主车周围环境，并且通过卫星定位设备位置、姿态信息；路侧设备发布各车辆的发布的位置、姿态和局部地图，并且通过地图融合模块实现信息融合和地图融合。上述基于路侧设备的智能车辆地图融合系统及方法通过本车和路侧单元的信息融合来构建一个实时地图模型，但上述信息融合的策略是统一的，没有根据不同的ADAS功能相应调整，只有地图信息的融合，没有传感器对于目标探测信息的融合，不能有效地消除单传感器带来的目标探测误差。
申请号为201810818601.1的专利文件所公开的行车主动避撞系统及方法同样经智能车载终端进行车载信息和路侧信息的融合，该融合在车载智能终端(相当于本发明中的TBOX)中实现，智能终端将该融合信息结果通过 5G回传到路侧单元，由路侧单元上载到云端实现了行车主动避撞即AEB功能，再将告警和控制请求发回到车载终端，由于其信息传送包含四个阶段： (1)从路侧单元将信息传送到车端；(2)从车端将融合结果传送到路侧单元； (3)从路侧单元将融合信息传送到云端；(4)将在云端完成功能实现后的控制信息传回到车端，此方法过多的通过网络进行的信息传送将带来较大的时延，且对网络质量的依赖较大。
发明内容
本发明的目的在于提供一种高级驾驶辅助的前向融合系统及方法，以实现基于车端传感器信息和路侧单元信息的融合，并在雷达ECU和摄像头 ECU中针对不同的功能提出不同的融合策略。
为了实现上述目的，本发明提供了一种高级驾驶辅助的前向融合系统，包括依次连接的车载TBOX、车载摄像头和车载雷达，所述车载雷达与一车身相连，设置为获取车身信息并将其转发给所述车载摄像头；所述车载TBOX 为路侧信息接收单元TBOX，其设置为接收路侧信息并传输，所述路侧信息包含：路侧雷达目标信息，包括路侧雷达的车辆、行人目标信息；路侧摄像头目标信息，包括路侧摄像头的车道线信息和车辆、行人目标信息；路侧地图信息，包括车道数量信息和车速限制信息；和路况信息，包括信号灯信息和交通事件信息；所述车载摄像头设置为接收所述路侧信息并转发，所述车载摄像头包括摄像头目标检测模块、摄像头融合模块和摄像头功能模块，所述摄像头目标检测模块设置为检测得到车载摄像头目标信息；所述摄像头融合模块设置为对所述车载摄像头目标信息和所述路侧摄像头目标信息进行融合以得到摄像头第一融合信息，所述摄像头第一融合信息对应于车道线目标和交通标志目标，随后将其与所述路侧地图信息结合得到摄像头地图融合信息，所述摄像头地图融合信息由车道线融合信息和车速限制信息组成；所述摄像头功能模块设置为根据所述摄像头地图融合信息和所述车身信息来实现交通标志控制辅助和车道保持辅助功能，并发出相应的减速度请求和扭矩控制请求；所述车载雷达接收经由所述车载摄像头转发的路侧信息和所述车载摄像头目标信息，所述车载雷达包括雷达目标检测模块、雷达融合模块和雷达功能模块，所述雷达目标检测模块设置为检测得到车载雷达目标信息；所述雷达融合模块设置为对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合，所述摄像头第二融合信息对应于车辆和行人目标，以得到雷达摄像头融合信息；所述雷达功能模块设置为根据所述摄像头地图融合信息、雷达摄像头融合信息、车身信息、路况信息和所述减速度请求和扭矩控制请求来实现紧急刹车辅助、自适应巡航、交通拥塞辅助和紧急车道保持功能。
所述车载摄像头目标信息包括用于得到摄像头第一融合信息的车载摄像头的车道线信息、车载摄像头的交通标志目标信息，以及用于得到摄像头第二融合信息的车载摄像头的车辆、行人目标信息；且所述车载雷达目标信息包括车载雷达的车辆、行人目标信息。
所述车载TBOX为包含有5G通信模块的信息接收器和处理器的电子控制单元，所述摄像头融合模块和摄像头功能模块安装在所述车载摄像头的电子控制单元中，所述雷达融合模块和雷达功能模块安装在所述车载雷达的电子控制单元中。
另一方面，本发明提供一种高级驾驶辅助的前向融合方法，包括：
S1：将车载TBOX、车载摄像头和车载雷达依次连接，并将车载雷达与一车身相连，所述车载摄像头包括摄像头目标检测模块、摄像头融合模块和摄像头功能模块，所述车载雷达包括雷达目标检测模块、雷达融合模块和雷达功能模块，采用所述车载雷达获取车身信息并将其转发给所述车载摄像头；
S2：采用所述车载TBOX 1接收路侧信息并传输，所述路侧信息包含：路侧雷达目标信息，包括路侧雷达的车辆、行人目标信息；路侧摄像头目标信息，包括路侧摄像头的车道线信息和车辆、行人目标信息；路侧地图信息，包括车道数量信息和车速限制信息；和路况信息，包括信号灯信息和交通事件信息；
S3：采用所述车载摄像头接收所述路侧信息并转发，采用所述摄像头目标检测模块检测得到车载摄像头目标信息；
S4：采用所述摄像头融合模块对所述车载摄像头目标信息和所述路侧摄像头目标信息进行融合以得到摄像头第一融合信息，所述摄像头第一融合信息对应于车道线目标和交通标志目标，随后将其与所述路侧地图信息结合得到摄像头地图融合信息，所述摄像头地图融合信息由车道线融合信息和车速限制信息组成；
S5：采用所述摄像头功能模块根据所述摄像头地图融合信息和所述车身信息来实现交通标志控制辅助和车道保持辅助功能，并发出相应的减速度请求和扭矩控制请求；
S6：采用所述车载雷达接收经由所述车载摄像头转发的路侧信息和所述车载摄像头目标信息，采用所述雷达目标检测模块检测得到车载雷达目标信息；
S7：采用所述雷达融合模块对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合，所述摄像头第二融合信息对应于车辆和行人目标，以得到雷达摄像头融合信息；
S8：采用所述雷达功能模块根据所述摄像头地图融合信息、雷达摄像头融合信息、车身信息、路况信息和所述减速度请求和扭矩控制请求来实现紧急刹车辅助、自适应巡航、交通拥塞辅助和紧急车道保持功能。
所述车载摄像头目标信息包括用于得到摄像头第一融合信息的车载摄像头的车道线信息、车载摄像头的交通标志目标信息，以及用于得到摄像头第二融合信息的车载摄像头的车辆、行人目标信息；且所述车载雷达目标信息包括车载雷达的车辆、行人目标信息。
所述步骤S4包括：
S41：判断车身坐标系和TBOX空间坐标系是否对齐，若否，将车身坐标系和TBOX空间坐标系对齐，否则跳过该步骤；
S42：判断车载摄像头目标信息与路侧摄像头目标信息的时间是否对齐，若否，则将车载摄像头目标信息与路侧摄像头目标信息的时间内推或外推以使时间对齐，若是，则跳过该步骤；
S43：对所述车载摄像头的车道线信息和所述路侧摄像头的车道线信息进行融合并与车载摄像头的交通标志目标信息结合以得到摄像头第一融合信息，随后将其与所述路侧地图信息结合得到摄像头地图融合信息；
S44：将摄像头地图融合信息输出给所述摄像头功能模块。
在所述步骤S43中，所述车速限制信息包含限速信息、限速撤销信息和这两种信息的起始位置，所述车速限制信息由所述路侧地图信息给出，且结合所述车载摄像头的交通标志目标信息进行辅助确认来最终输出得到；所述车道线融合信息是通过所述车载摄像头的车道线信息和所述路侧摄像头的车道线信息进行融合得到摄像头第一融合信息，随后将其与所述路侧地图信息结合来得到。
在所述步骤S5中，所述交通标志控制辅助功能通过获取摄像头地图融合信息中的车速限制信息，进行限速识别，根据识别结果发出相应的减速度请求来实现；所述车道保持辅助功能通过获取摄像头地图融合信息中的车位线信息，进行车道线处理，并结合车身信息进行轨迹规划，随后进行角度计算和扭矩计算，并发出相应的扭矩控制请求来实现。
所述步骤S7包括：
S71：判断车身坐标系和TBOX空间坐标系是否对齐，若否，将车身坐标系和TBOX空间坐标系对齐，否则跳过该步骤；
S72：判断车载雷达目标信息与路侧雷达目标信息的时间是否对齐，若否，则将车载雷达目标信息与路侧雷达目标信息的时间内推或外推以使时间对齐，若是，则跳过该步骤；
S73：对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，所述雷达融合信息包括车辆和行人信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合；
S74：将所述雷达摄像头融合信息输出给所述雷达功能模块。
本发明的高级驾驶辅助的前向融合系统采用车载信息和路侧信息融合，从路侧单元通过5G网络下载地图模型、车辆、车道线以及交通标志信息，从车载雷达和摄像头接收车辆、车道线、交通标志信息，对这些所有信息分别采用不同的策略来在车端的雷达ECU和/或摄像头ECU中进行融合以及实现不同的ADAS功能，从而可以达到最小的时间延迟，这些功能包含AEB (紧急刹车辅助)、ACC(自适应巡航)、LKA(车道保持辅助)、TJA(交通拥塞辅助)、ELK(紧急车道保持)、TSA(交通标志控制辅助)等；此外，本发明的所有信息融合、功能实现、控制请求都在车端的雷达ECU和摄像头 ECU中完成，需要通过5G网络传输的内容只包含从路侧单元到车端这一个传送过程，延迟时间小。
本发明的高级驾驶辅助的前向融合系统采用路侧雷达和车端雷达对目标探测的第一级融合，增强了融合目标输出的准确性，相对摄像头而言，雷达在对目标的纵向速度和距离探测方面精度比摄像头更高，而通过两个雷达探测结果进行融合得到的目标的纵向速度和距离能够更大程度地降低与真值相对比的方差，从而能够得到一个更加稳定和平滑的目标输出，能够更好地和摄像头目标信息进行融合，进而可以实现AEB、ACC、TJA和ELK功能；本发明在车辆端增加路侧信息接收器，相对于车端传感器，其输出目标的位置精度和速度精度更高，可以提高前向融合系统的可靠性；其提供的路侧地图信息和交通事件信息，提高了功能实现的安全性，具体来说，采用的路侧地图信息提供了各车辆和车道线之间的相对位置关系，弥补了摄像头近端由于 FOV(Field of Vision，视场角)有限而形成的车道线视觉盲区，提供了更加完整的车道线信息；同时路侧信息弥补了摄像头不能对近端盲区内的车辆进行识别的局限；路侧地图信息能够提供远大于摄像头视场范围的远端车道线信息，为LKA、TSA功能的实现提供了有效的控制预测，使功能实现时更加平滑，乘客有更舒适的驾乘体验。此外，由于本发明前向融合系统的目标融合在其融合模块中实现并直接传送给其功能模块以实现相应功能，因此不需要将融合结果传送到云端，减小了时延和对网络的依赖性。
附图说明
图1为本发明的高级驾驶辅助的前向融合系统的系统架构图；
图2为本发明的高级驾驶辅助的前向融合系统的系统功能框图；
图3为本发明的高级驾驶辅助的前向融合系统的数据融合单元的功能框图；
图4为图3所示的数据融合单元的摄像头融合模块的工作流程图；
图5为车道线融合信息中的车道线方程的数轴和原点的位置示意图。
图6为图3所示的数据融合单元的摄像头功能模块的工作流程图；
图7为图3所示的数据融合单元的雷达融合模块的工作流程图；
图8为图3所示的数据融合单元的雷达功能模块的工作流程图。
具体实施方式
以下结合具体实施例，对本发明做进一步说明。应理解，以下实施例仅用于说明本发明而非用于限制本发明的范围。
如图1-图2所示为根据本发明的一个实施例的高级驾驶辅助的前向融合系统。所述高级驾驶辅助的前向融合系统包括依次连接的车载TBOX 1、车载摄像头2和车载雷达3以及与所述车载TBOX 1、车载摄像头2和车载雷达3均电连接的车身电源4，该车身电源4设置为为车载TBOX 1、车载摄像头2和车载雷达3供电。
所述车载TBOX 1为路侧信息接收单元TBOX，其安装在车辆的车内后视镜背后或附近位置，其与路侧雷达感知单元、路侧摄像头感知单元、路侧高清地图接收单元相连，设置为接收路侧信息并传输，所述路侧信息包含： 1)路侧雷达目标信息，包括路侧雷达的车辆、行人目标信息；2)路侧摄像头目标信息，包括路侧摄像头的车道线信息和车辆、行人目标信息；3)路侧地图信息，包括车道数量信息和车速限制信息；4)路况信息，包括信号灯信息和交通事件信息。在本实施例中，所述车载TBOX 1为ECU(电子控制单元)，该ECU包含有5G通信模块的信息接收器和处理器。TBOX在不增加额外成本的情况下输出的目标信息还可以为ADAS其它功能如LCA(变道辅助)，DOW(开门预警)，RCTA(倒车预警)，RCW(后向碰撞预警)等所用，但这些功能的实现需要配合车载后向雷达使用，本发明只讨论前向融合，因此所述功能的实现方式不在本发明的讨论范围。
所述车载摄像头2为前向高清单目摄像头，其安装于车辆的前挡风玻璃的正后方。所述车载摄像头2和所述车载TBOX 1通过第一网线PCAN1 连接，设置为接收车载TBOX 1传输的路侧信息并转发。所述车载摄像头2 包括摄像头目标检测模块21、摄像头融合模块22和摄像头功能模块23。所述摄像头目标检测模块21设置为检测得到车载摄像头目标信息，车载摄像头目标信息包括用于得到摄像头第一融合信息的车载摄像头的车道线信息、车载摄像头的交通标志目标信息，以及用于得到摄像头第二融合信息的车载摄像头的车辆、行人目标信息。摄像头融合模块22和摄像头功能模块23安装在所述车载摄像头2的电子控制单元中。
所述车载雷达3为前向长距离毫米波雷达，其安装于车辆的进气格栅的正下方。所述车载雷达3和车载摄像头2通过第二网线PCAN2连接，设置为通过第二网线PCAN2接收经由所述车载摄像头2转发的路侧信息和来自所述车载摄像头2的车载摄像头目标信息，且所述车载雷达3通过VCAN 与一车身相连，设置为获取并将车身信息通过第二网线PCAN2转发给所述车载摄像头2。所述车载雷达3包括雷达目标检测模块31、雷达融合模块32 和雷达功能模块33。所述雷达目标检测模块31设置为检测得到车载雷达目标信息，所述车载雷达目标信息包括车载雷达的车辆、行人目标信息。所述雷达融合模块32和雷达功能模块33安装在所述车载雷达3的电子控制单元中。
所述摄像头融合模块22、摄像头功能模块23、雷达融合模块32组成一数据融合单元，对车载雷达11、车载摄像头12和车载TBOX 13接收的各类目标信息进行数据融合处理，输出车辆控制相关信息，可以用来实现AEB (紧急刹车辅助)、ACC(自适应巡航)、LKA(车道保持辅助)、TJA(交通拥塞辅助)和ELK(紧急车道保持)功能。
下面结合图3详细描述所述数据融合单元的具体结构。
如图3所示，所述摄像头融合模块22设置为对所述车载摄像头目标信息和所述路侧摄像头目标信息进行融合以得到摄像头第一融合信息，所述摄像头第一融合信息对应于车道线目标和交通标志目标，随后将其与所述路侧地图信息结合得到摄像头地图融合信息，所述摄像头地图融合信息由车道线融合信息和车速限制信息组成。
具体地，如图4所示，所述摄像头融合模块22设置为执行如下步骤：
首先，判断车身坐标系和TBOX空间坐标系是否对齐，若否，将车身坐标系和TBOX空间坐标系对齐，否则跳过该步骤；
其中，车身坐标系是在车载摄像头2或者车载雷达3安装好之后，以任意一个传感器(即车载摄像头2或者车载雷达3)的安装位置在地面的投影作为原点形成的坐标系，是世界坐标系的线性平移。TBOX的空间坐标系，是指TBOX得到的路侧传感器探测到的目标的位置，以路侧设备在安装位置在地面的投影作为原点形成的坐标系，也是世界坐标系的线性平移。车身坐标系和TBOX空间坐标系通过线性平移来实现对齐。
其次，判断车载摄像头目标信息与路侧摄像头目标信息的时间是否对齐，若否，则将车载摄像头目标信息与路侧摄像头目标信息的时间内推或外推以使时间对齐，若是，则跳过该步骤；
其中，车载摄像头目标信息与路侧摄像头目标信息均含有时间戳信息，根据时间戳来判断两者的时间是否对齐。对于时间未能对齐的同一个目标，通过时间内推/外推(即，时间插值或者时间采样的方式)来计算车载摄像头目标信息与路侧摄像头目标信息的目标在同一时间点的属性信息。车载雷达和路侧雷达之间的时间对齐含义类似。
随后，如图3和图4所示，对所述车载摄像头的车道线信息和所述路侧摄像头的车道线信息进行融合并与车载摄像头的交通标志目标信息结合以得到摄像头第一融合信息，随后将其与所述路侧地图信息结合得到摄像头地图融合信息，所述摄像头地图融合信息由车道线融合信息和车速限制信息组成；
其中，车速限制信息包含限速信息、限速撤销信息和这两种信息的起始位置。所述车速限制信息由所述路侧地图信息给出，因此存在于所述路侧地图信息中，而不存在于摄像头第一融合信息中，且其可以结合所述车载摄像头的交通标志目标信息进行辅助确认来最终输出得到。
车道线融合信息包含车道数量信息、自车所处车道信息和自车与每一条车道线的相对位置关系。所述车道线融合信息是通过所述车载摄像头的车道线信息和所述路侧摄像头的车道线信息进行融合得到摄像头第一融合信息，随后将其与所述路侧地图信息结合来得到。
所述车道线融合信息中的自车与每一条车道线的相对位置关系常用三次多项式来表示。由于车道数量往往不止为一，因此自车与每一条车道线的位置关系都可以用这样的三次多项式来表示。实际应用中，本车道的车道线方程为重点关注对象，左右相邻车道线方程为主要关注对象。
如图5所示，所述自车与每一条车道线的相对位置关系(即车道线方程)为：
Y＝C3X3+C2X2+C1X+C0，
其中，C3和C2主要由路侧地图信息和路侧摄像头的车道线信息中的车道线方程决定，C1和C0主要由车载摄像头的车道线信息中的车道线方程决定， X和Y为车道线上的各个点相对于坐标原点o，即为摄像头安装位置在地面的投影点的横坐标和纵坐标。X和Y的单位一般为米，精确到小数点后两位。
最终，将摄像头地图融合信息输出给一摄像头功能模块23。
如图3和图6所示，所述摄像头功能模块23包括TSA功能模块和LKA 功能模块，其设置为根据所述摄像头地图融合信息和所述车身信息来实现 TSA(交通标志控制辅助)和LKA(车道保持辅助)功能，并发出相应的减速度请求和扭矩控制请求。
再请参见图3，所述雷达融合模块32设置为对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合，所述摄像头第二融合信息对应于车辆和行人目标，以得到雷达摄像头融合信息。
如图7所示，所述雷达融合模块32设置为执行如下步骤：
首先，判断车身坐标系和TBOX空间坐标系是否对齐，若否，将车身坐标系和TBOX空间坐标系对齐，否则跳过该步骤；
其次，判断车载雷达目标信息与路侧雷达目标信息的时间是否对齐，若否，则将车载雷达目标信息与路侧雷达目标信息的时间内推或外推以使时间对齐，若是，则跳过该步骤；
其中，车载雷达目标信息与路侧雷达目标信息均含有时间戳信息，根据时间戳来判断两者的时间是否对齐。对于时间未能对齐的同一个目标，通过时间内推/外推(即，时间插值或者时间采样的方式)来计算车载雷达目标信息与路侧雷达目标信息的目标在同一时间点的属性信息。
接着，对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，所述雷达融合信息包括车辆和行人信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合，以得到雷达摄像头融合信息。
其中，雷达功能模块33中的所有目标信息均对应于车辆和行人目标。在该雷达功能模块33中，雷达融合信息来自于车载雷达和路侧雷达的输入，摄像头第二融合信息来自于车载摄像头和路侧摄像头的输入，即由车载摄像头的车辆、行人目标信息以及路侧摄像头的车辆、行人目标信息融合得到。最后得到的雷达摄像头融合信息，其输入是雷达融合信息和摄像头第二融合信息。
其中，在对所述车载雷达目标信息和所述路侧雷达目标信息进行融合时，二者的同一个车辆或行人目标的速度求加权和，纵向距离取车载雷达对该目标的探测距离，由此，输出的雷达融合信息被认为是雷达的探测到的前方车辆/行人目标的速度和距离。在所述车载摄像头目标信息和所述路侧摄像头目标信息进行融合时，输出的雷达摄像头融合信息的目标的速度为二者对同一车辆或行人目标的速度的加权和，目标的类型为车载摄像头的目标类型，该目标的距离为二者对同一目标的距离的加权和。
最终，将雷达摄像头融合信息输出给一雷达功能模块33。
如图3和图8所示，所述雷达功能模块33安装于所述车载雷达3的ECU中，包括AEB功能模块、ACC功能模块、TJA功能模块和ELK功能模块，其设置为根据所述摄像头地图融合信息、雷达摄像头融合信息、车身信息、路况信息和所述摄像头功能模块23的减速度请求和扭矩控制请求来实现 AEB(紧急刹车辅助)、ACC(自适应巡航)、TJA(交通拥塞辅助)和ELK (紧急车道保持)功能。
基于上文所述的高级驾驶辅助的前向融合系统，所实现的高级驾驶辅助的前向融合方法包括以下步骤：
步骤S1：将车载TBOX 1、车载摄像头2和车载雷达3依次连接，并将车载雷达3与一车身相连，所述车载摄像头2包括摄像头目标检测模块21、摄像头融合模块22和摄像头功能模块23，所述车载雷达3包括雷达目标检测模块31、雷达融合模块32和雷达功能模块33，采用所述车载雷达3获取车身信息并将其转发给所述车载摄像头2；
步骤S2：采用所述车载TBOX 1接收路侧信息并传输；
步骤S3：采用所述车载摄像头2接收所述路侧信息并转发，采用所述摄像头目标检测模块21检测得到车载摄像头目标信息；
步骤S4：采用所述摄像头融合模块22对所述车载摄像头目标信息和所述路侧摄像头目标信息进行融合以得到摄像头第一融合信息，所述摄像头第一融合信息对应于车道线目标和交通标志目标，随后将其与所述路侧地图信息结合得到摄像头地图融合信息，所述摄像头地图融合信息由车道线融合信息和车速限制信息组成；
如图4所示，所述步骤S4具体包括：
步骤S41：判断车身坐标系和TBOX空间坐标系是否对齐，若否，将车身坐标系和TBOX空间坐标系对齐，否则跳过该步骤；
其中，摄像头融合模块22中的车身坐标系与TBOX空间坐标系的对齐判断与上文的雷达融合模块32中车身坐标系与TBOX空间坐标系的对齐方法是一致的。
步骤S42：判断车载摄像头目标信息与路侧摄像头目标信息的时间是否对齐，若否，则将车载摄像头目标信息与路侧摄像头目标信息的时间内推或外推以使时间对齐，若是，则跳过该步骤；
其中，车载摄像头目标信息与路侧摄像头目标信息均含有时间戳信息，根据时间戳来判断两者的时间是否对齐。对于时间未能对齐的同一个目标，通过时间内推/外推(即，时间插值或者时间采样的方式)来计算车载摄像头目标信息与路侧摄像头目标信息的目标在同一时间点的属性信息。车载雷达和路侧雷达之间的时间对齐含义类似。
步骤S43：如图3和图4所示，对所述车载摄像头的车道线信息和所述路侧摄像头的车道线信息进行融合并与车载摄像头的交通标志目标信息结合以得到摄像头第一融合信息，随后将其与所述路侧地图信息结合得到摄像头地图融合信息，所述摄像头地图融合信息由车道线融合信息和车速限制信息组成；
其中，车速限制信息包含限速信息、限速撤销信息和这两种信息的起始位置。所述车速限制信息由所述路侧地图信息给出，因此存在于所述路侧地图信息中，而不存在于摄像头第一融合信息中，且其可以结合所述车载摄像头的交通标志目标信息进行辅助确认来最终输出得到。
车道线融合信息包含车道数量信息以及自车所处车道信息和自车与每一条车道线的相对位置关系。所述车道线融合信息是通过所述车载摄像头的车道线信息和所述路侧摄像头的车道线信息进行融合得到摄像头第一融合信息，随后将其与所述路侧地图信息中的车道数量信息结合来得到。
所述车道线融合信息常用三次多项式来表示，为：
Y＝C3X3+C2X2+C1X+C0，
其中，C3和C2主要由路侧地图信息中的车道数量信息和路侧摄像头的车道线信息中的车道线方程决定，C1和C0主要由车载摄像头的车道线信息中的车道线方程决定。
步骤S44：将摄像头地图融合信息输出给所述摄像头功能模块23。
步骤S5：采用所述摄像头功能模块23根据所述摄像头地图融合信息和所述车身信息来实现TSA(交通标志控制辅助)和LKA(车道保持辅助) 功能，并发出相应的减速度请求和扭矩控制请求；
如图6所示，在所述步骤S5中，TSA功能通过获取摄像头地图融合信息中的车速限制信息，进行限速识别，根据识别结果发出相应的减速度请求来实现。TSA功能的信息源包含(1)车载摄像头的交通标志信息(2)路侧地图的车速限制信息。LKA功能通过获取摄像头地图融合信息中的车位线信息，进行车道线处理，并结合车身信息进行轨迹规划，随后进行角度计算和扭矩计算，并发出相应的扭矩控制请求来实现。LKA功能的信息源包含(1) 车载摄像头的车道线信息(2)路侧摄像头的车道线信息(3)路侧地图信息。
步骤S6：采用所述车载雷达3接收经由所述车载摄像头转发的路侧信息和所述车载摄像头目标信息，采用所述雷达目标检测模块31检测得到车载雷达目标信息；
步骤S7：采用所述雷达融合模块32对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合，所述摄像头第二融合信息对应于车辆和行人目标，以得到雷达摄像头融合信息；
其中，所述步骤S7包括：
步骤S71：判断车身坐标系和TBOX空间坐标系是否对齐，若否，将车身坐标系和TBOX空间坐标系对齐，否则跳过该步骤；
步骤S72：判断车载雷达目标信息与路侧雷达目标信息的时间是否对齐，若否，则将车载雷达目标信息与路侧雷达目标信息的时间内推或外推以使时间对齐，若是，则跳过该步骤；
其中，车载雷达目标信息与路侧雷达目标信息均含有时间戳信息，根据时间戳来判断两者的时间是否对齐。对于时间未能对齐的同一个目标，通过时间内推/外推(即，时间插值或者时间采样的方式)来计算车载雷达目标信息与路侧雷达目标信息的目标在同一时间点的属性信息。
步骤S73：对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，所述雷达融合信息包括车辆和行人信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合。
其中，在对所述车载雷达目标信息和所述路侧雷达目标信息进行融合时，二者的同一个目标的速度求加权和，纵向距离取车载雷达对该目标的探测距离，由此，输出的雷达融合信息被认为是雷达的探测到的前方车辆/行人目标的速度和距离。在所述车载摄像头目标信息和所述路侧摄像头目标信息进行融合时，输出的雷达摄像头融合信息的目标的速度为二者对同一目标的速度的加权和，目标的类型为车载摄像头的目标类型，该目标的距离为二者对同一目标的距离的加权和。
步骤S74：将雷达摄像头融合信息输出给一雷达功能模块33。
步骤S8：采用所述雷达功能模块33根据所述摄像头地图融合信息、雷达摄像头融合信息、车身信息、路况信息和所述减速度请求和扭矩控制请求来实现AEB(紧急刹车辅助)、ACC(自适应巡航)、TJA(交通拥塞辅助) 和ELK(紧急车道保持)功能。其中，路侧信息中所包含的路况信息，可以作为雷达功能模块33各种功能的功能请求的判断依据之一。
在本实施例中，雷达功能模块33还接收摄像头模块22中摄像头地图融合信息作为其信息源，并根据摄像头地图融合信息和上述的雷达摄像头融合信息、所述车身信息、路况信息和所述减速度请求和扭矩控制请求来实现 AEB(紧急刹车辅助)、ACC(自适应巡航)、TJA(交通拥塞辅助)和ELK (紧急车道保持)功能。在其他实施例中，若仅仅需要实现AEB(紧急刹车辅助)功能，雷达功能模块33可以仅仅根据所述雷达摄像头融合信息和车身信息来实现AEB(紧急刹车辅助)。
在所述步骤S8中，如图8所示，所述AEB功能的实现包括以下步骤：根据所述雷达摄像头融合信息和车身信息对目标进行运动轨迹预测，随后进行目标选取，所述目标为行驶前进方向的车辆和行人，选择的目标为最有可能成为碰撞目标的那一个目标。对目标进行的运动轨迹预测根据滤波算法进行，尤其是卡尔曼滤波算法使用比较常见；随后计算碰撞风险，根据计算结果向车身发出相应的避撞减速请求，该避撞减速请求包括紧急制动请求和紧急告警请求。AEB功能的信息源包含(1)车载雷达的车辆、行人目标信息 (2)车载摄像头的车辆、行人目标信息(3)路侧雷达的车辆、行人目标信息(4)路侧地图信息。其中(1)(2)(3)均用于目标轨迹预测和目标选取， (4)仅用于目标选取。
所述ACC功能的实现包括以下步骤：根据所述雷达摄像头融合信息和车身信息进行运动轨迹预测，随后进行跟随目标选取，所述跟随目标为行驶前进方向的车辆，进行速度、时距、弯道和限速控制，并结合所述摄像头功能模块23的减速度请求向车身发出相应的需求减速度请求，该需求减速度请求包括报警接管请求、扭矩控制请求和制动控制请求。ACC功能的信息源包含(1)车载雷达的车辆目标信息(2)车载摄像头的车辆目标信息、车道线信息、交通标志目标信息(3)路侧雷达的车辆目标信息(4)路侧摄像头的车道线信息(5)路侧地图信息中的车速限制信息。其中(1)(2)(3)(4) 决定ACC的跟随目标，(5)用于进行控制并发送相应的需求减速度请求。
所述TJA功能的实现包括以下步骤：根据所述雷达摄像头融合信息和车身信息进行运动轨迹预测，随后进行目标选取，所述目标为行驶前进方向的车辆和行人，进行速度、时距、弯道和限速控制，并结合所述摄像头功能模块23的减速度请求向车身发出相应的需求减速度请求，该需求减速度请求仅仅包括制动控制请求，通过所述制动控制请求和所述摄像头功能模块23 的扭矩控制请求实现所述TJA功能。TJA功能的信息源包含(1)车载雷达的车辆、行人目标信息(2)车载摄像头的车辆、行人目标信息和车道线信息 (3)路况信息。由于TJA功能在目标的选取和控制策略上，其实是ACC功能和LKA功能的结合，因此设置在雷达功能模块33中。
所述ELK功能通过所述第二功能模块的扭矩控制请求来实现。ELK 功能的信息源包含(1)车载雷达的车辆目标信息(2)车载摄像头的车辆目标信息、车道线信息(3)路侧雷达的车辆目标信息。
以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。

Claims (10)

1.一种高级驾驶辅助的前向融合系统，其特征在于，包括依次连接的车载TBOX(1)、车载摄像头(2)和车载雷达(3)，所述车载雷达(3)与一车身相连，设置为获取车身信息并将其转发给所述车载摄像头(2)；
所述车载TBOX(1)为路侧信息接收单元TBOX，其设置为接收路侧信息并传输，所述路侧信息包含：
路侧雷达目标信息，包括路侧雷达的车辆、行人目标信息；
路侧摄像头目标信息，包括路侧摄像头的车道线信息和车辆、行人目标信息；
路侧地图信息，包括车道数量信息和车速限制信息；和
路况信息，包括信号灯信息和交通事件信息；
所述车载摄像头(2)设置为接收所述路侧信息并转发，所述车载摄像头(2)包括摄像头目标检测模块(21)、摄像头融合模块(22)和摄像头功能模块(23)，所述摄像头目标检测模块(21)设置为检测得到车载摄像头目标信息；所述摄像头融合模块(22)设置为对所述车载摄像头目标信息和所述路侧摄像头目标信息进行融合以得到摄像头第一融合信息，所述摄像头第一融合信息对应于车道线目标和交通标志目标，随后将其与所述路侧地图信息结合得到摄像头地图融合信息，所述摄像头地图融合信息由车道线融合信息和车速限制信息组成；所述摄像头功能模块(23)设置为根据所述摄像头地图融合信息和所述车身信息来实现交通标志控制辅助和车道保持辅助功能，并发出相应的减速度请求和扭矩控制请求；
所述车载雷达(3)接收经由所述车载摄像头转发的路侧信息和所述车载摄像头目标信息，所述车载雷达(3)包括雷达目标检测模块(31)、雷达融合模块(32)和雷达功能模块(33)，所述雷达目标检测模块(31)设置为检测得到车载雷达目标信息；所述雷达融合模块(32)设置为对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合，所述摄像头第二融合信息对应于车辆和行人目标，以得到雷达摄像头融合信息；所述雷达功能模块(33)设置为根据所述摄像头地图融合信息、雷达摄像头融合信息、车身信息、路况信息和所述减速度请求和扭矩控制请求来实现紧急刹车辅助、自适应巡航、交通拥塞辅助和紧急车道保持功能。
2.根据权利要求1所述的高级驾驶辅助的前向融合系统，其特征在于，所述车载摄像头目标信息包括用于得到摄像头第一融合信息的车载摄像头的车道线信息、交通标志目标信息，以及用于得到摄像头第二融合信息的车载摄像头的车辆、行人目标信息；且所述车载雷达目标信息包括车载雷达的车辆、行人目标信息。
3.根据权利要求1所述的高级驾驶辅助的前向融合系统，其特征在于，所述车载TBOX(1)为包含有5G通信模块的信息接收器和处理器的电子控制单元，所述摄像头融合模块(22)和摄像头功能模块(23)安装在所述车载摄像头(2)的电子控制单元中，所述雷达融合模块(32)和雷达功能模块(33)安装在所述车载雷达(3)的电子控制单元中。
4.一种高级驾驶辅助的前向融合方法，其特征在于，包括：
步骤S1：将车载TBOX(1)、车载摄像头(2)和车载雷达(3)依次连接，并将车载雷达(3)与一车身相连，所述车载摄像头(2)包括摄像头目标检测模块(21)、摄像头融合模块(22)和摄像头功能模块(23)，所述车载雷达(3)包括雷达目标检测模块(31)、雷达融合模块(32)和雷达功能模块(33)，采用所述车载雷达(3)获取车身信息并将其转发给所述车载摄像头(2)；
步骤S2：采用所述车载TBOX(1)接收路侧信息并传输，所述路侧信息包含：
路侧雷达目标信息，包括路侧雷达的车辆、行人目标信息；
路侧摄像头目标信息，包括路侧摄像头的车道线信息和车辆、行人目标信息；
路侧地图信息，包括车道数量信息和车速限制信息；和
路况信息，包括信号灯信息和交通事件信息；
步骤S3：采用所述车载摄像头(2)接收所述路侧信息并转发，采用所述摄像头目标检测模块(21)检测得到车载摄像头目标信息；
步骤S4：采用所述摄像头融合模块(22)对所述车载摄像头目标信息和所述路侧摄像头目标信息进行融合以得到摄像头第一融合信息，所述摄像头第一融合信息对应于车道线目标和交通标志目标，随后将其与所述路侧地图信息结合得到摄像头地图融合信息，所述摄像头地图融合信息由车道线融合信息和车速限制信息组成；
步骤S5：采用所述摄像头功能模块(23)根据所述摄像头地图融合信息和所述车身信息来实现交通标志控制辅助和车道保持辅助功能，并发出相应的减速度请求和扭矩控制请求；
步骤S6：采用所述车载雷达(3)接收经由所述车载摄像头转发的路侧信息和所述车载摄像头目标信息，采用所述雷达目标检测模块(31)检测得到车载雷达目标信息；
步骤S7：采用所述雷达融合模块(32)对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合，所述摄像头第二融合信息对应于车辆和行人目标，结合以得到雷达摄像头融合信息；
步骤S8：采用所述雷达功能模块(33)根据所述摄像头地图融合信息、雷达摄像头融合信息、车身信息、路况信息和所述减速度请求和扭矩控制请求来实现紧急刹车辅助、自适应巡航、交通拥塞辅助和紧急车道保持功能。
5.根据权利要求4所述的高级驾驶辅助的前向融合方法，其特征在于，所述车载摄像头目标信息包括用于得到摄像头第一融合信息的车载摄像头的车道线信息、交通标志目标信息，以及用于得到摄像头第二融合信息的车载摄像头的车辆、行人目标信息；且所述车载雷达目标信息包括车载雷达的车辆、行人目标信息。
6.根据权利要求5所述的高级驾驶辅助的前向融合方法，其特征在于，所述步骤S4包括：
步骤S41：判断车身坐标系和TBOX空间坐标系是否对齐，若否，将车身坐标系和TBOX空间坐标系对齐，否则跳过该步骤；
步骤S42：判断车载摄像头目标信息与路侧摄像头目标信息的时间是否对齐，若否，则将车载摄像头目标信息与路侧摄像头目标信息的时间内推或外推以使时间对齐，若是，则跳过该步骤；
步骤S43：对所述车载摄像头的车道线信息和所述路侧摄像头的车道线信息进行融合并与车载摄像头的交通标志目标信息结合以得到摄像头第一融合信息，随后将其与所述路侧地图信息结合得到摄像头地图融合信息；
步骤S44：将摄像头地图融合信息输出给所述摄像头功能模块(23)。
7.根据权利要求6所述的高级驾驶辅助的前向融合方法，其特征在于，在所述步骤S43中，所述车速限制信息包含限速信息、限速撤销信息和这两种信息的起始位置，所述车速限制信息由所述路侧地图信息给出，且结合所述车载摄像头的交通标志目标信息进行辅助确认来最终输出得到；所述车道线融合信息是通过所述车载摄像头的车道线信息和所述路侧摄像头的车道线信息进行融合得到摄像头第一融合信息，随后将其与所述路侧地图信息结合来得到。
8.根据权利要求6所述的高级驾驶辅助的前向融合方法，其特征在于，在所述步骤S43中，所述车道线融合信息包含车道数量信息、自车所处车道信息和自车与每一条车道线的相对位置关系。
9.根据权利要求4所述的高级驾驶辅助的前向融合方法，其特征在于，在所述步骤S5中，所述交通标志控制辅助功能通过获取摄像头地图融合信息中的车速限制信息，进行限速识别，根据识别结果发出相应的减速度请求来实现；所述车道保持辅助功能通过获取摄像头地图融合信息中的车位线信息，进行车道线处理，并结合车身信息进行轨迹规划，随后进行角度计算和扭矩计算，并发出相应的扭矩控制请求来实现。
10.根据权利要求4所述的高级驾驶辅助的前向融合方法，其特征在于，所述步骤S7包括：
步骤S71：判断车身坐标系和TBOX空间坐标系是否对齐，若否，将车身坐标系和TBOX空间坐标系对齐，否则跳过该步骤；
步骤S72：判断车载雷达目标信息与路侧雷达目标信息的时间是否对齐，若否，则将车载雷达目标信息与路侧雷达目标信息的时间内推或外推以使时间对齐，若是，则跳过该步骤；
步骤S73：对所述车载雷达目标信息和所述路侧雷达目标信息进行融合以得到雷达融合信息，所述雷达融合信息包括车辆和行人信息，随后将其与所述车载摄像头目标信息和所述路侧摄像头目标信息融合得到的摄像头第二融合信息相结合；
步骤S74：将所述雷达摄像头融合信息输出给所述雷达功能模块(33)。
CN202010439915.8A 2020-05-22 2020-05-22 高级驾驶辅助的前向融合系统及方法 Active CN111634290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010439915.8A CN111634290B (zh) 2020-05-22 2020-05-22 高级驾驶辅助的前向融合系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010439915.8A CN111634290B (zh) 2020-05-22 2020-05-22 高级驾驶辅助的前向融合系统及方法

Publications (2)

Publication Number Publication Date
CN111634290A true CN111634290A (zh) 2020-09-08
CN111634290B CN111634290B (zh) 2023-08-11

Family

ID=72324807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010439915.8A Active CN111634290B (zh) 2020-05-22 2020-05-22 高级驾驶辅助的前向融合系统及方法

Country Status (1)

Country Link
CN (1) CN111634290B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116031A (zh) * 2020-10-29 2020-12-22 重庆长安汽车股份有限公司 基于路侧设备的目标融合方法、系统、车辆及存储介质
CN113178091A (zh) * 2021-05-12 2021-07-27 中移智行网络科技有限公司 安全行驶区域方法、装置和网络设备
CN113276846A (zh) * 2021-05-25 2021-08-20 华域汽车系统股份有限公司 一种后方十字交通报警系统及方法
CN113654566A (zh) * 2021-07-27 2021-11-16 上海智能网联汽车技术中心有限公司 路侧系统的定位性能评估方法、存储介质及车路协同系统
CN113734166A (zh) * 2021-09-30 2021-12-03 重庆长安汽车股份有限公司 一种基于感知融合swc的汽车自动驾驶控制系统及方法
CN114291102A (zh) * 2021-12-13 2022-04-08 浙江华锐捷技术有限公司 辅助驾驶策略融合方法、系统、车辆和可读存储介质
CN114619986A (zh) * 2022-03-07 2022-06-14 金龙联合汽车工业（苏州）有限公司 一种用于客车的aeb与lka融合控制系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010132056A (ja) * 2008-12-03 2010-06-17 Fujitsu Ten Ltd 検知装置、検知方法および車両制御装置
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP2012089114A (ja) * 2010-09-24 2012-05-10 Toyota Motor Corp 障害物認識装置
US20150284008A1 (en) * 2014-04-02 2015-10-08 Magna Electronics Inc. Personalized driver assistance system for vehicle
CN105678316A (zh) * 2015-12-29 2016-06-15 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法
US20160291149A1 (en) * 2015-04-06 2016-10-06 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
CN106218636A (zh) * 2016-07-21 2016-12-14 浙江吉利汽车研究院有限公司 一种交通拥堵辅助系统
WO2017116134A1 (ko) * 2015-12-30 2017-07-06 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN107063275A (zh) * 2017-03-24 2017-08-18 重庆邮电大学 基于路侧设备的智能车辆地图融合系统及方法
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
US20190156668A1 (en) * 2016-08-11 2019-05-23 Jiangsu University Driving service active sensing system and method in internet of vehicles environment
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN210112100U (zh) * 2018-08-31 2020-02-21 百度在线网络技术（北京）有限公司 智能路侧单元
CN110927708A (zh) * 2018-08-30 2020-03-27 百度在线网络技术（北京）有限公司 智能路侧单元的标定方法、装置及设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010132056A (ja) * 2008-12-03 2010-06-17 Fujitsu Ten Ltd 検知装置、検知方法および車両制御装置
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP2012089114A (ja) * 2010-09-24 2012-05-10 Toyota Motor Corp 障害物認識装置
US20150284008A1 (en) * 2014-04-02 2015-10-08 Magna Electronics Inc. Personalized driver assistance system for vehicle
US20160291149A1 (en) * 2015-04-06 2016-10-06 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
CN105678316A (zh) * 2015-12-29 2016-06-15 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法
WO2017116134A1 (ko) * 2015-12-30 2017-07-06 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN106218636A (zh) * 2016-07-21 2016-12-14 浙江吉利汽车研究院有限公司 一种交通拥堵辅助系统
US20190156668A1 (en) * 2016-08-11 2019-05-23 Jiangsu University Driving service active sensing system and method in internet of vehicles environment
CN107063275A (zh) * 2017-03-24 2017-08-18 重庆邮电大学 基于路侧设备的智能车辆地图融合系统及方法
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN110927708A (zh) * 2018-08-30 2020-03-27 百度在线网络技术（北京）有限公司 智能路侧单元的标定方法、装置及设备
CN210112100U (zh) * 2018-08-31 2020-02-21 百度在线网络技术（北京）有限公司 智能路侧单元
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116031A (zh) * 2020-10-29 2020-12-22 重庆长安汽车股份有限公司 基于路侧设备的目标融合方法、系统、车辆及存储介质
CN112116031B (zh) * 2020-10-29 2024-02-09 重庆长安汽车股份有限公司 基于路侧设备的目标融合方法、系统、车辆及存储介质
CN113178091A (zh) * 2021-05-12 2021-07-27 中移智行网络科技有限公司 安全行驶区域方法、装置和网络设备
CN113276846A (zh) * 2021-05-25 2021-08-20 华域汽车系统股份有限公司 一种后方十字交通报警系统及方法
CN113654566A (zh) * 2021-07-27 2021-11-16 上海智能网联汽车技术中心有限公司 路侧系统的定位性能评估方法、存储介质及车路协同系统
CN113734166A (zh) * 2021-09-30 2021-12-03 重庆长安汽车股份有限公司 一种基于感知融合swc的汽车自动驾驶控制系统及方法
CN113734166B (zh) * 2021-09-30 2023-09-22 重庆长安汽车股份有限公司 一种基于感知融合swc的汽车自动驾驶控制系统及方法
CN114291102A (zh) * 2021-12-13 2022-04-08 浙江华锐捷技术有限公司 辅助驾驶策略融合方法、系统、车辆和可读存储介质
CN114619986A (zh) * 2022-03-07 2022-06-14 金龙联合汽车工业（苏州）有限公司 一种用于客车的aeb与lka融合控制系统

Also Published As

Publication number Publication date
CN111634290B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111634290B (zh) 高级驾驶辅助的前向融合系统及方法
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20100198513A1 (en) Combined Vehicle-to-Vehicle Communication and Object Detection Sensing
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP3835823B1 (en) Information processing device, information processing method, computer program, information processing system, and moving body device
US20210362733A1 (en) Electronic device for vehicle and method of operating electronic device for vehicle
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11814044B2 (en) Resolving range rate ambiguity in sensor returns
CN114492679B (zh) 一种车辆数据处理方法、装置、电子设备及介质
US11675366B2 (en) Long-term object tracking supporting autonomous vehicle navigation
CN112067013A (zh) 一种基于ar-hud的车载识别系统
US20220073104A1 (en) Traffic accident management device and traffic accident management method
CN110574357A (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
US20200349367A1 (en) Image processing device, image processing method, and program
CN113838307A (zh) 一种车辆交叉路口碰撞预警系统及方法
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
CN113696907A (zh) 一种l3级自动驾驶系统
US20220364874A1 (en) Method of providing image by vehicle navigation device
CN108454619B (zh) 一种驾驶辅助方法及系统
US20200357284A1 (en) Information processing apparatus and information processing method
US11845429B2 (en) Localizing and updating a map using interpolated lane edge data
CN114788257A (zh) 信息处理装置、信息处理方法、程序、成像装置和成像系统
US20230228592A1 (en) System and Method for Updating High-Definition Maps for Autonomous Driving
US20220242415A1 (en) Dynamically-localized sensors for vehicles
US20230119187A1 (en) Circuitry and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant