CN111783502A - 基于车路协同的视觉信息融合处理方法、装置及存储介质 - Google Patents

基于车路协同的视觉信息融合处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111783502A
CN111783502A CN201910267615.3A CN201910267615A CN111783502A CN 111783502 A CN111783502 A CN 111783502A CN 201910267615 A CN201910267615 A CN 201910267615A CN 111783502 A CN111783502 A CN 111783502A
Authority
CN
China
Prior art keywords
image data
vehicle
visual information
image
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910267615.3A
Other languages
English (en)
Other versions
CN111783502B (zh
Inventor
马潍
胡荣东
马源
彭美华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidi Intelligent Driving Technology Co ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201910267615.3A priority Critical patent/CN111783502B/zh
Publication of CN111783502A publication Critical patent/CN111783502A/zh
Application granted granted Critical
Publication of CN111783502B publication Critical patent/CN111783502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种基于车路协同的视觉信息融合处理方法、装置及存储介质，该方法包括：获取目标车辆的车载单元对应的第一图像数据；根据时间同步的匹配规则，确定与所述第一图像数据对应的多个路侧单元获取的第二图像数据，根据所述第一图像数据与对应的多个第二图像数据形成目标图像数据集；将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。可以实现不同路段的视觉感知信息的融合，为自动驾驶决策系统提供全面的超视距视觉信息，提高车辆智能驾驶能力。

Description

基于车路协同的视觉信息融合处理方法、装置及存储介质
技术领域
本申请涉及智能驾驶控制领域，具体涉及一种基于车路协同的视觉信息融合处理方法、装置及存储介质。
背景技术
智能驾驶控制中，往往需要为智能驾驶决策系统提供车辆周边的环境信息，以提高车辆智能驾驶能力，相关技术中，往往通过车辆上设置的多种传感器(如激光雷达、摄像头等)来采集周边的环境信息，但由于受限于传感器采集的范围，采集的车辆周边的环境信息有限，无法满足智能驾驶的需求。
发明内容
有鉴于此，本申请实施例提供了一种基于车路协同的视觉信息融合处理方法、装置及存储介质，旨在为车辆提供更加全面的环境信息，提高车辆的智能驾驶能力。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种基于车路协同的视觉信息融合处理方法，包括：
获取目标车辆的车载单元对应的第一图像数据；
根据时间同步的匹配规则，确定与所述第一图像数据对应的多个路侧单元各自获取的第二图像数据，根据所述第一图像数据与对应的多个第二图像数据形成目标图像数据集；其中，所述路侧单元沿车道方向间隔排列且相邻所述路侧单元之间的感知区域有重叠；
将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。
第二方面，本申请实施例提供一种基于车路协同的视觉信息融合处理方法，其特征在于，应用于车辆的车载单元，实现前述实施例所述的视觉信息融合处理方法。
第三方面，本申请实施例提供一种视觉信息融合处理装置，包括：
获取模块，用于获取目标车辆的车载单元对应的第一图像数据；
确定模块，用于根据时间同步的匹配规则，确定与所述第一图像数据对应的路侧单元获取的第二图像数据，根据所述第一图像数据与对应的第二图像数据形成目标图像数据集；其中，所述路侧单元沿车道方向间隔排列且相邻所述路侧单元之间的感知区域有重叠；
图像融合模块，用于将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。
第四方面，本申请实施例提供一种基于车路协同的视觉信息融合处理装置，所述视觉信息融合处理装置为如下其中之一：车载单元、路侧单元、服务器；所述图像信息处理装置包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现前述实施例所述的基于车路协同的视觉信息融合处理方法。
第五方面，本申请实施例提供一种车载单元，包括：存储器，用于存储可执行程序；处理器，用于执行所述存储器中存储的可执行程序时，实现前述任一实施例所述的基于车路协同的视觉信息融合处理方法。
第六方面，本申请实施例提供一种计算机存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现前述实施例所述的基于车路协同的视觉信息融合处理方法。
本申请实施例提供的技术方案中，通过获取目标车辆的车载单元对应的第一图像数据，根据时间同步的匹配规则，确定与所述第一图像数据对应的多个路侧单元各自获取的第二图像数据，根据所述第一图像数据与对应的多个第二图像数据形成目标图像数据集，将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息，可以实现不同路段的视觉感知信息的融合，为自动驾驶决策系统提供全面的超视距视觉信息，提高车辆智能驾驶能力。
附图说明
图1为本申请一实施例中基于车路协同的视觉信息融合处理方法的流程示意图；
图2为本申请一实施例中路侧单元与车辆的空间分布的结构示意图；
图3为本申请一实施例中对目标图像数据集进行信息融合的流程示意图；
图4为本申请一实施例中经透视变换后左、右车道线示意图；
图5为本申请另一实施例中对目标图像数据集进行信息融合的流程示意图；
图6为本申请一实施例中视觉信息融合处理装置的结构示意图；
图7为本申请另一实施例中视觉信息融合处理装置的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。应当理解，此处所提供的实施例仅仅用以解释本申请，并不用于限定本申请。另外，以下所提供的实施例是用于实施本申请的部分实施例，而非提供实施本申请的全部实施例，在不冲突的情况下，本申请实施例记载的技术方案可以任意组合的方式实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请实施例提供一种基于车路协同的视觉信息融合处理方法，该视觉信息融合处理方法可以应用于车载单元、路侧单元或者服务器。请参阅图1，该方法包括：
步骤101，获取目标车辆的车载单元对应的第一图像数据；
本实施例中，车辆的车载单元耦合连接第一感知模块和第一通信模块，车载单元通过第一感知模块可以获取对应的第一图像数据，通过第一通信模块可以与路侧单元和/或服务器通信连接。
步骤102，根据时间同步的匹配规则，确定与所述第一图像数据对应的多个路侧单元各自获取的第二图像数据，根据所述第一图像数据与对应的多个第二图像数据形成目标图像数据集；其中，所述路侧单元沿车道方向间隔排列且相邻所述路侧单元之间的感知区域有重叠；
本实施例中，路侧单元包括第二感知模块和第二通信模块，路侧单元沿车道方向间隔排列，且相邻路侧单元之间的感知区域有重叠。如图2所示，相邻的路侧单元201A、201B的第二感知模块的感知视野存在重叠，这样，相邻的路侧单元对应的第二图像数据均存在重叠区域的视觉信息。各路侧单元经第二通信模块可以与车载单元和/或服务器通信连接。
步骤103，将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。
由于目标图像数据集中的各第二图像数据基于相邻的路侧单元的第二感知模块的感知视野存在重叠，相邻的路侧单元对应的第二图像数据均存在重叠区域的视觉信息。参见图2，目标车辆202的车载单元的感知视野至少与一路侧单元201B的感知视野存在重叠，故目标车辆对应的第一图像数据至少与一个路侧单元对应的第二图像数据存在重叠区域的视觉信息，各图像数据基于重叠的感知区域所对应的图像特征进行信息融合，即可获得所述目标车辆对应的超视距视觉信息。
本申请实施例可以实现不同路段的路侧单元及车辆感知的视觉信息的融合，为自动驾驶决策系统提供全面的超视距视觉信息，提高车辆智能驾驶能力。
本申请实施例中，第一、第二感知模块可以为单目相机或者多目相机，第一、第二通信模块可以为基于无线局域网或者4G、5G等方式的无线通信模块。当第一感知模块、第二感知模块均为单目单机时，可以提供超视距的二维视觉信息；当第一感知模块、第二感知模块均为多目相机时，可以提供超视距的三维视觉信息。
在一些实施例中，根据时间同步的匹配规则，确定与所述第一图像数据对应的多个路侧单元获取的第二图像数据，包括：基于第一图像数据的第一时间戳和位于目标车辆通信范围内的各路侧单元发送的第二图像数据的第二时间戳，根据第一时间戳的时间信息与第二时间戳的时间信息，确定符合时间同步的匹配规则的第二图像数据为与所述第一图像数据对应的多个第二图像数据。示例性地，各车辆的车载单元和/或路侧单元可以基于GPS(Global Positioning System，全球定位系统)/差分GPS生成对应的时间戳，也可以通过PTN(Packet Transport Network)网络基于1588协议等方法生成对应的时间戳。
在一些实施例中，确定路侧单元获取的各第二图像数据对应单目相机采集的二维图像信息时，即各路侧单元的第二感知模块采用单目相机时，车辆的车载单元对应的第一感知模块可以为单目相机或者多目相机，对应的第一图像数据为单目相机采集的二维图像数据，或者多目相机采集的二维图像数据。可选地，根据路侧单元获取的第二图像数据的类型，可以选择目标车辆的第一图像数据，譬如，确定各路侧单元的第二图像数据为单目相机采集的二维图像数据，则获取的第一图像数据为二维图像数据。请参阅图3，将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，包括：
步骤301，基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定二维图像的拼接顺序；
车载单元获取的第一图像数据对应的位置数据，路侧单元获取的第二图像数据对应的位置数据。例如，车载单元可以经过车辆上的GPS定位设备获取第一图像数据对应的位置数据，路侧单元可以经配置的GPS定位设备获取第二图像数据对应的位置数据，或者路侧单元的位置数据被预先定义并配置成与路侧单元的标识信息对应，根据路侧单元的标识信息即可确定其第二图像数据对应的位置数据。可以基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定二维图像的拼接顺序。示例性地，根据各图像数据对应的位置数据沿车道延伸的方向对各图像数据进行排序，从而确定二维图像的拼接顺序，可大幅减少图像拼接时的搜索匹配的计算消耗。
步骤302，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵；
基于各图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，以将各图像数据转换至同一平面视角。
在一实施例中，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，包括：获取各图像数据中设定车道的左车道线、右车道线；提取所述左车道线、所述右车道线在至少两个不同图像高度上的交点，基于车道线间宽度固定的原理，确定对应的透视变换矩阵。
这里，可以通过车道线提取方法确定各图像数据中车道线对应的二次拟合函数，该车道线提取方法可以采用现有的车道线提取方法，在此不做赘述。获取各图像数据中设定车道的左车道线、右车道线可以为获取目标车辆当前车道对应的左车道线、右车道线对应的二次拟合函数。根据左、右车道线对应的二次拟合函数，提取左、右车道线在至少两个不同高度上的交点，譬如，取左、右车道线与图像的底部交点P1、P2及与图像底部向上设定距离L(L可以取值为图像高度的1/3)像素位置交点P3、P4共4个点做透视变换。根据车道线间宽度固定的原理，各透视变换后的车道宽度保持一致，即P1～P4经过透视变换后可构成固定宽度矩形。
例如，令H为透视变换矩阵，对于原始图像上某点像素(u,v)，经过H变换后的像素(x,y)有公式(1)的关系：
Figure BDA0002017334360000061
其中，h33＝1，因此透视变换有8个自由度，分别为h11、h12、h13、h21、h22、h23、h31、h32，需要至少4对点计算得到。
根据左、右车道线对应的二次拟合函数，提取左、右车道线在至少两个不同高度上的交点，譬如，取左、右车道线与图像的底部交点P1、P2及与图像底部向上设定距离L(L可以取值为图像高度的1/3)像素位置交点P3、P4共4个点，令4个点的坐标分别为P1＝(u1,v1)，P2＝(u2,v2)，P3＝(u3,v3)，P4＝(u4,v4)。据此确定对应的另外4个点P1'＝(u3,v1)，P2'＝(u4,v2)，P3'＝(u3,v3)，P4'＝(u4,v4)。以这4对点便可计算公式(1)的透视变换矩阵H。
由于经上述公式(1)确定的透视变换矩阵，未必能保证经透视变换后的车道线平行，在一些实施例中，还可以对该透视变换矩阵进行优化，使得经透视变换后的车道线尽量保持平行。可选地，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，还包括：获取各图像数据中设定车道的左车道线、右车道线经所述透视变换矩阵转换后的第一车道线、第二车道线；基于所述第一车道线上任意点的法线与所述第二车道线相交的目标点，根据所述任意点和所述目标点的斜率相等优化所述透视变换矩阵。
这里，以一条车道线为基准车道线，该基准车道线不限于任意车道的左车道线或者右车道线。下面以当前车道的左车道线为例。如图4所示，假设透视变换后左车道线L对应的二次方程由公式(2)表示：
x＝a1y2+a2y+a3 (2)
透视变换后右车道线R对应的二次方程由公式(3)表示：
x＝b1y2+b2y+b3 (3)
其中，水平方向坐标为x，竖直方向坐标为y。那么任意y坐标下的斜率可以由公式(4)表示：
x′=2a1y+a2 (4)
设左车道线上某点坐标为(xi,yi)，则在该点上的法线方程可以由公式(5)表示：
Figure BDA0002017334360000071
根据公式(5)可以求得该法线与当前车道的右车道线的交点(xj,yj)，同理，根据公式(4)可以计算在右车道线上该点的斜率xj′。假设左、右车道线经过透视变换后变为平行状态，x′i＝xj′。
这样，根据左车道线L上的点(xi,yi)和右车道线R上的点(xj,yj)的斜率相等，可以优化所述透视变换矩阵H。
在一些实施例中，还可以通过非线性优化方法对透视变换矩阵H做进一步的优化，需要说明的是，该非线性优化方法可以是对根据上述公式(1)确定的透视变换矩阵H的优化，还可以是在前述基于斜率相等对透视变换矩阵进行优化的基础上的进一步优化。
可选地，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，还包括：获取各图像数据中设定车道的左车道线、右车道线经所述透视变换矩阵转换后的第一车道线、第二车道线；获取所述第一车道线上多个像素点的第一斜率及所述多个像素点的法线与所述第二车道线相交的交点的第二斜率，基于各所述第一斜率与对应的所述第二斜率的差值确定代价函数；基于所述代价函数采用非线性优化方法优化所述透视变换矩阵。
这里，可以使用左车道线每个点上的斜率及每个点的法线与右车道线交点的斜率差确定代价函数，所述代价函数如公式(6)所示：
Figure BDA0002017334360000081
其中，N为图像中车道线像素点个数，i为车道线沿y方向(即图像高度方向)的像素序号，x′i为经公式(4)获得左车道线第i点的斜率，j为右车道线与左车道线第i点法线的交点，x′j为经公式(4)获得的右车道线上第j点的斜率。该代价函数可以由公式(7)所示：
Figure BDA0002017334360000082
其中，I(ui,vi)为透视变换后车道线上坐标点(xi,yi)所对应的原始图像上的像素点，I(uj,vj)为透视变换后车道线上坐标点(xj,yj)所对应的原始图像上的像素点。G表示原始图像上车道线像素点经过透视变换后，并提取其所在位置车道线斜率的功能函数，可由公式(8)表示：
G＝g(a1,a2,a3,b1,b2,b3,H) (8)
其中a1,a2,a3为左车道线二次方程的系数参数，b1,b2,b3为右车道线二次方程的系数参数，H为从原始图像变换为车道线平行的目标图像所需要做的透视变换矩阵。可选地，在非线性优化过程中，a3和b3为截距位置可以根据车道线间距固定而设为固定值。将{H}作为待优化的参数对象，可以采用譬如列文伯格·马夸尔特方法做非线性优化，最终获得最佳透视变换矩阵H使得透视变换后左右车道线相互平行。
步骤303，基于各所述透视变换矩阵和所述二维图像的拼接顺序，对各图像数据基于重叠区域的图像特征进行信息融合。
通过步骤302，获取得到各图像数据对应的透视变换矩阵H，利用获取的各图像数据对应的透视变换矩阵H对各图像数据进行转换，对转换后的各图像数据提取特征点(即图像特征)，根据提取的特征点按照所述二维图像的拼接顺序进行依序拼接，譬如，可以对转换后的图像提取区分于图像背景的特征点(如车辆、车道线、标识牌等)，采用RANSAC(Random Sample Consensus)按照所述二维图像拼接顺序进行依序拼接，拼接后的二维图像可以采用渐变融合算法进行融合，这样，实现了车载单元对应的第一图像数据、路侧单元对应的第二图像数据的融合，为自动驾驶决策系统提供全面的超视距视觉信息，提高车辆智能驾驶能力。
在一些实施例中，确定各路侧单元获取的第二图像数据对应多目相机采集的图像数据时，车载单元获取的第一图像数据亦为车载侧的多目相机采集的图像数据。请参阅图5，将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，包括：
步骤501，基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定三维视觉信息的拼接顺序；
车载单元获取的第一图像数据对应的位置数据，路侧单元获取的第二图像数据对应的位置数据。可以基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定三维视觉信息的拼接顺序。示例性地，根据各图像数据对应的位置数据沿车道延伸的方向对各图像数据进行排序。具体地，第一个图像数据来自距离目标车辆最近且位于其行驶方向后端的路侧单元对应的第二图像数据、第二个图像数据来自目标车辆的车载单元对应的第一图像数据、后面的图像数据按照距离目标车辆的由近及远的顺序排列的设定数量的路侧单元对应的第二图像数据，从而确定三维视觉信息的拼接顺序，可大幅减少拼接时的搜索匹配的计算消耗。
步骤502，基于各所述第二图像数据对应的第一转换关系、相邻两路侧单元的第二图像数据间重叠区域的图像特征确定所述相邻两路侧单元的第二图像数据之间的第二转换关系；其中，所述第一转换关系为所述第二图像数据的图像坐标系与世界坐标系之间的转换关系；
在一些实施例中，先确定各第二图像数据的图像坐标系与世界坐标系之间的转换关系(即第一转换关系)，基于确定的各所述第二图像数据对应的第一转换关系，实现了将各第二图像数据的图像统一到世界坐标系中，再根据相邻两路侧单元的第二图像数据的图像在重叠区域的图像特征确定相邻两路侧单元的第二图像数据之间的第二转换关系。
具体地，获取各第二图像数据对应的图像坐标系与世界坐标系之间的转换关系(即第一转换关系)具体包括：经相机标定技术确定路侧单元的第二图像数据的图像坐标系到多目立体相机坐标系的关系，然后，借助多目相机与GPS或者组合惯导等设备的标定技术确定多目立体相机坐标系到世界坐标系的关系，从而获得第一转换关系。譬如，针对第i个路侧单元，可以采用例如张正友标定法确定该路侧单元的图像坐标系到多目立体相机坐标系的关系T1 i，然后，确定多目立体相机坐标系到世界坐标系的关系T2 i，基于关系T1 i和关系T2 i可以确定第一转换关系，该第一转换关系可以为关系T1 i和关系T2 i的乘积。
可选地，在一些实施例中，基于各所述第二图像数据对应的第一转换关系、相邻两路侧单元的第二图像数据间重叠区域的图像特征确定所述相邻两路侧单元的第二图像数据之间的第二转换关系，包括：获取各所述第二图像数据对应的第一转换关系；对各所述第二图像数据对应的一幅二维图像基于目标检测提取抽象特征，生成第一抽象特征集合；根据所述第一抽象特征集合和所述第一转换关系提取各所述第二图像数据在三维空间内属于所述第一抽象特征集合的点云集合；对各所述第二图像数据的所述点云集合基于重叠区域的三维视觉特征进行匹配，确定相邻两路侧单元的第二图像数据之间的第二转换关系。
各路侧单元由于采用多目相机采集生成第二图像数据，该第二图像数据对应至少两幅二维图像(如采用双目相机时，第二图像数据对应两幅二维图像)，对各所述第二图像数据对应的一幅二维图像提取抽象特征，生成第一抽象特征集合，如在各个路侧单元的第二图像数据对应的一幅二维图像上做目标检测，提取抽象特征(如车辆、车道线、标识牌等能区分背景的图像特征)，生成该二维图像对应的第一抽象特征集合
Figure BDA0002017334360000111
示例性地，可以基于SVM、Adaboost等机器学习方法或基于深度学习的SSD、YOLO等方法来提取抽象特征，在此不做赘述。
根据第一抽象特征集合
Figure BDA0002017334360000112
提取各第二图像数据在三维空间内属于该第一抽象特征集合的点云集合，譬如，在获取各第二图像数据对应的第一转换关系后，可以记录各图像坐标系中的图像坐标到世界坐标系中的三维坐标的索引，这样可以快速确定属于第一抽象特征集合
Figure BDA0002017334360000113
的三维点云集合。针对第i个路侧单元确定在三维空间内属于第一抽象特征集合的点云集合
Figure BDA0002017334360000114
由于重叠区域的图像特征在三维点云上存在对应关系，可选地，通过最优方法对相邻两路侧单元的第二图像数据的点云集合基于重叠区域的三维视觉特征进行匹配，确定相邻两路侧单元的第二图像数据之间的第二转换关系。譬如，采用LM(Levenberg-Marquard)算法等方法对相邻的第i个路侧单元和第j个路侧单元对应的点云集合基于重叠区域的三维视觉特征进行匹配，获得第i个路侧单元到第j个路侧单元的转换关系
Figure BDA0002017334360000115
即得到相邻两路侧单元的第二图像数据对应的三维视觉信息之间的第二转换关系。
步骤503，基于各所述第二转换关系对所述第二图像数据对应的三维视觉信息按照所述三维视觉信息的拼接顺序进行拼接；
确定相邻两路侧单元的第二图像数据之间的第二转换关系后，可以根据相邻路侧单元各自的第二图像数据生成对应的三维视觉信息，进而将各三维视觉信息根据三维视觉信息的拼接顺序基于对应的第二转换关系进行拼接，从而得到各路侧单元拼接后的点云PRSU。
步骤504，基于所述第一图像数据对应第三转换关系、所述第一图像数据和与其有重叠的所述第二图像数据之间重叠区域的图像特征确定将所述第一图像数据对应的第四转换关系；其中，所述第三转换关系为所述第一图像数据的图像坐标系与世界坐标系之间的转换关系，所述第四转换关系为将所述第一图像数据转换至拼接后的所述第二图像数据中的转换关系；
为了将车载单元获取的第一图像数据与点云PRSU进行融合，可选地，可以确定第一图像数据对应的第三转换关系，即采用与第二图像数据对应的标定方法，确定第一图像数据的图像坐标系与世界坐标系之间的转换关系；这样，可以将第一图像数据转换至世界坐标系中，形成对应的三维点云P‘OBU。再对所述第一图像数据对应的一幅二维图像提取抽象特征生成第二抽象特征集合，对与其有重叠的第二图像数据对应的一幅二维图像提取抽象特征生成第三抽象特征集合；根据所述第二抽象特征集合和所述第三转换关系提取所述第一图像数据在三维空间内属于所述第二抽象特征集合的点云集合；根据所述第三抽象特征集合和所述第一转换关系确定所述第二图像数据在三维空间内属于所述第三抽象特征集合的点云集合；对所述第一图像数据的点云集合与所述第二图像数据的点云集合基于重叠区域的三维视觉特征进行匹配，确定所述第四转换关系。
步骤505，基于所述第四转换关系对所述第一图像数据对应的三维视觉信息和拼接后的所述第二图像数据对应的三维视觉信息进行信息融合。
将第一图像数据对应的三维点云P‘OBU经第四转换关系得到与点云PRSU匹配的点云POBU，将点云PRSU和POBU进行融合，实现了车载单元获取的三维视觉信息与对应的路侧单元的三维视觉信息的融合，获得目标车辆对应的超视距视觉信息，可以实现不同路段的视觉感知信息的融合，为自动驾驶决策系统提供全面的超视距图像信息，提高车辆智能驾驶能力。
本申请实施例基于车路协同的视觉信息融合处理方法，相较于采用摄像头在世界坐标系下的位置信息进行直接拼接融合、以及利用摄像头之间的冗余数据内容计算单应性矩阵完成图像拼接，基于重叠的感知区域对应的图像特征进行信息融合，使得视觉信息(二维或者三维视觉信息)拼接更为准确，可以实现视觉信息间的像素级别融合，且满足了车载单元与各路侧单元之间的相对位姿为运动变化状态下的视觉信息的时空同步，系统具备更高的鲁棒性。且本实施例方法可以获取多个分布在不同路段的路侧单元对应的视觉信息，并将各视觉信息与车载单元获取的视觉信息进行信息融合，可以实现不同路段的视觉信息的融合，从而为自动驾驶决策系统提供全面的超视距信息，提高车辆智能驾驶能力。
需要说明的是，本申请实施例基于车路协同的视觉信息融合处理方法可以应用于路侧单元、车载单元或者服务器中。
以应用于车载单元为例，车载单元获取自身的第一感知模块对应的第一图像数据，各路侧单元的第二感知模块获取对应的第二图像数据，且路侧单元的第二通信模块将对应的第二图像数据通过广播方式广播给通信范围内的各车载单元。车载单元的第一通信模块接收对应的路侧单元的第二通信模块广播的第二图像数据，车载单元再根据获取的第一图像数据的时间戳的时间信息挑选接收的各第二图像数据中与该时间戳的时间信息的差值在设定阈值内的图像数据作为匹配的第二图像数据，这样，第一图像数据与对应的第二图像数据形成目标图像数据集。将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。
可选地，车载单元接收各路侧单元广播的第二图像数据时，车载单元接收对应的路侧单元广播的第二图像数据的接收频率可以根据所述车载单元与对应的所述路侧单元间的距离和/或所述车载单元的移动速度来调整，譬如，可以根据车载单元的移动速度的增大，使得接收频率增大，根据车载单元的移动速度的减少，使得接收频率减少；或者根据车载单元与路侧单元间的距离的增大，减少接收频率，根据车载单元与路侧单元间的距离的减少，增大接收频率。这样，可以使得在不同时刻对各路侧单元广播的第二图像数据的接收频率或者同一时刻对不同路段的路侧单元广播的第二图像数据的接收频率不同，通过相应的接收频率调整的策略，使得包含有用或者更相关的视觉信息的融合速度更快，利于提升车辆智能驾驶水平。
本申请实施例还提供一种基于车路协同的视觉信息融合处理装置，请参阅图6，该视觉信息融合处理装置包括：
获取模块601，用于获取目标车辆的车载单元对应的第一图像数据；
确定模块602，用于根据时间同步的匹配规则，确定与所述第一图像数据对应的路侧单元获取的第二图像数据，根据所述第一图像数据与对应的第二图像数据形成目标图像数据集；其中，所述路侧单元沿车道方向间隔排列且相邻所述路侧单元之间的感知区域有重叠；
信息融合模块603，用于将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。
在一些实施例中，确定路侧单元获取的第二图像数据为单目相机采集的图像数据时，信息融合模块603具体用于：基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定二维图像的拼接顺序；基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵；基于各所述透视变换矩阵和所述二维图像的拼接顺序，对各图像数据基于重叠区域的图像特征进行信息融合。
在一些实施例中，信息融合模块603还用于：获取各图像数据中设定车道的左车道线、右车道线；提取所述左车道线、所述右车道线在至少两个不同图像高度上的交点，基于车道线间宽度固定的原理，确定对应的透视变换矩阵。
在一些实施例中，信息融合模块603还用于：获取各图像数据中设定车道的左车道线、右车道线经所述透视变换矩阵转换后的第一车道线、第二车道线；基于所述第一车道线上任意点的法线与所述第二车道线相交的目标点，根据所述任意点和所述目标点的斜率相等优化所述透视变换矩阵。
在一些实施例中，信息融合模块603还用于：获取各图像数据中设定车道的左车道线、右车道线经所述透视变换矩阵转换后的第一车道线、第二车道线；获取所述第一车道线上多个像素点的第一斜率及所述多个像素点的法线与所述第二车道线相交的交点的第二斜率，基于各所述第一斜率与对应的所述第二斜率的差值确定代价函数；基于所述代价函数采用非线性优化方法优化所述透视变换矩阵。
在一些实施例中，确定路侧单元获取的第二图像数据为多目相机采集的图像数据时，信息融合模块603用于：基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定三维视觉信息的拼接顺序；基于各所述第二图像数据对应的第一转换关系、相邻两路侧单元的第二图像数据间重叠区域的图像特征确定所述相邻两路侧单元的第二图像数据之间的第二转换关系；其中，所述第一转换关系为所述第二图像数据的图像坐标系与世界坐标系之间的转换关系；基于各所述第二转换关系对所述第二图像数据对应的三维视觉信息按照所述三维视觉信息的拼接顺序进行拼接；基于所述第一图像数据对应第三转换关系、所述第一图像数据和与其有重叠的所述第二图像数据之间重叠区域的图像特征确定将所述第一图像数据对应的第四转换关系；其中，所述第三转换关系为所述第一图像数据的图像坐标系与世界坐标系之间的转换关系，所述第四转换关系为将所述第一图像数据转换至拼接后的所述第二图像数据中的转换关系；基于所述第四转换关系对所述第一图像数据对应的三维视觉信息和拼接后的所述第二图像数据对应的三维视觉信息进行信息融合。
在一些实施例中，信息融合模块603还用于：获取各所述第二图像数据对应的第一转换关系；对各所述第二图像数据对应的一幅二维图像提取抽象特征，生成第一抽象特征集合；根据所述第一抽象特征集合和所述第一转换关系提取各所述第二图像数据在三维空间内属于所述第一抽象特征集合的点云集合；对各所述第二图像数据的所述点云集合基于重叠区域的三维视觉特征进行匹配，确定相邻两路侧单元的第二图像数据对应的三维视觉信息之间的第二转换关系。
在一些实施例中，信息融合模块603还用于：获取所述第一图像数据对应的第三转换关系；对所述第一图像数据对应的一幅二维图像提取抽象特征生成第二抽象特征集合，对与其有重叠的第二图像数据对应的一幅二维图像提取抽象特征生成第三抽象特征集合；根据所述第二抽象特征集合和所述第三转换关系提取所述第一图像数据在三维空间内属于所述第二抽象特征集合的点云集合；根据所述第三抽象特征集合和所述第一转换关系确定所述第二图像数据在三维空间内属于所述第三抽象特征集合的点云集合；对所述第一图像数据的点云集合与所述第二图像数据的点云集合基于重叠区域的三维视觉特征进行匹配，确定所述第四转换关系。
需要说明的是：上述实施例提供的视觉信息融合处理装置在进行视觉信息融合处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的视觉信息融合处理装置与基于车路协同的视觉信息融合处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供一种视觉信息融合处理装置，请参阅图7，其示出了一种视觉信息融合处理装置，该视觉信息处理装置可以为车载单元、路侧单元、或者服务器等。图7仅仅示出了该视觉信息融合处理装置的示例性结构而非全部结构，根据需要可以实施图7示出的部分结构或全部结构。
本申请实施例提供的视觉信息融合处理装置700包括：至少一个处理器701、存储器702、用户接口703和至少一个网络接口704。视觉信息融合处理装置700中的各个组件通过总线系统705耦合在一起。可以理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统405。
其中，用户接口703可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。
本申请实施例中的存储器702用于存储各种类型的数据以支持基于车路协同的视觉信息融合处理方法的执行。这些数据的示例包括：用于在视觉信息融合处理装置700上运行的任何可执行程序，如可执行程序7021，实现本申请实施例的基于车路协同的视觉信息融合处理方法的程序可以包含在可执行程序7021中。
本申请实施例揭示的基于车路协同的视觉信息融合处理方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，视觉信息融合方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成本申请实施例提供的视觉信息融合方法的步骤。
本申请实施例还提供了一种可读存储介质，存储介质可以包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述可读存储介质存储有可执行程序；所述可执行程序用于被处理器执行时实现本申请任一实施例所述的基于车路协同的视觉信息融合处理方法。
本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理系统的处理器以产生一个机器，使得通过计算机或其他可编程数据处理系统的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理系统以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理系统上，使得在计算机或其他可编程系统上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程系统上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种基于车路协同的视觉信息融合处理方法，其特征在于，包括：
获取目标车辆的车载单元对应的第一图像数据；
根据时间同步的匹配规则，确定与所述第一图像数据对应的多个路侧单元各自获取的第二图像数据，根据所述第一图像数据与对应的多个第二图像数据形成目标图像数据集；其中，所述路侧单元沿车道方向间隔排列且相邻所述路侧单元之间的感知区域有重叠；
将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。
2.如权利要求1所述的基于车路协同的视觉信息融合处理方法，其特征在于，确定各路侧单元获取的第二图像数据对应单目相机采集的二维图像信息时，将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，包括：
基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定二维图像的拼接顺序；
基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵；
基于各所述透视变换矩阵和所述二维图像的拼接顺序，对各图像数据基于重叠区域的图像特征进行信息融合。
3.如权利要求2所述的基于车路协同的视觉信息融合处理方法，其特征在于，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，包括：
获取各图像数据中设定车道的左车道线、右车道线；
提取所述左车道线、所述右车道线在至少两个不同图像高度上的交点，基于车道线间宽度固定的原理，确定对应的透视变换矩阵。
4.如权利要求3所述的基于车路协同的视觉信息融合处理方法，其特征在于，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，还包括：
获取各图像数据中设定车道的左车道线、右车道线经所述透视变换矩阵转换后的第一车道线、第二车道线；
基于所述第一车道线上任意点的法线与所述第二车道线相交的目标点，根据所述任意点和所述目标点的斜率相等优化所述透视变换矩阵。
5.如权利要求3所述的基于车路协同的视觉信息融合处理方法，其特征在于，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，还包括：
获取各图像数据中设定车道的左车道线、右车道线经所述透视变换矩阵转换后的第一车道线、第二车道线；
获取所述第一车道线上多个像素点的第一斜率及所述多个像素点的法线与所述第二车道线相交的交点的第二斜率，基于各所述第一斜率与对应的所述第二斜率的差值确定代价函数；
基于所述代价函数采用非线性优化方法优化所述透视变换矩阵。
6.如权利要求1所述的基于车路协同的视觉信息融合处理方法，其特征在于，确定各路侧单元获取的第二图像数据对应多目相机采集的图像数据时，将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，包括：
基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定三维视觉信息的拼接顺序；
基于各所述第二图像数据对应的第一转换关系、相邻两路侧单元的第二图像数据间重叠区域的图像特征确定所述相邻两路侧单元的第二图像数据之间的第二转换关系；其中，所述第一转换关系为所述第二图像数据的图像坐标系与世界坐标系之间的转换关系；
基于各所述第二转换关系对所述第二图像数据对应的三维视觉信息按照所述三维视觉信息的拼接顺序进行拼接；
基于所述第一图像数据对应第三转换关系、所述第一图像数据和与其有重叠的所述第二图像数据之间重叠区域的图像特征确定将所述第一图像数据对应的第四转换关系；其中，所述第三转换关系为所述第一图像数据的图像坐标系与世界坐标系之间的转换关系，所述第四转换关系为将所述第一图像数据转换至拼接后的所述第二图像数据中的转换关系；
基于所述第四转换关系对所述第一图像数据对应的三维视觉信息和拼接后的所述第二图像数据对应的三维视觉信息进行信息融合。
7.如权利要求6所述的基于车路协同的视觉信息融合处理方法，其特征在于，基于各所述第二图像数据对应的第一转换关系、相邻两路侧单元的第二图像数据间重叠区域的图像特征确定所述相邻两路侧单元的第二图像数据之间的第二转换关系，包括：
获取各所述第二图像数据对应的第一转换关系；
对各所述第二图像数据对应的一幅二维图像提取抽象特征，生成第一抽象特征集合；
根据所述第一抽象特征集合和所述第一转换关系提取各所述第二图像数据在三维空间内属于所述第一抽象特征集合的点云集合；
对各所述第二图像数据的所述点云集合基于重叠区域的三维视觉特征进行匹配，确定相邻两路侧单元的第二图像数据对应的三维视觉信息之间的第二转换关系。
8.如权利要求6所述的基于车路协同的视觉信息融合处理方法，其特征在于，基于所述第一图像数据对应第三转换关系、所述第一图像数据和与其有重叠的所述第二图像数据之间重叠区域的图像特征确定将所述第一图像数据对应的第四转换关系，包括：
获取所述第一图像数据对应的第三转换关系；
对所述第一图像数据对应的一幅二维图像提取抽象特征生成第二抽象特征集合，对与其有重叠的第二图像数据对应的一幅二维图像提取抽象特征生成第三抽象特征集合；
根据所述第二抽象特征集合和所述第三转换关系提取所述第一图像数据在三维空间内属于所述第二抽象特征集合的点云集合；根据所述第三抽象特征集合和所述第一转换关系确定所述第二图像数据在三维空间内属于所述第三抽象特征集合的点云集合；
对所述第一图像数据的点云集合与所述第二图像数据的点云集合基于重叠区域的三维视觉特征进行匹配，确定所述第四转换关系。
9.一种基于车路协同的视觉信息融合处理方法，其特征在于，应用于车辆的车载单元，实现如权利要求1至8任一所述的视觉信息融合处理方法。
10.如权利要求9所述的基于车路协同的视觉信息融合处理方法，其特征在于，根据所述第一图像数据与对应的多个第二图像数据形成目标图像数据集之前，还包括：
接收对应的多个路侧单元广播的第二图像数据；其中，接收各路侧单元广播的第二图像数据的接收频率基于所述车载单元与对应的所述路侧单元间的距离和/或所述车载单元的移动速度确定。
11.一种基于车路协同的视觉信息融合处理装置，其特征在于，包括：
获取模块，用于获取目标车辆的车载单元对应的第一图像数据；
确定模块，用于根据时间同步的匹配规则，确定与所述第一图像数据对应的路侧单元获取的第二图像数据，根据所述第一图像数据与对应的第二图像数据形成目标图像数据集；其中，所述路侧单元沿车道方向间隔排列且相邻所述路侧单元之间的感知区域有重叠；
图像融合模块，用于将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。
12.一种基于车路协同的视觉信息融合处理装置，其特征在于，所述视觉信息融合处理装置为如下其中之一：车载单元、路侧单元、服务器；所述图像信息处理装置包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现如权利要求1至8任一所述的基于车路协同的视觉信息融合处理方法。
13.一种车载单元，其特征在于，包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现如权利要求10所述的基于车路协同的视觉信息融合处理方法。
14.一种计算机存储介质，其特征在于，存储有可执行程序，所述可执行程序被处理器执行时，实现如权利要求1至10任一所述的基于车路协同的视觉信息融合处理方法。
CN201910267615.3A 2019-04-03 2019-04-03 基于车路协同的视觉信息融合处理方法、装置及存储介质 Active CN111783502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910267615.3A CN111783502B (zh) 2019-04-03 2019-04-03 基于车路协同的视觉信息融合处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910267615.3A CN111783502B (zh) 2019-04-03 2019-04-03 基于车路协同的视觉信息融合处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111783502A true CN111783502A (zh) 2020-10-16
CN111783502B CN111783502B (zh) 2025-01-28

Family

ID=72755692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910267615.3A Active CN111783502B (zh) 2019-04-03 2019-04-03 基于车路协同的视觉信息融合处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111783502B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634354A (zh) * 2020-12-21 2021-04-09 紫清智行科技(北京)有限公司 基于路侧传感器的网联自动驾驶行车风险评估方法与装置
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN112714282A (zh) * 2020-12-22 2021-04-27 北京百度网讯科技有限公司 远程控制中的图像处理方法、装置、设备和程序产品
CN112885097A (zh) * 2021-02-07 2021-06-01 启迪云控(上海)汽车科技有限公司 一种基于跨点位的路侧融合管理方法及系统
CN113012429A (zh) * 2021-02-23 2021-06-22 启迪云控(上海)汽车科技有限公司 一种车路多传感器数据融合方法及系统
CN113284194A (zh) * 2021-06-22 2021-08-20 智道网联科技(北京)有限公司 多rs设备的标定方法、装置及设备
CN114429711A (zh) * 2021-12-23 2022-05-03 联通智网科技股份有限公司 消息分发方法、装置、存储介质与服务器
CN114937249A (zh) * 2022-07-21 2022-08-23 合肥工业大学 一种基于网格化管理的车路协同视觉感知处理方法
CN114972408A (zh) * 2021-02-25 2022-08-30 浙江宇视科技有限公司 目标运动信息的确定方法、装置、电子设备及存储介质
CN115128552A (zh) * 2021-03-26 2022-09-30 长沙智能驾驶研究院有限公司 路侧雷达标定方法、装置、计算机设备和存储介质
CN115379554A (zh) * 2021-05-21 2022-11-22 大唐高鸿智联科技(重庆)有限公司 一种定位方法、装置和终端
EP4212902A1 (en) * 2022-01-13 2023-07-19 Wistron Corporation Positioning system and calibration method of object location
CN117557660A (zh) * 2024-01-09 2024-02-13 北京集度科技有限公司 数据处理方法、装置、电子设备以及车辆
CN119889057A (zh) * 2025-03-25 2025-04-25 上海同陆云交通科技有限公司 一种基于视频分析的交通流量统计和拥堵分析方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037457A (ja) * 2007-08-02 2009-02-19 Denso Corp 運転支援システム
CN102354449A (zh) * 2011-10-09 2012-02-15 昆山市工业技术研究院有限责任公司 基于车联网实现图像信息共享的方法、装置和系统
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN104899858A (zh) * 2015-02-15 2015-09-09 北京联合大学 基于双摄像机图像融合的车道线识别方法
CN105894549A (zh) * 2015-10-21 2016-08-24 乐卡汽车智能科技（北京）有限公司 一种全景辅助泊车系统、装置及全景图像显示方法
CN106799993A (zh) * 2017-01-09 2017-06-06 智车优行科技（北京）有限公司 街景采集方法和系统、车辆
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN109101957A (zh) * 2018-10-29 2018-12-28 长沙智能驾驶研究院有限公司 双目立体数据处理方法、装置、智能驾驶设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037457A (ja) * 2007-08-02 2009-02-19 Denso Corp 運転支援システム
CN102354449A (zh) * 2011-10-09 2012-02-15 昆山市工业技术研究院有限责任公司 基于车联网实现图像信息共享的方法、装置和系统
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN104899858A (zh) * 2015-02-15 2015-09-09 北京联合大学 基于双摄像机图像融合的车道线识别方法
CN105894549A (zh) * 2015-10-21 2016-08-24 乐卡汽车智能科技（北京）有限公司 一种全景辅助泊车系统、装置及全景图像显示方法
CN106799993A (zh) * 2017-01-09 2017-06-06 智车优行科技（北京）有限公司 街景采集方法和系统、车辆
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN109101957A (zh) * 2018-10-29 2018-12-28 长沙智能驾驶研究院有限公司 双目立体数据处理方法、装置、智能驾驶设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹斌;袁宇翔;: "面向智能交通的单目视觉测距方法研究", 交通运输系统工程与信息, no. 04 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634354A (zh) * 2020-12-21 2021-04-09 紫清智行科技(北京)有限公司 基于路侧传感器的网联自动驾驶行车风险评估方法与装置
CN112634354B (zh) * 2020-12-21 2021-08-13 紫清智行科技(北京)有限公司 基于路侧传感器的网联自动驾驶行车风险评估方法与装置
CN112714282A (zh) * 2020-12-22 2021-04-27 北京百度网讯科技有限公司 远程控制中的图像处理方法、装置、设备和程序产品
US12114100B2 (en) 2020-12-22 2024-10-08 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method in remote control, device, apparatus and program product
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
US11893884B2 (en) 2020-12-30 2024-02-06 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device
CN112885097A (zh) * 2021-02-07 2021-06-01 启迪云控(上海)汽车科技有限公司 一种基于跨点位的路侧融合管理方法及系统
CN113012429A (zh) * 2021-02-23 2021-06-22 启迪云控(上海)汽车科技有限公司 一种车路多传感器数据融合方法及系统
CN113012429B (zh) * 2021-02-23 2022-07-15 云控智行(上海)汽车科技有限公司 一种车路多传感器数据融合方法及系统
CN114972408B (zh) * 2021-02-25 2025-05-30 浙江宇视科技有限公司 目标运动信息的确定方法、装置、电子设备及存储介质
CN114972408A (zh) * 2021-02-25 2022-08-30 浙江宇视科技有限公司 目标运动信息的确定方法、装置、电子设备及存储介质
CN115128552A (zh) * 2021-03-26 2022-09-30 长沙智能驾驶研究院有限公司 路侧雷达标定方法、装置、计算机设备和存储介质
CN115379554A (zh) * 2021-05-21 2022-11-22 大唐高鸿智联科技(重庆)有限公司 一种定位方法、装置和终端
CN113284194A (zh) * 2021-06-22 2021-08-20 智道网联科技(北京)有限公司 多rs设备的标定方法、装置及设备
CN113284194B (zh) * 2021-06-22 2024-06-11 智道网联科技(北京)有限公司 多rs设备的标定方法、装置及设备
CN114429711A (zh) * 2021-12-23 2022-05-03 联通智网科技股份有限公司 消息分发方法、装置、存储介质与服务器
CN114429711B (zh) * 2021-12-23 2022-11-29 联通智网科技股份有限公司 消息分发方法、装置、存储介质与服务器
EP4212902A1 (en) * 2022-01-13 2023-07-19 Wistron Corporation Positioning system and calibration method of object location
US11854221B2 (en) 2022-01-13 2023-12-26 Wistron Corporation Positioning system and calibration method of object location
CN114937249B (zh) * 2022-07-21 2022-11-11 合肥工业大学 一种基于网格化管理的车路协同视觉感知处理方法
CN114937249A (zh) * 2022-07-21 2022-08-23 合肥工业大学 一种基于网格化管理的车路协同视觉感知处理方法
CN117557660B (zh) * 2024-01-09 2024-04-12 北京集度科技有限公司 数据处理方法、装置、电子设备以及车辆
CN117557660A (zh) * 2024-01-09 2024-02-13 北京集度科技有限公司 数据处理方法、装置、电子设备以及车辆
CN119889057A (zh) * 2025-03-25 2025-04-25 上海同陆云交通科技有限公司 一种基于视频分析的交通流量统计和拥堵分析方法和系统

Also Published As

Publication number Publication date
CN111783502B (zh) 2025-01-28

Similar Documents

Publication Publication Date Title
CN111783502B (zh) 基于车路协同的视觉信息融合处理方法、装置及存储介质
CN112714913B (zh) 结构注释
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN112154445B (zh) 高精度地图中车道线的确定方法和装置
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
EP3876142A1 (en) Map building method, apparatus and system, and storage medium
CN112365549B (zh) 车载相机的姿态校正方法、装置和存储介质及电子装置
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN111295667B (zh) 图像立体匹配的方法和辅助驾驶装置
WO2022166606A1 (zh) 一种目标检测方法及装置
CN102842038A (zh) 环境识别装置及环境识别方法
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
WO2022204905A1 (zh) 一种障碍物检测方法及装置
CN117392423A (zh) 基于激光雷达的目标物的真值数据预测方法、装置及设备
CN116052124A (zh) 多相机生成局部地图模板理解加强目标检测方法及系统
Xiong et al. Fast and robust approaches for lane detection using multi‐camera fusion in complex scenes
Lu et al. Digitalization of traffic scenes in support of intelligent transportation applications
CN110864670B (zh) 目标障碍物位置的获取方法和系统
Kakegawa et al. Road surface segmentation based on vertically local disparity histogram for stereo camera
Qin et al. Camera calibration for the surround-view system: a benchmark and dataset
CN118675023A (zh) 车路协同感知方法、装置、设备、存储介质和程序产品
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN117636283A (zh) 一种基于环绕视角表征的含时序栅格占据率估计方法
Ma et al. A road environment prediction system for intelligent vehicle
CN113822124A (zh) 车道级定位方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Building A3 and A4, Hunan Inspection and testing characteristic industrial park, No. 336, bachelor Road, Yuelu District, Changsha City, Hunan Province

Applicant after: Xidi Intelligent Driving (Hunan) Co.,Ltd.

Address before: Building A3 and A4, Hunan Inspection and testing characteristic industrial park, No. 336, bachelor Road, Yuelu District, Changsha City, Hunan Province

Applicant before: CHANGSHA INTELLIGENT DRIVING RESEARCH INSTITUTE Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Building A3 and A4, Hunan Inspection and testing characteristic industrial park, No. 336, bachelor Road, Yuelu District, Changsha City, Hunan Province

Patentee after: Xidi Intelligent Driving Technology Co.,Ltd.

Country or region after: China

Address before: Building A3 and A4, Hunan Inspection and testing characteristic industrial park, No. 336, bachelor Road, Yuelu District, Changsha City, Hunan Province

Patentee before: Xidi Intelligent Driving (Hunan) Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address