CN115166722B - 用于路侧单元的无盲区单杆多传感器检测装置及控制方法 - Google Patents

用于路侧单元的无盲区单杆多传感器检测装置及控制方法 Download PDF

Info

Publication number
CN115166722B
CN115166722B CN202211080050.6A CN202211080050A CN115166722B CN 115166722 B CN115166722 B CN 115166722B CN 202211080050 A CN202211080050 A CN 202211080050A CN 115166722 B CN115166722 B CN 115166722B
Authority
CN
China
Prior art keywords
radar
coordinate system
sensor
mapping
blind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211080050.6A
Other languages
English (en)
Other versions
CN115166722A (zh
Inventor
黄利雄
黄少冰
张国壁
彭贵福
张永斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zhongtianyun Technology Co ltd
Original Assignee
Hunan Zhongtianyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhongtianyun Technology Co ltd filed Critical Hunan Zhongtianyun Technology Co ltd
Priority to CN202211080050.6A priority Critical patent/CN115166722B/zh
Publication of CN115166722A publication Critical patent/CN115166722A/zh
Application granted granted Critical
Publication of CN115166722B publication Critical patent/CN115166722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/042—Detecting movement of traffic to be counted or controlled using inductive or magnetic detectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种用于路侧单元的无盲区单杆多传感器检测装置及控制方法，该装置包括设置在同一立杆上、相互连接的传感器模块以及融合检测模块，传感器模块包括两个以上的雷视传感器以及一个以上的补盲图像传感器，补盲图像传感器布置在两组雷视传感器之间以进行视觉补盲，视觉补盲区域与第一视场区域、第二视场区域之间均具有重叠区域，融合检测模块分别接收各雷视传感器、图像传感器的数据，根据重叠区域分别得到各雷视传感器的雷达坐标系到补盲图像传感器所在的图像坐标系的映射关系，根据映射关系将所有传感器检测到的数据统一映射到同一坐标系，以实现检测结果融合。本发明具有结构简单、成本低、能够消除盲区且检测距离远等优点。

Description

用于路侧单元的无盲区单杆多传感器检测装置及控制方法
技术领域
本发明涉及智慧交通设备技术领域，尤其涉及一种用于路侧单元的无盲区多传感器检测系统及控制方法。
背景技术
在路侧端，智慧交通的基础是对多传感器数据进行收集和融合，即需要将多种传感器收集得到的信息汇集标定到一个统一的坐标系下。如在雷达与视频信息融合当中，将毫米波雷达检测得到的目标信息标定融合到相机成像当中的目标上，或是将视频检测到的目标信息融合到毫米波坐标系当中；又如在激光雷达与雷达的信息融合当中，通过映射关系可以将激光雷达信息标定到毫米波雷达坐标系当中。
然而，无论是毫米波雷达传感器、图像获取传感器，还是激光雷达传感器等任何一种传感器，都会存在信息获取盲区，盲区的存在会导致在单个立杆上无法全方位全视野获取到传感器挂载下边一定区域内的交通场景信息。而在车路协同领域路侧端，需要整体无盲区死角、全方位全视野覆盖，利用毫米波雷达、图像信息获取等传感器设备才能实现全方位的检测跟踪和监控，进一步才能对在路上的同一个目标一直赋予同一个跟踪ID信息，而不是在不同的检测视场空间内呈现不同的跟踪信息。因此需要对路侧单元的各传感器的盲区进行补盲操作，如增加其他设备以完成对检测盲区内交通场景信息的获取。
针对于路侧单元传感器的补盲，现有技术中通常采用以下两种方式：
1、单杆上同时设置两套雷视传感器
如图1所示，在同一个立杆点上安装正常视场区域信息获取传感器设备和盲区视场内信息获取传感器设备，两套设备（每套设备一般包含毫米波雷达和相机）一个负责对中、远景范围内的交通信息获取和检测，另一个负责对近处盲区内的交通信息获取和检测。
但是该类方式会存在以下问题：1）即使设置由一套传感器设备针对近景盲区内的交通信息进行获取和检测，但由于检测俯仰角等要求的存在，设备中的毫米波雷达传感器的法向方向一般无法做到垂直地面，如果直接垂直地面，则会导致检测区域非常小，不足以完成补盲操作，因此补盲之后仍然会存在盲区；2）在一个立杆上同时设置两套传感器设备，检测的最远距离范围并没有增加，而成本却增加一倍，导致成本大大增加的同时检测范围却并没有改变。
2、前后杆分别设置一套雷视传感器
如图2所示，该类方法是利用前方立杆支柱上的传感器设备的检测视场区域来补足后方立杆支柱上的传感器设备检测盲区，可以很好覆盖盲区检测区域，但是相邻的两个立杆支柱排布需要设置比较接近，致使需要设置大量的立杆支柱且立杆支柱排布密集，而无论立杆是采用简单的竖直单杆还是“L”杆，亦或是采用其他如龙门架等方式，均会致使大大增加实现成本。
综上，针对于路侧单元中多传感器检测装置，如何能够确保消除盲区的同时，还能够降低实现成本是亟待解决的问题。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种结构简单、成本低、能够消除盲区且检测距离远的用于路侧单元的无盲区多传感器检测系统及融合控制方法。
为解决上述技术问题，本发明提出的技术方案为：
一种用于路侧单元的无盲区单杆多传感器检测装置，包括相互连接的传感器模块以及融合检测模块，所述传感器模块包括两个以上的雷视传感器以及一个以上的补盲图像传感器，各传感器设置在同一立杆上，各雷视传感器分为两组，其中一组雷视传感器配置为具有第一视场区域、另一组雷视传感器配置为具有第二视场区域，所述第一视场区域与所述第二视场区域为相反方向且不存在重叠区域，所述补盲图像传感器布置在两组雷视传感器之间以进行视觉补盲，所述补盲图像传感器的视觉补盲区域位于所述第一视场区域与所述第二视场区域之间，且所述视觉补盲区域与所述第一视场区域、第二视场区域之间均具有重叠区域，所述融合检测模块分别接收各所述雷视传感器、图像传感器的数据，根据所述重叠区域分别得到各雷视传感器的雷达坐标系到所述补盲图像传感器所在的图像坐标系的映射关系，根据所述映射关系将所有传感器检测到的数据统一映射到同一坐标系，以实现检测结果融合。
进一步的，所述雷视传感器具体为两个，以分别检测左、右两侧视场区域的交通目标，以及使用一个所述图像传感器检测左、右两侧视场区域的中间区域中的交通目标以进行视觉补盲。
进一步的，所述融合检测模块包括映射关系获取单元以及标定融合单元，所述映射关系获取单元包括第一映射子单元以及第二映射子单元，所述第一映射子单元根据所述雷视传感器中雷达传感器、图像传感器检测到的数据，求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt ，所述第二映射子单元使用所述重叠区域完成图像之间的配准，得到从所述雷视传感器到所述补盲图像传感器的坐标映射矩阵T，所述标定融合单元使用所述最优映射矩阵R opt 、所述映射关系矩阵T将各传感器的视场坐标系转换到标准坐标系，实现标定融合。
进一步的，所述第二映射子单元包括根据所述第一视场区域与所述视觉补盲区域之间的重叠区域，得到从一组的雷视传感器的坐标系映射到所述图像传感器的图像坐标系的第一映射关系矩阵Tl2m，根据所述第二视场区域与所述视觉补盲区域之间的重叠区域，得到从另一组的雷视传感器的坐标系映射到所述图像传感器的图像坐标系的第二映射关系矩阵Tr2m。
一种用上述无盲区多传感器检测装置的控制方法，步骤包括：
S01.分别接收各所述雷视传感器、图像传感器检测到的数据；
S02.根据所述雷视传感器中雷达传感器、图像传感器检测到的数据，求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt ，以及使用所述雷视传感器与所述补盲图像传感器之间的重叠区域完成图像之间的配准，得到从所述雷视传感器到所述补盲图像传感器的坐标映射矩阵T；
S03.使用所述最优映射矩阵R opt 、所述映射关系矩阵T将各传感器的视场坐标系转换到标准坐标系，实现标定融合。
进一步的，所述步骤S02中求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt 的步骤包括：
S201.分别获取所述雷视传感器中雷达传感器对各车道进行检测得到的数据、所述雷视传感器中图像传感器对各车道进行检测得到的数据，将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维，最终得到对应的雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集；
S202.根据所述雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集进行最优参数迭代求解，得到所述最优映射矩阵R opt 。
进一步的，所述步骤S201中将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维包括：
S211.获取各车道内的检测数据进行聚类，以将每个车道内数据划分为一类，分别得到多个聚类数据集；
S212.分别对各所述聚类数据集进行一维直线拟合，并将各车道内检测的二维坐标位置点投影至对应拟合得到的直线中；
S213将投影到同一点的坐标进行剔除，最终得到各车道的数据点集。
进一步的，所述步骤S212中进行最优参数迭代求解时，使用雷达传感器映射到图像传感器的点集和原始图像坐标点集之间的距离作为代价函数，即为：
Figure 325863DEST_PATH_IMAGE001
其中，F j 表示第j组代价函数，l fi 表示第i个车道经过降维后的数据点集，l ri 表示雷达坐标系中第i个车道的降维后的数据点集；R j 表示第j组变换矩阵，j表示更新组数，且满足：
Figure 525901DEST_PATH_IMAGE002
Figure 784844DEST_PATH_IMAGE003
其中，W表示内参矩阵，w 1~w 6表示矩阵W中的元素，T表示外参矩阵，t 1~t 6表示矩阵T中的元素；
所述最优映射矩阵R opt 为：
Figure 867069DEST_PATH_IMAGE004
。
进一步的，所述步骤S202中，使用所述雷视传感器与所述补盲图像传感器之间的重叠区域完成图像之间的配准时，根据所述第一视场区域与所述视觉补盲区域之间的重叠区域，得到从一组的雷视传感器的坐标系映射到所述图像传感器的图像坐标系的第一映射关系矩阵Tl2m，根据所述第二视场区域与所述视觉补盲区域之间的重叠区域，得到从另一组的雷视传感器的坐标系映射到所述图像传感器的图像坐标系的第二映射关系矩阵Tr2m。
进一步的，所述步骤S03中，以其中一组的所述雷视传感器中的雷达视场坐标系为标准坐标系，将其余坐标系信息映射到所述标准坐标系的映射关系为：
Figure 604081DEST_PATH_IMAGE005
其中，(p l-x ,p l-y )表示当前组雷视传感器中图像视场坐标系像素位置坐标，(r p2r-l-x , r p2r-l-y y )表示(p l-x ,p l-y )像素坐标映射到标准坐标系当中的坐标，R opt-l 表示当前组雷视传感器雷达视场坐标系到图像视场坐标系的映射矩阵，
Figure 393045DEST_PATH_IMAGE006
表示R opt-l 的逆矩阵；(p m-x , p m-y )表示所述补盲图像传感器视场坐标系中像素位置坐标，(r p2r-m-x , r p2r-m-y )表示(p m-x , p m-y )像素坐标映射到标准坐标系当中的坐标，
Figure 822890DEST_PATH_IMAGE007
为T l2m的逆矩阵；(p r-x ,p r-y )表示另一组雷视传感器中图像视场坐标系像素位置坐标，(r p2r-r-x , r p2r-r-y )表示(p r-x ,p r-y )像素坐标映射到标准坐标系当中的坐标，(r r-x ,r r-y )表示右边雷视传感器中雷达视场坐标系当中的坐标位置坐标，(r r2r-r-x , r r2r-r-y )表示(r r-x ,r r-y )像素坐标映射到标准坐标系当中的坐标，R opt-r 表示另一组雷视传感器中雷达视场坐标系到图像坐标系的映射矩阵。
与现有技术相比，本发明的优点在于：本发明通过在两组雷视传感器之间设置一个补盲图像传感器，可以实现两组雷视传感器共用一个补盲图像传感器进行视觉补盲，同时补盲图像传感器与两组雷视传感器的视场区域均具有重叠区域，使得还可以借助于重叠区域作为“桥梁”实现两组雷视传感器之间信息融合，从而将两组雷视传感器与中间的补盲图像传感器检测到的数据进行统一融合与关联，不仅可以有效消除检测盲区，还可以大大提升检测距离，从而实现单杆全视野无盲区超远距交通信息的连续信息获取和标定。
附图说明
图1是现有技术中消除路侧单元中传感器检测盲区的第一种方式原理示意图。
图2是现有技术中消除路侧单元中传感器检测盲区的第二种方式原理示意图。
图3是本发明实施例1用于路侧单元的无盲区单杆多传感器检测装置的结构原理示意图。
图4是本发明实施例1实现单杆多传感器检测的原理示意图。
图5是本发明具体应用实施例中对车道进行检测得到的检测结果示意图。
图6是本发明具体应用实施例中利用深度卷积目标检测网络实现目标检测的结果示意图。
图7是本发明实施例1单杆多传感器检测装置中各传感器视场区域分布示意图。
图8是本发明实施例1实现单杆多传感器融合检测的流程示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
实施例1：
如图3所示，本实施例用于路侧单元的无盲区单杆多传感器检测装置包括相互连接的传感器模块以及融合检测模块，传感器模块包括两个雷视传感器以及一个补盲图像传感器，各传感器设置在同一立杆上，各雷视传感器分为两组，其中一个雷视传感器配置为具有第一视场区域、另一个雷视传感器配置为具有第二视场区域，第一视场区域与第二视场区域为相反方向且不存在重叠区域，补盲图像传感器布置在两组雷视传感器之间以进行视觉补盲，补盲图像传感器的视觉补盲区域位于第一视场区域与第二视场区域之间，且视觉补盲区域与第一视场区域、第二视场区域之间均具有重叠区域，融合检测模块分别接收各雷视传感器、图像传感器的数据，根据重叠区域分别得到各雷视传感器的雷达坐标系到补盲图像传感器所在的图像坐标系的映射关系，根据映射关系将所有传感器检测到的数据统一映射到同一坐标系，以实现检测结果融合。上述雷视传感器即为雷达传感器与视频传感器一体化传感器，该视频传感器具体可以为相机设备等，雷达传感器具体可以为毫米波雷达等。
本实施例通过在单杆上设置两组雷视传感器，并在两组雷视传感器之间设置一个补盲图像传感器，由两组雷视传感器共用一个补盲图像传感器进行视觉补盲，同时补盲图像传感器与两组雷视传感器的视场区域均具有重叠区域，使得可以借助于重叠区域作为“桥梁”实现两组雷视传感器之间信息融合，从而将两组雷视传感器与中间的补盲图像传感器检测到的数据进行统一融合与关联，不仅可以有效消除检测盲区，还可以大大提升检测距离，从而实现单杆全视野无盲区超远距交通信息的连续信息获取和标定。
本实施例中，两个雷视传感器与补盲图像传感器布置在同一立杆上，例如在左右两侧布置两个雷视传感器以分别检测左、右两侧视场区域的交通目标，中间布置一个图像传感器以完成对盲区视场内的信息提取和交通目标的跟踪检测，实现视觉补盲，以使得消除盲区的同时，还可以提高检测距离，相比于传统方案还能够降低实现成本。
可以理解的是，为保证设备之间挂载的灵活性或增加设备安装的可靠性，两套雷视设备的法向方向并不一定要在同一条直线上，允许存在偏差；补盲图像传感器则尽量正对地面，当然也可以不安装在两个雷视设备的正中间，只需要保证补盲图像传感器与两个雷视设备之间有足够的重叠面积区域，以用于不同区域之间信息融合和配准。
本实施例中，融合检测模块具体包括映射关系获取单元以及标定融合单元，映射关系获取单元包括第一映射子单元以及第二映射子单元，第一映射子单元根据雷视传感器中雷达传感器、图像传感器检测到的数据，求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt ，第二映射子单元使用重叠区域完成图像之间的配准，得到从雷视传感器到补盲图像传感器的坐标映射矩阵T，标定融合单元使用最优映射矩阵R opt 、映射关系矩阵T将各传感器的视场坐标系转换到标准坐标系，实现标定融合。
如图4所示，本实施例实现雷达与视频融合是利用两者在视场区域范围内的同一目标在雷达坐标系中的位置表达和图像坐标系中的位置表达，然后通过求取映射矩阵的方式，完成图像坐标系和雷达坐标系之间的相互映射。以雷视融合视场区域内的路段为6车道为例，如图5所示，其中（a）、（b）分别表示在雷达坐标系和图像坐标系中所有交通移动目标的运行位置坐标点图，相机传感器所获取的图像像素宽高具体分别为2560和1440。上述雷达视场内的所有移动目标的位置坐标直接由毫米波雷达测速测距传感器获取，相机传感器视场内的移动目标的位置则经过深度卷积目标检测网络对移动目标进行捕捉得到。具体地，利用预先构建的交通场景目标数据集训练深度卷积目标检测网络，相机传感器获取到图像流后，输入至训练好的深度卷积目标检测网络中，从而检测得到对应的目标点。检测结果如图6所示，其中通过目标检测网络之后所得到的目标框可以表示每个目标在图像坐标系当中的所在位置，具体采用(xl,yt,rwidth,rheight)表示目标框所在的图像位置，其中(xl,yt)表示目标框的左上角点，(rwidth,rheight)表示目标框的宽高。由于毫米波雷达实际测量目标的距离是针对目标离测量设备最近的点，则对应到图像检测的目标框所在位置是目标框的中下点P mb ，即：
Figure 392411DEST_PATH_IMAGE008
（1）
图5中（b）上的每个车道内轨迹点即是由每个交通目标框的P mb 点组成。
为了将雷达坐标变换到像素坐标系，需要经过外参矩阵和内参矩阵变换，变换关系如下：
Figure 667535DEST_PATH_IMAGE009
（2）
Figure 842164DEST_PATH_IMAGE010
（3）
Figure 177331DEST_PATH_IMAGE011
（4）
其中，(r x , r y )表示雷达坐标系中目标的坐标位置，(p x , p y )则是对应的像素坐标位置，矩阵T表示外参矩阵，W表示内参矩阵，w 1~w 6表示矩阵W中的元素，t 1~t 6表示矩阵T中的元素。若将T和W合并，则有：
Figure 171831DEST_PATH_IMAGE012
（5）
基于式（5），只需要求取得到变换矩阵R，即可以直接求解得到雷达坐标系和相机坐标系的相互映射关系，由r 1~r 6参数的值便可以求解得到变换矩阵R，因此求解变换矩阵R的问题即转换为求解r 1~r 6最优参数问题。
将雷达坐标系要变换到相机坐标系中，传统方式通常是先测量外参矩阵和内参矩阵，通过外参矩阵将雷达坐标系变换到世界坐标系，再通过相机的内参矩阵将世界坐标系变换到相机像素坐标系当中，但是该变换过程需要经过测试得到相机的内参矩阵和外参矩阵值，而由于外参矩阵是与安装的位置高度、安装的偏向角度等有关，因此在固定交通场景下，直接测量外参矩阵非常耗时，并且测量并不准确，映射关系对参数变化也非常敏感。本实施例通过将雷达坐标系要变换到相机坐标系问题，转换为求解式（5）中r 1~r 6最优参数问题，建立毫米波雷达视场坐标系和相机视场坐标系的映射关系，可以在确保检测精度的前提下，大大提高实现效率。
本实施例中，第一映射子单元具体包括：
降维处理子单元，用于分别获取所述雷视传感器中雷达传感器对各车道进行检测得到的数据、所述雷视传感器中图像传感器对各车道进行检测得到的数据，将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维，最终得到对应的雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集；
迭代求解子单元，用于根据所述雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集进行最优参数迭代求解，得到所述最优映射矩阵R opt 。
本实施例中，上述降维处理子单元中将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维包括：
第一子单元，用于获取各车道内的检测数据进行聚类，以将每个车道内数据划分为一类，分别得到多个聚类数据集；
第二子单元，用于分别对各聚类数据集进行一维直线拟合，并将各车道内检测的二维坐标位置点投影至对应拟合得到的直线中；
第三子单元，用于将投影到同一点的坐标进行剔除，最终得到各车道的数据点集。
上述第一子单元具体采用kmeans算法进行行聚类，当然也可以根据实际需求采用其他的聚类方法。
如图5所示，目标在雷达坐标系和图像坐标系的轨迹是相对应的，考虑到观测的坐标点数量较大，本实施例先进行数据降维处理，首先采用kmeans算法先完成不同车道线数据的聚类实现，聚类之后得到每个车道线内的数据点同属一类，分别得到多个聚类数据集；然后对每个数据集单独进行数据降维分析，如图5中带箭头线段所示，将二维坐标位置点向中间的一维直线进行投影，以将数据降维到1维数据点进行分析；投影之后对于投影到同一点的坐标进行剔除，最终得到代表该车道的点集。
假定聚类分析之后得到的一个车道的坐标点集，根据聚类点集进行一维直线拟合得到直线l:y=kx+b，将当前车道内的坐标点集向直线l:y=kx+b进行投影，最终针对雷达坐标系拟合得到的多个车道数据点集为：
l ri :y r =k ri x r +b ri x r =x r1,x r2,x r3,…
针对图像坐标系最终拟合得到的多个车道数据点集为：
L fi :y f =k fi x f +b fi x f =x f1,x f2,x f3,…
其中i=1,2,…,N，N表示车道数。
由上述可知，对应车道上雷达坐标系拟合得到的点集和图像坐标系拟合得到的点集是对应的，求解变换矩阵R的元素r 1~r 6的过程可以转换为值最优参数求解，本实施例具体采用如粒子群优化算法（PSO）、遗传算法(GA)等的启发式迭代优化算法，实现最优参数的快速求解。
上述在执行最优参数迭代求解时，需要先构造迭代的代价函数，本实施例具体使用雷达传感器映射到图像传感器的点集和原始图像坐标点集之间的距离作为代价函数，即为：
Figure 250646DEST_PATH_IMAGE001
（6）
其中，F j 表示第j组代价函数，l fi 表示第i个车道的降维后的数据点集，R j 表示第j组变换矩阵，对应的参数即为r j1~r j6，j表示更新组数；l ri 表示雷达坐标系中第i个车道的降维后的数据点集。
最终得到的最优映射矩阵R opt 即为：
Figure 76519DEST_PATH_IMAGE004
（7）
由最优映射矩阵R opt 即得到雷视自动融合的映射参数，利用该最优映射矩阵R opt 可以实现雷达传感器映射到图像传感器的映射。
本实施例通过建立雷达视场坐标系和相机（图像）视场坐标系的映射关系，并且结合kmean和最优参数迭代算法进行自动映射矩阵参数的求解，可以快速的得到最优映射矩阵。
本实施例中，第二映射子单元包括根据第一视场区域与视觉补盲区域之间的重叠区域，得到从一组的雷视传感器的坐标系映射到图像传感器的图像坐标系的第一映射关系矩阵Tl2m，根据第二视场区域与视觉补盲区域之间的重叠区域，得到从另一组的雷视传感器的坐标系映射到图像传感器的图像坐标系的第二映射关系矩阵Tr2m。
如图7所示，左右两套雷视传感器设备中的图像视场和中间补盲图像传感器的视场分布中，图像与图像之间有共同的重叠区域，因此可以利用重叠区域的特征点完成图像与图像之间的配准，从而得到映射矩阵。在具体应用实施例中，具体采用SIFT特征点匹配算法完成图像与图像之间的特征点匹配，其中利用左边的雷视设备重叠区域，基于SIFT算法得到从左边雷视设备相机视场图像坐标系映射到中间相机视场的图像坐标系的映射关系矩阵为Tl2m，利用右边的雷视设备重叠区域，基于SIFT算法得到从右边雷视设备相机视场图像坐标系映射到中间相机视场的图像坐标系的映射关系矩阵为Tr2m。然后再以其中一套雷视传感器中的雷达视场坐标系为标准坐标系，基于上述映射关系矩阵以及最优映射矩阵R opt ，将其余传感器的视场坐标系转换到标准坐标系进行标定融合。
本实施例用于上述无盲区多传感器检测装置的融合控制方法的步骤包括：
S01.分别接收各雷视传感器、图像传感器检测到的数据；
S02.根据雷视传感器中雷达传感器、图像传感器检测到的数据，求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt ，以及使用雷视传感器与补盲图像传感器之间的重叠区域完成图像之间的配准，得到从雷视传感器到补盲图像传感器的坐标映射矩阵T；
S03.使用最优映射矩阵R opt 、映射关系矩阵T将各传感器的视场坐标系转换到标准坐标系，实现标定融合。
本实施例步骤S02中求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt 的步骤包括：
S201.分别获取雷视传感器中雷达传感器对各车道进行检测得到的数据、雷视传感器中图像传感器对各车道进行检测得到的数据，将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维，最终得到对应的雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集；
S202.根据雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集进行最优参数迭代求解，得到最优映射矩阵R opt 。
上述步骤S201中将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维的具体步骤包括：
S211.获取各车道内的检测数据进行聚类，以将每个车道内数据划分为一类，分别得到多个聚类数据集；
S212.分别对各所述聚类数据集进行一维直线拟合，并将各车道内检测的二维坐标位置点投影至对应拟合得到的直线中；
S213将投影到同一点的坐标进行剔除，最终得到各车道的数据点集。
本实施例步骤S201中，使用雷视传感器与补盲图像传感器之间的重叠区域完成图像之间的配准时，根据第一视场区域与视觉补盲区域之间的重叠区域，得到从一组的雷视传感器的坐标系映射到图像传感器的图像坐标系的第一映射关系矩阵Tl2m，根据第二视场区域与视觉补盲区域之间的重叠区域，得到从另一组的雷视传感器的坐标系映射到图像传感器的图像坐标系的第二映射关系矩阵Tr2m。
上述步骤S202中最优映射矩阵R opt 具体如式（6）、（7）所示，可以结合kmean和最优参数迭代算法进行迭代求解得到。
本实施例步骤S03中，以其中一个（左侧）的雷视传感器中的雷达视场坐标系为标准坐标系，将其余坐标系信息映射到标准坐标系的映射关系具体为：
Figure 582587DEST_PATH_IMAGE013
（8）
Figure 329963DEST_PATH_IMAGE014
（9）
Figure 212469DEST_PATH_IMAGE015
（10）
Figure 827602DEST_PATH_IMAGE016
（11）
其中，(p l-x ,p l-y )表示当前组（左侧）雷视传感器中图像视场坐标系像素位置坐标，(r p2r-l-x ,r p2r-l-y y )表示(p l-x ,p l-y )像素坐标映射到标准坐标系当中的坐标，R opt-l 表示当前组雷视传感器雷达视场坐标系到图像视场坐标系的映射矩阵，
Figure 770150DEST_PATH_IMAGE006
表示R opt-l 的逆矩阵；(p m-x , p m-y )表示补盲图像传感器视场坐标系中像素位置坐标，(r p2r-m-x ,r p2r-m-y )表示(p m-x , p m-y )像素坐标映射到标准坐标系当中的坐标，
Figure 535981DEST_PATH_IMAGE007
为T l2m的逆矩阵；(p r-x ,p r-y )表示另一组（右侧）雷视传感器中图像视场坐标系像素位置坐标，(r p2r-r-x ,r p2r-r-y )表示(p r-x ,p r-y )像素坐标映射到标准坐标系当中的坐标，(r r-x ,r r-y )表示右边雷视传感器中雷达视场坐标系当中的坐标位置坐标，(r r2r-r-x ,r r2r-r-y )表示(r r-x ,r r-y )像素坐标映射到标准坐标系当中的坐标，R opt-r 表示另一组雷视传感器中雷达视场坐标系到图像坐标系的映射矩阵。
通过上式（8）~（11）即可将各传感器的坐标系信息统一映射到标准坐标系中，实现各传感器检测数据的标定融合。上述标准坐标系可以选取其中一个雷视传感器中的雷达视场坐标系，当然也可以采用其他所需的坐标系作为标准坐标系。
如图8所示，本发明在具体应用实施例中首先按上述构建多传感器标定融合模型，由各传感器实时检测到数据后，根据检测的数据求解雷视自动融合映射关系（如式（6）、（7）所示），然后求解雷视融合设备与中间补盲相机设备的坐标映射关系（如Tl2m和Tr2m），通过上述求解的映射矩阵，统一映射到标准坐标系中，如上式（8）~（11）所示。
本实施例通过构建单杆多个雷达传感器与图像传感器之间的坐标映射模型，将单杆上所有传感器设备统一到同一个坐标系当中，实现信息的融合和统一，相比于传统方案要通过两两传感器的内参矩阵或是外参矩阵等来计算模型之间的映射关系，可以高效且准确地计算传感器设备之间的最优映射参数和关系。
实施例2：
本实施例与实施例基本相同，不同之处在于雷视传感器包括三个以上，将各雷视传感器分为两组，其中一组雷视传感器配置为具有第一视场区域、另一组雷视传感器配置为具有第二视场区域，第一视场区域与第二视场区域为相反方向且不存在重叠区域，补盲图像传感器布置在两组雷视传感器之间以进行视觉补盲，补盲图像传感器的视觉补盲区域位于第一视场区域与第二视场区域之间，且视觉补盲区域与第一视场区域、第二视场区域之间均具有重叠区域，融合检测模块分别接收各雷视传感器、图像传感器的数据，根据重叠区域分别得到各雷视传感器的雷达坐标系到补盲图像传感器所在的图像坐标系的映射关系，根据映射关系将所有传感器检测到的数据统一映射到同一坐标系，以实现检测结果融合。上述雷视传感器的布置数量可以根据实际需求配置，补盲图像传感器也可以根据实际需求设置两个以上。
考虑到不同检测区域的检测精度等要求可能不同，如重点区域检测精度要求较高，而非重点区域检测精度要求较低，本实施例通过在单杆上设置三个以上的雷视传感器，将雷视传感器划分为两组，对于重点区域可以配置使用两个以上的雷视传感器进行检测，非重点区域则可以配置使用单个的雷视传感器进行检测，以进一步提高重点区域的检测精度。甚至还可以根据检测需求，将每组雷视传感器中各传感器配置为检测不同距离，如一个传感器检测近距离、另一个检测远距离，以使得可以综合多套雷视传感器的优势，最大限度的消除盲区同时提高检测距离与精度。由于各套雷视传感器共用一个补盲图像传感器，本实施例通过上述方式仍然可以有效减少实现成本。
如本发明公开所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。本发明公开中使用的“第一”、“第二” 以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种用于路侧单元的无盲区单杆多传感器检测装置，其特征在于，包括相互连接的传感器模块以及融合检测模块，所述传感器模块包括两个以上的雷视传感器以及一个以上的补盲图像传感器，各传感器设置在同一立杆上，各所述雷视传感器分为两组，其中一组雷视传感器配置为具有第一视场区域、另一组雷视传感器配置为具有第二视场区域，所述第一视场区域与所述第二视场区域为相反方向且不存在重叠区域，所述补盲图像传感器布置在两组雷视传感器之间以进行视觉补盲，所述补盲图像传感器的视觉补盲区域位于所述第一视场区域与所述第二视场区域之间，且所述视觉补盲区域与所述第一视场区域、第二视场区域之间均具有重叠区域，所述融合检测模块分别接收各所述雷视传感器、图像传感器的数据，根据所述重叠区域分别得到各雷视传感器的雷达坐标系到所述补盲图像传感器所在的图像坐标系的映射关系，根据所述映射关系将所有传感器检测到的数据统一映射到同一坐标系，以实现检测结果融合；
所述融合检测模块具体包括映射关系获取单元以及标定融合单元，映射关系获取单元包括第一映射子单元以及第二映射子单元，第一映射子单元根据雷视传感器中雷达传感器、图像传感器检测到的数据，求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt ，第二映射子单元使用重叠区域完成图像之间的配准，得到从雷视传感器到补盲图像传感器的坐标映射矩阵T，标定融合单元使用最优映射矩阵R opt 、映射关系矩阵T将各传感器的视场坐标系转换到标准坐标系，实现标定融合；
所述第一映射子单元具体包括：
降维处理子单元，用于分别获取所述雷视传感器中雷达传感器对各车道进行检测得到的数据、所述雷视传感器中图像传感器对各车道进行检测得到的数据，将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维，最终得到对应的雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集；
迭代求解子单元，用于根据所述雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集进行最优参数迭代求解，得到所述最优映射矩阵R opt 。
2.根据权利要求1所述的用于路侧单元的无盲区单杆多传感器检测装置，其特征在于，所述雷视传感器具体为两个，以分别检测左、右两侧视场区域的交通目标，由一个所述图像传感器检测左、右两侧视场区域的中间区域中的交通目标以进行视觉补盲。
3.根据权利要求1所述的用于路侧单元的无盲区单杆多传感器检测装置，其特征在于，所述融合检测模块包括映射关系获取单元以及标定融合单元，所述映射关系获取单元包括第一映射子单元以及第二映射子单元，所述第一映射子单元根据所述雷视传感器中雷达传感器、图像传感器检测到的数据，求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt ，所述第二映射子单元使用所述重叠区域完成图像之间的配准，得到从所述雷视传感器到所述补盲图像传感器的坐标映射矩阵T，所述标定融合单元使用所述最优映射矩阵R opt 、所述映射关系矩阵T将各传感器的视场坐标系转换到标准坐标系，实现标定融合。
4.根据权利要求3所述的用于路侧单元的无盲区单杆多传感器检测装置，其特征在于，所述第二映射子单元包括根据所述第一视场区域与所述视觉补盲区域之间的重叠区域，得到从一组的雷视传感器的坐标系映射到所述图像传感器的图像坐标系的第一映射关系矩阵Tl2m，根据所述第二视场区域与所述视觉补盲区域之间的重叠区域，得到从另一组的雷视传感器的坐标系映射到所述图像传感器的图像坐标系的第二映射关系矩阵Tr2m。
5.一种用于权利要求1~4中任意一项所述无盲区单杆多传感器检测装置的控制方法，其特征在于，步骤包括：
S01.分别接收各所述雷视传感器、图像传感器检测到的数据；
S02.根据所述雷视传感器中雷达传感器、图像传感器检测到的数据，求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt ，以及使用所述雷视传感器与所述补盲图像传感器之间的重叠区域完成图像之间的配准，得到从所述雷视传感器到所述补盲图像传感器的坐标映射矩阵T；
S03.使用所述最优映射矩阵R opt 、所述映射关系矩阵T将各传感器的视场坐标系转换到标准坐标系，实现标定融合。
6.根据权利要求5所述的控制方法，其特征在于，所述步骤S02中求解出将雷达坐标系映射为图像坐标系的最优映射矩阵R opt 的步骤包括：
S201.分别获取所述雷视传感器中雷达传感器对各车道进行检测得到的数据、所述雷视传感器中图像传感器对各车道进行检测得到的数据，将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维，最终得到对应的雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集；
S202.根据所述雷达坐标系下的多个车道数据点集以及图像坐标系下的多个车道数据点集进行最优参数迭代求解，得到所述最优映射矩阵R opt 。
7.根据权利要求6所述的控制方法，其特征在于，所述步骤S201中将获取到的各车道数据进行聚类后分别进行一维直线拟合以实现降维包括：
S211.获取各车道内的检测数据进行聚类，以将每个车道内数据划分为一类，分别得到多个聚类数据集；
S212.分别对各所述聚类数据集进行一维直线拟合，并将各车道内检测的二维坐标位置点投影至对应拟合得到的直线中；
S213将投影到同一点的坐标进行剔除，最终得到各车道的数据点集。
8.根据权利要求6所述的控制方法，其特征在于，所述步骤S202中进行最优参数迭代求解时，使用雷达传感器映射到图像传感器的点集和原始图像坐标点集之间的距离作为代价函数，即为：
Figure 929440DEST_PATH_IMAGE001
其中，F j 表示第j组代价函数，l fi 表示第i个车道经过降维后的数据点集，l ri 表示雷达坐标系中第i个车道的降维后的数据点集，N为车道数；R j 表示第j组变换矩阵，j表示更新组数，且满足：
Figure 377739DEST_PATH_IMAGE003
Figure 157476DEST_PATH_IMAGE004
其中，W表示内参矩阵，w 1~w 6表示矩阵W中的元素，T表示外参矩阵，t 1~t 6表示矩阵T中的元素；
所述最优映射矩阵R opt 为：
Figure 693630DEST_PATH_IMAGE005
。
9.根据权利要求6~8中任意一项所述的控制方法，其特征在于，所述步骤S202中，使用所述雷视传感器与所述补盲图像传感器之间的重叠区域完成图像之间的配准时，根据所述第一视场区域与所述视觉补盲区域之间的重叠区域，得到从一组的雷视传感器的坐标系映射到所述图像传感器的图像坐标系的第一映射关系矩阵Tl2m，根据所述第二视场区域与所述视觉补盲区域之间的重叠区域，得到从另一组的雷视传感器的坐标系映射到所述图像传感器的图像坐标系的第二映射关系矩阵Tr2m。
10.根据权利要求9所述的控制方法，其特征在于，所述步骤S03中，以其中一组的所述雷视传感器中的雷达视场坐标系为标准坐标系，将其余坐标系信息映射到所述标准坐标系的映射关系为：
Figure 773582DEST_PATH_IMAGE006
其中，(p l-x , p l-y )表示当前组雷视传感器中图像视场坐标系像素位置坐标，(r p2r-l-x , r p2r-l-y y )表示(p l-x , p l-y )像素坐标映射到标准坐标系当中的坐标，R opt-l 表示当前组雷视传感器雷达视场坐标系到图像视场坐标系的映射矩阵，
Figure 861624DEST_PATH_IMAGE007
表示R opt-l 的逆矩阵；(p m-x , p m-y )表示所述补盲图像传感器视场坐标系中像素位置坐标，(r p2r-m-x , r p2r-m-y )表示(p m-x , p m-y )像素坐标映射到标准坐标系当中的坐标，
Figure DEST_PATH_IMAGE008
为T l2m的逆矩阵；(p r-x , p r-y )表示另一组雷视传感器中图像视场坐标系像素位置坐标，(r p2r-r-x , r p2r-r-y )表示(p r-x , p r-y )像素坐标映射到标准坐标系当中的坐标，(r r-x, r r-y )表示右边雷视传感器中雷达视场坐标系当中的坐标位置坐标，(r r2r-r-x , r r2r-r-y )表示(r r-x, r r-y )像素坐标映射到标准坐标系当中的坐标，R opt-r 表示另一组雷视传感器中雷达视场坐标系到图像坐标系的映射矩阵。
CN202211080050.6A 2022-09-05 2022-09-05 用于路侧单元的无盲区单杆多传感器检测装置及控制方法 Active CN115166722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211080050.6A CN115166722B (zh) 2022-09-05 2022-09-05 用于路侧单元的无盲区单杆多传感器检测装置及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211080050.6A CN115166722B (zh) 2022-09-05 2022-09-05 用于路侧单元的无盲区单杆多传感器检测装置及控制方法

Publications (2)

Publication Number Publication Date
CN115166722A CN115166722A (zh) 2022-10-11
CN115166722B true CN115166722B (zh) 2022-12-13

Family

ID=83480964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211080050.6A Active CN115166722B (zh) 2022-09-05 2022-09-05 用于路侧单元的无盲区单杆多传感器检测装置及控制方法

Country Status (1)

Country Link
CN (1) CN115166722B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116887058B (zh) * 2023-09-07 2024-02-13 腾讯科技（深圳）有限公司 图像采集方法、装置、采集设备和存储介质
CN118311569B (zh) * 2024-06-11 2024-09-13 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种多雷达光电一体机协同防护和雷达去重拼接方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005103757A1 (de) * 2004-04-22 2005-11-03 Siemens Aktiengesellschaft Blindspot-sensorsystem
CN110874927A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 智能路侧单元
CN110909656A (zh) * 2019-11-18 2020-03-24 中电海康集团有限公司 一种雷达与摄像机融合的行人检测方法和系统
CN111369796A (zh) * 2020-03-11 2020-07-03 北京百度网讯科技有限公司 路侧感知系统
CN213457769U (zh) * 2020-09-15 2021-06-15 芜湖酷哇机器人产业技术研究院有限公司 一种用于无人驾驶环卫车的传感器组件
CN113496528A (zh) * 2021-09-07 2021-10-12 湖南众天云科技有限公司 固定交通路侧场景下视觉检测目标位置标定方法及装置
CN114677446A (zh) * 2022-03-21 2022-06-28 华南理工大学 基于路侧多传感器融合的车辆检测方法、装置及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775063B2 (en) * 2009-01-26 2014-07-08 GM Global Technology Operations LLC System and method of lane path estimation using sensor fusion
US20190120934A1 (en) * 2017-10-19 2019-04-25 GM Global Technology Operations LLC Three-dimensional alignment of radar and camera sensors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005103757A1 (de) * 2004-04-22 2005-11-03 Siemens Aktiengesellschaft Blindspot-sensorsystem
CN110874927A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 智能路侧单元
CN110909656A (zh) * 2019-11-18 2020-03-24 中电海康集团有限公司 一种雷达与摄像机融合的行人检测方法和系统
CN111369796A (zh) * 2020-03-11 2020-07-03 北京百度网讯科技有限公司 路侧感知系统
CN213457769U (zh) * 2020-09-15 2021-06-15 芜湖酷哇机器人产业技术研究院有限公司 一种用于无人驾驶环卫车的传感器组件
CN113496528A (zh) * 2021-09-07 2021-10-12 湖南众天云科技有限公司 固定交通路侧场景下视觉检测目标位置标定方法及装置
CN114677446A (zh) * 2022-03-21 2022-06-28 华南理工大学 基于路侧多传感器融合的车辆检测方法、装置及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Novel Spatio-Temporal Synchronization Method of Roadside Asynchronous MMW Radar-Camera for Sensor Fusion;Yuchuan Du 等;《IEEE Transactions on Intelligent Transportation Systems ( Early Access )》;20211027;1-12 *
三维激光雷达-相机间外参的高效标定方法;刘今越 等;《仪器仪表学报》;20191115;第49卷(第11期);64-72 *
地基雷达与预警机系统协同部署优化方法;王中杰 等;《现代雷达》;20080415;第30卷(第04期);10-13 *

Also Published As

Publication number Publication date
CN115166722A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN111583337B (zh) 一种基于多传感器融合的全方位障碍物检测方法
CN115166722B (zh) 用于路侧单元的无盲区单杆多传感器检测装置及控制方法
CN112667837A (zh) 图像数据自动标注方法及装置
CN111045000A (zh) 监测系统和方法
CN101118648A (zh) 交通监视环境下的路况摄像机标定方法
CN103176185A (zh) 用于检测道路障碍物的方法及系统
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN114252884B (zh) 路侧雷达定位监测方法、装置、计算机设备和存储介质
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN109410264A (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN116912786A (zh) 一种基于车路协同的智能网联汽车多模态融合检测方法
CN114782548B (zh) 基于全局图像的雷视数据标定方法、装置、设备及介质
CN111104861B (zh) 用于确定电线位置的方法和设备以及存储介质
CN116977806A (zh) 一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统
CN113988197B (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN115267756A (zh) 一种基于深度学习目标检测的单目实时测距方法
CN118411517A (zh) 一种针对汇流区交通道路的数字孪生方法及装置
CN112488022B (zh) 一种环视全景监控方法、装置及系统
Deng et al. Joint calibration of dual lidars and camera using a circular chessboard
CN117496452A (zh) 一种路口多目相机与雷视一体机检测目标的关联方法及系统
CN114252883A (zh) 目标检测方法、装置、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant