CN115049745A - 一种路侧传感器的标定方法、装置、设备及介质 - Google Patents

一种路侧传感器的标定方法、装置、设备及介质 Download PDF

Info

Publication number
CN115049745A
CN115049745A CN202210978037.6A CN202210978037A CN115049745A CN 115049745 A CN115049745 A CN 115049745A CN 202210978037 A CN202210978037 A CN 202210978037A CN 115049745 A CN115049745 A CN 115049745A
Authority
CN
China
Prior art keywords
sensor
calibrated
track
points
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210978037.6A
Other languages
English (en)
Other versions
CN115049745B (zh
Inventor
赵晓萌
李发成
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Moshi Intelligent Technology Co ltd
Original Assignee
Jiangsu Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Moshi Intelligent Technology Co ltd filed Critical Jiangsu Moshi Intelligent Technology Co ltd
Priority to CN202210978037.6A priority Critical patent/CN115049745B/zh
Publication of CN115049745A publication Critical patent/CN115049745A/zh
Application granted granted Critical
Publication of CN115049745B publication Critical patent/CN115049745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种路侧传感器的标定方法、装置、设备及介质，涉及车辆技术领域，该方法包括：确定多个待标定传感器在预设时段内采集的具有目标物体的感知点；基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点；确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布；基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。本发明不必逐个标定传感器，在提升结算得到的外参数的准确性的同时，提高了标定的效率。

Description

一种路侧传感器的标定方法、装置、设备及介质
技术领域
本发明涉及车辆技术领域，具体涉及一种路侧传感器的标定方法、装置、设备及介质。
背景技术
车联网（Vehicle to X，V2X）方案中，需要部署车载模块、路侧模块和网络设施，路侧模块中的感知系统需要搭载多个不同的传感器来感知所需的数据，多个传感器各自具有不同的观测模态，而通过融合多观测模态获取到的观测数据内容，可以大幅提升路侧数据的感知精度和鲁棒性，更好地实现车路协同。
融合多观测模态的观测数据的前提是传感器的外参数需要标定后再使用，而目前都是需要人工在路侧设置指定的标定物，来对待标定传感器逐一进行相对于标定物的外参数标定以及进行外参数的解算。该过程需要的需要投入较多的人力与时间成本，给多观测模态的观测数据融合带来了不便。
发明内容
有鉴于此，本发明实施例提供了一种路侧传感器的标定方法、装置、设备及介质，以解决路侧所采用的传感器的外参数标定只能逐一且静态进行的问题。
根据第一方面，本发明实施例提供了一种路侧传感器的标定方法，所述方法包括：
确定多个待标定传感器在预设时段内采集的具有目标物体的感知点；
基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点；基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点；初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量；
确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布；
基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，采用数值代价函数优化方法迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。
结合第一方面，在第一方面第一实施方式中，所述确定多个待标定传感器在预设时段内采集的具有目标物体的感知点，具体包括：
确定多个待标定传感器在预设时段对应采集的数据点；
确定目标物体，并将具有目标物体的所述数据点作为待标定传感器的感知点。
结合第一方面，在第一方面第二实施方式中，所述基于基准传感器的内参数，将感知点映射至基准像素坐标系，得到轨迹点，具体包括：
确定基准传感器、基准传感器的内参数以及基准传感器的基准像素坐标系；
确定各个待标定传感器相对于基准传感器之间的初始外参数；
基于内参数和初始外参数，将感知点映射至基准像素坐标系，得到映射至基准像素坐标系的轨迹点；基准像素坐标系是基于基准传感器安装位置的坐标位置点与基准传感器内参数建立的二维坐标系。
结合第一方面第二实施方式，在第一方面第三实施方式中，该方法在基于内参数和初始外参数，将感知点映射至基准像素坐标系，得到映射至基准像素坐标系的轨迹点步骤之后，还包括：
确定基准像素坐标系的边界，并剔除超过边界的轨迹点。
结合第一方面，在第一方面第四实施方式中，所述确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布，具体包括：
基于待标定传感器以及基准传感器分别对应的轨迹点在基准像素坐标系上形成的图像的轨迹稠密程度以及图像分辨率，分别建立待标定传感器对应轨迹点的第一像素概率模型以及基准传感器对应的轨迹点的第二像素概率模型；
将待标定传感器对应的轨迹点输入至第一像素概率模型中，得到第一像素概率模型输出的第一索引概率值，将基准传感器对应的轨迹点输入至第二像素概率模型中，得到第二像素概率模型输出的第二索引概率值；
对第一索引概率值和第二索引概率值进行缩放离散化处理，分别得到第一轨迹概率值和第二轨迹概率值；
基于第一轨迹概率值，建立待标定传感器对应的轨迹点在基准像素坐标系上的第一轨迹概率图，基于第二轨迹概率值，建立基准传感器对应的轨迹点在基准像素坐标系上的第二轨迹概率图；
基于第一轨迹概率图和第二轨迹概率图，得到各个待标定传感器和基准传感器分别对应的轨迹点的边缘分布，以及待标定传感器和基准传感器的轨迹点共同的联合分布。
结合第一方面第四实施方式，在第一方面第五实施方式中，所述基于第一轨迹概率图和第二轨迹概率图，得到各个待标定传感器和基准传感器分别对应的轨迹点的边缘分布，以及待标定传感器和基准传感器的轨迹点共同的联合分布，具体包括：
基于第一估计概率图，进行归一化处理，得到待标定传感器对应的轨迹点的第一边缘分布；
基于第二估计概率图，进行归一化处理，得到基准传感器对应的轨迹点的第二边缘分布；
基于第一轨迹概率图和第二轨迹概率图，进行归一化处理，得到待标定传感器和基准传感器的轨迹点共同的联合分布。
结合第一方面，在第一方面第六实施方式中，基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数，具体包括：
基于边缘分布和联合分布，确定互信息，并将互信息作为优化用的代价函数；
根据预设学习率、数值代价函数优化以及初始外参数，经过预设迭代次数的优化后，更新旋转矩阵和平移向量，得到标定后外参数。
第二方面， 本发明实施例还提供一种路侧传感器的标定装置，所述装置包括：
采集模块，用于确定多个待标定传感器在预设时段内采集的具有目标物体的感知点；
映射模块，用于基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点；基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点；初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量；
确定模块，用于确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布；
标定模块，用于基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。
第三方面， 本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述路侧传感器的标定方法的步骤。
第四方面， 本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述路侧传感器的标定方法的步骤。
第五方面， 本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述路侧传感器的标定方法的步骤。
本发明提供的路侧传感器的标定方法、装置、设备及介质，通过确定待标定传感器在预设时间内采集具有目标物体的感知点，目标物体可以是多个，也可以是移动的物体也可以是固定的物体，因此不要人工标定物体；通过将其中一个待标定传感器作为基准传感器，以该基准传感器建立的基准像素坐标系作为标定时所需的像素坐标系，因此标定时不依赖绝对的地理坐标；通过已经确定的内参数和需要标定的外参数，将感知点映射至基准像素坐标系，得到目标物体的轨迹点，并利用轨迹点进行多个待标定传感器的联合标定，因此，不必逐个标定传感器，在提升结算得到的外参数的准确性的同时，提高了标定的效率。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明提供的路侧传感器的标定方法的流程示意图；
图2示出了本发明提供的路侧传感器的标定方法中步骤S110具体的流程示意图；
图3示出了本发明提供的路侧传感器的标定方法中步骤S120具体的流程示意图之一；
图4示出了本发明提供的路侧传感器的标定方法中步骤S120具体的流程示意图之二；
图5示出了本发明提供的路侧传感器的标定方法中步骤S130具体的流程示意图；
图6示出了本发明提供的路侧传感器的标定方法中步骤S135具体的流程示意图；
图7示出了本发明提供的路侧传感器的标定方法中步骤S140具体的流程示意图；
图8示出了本发明提供的路侧传感器的标定装置的结构示意图；
图9示出了本发明提供的路侧传感器的标定装置中采集模块具体的结构示意图；
图10示出了本发明提供的路侧传感器的标定装置中映射模块具体的结构示意图之一；
图11示出了本发明提供的路侧传感器的标定装置中映射模块具体的结构示意图之二；
图12示出了本发明提供的路侧传感器的标定装置中确定模块具体的结构示意图；
图13示出了本发明提供的路侧传感器的标定装置中第五确定单元具体的结构示意图；
图14示出了本发明提供的路侧传感器的标定装置中标定模块具体的结构示意图；
图15示出了本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
车路协同是指采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理,充分实现人车路的有效协同，保证交通安全，并提高通行效率，从而形成的安全、高效和环保的道路交通系统。车路协同的技术要点有三点：一是强调人-车-路系统协同；二是强调区域大规模联网联控；三是强调利用多模式交通网络与信息交互。车路协同是信息技术与汽车和交通两大行业相融合的结果，目前，若想要实现未来交通的智能，就不再是单车智能那么简单。无论单车智能的研发还是公路建设，都是将各自的数据割裂开来，智能也只是局限的智能，大多数汽车产生的数据都不能够有效的被采用，而车路协同是将车、路、人、云有效的结合，各自产生的数据能够被灵活的运用，不仅有效的解决用户所遇到的处行问题，同时对公路上产生的各种交通状况也能够提处一个合理的解决方案。车路协同将是智能交通、智慧高速的核心。
目前的V2X方案中，需要部署车载模块、路侧模块和网络设施，且车载模块、路侧模块和网络设施三者之间的关系为：车辆中的车载模块识别并采集车辆数据，并将采集的车辆数据发送至路侧模块或网络设施，路侧模块采集并生成道路上的车况信息，并将车辆数据和车况数据信息转发至网络设施，网络设施接收撤了数据和车况数据，进行综合分析及协同处理后再反馈给路侧模块，并由路侧模块转发至相应车辆中的车载模块，实现相应的车路协同。
在路侧模块中感知系统中通过搭载各类传感器感知即采集相关的数据，目前常规使用的传感器包括视觉类传感器（包括单目、双目立体视觉、全景视觉及红外相机）和雷达类测距传感器（包括激光雷达、毫米波雷达、超声波雷达等），比如在前碰撞系统（FrontCollision Warning System，FCWS）在会使用到毫米波雷达传感器、激光雷达传感器和视觉类传感器，毫米波雷达和激光雷达分别通过对目标物发送电磁波和激光并接收回波来获得目标物体的距离、速度和角度，视觉类传感器例如各类相机需要先进行目标识别，然后根据目标物在图像中的像素大小来估算目标的距离，因此，在FCWS中雷达类测距传感器适用于辅助视觉类传感器，通过将雷达类测距传感器返回的目标点投影至视觉类传感器采集的图像上，围绕该点并结合先验知识，生成一个感兴趣区域，之后只需要对该区域内进行目标检测，迅速地排除大量不会有目标的区域，极大地提高目标的识别速度。
基于上述的实现原理，建立精确的雷达坐标系、三维世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现各类传感器数据融合的关键，也是车路协同的基础，路侧模块中搭载的各类传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中，也就是对传感器进行标定。
下面结合图1描述本发明的路侧传感器的标定方法，该方法包括以下步骤：
S110、确定多个待标定传感器在预设时段内采集的具有目标物体的感知点。待标定传感器的安装位置也就是搭载位置是固定的。需要说明的是，待标定传感器准确的内参数是已经确定的了，并且能够获取到待标定传感器不准确的初始外参数。可以理解的是，初始外参数也就是需要标定的参数，通过标定可以得到数值更为准确的外参数。
以本发明的方法应用于前向视觉系统为例进行说明，由于前向视觉系统以视觉为主，因此只需将雷达类测距传感器在其坐标系下得到的测量点转换到视觉类传感器对应的像素坐标系下即可实现两类传感器之间的空间同步。若前向视觉系统的雷达类测距传感器采用了激光雷达传感器，视觉类传感器采用了摄像机，待标定传感器即为激光雷达传感器和摄像机，此时对待标定传感器的标定可以简单的概括为：将激光监测的目标坐标转换到图像中对应的像素坐标。
现有技术中，当待标定传感器为多个时，需要人工在路侧设置指定的标定物，并且需要对待标定传感器逐一进行相对于标定物的外参数标定以及进行外参数的解算。
在本发明的方法中，目标物体可以是固定在某个位置的标定物体，也可以是移动的物体。在本实施例中，为了确保待标定传感器能够输出目标级的数据点也就是观测点，在目标物体上可以附有跟踪目标标识，便于确定待标定传感器能够输出的数据点中是否具有目标物体。
为了提高后续传感器标定时的效率，在本发明的方法中待标定传感器两两之间存在公共检测区域，且公共检测区域占比所有待标定传感器的检测区域并集也就是所有待标定传感器的检测区域之和超过预设比例，公共检测区域为较平坦区域，如一般道路路侧或路口场景的路面区域。优选的，预设比例为50%。
比如，对于一般道路路侧或路口场景的路面区域，对于同一地点架设需要标定的多个待标定传感器，这些传感器可通过人工的方式设置初始外参数，之后在预设时间例如1-3分钟时间内进行目标物体的数据采集，得出轨迹级观测结果，如激光雷达传感器输出目标物体的三维物理坐标轨迹，相机输出目标物体在图像平面的二维像素坐标轨迹。
在步骤S110中各个待标定传感器在采集目标物体的数据点也就是观测点时无需精确同步，即，并不需要均在同一时间段内进行数据的采集，只要能确保各个待标定传感器的采集时间重叠时段的比例超过预设素材采集比例即可。优选的，预设素材采集比例为80%，也就是各个待标定传感器的采集时间重叠时段比例超过80%即可。
S120、基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点。
可以理解的是，基准像素坐标系是以待标定传感器的安装位置建立的像素坐标系。
在本实施例中，基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点。为了确定基准传感器安装位置的坐标位置点，可以将被确定为基准传感器固定后之后基准传感器的中心点作为其安装位置的坐标位置点。
初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量。
S130、确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布。
S140、基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，采用数值代价函数优化的方式，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。也就是经过迭代训练并更新后的旋转矩阵和平移向量。
本发明的路侧传感器的标定方法，通过确定待标定传感器在预设时间内采集具有目标物体的感知点，目标物体可以是多个，也可以是移动的物体也可以是固定的物体，因此不要人工标定物体；通过将其中一个待标定传感器作为基准传感器，以该基准传感器建立的基准像素坐标系作为标定时所需的像素坐标系，因此标定时不依赖绝对的地理坐标；通过已经确定的内参数和需要标定的外参数，将感知点映射至基准像素坐标系，得到目标物体的轨迹点，并利用轨迹点进行多个待标定传感器的联合标定，因此，不必逐个标定传感器，在提升结算得到的外参数的准确性的同时，提高了标定的效率。
下面参阅图2描述本发明的路侧传感器的标定方法，步骤S110具体包括：
S111、确定多个待标定传感器在预设时段对应采集的数据点。
在步骤S111中各个待标定传感器在采集目标物体的数据点也就是观测点时无需精确同步，即，并不需要均在同一时间段内进行数据的采集，只要能确保各个待标定传感器的采集时间重叠时段的比例超过预设素材采集比例即可。优选的，预设素材采集比例为80%，也就是各个待标定传感器的采集时间重叠时段比例超过80%即可。
采用上述技术方案，本发明的方法在采集感知点时不需要多传感器做较准确的时间同步。
S112、确定目标物体，并将具有目标物体的数据点作为待标定传感器的感知点。
在本发明的方法中，目标物体可以是固定在某个位置的标定物体，也可以是移动的物体。在本实施例中，为了确保待标定传感器能够输出目标级的数据点也就是观测点，在目标物体上可以附有跟踪目标标识，便于确定待标定传感器能够输出的数据点中是否具有目标物体。
需要说明的是，在本实施例中，目标物体可以是多个，并且当目标物体确定为多个时，各个待标定传感器观测到的轨迹也是多个。因此需要累计各个待标定传感器的感知点，即累计所有目标物体被待标定传感器观测到的轨迹。
以其中一个待标定传感器为激光雷达传感器进行说明，激光雷达传感器在预设时间内采集的目标物体的轨迹，激光雷达传感器的单目标物体
Figure 966186DEST_PATH_IMAGE002
的数据点也就是轨迹在离散数据下呈三维点集表示。
激光雷达传感器的单目标物体
Figure 846418DEST_PATH_IMAGE002
的数据点集
Figure 753194DEST_PATH_IMAGE004
，
Figure 360761DEST_PATH_IMAGE006
为
Figure 857165DEST_PATH_IMAGE008
中第
Figure 331134DEST_PATH_IMAGE002
个数据 点的像素坐标，
Figure 662890DEST_PATH_IMAGE010
，
Figure 74148DEST_PATH_IMAGE012
表示三维实向量空间，
Figure DEST_PATH_IMAGE013
表示激光雷达传感器在预设时间内观 测到目标物体
Figure 289972DEST_PATH_IMAGE002
的数目。预设时间内所有具有目标物体数据点的点集并集即为该待标定传 感器所检测到的具有目标物体的感知点，激光雷达传感器的感知点集
Figure DEST_PATH_IMAGE015
，
Figure DEST_PATH_IMAGE017
为激 光雷达传感器在预设时间内观测到的轨迹数目。
类似的，再以其中另一个待标定传感器为相机进行说明，相机在预设时间内观测到的轨迹数目为
Figure DEST_PATH_IMAGE019
，累计相机在预设时间内采集的目标物体的轨迹，同样形成相机所检测到的具有目标物体的感知点。相机的单目标物体
Figure DEST_PATH_IMAGE021
的数据点也就是轨迹在离散数据下呈二维点集表示，相机的单目标物体
Figure 636640DEST_PATH_IMAGE021
的数据点集
Figure DEST_PATH_IMAGE023
，
Figure DEST_PATH_IMAGE025
为
Figure DEST_PATH_IMAGE027
中第
Figure 144107DEST_PATH_IMAGE021
个数据点的像素坐标，
Figure DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE031
表示二维实向量空间，
Figure DEST_PATH_IMAGE033
表示相机在预设时间内观测到目标物体
Figure 31161DEST_PATH_IMAGE021
的数目，相机的感知点集
Figure DEST_PATH_IMAGE035
。
下面参阅图3描述本发明的路侧传感器的标定方法，步骤S120具体包括：
S121、确定基准传感器、基准传感器的内参数以及基准传感器的基准像素坐标系。
由于前向视觉系统以视觉为主，因此只需将雷达类测距传感器在其坐标系下得到的测量点转换到视觉类传感器对应的像素坐标系下即可实现两类传感器之间的空间同步。因此，本发明的方法中将相机确定为基准传感器，并确定相机的内参数和基准像素坐标系。
S122、确定各个待标定传感器相对于基准传感器之间的初始外参数。
初始外参数就是激光雷达传感器相对于相机的初始旋转矩阵
Figure DEST_PATH_IMAGE037
与初始平移向量
Figure DEST_PATH_IMAGE039
。
S123、基于内参数和初始外参数，将感知点映射至基准像素坐标系，得到映射至基准像素坐标系的轨迹点；基准像素坐标系是基于基准传感器安装位置的坐标位置点建立的二维坐标系。
由已知的相机内参数进行映射，记为
Figure DEST_PATH_IMAGE041
，即表示从相机坐标系转换到基 准像素坐标系的映射函数。通过
Figure DEST_PATH_IMAGE043
将步骤S110得到的
Figure 825460DEST_PATH_IMAGE044
映射到基准像素坐标系的像 素平面，以激光雷达传感器的感知点集为例：
Figure 952816DEST_PATH_IMAGE046
其中，
Figure 321480DEST_PATH_IMAGE048
为激光雷达传感器的感知点映射（投影）到基准像素坐标系上的点，也就是激光雷达传感器对应的轨迹点。
下面参阅图4描述本发明的路侧传感器的标定方法，区别于之前的实施例，步骤S120还包括：
S124、确定基准像素坐标系的边界，并剔除超过边界的轨迹点。为了便于之后生成轨迹概率图，在本发明的方法中还可以剔除掉越过图像像素边界的轨迹点。
下面参阅图5描述本发明的路侧传感器的标定方法，步骤S130具体包括：
S131、基于待标定传感器以及基准传感器分别对应的轨迹点在基准像素坐标系上形成的图像的轨迹稠密程度以及图像分辨率，分别建立待标定传感器对应轨迹点的第一像素概率模型以及基准传感器对应的轨迹点的第二像素概率模型。
S132、将待标定传感器对应的轨迹点输入至第一像素概率模型中，得到第一像素概率模型输出的第一索引概率值，将基准传感器对应的轨迹点输入至第二像素概率模型中，得到第二像素概率模型输出的第二索引概率值。
S133、对第一索引概率值和第二索引概率值进行缩放离散化处理，分别得到第一轨迹概率值和第二轨迹概率值。
S134、基于第一轨迹概率值，建立待标定传感器对应的轨迹点在基准像素坐标系上的第一轨迹概率图，基于第二轨迹概率值，建立基准传感器对应的轨迹点在基准像素坐标系上的第二轨迹概率图。
S135、基于第一轨迹概率图和第二轨迹概率图，得到各个待标定传感器和基准传感器分别对应的轨迹点的边缘分布，以及待标定传感器和基准传感器的轨迹点共同的联合分布。
针对点集
Figure 372744DEST_PATH_IMAGE050
，建立二维混合高斯模型：每个高斯成分均值对应点集
Figure 877675DEST_PATH_IMAGE050
中一个点的坐标，高斯成分协方差矩阵设置为
Figure 707090DEST_PATH_IMAGE052
，
Figure 563051DEST_PATH_IMAGE054
为
Figure 385382DEST_PATH_IMAGE056
维单位阵，
Figure 10399DEST_PATH_IMAGE058
为标准差参数，
Figure 276295DEST_PATH_IMAGE058
是依据基准传感器也就是相机的轨迹点在基准像素坐标系上形成的图像的轨迹稠密程度以及图像分辨率设置的。高斯成分权重为均匀分布
Figure 353972DEST_PATH_IMAGE060
，则有相机的轨迹点集
Figure 744109DEST_PATH_IMAGE050
的混合高斯模型也就是第二像素概率模型为：
Figure 223632DEST_PATH_IMAGE062
其中，
Figure 457167DEST_PATH_IMAGE064
为求解轨迹点集
Figure 22141DEST_PATH_IMAGE050
的概率密度；
Figure 937007DEST_PATH_IMAGE066
表示高斯分布。
同理，可得出激光雷达传感器的轨迹点集
Figure 785883DEST_PATH_IMAGE068
的混合高斯模型也就是第一像素概率模型为：
Figure 393582DEST_PATH_IMAGE070
其中，
Figure 445852DEST_PATH_IMAGE072
为求解轨迹点集
Figure 164409DEST_PATH_IMAGE074
的概率密度。
依据建立的高斯混合模型即第一像素概率模型和第二像素概率模型，可求出像素平面每个轨迹点的概率值，即第一索引概率值和第二索引概率值，并对第一索引概率值和第二索引概率值做缩放离散化处理，例如针对相机有：
Figure 103677DEST_PATH_IMAGE076
由此
Figure 882278DEST_PATH_IMAGE078
遍历所有像素索引即遍历0-255后可生成相机对应的轨迹点在基准像素坐标系的第二轨迹概率图
Figure 421843DEST_PATH_IMAGE080
，同理可生成激光雷达传感器对应的轨迹点在基准像素坐标系的第一轨迹概率图
Figure 944092DEST_PATH_IMAGE082
。
其中，255为放大系数/倍数，用于进行离散化处理，在本发明另一些可能的实施例中放大系数/倍数也可以设置为其他的常数。
下面参阅图6描述本发明的路侧传感器的标定方法，步骤S135具体包括：
S1351、基于第一估计概率图，进行归一化处理，得到待标定传感器对应的轨迹点的第一边缘分布。
S1352、基于第二估计概率图，进行归一化处理，得到基准传感器对应的轨迹点的第二边缘分布。
S1353、基于第一轨迹概率图和第二轨迹概率图，进行归一化处理，得到待标定传感器和基准传感器的轨迹点共同的联合分布。
待标定传感器的轨迹概率图数值范围均为
Figure 501981DEST_PATH_IMAGE084
，可直接重新统计出轨迹概率图数值的直方图，再将直方图统计归一化即可求得轨迹概率图的分布：
Figure 451482DEST_PATH_IMAGE086
其中，
Figure 212765DEST_PATH_IMAGE088
为求解概率密度，
Figure 335442DEST_PATH_IMAGE090
为指标函数，
Figure 498570DEST_PATH_IMAGE092
为像素数目。由此可得出激光雷达传感器和相机的概率图边缘分布为：
Figure 196853DEST_PATH_IMAGE094
其中，相机与激光雷达传感器的概率图随机变量分别为
Figure 711011DEST_PATH_IMAGE096
与
Figure 575062DEST_PATH_IMAGE098
。同理可建立联合分布形式如下：
Figure 592697DEST_PATH_IMAGE100
下面参阅图7描述本发明的路侧传感器的标定方法，步骤S140具体包括：
S141、基于边缘分布和联合分布，确定互信息，并将互信息作为训练用的代价函数。
S142、根据预设学习率、代价函数以及初始外参数，经过预设迭代次数的代价函数训练后，更新旋转矩阵和平移向量，得到标定后外参数。
由边缘分布与联合分布可计算待标定传感器与基准传感器分别对应的第一轨迹概率图与第二轨迹概率图的互信息：
Figure 133268DEST_PATH_IMAGE102
之后采用数值方法计算互信息相对于外参参数的梯度
Figure 869143DEST_PATH_IMAGE104
，
Figure 271306DEST_PATH_IMAGE106
，互信息相当于训练用的代价函数，采用数值代价函数算法优化
Figure 409026DEST_PATH_IMAGE108
：
Figure 887543DEST_PATH_IMAGE110
其中，
Figure 845135DEST_PATH_IMAGE112
为预设学习率，可动态调整，优化至参数
Figure 316567DEST_PATH_IMAGE108
收敛完成标定流程。
下面对本发明提供的路侧传感器的标定装置进行描述，下文描述的路侧传感器的标定装置与上文描述的路侧传感器的标定方法可相互对应参照。
下面结合图8描述本发明的路侧传感器的标定装置，该装置包括：
采集模块110，用于确定多个待标定传感器在预设时段内采集的具有目标物体的感知点。待标定传感器的安装位置也就是搭载位置是固定的。需要说明的是，待标定传感器准确的内参数是已经确定的了，并且能够获取到待标定传感器不准确的初始外参数。可以理解的是，初始外参数也就是需要标定的参数，通过标定可以得到数值更为准确的外参数。
以本发明的装置应用于前向视觉系统为例进行说明，由于前向视觉系统以视觉为主，因此只需将雷达类测距传感器在其坐标系下得到的测量点转换到视觉类传感器对应的像素坐标系下即可实现两类传感器之间的空间同步。若前向视觉系统的雷达类测距传感器采用了激光雷达传感器，视觉类传感器采用了摄像机，待标定传感器即为激光雷达传感器和摄像机，此时对待标定传感器的标定可以简单的概括为：将激光监测的目标坐标转换到图像像素坐标。
现有技术中，当待标定传感器为多个时，需要人工在路侧设置指定的标定物，并且需要对待标定传感器逐一进行相对于标定物的外参数标定以及进行外参数的解算。
在本发明的装置中，目标物体可以是固定在某个位置的标定物体，也可以是移动的物体。在本实施例中，为了确保待标定传感器能够输出目标级的数据点也就是观测点，在目标物体上可以附有跟踪目标标识，便于确定待标定传感器能够输出的数据点中是否具有目标物体。
为了提高后续传感器标定时的效率，在本发明的装置中待标定传感器两两之间存在公共检测区域，且公共检测区域占比所有待标定传感器的检测区域并集也就是所有待标定传感器的检测区域之和超过预设比例，公共检测区域为较平坦区域，如一般道路路侧或路口场景的路面区域。优选的，预设比例为50%。
比如，对于一般道路路侧或路口场景的路面区域，对于同一地点架设需要标定的多个待标定传感器，这些传感器可通过人工的方式设置初始外参数，之后在预设时间例如1-3分钟时间内进行目标物体的数据采集，得出轨迹级观测结果，如激光雷达传感器输出目标物体的三维物理坐标轨迹，相机输出目标物体在图像平面的二维像素坐标轨迹。
在采集模块110中各个待标定传感器在采集目标物体的数据点也就是观测点时无需精确同步，即，并不需要均在同一时间段内进行数据的采集，只要能确保各个待标定传感器的采集时间重叠时段的比例超过预设素材采集比例即可。优选的，预设素材采集比例为80%，也就是各个待标定传感器的采集时间重叠时段比例超过80%即可。
映射模块120，用于基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点。
可以理解的是，基准像素坐标系是以待标定传感器的安装位置建立的像素坐标系。
在本实施例中，基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点。为了确定基准传感器安装位置的坐标位置点，可以将被确定为基准传感器固定后之后基准传感器的中心点作为其安装位置的坐标位置点。
初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量。
确定模块130，用于确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布。
标定模块140，用于基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，采用数值代价函数优化的方式，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。也就是经过迭代训练并更新后的旋转矩阵和平移向量。
本发明的路侧传感器的标定装置，通过确定待标定传感器在预设时间内采集具有目标物体的感知点，目标物体可以是多个，也可以是移动的物体也可以是固定的物体，因此不要人工标定物体；通过将其中一个待标定传感器作为基准传感器，以该基准传感器建立的基准像素坐标系作为标定时所需的像素坐标系，因此标定时不依赖绝对的地理坐标；通过已经确定的内参数和需要标定的外参数，将感知点映射至基准像素坐标系，得到目标物体的轨迹点，并利用轨迹点进行多个待标定传感器的联合标定，因此，不必逐个标定传感器，在提升结算得到的外参数的准确性的同时，提高了标定的效率
下面参阅图9描述本发明的路侧传感器的标定装置，采集模块110具体包括：
第一采集单元111，用于确定多个待标定传感器在预设时段对应采集的数据点。
在第一采集单元111中各个待标定传感器在采集目标物体的数据点也就是观测点时无需精确同步，即，并不需要均在同一时间段内进行数据的采集，只要能确保各个待标定传感器的采集时间重叠时段的比例超过预设素材采集比例即可。优选的，预设素材采集比例为80%，也就是各个待标定传感器的采集时间重叠时段比例超过80%即可。
第二采集单元112，用于确定目标物体，并将具有目标物体的数据点作为待标定传感器的感知点。
在本发明的装置中，目标物体可以是固定在某个位置的标定物体，也可以是移动的物体。在本实施例中，为了确保待标定传感器能够输出目标级的数据点也就是观测点，在目标物体上可以附有跟踪目标标识，便于确定待标定传感器能够输出的数据点中是否具有目标物体。
需要说明的是，在本实施例中，目标物体可以是多个，并且当目标物体确定为多个时，各个待标定传感器观测到的轨迹也是多个。因此需要累计各个待标定传感器的感知点，即累计所有目标物体被待标定传感器观测到的轨迹。
以其中一个待标定传感器为激光雷达传感器进行说明，激光雷达传感器在预设时间内采集的目标物体的轨迹，激光雷达传感器的单目标物体
Figure 308794DEST_PATH_IMAGE114
的数据点也就是轨迹在离散数据下呈三维点集表示。
激光雷达传感器的单目标物体
Figure 191168DEST_PATH_IMAGE114
的数据点集
Figure DEST_PATH_IMAGE116
，
Figure DEST_PATH_IMAGE118
为
Figure DEST_PATH_IMAGE120
中第
Figure 104898DEST_PATH_IMAGE114
个数据点的像素坐标，
Figure DEST_PATH_IMAGE122
，
Figure DEST_PATH_IMAGE124
表示激光雷达传感器在预设时间内观测到目标物体
Figure 799928DEST_PATH_IMAGE114
的数目。预设时间内所有具有目标物体数据点的点集并集即为该待标定传感器所检测到的具有目标物体的感知点，激光雷达传感器的感知点集
Figure DEST_PATH_IMAGE126
，
Figure DEST_PATH_IMAGE128
为激光雷达传感器在预设时间内观测到的轨迹数目。
类似的，再以其中另一个待标定传感器为相机进行说明，相机在预设时间内观测 到的轨迹数目是
Figure DEST_PATH_IMAGE130
，累计相机在预设时间内采集的目标物体的轨迹，同样形成相机所检测 到的具有目标物体的感知点。相机的单目标物体
Figure DEST_PATH_IMAGE131
的数据点也就是轨迹在离散数据下呈二 维点集表示，相机的单目标物体
Figure DEST_PATH_IMAGE133
的数据点集
Figure DEST_PATH_IMAGE135
，
Figure DEST_PATH_IMAGE137
为
Figure DEST_PATH_IMAGE139
中第
Figure 928552DEST_PATH_IMAGE133
个数据点的像 素坐标，
Figure DEST_PATH_IMAGE141
，
Figure DEST_PATH_IMAGE143
表示相机在预设时间内观测到目标物体
Figure 185090DEST_PATH_IMAGE131
的数目，相机的感知点集
Figure DEST_PATH_IMAGE145
。
下面参阅图10描述本发明的路侧传感器的标定装置，映射模块120具体包括：
第一映射单元121，用于确定基准传感器、基准传感器的内参数以及基准传感器的基准像素坐标系。
由于前向视觉系统以视觉为主，因此只需将雷达类测距传感器在其坐标系下得到的测量点转换到视觉类传感器对应的像素坐标系下即可实现两类传感器之间的空间同步。因此，本发明的装置中将相机确定为基准传感器，并确定相机的内参数和基准像素坐标系。
第二映射单元122，用于确定各个待标定传感器相对于基准传感器之间的初始外参数。
初始外参数就是激光雷达传感器相对于相机的初始旋转矩阵
Figure DEST_PATH_IMAGE147
与初始平移向量
Figure DEST_PATH_IMAGE149
。
第三映射单元123，用于基于内参数和初始外参数，将感知点映射至基准像素坐标系，得到映射至基准像素坐标系的轨迹点；基准像素坐标系是基于基准传感器安装位置的坐标位置点建立的二维坐标系。
下面参阅图11描述本发明的路侧传感器的标定装置，区别于之前的实施例，映射模块120还包括：
剔除单元124，用于确定基准像素坐标系的边界，并剔除超过边界的轨迹点。为了便于之后生成轨迹概率图，在本发明的装置中还可以剔除掉越过图像像素边界的轨迹点。
下面参阅图12描述本发明的路侧传感器的标定装置，确定模块130具体包括：
第一确定单元131，用于基于待标定传感器以及基准传感器分别对应的轨迹点在基准像素坐标系上形成的图像的轨迹稠密程度以及图像分辨率，分别建立待标定传感器对应轨迹点的第一像素概率模型以及基准传感器对应的轨迹点的第二像素概率模型。
第二确定单元132，用于将待标定传感器对应的轨迹点输入至第一像素概率模型中，得到第一像素概率模型输出的第一索引概率值，将基准传感器对应的轨迹点输入至第二像素概率模型中，得到第二像素概率模型输出的第二索引概率值。
第三确定单元133，用于对第一索引概率值和第二索引概率值进行缩放离散化处理，分别得到第一轨迹概率值和第二轨迹概率值。
第四确定单元134，用于基于第一轨迹概率值，建立待标定传感器对应的轨迹点在基准像素坐标系上的第一轨迹概率图，基于第二轨迹概率值，建立基准传感器对应的轨迹点在基准像素坐标系上的第二轨迹概率图。
第五确定单元135，用于基于第一轨迹概率图和第二轨迹概率图，得到各个待标定传感器和基准传感器分别对应的轨迹点的边缘分布，以及待标定传感器和基准传感器的轨迹点共同的联合分布。
下面参阅图13描述本发明的路侧传感器的标定装置，步骤S135具体包括：
第一分布单元1351，用于基于第一估计概率图，进行归一化处理，得到待标定传感器对应的轨迹点的第一边缘分布。
第二分布单元1352，用于基于第二估计概率图，进行归一化处理，得到基准传感器对应的轨迹点的第二边缘分布。
第三分布单元1353，用于基于第一轨迹概率图和第二轨迹概率图，进行归一化处理，得到待标定传感器和基准传感器的轨迹点共同的联合分布。
下面参阅图14描述本发明的路侧传感器的标定装置，步骤S140具体包括：
参数确定单元141，用于基于边缘分布和联合分布，确定互信息，并将互信息作为训练用的代价函数。
迭代训练单元142，用于根据预设学习率、代价函数以及初始外参数，经过预设迭代次数的数值代价函数方法优化后，更新旋转矩阵和平移向量，得到标定后外参数。
图15示例了一种电子设备的实体结构示意图，如图15所示，该电子设备可以包括：处理器(processor)210、通信接口(Communications Interface)220、存储器(memory)230和通信总线240，其中，处理器210，通信接口220，存储器230通过通信总线240完成相互间的通信。处理器210可以调用存储器230中的逻辑命令，以执行路侧传感器的标定方法，该方法包括：
确定多个待标定传感器在预设时段内采集的具有目标物体的感知点；
基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点；基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点；初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量；
确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布；
基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。
此外，上述的存储器230中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的路侧传感器的标定方法，该方法包括：
确定多个待标定传感器在预设时段内采集的具有目标物体的感知点；
基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点；基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点；初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量；
确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布；
基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的路侧传感器的标定方法，该方法包括：
确定多个待标定传感器在预设时段内采集的具有目标物体的感知点；
基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点；基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点；初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量；
确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布；
基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种路侧传感器的标定方法，其特征在于，所述方法包括：
确定多个待标定传感器在预设时段内采集的具有目标物体的感知点；
基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点；基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点；初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量；
确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布；
基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。
2.根据权利要求1所述的路侧传感器的标定方法，其特征在于，所述确定多个待标定传感器在预设时段内采集的具有目标物体的感知点，具体包括：
确定多个待标定传感器在预设时段对应采集的数据点；
确定目标物体，并将具有目标物体的数据点作为待标定传感器的感知点。
3.根据权利要求1所述的路侧传感器的标定方法，其特征在于，所述基于基准传感器的内参数，将感知点映射至基准像素坐标系，得到轨迹点，具体包括：
确定基准传感器、基准传感器的内参数以及基准传感器的基准像素坐标系；
确定各个待标定传感器相对于基准传感器之间的初始外参数；
基于内参数和初始外参数，将感知点映射至基准像素坐标系，得到映射至基准像素坐标系的轨迹点；基准像素坐标系是基于基准传感器安装位置的坐标位置点建立的二维坐标系。
4.根据权利要求3所述的路侧传感器的标定方法，其特征在于，该方法在基于内参数和初始外参数，将感知点映射至基准像素坐标系，得到映射至基准像素坐标系的轨迹点步骤之后，还包括：
确定基准像素坐标系的边界，并剔除超过边界的轨迹点。
5.根据权利要求1所述的路侧传感器的标定方法，其特征在于，所述确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布，具体包括：
基于待标定传感器以及基准传感器分别对应的轨迹点在基准像素坐标系上形成的图像的轨迹稠密程度以及图像分辨率，分别建立待标定传感器对应轨迹点的第一像素概率模型以及基准传感器对应的轨迹点的第二像素概率模型；
将待标定传感器对应的轨迹点输入至第一像素概率模型中，得到第一像素概率模型输出的第一索引概率值，将基准传感器对应的轨迹点输入至第二像素概率模型中，得到第二像素概率模型输出的第二索引概率值；
对第一索引概率值和第二索引概率值进行缩放离散化处理，分别得到第一轨迹概率值和第二轨迹概率值；
基于第一轨迹概率值，建立待标定传感器对应的轨迹点在基准像素坐标系上的第一轨迹概率图，基于第二轨迹概率值，建立基准传感器对应的轨迹点在基准像素坐标系上的第二轨迹概率图；
基于第一轨迹概率图和第二轨迹概率图，得到各个待标定传感器和基准传感器分别对应的轨迹点的边缘分布，以及待标定传感器和基准传感器的轨迹点共同的联合分布。
6.根据权利要求5所述的路侧传感器的标定方法，其特征在于，所述基于第一轨迹概率图和第二轨迹概率图，得到各个待标定传感器和基准传感器分别对应的轨迹点的边缘分布，以及待标定传感器和基准传感器的轨迹点共同的联合分布，具体包括：
基于第一估计概率图，进行归一化处理，得到待标定传感器对应的轨迹点的第一边缘分布；
基于第二估计概率图，进行归一化处理，得到基准传感器对应的轨迹点的第二边缘分布；
基于第一轨迹概率图和第二轨迹概率图，进行归一化处理，得到待标定传感器和基准传感器的轨迹点共同的联合分布。
7.根据权利要求1所述的路侧传感器的标定方法，其特征在于，基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数，具体包括：
基于边缘分布和联合分布，确定互信息，并将互信息作为训练用的代价函数；
根据预设学习率、代价函数以及初始外参数，经过预设迭代次数的代价函数训练后，更新旋转矩阵和平移向量，得到标定后外参数。
8.一种路侧传感器的标定装置，其特征在于，所述装置包括：
采集模块，用于确定多个待标定传感器在预设时段内采集的具有目标物体的感知点；
映射模块，用于基于基准传感器的内参数和待标定传感器的初始外参数，将感知点映射至基准像素坐标系，得到轨迹点；基准传感器为其中一个待标定传感器，基准像素坐标系的坐标原点为基准传感器安装位置的坐标位置点；初始外参数包括待标定传感器相对于基准传感器之间的初始旋转矩阵和初始平移向量；
确定模块，用于确定轨迹点的像素索引，并根据已确定的像素索引，确定各个待标定传感器对应的轨迹点的边缘分布以及所有轨迹点的联合分布；
标定模块，用于基于边缘分布和联合分布，确定所有待标定传感器之间的互信息，并将互信息作为训练用的代价函数，迭代训练并更新待标定传感器的初始外参数，得到标定后外参数。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述路侧传感器的标定方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述路侧传感器的标定方法的步骤。
CN202210978037.6A 2022-08-16 2022-08-16 一种路侧传感器的标定方法、装置、设备及介质 Active CN115049745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210978037.6A CN115049745B (zh) 2022-08-16 2022-08-16 一种路侧传感器的标定方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210978037.6A CN115049745B (zh) 2022-08-16 2022-08-16 一种路侧传感器的标定方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115049745A true CN115049745A (zh) 2022-09-13
CN115049745B CN115049745B (zh) 2022-12-20

Family

ID=83167365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210978037.6A Active CN115049745B (zh) 2022-08-16 2022-08-16 一种路侧传感器的标定方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115049745B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN112154429A (zh) * 2019-07-29 2020-12-29 深圳市大疆创新科技有限公司 高精度地图定位方法、系统、平台及计算机可读存储介质
CN112648976A (zh) * 2020-12-23 2021-04-13 北京恒达时讯科技股份有限公司 实景影像测量方法、装置、电子设备及存储介质
CN113655453A (zh) * 2021-08-27 2021-11-16 阿波罗智能技术(北京)有限公司 用于传感器标定的数据处理方法、装置及自动驾驶车辆
CN114387352A (zh) * 2021-12-29 2022-04-22 东软睿驰汽车技术（沈阳）有限公司 一种外参标定方法、装置、设备及存储介质
CN114419098A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 基于视觉变换的运动目标轨迹预测方法及装置
CN114581486A (zh) * 2022-03-04 2022-06-03 西安理工大学 基于全卷积孪生网络多层特征的模板更新目标跟踪算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN112154429A (zh) * 2019-07-29 2020-12-29 深圳市大疆创新科技有限公司 高精度地图定位方法、系统、平台及计算机可读存储介质
CN112648976A (zh) * 2020-12-23 2021-04-13 北京恒达时讯科技股份有限公司 实景影像测量方法、装置、电子设备及存储介质
CN113655453A (zh) * 2021-08-27 2021-11-16 阿波罗智能技术(北京)有限公司 用于传感器标定的数据处理方法、装置及自动驾驶车辆
CN114387352A (zh) * 2021-12-29 2022-04-22 东软睿驰汽车技术（沈阳）有限公司 一种外参标定方法、装置、设备及存储介质
CN114419098A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 基于视觉变换的运动目标轨迹预测方法及装置
CN114581486A (zh) * 2022-03-04 2022-06-03 西安理工大学 基于全卷积孪生网络多层特征的模板更新目标跟踪算法

Also Published As

Publication number Publication date
CN115049745B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
WO2022022694A1 (zh) 自动驾驶环境感知方法及系统
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN112001958B (zh) 基于有监督单目深度估计的虚拟点云三维目标检测方法
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN111797741A (zh) 车辆检测方法、装置、车辆和存储介质
CN110648548A (zh) 一种基于路侧设备的路面安全性检测系统及方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN109948413A (zh) 基于高精度地图融合的车道线检测方法
WO2022067647A1 (zh) 一种路面要素确定方法及装置
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN112949782A (zh) 一种目标检测方法、装置、设备及存储介质
CN114332494A (zh) 车路协同场景下基于多源融合的三维目标检测与识别方法
CN113791074A (zh) 一种基于多传感器融合的无人机桥梁裂缝巡检系统及方法
CN110703272B (zh) 一种基于车车通信和gmphd滤波的周边目标车辆状态估计方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN115082561B (zh) 一种路侧传感器的标定方法、装置、设备及介质
Liu et al. Vision‐based inter‐vehicle distance estimation for driver alarm system
CN115049745B (zh) 一种路侧传感器的标定方法、装置、设备及介质
CN111256651A (zh) 一种基于单目车载摄像头的周车测距方法和装置
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
CN115402347A (zh) 用于识别车辆的可行驶区域的方法及辅助驾驶方法
CN114384486A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant