CN116614621B - 相机内感知算法的测试方法、设备和存储介质 - Google Patents

相机内感知算法的测试方法、设备和存储介质 Download PDF

Info

Publication number
CN116614621B
CN116614621B CN202310868353.2A CN202310868353A CN116614621B CN 116614621 B CN116614621 B CN 116614621B CN 202310868353 A CN202310868353 A CN 202310868353A CN 116614621 B CN116614621 B CN 116614621B
Authority
CN
China
Prior art keywords
point cloud
target
detection
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310868353.2A
Other languages
English (en)
Other versions
CN116614621A (zh
Inventor
杨永翌
赵鹏超
王强
孟佳旭
王寅东
侯全杉
孙琪佳
武晓梦
陈旭亮
王剑飞
曹曼曼
孙博华
冷炘伦
陈则毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongqi Zhilian Technology Co ltd
Original Assignee
Zhongqi Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongqi Zhilian Technology Co ltd filed Critical Zhongqi Zhilian Technology Co ltd
Priority to CN202310868353.2A priority Critical patent/CN116614621B/zh
Publication of CN116614621A publication Critical patent/CN116614621A/zh
Application granted granted Critical
Publication of CN116614621B publication Critical patent/CN116614621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种相机内感知算法的测试方法、设备和存储介质，该方法包括：基于目标相机获取初始图像帧序列，基于雷达传感器获取初始点云帧序列，对初始图像帧序列和初始点云帧序列进行时间对齐，确定目标图像帧序列，并对时间对齐后的初始点云帧序列进行坐标系统一变换以及插值处理，得到与目标图像帧序列具有图像点云对应关系目标点云帧序列；针对一组具有图像点云对应关系的图像帧以及点云帧，对目标相机内配置的待测试感知算法进行测试，得到与图像帧相对应的各检测目标以及检测参数，并根据各检测目标的检测参数以及真实参数，确定检测精度，进而，确定待测试感知算法的测试结果。本发明能够提高相机内感知算法的测试效果。

Description

相机内感知算法的测试方法、设备和存储介质
技术领域
本发明涉及智能驾驶领域，尤其涉及一种相机内感知算法的测试方法、设备和存储介质。
背景技术
智能驾驶中的感知算法通常会涉及多种传感器，如相机、雷达传感器等。通过感知算法能够将多种传感器的数据进行统一处理，对周围环境进行感知和决策。
然而，随着智能相机的普遍应用，感知算法可配置于智能相机中。针对智能相机中的感知算法的测试多是使用仿真场景模拟的方式，无法有效的结合其他传感器进行综合测试，会导致测试效果差的问题。
有鉴于此，特提出本发明。
发明内容
为了解决上述技术问题，本发明提供了一种相机内感知算法的测试方法、设备和存储介质，以实现结合雷达传感器以及相机本身，对相机内的感知算法进行测试，提高相机内感知算法的测试效果。
本发明实施例提供了一种相机内感知算法的测试方法，该方法包括：
基于目标相机获取初始图像帧序列，基于雷达传感器获取初始点云帧序列，并对所述初始图像帧序列以及所述初始点云帧序列进行时间对齐；
将时间对齐后的初始图像帧序列作为目标图像帧序列，将根据时间对齐后的初始点云帧序列进行坐标系统一变换，得到过程点云帧序列；
对过程点云帧序列进行插值处理，得到与所述目标图像帧序列中各图像帧具有图像点云对应关系的各点云帧，根据各点云帧构建目标点云帧序列；
针对一组具有图像点云对应关系的图像帧以及点云帧，根据所述目标相机内配置的待测试感知算法，对所述图像帧和所述点云帧进行处理，得到与所述图像帧相对应的各检测目标以及各检测目标的检测参数，并根据与所述图像帧相对应的各检测目标的检测参数以及真实参数，确定检测精度；
根据各检测精度，确定所述待测试感知算法的测试结果。
本发明实施例提供了一种电子设备，所述电子设备包括：
处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例所述的相机内感知算法的测试方法的步骤。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行任一实施例所述的相机内感知算法的测试方法的步骤。
本发明实施例具有以下技术效果：
利用目标相机获取初始图像帧序列，利用雷达传感器获取初始点云帧序列，并对初始图像帧序列和初始点云帧序列进行时间同步以及空间坐标上的同步，得到目标图像帧序列以及过程点云帧序列，进而，对过程点云帧序列进行插值处理，得到与目标图像帧序列具有时间戳上对应关系的目标点云帧序列，根据目标图像帧序列以及目标点云帧序列对目标相机内配置的待测试感知算法进行测试，得到检测精度，进一步可以得到待测试感知算法的测试结果，实现了结合雷达传感器以及相机本身，对相机内的感知算法进行测试，提高了相机内感知算法的测试效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种相机内感知算法的测试方法的流程图；
图2是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
本发明实施例提供的相机内感知算法的测试方法，主要适用于通过雷达传感器感知到的数据对相机内感知算法进行测试的情况。本发明实施例提供的相机内感知算法的测试方法可以由电子设备执行。
图1是本发明实施例提供的一种相机内感知算法的测试方法的流程图。参见图1，该相机内感知算法的测试方法具体包括：
S110、基于目标相机获取初始图像帧序列，基于雷达传感器获取初始点云帧序列，并对初始图像帧序列以及初始点云帧序列进行时间对齐。
其中，目标相机是待进行感知算法测试的相机。初始图像帧序列是目标相机拍摄的连续多帧图像帧。雷达传感器可以是毫米波雷达传感器和/或激光雷达传感器。初始点云帧序列是雷达传感器采集的连续多帧点云帧。可以理解的是，目标相机与雷达传感器的采样频率可能不同，因此，需要进行后续的时间对齐。初始图像帧序列以及初始点云帧序列是允许用户获取用于感知算法测试的。
具体的，通过目标相机采集初始图像帧序列，并且，通过雷达传感器采集初始点云帧序列。根据初始图像帧序列中各图像帧的采集时间，以及初始点云帧序列中各点云帧的采集时间，将初始图像帧序列和初始点云帧序列进行时间对齐，便于后续进行插值和匹配等处理。
在上述示例的基础上，在基于目标相机获取初始图像帧序列之前，还可以对相机进行预先标定，具体可以是：
对初始相机进行标定试验，得到标定参数；
基于标定参数对初始相机进行配置，得到目标相机。
其中，初始相机是进行标定试验之前的相机。标定参数可以是通过标定试验获取的参数，例如相机内参矩阵、相机外参矩阵、径向畸变参数、切向畸变参数、薄棱镜畸变参数等。
具体的，对初始相机进行标定试验是指通过实验或计算的方法求解初始相机的标定参数，如：相机内参矩阵、相机外参矩阵和畸变参数等光学特性的过程。相机标定试验的一般方法可以概括为：制作标定图片、提取图片中的角点信息、求解内参矩阵和外参矩阵、求解畸变参数、去畸变与反误差投影。在求解得到标定参数后，对初始相机进行配置，得到标定后的相机，即目标相机。
示例性的，通过下述公式确定相机内参矩阵：
其中，Z为尺度因子，为像素点在像素坐标系中的位置，/>为该像素点在世界坐标系中的物理坐标；/>为像距；/>分别表示X、Y方向上的一个像素在相机感光板上的物理长度；/>分别表示相机感光板中心在像素坐标系下的坐标；/>表示相机感光板的横边和纵边之间的角度；/>表示旋转矩阵，/>表示平移矢量。
为相机内参矩阵，记录了相机的仿射变换和透视变换两个过程，相机外参矩阵取决于相机的硬件参数；/>为相机外参矩阵，记录了相机的刚体变换过程，相机外参矩阵取决于相机坐标系和世界坐标系的相对位置。
针对畸变参数，以三阶畸变公式为例：
三阶径向畸变公式可以表示为：
切向畸变公式可以表示为：
薄棱镜畸变公式可以表示为：
其中，表示理想的无畸变的归一化的图像坐标；/>分分别表示x方向上的径向畸变、切向畸变、薄棱镜畸变；/>分别表示y方向上的径向畸变、切向畸变、薄棱镜畸变；r为图像像素点到图像中心点的距离，即/>；则分别为所需的径向畸变参数、切向畸变参数、薄棱镜畸变参数。
具体的，根据实际标定图片的角点信息和相机内参矩阵、相机外参矩阵可以求得去畸变照片的角点像素坐标位置，将其与实际拍摄照片中的角点像素坐标求差值就可以得到角点处的总畸变值，带入上述三阶畸变公式进行曲线拟合则可以得出各畸变参数的值。
S120、将时间对齐后的初始图像帧序列作为目标图像帧序列，将根据时间对齐后的初始点云帧序列进行坐标系统一变换，得到过程点云帧序列。
其中，目标图像帧序列是时间对齐后的初始图像帧序列，可以理解为后续处理时的基准的图像帧序列。过程点云帧序列是时间对齐后的初始点云帧序列坐标统一至与目标相机相同的坐标系下的序列。
具体的，将时间对齐后的初始图像帧序列作为目标图像帧序列。通过旋转对齐和平移对齐，将时间对齐后的初始点云帧序列进行坐标系统一变换至与目标相机相同的坐标系下得到过程点云帧序列。
在上述示例的基础上，可以通过下述方式来将根据时间对齐后的初始点云帧序列进行坐标系统一变换：
基于目标相机在车辆坐标系下的相机角度坐标、雷达传感器在车辆坐标系下的传感器角度坐标和传感器位置坐标，对时间对齐后的初始点云帧序列进行三维旋转变换，以使初始点云帧序列与目标图像帧序列进行旋转对齐；
基于目标相机在车辆坐标系下的相机位置坐标以及传感器位置坐标，对时间对齐后的初始点云帧序列进行平移变换，以使初始点云帧序列与目标图像帧序列进行平移对齐。
其中，相机角度坐标是目标相机在车辆坐标系下的角度坐标。相机位置坐标是目标相机在车辆坐标系下的位置坐标。传感器角度坐标是雷达传感器在车辆坐标系下的角度坐标。传感器位置坐标是雷达传感器在车辆坐标系下的位置坐标。
具体的，录入目标相机以及雷达传感器在车辆坐标系下的角度坐标，即相机角度坐标和传感器角度坐标，进而，通过三维旋转变化将目标相机和雷达传感器统一到同一方向上。录入目标相机以及雷达传感器在车辆坐标系下的位置，通过平移变换将雷达传感器坐标系中的时间对齐后的初始点云帧序列中的各点云点平移到相机坐标系下。
在上述示例的基础上，可以通过下述公式对时间对齐后的初始点云帧序列进行三维旋转变换：
其中，（pitch1，yaw1，roll1）表示所述雷达传感器在所述车辆坐标系下的传感器角度坐标，（pitch0，yaw0，roll0）表示所述目标相机在所述车辆坐标系下的相机角度坐标，（Δpitch，Δyaw，Δroll）表示所述雷达传感器与所述目标相机在所述车辆坐标系下的角度坐标差，(xi，yi，zi)表示时间对齐后的第i帧初始点云帧序列中的各点云点坐标，(x'i，y'i，z'i)表示时间对齐后的第i帧初始点云帧序列中的各点云点进行三维旋转变换后的位置坐标；
相应的，可以通过下述公式对时间对齐后的初始点云帧序列进行平移变换：
其中，(x1，y1，z1)表示所述雷达传感器在车辆坐标系下的传感器位置坐标，(x0，y0，z0)表示所述目标相机在车辆坐标系下的相机位置坐标，(Δx，Δy，Δz)表示所述雷达传感器与所述目标相机在所述车辆坐标系下的位置坐标差，(x"i，y"i，z"i)表示时间对齐后的第i帧初始点云帧序列中的各点云点进行平移变换后的位置坐标。
需要说明的是，上述坐标系统一变换的过程可以近似认为目标相机与雷达传感器和车辆的位置相对固定，因此，在具体实施过程中可以预先录入相机角度坐标、相机位置坐标、传感器角度坐标以及传感器位置坐标，以提高实时性和计算效率。
S130、对过程点云帧序列进行插值处理，得到与目标图像帧序列中各图像帧具有图像点云对应关系的各点云帧，根据各点云帧构建目标点云帧序列。
其中，目标点云帧序列是过程点云帧序列经过插值处理后得到的与目标图像帧序列中各图像帧具有时间上的一一对应关系的点云帧序列。图像点云对应关系为具有相同时间戳的图像帧和点云帧。
具体的，按照目标图像帧序列中各图像帧的时间戳，对过程点云帧序列进行插值处理，得到与各图像帧的时间戳相对应的点云帧，即构建图像点云对应关系，这些点云帧所构成的序列即为目标点云帧序列。
在上述示例的基础上，针对目标图像帧序列中的各图像帧，通过下述公式确定与图像帧具有图像点云对应关系的点云帧：
其中，p（tt）表示目标点云帧序列中与目标图像帧序列中时间戳为tt的图像帧相对应的点云帧，pi（k）表示过程点云帧序列中第k帧的点云帧，pi（k-1）表示过程点云帧序列中第k-1帧的点云帧，tt表示目标图像帧序列中的任一图像帧的时间戳，k表示过程点云帧序列中时间上位于tt之后的第一个点云帧的帧数，t（k）表示过程点云帧序列中第k帧的时间戳，t（k-1）表示过程点云帧序列中第k-1帧的时间戳。
可以理解的是，对图像帧和点云帧进行离线融合，主要用于算法验证和智能相机验证等离线验证的场合融合精度高，结果可靠，且通过简单插值算法即可实现，此处所述简单插值算法包括但不限于线性插值、拉格朗日插值和三次样条插值等。当有实时融合的需求时，也可通过融入卡尔曼滤波的方式实现在线多传感器（目标相机和雷达传感器）数据融合，通过卡尔曼滤波估计减弱甚至消除不同传感器间的噪声、时间差导致的误差。
S140、针对一组具有图像点云对应关系的图像帧以及点云帧，根据目标相机内配置的待测试感知算法，对图像帧和点云帧进行处理，得到与图像帧相对应的各检测目标以及各检测目标的检测参数，并根据与图像帧相对应的各检测目标的检测参数以及真实参数，确定检测精度。
其中，待测试感知算法是目标相机内配置的待进行精度检验的感知算法。检测目标是通过待测试感知算法感知到的周围目标，例如障碍物等。检测参数是通过待测试感知算法感知到的检测目标的参数，可以包括位置参数，运动参数等。真实参数是检测目标真实的参数，可以包括位置参数，运动参数等。检测精度是用于衡量待测试感知算法的感知效果的参数。
具体的，针对一组具有图像点云对应关系的图像帧以及点云帧，可以通过目标相机内配置的待测试感知算法对图像帧和点云帧进行感知处理，进而，可以得到各检测目标以及各检测目标的检测参数，即为待测试感知算法的算法结果。进一步的，将各检测目标的检测参数与真实参数进行误差比较，可以确定检测精度，以便于判断待测试感知算法的精度，以及该待测试感知算法能否投入后续的使用。
在上述示例的基础上，检测参数包括检测位置以及检测速度，真实参数包括真实位置以及真实速度，那么，可以通过下述方式来根据与图像帧相对应的各检测目标的检测参数以及真实参数，确定检测精度：
在图像帧中存在至少一个检测目标的情况下，通过下述公式确定位置精度：
其中，dall表示位置精度，n表示图像帧中的检测目标数量，DUTix表示第i个检测目标的检测位置中的横向位置，DUTiy表示第i个检测目标的检测位置中的纵向位置，GTix表示第i个检测目标的真实位置中的横向位置，GTiy表示第i个检测目标的真实位置中的纵向位置；
通过下述公式确定速度精度：
其中，vall表示速度精度，DUTivx表示第i个检测目标的检测速度中的横向速度，DUTivy表示第i个检测目标的检测速度中的纵向速度，GTivx表示第i个检测目标的真实速度中的横向速度，GTivy表示第i个检测目标的真实速度中的纵向速度；
根据位置精度以及速度精度，确定检测精度。
其中，检测位置是待测试感知算法感知到的检测目标的位置信息。检测速度是待测试感知算法感知到的检测目标的速度信息，可以包括横向速度和纵向速度。真实位置是检测目标真实的位置信息。真实速度是检测目标真实的速度信息，可以包括横向速度和纵向速度。位置精度是用于衡量在位置感知上的识别精度。速度精度是用于衡量在速度感知上的识别精度。
具体的，通过位置精度对应的公式可以通过计算确定待测试感知算法的位置精度，相应的，通过速度精度对应的公式可以通过计算确定待测试感知算法的速度精度。进而，可以将位置精度和速度精度进行整合，例如求和，加权求和等方式，得到检测精度。
可以理解的是，若图像帧中不存在检测目标，则可以认为位置精度和速度精度为0，无需进行计算。
S150、根据各检测精度，确定待测试感知算法的测试结果。
其中，测试结果用于衡量待测试感知算法是否通过测试，可以包括测试通过和测试不通过。
具体的，将具有图像点云对应关系的各组图像帧以及点云帧对应的检测精度进行整合，例如求平均、求最值等处理，得到综合精度。进而，将综合精度与精度阈值进行比较，若满足精度阈值的需求，则可以确定待测试感知算法的测试结果为测试通过，若不满足精度阈值的需求，则可以确定待测试感知算法的测试结果为测试不通过。
在上述示例的基础上，在根据各检测精度，确定待测试感知算法的测试结果之前，还可以通过功能性测试方法得到功能精度，具体可以是：
根据各检测目标的检测参数，分别计算确定目标图像帧序列中各图像帧对应的前向碰撞时间；
根据各前向碰撞时间，确定预计预警时间，并根据预计预警时间以及真实预警时间，确定功能精度。
其中，前向碰撞时间是通过检测参数计算得到的预计与检测目标发生碰撞的时间。预计预警时间是在在发生碰撞之前预计发出报警的时间。真实预警时间是实际触发报警的时间。功能精度是用于衡量在碰撞预警感知上的识别精度。
具体的，根据各检测目标的检测参数，可以进行前向碰撞时间的计算，得到目标图像帧序列中各图像帧对应的前向碰撞时间。进而，按照各前向碰撞时间以及预设的时间阈值，确定发出警报的预计预警时间。将预计预警时间以及真实预警时间进行比较，根据二者之间的误差情况确定功能精度。
相应的，在获取功能精度的情况下，通过下述方式来根据各检测精度，确定待测试感知算法的测试结果：
根据各检测精度以及功能精度，确定待测试感知算法的测试结果。
具体的，对各检测精度以及功能精度进行整合，得到综合精度，将综合精度与预设的精度阈值进行比较，若满足精度阈值的需求，则可以确定待测试感知算法的测试结果为测试通过，若不满足精度阈值的需求，则可以确定待测试感知算法的测试结果为测试不通过。
在上述示例的基础上，在确定待测试感知算法的测试结果之后，还可以进一步判断是将待测试感知算法投入后续使用，还是对待测试感知算法进行进一步修改，具体可以是：
若测试结果为测试通过，则将待测试感知算法确定为目标感知算法；
若测试结果为测试不通过，则修改待测试感知算法，并返回执行针对一组具有图像点云对应关系的图像帧以及点云帧，根据目标相机内配置的待测试感知算法，对图像帧和点云帧进行处理，得到与图像帧相对应的各检测目标以及各检测目标的检测参数，并根据与图像帧相对应的各检测目标的检测参数以及真实参数，确定检测精度的步骤，直至测试结果为测试通过。
其中，目标感知算法是精度符合使用需求的感知算法，可以配置在目标相机内用于后续使用。
具体的，若测试结果为测试通过，则表明待测试感知算法的已经符合使用需求，因此，可以将待测试感知算法确定为目标感知算法，用于后续的使用。若测试结果为测试不通过，则表明待测试感知算法仍存在一些问题，因此，需要修改待测试感知算法，并对修改后的待测试感知算法进行验证，即返回执行针对一组具有图像点云对应关系的图像帧以及点云帧，根据目标相机内配置的待测试感知算法，对图像帧和点云帧进行处理，得到与图像帧相对应的各检测目标以及各检测目标的检测参数，并根据与图像帧相对应的各检测目标的检测参数以及真实参数，确定检测精度的步骤，直至测试结果为测试通过。
本实施例具有以下技术效果：利用目标相机获取初始图像帧序列，利用雷达传感器获取初始点云帧序列，并对初始图像帧序列和初始点云帧序列进行时间同步以及空间坐标上的同步，得到目标图像帧序列以及过程点云帧序列，进而，对过程点云帧序列进行插值处理，得到与目标图像帧序列具有时间戳上对应关系的目标点云帧序列，根据目标图像帧序列以及目标点云帧序列对目标相机内配置的待测试感知算法进行测试，得到检测精度，进一步可以得到待测试感知算法的测试结果，实现了结合雷达传感器以及相机本身，对相机内的感知算法进行测试，提高了相机内感知算法的测试效果。
图2是本发明实施例提供的一种电子设备的结构示意图。如图2所示，电子设备200包括一个或多个处理器201和存储器202。
处理器201可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备200中的其他组件以执行期望的功能。
存储器202可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器201可以运行所述程序指令，以实现上文所说明的本发明任意实施例的相机内感知算法的测试方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
在一个示例中，电子设备200还可以包括：输入装置203和输出装置204，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置203可以包括例如键盘、鼠标等等。该输出装置204可以向外部输出各种信息，包括预警提示信息、制动力度等。该输出装置204可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图2中仅示出了该电子设备200中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备200还可以包括任何其他适当的组件。
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的相机内感知算法的测试方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的相机内感知算法的测试方法的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本申请范围。如本发明说明书所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (7)

1.一种相机内感知算法的测试方法，其特征在于，包括：
基于目标相机获取初始图像帧序列，基于雷达传感器获取初始点云帧序列，并对所述初始图像帧序列以及所述初始点云帧序列进行时间对齐；
将时间对齐后的初始图像帧序列作为目标图像帧序列，将根据时间对齐后的初始点云帧序列进行坐标系统一变换，得到过程点云帧序列；
对过程点云帧序列进行插值处理，得到与所述目标图像帧序列中各图像帧具有图像点云对应关系的各点云帧，根据各点云帧构建目标点云帧序列；
针对一组具有图像点云对应关系的图像帧以及点云帧，根据所述目标相机内配置的待测试感知算法，对所述图像帧和所述点云帧进行处理，得到与所述具有图像点云对应关系的图像帧以及点云帧相对应的各检测目标以及各检测目标的检测参数，并根据与所述具有图像点云对应关系的图像帧以及点云帧相对应的各检测目标的检测参数以及真实参数，确定检测精度；其中，所述具有图像点云对应关系的图像帧以及点云帧中的图像帧属于所述目标图像帧序列，所述具有图像点云对应关系的图像帧以及点云帧中的点云帧属于所述目标点云帧序列；
根据各检测精度，确定所述待测试感知算法的测试结果；
所述将根据时间对齐后的初始点云帧序列进行坐标系统一变换，包括：
基于所述目标相机在车辆坐标系下的相机角度坐标、所述雷达传感器在所述车辆坐标系下的传感器角度坐标和传感器位置坐标，对时间对齐后的初始点云帧序列进行三维旋转变换，以使所述初始点云帧序列与所述目标图像帧序列进行旋转对齐；
基于所述目标相机在车辆坐标系下的相机位置坐标以及所述传感器位置坐标，对时间对齐后的初始点云帧序列进行平移变换，以使所述初始点云帧序列与所述目标图像帧序列进行平移对齐；
所述基于所述目标相机在车辆坐标系下的相机角度坐标、所述雷达传感器在所述车辆坐标系下的传感器角度坐标和传感器位置坐标，对时间对齐后的初始点云帧序列进行三维旋转变换，包括：
通过下述公式对时间对齐后的初始点云帧序列进行三维旋转变换：
其中，（pitch1，yaw1，roll1）表示所述雷达传感器在所述车辆坐标系下的传感器角度坐标，（pitch0，yaw0，roll0）表示所述目标相机在所述车辆坐标系下的相机角度坐标，（Δpitch，Δyaw，Δroll）表示所述雷达传感器与所述目标相机在所述车辆坐标系下的角度坐标差，(xi，yi，zi)表示时间对齐后的第i帧初始点云帧序列中的各点云点坐标，(x'i，y'i，z'i)表示时间对齐后的第i帧初始点云帧序列中的各点云点进行三维旋转变换后的位置坐标；
相应的，所述基于所述目标相机在车辆坐标系下的相机位置坐标以及所述传感器位置坐标，对时间对齐后的初始点云帧序列进行平移变换，包括：
通过下述公式对时间对齐后的初始点云帧序列进行平移变换：
其中，(x1，y1，z1)表示所述雷达传感器在车辆坐标系下的传感器位置坐标，(x0，y0，z0)表示所述目标相机在车辆坐标系下的相机位置坐标，(Δx，Δy，Δz)表示所述雷达传感器与所述目标相机在所述车辆坐标系下的位置坐标差，(x"i，y"i，z"i)表示时间对齐后的第i帧初始点云帧序列中的各点云点进行平移变换后的位置坐标；
所述对过程点云帧序列进行插值处理，得到与所述目标图像帧序列中各图像帧具有图像点云对应关系的各点云帧，包括：
针对所述目标图像帧序列中的各图像帧，通过下述公式确定与所述图像帧具有图像点云对应关系的点云帧：
其中，p（tt）表示目标点云帧序列中与目标图像帧序列中时间戳为tt的图像帧相对应的点云帧，pi（k）表示过程点云帧序列中第k帧的点云帧，pi（k-1）表示过程点云帧序列中第k-1帧的点云帧，tt表示目标图像帧序列中的任一图像帧的时间戳，k表示过程点云帧序列中时间上位于tt之后的第一个点云帧的帧数，t（k）表示过程点云帧序列中第k帧的时间戳，t（k-1）表示过程点云帧序列中第k-1帧的时间戳。
2.根据权利要求1所述的方法，其特征在于，在所述基于目标相机获取初始图像帧序列之前，还包括：
对初始相机进行标定试验，得到标定参数；
基于所述标定参数对所述初始相机进行配置，得到目标相机。
3.根据权利要求1所述的方法，其特征在于，所述检测参数包括检测位置以及检测速度，所述真实参数包括真实位置以及真实速度，所述根据与所述图像帧相对应的各检测目标的检测参数以及真实参数，确定检测精度，包括：
在所述图像帧中存在至少一个检测目标的情况下，通过下述公式确定位置精度：
其中，dall表示位置精度，n表示所述图像帧中的检测目标数量，DUTix表示第i个检测目标的检测位置中的横向位置，DUTiy表示第i个检测目标的检测位置中的纵向位置，GTix表示第i个检测目标的真实位置中的横向位置，GTiy表示第i个检测目标的真实位置中的纵向位置；
通过下述公式确定速度精度：
其中，vall表示速度精度，DUTivx表示第i个检测目标的检测速度中的横向速度，DUTivy表示第i个检测目标的检测速度中的纵向速度，GTivx表示第i个检测目标的真实速度中的横向速度，GTivy表示第i个检测目标的真实速度中的纵向速度；
根据所述位置精度以及所述速度精度，确定检测精度。
4.根据权利要求1所述的方法，其特征在于，在所述根据各检测精度，确定所述待测试感知算法的测试结果之前，还包括：
根据各检测目标的检测参数，分别计算确定所述目标图像帧序列中各图像帧对应的前向碰撞时间；
根据各前向碰撞时间，确定预计预警时间，并根据所述预计预警时间以及真实预警时间，确定功能精度；
相应的，所述根据各检测精度，确定所述待测试感知算法的测试结果，包括：
根据各检测精度以及所述功能精度，确定所述待测试感知算法的测试结果。
5.根据权利要求1所述的方法，其特征在于，在所述确定所述待测试感知算法的测试结果之后，还包括：
若所述测试结果为测试通过，则将所述待测试感知算法确定为目标感知算法；
若所述测试结果为测试不通过，则修改所述待测试感知算法，并返回执行所述针对一组具有图像点云对应关系的图像帧以及点云帧，根据所述目标相机内配置的待测试感知算法，对所述图像帧和所述点云帧进行处理，得到与所述图像帧相对应的各检测目标以及各检测目标的检测参数，并根据与所述图像帧相对应的各检测目标的检测参数以及真实参数，确定检测精度的步骤，直至所述测试结果为测试通过。
6.一种电子设备，其特征在于，所述电子设备包括：
处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至5任一项所述的相机内感知算法的测试方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至5任一项所述的相机内感知算法的测试方法的步骤。
CN202310868353.2A 2023-07-17 2023-07-17 相机内感知算法的测试方法、设备和存储介质 Active CN116614621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310868353.2A CN116614621B (zh) 2023-07-17 2023-07-17 相机内感知算法的测试方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310868353.2A CN116614621B (zh) 2023-07-17 2023-07-17 相机内感知算法的测试方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN116614621A CN116614621A (zh) 2023-08-18
CN116614621B true CN116614621B (zh) 2023-10-10

Family

ID=87678545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310868353.2A Active CN116614621B (zh) 2023-07-17 2023-07-17 相机内感知算法的测试方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116614621B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097881B (zh) * 2023-10-09 2024-01-02 芯动微电子科技(武汉)有限公司 一种图像处理模块的调试方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107991898A (zh) * 2016-10-26 2018-05-04 法乐第(北京)网络科技有限公司 一种无人驾驶车辆模拟测试装置及电子设备
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN113342701A (zh) * 2021-08-04 2021-09-03 北京赛目科技有限公司 无人驾驶仿真系统与被测无人驾驶软件交互的方法及装置
CN114170448A (zh) * 2020-08-20 2022-03-11 魔门塔(苏州)科技有限公司 一种视觉感知算法的评测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592805B2 (en) * 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107991898A (zh) * 2016-10-26 2018-05-04 法乐第(北京)网络科技有限公司 一种无人驾驶车辆模拟测试装置及电子设备
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN114170448A (zh) * 2020-08-20 2022-03-11 魔门塔(苏州)科技有限公司 一种视觉感知算法的评测方法及装置
CN113342701A (zh) * 2021-08-04 2021-09-03 北京赛目科技有限公司 无人驾驶仿真系统与被测无人驾驶软件交互的方法及装置

Also Published As

Publication number Publication date
CN116614621A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN111415387B (zh) 相机位姿确定方法、装置、电子设备及存储介质
CN109544629B (zh) 摄像头位姿确定方法和装置以及电子设备
CN109544630B (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
CN112489113B (zh) 相机外参标定方法、装置及相机外参标定系统
JP4943034B2 (ja) ステレオ画像処理装置
CN116614621B (zh) 相机内感知算法的测试方法、设备和存储介质
CN113701745B (zh) 一种外参变化检测方法、装置、电子设备及检测系统
CN110880189A (zh) 联合标定方法及其联合标定装置和电子设备
KR20080085472A (ko) 이동 로봇의 위치 인식 방법
CN112446917B (zh) 一种姿态确定方法及装置
CN112562093B (zh) 目标检测方法、电子介质和计算机存储介质
CN111105465B (zh) 一种摄像装置校准方法、装置、系统电子设备及存储介质
CN111798521B (zh) 标定方法、装置、存储介质及电子设备
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
KR20200005119A (ko) 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법
JP2021051347A (ja) 距離画像生成装置及び距離画像生成方法
CN112669382B (zh) 一种基于图像的距离确定方法及装置
CN116182905A (zh) 激光雷达和组合惯导的时空外参标定方法、装置及系统
CN111179331A (zh) 深度估计方法、装置、电子设备及计算机可读存储介质
US9245343B1 (en) Real-time image geo-registration processing
Xiao et al. Calibformer: A transformer-based automatic lidar-camera calibration network
CN112255621B (zh) 一种车辆传感器的标定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant