CN111192329B - 传感器标定结果的验证方法、装置及存储介质 - Google Patents

传感器标定结果的验证方法、装置及存储介质 Download PDF

Info

Publication number
CN111192329B
CN111192329B CN201911260653.2A CN201911260653A CN111192329B CN 111192329 B CN111192329 B CN 111192329B CN 201911260653 A CN201911260653 A CN 201911260653A CN 111192329 B CN111192329 B CN 111192329B
Authority
CN
China
Prior art keywords
image data
calibration
point cloud
calibration result
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911260653.2A
Other languages
English (en)
Other versions
CN111192329A (zh
Inventor
孙恒
龚伟林
董国勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN201911260653.2A priority Critical patent/CN111192329B/zh
Publication of CN111192329A publication Critical patent/CN111192329A/zh
Application granted granted Critical
Publication of CN111192329B publication Critical patent/CN111192329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本说明书实施例提供一种传感器标定结果的验证方法、装置及存储介质。所述方法包括:获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;接收校准文件,所述校准文件包括所述传感器的标定结果;将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。本说明书实施例提供的传感器标定结果的验证方法,可以验证传感器标定结果在水平、上下、前后三个维度方向上的偏差,可以提高传感器标定结果验证的可靠性以及提高验证效率。

Description

传感器标定结果的验证方法、装置及存储介质
技术领域
本说明书实施例涉及智能驾驶技术领域,特别涉及一种传感器标定结果的验证方法、装置及存储介质。
背景技术
近一个多世纪来,汽车的出现取代了传统交通运输方式,使得人们的生活更为便捷。近些年来,随着科技的发展,尤其是智能计算的飞速发展,自动驾驶汽车技术研究成为各行业聚焦的热点。麦肯锡(Manyika J,Chui M,Bughin J.Disruptive technologies:Advances that will transform life,business,and the global economy[J].2013.)发布的“决定未来经济的12项前沿技术”报告探讨了12项前沿技术对未来经济、社会的影响程度,分析估测了2025年12项技术各自的经济与社会影响力,其中自动驾驶汽车技术排在第6位,其2025年影响力估测为:经济效益每年约0.2-1.9万亿美元,社会效益每年可挽回3-15万个生命。
通常,自动驾驶汽车的系统一般分为三个模块,一是感知模块,相当于人的眼睛,通过摄像头、毫米波雷达、激光雷达等传感器实时采集周边环境状态,二是决策模块,相当于人的大脑,根据环境状态计算出最优的驾驶决策规划,三是执行模块,相当于人的手与脚,用于执行决策命令,进行油门、刹车、转向等相应的驾驶操作。
在目前的自动驾驶感知系统中,一般要依赖激光雷达、摄像头和毫米波雷达等多种传感器的融合,以便发挥不同的优势实现安全冗余。传感器的标定结果对感知的精度起到至关重要的作用,所以需要对标定结果进行充分的验证。目前的验证都是在实车工况下进行,通过对激光雷达和摄像头捕捉同一个物体的位置偏差来验证标定结果的准确性。这种验证方式依赖实际环境,灵活性差,需要反复操作,而且不能定位偏差原因。
发明内容
本说明书实施例的目的是提供一种传感器标定结果的验证方法、装置及存储介质,以提高传感器标定结果验证的可靠性和效率。
为解决上述问题,本说明书实施例提供一种传感器标定结果的验证方法、装置及存储介质是这样实现的。
一种传感器标定结果的验证方法,所述方法包括:获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;接收校准文件,所述校准文件包括所述传感器的标定结果;将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。
一种传感器标定结果的验证装置,所述装置包括:获取模块,用于获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;接收模块,用于接收校准文件,所述校准文件包括所述传感器的标定结果;匹配模块,用于将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;验证模块,用于根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。
一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被执行时实现:获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;接收校准文件,所述校准文件包括所述传感器的标定结果;将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。
由以上本说明书实施例提供的技术方案可见,本说明书实施例可以获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;接收校准文件,所述校准文件包括所述传感器的标定结果;将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。本说明书实施例提供的传感器标定结果的验证方法,可以验证传感器标定结果在水平、上下、前后三个维度方向上的偏差,可以提高传感器标定结果验证的可靠性。本说明书实施例提供的传感器标定结果的验证方法,还可以在标定完成后得到验证结果,避免了传统的验证方法需要在上线后才能知道验证结果,大大提高了验证效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例一种传感器标定结果的验证方法的流程图;
图2为本说明书实施例左目图像数据的基线与右目图像数据的基线示意图;
图3为本说明书实施例点云数据投影至左目图像数据与右目图像数据的示意图;
图4为本说明书实施例包含深度信息的图像数据的示意图;
图5为本说明书实施例一种传感器标定结果的验证装置的功能模块图。
具体实施方式
下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
自动驾驶汽车的系统中,通常要通过摄像头、毫米波雷达、激光雷达等传感器实时采集周边环境状态,以便于自动驾驶汽车的系统根据环境状态计算出最优的驾驶决策规划,例如根据不同的环境状态进行油门、刹车、转向等相应的驾驶操作,因此传感器的精度对于自动驾驶汽车的系统起到至关重要的作用。
在本说明书实施例中,将传感器安装在汽车上后,需要对传感器进行标定。进一步的,在对传感器进行标定之后,还要对传感器的标定结果进行验证,以验证标定结果的精度。目前的验证都是在实车工况下进行,通过对激光雷达和摄像头捕捉同一个物体的位置偏差来验证标定结果的准确性。考虑到如果可以采集一段实际道路的数据,提取图像和激光雷达的同步数据,把激光雷达的点云投影到图像上,可以更为直观地判断标定结果的好坏,从而可以准确定位标定结果有偏差的原因,在汽车上线之前得到合格的标定结果,则有望解决传感器的标定结果验证过程繁琐以及准确性不够的问题。
图1为本说明书实施例一种传感器标定结果的验证方法的流程图。如图1所示,所述传感器标定结果的验证方法可以包括以下步骤。
S110:获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据。
在本说明书实施例中,所述传感器可以包括双目摄像机和激光雷达。相应的,所述双目摄像机可以采集图像数据,所述图像数据包括左目图像数据和右目图像数据;所述激光雷达可以采集点云数据。
在本说明书实施例中,所述双目摄像机可以采用两个摄像机同时运行来感知周围的环境,双目摄像机组成的视觉系统相比于单目摄像机的优势是可提取到更多与真实世界环境有关的信息,尤其是目标实物的深度信息。双目摄像机的测距流程可以包括:对双目摄像机进行标定,得到两个摄像机的内外参数、单应矩阵;根据标定结果对原始图像进行校正,校正后的两张图像位于同一平面且互相平行;对校正后的两张图像进行像素点匹配。根据匹配结果计算每个像素的深度,从而获得包含深度信息的图像数据。
所述激光雷达LiDAR(Light Detection and Ranging),也称Laser Radar或LADAR(Laser Detection and Ranging),是以发射激光束探测目标的位置、速度等特征量的雷达系统,可以通过向目标发射激光束,然后将接收到的从目标反射回来的反射信号与发射信号进行比较和处理,从而获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数,从而对目标进行探测、跟踪和识别,例如探测目标环境的位置和距离,还可以通过时间顺序的数据,计算目标物体的速度。
在一些实施例中,在将传感器投入使用之前,需要对传感器进行标定,例如将车辆行驶在一段道路,获取在这段道路上的采集数据,并根据道路上的障碍物等信息对传感器进行标定。在标定完成之后,还需要对标定结果进行验证,用以判断标定结果的好坏。在本说明书实施例中,为使对传感器标定结果的验证结果更为精确,可以采用交叉验证的方法,即所述预设场景可以为与标定时车辆行驶的道路不同的另一段道路。
在一些实施例中,为了使对传感器标定结果的验证更为准确,可以选择深度信息较为丰富的场景区域作为预设场景。其中,深度信息较为丰富的场景区域中可以包括多个目标参照物,如其他车辆、指示牌、树木等。
S120:接收校准文件,所述校准文件包括所述传感器的标定结果。
在本说明书实施例中,所述校准文件可以是对传感器进行标定后得到的文件,所述校准文件中可以包括传感器的标定结果。所述标定结果可以包括经过校准得到的校准图像数据和校准点云数据,所述标定结果还可以包括双目摄像机中两个摄像机的内外参数、单应矩阵、畸变矩阵,以及图像数据和点云数据的转换矩阵。其中,点云数据可以通过所述转换矩阵进行投影转换,得到点云数据对应的图像数据。
在一些实施例中,为便于对传感器标定结果的验证,所述采集数据中的图像数据的图像分辨率与校准图像数据的图像分辨率相同。当然,在一些实施例中,所述采集数据中的图像数据的分辨率还可以与校准图像数据的分辨率不同,在后续步骤中可以将采集数据中的图像数据的分辨率进行修改,使得修改后的图像数据的分辨率与校准图像数据的分辨率相同。
S130:将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据。
在一些实施例中,可以将所述图像数据和点云数据按时间进行同步匹配。具体的,可以根据点云数据和图像数据所对应的时间点,对所获取的多个点云数据和多个图像数据进行同步匹配,将对应同一个时间点的点云数据和图像数据划分进一个匹配组,从而得到了多个匹配组。其中,上述多个匹配组中的各个匹配组所包含的点云数据和图像数据对应同一个时间点。也可以理解为一个匹配中所包含的点云数据和图像数据对应同一个时间点。在一些实施例中,所述多个匹配组可以为300个匹配组、500个匹配组或者800个匹配组,本说明书实施例对此不作限定。
S140:根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。
在一些实施例中,可以根据双目摄像机的标定结果,确定所述匹配组中的左目图像数据的基线和右目图像数据的基线;根据左目图像数据的基线与右目图像数据的基线验证双目摄像机在水平方向上的标定结果。具体的,可以根据标定结果中两个摄像机的内外参数、单应矩阵、畸变矩阵等信息对匹配组中的左目图像数据和右目图像数据进行矫正,使左目图像和右目图像两成像平面平行且行对齐,再提取左目图像和右目图像的特征点,并对所示特征点进行特征描述,基于所述特征描述做特征点匹配可以得到左目图像数据的基线和右目图像数据的基线。如图2所示,在图2中,虚线的左侧为左目图像数据,虚线的右侧为右目图像数据。从图2中可以看出,左目图像数据的基线和右目图像数据的基线对齐的程度很好,可以确定双目摄像机在水平方向上的标定结果较好。
在一些实施例中,可以根据双目摄像机和激光雷达的标定结果,将所述匹配组中的点云数据通过投影转换为图像数据;比较所述匹配组中的图像数据和通过投影转换得到的图像数据验证双目摄像机和激光雷达的标定结果。具体的,可以根据所述标定结果中的转换矩阵,将匹配组中的点云数据进行投影转换,将点云数据转换为对应的图像数据,并将对应的图像数据投影至匹配组中的左目图像数据和右目图像数据,再比较点云数据对应的图像数据匹配组中的左目图像数据和右目图像数据,可以验证双目摄像机和激光雷达的标定结果。如图3 所示,在图3中,虚线的左侧为左目图像数据,虚线的右侧为右目图像数据。从图3中可以看出点云数据对应的图像数据投影到匹配组中的左目图像数据和右目图像数据的吻合度较高,可以确定双目摄像机和激光雷达的标定结果较好。
在一些实施例中,还可以根据双目摄像机和激光雷达的标定结果,将所述匹配组中的左目图像数据和右目图像数据转换为包含深度信息的图像数据;根据所述包含深度信息的图像数据验证双目摄像机测距的标定结果。具体的,可以根据标定结果中两个摄像机的内外参数、单应矩阵、畸变矩阵等信息对匹配组中的左目图像数据和右目图像数据进行矫正,使左目图像和右目图像两成像平面平行且行对齐,对矫正后的左目图像数据和右目图像数据进行像素点匹配,将左目图像数据的每个点匹配到右目图像数据中,或者将右目图像数据的每个点匹配到左目图像数据中,再根据匹配结果计算每个像素点的深度,从而获得包含深度信息的图像数据,基于包含深度信息的图像数据可以验证双目摄像机测距的标定结果。如图4所示,从图4中可以看出,匹配结果的吻合度较高,可以确定双目摄像机测距的标定结果较好。
本说明书实施例可以获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;接收校准文件,所述校准文件包括所述传感器的标定结果;将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。本说明书实施例提供的传感器标定结果的验证方法,可以验证传感器标定结果在水平、上下、前后三个维度方向上的偏差,可以提高传感器标定结果验证的可靠性。本说明书实施例提供的传感器标定结果的验证方法,还可以在标定完成后得到验证结果,避免了传统的验证方法需要在上线后才能知道验证结果,大大提高了验证效率。
本说明书实施例还提供了一种传感器标定结果的验证方法的计算机可读存储介质,所述计算机可读存储介质存储有计算机程序指令,在所述计算机程序指令被执行时实现:获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;接收校准文件,所述校准文件包括所述传感器的标定结果;将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。
在本实施方式中,上述存储介质包括但不限于随机存取存储器(Random AccessMemory, RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(HardDiskDrive, HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。在本实施方式中,该计算机可读存储介质存储的程序指令具体实现的功能和效果,可以与其它实施方式对照解释,在此不再赘述。
参阅图5,在软件层面上,本说明书实施例还提供了一种传感器标定结果的验证装置,该装置具体可以包括以下的结构模块。
获取模块510,用于获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;
接收模块520,用于接收校准文件,所述校准文件包括所述传感器的标定结果;
匹配模块530,用于将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;
验证模块540,用于根据所述匹配组中所包含的点云数据和图像数据对所述标定结果进行验证。
在一些实施例中,所述验证模块540可以包括:第一验证子模块,用于确定所述匹配组中的左目图像数据的基线和右目图像数据的基线;根据左目图像数据的基线与右目图像数据的基线验证传感器的标定结果;第二验证子模块,用于将所述匹配组中的点云数据通过投影转换,得到所述点云数据对应的图像数据;根据所述匹配组中的图像数据和所述点云数据对应的图像数据验证传感器的标定结果;第三验证子模块,用于将所述匹配组中的左目图像数据和右目图像数据转换为包含深度信息的图像数据;根据所述包含深度信息的图像数据验证传感器的标定结果。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。尤其,对于装置实施例和设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员在阅读本说明书文件之后,可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合,这些组合也在本说明书公开和保护的范围内。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray, FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、 CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language) 等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本说明书,本领域普通技术人员知道,本说明书有许多变形和变化而不脱离本说明书的精神,希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (6)

1.一种传感器标定结果的验证方法,其特征在于,所述方法包括:
获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;
接收校准文件,所述校准文件包括所述传感器的标定结果;
将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;
根据所述匹配组中所包含的点云数据和图像数据对所述标定结果在水平、上下、前后三个维度方向上的偏差进行验证;
根据所述匹配组中所包含的点云数据和图像数据对所述标定结果在水平、上下、前后三个维度方向上的偏差进行验证,包括:确定所述匹配组中的左目图像数据的基线和右目图像数据的基线;根据左目图像数据的基线与右目图像数据的基线验证双目摄像机在水平方向上的标定结果,以验证传感器标定结果在水平维度方向上的偏差;
将所述匹配组中的点云数据通过投影转换为图像数据;比较所述匹配组中的图像数据和通过投影转换得到的图像数据验证双目摄像机和激光雷达的标定结果,以验证传感器标定结果在上下维度方向上的偏差;
将所述匹配组中的左目图像数据和右目图像数据转换为包含深度信息的图像数据;根据所述包含深度信息的图像数据验证双目摄像机测距的标定结果,以验证传感器标定结果在前后维度方向上的偏差。
2.根据权利要求1所述的方法,其特征在于,所述传感器包括双目摄像机和激光雷达;
相应的,所述双目摄像机采集图像数据,所述图像数据包括左目图像数据和右目图像数据;所述激光雷达采集点云数据。
3.根据权利要求1所述的方法,其特征在于,所述预设场景中包括多个目标参照物;所述目标参照物包括车辆、指示牌、树木中的至少一种。
4.根据权利要求1所述的方法,其特征在于,所述校准文件还包括校准图像数据,所述采集数据中的图像数据的图像分辨率与校准图像数据的图像分辨率相同。
5.一种传感器标定结果的验证装置,其特征在于,所述装置包括:
获取模块,用于获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;
接收模块,用于接收校准文件,所述校准文件包括所述传感器的标定结果;
匹配模块,用于将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;
验证模块,用于根据所述匹配组中所包含的点云数据和图像数据对所述标定结果在水平、上下、前后三个维度方向上的偏差进行验证;
所述验证模块包括:
第一验证子模块,用于确定所述匹配组中的左目图像数据的基线和右目图像数据的基线;根据左目图像数据的基线与右目图像数据的基线验证双目摄像机在水平方向上的标定结果,以验证传感器标定结果在水平维度方向上的偏差;
第二验证子模块,用于将所述匹配组中的点云数据通过投影转换为图像数据;比较所述匹配组中的图像数据和通过投影转换得到的图像数据验证双目摄像机和激光雷达的标定结果,以验证传感器标定结果在上下维度方向上的偏差;
第三验证子模块,用于将所述匹配组中的左目图像数据和右目图像数据转换为包含深度信息的图像数据;根据所述包含深度信息的图像数据验证双目摄像机测距的标定结果,以验证传感器标定结果在前后维度方向上的偏差。
6.一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被执行时实现:获取多种传感器在预设场景下的采集数据;所述采集数据包括图像数据和点云数据;接收校准文件,所述校准文件包括所述传感器的标定结果;将所述图像数据和点云数据按时间进行同步匹配,建立多个匹配组;其中,所述匹配组中包含有对应相同时间点的点云数据和图像数据;根据所述匹配组中所包含的点云数据和图像数据对所述标定结果在水平、上下、前后三个维度方向上的偏差进行验证;
根据所述匹配组中所包含的点云数据和图像数据对所述标定结果在水平、上下、前后三个维度方向上的偏差进行验证,包括:确定所述匹配组中的左目图像数据的基线和右目图像数据的基线;根据左目图像数据的基线与右目图像数据的基线验证双目摄像机在水平方向上的标定结果,以验证传感器标定结果在水平维度方向上的偏差;
将所述匹配组中的点云数据通过投影转换为图像数据;比较所述匹配组中的图像数据和通过投影转换得到的图像数据验证双目摄像机和激光雷达的标定结果,以验证传感器标定结果在上下维度方向上的偏差;
将所述匹配组中的左目图像数据和右目图像数据转换为包含深度信息的图像数据;根据所述包含深度信息的图像数据验证双目摄像机测距的标定结果,以验证传感器标定结果在前后维度方向上的偏差。
CN201911260653.2A 2019-12-10 2019-12-10 传感器标定结果的验证方法、装置及存储介质 Active CN111192329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911260653.2A CN111192329B (zh) 2019-12-10 2019-12-10 传感器标定结果的验证方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911260653.2A CN111192329B (zh) 2019-12-10 2019-12-10 传感器标定结果的验证方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111192329A CN111192329A (zh) 2020-05-22
CN111192329B true CN111192329B (zh) 2022-09-02

Family

ID=70709218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911260653.2A Active CN111192329B (zh) 2019-12-10 2019-12-10 传感器标定结果的验证方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111192329B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148769A (zh) * 2020-09-15 2020-12-29 浙江大华技术股份有限公司 数据的同步方法、装置、存储介质以及电子装置
CN113030920B (zh) * 2021-03-17 2023-01-03 苏州一径科技有限公司 标定角度的精度验证方法及装置、设备及存储介质
CN113658268A (zh) * 2021-08-04 2021-11-16 智道网联科技(北京)有限公司 摄像头标定结果的验证方法、装置及电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357503A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time system for ground truth static scene sparse flow generation
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110110797A (zh) * 2019-05-13 2019-08-09 哈尔滨工程大学 一种基于多传感器融合的水面目标训练集自动采集方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357503A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time system for ground truth static scene sparse flow generation
CN110110797A (zh) * 2019-05-13 2019-08-09 哈尔滨工程大学 一种基于多传感器融合的水面目标训练集自动采集方法
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备

Also Published As

Publication number Publication date
CN111192329A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
US11255973B2 (en) Method and apparatus for extracting lane line and computer readable storage medium
CN111192329B (zh) 传感器标定结果的验证方法、装置及存储介质
CN110443225B (zh) 一种基于特征像素统计的虚实车道线识别方法及其装置
Bertozzi et al. Obstacle detection and classification fusing radar and vision
CN110799982A (zh) 用于自动驾驶车辆中的以物体为中心的立体视觉的方法和系统
JP2022048963A (ja) 路側計算装置に用いる障害物3次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
KR20110058262A (ko) 차량 검출 장치 및 방법
CN116844129A (zh) 多模态特征对齐融合的路侧目标检测方法、系统及装置
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN116665003B (zh) 一种基于特征交互与融合的点云三维目标检测方法和装置
CN113658265A (zh) 相机标定方法、装置、电子设备及存储介质
CN112529011A (zh) 目标检测方法及相关装置
EP4250245A1 (en) System and method for determining a viewpoint of a traffic camera
CN112639822A (zh) 一种数据处理方法及装置
CN116129378A (zh) 车道线检测方法、装置、设备、车辆和介质
CN110852278B (zh) 地面标识线识别方法、设备及计算机可读存储介质
CN112232317A (zh) 用于目标朝向识别的目标检测方法及装置、设备及介质
CN117975383B (zh) 一种基于多模态图像融合技术的车辆定位和识别方法
CN113870365B (zh) 相机标定方法、装置、设备以及存储介质
CN116681884B (zh) 一种对象检测方法和相关装置
JP2013142668A (ja) 位置推定装置及び位置推定方法
CN116152761B (zh) 车道线检测方法及装置
Huang Visibility and confidence estimation of an onboard-camera image for an intelligent vehicle
CN113808208A (zh) 功能安全的列车定位方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant