CN110796711A - 全景系统标定方法、装置、计算机可读存储介质及车辆 - Google Patents

全景系统标定方法、装置、计算机可读存储介质及车辆 Download PDF

Info

Publication number
CN110796711A
CN110796711A CN201911055662.8A CN201911055662A CN110796711A CN 110796711 A CN110796711 A CN 110796711A CN 201911055662 A CN201911055662 A CN 201911055662A CN 110796711 A CN110796711 A CN 110796711A
Authority
CN
China
Prior art keywords
target
vehicle
calibration
dimensional scene
target parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911055662.8A
Other languages
English (en)
Other versions
CN110796711B (zh
Inventor
邱陶
刘方元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mgjia (beijing) Technology Co Ltd
Original Assignee
Mgjia (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mgjia (beijing) Technology Co Ltd filed Critical Mgjia (beijing) Technology Co Ltd
Priority to CN201911055662.8A priority Critical patent/CN110796711B/zh
Publication of CN110796711A publication Critical patent/CN110796711A/zh
Application granted granted Critical
Publication of CN110796711B publication Critical patent/CN110796711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种全景系统标定方法、装置、计算机可读存储介质及车辆。方法包括:在待标定车辆停放在标定场地的预设位置时,通过设置在待标定车辆上的第一图像采集装置获取标定场地的二维场景图像和三维场景图像数据;根据三维场景图像数据和预设的参考图像数据,确定第一图像采集装置的目标参数;按照目标参数对二维场景图像进行拼接,得到拼接后的全景图像;根据二维场景图像和全景图像,确定目标参数误差;若目标参数误差满足预设条件,则按照目标参数对待标定车辆的全景系统进行标定。如此,无需严格按照标定条件布设标定场地,即可实现对全景系统标定。并且,由于无需人工审核标定结果,可以提高标定效率。

Description

全景系统标定方法、装置、计算机可读存储介质及车辆
技术领域
本公开涉及车辆技术领域,具体地,涉及一种全景系统标定方法、装置、计算机可读存储介质及车辆。
背景技术
在日常驾驶过程中,驾驶员位于车舱内,在观察车身周边情况时需要依靠左右后视镜、中央后视镜、车窗、风挡去观察车身周边情况,因此存在很多的视觉盲区,且无法合理判断车身与周边的距离。为了实现合理判断车身与周边的距离,车辆视觉辅助系统已经从后视摄像头观察车后的倒车图像,发展到通过车辆前后左右四个摄像头观察车辆四周图像的全景系统。
AVM(AroundViewMonitor),称为全景式监控图像系统,也可以称为360全景系统、全景环视系统、SVM(SurroundView Monitor),在该系统中,通常采用多个摄像头,该多个摄像头分别安装于汽车的前、后、左、右等位置以覆盖车辆周边所有视角。该系统对同一时刻采集到的多路视频进行去畸变、投影、拼接、融合、色彩矫正,形成一个LUT(Look Up Table,查询表)。在车辆行驶过程中,直接通过查询LUT将摄像头视频里每一帧的视频中的像素映射到显示屏上,最后形成一幅包含2D鸟瞰图和3DAR View的图片,并显示在车内中控屏上,让驾驶员能够发现车身周边是否存在障碍物、以及障碍物的相对方位与距离,从而帮助驾驶员泊车、通过狭窄路段,有效减少刮蹭、碰撞、陷落等事故的发生。然而,在使用AVM之前,需要对AVM进行标定,现有的全景系统标定方法的标定效率较低。
发明内容
本公开的目的是提供一种全景系统标定方法、装置、计算机可读存储介质及车辆,以提高对全景系统进行标定的效率。
为了实现上述目的,本公开第一方面提供一种全景系统标定方法,包括:
在待标定车辆停放在标定场地的预设位置时,通过设置在所述待标定车辆上的第一图像采集装置获取所述标定场地的二维场景图像和三维场景图像数据;
根据所述三维场景图像数据和预设的参考图像数据,确定所述第一图像采集装置的目标参数;
按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像;
根据所述二维场景图像和所述全景图像,确定目标参数误差;
若所述目标参数误差满足预设条件,则按照所述目标参数对所述待标定车辆的全景系统进行标定。
可选地,所述方法还包括:
若所述目标参数误差不满足所述预设条件,则根据所述目标参数误差对所述目标参数进行更新,以得到更新后的目标参数;
重新执行按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像的步骤,直至所述目标参数误差满足所述预设条件。
可选地,所述目标参数包括目标位置和目标角度;所述根据所述三维场景图像数据和预设的参考图像数据,确定所述第一图像采集装置的目标参数,包括:
将所述三维场景图像数据与预设的参考图像数据进行匹配;
根据匹配结果,确定所述第一图像采集装置的位置调整值和角度调整值;
根据所述待标定车辆上的所述第一图像采集装置的位置和角度,以及所述位置调整值和所述角度调整值,确定所述第一图像采集装置的目标位置和目标角度。
可选地,所述目标参数误差包括目标位置误差和目标角度误差;所述预设条件为所述目标位置误差小于或等于第一预设阈值,且所述目标角度误差小于或等于第二预设阈值。
可选地,所述预设的场景图像通过以下方式获取:
控制设置在样本车辆上的第二图像采集装置采集所述标定场地的三维场地数据;
根据所述三维场地数据、SLAM技术和SFM技术,得到所述预设的参考图像数据。
本公开第二方面提供一种全景系统标定装置,包括:
第一获取模块,用于在待标定车辆停放在标定场地的预设位置时,通过设置在所述待标定车辆上的第一图像采集装置获取所述标定场地的二维场景图像和三维场景图像数据;
第一确定模块,用于根据所述三维场景图像数据和预设的参考图像数据,确定所述第一图像采集装置的目标参数;
拼接模块,用于按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像;
第二确定模块,用于根据所述二维场景图像和所述全景图像,确定目标参数误差;
标定模块,用于若所述目标参数误差满足预设条件,则按照所述目标参数对所述待标定车辆的全景系统进行标定。
可选地,所述装置还包括:
更新模块,用于若所述目标参数误差不满足所述预设条件,则根据所述目标参数误差对所述目标参数进行更新,以得到更新后的目标参数;
驱动模块,用于驱动所述拼接模块重新执行按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像的步骤,直至所述目标参数误差满足所述预设条件。
可选地,所述目标参数包括目标位置和目标角度;所述第一确定模块包括:
匹配子模块,用于将所述三维场景图像数据与预设的参考图像数据进行匹配;
第一确定子模块,用于本根据匹配结果,确定所述第一图像采集装置的位置调整值和角度调整值;
第二确定子模块,用于根据所述待标定车辆上的所述第一图像采集装置的位置和角度,以及所述位置调整值和所述角度调整值,确定所述第一图像采集装置的目标位置和目标角度。
可选地,所述目标参数误差包括目标位置误差和目标角度误差;所述预设条件为所述目标位置误差小于或等于第一预设阈值,且所述目标角度误差小于或等于第二预设阈值。
可选地,所述装置还包括:
采集模块,用于控制设置在样本车辆上的第二图像采集装置采集所述标定场地的三维场地数据;
第二获取模块,用于根据所述三维场地数据、SLAM技术和SFM技术,得到所述预设的参考图像数据。
本公开第三方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面所提供的所述方法的步骤。
本公开第四方面提供一种车辆,包括:
第一图像采集装置,以及,如本公开第二方面所述的全景系统标定装置。
通过上述技术方案,根据待标定车辆上第一图像采集装置获取的三维场景图像数据与预设的参考图像数据,确定第一图像采集装置的目标参数,并基于该目标参数对二维场景图像进行拼接,得到拼接后的全景图像,并根据拼接效果,确定目标参数误差,若目标误差满足预设条件,则按照该目标参数对待标定车辆的全景系统进行标定。如此,采用上述技术方案只需预先存储标定场地的参考图像数据即可,不需要在标定场地的特定位置铺设特定规格的标定参照物,即,无需按照严格的标定条件布设标定场地,即可实现对全景系统的标定。并且,由于本公开所提供的标定方式无需人工审核标定结果以及人为移动待标定车辆,因此,提高了标定过程的自动化,以及标定效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种全景系统标定方法的流程图。
图2是根据一示例性实施例示出的一种标定场地的示意图。
图3是根据另一示例性实施例示出的一种全景系统标定方法的流程图。
图4是根据一示例性实施例示出的一种全景系统标定装置的框图。
图5是根据另一示例性实施例示出的一种全景系统标定装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
在车辆出厂时,现有对车辆上的全景系统进行标定的方法为:对设置在车辆上的摄像头的内部参数和外部参数进行标定,其中,摄像头的内部参数可以包括但不限于:摄像头畸变表,焦距和主点位置。通常内部参数的标定方法是使用畸变表生成像素查询表,也可以使用MATLAB或者OpenCV等畸变矫正技术。摄像头的外部参数可以包括但不限于:摄像头在车身的三维位置和欧拉角。具体地,外部参数的标定方法为:在平整地面上的特定位置处铺设特定规格的标定参照物,将待标定车辆停放在指定位置。控制车身上的多个摄像头采集图像,并对每个摄像头的图片进行去畸变、滤波处理后检测图片上的棋盘格,得到摄像头外部参数,之后以外部参数为基准使用图像变换处理技术对多张图片进行调整、拼接、接缝融合、色彩矫正,得到LUT表。
然而,上述标定方法中存在如下问题:标定条件较为严格,需要在特定位置铺设特定规格的标定参照物;标定速度较慢,每次标定时均需要复杂的计算,且准确度低;在标定过程中需要人工干预,例如,标定结果审核、车身位置移动,标定效率低。
有鉴于此,本公开提供一种全景系统标定方法、装置、计算机可读存储介质及车辆,以解决现有技术中存在的上述问题。
图1是根据一示例性实施例示出的一种全景系统标定方法的流程图。如图1所示,该方法可以包括以下步骤。
在步骤11中,在待标定车辆停放在标定场地的预设位置时,通过设置在待标定车辆上的第一图像采集装置获取标定场地的二维场景图像和三维场景图像数据。
需要说明的是,对待标定车辆上的全景系统进行标定之前,需要将待标定车辆停放在标定场地的预设位置处,其中,该标定场地为预先布置的场地。示例地,如图2所示,用户需要将待标定车辆(图2中位于标定场地中间的矩形),停放在标定房间内具有一定大小(例如,6m*11m)的区域上,由技术人员按照标定规范,将标定参照物(例如,图2中的棋盘格)布置在该待标定车辆周围。其中,该标定参照物还可以是具有其他图案的标定板,本公开对此不作具体限定。
此外,设置在待标定车辆上的第一图像装置可以是摄像头、超声波雷达、毫米波雷达、激光雷达、IMU(Inertial Measurement Unit,惯性测量单元)传感器、GPS(GlobalPositioning System,全球定位系统)传感器等等。本公开以第一图像装置为摄像头为例进行说明。通常情况下,设置在待标定车辆上的摄像头的数量为多个,示例地,摄像头的数量可以为四个,该四个摄像头分别设置在待标定车辆的车头的左边和右边,以及车尾的左边和右边。在本公开中,可以同时控制上述四个摄像头拍摄图像,以获得在同一时刻下每个摄像头所拍摄到的二维场景图像。
另外,根据在同一时刻下四个摄像头分别拍摄的标定场地的二维场景图像,可以得到该标定场地的三维场景图像数据。需要说明的是,本公开实施例对标定场地的三维场景图像数据的获得方式不作限定。
在步骤12中,根据三维场景图像数据和预设的参考图像数据,确定第一图像采集装置的目标参数。
在本公开中,预设的参考图像数据是技术人员经过多次调整标定设备或标定程序得到的较为准确的标定场地的三维图像数据。具体地,该预设的参考图像数据可以通过以下方式获得。
首先,对待标定车辆的全景系统进行标定之前,将样本车辆停放在标定场地的预设位置处,控制设置在样本车辆上的第二图像采集装置采集标定场地的三维场地数据,该三维场地数据可以包括但不限于以下内容:标定场地的长宽高、标定参照物的长宽高、以及标定参照物放置的位置,等等。接着,根据三维场地数据、SLAM(SimultaneousLocalization and Mapping,同步定位与地图构建)技术和SFM(Structure From Motion,从运动信息中恢复三维场景结构)技术,得到预设的参数图像数据。
其中,该三维场地数据为世界坐标系下的数据,其与图像中的数据不同,因此,在本公开中还需要将该三维场地数据转换为图像中的数据。上述SLAM技术和SFM技术属于本领域的公知常识,此处不再详细描述。
此外,目标参数可以包括目标位置、目标角度、图像采集装置的内部参数等等。考虑到全景系统拼接的全景图像的效果主要与图像采集装置的位置和角度有关,因此,在本公开中以目标参数包括目标位置和目标角度为例进行描述。
具体地,首先,在步骤11中获取到标定场地的三维场景图像数据之后,将该三维场景图像数据与预设的参考图像数据进行匹配,接着,根据匹配结果,确定第一图像采集装置的位置调整值和角度调整值,最后,根据待标定车辆上的第一图像采集装置的位置和角度,以及该位置调整值和角度调整值,确定第一图像采集装置的目标位置和目标角度。
此外,获取待标定车辆上的第一图像采集装置的位置和角度的方式有且不限于以下三种。在一种可能的实施方式中,在安装好摄像头之后,技术人员会将待标定车辆上的摄像头的位置和角度存储在待标定车辆内,如此,在进行全景系统标定的过程中,可以直接从待标定车辆内获取到该摄像头的位置和角度。
在另一种实施例中,考虑到实际安装摄像头过程中,由于安装误差,可能会导致安装后的摄像头的位置和角度与安装之前所确定的位置和角度不一致,因此,在该实施例中,可以预先控制待标定车辆上的摄像头拍摄多张照片,在待标定车辆驶入标定场地时,自动比对上述多张照片,以获取待标定车辆上的摄像头的位置和角度。
在又一种实施例中,还可以通过拍摄的多组照片,利用立体视觉技术,获取待标定车辆上的摄像头的位置和角度。
其中,根据多张照片比对,或者利用立体视觉技术,得到待标定车辆上的摄像头的位置和角度的具体方式属于本领域技术人员公知,在本公开中不再详述。
在获取到待标定车辆上的第一图像采集装置的位置和角度之后,根据该位置和角度,以及位置调整值和角度调整值,确定第一图像采集装置的目标位置和目标角度。示例地,可以将待标定车辆上的第一图像采集装置的位置与位置调整值相加,得到第一图像采集装置的目标位置,以及,将待标定车辆上的第一图像采集装置的角度与角度调整值相加,得到第一图像采集装置的目标角度。进一步地,由于摄像机的位置还可以包括X轴方向的位置、Y轴方向的位置和Z轴方向的位置,相应的,角度还可以包括绕X轴的角度、绕Y轴的角度和绕Z轴的角度,因此,在一种实施例中,可以分别确定出待标定车辆上的摄像机在X轴、Y轴和Z轴方向的位置,以及绕X轴、绕Y轴和绕Z轴的角度,相应地,所确定的调整值也包括X轴、Y轴和Z轴方向的位置调整值,以及绕X轴、绕Y轴和绕Z轴的角度调整值,并将相同坐标轴(X轴、Y轴和Z轴)上的位置和位置调整值相加,以及,将绕相同坐标轴的角度和角度调整值相加,以得到不同坐标轴下的目标位置和目标角度。
在步骤13中,按照目标参数,对二维场景图像进行拼接,以得到拼接后的全景图像。
在获得到目标参数后,可以将该目标参数、以及每个摄像头在同一时刻获取的标定场地的二维场景图像输入至全景算法程序中,以使全景算法程序根据第一图像采集装置的目标参数,将多张二维场景图像进行拼接,以得到全景图像。需要说明的是,本公开中所涉及的拼接并不是简单的将多张图像拼在一起,而是将多张二维场景图像经过去畸变、投影、拼接、融合、色彩矫正等操作后,形成一张三维的全景图像。
在步骤14中,根据二维场景图像和全景图像,确定目标参数误差。
本领域技术人员须知的是,若摄像头的目标位置和目标角度较为准确,在拼接后形成的全景图像中,可以将多张图像中与空间中同一物体对应的像素合并为一个像素。示例地,若车头左侧和右侧的摄像头所拍摄的二维场景图像中与标定场地中的左上角的棋盘格中的第一黑色网格对应的像素分别为P1和P2,则在全景图像中,该像素P1和P2可以合并为一个像素。若摄像头的目标位置和目标角度未调整到一个合适的位置和角度,则在拼接形成的全景图像中上述像素P1和P2不会完全重合,即,像素P1和P2不能合并成一个像素。
因此,在本公开中可以将二维场景图像和根据该二维场景图像拼接形成的全景图像输入至误差计算程序中,以使该误差计算程序根据对应于空间中同一物体的不同像素,在拼接的全景图像中是否重合以及重合度,计算出目标参数误差,即,计算出摄像头的位置误差和角度误差。其中,根据多张二维场景图像中与空间中同一物体对应的像素,以及,全景图像中的与空间中同一物体对应的像素的重合效果,确定摄像头的目标位置误差和目标角度误差的具体方式,本公开不作具体限定。
在步骤15中,若目标参数误差满足预设条件,则按照目标参数对待标定车辆的全景系统进行标定。
可选地,该预设条件可以为目标位置误差小于或等于第一预设阈值,且目标角度误差小于或等于第二预设阈值。其中,第一预设阈值和第二预设阈值可以相同也可以不同。示例地,第一预设阈值和第二预设阈值相同,均为10-6,或者,第一预设阈值和第二预设阈值不同,且第一预设阈值为2×10-6,第二预设阈值为5×10-6,等等。需要说明的是,上述预设阈值的大小还可以是其他数值,本公开对该预设阈值的大小并不作具体限定。
在目标参数误差满足预设条件时,可以认为对应于空间中同一物体的不同像素在全景图像中的重合效果较好,进而认为该摄像头的目标位置和目标角度较为准确,此时,可结束标定,并按照在步骤12中确定的目标参数对待标定车辆的全景系统进行标定。此外,为了使得摄像头的目标位置和目标角度更为准确,在一种实施例中,还可以按照步骤12中确定的目标参数与步骤15中确定的目标参数误差之和,对待标定车辆的全景系统进行标定。
采用上述技术方案,根据待标定车辆上第一图像采集装置获取的三维场景图像数据与预设的参考图像数据,确定第一图像采集装置的目标参数,并基于该目标参数对二维场景图像进行拼接,得到拼接后的全景图像,并根据拼接效果,确定目标参数误差,若目标误差满足预设条件,则按照该目标参数对待标定车辆的全景系统进行标定。如此,采用上述技术方案只需预先存储标定场地的参考图像数据即可,不需要在标定场地的特定位置铺设特定规格的标定参照物,即,无需按照严格的标定条件布设标定场地,即可实现对全景系统的标定。并且,由于本公开所提供的标定方式无需人工审核标定结果以及人为移动待标定车辆,因此,提高了标定过程的自动化,以及标定效率。
如图3所示,全景系统标定方法还可以步骤16。
在步骤16中,若目标参数误差不满足预设条件,则根据目标参数误差对目标参数进行更新,以得到更新后的目标参数。
示例地,若目标参数误差中的目标位置误差大于第一预设阈值,和/或目标角度误差大于第二预设阈值,则认为目标参数误差不满足预设条件,即,目标参数误差较大,此时,可以根据该目标参数误差对目标参数进行更新,以得到更新后的目标参数。
其中,该目标参数误差可以是正数值也可以是负数值,具体地,可以是将目标参数与目标参数误差之和确定为更新后的目标参数。
如图3所示,在对目标参数进行更新之后,执行步骤17。
在步骤17中,重新执行按照目标参数,对二维场景图像进行拼接,以得到拼接后的全景图像的步骤,直至目标参数误差满足预设条件。之后,按照满足预设条件时的目标参数对待标定车辆的全景系统进行标定。
采用上述技术方案,在目标参数误差较大,不满足预设条件时,根据该目标参数误差对目标参数进行更新,以提高目标参数的准确度,并且在更新目标参数之后,重新执行根据目标参数对二维场景图像进行拼接的步骤,直到目标参数误差满足预设条件为止,如此,可以通过目标参数误差调整目标参数,直到得到较为准确的目标参数位置,并按照该较为准确的目标参数对待标定车辆的全景系统进行标定,提高了标定的准确度。
基于同一发明构思,本公开还提供一种全景系统标定装置。图4是根据一示例性实施例示出的一种全景系统标定装置的框图。如图4所示,该全景系统标定装置可以包括:
第一获取模块41,用于在待标定车辆停放在标定场地的预设位置时,通过设置在所述待标定车辆上的第一图像采集装置获取所述标定场地的二维场景图像和三维场景图像数据;
第一确定模块42,用于根据所述三维场景图像数据和预设的参考图像数据,确定所述第一图像采集装置的目标参数;
拼接模块43,用于按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像;
第二确定模块44,用于根据所述二维场景图像和所述全景图像,确定目标参数误差;
标定模块45,用于若所述目标参数误差满足预设条件,则按照所述目标参数对所述待标定车辆的全景系统进行标定。
可选地,所述装置还可以包括:
更新模块,用于若所述目标参数误差不满足所述预设条件,则根据所述目标参数误差对所述目标参数进行更新,以得到更新后的目标参数;
驱动模块,用于驱动所述拼接模块43重新执行按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像的步骤,直至所述目标参数误差满足所述预设条件。
可选地,所述目标参数包括目标位置和目标角度;所述第一确定模块42可以包括:
匹配子模块,用于将所述三维场景图像数据与预设的参考图像数据进行匹配;
第一确定子模块,用于本根据匹配结果,确定所述第一图像采集装置的位置调整值和角度调整值;
第二确定子模块,用于根据所述待标定车辆上的所述第一图像采集装置的位置和角度,以及所述位置调整值和所述角度调整值,确定所述第一图像采集装置的目标位置和目标角度。
可选地,所述目标参数误差包括目标位置误差和目标角度误差;所述预设条件为所述目标位置误差小于或等于第一预设阈值,且所述目标角度误差小于或等于第二预设阈值。
可选地,所述装置还可以包括:
采集模块,用于控制设置在样本车辆上的第二图像采集装置采集所述标定场地的三维场地数据;
第二获取模块,用于根据所述三维场地数据、SLAM技术和SFM技术,得到所述预设的参考图像数据。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于同一发明构思,本公开还提供一种车辆,该车辆包括:第一图像采集装置,以及,如本公开所提供的全景系统标定装置。
图5是根据另一示例性实施例示出的一种全景系统标定装置的框图。如图5所示,该全景系统标定装置500可以包括:处理器501,存储器502。该全景系统标定装置500还可以包括多媒体组件503,输入/输出(I/O)接口504,以及通信组件505中的一者或多者。
其中,处理器501用于控制该全景系统标定装置500的整体操作,以完成上述的全景系统标定方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该全景系统标定装置500的操作,这些数据例如可以包括用于在该全景系统标定装置500上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-OnlyMemory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该全景系统标定装置500与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(NearField Communication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件505可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,全景系统标定装置备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的全景系统标定方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的全景系统标定方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器502,上述程序指令可由全景系统标定装置500的处理器501执行以完成上述的全景系统标定方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的全景系统标定方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (10)

1.一种全景系统标定方法,其特征在于,包括:
在待标定车辆停放在标定场地的预设位置时,通过设置在所述待标定车辆上的第一图像采集装置获取所述标定场地的二维场景图像和三维场景图像数据;
根据所述三维场景图像数据和预设的参考图像数据,确定所述第一图像采集装置的目标参数;
按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像;
根据所述二维场景图像和所述全景图像,确定目标参数误差;
若所述目标参数误差满足预设条件,则按照所述目标参数对所述待标定车辆的全景系统进行标定。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述目标参数误差不满足所述预设条件,则根据所述目标参数误差对所述目标参数进行更新,以得到更新后的目标参数;
重新执行按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像的步骤,直至所述目标参数误差满足所述预设条件。
3.根据权利要求1所述的方法,其特征在于,所述目标参数包括目标位置和目标角度;所述根据所述三维场景图像数据和预设的参考图像数据,确定所述第一图像采集装置的目标参数,包括:
将所述三维场景图像数据与预设的参考图像数据进行匹配;
根据匹配结果,确定所述第一图像采集装置的位置调整值和角度调整值;
根据所述待标定车辆上的所述第一图像采集装置的位置和角度,以及所述位置调整值和所述角度调整值,确定所述第一图像采集装置的目标位置和目标角度。
4.根据权利要求3所述的方法,其特征在于,所述目标参数误差包括目标位置误差和目标角度误差;所述预设条件为所述目标位置误差小于或等于第一预设阈值,且所述目标角度误差小于或等于第二预设阈值。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述预设的场景图像通过以下方式获取:
控制设置在样本车辆上的第二图像采集装置采集所述标定场地的三维场地数据;
根据所述三维场地数据、SLAM技术和SFM技术,得到所述预设的参考图像数据。
6.一种全景系统标定装置,其特征在于,包括:
第一获取模块,用于在待标定车辆停放在标定场地的预设位置时,通过设置在所述待标定车辆上的第一图像采集装置获取所述标定场地的二维场景图像和三维场景图像数据;
第一确定模块,用于根据所述三维场景图像数据和预设的参考图像数据,确定所述第一图像采集装置的目标参数;
拼接模块,用于按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像;
第二确定模块,用于根据所述二维场景图像和所述全景图像,确定目标参数误差;
标定模块,用于若所述目标参数误差满足预设条件,则按照所述目标参数对所述待标定车辆的全景系统进行标定。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
更新模块,用于若所述目标参数误差不满足所述预设条件,则根据所述目标参数误差对所述目标参数进行更新,以得到更新后的目标参数;
驱动模块,用于驱动所述拼接模块重新执行按照所述目标参数,对所述二维场景图像进行拼接,以得到拼接后的全景图像的步骤,直至所述目标参数误差满足所述预设条件。
8.根据权利要求6所述的装置,其特征在于,所述目标参数包括目标位置和目标角度;所述第一确定模块包括:
匹配子模块,用于将所述三维场景图像数据与预设的参考图像数据进行匹配;
第一确定子模块,用于本根据匹配结果,确定所述第一图像采集装置的位置调整值和角度调整值;
第二确定子模块,用于根据所述待标定车辆上的所述第一图像采集装置的位置和角度,以及所述位置调整值和所述角度调整值,确定所述第一图像采集装置的目标位置和目标角度。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
10.一种车辆,其特征在于,包括:
第一图像采集装置,以及,如权利要求6-8任一项所述的全景系统标定装置。
CN201911055662.8A 2019-10-31 2019-10-31 全景系统标定方法、装置、计算机可读存储介质及车辆 Active CN110796711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911055662.8A CN110796711B (zh) 2019-10-31 2019-10-31 全景系统标定方法、装置、计算机可读存储介质及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911055662.8A CN110796711B (zh) 2019-10-31 2019-10-31 全景系统标定方法、装置、计算机可读存储介质及车辆

Publications (2)

Publication Number Publication Date
CN110796711A true CN110796711A (zh) 2020-02-14
CN110796711B CN110796711B (zh) 2020-09-15

Family

ID=69442475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911055662.8A Active CN110796711B (zh) 2019-10-31 2019-10-31 全景系统标定方法、装置、计算机可读存储介质及车辆

Country Status (1)

Country Link
CN (1) CN110796711B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111284503A (zh) * 2020-03-10 2020-06-16 宁波远景汽车零部件有限公司 一种汽车安全出行装置
CN111429518A (zh) * 2020-03-24 2020-07-17 浙江大华技术股份有限公司 一种标注方法、装置、计算设备及存储介质
CN113496527A (zh) * 2021-06-23 2021-10-12 中汽创智科技有限公司 一种车辆环景影像标定方法、装置、系统及存储介质
CN114332234A (zh) * 2021-10-26 2022-04-12 鹰驾科技(深圳)有限公司 一种基于棋盘格的自动标定方法及系统
CN115994952A (zh) * 2023-02-01 2023-04-21 镁佳(北京)科技有限公司 环视影像系统的标定方法、装置、计算机设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
CN105608693A (zh) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 车载全景环视的标定系统及方法
CN106204416A (zh) * 2015-05-04 2016-12-07 深圳市汉华安道科技有限责任公司 全景泊车辅助系统及其广角图像调试方法和装置
CN106251356A (zh) * 2016-08-04 2016-12-21 惠州市德赛西威汽车电子股份有限公司 一种全景标定方法以及系统
CN107146255A (zh) * 2017-04-05 2017-09-08 纵目科技(上海)股份有限公司 全景图像误差校正方法及装置
CN107490870A (zh) * 2017-06-15 2017-12-19 深圳全息信息科技发展有限公司 一种3d显示标定参数的确定方法、存储介质、设备及系统
KR20180082000A (ko) * 2017-01-09 2018-07-18 주식회사 엠씨넥스 타이어 압력 모니터링 정보를 이용한 차량용 어라운드뷰 캘리브레이션 장치 및 방법
CN108364252A (zh) * 2018-01-12 2018-08-03 深圳市粒视界科技有限公司 一种多鱼眼镜头全景相机的矫正和标定方法
CN109767473A (zh) * 2018-12-30 2019-05-17 惠州华阳通用电子有限公司 一种全景泊车装置标定方法及装置
US20190242697A1 (en) * 2016-10-19 2019-08-08 Hangzhou Scantech Company Limited Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
CN106204416A (zh) * 2015-05-04 2016-12-07 深圳市汉华安道科技有限责任公司 全景泊车辅助系统及其广角图像调试方法和装置
CN105608693A (zh) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 车载全景环视的标定系统及方法
CN106251356A (zh) * 2016-08-04 2016-12-21 惠州市德赛西威汽车电子股份有限公司 一种全景标定方法以及系统
US20190242697A1 (en) * 2016-10-19 2019-08-08 Hangzhou Scantech Company Limited Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner
KR20180082000A (ko) * 2017-01-09 2018-07-18 주식회사 엠씨넥스 타이어 압력 모니터링 정보를 이용한 차량용 어라운드뷰 캘리브레이션 장치 및 방법
CN107146255A (zh) * 2017-04-05 2017-09-08 纵目科技(上海)股份有限公司 全景图像误差校正方法及装置
CN107490870A (zh) * 2017-06-15 2017-12-19 深圳全息信息科技发展有限公司 一种3d显示标定参数的确定方法、存储介质、设备及系统
CN108364252A (zh) * 2018-01-12 2018-08-03 深圳市粒视界科技有限公司 一种多鱼眼镜头全景相机的矫正和标定方法
CN109767473A (zh) * 2018-12-30 2019-05-17 惠州华阳通用电子有限公司 一种全景泊车装置标定方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHASHIKANT CHAVAN等: ""Three Dimensional Vision Syatem Around Vehicle"", 《IEEE INTERNATIONAL CONFERENCE ON POWER,CONTROL,SIGNALS AND INSTRUMENTATION ENGINEERING》 *
江龙: ""360泊车辅助系统全景成像的研究"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111284503A (zh) * 2020-03-10 2020-06-16 宁波远景汽车零部件有限公司 一种汽车安全出行装置
CN111429518A (zh) * 2020-03-24 2020-07-17 浙江大华技术股份有限公司 一种标注方法、装置、计算设备及存储介质
CN111429518B (zh) * 2020-03-24 2023-10-03 浙江大华技术股份有限公司 一种标注方法、装置、计算设备及存储介质
CN113496527A (zh) * 2021-06-23 2021-10-12 中汽创智科技有限公司 一种车辆环景影像标定方法、装置、系统及存储介质
CN113496527B (zh) * 2021-06-23 2024-04-26 中汽创智科技有限公司 一种车辆环景影像标定方法、装置、系统及存储介质
CN114332234A (zh) * 2021-10-26 2022-04-12 鹰驾科技(深圳)有限公司 一种基于棋盘格的自动标定方法及系统
CN115994952A (zh) * 2023-02-01 2023-04-21 镁佳(北京)科技有限公司 环视影像系统的标定方法、装置、计算机设备及存储介质
CN115994952B (zh) * 2023-02-01 2024-01-30 镁佳(北京)科技有限公司 环视影像系统的标定方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110796711B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN110796711B (zh) 全景系统标定方法、装置、计算机可读存储介质及车辆
CN112965503B (zh) 多路摄像头融合拼接方法、装置、设备及存储介质
CN110706282B (zh) 全景系统自动标定方法、装置、可读存储介质及电子设备
CN108367714B (zh) 填充由镜子或其他车辆部件遮挡的周围视野区域
US20140114534A1 (en) Dynamic rearview mirror display features
US8130270B2 (en) Vehicle-mounted image capturing apparatus
US20240080435A1 (en) Calibration of a surround view camera system
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
CN107249922B (zh) 车辆用显示装置
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
US20120287282A1 (en) Image processing apparatus, image processing system, and image processing method
JP2007104538A (ja) 車両用死角映像表示装置
CN109754363B (zh) 基于鱼眼相机的环视图像合成方法和装置
CN112224132A (zh) 一种车用全景环视障碍物预警方法
CN108171116B (zh) 飞行器辅助避障方法、装置和辅助避障系统
CN111210386A (zh) 图像拍摄拼接方法及系统
CN111376841B (zh) 车道偏离系统的标定方法和装置、及存储介质
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
US20190266416A1 (en) Vehicle image system and method for positioning vehicle using vehicle image
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
KR20110082873A (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
CN112580391A (zh) 图像处理方法和装置、存储介质、电子设备
KR102671221B1 (ko) 화상 처리 장치, 카메라 시스템 및 화상 처리 방법
CN117395350A (zh) 图像显示方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant