CN113516722A - 一种车辆摄像头标定方法、装置、计算机设备和存储介质 - Google Patents
一种车辆摄像头标定方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113516722A CN113516722A CN202111076203.5A CN202111076203A CN113516722A CN 113516722 A CN113516722 A CN 113516722A CN 202111076203 A CN202111076203 A CN 202111076203A CN 113516722 A CN113516722 A CN 113516722A
- Authority
- CN
- China
- Prior art keywords
- camera
- calibration
- parameters
- image
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000004744 fabric Substances 0.000 claims abstract description 109
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 41
- 238000005070 sampling Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开的一种车辆摄像头标定方法、装置、计算机设备和存储介质，车辆的周围铺设有标定布，车辆上设有摄像头，摄像头的拍摄视野包括标定布，该方法包括：基于摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；根据摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；拼接参数包括纹理与全景图的逐像元映射关系参数；根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。实施该方法能够提高全景图的拼接质量。
Description
技术领域
本发明涉及车辆辅助驾驶技术领域，更具体地说，涉及一种车辆摄像头标定方法、装置、计算机设备和存储介质。
背景技术
车辆环视系统通过车载摄像头采集周遭的影像，并于车载屏幕实时显示拼接的全景图，其算法核心是确定影像像素与显示屏像素键的映射函数。该映射函数主要是由三个部分组成，一个是对成像系统中畸变的描述函数、对成像系统中投影的描述函数、以及对全景图向屏幕投影方式的描述。其中，描述函数的准确度由摄像头内部参数的精度所确定，且，描述函数以及描述函数的误差将导致全景图中出现地面倾斜、车道线弯曲、拼接处有重影等问题。现有的技术方案为解决上述问题，采用同名点匹配技术在重叠视野内进行影像匹配，以完成配准。虽然该方法能够保证全景图的拼接完整度，但却需要兼容不理想的摄像头和不理想的标定环境，存在拼接准确度低的问题。
发明内容
本发明要解决的技术问题在于，针对拼接准确度低的技术问题，提供一种车辆摄像头标定方法、装置、计算机设备和存储介质。
本发明解决其技术问题所采用的技术方案是：构造一种车辆摄像头标定方法，所述车辆的周围铺设有标定布，所述车辆上设有摄像头，所述摄像头的拍摄视野包括所述标定布，所述方法包括：
基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；
根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；所述拼接参数包括纹理与全景图的逐像元映射关系参数；
根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。
本申请公开的一种适用于上述任一项方法实施例所述的方法的车辆摄像头标定装置，所述装置包括：
标定模块，用于基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和外部参数；
第一处理模块，用于根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；所述拼接参数包括纹理与全景图的逐像元映射关系参数；
第二处理模块，用于根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。
本申请公开的一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；
根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；所述拼接参数包括纹理与全景图的逐像元映射关系参数；
根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。
本申请公开的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；
根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；所述拼接参数包括纹理与全景图的逐像元映射关系参数；
根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。
实施本发明的一种车辆摄像头标定方法、装置、计算机设备和存储介质，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的一个实施例中的一种车辆摄像头标定方法的流程图；
图2是本发明的一个实施例中的标定布的摆放形式与测量位置示意图；
图3是本发明的一个实施例中的一种车辆摄像头标定方法的硬件组成结构图；
图4是本发明的一个实施例中的一种车辆摄像头标定方法的整体流程示意图；
图5是本发明的一个实施例中的一种车辆摄像头标定装置的系统结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
在一个实施例中，如图1所示，提供了的一种车辆摄像头标定方法，其中，车辆的周围铺设有标定布（标定布的具体摆放形式与测量位置，请参考图2），车辆上（例如，车头车牌附近、车尾车牌附近、左后视镜附近、以及右视镜附近）还设有摄像头，所述摄像头的拍摄视野包括所述标定布。以该方法应用于计算机设备（该计算机设备具体可以是安装在车辆中控附近的主机）为例进行说明，包括以下步骤：
步骤S1，基于摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数。
具体的，请参考图2，在标定时，需要将标定布铺设在车辆四周、且设置在摄像头的下方，以使得摄像头的拍摄视野能够涵盖到完整的标定布。在一个实施例中，标定布通常按车轴对称摆放。
具体的，摄像头对准到铺设在车辆周围的标定布，并对其进行拍摄，得到相应的图像。在一个实施例中，请参考图3，计算机设备连接到摄像头，计算机设备获取经由摄像头拍摄得到的图像，并基于该图像进行标定，以确定摄像头的目标内部参数和目标外部参数。
步骤S2，根据摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；拼接参数包括纹理与全景图的逐像元映射关系参数。
具体的，计算机设备根据摄像头的目标内部参数和目标外部参数，计算纹理与全景图的逐像元映射关系，以及摄像头重叠区域的范围、边界、两纹理叠加时的alpha通道值，上述计算得到的各项参数值，例如，纹理与全景图的逐像元映射关系、以及摄像头重叠区域的范围等均作为拼接参数，进一步基于该拼接参数进行全景图的合成。
在其中一个实施例中，计算机设备将计算得到的拼接参数写入预设的文件系统，或，基于所得的摄像头的目标内部参数和目标外部参数，直接从上述的文件系统中直接进行拼接参数的载入，并基于载入的拼接参数进行后续的全景图的合成。
步骤S3，根据摄像头拍摄的图像以及拼接参数，进行全景图的合成，得到相应的拼接图。
具体的，计算机设备基于拼接参数中包括的纹理与全景图的逐像元映射关系参数，根据上述的逐像元映射关系，进行全景图的绘制，并将绘制所得的拼接图传输至预设的显示屏幕，通过该显示屏幕进行拼接图的显示。或者，计算机设备也可以将获取到的标定布图像作为纹理，将标定布图像与拼接参数一起送入至图形处理器中，由该图形处理器进行贴图，以进行全景图的绘制。
在一个实施例中，请参考图3，上述的显示屏幕设于车辆内部，且连接到计算机设备，计算机设备还连接到摄像头。在一个实施例中，计算机设备通过数据线分别连接到摄像头、以及显示屏幕。当然，当前实施例中，计算机设备也可以采用其他的方式连接到摄像头、以及显示屏幕，例如，通过蓝牙、无线连接方式等，本申请实施例对此不作限定。
本申请公开的一种车辆摄像头标定方法，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。
在一个实施例中，步骤S1中，基于摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数，包括：
步骤S11，基于摄像头拍摄的图像，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点。
具体的，计算机设备基于摄像头拍摄的图像，采用手动标记或自动识别方式，识别标定布上的各个标定布角点，以获取各个标定布角点分别对应的影像坐标。
在其中一个实施例中，计算机设备在通过手动标记方式，识别标记布上的各个标定布角点时，将按照提前设定的角点数目和顺序，在预设的软件交互界面中，并在获取到的拍摄图像中逐一标记出标定布角点的位置。在一个实施例中，计算机设备在通过自动识别方式，识别标定布上的各个标定布角点时，将按照提前设定的标定布角点排列模式（例如，5*7的棋盘格），在获取到的拍摄图像中寻找出最相似的角点排列方案，例如，可以基于OpenCV软件中提供的函数“findChessboardCorners”，进行标定布角点的自动识别。需要说明的是，在经过人工手动标记或自动识别处理之后，最终将输出每张拍摄图像上各标定布角点分别对应的影像坐标。
步骤S12，以待优化的摄像头的主点为中心，以预设的采样间隔生成多个候选主点。
具体的，计算机设备将以当前所确定的摄像头的主点为中心，例如，以第i个摄像头为例，在当前迭代中，计算机设备将以当前的主点（c i,x ,c i,y ）为中心，以（d x ,d y ）为预设的采样间隔点，生成2n x +1行、2n y +1列的候选主点。示例性的，第p行第q列的候选主点（c i,x,p,q , c i,y,p,q ）的计算形式具体为：c i,x,p,q =c i,x +(q-n x )*d x， c i,y,p,q =c i,y +(p-n y )*d y 。其中，c i,x 为第i个摄像头相对于x轴的横坐标，c i,y 为第i个摄像头相对于y轴的纵坐标。d x 为采样间隔点相对于x轴的横坐标，d y 为采样间隔点相对于y轴的纵坐标。n x、 n y 均为预设的正整数，在一个实施例中，其可根据所需生成的候选主点的总数量，进行动态调整其取值。
步骤S13，针对每个候选主点，计算相应候选主点的多个标定布角点分别对应的相机坐标，以及，根据各标定标定布角点分别对应的世界坐标，进行基准坐标的计算。
具体的，针对每个候选主点（c i,x,p,q ,c i,y,p,q ），计算机设备将确定相应候选主点的多个标定布角点，并计算当前各个标定布角点分别对应的相机坐标x c,i,p,q ，以及，根据所确定的各标定布角点分别对应的世界坐标x w ，进行基准坐标x 0 c,i,p,q 的计算。其中，c i,x,p,q 为相应候选主点相对于x轴的横坐标，c i,y,p,q 为相应候选主点相对于y轴的纵坐标。
在一个实施例中，计算机设备基于去畸变函数f i ’-1进行相机坐标的计算。例如，计算机设备可以以OpenCV软件中提供的函数“undistortPoints”为函数f i ’-1，并基于该函数f i ’-1进行相机坐标的计算。需要说明的是，上述的计算方式是以主点、主距等摄像头的内部参数、以及标定布角点的影像坐标作为输入，以相机坐标作为输出。
在其中一个实施例中，计算机设备根据以下计算公式，计算各标定布角点分别对应的世界坐标x w ：
x 0 c,i,p,q =Hx w ；（1）
其中，H指的是单应性变换矩阵，需要说明的是，H被定义为方程x c,i,p,q =Hx w 的最小二乘解，其可由OpenCV软件中提供的函数“findHomography”计算得到。在已知参数x w 以及H的情况下，通过上述的公式（1）即可进一步求解得到各标定布角点所对应的基准坐标。
步骤S14，针对每个候选主点，计算相应候选主点的多个标定布角点的相机坐标，与相应基准坐标之间的偏离距离总和，并根据得到的各项偏离距离总和，将偏离距离总和最小的候选主点作为当前迭代的输出结果。
具体的，针对每个候选主点，计算机设备将各标定布角点的相机坐标与基准坐标之间的偏离距离的总和作为代价，并将从各个候选主点中选择到的代价最小的点，作为当前迭代的输出结果，即将代价最小的候选主点，作为优化后的主点。其中，“代价”是对标定布角点的相机坐标是否呈直线排列的度量，其中，排列线越趋近于直线，则相应的代价越小。
步骤S15，在进入下次迭代时，将上次迭代的输出结果作为待优化的摄像头的主点，并按照预设的缩放规则缩小采样间隔，返回到以摄像头的主点为中心，以预设的采样间隔生成多个候选主点步骤继续执行，直到达到迭代结束条件时，将最后一次迭代的输出结果作为摄像头的目标内部参数。
具体的，在进入下一次的迭代时，将返回到步骤S11，且，计算机设备将以上次迭代中，输出的优化后的主点更新当前迭代中的主点，并取上次迭代中的采样间隔的2/3作为当前迭代的采样间隔，即缩小采样间隔的范围（当然，上述采样间隔的分配比例，在不同的实施场景中，可以取到不同的数值，本申请实施例对此不作限定）。通过不断的重复执行步骤S11-步骤S15，直到达到迭代结束条件时，计算机设备将终止迭代，并将最后一次迭代中记录的输出结果，作为摄像头的目标内部参数（即优化后的结果）。
在其中一个实施例中，迭代结束条件包括采样间隔足够小（例如，小于1像素）、超出最大的迭代总次数（例如，迭代总次数超过10次）、连续多次迭代中的输出结果一致等中的至少一种条件，本申请实施例对此不作限定。需要说明的是，摄像头的目标内部参数包括主点、主距长度、畸变参数。在一个实施例中，计算机设备只标定了摄像头内部参数中的主点，其他的各项参数（例如主距长度等），均由先验值所确定。需要说明的是，先验值具体是从一批摄像头中抽样测量得到的结果所确定，当然，当前实施例中，也可以采用其他的方式确定除主点之外的其他各项参数，本申请实施例对此不作限定。
上述实施例中，通过优化摄像头的主点，使得标定布角点在相机坐标系中能够按直线排列，提高了全景图的拼接质量。
在一个实施例中，基于摄像头拍摄的图像，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点，包括：基于标定布图像，根据预设的角点识别方式，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；上述的角点识别方式包括根据预先设定的角点数量、以及角点排列顺序，确定标定布角点在相应拍摄图像中的位置的第一识别方式、以及根据预先设定的角点排列模式，所确定的标定布角点在相应拍摄图像中相匹配的标定布角点排列方案的第二识别方式中的至少一种。
在一个实施例中，步骤S13中，每次迭代中，各个标定布角点分别对应的相机坐标通过以下步骤所确定：
步骤S131，获取各标定布角点在图像中分别对应的影像坐标。
具体的，计算机设备在获取到摄像机拍摄的拍摄图像之后，在从拍摄图像中识别到相应的各个标定布角点时，并获取各个标定布角点在拍摄图像中分别对应的影像坐标。
步骤S132，根据影像坐标，优化下述第一函数f i 中的摄像头内部参数p i,in ，得到对应的第一优化函数f i ’ ，以及优化后的摄像头内部参数p ’ i,in ：
u i =f i (x c,i ;p i,in )；（2）
其中，下标i为摄像头编号，u i 为相应标记布角点在图像中的影像坐标，x c,i 为相机坐标系。
具体的，计算机设备将得到的影像坐标u i ，以及在已知相机坐标系的情况下，将上述两项参数带入上述的公式（2）中，经过等式变换，将得到相应的第一优化函数f i ’ ，以及优化后的摄像头内部参数p ’ i,in。
步骤S133，根据所述影像坐标u i以及所述优化后的摄像头内部参数p ’ i,in，确定所述第一优化函数f i ’ 所对应的第一反函数f i ’-1 ，并根据所述第一反函数f i ’-1 ，计算各个标定布角点分别对应的相机坐标。
具体的，根据公式（2）可知，第一优化函数f i ’所对应的第一反函数f i ’-1 为：
x c,i=f i ’-1 (u i ;p ’ i,in )；（3）
其中，基于前述各项步骤，在得到各个标定布角点分别对应的影像坐标u i ，以及优化后的摄像头内部参数p ’ i,in之后，将上述两项参数带入公式（3），即可得到各个标定布角点分别对应的相机坐标x c,i。
上述实施例中，相比于第一函数f i ，第一优化函数f i ’ 优化了摄像头的主点（内部参数的一部分），由于不准确的摄像头内部参数，会使相机坐标系中原本在一条直线上的标定布角点排列成一条曲线，而优化后的主点能尽可能地使标定布角点在相机坐标系中按直线排列。这样，优化后的摄像头内部参数即使仍不准确，也能使得第一优化函数f i ’ 的误差，尽可能地由图像中心向图像边缘逐渐增大，避免在图像某一侧函数f i 的误差明显地大于另一侧，以至于图像一侧的误差远远超过环视系统所能承受的区间范围。
在一个实施例中，步骤S1中，全景图通过预设的显示屏幕进行显示；基于摄像头拍摄的图像进行标定，以确定摄像头的目标外部参数，包括：
步骤A11，基于摄像头拍摄的图像，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点。
具体的，由于上述实施例中已经对如何识别到标记布上的各个标定布角点，进行了详细的说明，本申请实施例在此不作过多说明。
步骤A12，将各所述标定布角点分别对应的相机坐标x c,i ，以及世界坐标x w ，带入下述的第二函数g i 中，以确定摄像头的目标外部参数p i,out ：
x c,i =g i (x w ;p i,out )；（3）
其中，x w =h(x s )为各标定布角点分别对应的世界坐标，x s 为所述显示屏幕的屏幕坐标系，h为将所述全景图向所述显示屏幕进行投影的描述函数；第二函数g i 为对成像系统中投影的描述。
具体的，如图2所示，车辆的左右两块标定布之间的间距为l 1、车辆前后两块标定布之间的间距为l 2、前标定布与左/右标定布之间的间距为l 3。当前，以前、后两块标定布的中心作为原点，以车辆的前进方向为Y轴，车辆的右方为X轴，车辆的上方为Z轴，建立世界坐标系。那么标定布上每个标定布角点的世界坐标，都可根据测量的标定布位置l 1-l 3和每个图像的尺寸与间距，计算得到。
具体的，第二函数g i 是根据标定布角点的相机坐标x c,i 和世界坐标x w ，标定摄像头
外部参数的结果，其中相机坐标（x c,i ）由优化后的函数f i ’-1 (u i ;p ’ i,in )所确定。在一个实施
例中，标定过程可，采用例如OpenCV软件中提供的函数“calibrateCamera”。其中，所得的标
定结果对应于残差平方和（
）最小的外部参数（p i,out ）。
在一个实施例中，计算机设备在得到各标定布角点分别对应的相机坐标x c,i ，以及世界坐标x w 之后，将上述2个参数带入到上述的公式（3）进行等式变换，即可进一步计算得到摄像头的目标外部参数p i,out 。需要说明的是，摄像头的目标外部参数p i,out 包括摄像头对应的旋转参数和平移参数，其只与摄像头在世界坐标系内的安装位置和旋转角度有关。
在一个实施例中，步骤S2中，根据摄像头的目标内部参数和目标外部参数，进行拼接参数的计算，包括：
步骤S21，确定第二函数g i 所对应的第二反函数g i -1 ，其中，第二反函数g i -1 表示为：
g i -1 (x c,i ;p i,out )。
步骤S22，根据各标定布角点分别对应的世界坐标x w 、以及第二反函数g i -1 ，基于残差为零的第二原则，通过下述公式，确定用以消除残差的第三函数k i ：
g i -1 (x c,i ;p i,out )- x ’ w =0;
x ’ w =k i (x w )。
这里，确定第二反函数g i -1 ，实际上是确定目标外部参数p i,out ，即方程g i -1 (x c,i ; p i,out )- x ’ w =0的最小二乘解，x ’ w 为将得到的目标外部参数p i,out 带入所述第二反函数g i -1 得到的标定布角点的世界坐标；它与测量的世界坐标x w 是不吻合的，所以需要增加第三函数k i ，实现x w 向x ’ w 的转换。
具体的，请参考图4，当前新增的第三函数k i (x w )，被用于计算中间变量x ’ w ，并代替x w 以消除第二反函数g i -1 的误差，即g i -1 (x c,i ;p i,out )- x ’ w =0。
在一个实施例中，计算机设备可以采用薄板样条函数（Thin Plate Spline）作为函数k i 或者k i -1 ，需要说明的是，薄板样条函数是一种插值技术，需要两个坐标系中3对或以上的点对作为控制点，构建一个从一个坐标系向另一个坐标系映射的插值模型。其优点是插值误差可以在控制点上为零，在非控制点上的弯曲程度也最小。当前实施例中，若将世界坐标x w 和g i -1 (x c,i ;p i,out )作为控制点对，建立的薄板样条函数能使不同摄像头影像中的同一标定布角点g i -1 (f i ’-1 (u i ; p ’ i,in );p i,out )，在经函数k i -1 计算后，将得到严格一致的世界坐标x w 。
步骤S23，根据第三函数k i 、摄像头的目标内部参数和目标外部参数，进行拼接参数的计算。
上述实施例中，新增的函数k i 能显著去除第二函数g i 的误差。相比于现有技术，当前实施例中，仅使用已人工标记或已自动识别的标定布角点，以及消除解算第二函数g i 时得到的残差。这样的处理既避免了复杂耗时的同名点匹配过程，也不需要重叠视野中存在丰富的地面纹理，提高了计算机设备处理效率。另外，不同标记布图像中的同一个标定布角点，在经第一反函数f i ’-1 、第二反函数g i -1 和h -1 的计算后，将得到严格一致的世界坐标，显著提升了摄像头内部参数不理想或标定环境不理想时，全景图成功拼接的稳定性，提高了全景图的拼接效率。
在一个实施例中，如图5所示，提供了的一种车辆摄像头标定装置500，该装置500包括：
标定模块501，用于基于摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和外部参数。
第一处理模块502，用于根据摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；拼接参数包括纹理与全景图的逐像元映射关系参数。
第二处理模块503，用于根据摄像头拍摄的图像以及拼接参数，进行全景图的合成，得到相应的拼接图。
在其中一个实施例中，标定模块501，还用于基于摄像头拍摄的图像，对标定布上的各个标定布角点进行识别，得到对应的多个标定布角点；以摄像头的主点为中心，以预设的采样间隔生成多个候选主点；针对每个候选主点，计算相应候选主点的多个标定布角点分别对应的相机坐标，以及，根据标定布角点分别对应的世界坐标，进行基准坐标的计算；针对每个候选主点，计算相应候选主点的多个标定布角点的相机坐标，与相应基准坐标之间的偏离距离总和，并根据得到的各项偏离距离总和，将偏离距离总和最小的候选主点作为当前迭代的输出结果；在进入下次迭代时，将上次迭代的输出结果作为摄像头的主点，并按照预设的缩放规则缩小采样间隔，返回到以摄像头的主点为中心，以预设的采样间隔生成多个候选主点步骤继续执行，直到达到迭代结束条件时，将最后一次迭代的输出结果作为摄像头的目标内部参数。
在其中一个实施例中，标定模块501，还用于基于摄像头拍摄的图像，根据预设的角点识别方式，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；角点识别方式包括根据预先设定的角点数量、以及角点排列顺序，所确定标定布角点在图像中的位置的第一识别方式、以及根据预先设定的角点排列模式，所确定的标定布角点在图像中相匹配的标定布角点排列方案的第二识别方式中的至少一种。
在其中一个实施例中，标定模块501，还用于获取各标定布角点在图像中分别对应的影像坐标；根据所述影像坐标，优化下述第一函数f i中的摄像头内部参数p i,in ，得到对应的第一优化函数f i ’，以及优化后的摄像头内部参数p ’ i,in ：
u i =f i (x c,i ;p i,in )；
其中，下标i为摄像头编号，u i 为相应标记布角点在所述图像中的影像坐标，x c,i 为相机坐标系；根据所述影像坐标u i以及所述优化后的摄像头内部参数p ’ i,in ，确定所述第一优化函数f i ’所对应的第一反函数f i ’-1，并根据所述第一反函数f i ’-1，计算各个标定布角点分别对应的相机坐标。
在其中一个实施例中，拼接图通过预设的显示屏幕进行显示；标定模块501，还用于基于摄像头拍摄的图像进行标定，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；将各所述标定布角点分别对应的相机坐标x c,i ，以及世界坐标x w ，带入下述的第二函数g i 中，以确定摄像头的目标外部参数p i,out ：
x c,i =g i (x w ;p i,out )；
其中，x w =h(x s )为各标定布角点分别对应的世界坐标，x s 为所述显示屏幕的屏幕坐标系，h为将所述全景图向所述显示屏幕进行投影的描述函数；第二函数g i 为对成像系统中投影的描述。
在其中一个实施例中，第一处理模块502，还用于确定第二函数g i 所对应的第二反函数g i -1 ，其中，第二反函数g i -1 表示为：
g i -1(x c,i ;p i,out )；
根据各标定布角点分别对应的世界坐标x w 、以及第二反函数g i -1 ，基于残差为零的第二原则，通过下述公式，确定用以消除残差的第三函数k i ：
g i -1(x c,i ;p i,out )- x ’ w =0;
x
’
w
=k
i
(x
w
);
这里，确定第二反函数g i -1 ，实际上是确定目标外部参数p i,out ，即方程g i -1 (x c,i ; p i,out )- x ’ w =0的最小二乘解，x ’ w 为将得到的目标外部参数p i,out 带入所述第二反函数g i -1 得到的标定布角点的世界坐标；它与测量的世界坐标x w 是不吻合的，所以需要增加第三函数k i ，实现x w 向x ’ w 的转换。
根据所述第三函数k i 、所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算。
本申请公开的一种车辆摄像头标定装置，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
上述计算机设备，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
上述存储介质，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种车辆摄像头标定方法，所述车辆的周围铺设有标定布，所述车辆上设有摄像头，所述摄像头的拍摄视野包括所述标定布，其特征在于，所述方法包括：
基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；
根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；所述拼接参数包括纹理与全景图的逐像元映射关系参数；
根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。
2.根据权利要求1所述的方法，其特征在于，所述基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数，包括：
基于所述摄像头拍摄的图像，对标定布上的各个标定布角点进行识别，得到对应的多个标定布角点；
以摄像头的主点为中心，以预设的采样间隔生成多个候选主点；
针对每个候选主点，计算相应候选主点的多个标定布角点分别对应的相机坐标，以及，根据标定布角点分别对应的世界坐标，进行基准坐标的计算；
针对每个候选主点，计算相应候选主点的多个标定布角点的相机坐标，与相应基准坐标之间的偏离距离总和，并根据得到的各项偏离距离总和，将偏离距离总和最小的候选主点作为当前迭代的输出结果；
在进入下次迭代时，将上次迭代的输出结果作为所述摄像头的主点，并按照预设的缩放规则缩小所述采样间隔，返回到所述以摄像头的主点为中心，以预设的采样间隔生成多个候选主点步骤继续执行，直到达到迭代结束条件时，将最后一次迭代的输出结果作为摄像头的目标内部参数。
3.根据权利要求2所述的方法，其特征在于，所述基于所述摄像头拍摄的图像，对标定布上的各个标定布角点进行识别，得到对应的多个标定布角点，包括：
基于所述摄像头拍摄的图像，根据预设的角点识别方式，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；所述角点识别方式包括根据预先设定的角点数量、以及角点排列顺序，所确定标定布角点在所述图像中的位置的第一识别方式、以及根据预先设定的角点排列模式，所确定的标定布角点在所述图像中相匹配的标定布角点排列方案的第二识别方式中的至少一种。
4.根据权利要求2所述的方法，其特征在于，每次迭代中，各个标定布角点分别对应的相机坐标通过以下步骤所确定：
获取各所述标定布角点在所述图像中分别对应的影像坐标；
根据所述影像坐标，优化下述第一函数f i中的摄像头内部参数p i,in ，得到对应的第一优化函数 f i ’ ，以及优化后的摄像头内部参数p ’ i,in：
u i =f i (x c,i ;p i,in )；
其中，下标i为摄像头编号，u i 为相应标记布角点在所述图像中的影像坐标，x c,i 为相机坐标系；
根据所述影像坐标u i以及所述优化后的摄像头内部参数p ’ i,in，确定所述第一优化函数f i ’ 所对应的第一反函数f i ’-1 ，并根据所述第一反函数f i ’-1 ，计算各个标定布角点分别对应的相机坐标。
5.根据权利要求2所述的方法，其特征在于，所述拼接图通过预设的显示屏幕进行显示；所述基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标外部参数，包括：
基于所述摄像头拍摄的图像进行标定，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；
将各所述标定布角点分别对应的相机坐标x c,i ，以及世界坐标x w ，带入下述的第二函数g i中，以确定摄像头的目标外部参数p i,out：
x c,i =g i (x w ;p i,out )；
其中，x w =h(x s )为各标定布角点分别对应的世界坐标，x s 为所述显示屏幕的屏幕坐标系，h为将所述全景图向所述显示屏幕进行投影的描述函数；第二函数g i为对成像系统中投影的描述。
6.根据权利要求5述的方法，其特征在于，所述根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算，包括：
确定第二函数g i所对应的第二反函数g i -1 ，其中，第二反函数g i -1 表示为：
g i -1 (x c,i ;p i,out )；
根据各标定布角点分别对应的世界坐标x w 、以及第二反函数g i -1 ，基于残差为零的第二原则，通过下述公式，确定用以消除残差的第三函数k i ：
g
i
-1
(x
c,i
;p
i,out
)- x
’
w
=0;
x
’
w
=k
i
(x
w
);
式中，x ’ w 为将得到的目标外部参数p i,out 带入所述第二反函数g i -1 得到的标定布角点的世界坐标；
根据所述第三函数k i 、所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算。
7.一种适用于权利要求1-6中任一项所述的方法的车辆摄像头标定装置，其特征在于，所述装置包括：
标定模块，用于基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；
第一处理模块，用于根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；所述拼接参数包括纹理与全景图的逐像元映射关系参数；
第二处理模块，用于根据所述标定布图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。
8.根据权利要求7所述的装置，其特征在于，所述标定模块，还用于基于所述摄像头拍摄的图像，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；以摄像头的主点为中心，以预设的采样间隔生成多个候选主点；针对每个候选主点，计算相应候选主点的多个标定布角点分别对应的相机坐标，以及，根据标定布角点分别对应的世界坐标，进行基准坐标的计算；针对每个候选主点，计算相应候选主点的多个标定布角点的相机坐标，与相应基准坐标之间的偏离距离总和，并根据得到的各项偏离距离总和，将偏离距离总和最小的候选主点作为当前迭代的输出结果；在进入下次迭代时，将上次迭代的输出结果作为所述摄像头的主点，并按照预设的缩放规则缩小所述采样间隔，返回到所述以摄像头的主点为中心，以预设的采样间隔生成多个候选主点步骤继续执行，直到达到迭代结束条件时，将最后一次迭代的输出结果作为摄像头的目标内部参数。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111076203.5A CN113516722B (zh) | 2021-09-14 | 2021-09-14 | 一种车辆摄像头标定方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111076203.5A CN113516722B (zh) | 2021-09-14 | 2021-09-14 | 一种车辆摄像头标定方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113516722A true CN113516722A (zh) | 2021-10-19 |
| CN113516722B CN113516722B (zh) | 2021-12-07 |
Family
ID=78063089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111076203.5A Active CN113516722B (zh) | 2021-09-14 | 2021-09-14 | 一种车辆摄像头标定方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516722B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080117287A1 (en) * | 2006-11-16 | 2008-05-22 | Park Michael C | Distributed video sensor panoramic imaging system |
| CN109087251A (zh) * | 2018-08-30 | 2018-12-25 | 上海大学 | 一种车载全景图像显示方法及系统 |
| CN109509232A (zh) * | 2018-10-09 | 2019-03-22 | 江苏裕兰信息科技有限公司 | 用于全景影像系统的下线自动标定系统 |
| CN113034616A (zh) * | 2021-03-31 | 2021-06-25 | 黑芝麻智能科技(上海)有限公司 | 车辆环视系统的相机外参标定方法、系统及环视系统 |
-
2021
- 2021-09-14 CN CN202111076203.5A patent/CN113516722B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080117287A1 (en) * | 2006-11-16 | 2008-05-22 | Park Michael C | Distributed video sensor panoramic imaging system |
| CN109087251A (zh) * | 2018-08-30 | 2018-12-25 | 上海大学 | 一种车载全景图像显示方法及系统 |
| CN109509232A (zh) * | 2018-10-09 | 2019-03-22 | 江苏裕兰信息科技有限公司 | 用于全景影像系统的下线自动标定系统 |
| CN113034616A (zh) * | 2021-03-31 | 2021-06-25 | 黑芝麻智能科技(上海)有限公司 | 车辆环视系统的相机外参标定方法、系统及环视系统 |
Non-Patent Citations (2)
| Title |
|---|
| DETCGEV.I，ET AL: "《multi-camera panoramic imaging system calibration》", 《JOURNAL OF SENSORS》 * |
| 江龙: "《360°泊车辅助系统全景成像的研究》", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113516722B (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264520B (zh) | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 | |
| CN110517202B (zh) | 一种车身摄像头标定方法及其标定装置 | |
| US8452568B2 (en) | Method for calibrating cameras installed on vehicle | |
| EP3100234B1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
| US8368761B2 (en) | Image correction method for camera system | |
| JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
| JP5456330B2 (ja) | 画像表示装置及びそのカメラ取り付け角度算出方法 | |
| CN110264395B (zh) | 一种车载单目全景系统的镜头标定方法及相关装置 | |
| KR20090078463A (ko) | 왜곡 영상 보정 장치 및 방법 | |
| CN113362228A (zh) | 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 | |
| CN111540004A (zh) | 单相机极线校正方法及装置 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN113298886B (zh) | 一种投影仪的标定方法 | |
| CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN110400255B (zh) | 车辆全景影像的生成方法、系统和车辆 | |
| CN113409396A (zh) | 一种adas单目相机的标定方法 | |
| CN113706624A (zh) | 相机外参修正方法、装置及车载环视系统 | |
| CN114549666B (zh) | 一种基于agv的环视图像拼接标定方法 | |
| CN113658262A (zh) | 相机外参标定方法、装置、系统及存储介质 | |
| CN114494448A (zh) | 标定误差的评估方法、装置、计算机设备及存储介质 | |
| CN111696141B (zh) | 一种三维全景扫描采集方法、设备及存储设备 | |
| CN117495676A (zh) | 一种全景环视图像拼接方法、装置、电子设备和存储介质 | |
| CN113516722B (zh) | 一种车辆摄像头标定方法、装置、计算机设备和存储介质 | |
| CN117078769A (zh) | 一种电子后视镜cms摄像头外参数标定方法及系统 | |
| Rosebrock et al. | Generic camera calibration and modeling using spline surfaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |