CN115601449A - 标定方法、环视图像生成方法、装置、设备及存储介质 - Google Patents

标定方法、环视图像生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115601449A
CN115601449A CN202211351070.2A CN202211351070A CN115601449A CN 115601449 A CN115601449 A CN 115601449A CN 202211351070 A CN202211351070 A CN 202211351070A CN 115601449 A CN115601449 A CN 115601449A
Authority
CN
China
Prior art keywords
point
fisheye camera
calibration
image
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211351070.2A
Other languages
English (en)
Inventor
黄超
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiantu Intelligent Technology Co Ltd
Original Assignee
Shanghai Xiantu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiantu Intelligent Technology Co Ltd filed Critical Shanghai Xiantu Intelligent Technology Co Ltd
Priority to CN202211351070.2A priority Critical patent/CN115601449A/zh
Publication of CN115601449A publication Critical patent/CN115601449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本公开提供了一种标定方法、环视图像生成方法、装置、设备及存储介质。其中，所述标定方法包括获取车辆所在的地面上放置的标定物中第一特征点对应的点云数据；获取设置在车辆上的鱼眼相机采集的标定物图像，并从标定物图像中获取与第一特征点对应的第二特征点；将第一特征点利用鱼眼相机的外参转换到鱼眼相机的单位球面上，得到第一投影点，并将第二特征点利用鱼眼相机的内参投影到鱼眼相机的单位球面上，得到第二投影点，通过将第一特征点和第二特征点投影到鱼眼相机的单位球面上计算重投影误差，与将第一特征点投影到获取的标定物图像计算的重投影误差相比，可以减少鱼眼相机的畸变对重投影误差的影响，提高标定外参的准确性。

Description

标定方法、环视图像生成方法、装置、设备及存储介质
技术领域
本公开涉及智能驾驶技术领域，尤其涉及标定方法、环视图像生成方法、装置、设备及存储介质。
背景技术
车辆上的全景环视系统可以监控车辆周围的区域，在驾驶、泊车等场景中可以辅助用户查看车辆周边的盲区。全景环视系统的原理是将车辆上的多个鱼眼相机采集的图像经过鱼眼相机参数转换后，拼接成环视图像。
相关技术中鱼眼相机参数通常采用将手工测量的地面坐标投影到鱼眼相机采集的图像上的方式进行标定，准确度较低，导致拼接形成的环视图像的效果较差。
发明内容
为克服相关技术中存在的问题，本公开提供了一种标定方法、环视图像生成方法、装置、设备及存储介质。
根据本公开的第一方面，提供一种鱼眼相机的标定方法，所述鱼眼相机设置在车辆上，所述车辆所在的地面上放置有标定物，所述标定物位于所述鱼眼相机的采集视角内，所述方法包括：
获取所述标定物中的第一特征点对应的点云数据；
获取所述鱼眼相机采集的标定物图像，并从所述标定物图像中获取与所述第一特征点对应的第二特征点；
将所述第一特征点利用所述鱼眼相机的外参转换到所述鱼眼相机的单位球面上，得到第一投影点，并将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点；
根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参。
在任一实施方式中，所述根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参，包括：
通过改变鱼眼相机的外参，使第一投影点发生变化；
将所述第一投影点和所述第二投影点间的差异最小时对应的外参确定为所述鱼眼相机的外参。
在任一实施方式中，所述将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点，包括：
根据所述鱼眼相机的内参将所述第二特征点投影到相机坐标系，得到所述第二特征点在所述相机坐标系中的畸变坐标；
对所述第二特征点的投影入射角进行多次迭代，确定去畸变系数；
根据所述去畸变系数对所述畸变坐标进行去畸变处理，得到所述第二特征点投影到所述鱼眼相机的单位球面上的第二投影点。
在任一实施方式中，所述方法还包括：
获取所述鱼眼相机采集的标定物图像；
从所述标定物图像中获取第二特征点，并获取相机坐标系中与所述第二特征点对应的第一标定空间点；
利用所述鱼眼相机的内参和畸变量将所述第一标定空间点投影到所述标定物图像，得到第一标定投影点，其中，所述畸变量根据所述内参和投影入射角确定，所述投影入射角根据所述第一标定空间点与鱼眼相机光心的距离的反余弦确定；
根据所述第二特征点和所述第一标定投影点，确定所述鱼眼相机的内参。
根据本公开的第二方面，提供一种环视图像生成方法，所述方法包括：
获取车辆上的多个鱼眼相机分别从各自的采集视角采集的第一图像；
根据映射关系将所述鱼眼相机的第一图像转换为对应的俯视图像，所述映射关系根据上述任一实施方式所述的标定方法得到；
对各第一图像对应的俯视图像进行拼接，得到环视图像。
在任一实施方式中，所述方法还包括：
以车辆为原点建立车坐标系；
获取地面图像上的第一像素点；
将所述第一像素点转换至所述车坐标系中，得到所述第一像素点在所述车坐标系中的第一空间点；
根据鱼眼相机的外参将所述第一空间点转换到相机坐标系中，得到第二空间点；
根据所述相机的内参将所述第二空间点转换至鱼眼相机采集的鱼眼图像中，得到第二像素点；
通过双线性插值得到在鱼眼相机采集的图像中与所述第二像素点对应的第三像素点；
构建所述地面图像上的第一像素点与所述鱼眼图像上的第三像素点的映射关系。
根据本公开的第三方面，提供了一种鱼眼相机的标定装置，所述鱼眼相机设置在车辆上，所述车辆所在的地面上放置有标定物，所述标定物位于所述鱼眼相机的采集视角内，所述装置包括：
第一获取单元，用于获取所述标定物中的第一特征点对应的点云数据，以及所述鱼眼相机采集的标定物图像，并从所述标定物图像中获取与所述第一特征点对应的第二特征点；
转换单元，用于将所述第一特征点利用所述鱼眼相机的外参转换到所述鱼眼相机的单位球面上，得到第一投影点，并将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点；
标定单元，用于根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参。
根据本公开的第四方面，提供了一种环视图像生成装置，所述装置包括：
第二获取单元，用于获取车辆上的多个鱼眼相机分别从各自的采集视角采集的第一图像；
投影单元，用于根据映射关系将所述鱼眼相机的第一图像转化为对应的俯视图像，所述映射关系根据上述任一实施方式所述的标定方法得到；
拼接单元，用于对各第一图像对应的俯视图像进行拼接，得到环视图像。
根据本公开的第五方面，提供了一种电子设备，所述设备包括：处理器；用于存储处理器可执行指令的存储器，以执行本公开任一实施方式所述的鱼眼相机的标定方法，或环视图像生成方法。
根据本公开的第六方面，提供了一种计算机可读存储介质，其上储存有计算机程序指令，所述计算机程序指令被处理器执行时实现本公开任一实施方式所述的鱼眼相机的标定方法，或环视图像生成方法。
本公开提供的技术方案可以包括以下有益效果：获取车辆所在的地面上放置的标定物中第一特征点对应的点云数据；获取设置在车辆上的鱼眼相机采集的标定物图像，并从所述标定物图像中获取与所述第一特征点对应的第二特征点；将所述第一特征点利用所述鱼眼相机的外参转换到所述鱼眼相机的单位球面上，得到第一投影点，并将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点，根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参，即通过将第一特征点和第二特征点投影到鱼眼相机的单位球面上计算重投影误差，与将第一特征点投影到获取的标定物图像计算的重投影误差相比，可以减少鱼眼相机的畸变对重投影误差的影响，提高标定外参的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的技术方案。
图1是本公开根据一示例性实施例示出的一种鱼眼相机的标定方法的流程图。
图2是本公开根据一示例性实施例示出的环视图像的示意图。
图3为本公开根据一示例性实施例示出的鱼眼相机的标定装置的结构示意图。
图4为本公开根据一示例性实施例示出的环视图像生成装置的结构示意图。
图5为本公开根据一示例性实施例示出的图像处理的电子设备结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目前，可以获取车辆前后左右的鱼眼相机采集的图像，将鱼眼相机采集的图像根据鱼眼相机的外参转换到俯视角度，得到俯视图像，将各鱼眼相机对应的俯视图像拼接得到环视图像，所述环视图像可以用于辅助驾驶。
也就是说，环视图像的质量与鱼眼相机外参的准确性有关，但相关技术中通常采用将人工测量的地面坐标投影到鱼眼相机采集的图像上的方式标定鱼眼相机的外参，由于鱼眼相机的畸变较大，导致通过投影到鱼眼相机采集的图像上的标定的外参准确度较低，从而使拼接形成的环视图像的效果较差。
鉴于此，本公开提供了一种鱼眼相机的标定方法，在本公开中，可以在车辆的前后左右分别设置鱼眼相机，并在车辆周围的地面上放置标定物，各鱼眼相机的采集视角内可以采集到标定物，例如设置在车辆前侧的鱼眼相机可以采集到放置在车辆前侧地面上的标定物对应的图像。
由于每个鱼眼相机的标定过程相同，因此下述实施例将结合附图对其中一个鱼眼相机的标定方法进行说明。
图1是本公开根据一示例性实施例示出的一种鱼眼相机的标定方法的流程图，如图1所示，本公开提供的标定方法包括以下步骤101至步骤104。
在步骤101中，获取标定物中的第一特征点对应的点云数据。
在本实施例中，可以获取车辆上的雷达采集的标定物中的第一特征点对应的点云数据，所述雷达的采集视角与待标定的鱼眼相机的采集视角部分重叠，也就是雷达和待标定的鱼眼相机可以采集到同一标定物，所述雷达例如可以包括激光雷达。
在一些实施例中，由于雷达采集的点云数据比较稀疏，因此可以获取车辆前进过程中雷达采集到的多帧点云数据，生成稠密点云。也就是说，可以将后续多帧点云数据叠加到初始帧中的车坐标系中，得到稠密点云。
其中，所述车坐标系是以车辆为原点建立的，例如可以以车辆前进的方向为x轴的正方向，以车辆前进方向的左侧方向为y轴的正方向，以车顶方向为z轴的正方向。
从雷达采集的点云数据中提取第一特征点对应的点云数据，所述第一特征点可以包括标定物上的特征点和/或人工选取的特征点，所述标定物可以包括棋盘格标定板。
在标定物为棋盘格标定板的情况下，所述第一特征点可以为棋盘格上的角点。
在步骤102中，获取所述鱼眼相机采集的标定物图像，并从所述标定物图像中获取与所述第一特征点对应的第二特征点。
在标定物为棋盘格标定板的情况下，可以将棋盘格上的一个角点记为角点A，通过步骤101可以获取到角点A对应的点云数据，在该步骤中可以在标定物图像中确定角点A对应的像素点，将角点A对应的像素点作为与第一特征点对应的第二特征点。
在步骤103中，将所述第一特征点利用所述鱼眼相机的外参转换到所述鱼眼相机的单位球面上，得到第一投影点，并将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点。
在本实施例中，可以将第一特征点利用鱼眼相机的外参转换到相机坐标系，得到转换后的第一特征点，将转换后的第一特征点投影到鱼眼相机的单位球面上，得到第一投影点。
例如可以将第一特征点记为Q(x'，y'，z')，利用鱼眼相机的外参根据公式(1)转换到相机坐标系，得到转换后的第一特征点，记作Q'，将转换后的第一特征点Q'投影到鱼眼相机的单位球面上，得到第一投影点，记作Q"。
Q' ＝ R*Q+T 公式(1)
在公式(1)中R和T为鱼眼相机的外参，其中R为从车坐标系转换到相机坐标系的旋转矩阵，T为从车坐标系转换到相机坐标系的平移矩阵。
在本实施例中，将转换后的第一特征点Q'单位化，得到第一投影点Q"，第一投影点Q"的坐标根据转换后的第一特征点Q'的模长确定，所述转换后的第一特征点Q'的模长根据公式(2)确定。
Figure BDA0003918894850000071
在公式(2)中Dq为转换后的第一特征点Q'的模长。
在得到转换后的第一特征点Q'的模长的情况下，可以确定第一投影点Q"的坐标为
Figure BDA0003918894850000081
第一投影点Q"的模长为1。
在本实施例中，可以将第二特征点记为P'，将第二特征P'点利用鱼眼相机的内参投影到鱼眼相机的单位球面上，得到第二投影点，记作P"。
在步骤104中，根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参。
其中，第一投影点也称为重投影点，因此，可以将第一投影点和第二投影点之间的差异称为重投影误差。也就是说，可以通过计算所述第一投影点和所述第二投影点之间的重投影误差，得到鱼眼相机的外参。
本实施例通过获取车辆所在的地面上放置的标定物中第一特征点对应的点云数据；获取设置在车辆上的鱼眼相机采集的标定物图像，并从所述标定物图像中获取与所述第一特征点对应的第二特征点；将所述第一特征点利用所述鱼眼相机的外参转换到所述鱼眼相机的单位球面上，得到第一投影点，并将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点，通过将第一特征点和第二特征点投影到鱼眼相机的单位球面上计算重投影误差，与将第一特征点投影到获取的标定物图像计算的重投影误差相比，可以减少鱼眼相机的畸变对重投影误差的影响，提高标定外参的准确性。
在一些实施例中，根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参，可以包括：通过改变鱼眼相机的外参，使第一投影点发生变化；将所述第一投影点和所述第二投影点间的差异最小时对应的外参确定为所述鱼眼相机的外参。
在已知第一特征点Q(x'，y'，z')的情况下，可以根据鱼眼相机的外参R和T将第一特征点Q转换到相机坐标系，得到转换后的第一特征点Q'，将转换后的第一特征点Q'投影到鱼眼相机的单位球面上，得到第一投影点Q"
Figure BDA0003918894850000091
另外，还可以利用标定的鱼眼相机的内参确定第二投影点P"，该过程中R和T是需要求解的未知量。
对上述问题的求解可以基于PNP(Perspective-n-Point)算法来实现，PNP算法可以用来实现已知平面三维坐标确定鱼眼相机相对车坐标系的旋转矩阵R和平移矩阵T。
也就是说，可以通过获取使||Q"-P"||最小的R和T，习惯上用二范数即欧式范数来度量，即通过最小化||Q"-P"||的二范数，得到鱼眼相机的外参。
在一些实施例中，可以根据鱼眼相机的成像公式标定鱼眼相机的内参，标定过程可以包括以下步骤。
在步骤a中，获取所述鱼眼相机采集的标定物图像。
在步骤b中，从所述标定物图像中获取第二特征点，并获取相机坐标系中与所述第二特征点对应的第一标定空间点。
在标定物为棋盘格标定板的情况下，第二特征点可以包括棋盘格上的角点。
根据针孔相机模型的成像原理，可以获取到相机坐标系中与第二特征点对应的第一标定空间点。
在本实施例中，可以将第一标定空间点记为P(x，y，z)，将第二特征点记为P'(u，v)。
在步骤c中，利用所述鱼眼相机的内参和畸变量将所述第一标定空间点投影到所述标定物图像，得到第一标定投影点。
鱼眼相机的内参可以包括fx，fy，cx，cy，k1，k2，k3，k4，其中fx，fy分别为鱼眼相机在x，y方向的焦距，cx，cy分别为鱼眼相机在x，y方向的光心位置，k1，k2，k3，k4为畸变参数。鱼眼相机在成像过程中会发生畸变，根据畸变模型，畸变量可以根据畸变系数和投影入射角确定。其中，投影入射角是指第一标定空间点与鱼眼相机光心的连线与光轴(即相机坐标系中的z轴)的夹角。
根据公式(3)确定第一标定空间点P与鱼眼相机光心的距离Dp。
Figure BDA0003918894850000101
将第一标定空间点P单位化为P1，得到P1的坐标为
Figure BDA0003918894850000102
在本实施例中，投影入射角根据第一标定空间点与鱼眼相机光心的距离的反余弦确定。
具体的，投影入射角可以根据第一标定空间点P与鱼眼相机xoy平面的距离z以及第一标定空间点P与鱼眼相机光心的距离Dp的反余弦确定，也就是可以根据公式(4)确定。
Figure BDA0003918894850000103
在公式(4)中θ为投影入射角，即POZ的夹角。
根据第一标定空间点与鱼眼相机光心的距离的反余弦可以确定超过90°的投影入射角，相比于相关技术能够提高投影入射角的准确度。
根据公式(5)确定畸变量d。
d＝θ+k1θ3+k2θ5+k3θ7+k4θ9 公式(5)
因此，可以利用鱼眼相机的内参和畸变量，确定将第一标定空间点投影到标定物图像上的第一标定投影点的坐标。
第一标定投影点的横坐标为
Figure BDA0003918894850000104
第一标定投影点的纵坐标为
Figure BDA0003918894850000105
在步骤d中，根据所述第二特征点和所述第一标定投影点，确定所述鱼眼相机的内参。
由成像原理可知，第二特征点的坐标与第一标定投影点的坐标重合，即第二特征点P'(u，v)可以通过下式表示。
Figure BDA0003918894850000106
Figure BDA0003918894850000111
在已知第一标定空间点P的坐标，以及第二特征点P'的坐标的情况下，可以确定相机的内参。
在一些实施例中，将第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点，可以包括：根据所述鱼眼相机的内参将所述第二特征点投影到相机坐标系，得到所述第二特征点在所述相机坐标系中的畸变坐标；对所述第二特征点的投影入射角进行多次迭代，确定去畸变系数；根据所述去畸变系数对所述畸变坐标进行去畸变处理，得到所述第二特征点投影到所述鱼眼相机的单位球面上的第二投影点。
通常将点从相机坐标系投影到图像坐标系称为正投影，而将点从图像坐标系投影到相机坐标系称为反投影。也就是说，可以将第二特征点反投影到鱼眼相机的单位球面上。
在本实施例中，可以将第二特征点P'通过多次迭代反投影到鱼眼相机的单位球面，迭代过程如下：
根据公式(6)将第二特征点P'投影到相机坐标系，得到第二特征点在相机坐标系中的畸变坐标。
Figure BDA0003918894850000112
在公式(6)中，x0，y0为第二特征点在相机坐标系中的畸变坐标，u，v为第二特征点P'在图像坐标系中的坐标。
根据公式(7)确定畸变后的投影入射角θd，根据公式(8)确定投影入射角θ。
Figure BDA0003918894850000113
θ＝arctan(θd) 公式(8)
循环迭代十次：
d＝θ+k1θ3+k2θ5+k3θ7+k4θ9
d′＝1+3k1θ2+5k2θ4+7k3θ6+9k4θ8
θ＝θ-(d-θd)/d′
结束循环，得到去畸变系数。
根据去畸变系数对畸变坐标进行去畸变处理，得到第二投影点P”(xd，yd，zd)，其中
Figure BDA0003918894850000121
r＝tan(θ)，
Figure BDA0003918894850000122
D为第二投影点P”到原点的距离。
本实施例通过最小化第一投影点Q"和第二投影点P”间的重投影误差，得到鱼眼相机的外参。
本公开还提供了一种环视图像生成方法，可以包括：获取车辆上的多个鱼眼相机分别从各自的采集视角采集的第一图像；根据映射关系将所述鱼眼相机的第一图像转换为对应的俯视图像，所述映射关系根据上述实施例所述的标定方法得到；对各第一图像对应的俯视图像进行拼接，得到环视图像。
例如可以获取车辆上前后左右的鱼眼相机分别从各自的采集视角采集的第一图像，根据前侧鱼眼相机采集的鱼眼图像与前侧地面图像的映射关系，获取前侧鱼眼相机采集的第一图像对应的俯视图像，同理，获取后侧鱼眼相机采集的第一图像对应的俯视图像，左侧鱼眼相机采集的第一图像对应的俯视图像，右侧鱼眼相机采集的第一图像对应的俯视图像。将前后左右鱼眼相机的第一图像对应的俯视图像，根据权重拼接得到车载环视图像。也就是说，将前后左右鱼眼相机的第一图像对应的俯视图像拼接，对于图像重合区域根据适当的权重进行融合，对整体图像的亮度等进行平衡，最终得到车载环视图像。
在一些实施例中，由于车辆上的鱼眼相机采集的鱼眼图像和对应地面图像的关系是确定的，因此可以根据鱼眼相机的内参和外参，预先确定鱼眼相机采集的鱼眼图像中各像素点与对应地面图像中各像素点的映射关系。在生成环视图像的过程中，可以根据预先确定的映射关系，将鱼眼相机采集的第一图像转换为与所述第一图像对应的俯视图像。
在本实施例中，确定映射关系的过程可以包括以车辆为原点建立车坐标系；获取地面图像上的第一像素点；将所述第一像素点转换至所述车坐标系中，得到所述第一像素点在所述车坐标系中的第一空间点；根据鱼眼相机的外参将所述第一空间点转换到相机坐标系中，得到第二空间点；根据所述相机的内参将所述第二空间点转换至鱼眼相机采集的鱼眼图像中，得到第二像素点；通过双线性插值得到在鱼眼相机采集的图像中与所述第二像素点对应的第三像素点；构建所述地面图像上的第一像素点与所述鱼眼图像上的第三像素点的映射关系。
图2是本公开根据一示例性实施例示出的环视图像的示意图，图2为车辆206的环视图像200，如图2所示，环视图像200可以包括前侧地面图像201，后侧地面图像202，左侧地面图像203和右侧地面图像204。在车辆移动过程中，车辆上的鱼眼相机与地面的相对位置关系是确定的，也就是前侧鱼眼相机采集的鱼眼图像与前侧地面图像201的相对位置关系确定，因此可以预先确定前侧鱼眼相机采集的鱼眼图像上的各像素与前侧地面图像201中的各像素间的映射关系。
例如可以假设环视图像的尺寸为2000cm*2000cm，间隔1cm定义一个像素点，因此，可以获取前侧地面图像201中的像素点B的坐标(u'，v')，记为第一像素点，则环视图像的中心即为车坐标系的中心(u'c，v'c)，像素点B对应空间中的长度为a，地面在车坐标系中为高度-h的平面，因此，像素点B在车坐标系中对应的第一空间点，记为B'((u'-u'c)*a，(v'-v'c)*a，-h)。
根据鱼眼相机的外参将B'转换到相机坐标系中，得到第二空间点，根据鱼眼相机的内参将第二空间点投影到鱼眼相机采集的鱼眼图像中，得到第二像素点，通过双线性插值得到在鱼眼相机采集的图像中与第二像素点对应的第三像素点，即前侧地面图像上的像素点B与鱼眼相机采集的前侧鱼眼图像上像素点的映射关系。
例如第二像素点的坐标为(7.3，8.4)时，该第二像素点与前侧鱼眼图像上第三像素点的映射关系如下表所示。
70％ 30％
60％ (7，8) (8，8)
40％ (7，9) (8，9)
分别构建前后左右的鱼眼相机采集的鱼眼图像和对应的地面图像间的映射关系，根据构建的映射关系，在获取到鱼眼相机采集到的第一图像的情况下，可以根据映射关系，确定与第一图像对应的俯视图像。
图3为本公开根据一示例性实施例示出的鱼眼相机的标定装置的结构示意图，所述鱼眼相机设置在车辆上，所述车辆所在的地面上放置有标定物，所述标定物位于所述鱼眼相机的采集视角内，如图3所示该装置包括：
第一获取单元301，用于获取所述标定物中的第一特征点对应的点云数据，以及所述鱼眼相机采集的标定物图像，并从所述标定物图像中获取与所述第一特征点对应的第二特征点；
转换单元302，用于将所述第一特征点利用所述鱼眼相机的外参转换到所述鱼眼相机的单位球面上，得到第一投影点，并将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点；
标定单元303，用于根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参。
在一些实施例中，所述标定单元303，具体用于：
通过改变鱼眼相机的外参，使第一投影点发生变化；将所述第一投影点和所述第二投影点间的差异最小时对应的外参确定为所述鱼眼相机的外参。
在一些实施例中，所述转换单元302，具体用于：
根据所述鱼眼相机的内参将所述第二特征点投影到相机坐标系，得到所述第二特征点在所述相机坐标系中的畸变坐标；对所述第二特征点的投影入射角进行多次迭代，确定去畸变系数；根据所述去畸变系数对所述畸变坐标进行去畸变处理，得到所述第二特征点投影到所述鱼眼相机的单位球面上的第二投影点。
在一些实施例中，所述标定单元303还用于：获取所述鱼眼相机采集的标定物图像；从所述标定物图像中获取第二特征点，并获取相机坐标系中与所述第二特征点对应的第一标定空间点；利用所述鱼眼相机的内参和畸变量将所述第一标定空间点投影到所述标定物图像，得到第一标定投影点，其中，所述畸变量根据所述内参和投影入射角确定，所述投影入射角根据所述第一标定空间点与鱼眼相机光心的距离的反余弦确定；根据所述第二特征点和所述第一标定投影点，确定所述鱼眼相机的内参。
图4为本公开根据一示例性实施例示出的环视图像生成装置的结构示意图，如图4所示，所述环视图像生成装置包括：
第二获取单元401，用于获取车辆上的多个鱼眼相机分别从各自的采集视角采集的第一图像；
投影单元402，用于根据映射关系将所述鱼眼相机的第一图像转化为对应的俯视图像，所述映射关系根据上述实施例所述的标定方法得到；
拼接单元403，用于对各第一图像对应的俯视图像进行拼接，得到环视图像。
在一些实施例中，所述环视图像生成装置还包括：映射关系生成单元，用于：
以车辆为原点建立车坐标系，并获取地面图像上的第一像素点；
将所述第一像素点转换至所述车坐标系中，得到所述第一像素点在所述车坐标系中的第一空间点；
根据鱼眼相机的外参将所述第一空间点转换到相机坐标系中，得到第二空间点；
根据所述相机的内参将所述第二空间点转换至鱼眼相机采集的鱼眼图像中，得到第二像素点；
通过双线性插值得到在鱼眼相机采集的图像中与所述第二像素点对应的第三像素点；
构建所述地面图像上的第一像素点与所述鱼眼图像上的第三像素点的映射关系。
图5为本公开至少一个实施例提供的图像处理的电子设备结构示意图。如图5所示，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的鱼眼相机的标定方法，或所述的环视图像生成方法。
本公开至少一个实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施方式所述的鱼眼相机的标定方法，或所述的环视图像生成方法。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”包括三种方案：A、B、以及“A和B”。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种鱼眼相机的标定方法，其特征在于，所述鱼眼相机设置在车辆上，所述车辆所在的地面上放置有标定物，所述标定物位于所述鱼眼相机的采集视角内，所述方法包括：
获取所述标定物中的第一特征点对应的点云数据；
获取所述鱼眼相机采集的标定物图像，并从所述标定物图像中获取与所述第一特征点对应的第二特征点；
将所述第一特征点利用所述鱼眼相机的外参转换到所述鱼眼相机的单位球面上，得到第一投影点，并将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点；
根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参，包括：
通过改变鱼眼相机的外参，使第一投影点发生变化；
将所述第一投影点和所述第二投影点间的差异最小时对应的外参确定为所述鱼眼相机的外参。
3.根据权利要求1所述的方法，其特征在于，所述将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点，包括：
根据所述鱼眼相机的内参将所述第二特征点投影到相机坐标系，得到所述第二特征点在所述相机坐标系中的畸变坐标；
对所述第二特征点的投影入射角进行多次迭代，确定去畸变系数；
根据所述去畸变系数对所述畸变坐标进行去畸变处理，得到所述第二特征点投影到所述鱼眼相机的单位球面上的第二投影点。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述鱼眼相机采集的标定物图像；
从所述标定物图像中获取第二特征点，并获取相机坐标系中与所述第二特征点对应的第一标定空间点；
利用所述鱼眼相机的内参和畸变量将所述第一标定空间点投影到所述标定物图像，得到第一标定投影点，其中，所述畸变量根据所述内参和投影入射角确定，所述投影入射角根据所述第一标定空间点与鱼眼相机光心的距离的反余弦确定；
根据所述第二特征点和所述第一标定投影点，确定所述鱼眼相机的内参。
5.一种环视图像生成方法，其特征在于，所述方法包括：
获取车辆上的多个鱼眼相机分别从各自的采集视角采集的第一图像；
根据映射关系将所述鱼眼相机的第一图像转换为对应的俯视图像，所述映射关系根据权利要求1至4中任一项所述的标定方法得到；
对各第一图像对应的俯视图像进行拼接，得到环视图像。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
以车辆为原点建立车坐标系；
获取地面图像上的第一像素点；
将所述第一像素点转换至所述车坐标系中，得到所述第一像素点在所述车坐标系中的第一空间点；
根据鱼眼相机的外参将所述第一空间点转换到相机坐标系中，得到第二空间点；
根据所述相机的内参将所述第二空间点转换至鱼眼相机采集的鱼眼图像中，得到第二像素点；
通过双线性插值得到在鱼眼相机采集的图像中与所述第二像素点对应的第三像素点；
构建所述地面图像上的第一像素点与所述鱼眼图像上的第三像素点的映射关系。
7.一种鱼眼相机的标定装置，其特征在于，所述鱼眼相机设置在车辆上，所述车辆所在的地面上放置有标定物，所述标定物位于所述鱼眼相机的采集视角内，所述装置包括：
第一获取单元，用于获取所述标定物中的第一特征点对应的点云数据，以及所述鱼眼相机采集的标定物图像，并从所述标定物图像中获取与所述第一特征点对应的第二特征点；
转换单元，用于将所述第一特征点利用所述鱼眼相机的外参转换到所述鱼眼相机的单位球面上，得到第一投影点，并将所述第二特征点利用所述鱼眼相机的内参投影到所述鱼眼相机的单位球面上，得到第二投影点；
标定单元，用于根据所述第一投影点和所述第二投影点之间的差异，优化所述鱼眼相机的外参。
8.一种环视图像生成装置，其特征在于，所述装置包括：
第二获取单元，用于获取车辆上的多个鱼眼相机分别从各自的采集视角采集的第一图像；
投影单元，用于根据映射关系将所述鱼眼相机的第一图像转化为对应的俯视图像，所述映射关系根据权利要求1至4中任一项所述的标定方法得到；
拼接单元，用于对各第一图像对应的俯视图像进行拼接，得到环视图像。
9.一种电子设备，其特征在于，所述设备包括：
处理器；
用于存储处理器可执行指令的存储器，以执行权利要求1至4中任一项所述的鱼眼相机的标定方法，或执行权利要求5至6中任一项所述的环视图像生成方法。
10.一种计算机可读存储介质，其上储存有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任一项所述的鱼眼相机的标定方法，或执行权利要求5至6中任一项所述的环视图像生成方法。
CN202211351070.2A 2022-10-31 2022-10-31 标定方法、环视图像生成方法、装置、设备及存储介质 Pending CN115601449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211351070.2A CN115601449A (zh) 2022-10-31 2022-10-31 标定方法、环视图像生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211351070.2A CN115601449A (zh) 2022-10-31 2022-10-31 标定方法、环视图像生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115601449A true CN115601449A (zh) 2023-01-13

Family

ID=84851591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211351070.2A Pending CN115601449A (zh) 2022-10-31 2022-10-31 标定方法、环视图像生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115601449A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117406185A (zh) * 2023-12-14 2024-01-16 深圳市其域创新科技有限公司 雷达与相机间的外参标定方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117406185A (zh) * 2023-12-14 2024-01-16 深圳市其域创新科技有限公司 雷达与相机间的外参标定方法、装置、设备及存储介质
CN117406185B (zh) * 2023-12-14 2024-02-23 深圳市其域创新科技有限公司 雷达与相机间的外参标定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111223038B (zh) 一种车载环视图像的自动拼接方法及显示装置
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN110351494B (zh) 一种全景视频合成方法、装置及电子设备
US10666860B2 (en) Image processor, image processing method and program, and imaging system
Furukawa et al. Accurate camera calibration from multi-view stereo and bundle adjustment
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
CN104182982A (zh) 双目立体视觉摄像机标定参数的整体优化方法
US11216979B2 (en) Dual model for fisheye lens distortion and an algorithm for calibrating model parameters
JP2007192832A (ja) 魚眼カメラの校正方法。
CN106331527A (zh) 一种图像拼接方法及装置
CN102096923A (zh) 鱼眼标定方法和装置
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
US20200294269A1 (en) Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift
CN107705252A (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
CN115601449A (zh) 标定方法、环视图像生成方法、装置、设备及存储介质
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
Tezaur et al. A new non-central model for fisheye calibration
CN110610523B (zh) 汽车环视标定方法及装置、计算机可读存储介质
CN103489165A (zh) 一种面向视频拼接的小数查找表生成方法
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
WO2021004642A1 (en) A camera calibration method, a computer program, a computer-readable recording medium and a camera calibration system
JP2005275789A (ja) 三次元構造抽出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination