CN113822941A - 相机倾斜校准方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种相机倾斜校准方法、装置、设备及存储介质。所述方法包括：基于鱼眼相机对目标参照物进行拍摄，得到目标图像；目标参照物的拍摄面为两种颜色均匀交替设置的平面，目标图像为几何畸变图像；根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度；基于所述安装倾斜角度，对所述鱼眼相机进行安装倾斜校准处理；在所述安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对所述目标参照物进行拍摄，得到校准图像；基于所述校准图像对所述校准后的鱼眼相机进行二次倾斜检测及校准处理。本申请可以节省鱼眼相机倾斜检测校准时间，提高检测校准效率和产线的生产效率。

Description

相机倾斜校准方法、装置、设备及存储介质

技术领域

本申请实施例涉及相机倾斜校准技术领域，特别涉及一种相机倾斜校准方法、装置、设备及存储介质。

背景技术

智能物联网行业的视觉技术迅速发展，依托于宽视场角的镜头、相机，环视监控、视觉设备可以达到高信息量、低硬件投入的目的。在2021年，IOT行业对相机的需求数量将以亿计。

产品质量问题极大制约相机供货周期。这里的质量问题包括：模组问题(畸变、色差、模糊、斑、阴影等)、传感器问题(噪声、色彩、坏点等)、还原、安装精度(视角差异、视轴偏差、倾斜偏差等)。

目前，模组问题和传感器问题可以通过调整相机镜头进行修正，而安装精度是无法修正的，由于安装造成的倾斜是指相机成像实际平面与产品组装基准平面有夹角，以至于视轴中心和目标成像的中心不一致。

传统的安装过程的倾斜度检测与校准方法是基于人工不断主观观察和微调，此种检测校准方法花费的时间较长，严重影响了检测校准的效率，且严重制约了产线的生产效率。

发明内容

本申请实施例提供了一种相机倾斜校准方法、装置、设备及存储介质，可用于节省相机倾斜检测校准时间，提高检测校准效率和产线的生产效率。技术方案如下：

一方面，本申请实施例提供一种相机倾斜校准方法，所述方法包括：

基于鱼眼相机对目标参照物进行拍摄，得到目标图像；所述目标参照物的拍摄面为两种颜色均匀交替设置的平面，所述目标图像为几何畸变图像；

根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度；

基于所述安装倾斜角度，对所述鱼眼相机进行安装倾斜校准处理；

在所述安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对所述目标参照物进行拍摄，得到校准图像；

基于所述校准图像对所述校准后的鱼眼相机进行二次倾斜检测及校准处理。

另一方面，本申请实施例提供一种相机倾斜校准装置，所述装置包括：

目标图像获取模块，用于基于鱼眼相机对目标参照物进行拍摄，得到目标图像；所述目标参照物的拍摄面为两种颜色均匀交替设置的平面，所述目标图像为几何畸变图像；

安装倾斜角度确定模块，用于根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度；

安装倾斜校准模块，用于基于所述安装倾斜角度，对所述鱼眼相机进行安装倾斜校准处理；

校准图像获取模块，用于在所述安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对所述目标参照物进行拍摄，得到校准图像；

二次倾斜校准模块，用于基于所述校准图像对所述校准后的鱼眼相机进行二次倾斜检测及校准处理。

再一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的相机倾斜校准方法。

又一方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的相机倾斜校准方法。

又一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述方面所述的相机倾斜校准方法。

本申请实施例提供的技术方案中，通过对采集的几何畸变图像进行旋转，并结合畸变图像和旋转图像以实现对鱼眼相机进行安装倾斜检测及校准，无需人工不断主观观察和微调的方式进行校准，能够极大地节省鱼眼相机安装倾斜的检测校准时间，提高了鱼眼相机的安装倾斜检测校准的效率同时，能够提高产线的生产效率。

附图说明

图1是本申请实施例提供的一种相机倾斜校准方法的步骤流程图；

图2是本申请实施例提供的一种相机坐标转换关系的示意图；

图3是本申请实施例提供的一种相机倾斜校准装置的结构示意图；

图4是本申请实施例提供的一种计算机设备的结构框图。

具体实施方式

下面将结合附图对本申请实施方式作进一步地详细描述。

参照图1，示出了本申请实施例提供的一种相机倾斜校准方法的步骤流程图，如图1所示，该相机倾斜校准方法可以包括如下步骤：

步骤101：基于鱼眼相机对目标参照物进行拍摄，得到目标图像；所述目标参照物的拍摄面为两种颜色均匀交替设置的平面，所述目标图像为几何畸变图像。

本申请实施例可以应用于对鱼眼相机安装倾斜的检测及倾斜校准的场景中。

在本实施例中，鱼眼相机与拍摄物体在三维世界的坐标关系可以如图2所示，安装倾斜度可以理解为鱼眼相机的镜头的x-c-y坐标平面，绕x轴或者y轴旋转，呈现的状态即为矩形梯形化。

目标参照物是指需要进行几何畸变图像拍摄的参照物，在本示例中，目标参照物可以为一个平面物体，目标参照物的拍摄面为两种颜色均匀交替设置的平面。

目标图像是指采用鱼眼相机对目标参照物进行拍摄得到的图像，在本示例中，目标图像为几何畸变图像。

在需要进行鱼眼相机的安装倾斜检测和校准时，可以基于鱼眼相机对目标参照物进行拍摄，以得到用于安装倾斜角度检测的图像，即目标图像。

在基于鱼眼相机对目标参照物进行拍摄得到目标图像之后，执行步骤102。

步骤102：根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度。

安装倾斜角度是指鱼眼相机成像实际平面与产品组装基准平面之间的夹角。

在获取到目标图像之后，可以获取目标图像上的初始关键点，并对目标图像进行旋转处理，进而获取旋转处理后的图像上的旋转关键点，然后结合初始关键点和旋转关键点，确定出鱼眼相机的安装倾斜角度。

在本实施例中，安装倾斜角度可以包括：水平方向上的安装倾斜角度和垂直方向上的安装倾斜角度，具体地，对于该过程可以结合下述两个具体实现方式进行详细描述。

在本申请的一种具体实现方式中，上述步骤102可以包括：

子步骤A1：获取所述目标图像上的初始关键点。

在本实施例中，初始关键点是指位于目标图像上的关键点。

在获取到目标图像之后，可以提取目标图像上的初始关键点，对于关键点的提取方式可以采用常用的关键点提取方式，本实施例对于具体地关键点提取方式不加以限制。

在获取到目标图像上的初始关键点之后，执行子步骤A2。

子步骤A2：基于预设俯仰角范围对所述目标图像进行迭代旋转处理，生成第一旋转图像。

在获取到目标图像之后，可以基于预设俯仰角(即Pitch角)范围对目标图像进行迭代转换处理，以生成第一旋转图像，在本示例中，可以预先设定pitch角度范围(定义为：[-ψ，ψ])，该pitch角度范围在10°以内，在检测水平方向上的安装倾斜角度时，可以-ψ作为初始角度，步长为Δψ(该步长建议在0.5°以内，步长越小精度越高)，设定迭代计数器

基于初始角度和步长对目标图像进行pitch角的旋转处理，以得到对应的旋转图像，即第一旋转图像。

在基于预设俯仰角范围对目标图像进行迭代旋转处理，生成第一旋转图像之后，执行子步骤A3。

子步骤A3：基于所述初始关键点，获取所述第一旋转图像上的第一旋转关键点。

在获取到第一旋转图像之后，可以基于初始关键点获取第一旋转图像上的第一旋转关键点，具体地，可以按照下述公式(1)基于初始关键点计算旋转后的图像上的关键点坐标，即第一旋转关键点：

在基于初始关键点获取到第一旋转图像上的第一旋转关键点之后，执行子步骤A4。

子步骤A4：根据所述第一旋转关键点对应的凸包，确定所述鱼眼相机在水平方向上的安装倾斜角度。

在获取到第一旋转图像上的第一旋转关键点之后，可以根据第一旋转关键点计算凸包，并根据凸包确定出鱼眼相机在水平方向上的安装倾斜角度。具体地，计算第一旋转关键点坐标的凸包，然后拟合凸包四条边的所在圆方程，同时基于图像中心(图像宽度一半、高度一半的坐标)，查找中心对称区域的凸包，同时计算该对称凸包的圆方程，保留本角度下的弧度差，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的另一种具体实现方式中，上述子步骤A4可以包括：

子步骤B1：计算所述第一旋转关键点对应的第一凸包。

在本实施例中，在获取到第一旋转关键点之后，可以计算第一旋转关键点对应的第一凸包，凸包是指(Convex Hull)是一个计算几何中的概念，该凸包可以用于表示给定二维平面上的点集，凸包就是将最外层的点连接起来构成的凸多边型，它能包含点集中所有的点。

在计算得到第一旋转关键点对应的第一凸包之后，执行子步骤B2。

子步骤B2：根据所述第一旋转图像的图像中心点，获取所述第一凸包中位于与所述图像中心点对称区域的目标凸包。

在获取到第一旋转图像的图像中心点之后，可以获取第一凸包中位于与图像中心点对称区域的目标凸包，进而，执行子步骤B3。

子步骤B3：根据所述目标凸包的圆方程，确定旋转俯仰角对应的弧度差。

在获取到目标凸包之后，可以拟合目标凸包的圆方程，并根据圆方程确定出旋转俯仰角对应的弧度差。

子步骤B4：根据所述弧度差，确定所述鱼眼相机在水平方向上的安装倾斜角度。

在迭代多次的过程中，可以得到多个弧度差，进而从多个弧度差中筛选出最小弧度差，并将最小弧度差的角度作为鱼眼相机在水平方向上的安装倾斜角度。

在本申请的另一种具体实现方式中，上述步骤102可以包括：

子步骤C1：基于预设航向角范围对所述目标图像进行迭代旋转处理，生成第二旋转图像。

在本实施例中，在获取到目标图像之后，可以基于预设航向角(即yaw角)范围对目标图像进行迭代转换处理，以生成第二旋转图像，在本示例中，可以预先设定yaw角度范围(定义为[-θ，θ])，该yaw角度范围在10°以内，在检测垂直方向上的安装倾斜角度是，可以-ψ作为初始角度，步长为Δψ(建议0.5度以内，步长越小，精度越高)，设定迭代计数器

基于初始角度和步长对目标图像进行yaw角的旋转处理，以得到对应的旋转图像，即第二旋转图像。

在基于预设航向角范围对目标图像进行迭代旋转处理生成第二旋转图像之后，执行子步骤C2。

子步骤C2：基于所述初始关键点，获取所述第二旋转图像上的第二旋转关键点。

在获取到第二旋转图像之后，可以基于初始关键点获取第二旋转图像上的第二旋转关键点，具体地，可以按照下述公式(2)基于初始关键点计算旋转后的图像上的关键点坐标，即第二旋转关键点：

在基于初始关键点获取到第二旋转图像上的第二旋转关键点之后，执行子步骤C3。

子步骤C3：根据所述第二旋转关键点对应的凸包，确定所述鱼眼相机在垂直方向上的安装倾斜角度。

在获取到第二旋转图像上的第二旋转关键点之后，可以根据第二旋转关键点计算凸包，并根据凸包确定出鱼眼相机在垂直方向上的安装倾斜角度。具体地，计算第二旋转关键点坐标的凸包，然后拟合凸包四条边的所在圆方程，同时基于图像中心(图像宽度一半、高度一半的坐标)，查找中心对称区域的凸包，同时计算该对称凸包的圆方程，保留本角度下的弧度差，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的另一种具体实现方式中，上述子步骤C3可以包括：

子步骤D1：计算所述第二旋转关键点对应的第二凸包。

在本实施例中，在获取到第二旋转关键点之后，可以计算第二旋转关键点对应的第二凸包。

在计算得到第二旋转关键点对应的第二凸包之后，执行子步骤D2。

子步骤D2：根据所述第二旋转图像的图像中心点，获取所述第二凸包中位于与所述图像中心点对称区域的目标凸包。

在获取到第二旋转图像的图像中心点之后，可以获取第二凸包中位于与图像中心点对称区域的目标凸包，进而，执行子步骤D3。

子步骤D3：根据所述目标凸包的圆方程，确定旋转航向角对应的弧度差。

在获取到目标凸包之后，可以拟合目标凸包的圆方程，并根据圆方程确定出旋转航向角对应的弧度差。

子步骤D4：根据所述弧度差，确定所述鱼眼相机在垂直方向上的安装倾斜角度。

在迭代多次的过程中，可以得到多个弧度差，进而从多个弧度差中筛选出最小弧度差，并将最小弧度差的角度作为鱼眼相机在垂直方向上的安装倾斜角度。

鱼眼相机在水平方向上的安装倾斜角度和在垂直方向上的安装倾斜角度，即可视为鱼眼相机的安装倾斜角度。

在根据目标图像上的初始关键点和目标图像对应的旋转图像的旋转关键点确定出鱼眼相机的安装倾斜角度之后，执行步骤103。

步骤103：基于所述安装倾斜角度，对所述鱼眼相机进行安装倾斜校准处理。

在获取到鱼眼相机的安装倾斜角度之后，可以根据安装倾斜角度对鱼眼相机进行安装倾斜校准处理，具体地，可以基于安装倾斜角度和联合校准矩阵确定出鱼眼相机对应的空间几何转换坐标，并根据空间几何转换坐标对鱼眼相机进行安装倾斜校准处理，联合校准矩阵可以如下述公式(3)所示：

利用公式(3)所示的矩阵按照鱼眼相机的几何变换关系，通过对拍摄图像做典型透视变换，即可弱化鱼眼相机带来的视轴偏移问题。

步骤104：在所述安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对所述目标参照物进行拍摄，得到校准图像。

在本示例中，在获取到鱼眼相机的安装倾斜角度之后，可以判断安装倾斜角度是否处于预设角度范围内。预设角度范围可以包括两个，1、pitch角可接受的范围，2、yaw角可接受的范围。

若安装倾斜角度在预设角度范围内，则不需要进行二次校准，通过上述步骤101～步骤103即可完成校准流程。

若安装倾斜角度处于预设角度范围之外，则可以基于校准后的鱼眼相机对目标参照物进行拍摄，以得到校准图像，通过校准图像进行二次倾斜检测及校准。

在基于校准后的鱼眼相机对目标参照物进行拍摄得到校准图像之后，执行步骤105。

步骤105：基于所述校准图像对所述校准后的鱼眼相机进行二次倾斜检测及校准处理。

在得到校准图像之后，可以基于校准图像对校准后的鱼眼相机进行二次倾斜检测及校准处理，具体地，可以根据校准图像上的校准关键点和校准图像对应的旋转图像上的校准旋转关键点，确定出校准后的鱼眼相机的校准安装倾斜角度，然后，基于校准安装倾斜角度对校准后的鱼眼相机进行安装倾斜校准处理，该校准检测及校准处理过程可以上述步骤102～步骤103的处理流程相似，本实施例对此过程不再加以赘述。

本申请实施例提供的相机倾斜校准方法，通过基于鱼眼相机对目标参照物进行拍摄，得到目标图像，目标参照物的拍摄面为两种颜色均匀交替设置的平面，目标图像为几何畸变图像，根据目标图像上的初始关键点和目标图像对应的旋转图像的旋转关键点，确定鱼眼相机的安装倾斜角度，基于安装倾斜角度，对鱼眼相机进行安装倾斜校准处理，在安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对目标参照物进行拍摄，得到校准图像，基于校准图像对校准后的鱼眼相机进行二次倾斜检测及校准处理。本申请实施例通过对采集的几何畸变图像进行旋转，并结合畸变图像和旋转图像以实现对鱼眼相机进行安装倾斜检测及校准，无需人工不断主观观察和微调的方式进行校准，能够极大地节省鱼眼相机安装倾斜的检测校准时间，提高了鱼眼相机的安装倾斜检测校准的效率同时，能够提高产线的生产效率。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

参照图3，示出了本申请实施例提供的一种相机倾斜校准装置的结构示意图，如图3所示，该相机倾斜校准装置300可以包括如下模块：

目标图像获取模块310，用于基于鱼眼相机对目标参照物进行拍摄，得到目标图像；所述目标参照物的拍摄面为两种颜色均匀交替设置的平面，所述目标图像为几何畸变图像；

安装倾斜角度确定模块320，用于根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度；

安装倾斜校准模块330，用于基于所述安装倾斜角度，对所述鱼眼相机进行安装倾斜校准处理；

校准图像获取模块340，用于在所述安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对所述目标参照物进行拍摄，得到校准图像；

二次倾斜校准模块350，用于基于所述校准图像对所述校准后的鱼眼相机进行二次倾斜检测及校准处理。

可选地，所述安装倾斜角度确定模块320包括：

初始关键点获取单元，用于获取所述目标图像上的初始关键点；

第一旋转图像生成单元，用于基于预设俯仰角范围对所述目标图像进行迭代旋转处理，生成第一旋转图像；

第一旋转关键点获取单元，用于基于所述初始关键点，获取所述第一旋转图像上的第一旋转关键点；

第一安装倾斜角度确定单元，用于根据所述第一旋转关键点对应的凸包，确定所述鱼眼相机在水平方向上的安装倾斜角度。

可选地，所述第一安装倾斜角度确定单元包括：

第一凸包计算子单元，用于计算所述第一旋转关键点对应的第一凸包；

第一目标凸包获取子单元，用于根据所述第一旋转图像的图像中心点，获取所述第一凸包中位于与所述图像中心点对称区域的目标凸包；

第一弧度差确定子单元，用于根据所述目标凸包的圆方程，确定旋转俯仰角对应的弧度差；

第一安装倾斜角度确定子单元，用于根据所述弧度差，确定所述鱼眼相机在水平方向上的安装倾斜角度。

可选地，所述安装倾斜角度确定模块320包括：

第二旋转图像生成单元，用于基于预设航向角范围对所述目标图像进行迭代旋转处理，生成第二旋转图像；

第二旋转关键点获取单元，用于基于所述初始关键点，获取所述第二旋转图像上的第二旋转关键点；

第二安装倾斜角度确定单元，用于根据所述第二旋转关键点对应的凸包，确定所述鱼眼相机在垂直方向上的安装倾斜角度。

可选地，所述第二安装倾斜角度确定单元包括：

第二凸包计算子单元，用于计算所述第二旋转关键点对应的第二凸包；

第二目标凸包获取子单元，用于根据所述第二旋转图像的图像中心点，获取所述第二凸包中位于与所述图像中心点对称区域的目标凸包；

第二弧度差确定子单元，用于根据所述目标凸包的圆方程，确定旋转航向角对应的弧度差；

第二安装倾斜角度确定子单元，用于根据所述弧度差，确定所述鱼眼相机在垂直方向上的安装倾斜角度。

可选地，所述安装倾斜校准模块330包括：

几何转换坐标确定单元，用于基于所述安装倾斜角度和联合校准矩阵，确定所述鱼眼相机对应的空间几何转换坐标；

安装倾斜校准处理单元，用于基于所述空间几何转换坐标，对所述鱼眼相机进行安装倾斜校准处理。

可选地，所述二次倾斜校准模块350包括：

校准安装倾斜角度确定单元，用于根据所述校准图像上的校准关键点和所述校准图像对应的旋转图像的校准旋转关键点，确定所述校准后的鱼眼相机的校准安装倾斜角度；

二次倾斜校准单元，用于基于所述校准安装倾斜角度，对所述校准后的鱼眼相机进行安装倾斜校准处理。

本申请实施例提供的相机倾斜校准装置，通过基于鱼眼相机对目标参照物进行拍摄，得到目标图像，目标参照物的拍摄面为两种颜色均匀交替设置的平面，目标图像为几何畸变图像，根据目标图像上的初始关键点和目标图像对应的旋转图像的旋转关键点，确定鱼眼相机的安装倾斜角度，基于安装倾斜角度，对鱼眼相机进行安装倾斜校准处理，在安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对目标参照物进行拍摄，得到校准图像，基于校准图像对校准后的鱼眼相机进行二次倾斜检测及校准处理。本申请实施例通过对采集的几何畸变图像进行旋转，并结合畸变图像和旋转图像以实现对鱼眼相机进行安装倾斜检测及校准，无需人工不断主观观察和微调的方式进行校准，能够极大地节省鱼眼相机安装倾斜的检测校准时间，提高了鱼眼相机的安装倾斜检测校准的效率同时，能够提高产线的生产效率。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图4，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可用于实施上述实施例中提供的相机倾斜校准方法。该计算机设备可以是PC或者服务器，或者其它具备数据处理和存储能力的设备。具体来讲：

所述计算机设备400包括中央处理单元(CPU)401、包括随机存取存储器(RAM)402和只读存储器(ROM)403的系统存储器404，以及连接系统存储器404和中央处理单元401的系统总线405。所述计算机设备400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)406，和用于存储操作系统413、应用程序414和其他程序模块415的大容量存储设备407。

所述基本输入/输出系统406包括有用于显示信息的显示器408和用于用户输入信息的诸如鼠标、键盘之类的输入设备409。其中所述显示器408和输入设备409都通过连接到系统总线405的输入输出控制器410连接到中央处理单元401。所述基本输入/输出系统406还可以包括输入输出控制器410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器410还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备407通过连接到系统总线405的大容量存储控制器(未示出)连接到中央处理单元401。所述大容量存储设备407及其相关联的计算机可读介质为计算机设备400提供非易失性存储。也就是说，所述大容量存储设备407可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器404和大容量存储设备407可以统称为存储器。

根据本申请的各种实施例，所述计算机设备400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备400可以通过连接在所述系统总线405上的网络接口单元411连接到网络412，或者说，也可以使用网络接口单元411来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述相机倾斜校准方法的指令。

在示例中实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行，以实现上述相机倾斜校准方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述相机倾斜校准方法。

可选地，上述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述相机倾斜校准方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种相机倾斜校准方法，其特征在于，所述方法包括以下步骤：

基于鱼眼相机对目标参照物进行拍摄，得到目标图像；所述目标参照物的拍摄面为两种颜色均匀交替设置的平面，所述目标图像为几何畸变图像；

根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度；

基于所述安装倾斜角度，对所述鱼眼相机进行安装倾斜校准处理；

在所述安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对所述目标参照物进行拍摄，得到校准图像；

基于所述校准图像对所述校准后的鱼眼相机进行二次倾斜检测及校准处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度，包括：

获取所述目标图像上的初始关键点；

基于预设俯仰角范围对所述目标图像进行迭代旋转处理，生成第一旋转图像；

基于所述初始关键点，获取所述第一旋转图像上的第一旋转关键点；

根据所述第一旋转关键点对应的凸包，确定所述鱼眼相机在水平方向上的安装倾斜角度。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一旋转关键点对应的凸包，确定所述鱼眼相机在水平方向上的安装倾斜角度，包括：

计算所述第一旋转关键点对应的第一凸包；

根据所述第一旋转图像的图像中心点，获取所述第一凸包中位于与所述图像中心点对称区域的目标凸包；

根据所述目标凸包的圆方程，确定旋转俯仰角对应的弧度差；

根据所述弧度差，确定所述鱼眼相机在水平方向上的安装倾斜角度。

4.根据权利要求2所述的方法，其特征在于，所述根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度，包括：

基于预设航向角范围对所述目标图像进行迭代旋转处理，生成第二旋转图像；

基于所述初始关键点，获取所述第二旋转图像上的第二旋转关键点；

根据所述第二旋转关键点对应的凸包，确定所述鱼眼相机在垂直方向上的安装倾斜角度。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二旋转关键点对应的凸包，确定所述鱼眼相机在垂直方向上的安装倾斜角度，包括：

计算所述第二旋转关键点对应的第二凸包；

根据所述第二旋转图像的图像中心点，获取所述第二凸包中位于与所述图像中心点对称区域的目标凸包；

根据所述目标凸包的圆方程，确定旋转航向角对应的弧度差；

根据所述弧度差，确定所述鱼眼相机在垂直方向上的安装倾斜角度。

6.根据权利要求1所述的方法，其特征在于，所述基于所述安装倾斜角度，对所述鱼眼相机进行安装倾斜校准处理，包括：

基于所述安装倾斜角度和联合校准矩阵，确定所述鱼眼相机对应的空间几何转换坐标；

基于所述空间几何转换坐标，对所述鱼眼相机进行安装倾斜校准处理。

7.根据权利要求1所述的方法，其特征在于，所述基于所述校准图像对所述校准后的鱼眼相机进行二次倾斜检测及校准处理，包括：

根据所述校准图像上的校准关键点和所述校准图像对应的旋转图像的校准旋转关键点，确定所述校准后的鱼眼相机的校准安装倾斜角度；

基于所述校准安装倾斜角度，对所述校准后的鱼眼相机进行安装倾斜校准处理。

8.一种相机倾斜校准装置，其特征在于，所述装置包括以下模块：

目标图像获取模块，用于基于鱼眼相机对目标参照物进行拍摄，得到目标图像；所述目标参照物的拍摄面为两种颜色均匀交替设置的平面，所述目标图像为几何畸变图像；

安装倾斜角度确定模块，用于根据所述目标图像上的初始关键点和所述目标图像对应的旋转图像的旋转关键点，确定所述鱼眼相机的安装倾斜角度；

安装倾斜校准模块，用于基于所述安装倾斜角度，对所述鱼眼相机进行安装倾斜校准处理；

校准图像获取模块，用于在所述安装倾斜角度处于预设角度范围之外的情况下，基于校准后的鱼眼相机对所述目标参照物进行拍摄，得到校准图像；

二次倾斜校准模块，用于基于所述校准图像对所述校准后的鱼眼相机进行二次倾斜检测及校准处理。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一项所述的相机倾斜校准方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一项所述的相机倾斜校准方法。

Images