CN113140008A - 标定方法、图像校准方法以及标定系统 - Google Patents

Abstract

本发明公开了一种标定方法、图像校准方法以及标定系统，其中，标定方法包括：获取摄像器件采集标定载体的红外信号而生成的红外图像，其中，红外信号是从标定载体预设点位处发射的，标定载体上设有若干预设点位，若干预设点位处设有红外发射器，用于发射红外信号；基于红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，确定摄像器件的内部参数和/或外部参数。通过上述方式，能够提高标定的准确性。

Description

标定方法、图像校准方法以及标定系统

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种标定方法、图像校准方法以及标定系统。

背景技术

在机器视觉以及图像测量中，为了确定空间物体某处的三维位置，必须建立相机成像的几何模型，此过程称之为相机的标定。

目前，在标定过程中，需要获取设置有棋盘格等标定图案的标定载体的原始图像，在此基础上再进行角点检测，从而进行相机标定。故此，角点检测的准确性很大程度上影响了标定的准确性。然而，在光线条件不理想的情况下，特别是在夜晚等光线幽暗时，无法获取到精确的角点信息，从而降低了标定的准确性。有鉴于此，如何提高标定的准确性成为亟待解决的问题。

发明内容

本发明主要解决的问题是提供一种标定方法、图像校准方法以及标定系统，能够提高标定的准确性。

为解决上述技术问题，本发明采用的技术方案是提供一种标定方法，包括：获取摄像器件采集标定载体的红外信号而生成的红外图像，其中，红外信号是从标定载体预设点位处发射的，标定载体上设有若干预设点位，若干预设点位处设有红外发射器，用于发射红外信号；基于红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，确定摄像器件的内部参数和/或外部参数。

为解决上述技术问题，本发明采用的另一技术方案是提供一种图像校准方法，包括：利用摄像器件的内部参数对摄像器件拍摄得到的可见光图像进行矫正处理，得到处理图像；利用摄像器件的外部参数对处理图像进行投影变换，得到纹理图像；利用纹理图形进行渲染，得到与当前环境对应的模型，其中，摄像器件的内部参数和外部参数是通过上述标定方法得到的。

为解决上述技术问题，本发明采用的又一技术方案是提供一种标定系统，包括标定载体，以及相互耦接的处理器与摄像器件，其中，标定载体上设有若干预设点位，预设点位处设有红外发射器，用于发射红外信号，处理器用于执行程序指令，以实现上述标定方法中的步骤，或实现上述图像校准方法中的步骤。

通过上述方案，本发明的有益效果是：通过在标定载体上设置若干预设点位，且若干预设点位处设有红外发射器，用于发射红外信号，从而能够获取摄像器件采集从标定载体预设点位处发射的红外信号而生成的红外图像，并基于红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，来确定摄像器件的内部参数和/或外部参数，进而能够不受自然条件的干扰而获得精确的平面位置信息，能够提高标定的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本发明提供的标定方法一实施例的流程示意图；

图2是图1中标定载体一实施例的结构示意图；

图3是图1中标定载体另一实施例的结构示意图；

图4是图1中步骤S12一实施例的流程示意图；

图5是图4中步骤S122一实施例的流程示意图；

图6是图5中步骤S53一实施例的流程示意图；

图7是本发明提供的图像校准方法一实施例的流程示意图；

图8是本发明提供的标定系统一实施例的框架示意图；

图9是本发明提供的存储装置一实施例的框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，图1是本发明提供的标定方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取摄像器件采集标定载体的红外信号而生成的红外图像。

本实施例中，红外信号是从标定载体的的预设点位处发射的。具体地，标定载体上设有若干预设点位，若干预设点位处设有红外发射器，用于发射红外信号。在一个实施场景中，摄像器件内可以集成有红外接收器，用于接收红外信号，摄像器件通过采集得到的红外信号生成红外图像。

在一个具体的实施场景中，请结合参阅图2，图2是图1中标定载体一实施例的结构示意图。如图2所示，标定载体为一板状物体，其上设置有棋盘格图案，棋盘格图案的角点(图中以斜线填充的圆形位置处)为标定载体的预设点位，如图2所示，本实施例中，预设点位的数量可以是24个，在其他实施场景中，预设点位的数量也可以是其他值，例如：12、18、30等等，在此不做具体限制。此外，标定载体上也可以设置其他标定图案，例如：三角形、圆形等等，当标定图案为三角形时，预设点位可以为三角形的角点处，并将红外发射器设置于三角形的角点处，当标定图案为圆形时，预设点位可以是圆心处，并将红外发射器设置于圆心处。

在另一个具体的实施场景中，为了拓展应用范围，还可以将摄像器件设置为全景摄像头，并将标定载体设置为立体的标定载体。具体地，请结合参阅图3，图3是图1中标定载体的另一实施例的结构示意图。如图3所示，标定载体包括以预设角度连接的地面标定板和侧面标定板，且地面地标定板和侧面标定板上分别设有若干预设点位，且地面标定板和侧面标定板的若干预设点位处分别设有红外发射器，具体可以如图2所示的方式进行设置，也可以设置为三角形或圆形的标定图案，在此不做具体限制。其中，预设角度可以为90度至135度，例如，90度、105度、120度、135度等等。利用如图3所示的立体标定载体，可以对摄像器件分别在地面和非地面进行标定，从而便于应用于三维模型中，具体的标定方式和在三维模型中的应用方式，在此暂不赘述。

在又一个具体的实施场景中，为了进一步提高标定的准确性，还可以放置多个标定载体进行标定。特别是对于摄像器件安装于客车、货车、推土车、叉车等大车的情况，可以在摄像器件的视场范围内放置多个标定载体，从而能够同时获得多个标定载体上的预设点位的位置信息，进而提高后续标定的精度。

步骤S12：基于红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，确定摄像器件的内部参数和/或外部参数。

本实施例中，利用红外图像能够获取与若干预设点位对应的平面位置信息，在一个实施场景中，平面位置信息包括若干预设点位在红外图像中的二维位置坐标(即若干预设点位在红外图像中的像素坐标)。此外，根据标定载体在空间内的摆放位置，可以测量出若干预设点位在空间内的空间位置信息，在一个实施场景中，空间位置信息包括若干预设点位在空间内的三维位置坐标。

本实施例中，内部参数可以包括第一图像中心系数、第二图像中心系数、第一倍率系数和第二倍率系数，以及第一畸变系数和第二畸变系数。其中，第一图像中心系数、第二图像中心系数分别表示图像的像素中心在x方向、y方向的偏移，第一倍率系数、第二倍率系数分别表示摄像头晶元的物理尺寸与像素尺寸之间在x方向、y方向的倍数，第一畸变系数、第二畸变系数均表示径向畸变。

在一个实施场景中，可以基于若干预设点位的平面位置信息和空间位置信息，通过统计并计算平均值的方式确定摄像器件的内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数和第二倍率系数。此外，可以基于若干预设点位的平面位置信息和空间位置信息，通过基于统计与迭代的方式确定摄像器件的内部参数中的第一畸变系数和第二畸变系数。具体可以参考下述实施例中的步骤，在此暂不赘述。

本实施例中，外部参数可以包括从世界坐标系通过刚体变换(旋转和平移)到相机坐标系所采用的旋转矩阵和平移矩阵。具体地，可以通过张正友标定法求取。在一个实施场景中，为了简化计算量，还可以从若干预设点位中选取少量能够构成特殊形状(例如：矩形)的预设点位，并获取这些预设点位在空间内的空间位置信息以及在平面中的平面位置信息，进而基于平面位置信息和空间位置信息，计算两者之间的投影关系矩阵，作为摄像器件的外部参数。

在一个具体的实施场景中，为了拓展应用范围，还可以将摄像器件设置为全景摄像头，并将标定载体设置为立体的标定载体，在全景摄像头所包含的多个摄像头所拍摄的方向均放置如图3所示的标定载体，从而对于全景摄像头的每一个方向而言，都能够基于红外图像中与地面标定板的若干预设点位对应的平面位置信息和地面标定板的若干预设点位在空间内的空间位置信息确定摄像器件在地面的第一内部参数和第一外部参数，并基于红外图像中与侧面标定板的若干预设点位对应的平面位置信息和侧面标定板的若干预设点位在空间内的空间位置信息确定摄像器件在非地面的第二内部参数和第二外部参数。在此基础上，在进行三维渲染时，对于全景摄像头的每一个方向，以及该方向所对应的第一内部参数和第一外部参数，以及第二内部参数和第二外部参数而言，都可以利用摄像器件对当前环境进行拍摄得到可见光图像，利用第一内部参数对可见光图像进行矫正处理，得到第一处理图像，并利用第二内部参数对可见光图像进行矫正处理，得到第二处理图像，然后再利用第一外部参数对第一处理图像进行投影变换，得到对应于地面的第一纹理图像，并利用第二外部参数对第二处理图像进行投影变化，得到对应于非地面的第二纹理图像，最后利用第一纹理图像和第二纹理图像进行三维渲染，得到与当前环境对应的三维模型，从而利用对全景摄像头各个方向进行标定而得到的对应于各个方向的地面的第一内部参数和第一外部参数，以及对应于各个方向的非地面的第二内部参数和第二外部参数，对后续在各个方向上拍摄得到的可见光图像进行相应的处理，得到投影到地面和非地面的纹理图像，并进行三维渲染。

此外，上述矫正处理是对摄像器件拍摄到的可见光图像进行中心矫正以及畸变矫正。具体地，可以通过如下步骤实现：

首先，采用下式进行中心矫正：

X_rr＝X_r-c_x

Y_rr＝Y_r-c_y

上式中，(X_r,Y_r)表示可见光图像中其中一个像素点的二维位置坐标，(X_rr,Y_rr)表示可见光图像中其中一个像素点经中心矫正后的二维位置坐标，c_x表示第一图像中心系数，c_y表示第二图像中心系数。

然后，采用下式将二维位置坐标转换到摄像头坐标系：

上式中，f_x表示第一倍率系数，f_y表示第二倍率系数。

接着，采用下式计算摄像头坐标的投影半径：

而对于理想情况下，无畸变镜头使用小孔成像模型的入射角可以通过下式得到：

θ＝arctan(r)

实际情况下，有畸变镜头的入射角与无畸变镜头的入射角θ之间的关系可以表示为：

θ_D＝θ+kc₁*θ³+kc₂*θ⁵

上式中，kc₁表示第一畸变系数，kc₂表示第二畸变系数。

而对于畸变之后的小孔成像模型，摄像头坐标系的坐标(xxx,yyy)满足以下关系：

进而，通过坐标转换和中心矫正之后，可以得到矫正处理之后的图像上对应像素点的坐标(X_d,Y_d)：

X_d＝xxx*f_x+c_x

Y_d＝yyy*f_y+c_y

对可见光图像上所有像素点执行上述处理步骤，即可完成对可见光图像的矫正处理。

上述方案，通过在标定载体上设置若干预设点位，且若干预设点位处设有红外发射器，用于发射红外信号，从而能够获取摄像器件采集从标定载体预设点位处发射的红外信号而生成的红外图像，并基于红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，来确定摄像器件的内部参数和/或外部参数，进而能够不受自然条件的干扰而获得精确的平面位置信息，能够提高标定的准确性。

请参阅图4，图4是图1中步骤S12一实施例的流程示意图。本实施例中，红外图像的数量为第一预设数量幅，具体可以包括如下步骤：

步骤S121：分别基于第一预设数量幅红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，获取第一预设数量组候选参数。

本实施例中，第一预设数量可以为3至5，例如，3、4、5，第一预设数量也可以根据实际情况设置为其他数值，在此不做具体限制。基于第一预设数量幅红外图像可以获得第一预设数量组平面位置信息，从而能够基于统计学更加精确地计算得到摄像器件的内部参数。

以第一预设数量的数值是N，若干预设点位的数量是24为例，可以获取第一幅红外图像中若干预设点位对应的平面位置信息可以记为P₁{(xp₁,yp₁),(xp₂,yp₂),…,(xp₂₄,yp₂₄)}，第二幅红外图像中若干预设点位对应的平面位置信息可以记为P₂{(xp₁,yp₁),(xp₂,yp₂),…,(xp₂₄,yp₂₄)}，以此类推，第N幅红外图像中若干预设点位对应的平面位置信息可以记为P_N{(xp₁,yp₁),(xp₂,yp₂),…,(xp₂₄,yp₂₄)}。此外，若干预设点位在空间内的空间位置信息可以记为Q{(xq₁,yq₁,zq₁),(xq₂,yq₂,zq₂),…,(xq₂₄,yq₂₄,zq₂₄)}。从而可以分别基于{P₁,Q},{P₂,Q},…,{P_N,Q}，获得N组与摄像器件的内部参数对应的候选参数。

步骤S122：利用第一预设数量组候选参数，确定摄像器件的内部参数。

在一个实施场景中，每组候选参数可以包括第一图像中心系数、第二图像中心系数、第一倍率系数、第二倍率系数。在获得第一预设数量组候选参数之后，还可以分别统计N个第一图像中心系数、第二图像中心系数、第一倍率系数和第二倍率系数的平均值，作为摄像器件内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数和第二倍率系数。

在另一个实施场景中，每组候选参数包括第一畸变系数和第二畸变系数。从而基于统计与迭代的方式获得内部参数中的第一畸变系数和第二畸变系数。具体地，请结合参阅图5，图5是图4中步骤S122一实施例的流程示意图，摄像器件内部参数中的第一畸变系数和第二畸变系数具体可以通过如下步骤获得：

步骤S51：获取第一预设数量个第一畸变系数中的最小值和最大值之间的第一数值范围，并获取第一预设数量个第二畸变系数中的最小值和最大值之间的第二数值范围。

仍以第一预设数量的数值是N，若干预设点位的数量是24为例，N个第一畸变系数可以记为KA＝{ka₁,ka₂,…,ka_N}，N个第二畸变系数可以记为KB＝{kb₁,kb₂,…,kb_N}，其中，N个第一畸变系数中的最小值可以记为ka_min，N个第一畸变系数中的最大值可以记为ka_max，N个第二畸变系数中的最小值可以记为kb_min，N个第二畸变系数中的最大值可以记为kb_max。

步骤S52：获取第一畸变系数中的最小值和最大值的差值与第一预设数量之间的比值，作为第一遍历步长，并获取第二畸变系数中的最小值和最大值的差值与第一预设数量之间的比值，作为第二遍历步长。

仍以第一预设数量的数值是N，若干预设点位的数量是24为例，第一遍历步长可以表示为：

第二遍历步长可以表示为：

步骤S53：分别基于第一遍历步长、第二遍历步长从第一数值范围、第二数值范围中筛选符合预设条件的第一候选畸变系数、第二候选畸变系数，作为摄像器件的内部参数中的第一畸变系数、第二畸变系数。

本实施例中，预设条件可以为通过筛选得到的第一畸变系数、第二畸变系数，以及内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数和第二倍率系数对红外图像进行矫正处理以及投影变换后，图像上与标定载体对应的任意四个预设点位能够组成平行四边形，且该任意四个预设点位在标定载体中组成矩形，具体请结合参阅图6，图6是图5中步骤S53一实施例的流程示意图，具体筛选过程包括如下步骤：

步骤S531：基于第一遍历步长从第一数值范围中依序选取第一候选畸变系数，并基于第二遍历步长从第二数值范围中依序选取第二候选畸变系数。

本实施例中，基于第一遍历步长dka依序从ka_min～ka_max之间的第一数值范围中选取第一候选畸变系数，并基于第二遍历步长dkb依序从kb_min～kb_max之间的第二数值范围中选取第二候选畸变系数。在一个具体的实施场景中，可以为第一候选畸变系数设置一个第一计数值i，并为第二候选畸变系数设置一个第二计数值j，且第一计数值i和第二计数值j的初始值为0，从而第一候选畸变系数ka_i和第二候选畸变系数kb_j可以分别表示为：

ka_i＝ka_min+i*dka

kb_j＝kb_min+j*dkb

上式中，第一计数值i和第二计数值j每次选取时可以将其中一个加1，从而实现迭代。

步骤S532：利用内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数、第二倍率系数和第一候选畸变系数、第二候选畸变系数对红外图像进行矫正处理及投影变换，得到预处理图像。

本实施例中，利用内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数、第二倍率系数，以及第一候选畸变系数和第二候选畸变系数进行矫正处理的实施步骤，可以参阅上述实施例中的相关步骤，本实施例在此不再赘述。

投影变换也称透视变换(Perspective Transformation)或投影映射(ProjectiveMapping)，是将图片投影到一个新的视平面(Viewing Plane)。具体地，可以采用下式进行变换：

上式中，(u,v)是原始图像中的坐标，也就是本实施例中经过矫正处理之后的图像中像素点的坐标。此外，(x,y)是进行投影变换后得到的预处理图像中对应像素点的坐标，且坐标(x,y)可以如下式表示：

此外，变换矩阵

可以拆分为4部分，其中，

表示线性变换，比如缩放(scaling)、错切(shearing)、旋转(rotating)，[a₃₁ a₃₂]用于平移，[a₁₃ a₂₃]^T用于产生透视变换。

通过上述式子可以将预处理图像中的坐标(x,y)表示为：

步骤S533：判断在标定载体中组成矩形的任意四个预设点位在预处理图像中是否组成平行四边形。若是，则执行步骤S534，若否，则执行步骤S535。

在实际应用时，为了提高鲁棒性，还可以考虑一最大允许误差，如果在标定载体中组成矩形的任意四个预设点位在预处理图像中所组成的四边形与平行四边形之间的误差在最大允许误差范围之内，则可以执行步骤S534，否则，执行步骤S535。具体地，由于平行四边形的对边平行且相等，若所组成的四边形的对边的边长之差在第一误差值之内，且对边延长线之间的夹角在第二误差值之内，则可以认为组成的四边形与平行四边形之间在一最大允许误差之内。

步骤S534：将当前选取的第一候选畸变系数、第二候选畸变系数作为内部参数中的第一畸变系数、第二畸变系数。

当在标定载体中组成矩形的任意四个预设点位在预处理图像中组成平行四边形时，则可以确定当前选取的第一候选畸变系数、第二候选畸变系数为摄像器件内部参数中的第一畸变系数、第二畸变系数。

步骤S535：重新执行步骤S531以及后续步骤。

当在标定载体中组成矩形的任意四个预设点位在预处理图像中不能组成平行四边形时，则当前选取的第一候选畸变系数和第二候选畸变系数不能作为摄像器件内部参数中的第一畸变系数、第二畸变系数，则继续基于第一遍历步长从第一数值范围中依序选取第一候选畸变系数，并基于第二遍历步长从第二数值范围中依序选取第二候选畸变系数。

通过灵活设置参数的极值，遍历步长，以统计和迭代的方式计算上述第一畸变参数和第二畸变参数，仅需对一幅红外图像进行矫正处理和投影变换，即可有效地控制查询速度和精度。

进一步地，在得到摄像器件的内部参数之后，还可以根据实际应用场景，执行下述步骤，以得到摄像器件的外部参数。具体如下：

步骤S123：利用内部参数对红外图像进行矫正处理，得到与红外图像对应的矫正图像。

在得到摄像器件的内部参数之后，为了继续获取摄像器件的外部参数，还可以利用内部参数对红外图像进行矫正处理，得到与红外图像对应的矫正图像。矫正处理的具体实施步骤，可以参阅上述实施例中的相关步骤，本实施例在此不再赘述。

步骤S124：从若干预设点位中选取第二预设数量个预设点位，并获取第二预设数量个预设点位在空间内的空间位置信息和在矫正图像中的平面位置信息。

本实施例中，为了简化后续外部参数的获取过程，第二预设数量个预设点位可以为标定载体上矩形的四个顶点。请结合参阅图2，第二预设数量个预设点位可以是图2中的piont01、piont02、piont03、piont04。在其他实施场景中，也可以是其他能够组成矩形四个顶点的预设点位，本实施例在此不做具体限制。

步骤S125：计算第二预设数量个预设点位在空间内的空间位置信息和在矫正图像中的平面位置信息之间的投影关系矩阵，作为摄像器件的外部参数。

请继续结合参阅图2，仍以图2中的piont01、piont02、piont03、piont04共4个第二预设数量个预设点位为例，通过这4个预设点位在矫正图像中的平面位置信息P{P1,P2,P3,P4}，以及对应于空间内的空间位置信息M{M1,M2,M3,M4}，能够计算两者之间的投影关系矩阵，作为摄像器件的外部参数。具体地，可以参考下式：

上式中，(X,Y,Z)为预设点位在空间内的空间位置信息，(x,y)为预设点位对应于矫正图像中的平面位置信息，

即为两者之间的投影关系矩阵。

上式展开后，能够得到关于(X,Y,Z)和(x,y)的方程组：

从而基于第二预设数量个预设点位能够得到第二预设数量个方程组，进而求解处方程组中的未知量，即上述投影关系矩阵。

区别于前述实施例，利用经验点投影，即对第二预设数量个预设点位进行投影变换的方式即可求得摄像器件的外部参数，能够避免复杂的计算过程，从而可以简化外部参数的计算方式。

请参阅图7，图7是本发明提供的图像校准方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S71：利用摄像器件的内部参数对摄像器件拍摄得到的可见光图像进行矫正处理，得到处理图像。

本实施例中，摄像器件的内部参数是通过上述任一标定方法实施例中的步骤得到的。此外，矫正处理的具体步骤可以参阅前述实施例，在此不再赘述。

在一个实施场景中，摄像器件的内部参数具体可以包括摄像器件在地面的第一内部参数和在非地面的第二内部参数，故可以利用第一内部参数对可见光图像进行矫正处理，得到第一处理图像，并利用第二内部参数对可见光图像进行矫正处理，得到第二处理图像。在一个具体的实施场景中，摄像器件可以为全景摄像头，具体地，全景摄像头可以集成有多个相背设置摄像头，多个摄像头分别对应于一拍摄方向，从而使得多个摄像头的拍摄范围能够覆盖360度。多个摄像头可以分别拍摄得到一张可见光图像，且对应于每个拍摄方向，内部参数包括对应于地面的第一内部参数和对应于非地面的第二内部参数，故对于每个拍摄方向，可以利用该拍摄方向的第一内部参数对该拍摄方向的可见光图像进行矫正处理，得到该拍摄方向对应于地面的第一处理图像，并利用该拍摄方向的第二内部参数对该拍摄方向的可见光图像进行矫正处理，得到该拍摄方向对应于非地面的第二处理图像。例如，利用全景摄像头对街道进行图像采集，得到各个拍摄方向的可见光图像，从而对于各个拍摄方向的可见光图像，执行利用对应拍摄方向的第一内部参数对可见光图像进行矫正处理，得到对应拍摄方向对应于地面的第一处理图像，并利用第二内部参数对可见光图像进行矫正处理，得到对应拍摄方向对应于非地面的第二处理图像

步骤S72：利用摄像器件的外部参数对处理图像进行投影变换，得到纹理图像。

本实施例中，摄像器件的外部参数是通过上述任一标定方法实施例中的步骤得到的。此外，投影变换的具体步骤可以参阅前述实施例，在此不再赘述。

在一个实施场景中，摄像器件的外部参数具体可以包括摄像器件在地面的第一外部参数和在非地面的第二外部参数。故可以利用第一外部参数对第一处理图像进行投影变换，得到对应于地面的第一纹理图像，并利用第二外部参数对第二处理图像进行投影变换，得到对应于非地面的第二纹理图像。在一个具体的实施场景中，当摄像器件为上述全景摄像头时，且对应于每个拍摄方向，外部参数包括对应于地面的第一外部参数和对应于非地面的第二外部参数，故对于每个拍摄方向，可以利用该拍摄方向的第一外部参数对该拍摄方向的第一处理图像进行投影变换，得到该拍摄方向对应于地面的第一纹理图像，并可以利用该拍摄方向的第二外部参数对该拍摄方向的第二处理图像进行投影变换，得到该拍摄方向对应于非地面的第二纹理图形。仍以上述对街道进行图像采集为例，对于各个拍摄方向，可以利用对应拍摄方向的第一外部参数对当前拍摄方向上的第一处理图像进行投影变换，得到当前拍摄方向对应于地面的第一纹理图像，并利用对应拍摄方向的第二外部参数对当前拍摄方向上的第二处理图像进行投影变换，得到当前拍摄方向对应于非地面的第二纹理图像。

步骤S73：利用纹理图像进行渲染，得到与当前环境对应的模型。

在一个实施场景中，可以利用对应于地面的第一纹理图像和对应于非地面的第二纹理图形进行渲染，得到与当前环境对应的模型。在一个具体的实施场景中，当摄像器件为上述全景摄像头时，可以利用各个拍摄方向的对应于地面的第一纹理图像和对应于非地面的第二纹理图形进行渲染，得到与当前环境对应的模型，且该模型能够覆盖当前环境的360度方向。仍以上述对街道进行图像采集为例，可以利用各个拍摄方向上对应于地面的第一纹理图像和对应于非地面的第二纹理图像进行渲染，得到所在街道的模型，其他应用场景可以以此类推，在此不再一一举例。

上述方案，通过利用摄像器件的内部参数对摄像器件拍摄得到的可见光图像进行矫正处理，得到处理图像，并利用摄像器件的外部参数对处理图像进行投影变换，得到纹理图像，从而能够利用纹理图像得到与当前环境对应的模型。

请参阅图8，图8是本发明提供的标定系统80一实施例的框架示意图。标定系统80包括标定载体81，以及相互耦接的处理器82与摄像器件83。请结合参阅图2，标定载体81上设有若干预设点位，预设点位处设有红外发射器84，用于发射红外信号，处理器82用于执行程序指令，以实现上述任一标定方法实施例中的步骤，或实现上述任一图像校准方法实施例中的步骤。在一个实施场景中，处理器82可以是智能手机、平板电脑、微型计算机等电子设备中的处理器，从而可以通过电子设备的数据接口与摄像器件83连接，或者通过电子设备的网络接口以有线或无线的方式与摄像器件83连接，在此不做限定。此外，在一个具体的实施场景中，处理器82还可以集成于摄像器件83中。

具体地，处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由多个集成电路芯片共同实现。

本实施例中，处理器82用于获取摄像器件采集标定载体的红外信号而生成的红外图像，其中，红外信号是从标定载体预设点位处发射的，标定载体上设有若干预设点位，若干预设点位处设有红外发射器，用于发射红外信号，处理器82还用于基于红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，确定摄像器件的内部参数和/或外部参数。

上述方案，通过在标定载体上设置若干预设点位，且若干预设点位处设有红外发射器，用于发射红外信号，从而能够获取摄像器件采集从标定载体预设点位处发射的红外信号而生成的红外图像，并基于红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，来确定摄像器件的内部参数和/或外部参数，进而能够不受自然条件的干扰而获得精确的平面位置信息，能够提高标定的准确性。

在一些实施例中，红外图像的数量为第一预设数量幅，处理器82还用于分别基于每幅红外图像中与若干预设点位对应的平面位置信息，以及若干预设点位在空间内的空间位置信息，获取第一预设数量组候选参数，处理器82还用于利用第一预设数量组候选参数，确定摄像器件的内部参数。

处理器82还用于利用内部参数对红外图像进行矫正处理，得到与红外图像对应的矫正图像，处理器82还用于从若干预设点位中选取第二预设数量个预设点位，并获取第二预设数量个预设点位在空间内的空间位置信息和在矫正图像中的平面位置信息，处理器82还用于计算第二预设数量个预设点位在空间内的空间位置信息和在矫正图像中的平面位置信息之间的投影关系矩阵，作为摄像器件的外部参数。在一个实施场景中，第二预设数量个预设点位为标定载体上矩形的四个顶点。

区别于前述实施例，利用经验点投影，即对第二预设数量个预设点位进行投影变换的方式即可求得摄像器件的外部参数，能够避免复杂的计算过程，从而可以简化外部参数的计算方式。

在一些实施例中，每组候选参数还包括第一图像中心系数、第二图像中心系数、第一倍率系数、第二倍率系数，处理器82还用于分别统计第一预设数量个第一图像中心系数、第二图像中心系数、第一倍率系数和第二倍率系数的平均值，作为摄像器件的内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数和第二倍。

在一些实施例中，每组候选参数包括第一畸变系数和第二畸变系数，处理器82还用于获取第一预设数量个第一畸变系数中的最小值和最大值之间的第一数值范围，并获取第一预设数量个第二畸变系数中的最小值和最大值之间的第二数值范围，处理器82还用于获取第一畸变系数中的最小值和最大值的差值与第一预设数量之间的比值，作为第一遍历步长，并获取第二畸变系数中的最小值和最大值的差值与第一预设数量之间的比值，作为第二遍历步长，处理器82还用于分别基于第一遍历步长、第二遍历步长从第一数值范围、第二数值范围中筛选符合预设条件的第一候选畸变系数、第二候选畸变系数，作为摄像器件的内部参数中的第一畸变系数、第二畸变系数。

区别于前述实施例，通过灵活设置参数的极值，遍历步长，以统计和迭代的方式计算上述第一畸变参数和第二畸变参数，仅需对一幅红外图像进行矫正处理和投影变换，即可有效地控制查询速度和精度。

处理器82还用于基于第一遍历步长从第一数值范围中依序选取第一候选畸变系数，并基于第二遍历步长从第二数值范围中依序选取第二候选畸变系数，处理器82还用于利用内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数、第二倍率系数和第一候选畸变系数、第二候选畸变系数对红外图像进行矫正处理及投影变换，得到预处理图像，处理器82还用于在标定载体中组成矩形的任意四个预设点位在预处理图像中组成平行四边形时，将当前选取的第一候选畸变系数、第二候选畸变系数作为内部参数中的第一畸变系数、第二畸变系数。

在一些实施例中，标定载体包括以预设角度连接的地面标定板和侧面标定板，地面标定板和侧面标定板分别设有若干预设点位，且地面标定板和侧面标定板的若干预设点位处分别设有红外发射器，内部参数包括摄像器件在地面的第一内部参数和摄像器件在非地面的第二内部参数，且外部参数包括摄像器件在地面的第一外部参数和摄像器件在非地面的第二外部参数。

区别于前述实施例，标定载体包括以预设角度连接的地面标定板和侧面标定板，地面标定板和侧面标定板分别设有若干预设点位，且地面标定板和侧面标定板的若干预设点位处分别设有红外发射器，从而能够真实的获取到空间中各个预设点位的位置，对比以往的平面标定板来说，可以提高实际计算的精度。

在一些实施例中，处理器82还用于利用摄像器件的内部参数对摄像器件拍摄得到的可见光图像进行矫正处理，得到处理图像，处理器82还用于利用摄像器件的外部参数对处理图像进行投影变换，得到纹理图像，处理器82还用于利用纹理图像进行渲染，得到与当前环境对应的模型。

区别于前述实施例，通过利用摄像器件的内部参数对摄像器件拍摄得到的可见光图像进行矫正处理，得到处理图像，并利用摄像器件的外部参数对处理图像进行投影变换，得到纹理图像，从而能够利用纹理图像得到与当前环境对应的模型。

在一些实施例中，标定载体81包括以预设角度连接的地面标定板和侧面标定板(具体请结合参阅图3)，地面标定板和侧面标定板分别设有若干预设点位，且地面标定板和侧面标定板的若干预设点位处分别设有红外发射器84。在一个实施场景中，预设角度可以是90度至135度，例如，90度、105度、120度、135度等等。

在一些实施例中，摄像器件83内还可以集成有红外接收器85，用于接收红外信号。

请参阅图9，图9是本发明提供的存储装置90一实施例的框架示意图。存储装置90存储有能够被处理器运行的程序指令91，程序指令91用于实现上述任一标定方法实施例中的步骤，或实现上述任一图像校准方法实施例中的步骤。

上述方案，能够提高标定的准确性。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种标定方法，其特征在于，包括：

获取摄像器件采集标定载体的红外信号而生成的红外图像，其中，所述红外信号是从标定载体预设点位处发射的，所述标定载体上设有若干预设点位，所述若干预设点位处设有红外发射器，用于发射所述红外信号；

基于所述红外图像中与所述若干预设点位对应的平面位置信息，以及所述若干预设点位在空间内的空间位置信息，确定所述摄像器件的内部参数和/或外部参数。

2.根据权利要求1所述的标定方法，其特征在于，所述红外图像的数量为第一预设数量幅，所述基于所述红外图像中与所述若干预设点位对应的平面位置信息，以及所述若干预设点位在空间内的空间位置信息，确定所述摄像器件的内部参数包括：

分别基于每幅所述红外图像中与所述若干预设点位对应的平面位置信息，以及所述若干预设点位在空间内的空间位置信息，获取所述第一预设数量组候选参数；

利用所述第一预设数量组所述候选参数，确定所述摄像器件的内部参数。

3.根据权利要求2所述的标定方法，其特征在于，所述基于所述第一预设数量幅所述红外图像中与所述若干预设点位对应的平面位置信息，以及所述若干预设点位在空间内的空间位置信息，确定所述摄像器件的内部参数之后，所述方法还包括：

利用所述内部参数对所述红外图像进行矫正处理，得到与所述红外图像对应的矫正图像；

从所述若干预设点位中选取第二预设数量个预设点位，并获取所述第二预设数量个预设点位在空间内的空间位置信息和在所述矫正图像中的平面位置信息；

计算所述第二预设数量个预设点位在空间内的空间位置信息和在所述矫正图像中的平面位置信息之间的投影关系矩阵，作为所述摄像器件的外部参数。

4.根据权利要求3所述的标定方法，其特征在于，所述第二预设数量个预设点位为所述标定载体上矩形的四个顶点。

5.根据权利要求2所述的标定方法，其特征在于，每组所述候选参数包括第一图像中心系数、第二图像中心系数、第一倍率系数、第二倍率系数，所述利用所述第一预设数量组所述候选参数，确定所述摄像器件的内部参数包括：

分别统计所述第一预设数量个所述第一图像中心系数、所述第二图像中心系数、所述第一倍率系数和所述第二倍率系数的平均值，作为所述摄像器件的内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数和第二倍率系数。

6.根据权利要求2所述的标定方法，其特征在于，每组所述候选参数还包括第一畸变系数和第二畸变系数，所述方法还包括：

获取所述第一预设数量个所述第一畸变系数中的最小值和最大值之间的第一数值范围，并获取所述第一预设数量个所述第二畸变系数中的最小值和最大值之间的第二数值范围；

获取所述第一畸变系数中的最小值和最大值的差值与所述第一预设数量之间的比值，作为第一遍历步长，并获取所述第二畸变系数中的最小值和最大值的差值与所述第一预设数量之间的比值，作为第二遍历步长；

分别基于所述第一遍历步长、所述第二遍历步长从所述第一数值范围、所述第二数值范围中筛选符合预设条件的第一候选畸变系数、第二候选畸变系数，作为所述摄像器件的内部参数中的第一畸变系数、第二畸变系数。

7.根据权利要求6所述的标定方法，其特征在于，所述分别基于所述第一遍历步长、所述第二遍历步长从所述第一数值范围、所述第二数值范围中筛选符合预设条件的第一候选畸变系数、第二候选畸变系数，作为所述摄像器件的内部参数中的第一畸变系数、第二畸变系数包括：

基于所述第一遍历步长从所述第一数值范围的最小值开始依序选取第一候选畸变系数，并基于所述第二遍历步长从所述第二数值范围的最小值开始依序选取第二候选畸变系数；

利用所述内部参数中的第一图像中心系数、第二图像中心系数、第一倍率系数、第二倍率系数和所述第一候选畸变系数、所述第二候选畸变系数对所述红外图像进行矫正处理及投影变换，得到预处理图像；

若在所述标定载体中组成矩形的任意四个预设点位在所述预处理图像中组成平行四边形，则将当前选取的所述第一候选畸变系数、所述第二候选畸变系数作为所述内部参数中的第一畸变系数、第二畸变系数。

8.根据权利要求1所述的标定方法，其特征在于，所述标定载体包括以预设角度连接的地面标定板和侧面标定板，所述地面标定板和所述侧面标定板分别设有所述若干预设点位，且所述地面标定板和所述侧面标定板的所述若干预设点位处分别设有所述红外发射器；

所述内部参数包括所述摄像器件在地面的第一内部参数和所述摄像器件在非地面的第二内部参数，且所述外部参数包括所述摄像器件在地面的第一外部参数和所述摄像器件在非地面的第二外部参数。

9.一种图像校准方法，其特征在于，包括：

利用摄像器件的内部参数对所述摄像器件拍摄得到的可见光图像进行矫正处理，得到处理图像；

利用所述摄像器件的外部参数对所述处理图像进行投影变换，得到纹理图像；

利用所述纹理图像进行渲染，得到与当前环境对应的模型；

其中，所述摄像器件的所述内部参数和所述外部参数是通过权利要求1至8任一项所述的标定方法得到的。

10.一种标定系统，其特征在于，包括标定载体，以及相互耦接的处理器与摄像器件，其中，所述标定载体上设有若干预设点位，所述预设点位处设有红外发射器，用于发射红外信号，所述处理器用于执行程序指令，以实现权利要求1至8任一项所述的标定方法，或实现权利要求9所述的图像校准方法。

11.根据权利要求10所述的标定系统，其特征在于，所述标定载体包括以预设角度连接的地面标定板和侧面标定板，所述地面标定板和所述侧面标定板分别设有所述若干预设点位，且所述地面标定板和所述侧面标定板的所述若干预设点位处分别设有所述红外发射器；

和/或，所述摄像器件内还集成有红外接收器，用于接收所述红外信号。

Images