CN115311372A

CN115311372A - 一种相机误差校正方法及相关装置

Info

Publication number: CN115311372A
Application number: CN202211244069.XA
Authority: CN
Inventors: 易芳
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-10-12
Filing date: 2022-10-12
Publication date: 2022-11-08
Anticipated expiration: 2042-10-12
Also published as: CN115311372B

Abstract

本申请实施例提供了一种相机误差校正方法及相关装置，该方法包括：获取N个第一测量距离，该第一测量距离指示前述相机与第一被拍摄对象之间的距离的测量值；前述N为大于1的整数；基于前述N个第一测量距离计算N个测量误差；前述N个第一测量距离与N个真实距离一一对应；第j个测量误差为第j个第一测量距离与前述第j个第一测量距离对应的第j个真实距离之间的误差，前述j从1取到N；基于前述N个测量误差和前述N个第一测量距离拟合得到误差曲线；获取前述误差曲线的傅里叶级数展开式；基于前述傅里叶级数展开式校正前述相机获取的深度信息。本申请可以对相机采集的深度信息进行校正，提升图像质量。

Description

一种相机误差校正方法及相关装置

技术领域

本申请涉及计算机领域，尤其涉及一种相机误差校正方法及相关装置。

背景技术

随着激光技术的发展，飞行时间(time of flight，TOF)相机的3D传感技术已广泛的应用在3D扫描重建、AI机器人、体感游戏等领域。

TOF相机的原理是通过发光二极管（light-emitting diode，LED）或激光二极管发射光脉冲，光学传感器接收被目标物体反射回的光脉冲，通过计算光脉冲往返飞行时间差或相位差得到目标物体的深度信息，将目标物体的二维图像和上述深度信息结合，得到目标物体的三维图像。

然而，由于受成像条件的限制和外界环境的干扰，TOF相机采集的深度信息存在一定的误差，影响图像的质量。

发明内容

本申请实施例公开了一种相机误差校正方法及相关装置，有助于校正相机拍摄图像的深度信息，改善图像质量。

第一方面，本申请提供一种相机误差校正方法，该方法包括：

获取N个第一测量距离，前述第一测量距离指示前述相机与第一被拍摄对象之间的距离的测量值；前述N为大于1的整数；

基于前述N个第一测量距离计算N个测量误差；前述N个第一测量距离与N个真实距离一一对应；第j个测量误差为第j个第一测量距离与前述第j个第一测量距离对应的第j个真实距离之间的误差，前述j从1取到N；

基于前述N个测量误差和前述N个第一测量距离拟合得到误差曲线；

获取前述误差曲线的傅里叶级数展开式；

基于前述傅里叶级数展开式校正前述相机获取的深度信息。

通过获取相机的N个第一测量距离，得到N个测量误差，再通过该N个第一测量距离和N个测量误差拟合得到一条误差曲线。将该误差曲线进行傅里叶级数展开，该傅里叶级数展开式的输入为相机的测量距离，输出为在该测量距离的测量误差。当相机获取一个测量距离的情况下，可以将该测量距离输入上述傅里叶级数展开式，输出一个该测量距离的测量误差。结合该测量误差就可以对上述测量距离进行校正，提升图像质量。

一种可能的实施方式中，在前述相机与前述第一被拍摄对象之间的真实距离为前述第j个真实距离的情况下，拍摄得到L帧图像，前述L为大于0的整数；

前述获取N个第一测量距离包括：

获取前述L帧图像的每一帧图像中第一像素坐标的像素点的深度信息，得到L个深度信息；前述第一像素坐标为前述每一帧图像中的任一个像素坐标；

基于前述L个深度信息计算得到前述第j个第一测量距离。

由于相机本身存在摆动误差，在拍摄过程中受折射、温度、颜色等环境的影响也会对拍摄精度产生一定的影响，因此，通过在同一真实距离，拍摄L帧图像，并获取该L帧图像在同一像素坐标的L个深度信息，通过计算该L个深度信息，确定一个测量距离。通过L个深度信息，确定一个测量距离，可以减少相机本身的摆动误差或拍摄环境的波动对该测量距离造成的影响，得到一个更加客观的测量距离，获取一个更加准确的误差曲线，可以更好的校正相机误差，提升图像质量。

一种可能的实施方式中，前述傅里叶级数展开式为四阶傅里叶级数展开式。

一种可能的实施方式中，前述方法还包括：获取前述相机连续拍摄得到的M帧图像，所述M帧图像为所述相机与第二被拍摄物体相对运动的情况下连续拍摄得到；所述M为大于1的整数。

计算第i-1帧图像到第i帧图像中每一个像素的位移，在所述i取遍2到M之间的整数后，获取多个位移；基于前述多个位移生成退化函数；基于前述退化函数实现前述M帧图像中第M帧图像的运动补偿。

相机在拍摄运动物体的情况下，拍摄的图像也会产生一定的误差，通过获取连续M帧图像，并计算没帧图像中任意一个像素相对于上一帧图像位移的距离，生成退化函数。并根据该退化函数对第M帧图像进行运动补偿，可以提升图像的质量。

一种可能的实施方式中，前述M帧图像中的每一帧图像为三维图像，前述退化函数为三维退化函数。

前述基于前述退化函数实现前述M帧图像中第M帧图像的运动补偿，包括：

基于前述傅里叶级数展开式校正前述M帧图像中每一帧图像的像素的深度信息，获得M帧校正后的图像；

基于前述退化函数和前述M帧校正后的图像实现M’帧图像的运动补偿，前述M’帧图像为前述M帧校正后的图像的第M帧图像。

一种可能的实施方式中，前述三维退化函数如下所示：

其中，(x,y,z)表示前述三维图像中像素的坐标；T表示前述M帧图像中任意连续的两帧图像的时间间隔；V_i (x,y,z)表示前述M帧图像的第i帧图像中，坐标为(x,y,z)的像素点所示物体在第i-1帧到第i帧的平均速度。

现有的方案中，均是针对二维图像的运动补偿。三维的退化函数可以对三维图像进行运动补偿，有助于提高运动物体3D建模的精度。

第二方面，本申请提供一种相机误差校正装置，该装置包括：

第一获取单元，用于获取前述相机测量得到的N个第一测量距离，前述第一测量距离指示前述相机与被第一拍摄对象之间的距离的测量值；前述N为大于1的整数；

第一计算单元，用于基于前述N个第一测量距离计算N个测量误差；前述N个第一测量距离与N个真实距离一一对应；第j个测量误差为第j个第一测量距离与前述第j个第一测量距离对应的第j个真实距离之间的误差，前述j为从1取到N的整数；

拟合单元，基于前述N个测量误差和前述N个第一测量距离拟合得到误差曲线；

第二获取单元，用于获取前述误差曲线的傅里叶级数展开式；

校正单元，用于基于前述傅里叶级数展开式校正前述相机获取的深度信息。

一种可能的实施方式中，在前述相机与前述被拍摄对象之间的真实距离为前述第j个真实距离的情况下，拍摄得到L帧图像，前述L为大于0的整数；前述第一获取单元具体用于：

基于前述L个深度信息计算得到前述第j个第一测量距离。

一种可能的实施方式中，前述第二获取单元具体用于：获取前述误差曲线的四阶傅里叶级数展开式。

一种可能的实施方式中，前述装置还包括：

第三获取单元，用于获取前述相机连续拍摄得到的M帧图像，前述M帧图像为前述相机与第二被拍摄物体相对运动的情况下连续拍摄得到；所述M为大于1的整数；

第二计算单元，用于计算第i-1帧图像到第i帧图像中每一个像素的位移，在前述i取遍2到M之间的整数后，获得多个位移；

生成单元，基于前述多个位移生成退化函数；

运动补偿单元，基于前述退化函数实现前述M帧图像中第M帧图像的运动补偿。

前述运动补偿单元具体用于：

基于前述退化函数和前述M帧校正后的图像实现第M’帧图像的运动补偿，前述第M’帧图像为对前述第M帧图像的像素的深度信息校正后的图像。

一种可能的实施方式中，前述三维退化函数如下所示：

其中，(x,y,z)表示所述三维图像中像素的坐标；T表示所述M帧图像中任意连续的两帧图像的时间间隔；V_i (x,y,z)表示所述M帧图像的第i帧图像中，坐标为(x,y,z)的像素点所示物体在第i-1帧到第i帧的平均速度。

第三方面，提供了一种相机误差校正装置，该装置包括处理器和存储器。处理器和存储器耦合，处理器执行存储器中存储的计算机程序时，可以实现上述第一方面任一项描述的显存泄露的处理方法。该装置还可以包括通信接口，通信接口用于该装置与其它装置进行通信，示例性的，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。

一种可能的实现中，该装置可以包括：

存储器，用于存储计算机程序；

处理器，用于获取N个第一测量距离，前述第一测量距离指示前述相机与第一被拍摄对象之间的距离的测量值；前述N为大于1的整数；基于前述N个第一测量距离计算N个测量误差；前述N个第一测量距离与N个真实距离一一对应；第j个测量误差为第j个第一测量距离与前述第j个第一测量距离对应的第j个真实距离之间的误差，前述j为从1取到N的整数；基于前述N个测量误差和前述N个第一测量距离拟合得到误差曲线；获取前述误差曲线的傅里叶级数展开式；基于前述傅里叶级数展开式校正前述相机获取的深度信息。

第四方面，本申请提供一种电子设备，该电子设备包括上述第二方面或第三方面所述的一种相机误差校正装置。

第五方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，前述计算机程序被处理器执行以实现前述第一方面或第一方面任一种可能的实施方式所述的方法。

第六方面，本申请提供一种计算机程序产品，该计算机程序产品被处理器执行时，上述第一方面或第一方面任一种可能的实现方式所述的方法将被执行。

上述第二方面至第六方面提供的方案，用于实现或配合实现上述第一方面对应提供的方法，因此可以与第一方面中对应的方法达到相同或相应的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的电子设备100的结构示意图；

图2是本申请实施例提供的相机误差校正方法流程示意图；

图3A至图3B是本申请实施例提供的相机获取测量距离示意图；

图4是本申请实施例提供的计算测量距离示意图；

图5是本申请实施例提供的相机误差校正方法流程示意图；

图6是本申请实施例提供的拍摄运动目标物的示意图；

图7是本申请实施例提供的获取相邻帧像素位移的示意图；

图8是本申请实施例提供的装置的逻辑结构示意图；

图9是本申请实施例提供的装置的硬件结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请实施例的限制。如在本申请实施例的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请实施例中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

下面介绍本申请实施例涉及的终端。

图1为本申请实施例公开的一种电子设备100的结构示意图。

下面以电子设备100为例对实施例进行具体说明。应该理解的是，电子设备100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备100可以包括：照明单元110，光学器件单元120，成像单元130，控制单元140，计算单元150等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图1所示的部件可以以硬件，软件或软件和硬件的组合实现。

照明单元110可以包括LED或激光二极管，用于生成高频率的光脉冲，该脉冲频率可以达到100MHz。

光学器件单元120用于汇聚反射光线，在成像单元130上成像。光学器件单元120还包括光学带通滤光片，仅使具有与照明单元相同波长的光通过，有助于抑制不相关的光线并减少噪声。

成像单元130可以包括两个或者多个快门，用于在不同时间采样反射光线，并根据采样到的反射光线进行成像。

控制单元140用于控制照明单元110发射光脉冲和成像单元130开/闭快门的精确同步，保证可以获取高分辨率的图像。

计算单元150用于计算被拍摄物体和相机之间的距离，为了获取良好的性能，通常还需要对计算到的数据进行校正。

为了对TOF相机拍摄的深度信息进行校正，本申请实施例提供了一种相机误差校正的方法，可示例性的参见图2，该方法包括但不限于如下步骤：

S201、获取N个第一测量距离，该第一测量距离指示该相机与第一被拍摄对象之间的距离的测量值。上述N为大于1的整数。

一种可实施的方式，可示例性的参见图3A，上述N个第一测量距离是指TOF相机与被拍摄物体，在N个不同拍摄距离的情况下获取的第一测量距离，其中N为大于1的整数。从图3A可以看出，拍摄方法为固定目标物，通过将TOF相机放置在不同的位置上对目标物进行拍摄，不同的拍摄位置具有不同的拍摄距离，任意两个拍摄位置的间距可以相等也可以不等，本申请不做限制。示例性的，位置1和位置2之间的距离等于位置2和位置3之间的距离，位置2和位置3之间的距离不等于位置3和位置4之间的距离。另一方面，拍摄位置的顺序本申请不做限制，可以从位置1依次到位置N进行拍摄，也可以从位置N依次到位置1进行拍摄，还可以随机选择不同的位置进行拍摄。

另一种可实施的方式，可示例性的参见图3B，上述N个第一测量距离是指TOF相机与被拍摄物体，在N个不同拍摄距离的情况下获取的第一测量距离，其中N为大于1的整数。从图3B可以看出，拍摄方法为固定TOF相机，通过将目标物放置在不同的位置上对目标物进行拍摄，目标物放置在不同的位置具有不同的拍摄距离，任意两个放置目标物位置的间距可以相等也可以不等，本申请不做限制。示例性的，位置1和位置2之间的距离等于位置2和位置3之间的距离，位置2和位置3之间的距离不等于位置3和位置4之间的距离。另一方面，放置目标物的位置顺序本申请不做限制，可以从位置1依次到位置N进行拍摄，也可以从位置N依次到位置1进行拍摄，还可以随机选择不同的位置进行拍摄。

上述N个不同拍摄距离中任一个拍摄距离是指TOF相机与被拍摄物体之间的真实距离，上述N个第一测量距离中任意一个第一测量距离可以由TOF相机拍摄一次被拍摄物体直接获得，也可以在TOF相机与被拍摄物体的拍摄距离不变的情况下，拍摄L次被拍摄物体，其中L为大于0的整数，并对拍摄获取的L个测量距离进行计算间接获得。

上述真实距离可以通过高精度的测距仪或测距方法获得，例如：激光测距仪、红外测距仪或频率扫描绝对测距法等。

前述通过计算间接获得N个第一测量距离中任意一个第一测量距离的方法，一种可实施的方式为，对获取的多个测量距离取平均值。另一种可实施的方式为取多个测量距离的众数。还有一种可实施的方式为对多个测量距离从大到小排序，去掉排序后序列中若干个最大值和/或若干个最小值后取平均值。

可以理解的是，TOF相机拍摄目标物体形成的图像的每一个像素在目标物体上都可以找到唯一确定的位置。也就是说，该图像每一个像素都有一个TOF相机的测量距离和通过高精度的测距仪或测距方法获得的真实距离。

本申请中提到的测量距离或真实距离，通常包含两种情况。

第一种情况，示例性的可以是TOF相机到目标物一个点的测量距离和真实距离，该目标物的一个点指的是TOF相机拍摄目标物成像后的一个像素点对应于目标物的一个确切的点。一种可实施的方式，TOF相机与目标物体的测量距离为，TOF相机拍摄目标物体获得的一个像素点的测量距离。TOF相机与目标物体的真实距离为，通过高精度的测距仪或测距方法获得TOF相机与目标物体的真实距离。

第二种情况，示例性的可以是TOF相机到目标物所有点的测量距离和真实距离的平均值。

一种可实施的方式，TOF相机与目标物体的测量距离为，TOF相机拍摄目标物体获得的每个像素点测量距离的平均值。TOF相机与目标物体的真实距离为，通过高精度的测距仪或测距方法获得TOF相机与目标物体所有位置的真实距离的平均值。一种可实施的方式，TOF相机你拍摄目标物所得的图像包含3个像素点，该3个像素点的测量距离分别为1m、2m和3m，则TOF相机到该目标物的测量距离的平均值为（1+2+3）/3 = 3m。真实距离的平均值的计算，如上所示，这里不再赘述。

为了便于理解上述真实距离和拍摄距离的计算，可示例性的参见图4。对TOF相机拍摄到的目标物图像建立一个二维坐标系，其中横轴为x轴，纵轴为y轴，图像中的任意一个像素用(x_i,y_j)表示，其中i的取值范围为1到m，j的取值范围为1到n，m和n均为大于0的整数。可以理解的是，任意一个像素都有与之对应的真实距离r_i,j和测量距离w_i,j。

关于获取测量距离w_i,j，一种可实施的方式为，TOF相机与目标物在固定的位置，该固定位置是指TOF相机与目标物的相对位置固定不变。TOF相机拍摄一帧图像直接获取像素坐标为（i,j）的测量距离w_i,j。但是，TOF相机在拍摄过程中自身存在系统误差，也会受周围环境的噪声影响产生非系统误差，为了更精确的获得TOF相机的测量距离，通常需要保持TOF相机与目标物在同一相对位置的前提下，拍摄多帧图像，获取多个像素坐标为（i,j）的测量距离w_i,j,f，其中f表示不同的帧数，其取值范围为大于0的整数。并对多个w_i,j,f进行计算，获取一个更为客观的测量距离w_i,j。计算方式请参考前述相应内容，这里不再赘述。

上述内容获取了目标物一个像素点的测量距离和真实距离。但是TOF相机拍摄目标物成像后，往往包含多个像素点，本申请实施例提供了一种方式，用于表示TOF相机与整个目标物的测量距离和真实距离，表示方式如公式(1)和(2)所示：

(1)

(2)

其中R表示TOF相机到目标物的真实距离，W表示TOF相机到目标的第一测量距离。根据TOF相机在N个拍摄位置依次可以获得N个第一测量距离分别为W₁,W₂,W₃,…,W_N，和N个真实距离分别为R₁,R₂,R₃,…,R_N。

上述真实距离的获取也是通过相关的测量装置和测量方法，也会存在一定的误差，因此，为了保证真实距离的可靠行，可以在同一条件下多次测量TOF相机与目标物之间的真实距离，并取平均值，如公式(3)所示：

(3)

其中，R表示TOF相机与目标物之间的真实距离；c表示第几次测量，z表示测量次数，j和i表示像素点的坐标，r_i,j,c表示第c次测量坐标为(i,j)像素点的真实距离。

S202、基于N个第一测量距离计算N个测量误差。该N个第一测量距离与N个真实距离一一对应。第j个误差为第j个第一测量距离与该第j个第一测量距离对应的第j个真实距离之间的误差，该j从1取到N。

一种可实施的方式，从步骤S201可以获取到N个第一测量距离分别为W₁,W₂,W₃,…,W_N，同理与N个第一测量距离对应的真实距离分别为R₁,R₂,R₃,…,R_N。获取一个测量误差的方式为用第一测量距离减去真实距离，如公式（4）所示：

g = W - R(4)

把N个第一测量距离和真实距离带入公式（4）可以获得N个测量误差，分别为g₁,g₂,g₃,…,g_N。

S203、基于N个测量误差和N个第一测量距离拟合得到误差曲线。

一种可实施的方式，将步骤S202，获得的N个测量误差和第一测量距离，一一对应的组合，获得N个坐标点，其中横轴表示第一测量距离，纵轴表示测量误差。并对获取的N个坐标点进行拟合得到一条误差曲线。

上述N个坐标点可以是(W₁, g₁)、(W₂, g₂)、(W₃, g₄)、…、(W_N, g_N)。拟合的方式包括：最小二乘法拟合、多项式拟合等。

S204、获取上述误差曲线的傅里叶（Fourier）级数展开式。

一种可实施的方式，任何的曲线都可以进行傅里叶级数展开，因此步骤S203获得的误差曲线，同样可以进行傅里叶级数展开。

前述误差曲线可以展开成任何阶数的傅里叶级数展开式，本申请不做限制，例如可以是，一阶傅里叶级数展开式、四阶傅里叶级数展开式、五阶傅里叶级数展开式等。

示例性的，上述误差曲线展开成四阶傅里叶级数展开式，如公式（5）所示：

(5)

其中，W表示TOF相机拍摄目标物取得的测量距离；E(W)表示测量距离为W情况下，TOF相机的测量误差。w为角频率；a₀,a₁,a₂,a₃,a₄为常数；b₁,b₂,b₃,b₄为常数。

由于步骤S203获得的误差曲线是一条已知的曲线，因此上述的w,a₀,a₁,a₂,a₃,a_4,b₁,b₂,b₃,b₄均可以求得。

S205、基于上述傅里叶级数展开式校正上述相机获取的深度信息。

一种可实施的方式，在步骤S204获取误差曲线的傅里叶级数展开式之后，示例性的，可以将获取到的测量距离W输入公式（5）中，求得该测量距离的测量误差E(W)。然后通过公式（6）对相机获取的深度信息进行校正，得到校正后的深度信息W’。

W’ = W – E(W)(6)

TOF相机在采集目标物深度信息的时候，由于TOF相机自身的系统误差和外界因素导致的非系统误差，会使TOF相机采集到的深度信息存在误差，影响建立目标物3D模型的精确度。上述方法对TOF相机采集到的深度信息进行纠正，可以提升建立目标物3D模型的精确度。

除了深度信息会存在误差，当目标物在运动的过程中，TOF相机采集到的图像信息也会存在误差，影响图像的成像质量。

为了改善TOF相机在采集运动的目标物的成像质量，本申请实施例提供了一种相机误差校正的方法，可示例性的参见图5，该方法包括但不限于如下步骤：

S501、对运动的目标物进行连续M帧的拍摄。

该M为大于1的整数，拍摄得到的图像可示例性的参见图6，其中第1帧对目标物的初始状态，目标物进行了旋转运动得到第M帧的图像，具体为顺时针旋转了90度，取中间的第i帧和第i+1帧，为图像旋转的中间过程。

S502、获取任意相邻两帧所有像素点的位移。

一种可实施的方式，示例性的可参见图7，第i帧和第i+1帧图像的对比图，图7中的第一像素点有一定的位移。示例性的，可以通过测量图形旋转的角度和旋转半径获得该位移。同样的方式，可以获取任意相邻两帧所有像素点的位移。

S503、根据上述多个位移生成退化函数。

一种可实施的方式，根据步骤S502可以获得任意相邻两帧所有像素点的位移，两帧的时间间隔为拍摄帧率的倒数，示例性的，帧率为10帧每秒，则两帧的时间间隔为0.1秒。根据像素点的位移和时间间隔T可以求得每一个像素点在任意帧所在时刻的速度V(x,y,z),其中(x,y,z)用于表示像素点的三维坐标。退化函数H(x,y,z)如公式(7)所示：

(7)

其中，V_k(x,y,z)表示第k-1帧到第k帧，像素点坐标为(x,y,z)所示物体的平均移动速度。

S504、根据上述退化函数对第M帧图像进行运动补偿。

一种可实施的方式，对目标物进行运动补偿，如公式（8）所示：

(8)

其中，F(x,y,z)表示对像素点坐标为(x,y,z)运动补偿后的图像，G(x,y,z)表示TOF相机拍摄的第M帧图像中像素点坐标为(x,y,z)的图像。

一种可实施的方式，在步骤S501之后，步骤S502之前还包括：

对获得的连续M帧图像中的每一帧的所有像素进行深度校正，深度校正的方法请参考前述相应内容，这里不再进行赘述。

对连续M帧图像中的每一帧图像进行深度校正，可以获取更加精确的退化函数，进而对TOF相机拍摄的图像进行更加准确的运行补偿，减少运动产生的干扰，提升图像质量，建立目标物更加准确的3D模型。

上述主要对本申请实施例提供的搜包方法进行了介绍。可以理解的是，各个设备为了实现上述对应的功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本文中所公开的实施例描述的个示例的单元及步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图8示出了装置的一种可能的逻辑结构示意图，该装置可以是上述的相机误差校正装置。该装置800包括第一获取单元801、第一计算单元802、拟合单元803、第二获取单元804以及校正单元805。其中：

第一获取单元801：用于获取前述相机测量得到的N个第一测量距离，前述第一测量距离指示前述相机与被第一拍摄对象之间的距离的测量值。前述N为大于1的整数。

第一计算单元802，基于前述N个第一测量距离计算N个测量误差；前述N个第一测量距离与N个真实距离一一对应；第j个测量误差为第j个第一测量距离与前述第j个第一测量距离对应的第j个真实距离之间的误差，前述j为从1取到N的整数；

拟合单元803：用于基于前述N个测量误差和前述N个第一测量距离拟合得到误差曲线；

第二获取单元804，用于获取前述误差曲线的傅里叶级数展开式；

校正单元805，用于基于前述傅里叶级数展开式校正前述相机获取的深度信息。

基于前述L个深度信息计算得到前述第j个第一测量距离。

一种可能的实施方式中，前述装置还包括：

生成单元，基于前述多个位移生成退化函数；

前述运动补偿单元具体用于：

一种可能的实施方式中，前述三维退化函数如下所示：

图9所示为本申请提供的相机误差校正装置的一种可能的硬件结构示意图，该装置可以是上述实施例所述装置中的搜包装置。该装置900包括：处理器901、存储器902和通信接口903。处理器901、通信接口903以及存储器902可以相互连接或者通过总线904相互连接。

示例性的，存储器902用于存储装置900的计算机程序和数据，存储器902可以包括但不限于是随机存储记忆体（random access memory，RAM）、只读存储器（read-onlymemory，ROM）、可擦除可编程只读存储器（erasable programmable read only memory，EPROM）或便携式只读存储器（compact disc read-only memory，CD-ROM）等。

上述方法实施例中相机误差校正方法及装置的全部或部分单元的功能所需的软件或程序代码存储在存储器902中。

一种可能的实施方式中，如果是部分单元的功能所需的软件或程序代码存储在存储器902中，则处理器901除了调用存储器902中的程序代码实现部分功能外，还可以配合其他部件（如通信接口903）共同完成方法实施例描述的其他功能（如接收或发送数据的功能）。

通信接口903的个数可以为多个，用于支持装置900进行通信，例如接收或发送数据或信号等。

示例性的，处理器901可以是中央处理器单元、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。处理器901可以用于读取上述存储器902中存储的程序，执行上述图2或图5及其可能的实施例所述的方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现上述各个实施例及其可能的实施例中任意一个实施例的电子设备100所做的操作。

本申请实施例还提供一种计算机程序产品，当该计算机程序产品被计算机读取并执行时，上述各个实施例及其可能的实施例中任意一个实施例的电子设备100所做的操作将被执行。

综上所述，本方案通过获取TOF相机在多个测量距离下的测量误差，建立误差模型，用于校正TOF相机拍摄图像的深度信息，提高图像的质量。当拍摄运动物体的情况下，建立退化函数，用于改善TOF相机拍摄运动物体的成像质量。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。

还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，术语“包括”(也称“includes”、“including”、“comprises”和/或“comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。

还应理解，说明书通篇中提到的“一个实施例”、“一实施例”、“一种可能的实现方式”意味着与实施例或实现方式有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”、“一种可能的实现方式”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims

1.一种相机误差校正方法，其特征在于，所述方法包括：

获取N个第一测量距离，所述第一测量距离指示所述相机与第一被拍摄对象之间的距离的测量值；所述N为大于1的整数；

基于所述N个第一测量距离计算N个测量误差；所述N个第一测量距离与N个真实距离一一对应；第j个测量误差为第j个第一测量距离与所述第j个第一测量距离对应的第j个真实距离之间的误差，所述j为从1取到N的整数；

基于所述N个测量误差和所述N个第一测量距离拟合得到误差曲线；

获取所述误差曲线的傅里叶级数展开式；

基于所述傅里叶级数展开式校正所述相机获取的深度信息。

2.根据权利要求1所述的方法，其特征在于，在所述相机与所述第一被拍摄对象之间的真实距离为所述第j个真实距离的情况下，拍摄得到L帧图像，所述L为大于0的整数；

所述获取N个第一测量距离包括：

获取所述L帧图像的每一帧图像中第一像素坐标的像素点的深度信息，得到L个深度信息；所述第一像素坐标为所述每一帧图像中的任一个像素坐标；

基于所述L个深度信息计算得到所述第j个第一测量距离。

3.根据权利要求1或2所述的方法，其特征在于，所述傅里叶级数展开式为四阶傅里叶级数展开式。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取所述相机连续拍摄得到的M帧图像；所述M帧图像为所述相机与第二被拍摄对象相对运动的情况下连续拍摄得到；所述M为大于1的整数；

计算第i-1帧图像到第i帧图像中每一个像素的位移，在所述i取遍2至M之间的整数后，获得多个位移；

基于所述多个位移生成退化函数；

基于所述退化函数实现所述M帧图像中第M帧图像的运动补偿。

5.根据权利要求4所述的方法，其特征在于，所述M帧图像中的每一帧图像为三维图像，所述退化函数为三维退化函数；

所述基于所述退化函数实现所述M帧图像中第M帧图像的运动补偿，包括：

基于所述傅里叶级数展开式校正所述M帧图像中每一帧图像的像素的深度信息，获得M帧校正后的图像；

基于所述退化函数和所述M帧校正后的图像实现第M’帧图像的运动补偿，所述第M’帧图像为对所述第M帧图像的像素的深度信息校正后的图像。

6.根据权利要求5所述的方法，其特征在于，所述三维退化函数如下所示：

7.一种相机误差校正装置，其特征在于，所述装置包括：

第一获取单元，获取所述相机测量得到的N个第一测量距离，所述第一测量距离指示所述相机与被第一拍摄对象之间的距离的测量值；所述N为大于1的整数；

第一计算单元，基于所述N个第一测量距离计算N个测量误差；所述N个第一测量距离与N个真实距离一一对应；第j个测量误差为第j个第一测量距离与所述第j个第一测量距离对应的第j个真实距离之间的误差，所述j为从1取到N的整数；

拟合单元，基于所述N个测量误差和所述N个第一测量距离拟合得到误差曲线；

第二获取单元，获取所述误差曲线的傅里叶级数展开式；

校正单元，基于所述傅里叶级数展开式校正所述相机获取的深度信息。

8.根据权利要求7所述的装置，其特征在于，在所述相机与所述第一被拍摄对象之间的真实距离为所述第j个真实距离的情况下，拍摄得到L帧图像，所述L为大于0的整数；所述第一获取单元具体用于：

基于所述L个深度信息计算得到所述第j个第一测量距离。

9.根据权利要求7或8所述的装置，其特征在于，所述第二获取单元具体用于：

获取所述误差曲线的四阶傅里叶级数展开式。

10.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：

第三获取单元，用于获取所述相机连续拍摄得到的M帧图像，所述M帧图像为所述相机与第二被拍摄物体相对运动的情况下连续拍摄得到；所述M为大于1的整数；

第二计算单元，用于计算第i-1帧图像到第i帧图像中每一个像素的位移，在所述i取遍2到M之间的整数后，获得多个位移；

生成单元，基于所述多个位移生成退化函数；

运动补偿单元，基于所述退化函数实现所述M帧图像中第M帧图像的运动补偿。

11.根据权利要求10所述的装置，其特征在于，所述M帧图像中的每一帧图像为三维图像，所述退化函数为三维退化函数；

所述运动补偿单元具体用于：

12.根据权利要求11所述的装置，其特征在于，所述三维退化函数如下所示：

13.一种相机误差校正装置，其特征在于，所述装置包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，使得所述装置执行如权利要求1-6任一项所述的方法。

14.一种计算机可存储介质，其特征在于，所述计算机可读存介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-6任一项所述方法。