CN110570368B - 深度图像的畸变矫正方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种深度图像的畸变矫正方法、装置、电子设备及存储介质。具体方案包括：获取深度相机在拍摄过程中每个采样时刻的相机位置信息；根据深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，确定深度相机在曝光起始时刻的相机位置信息，以及深度相机在曝光终止时刻的相机位置信息，并确定深度相机在曝光起始时刻和曝光终止时刻之间移动的旋转角度；根据旋转角度、深度相机的视场角和深度图像的分辨率，确定深度图像每行图像信息各自的像素偏移量；像素偏移量为深度图像每行图像信息偏移的像素量；根据每个像素偏移量，对深度图像的畸变进行矫正。本申请可以矫正卷帘快门深度相机在旋转过程中曝光使拍摄到的深度图像产生的果冻效应。

Description

深度图像的畸变矫正方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术，特别是涉及一种深度图像的畸变矫正方法、装置及存储介质。

背景技术

在建立三维点云模型的过程中，通常会使用深度相机采集空间的深度信息。在使用深度相机拍摄深度图像的过程中，通常采用使相机边旋转边拍摄的方式进行。

然而，由于深度相机采集深度图像需要一定的曝光时间，在相机旋转速度较快时，卷帘快门的深度相机在旋转的过程中曝光，会使拍摄到的深度图像产生果冻效应畸变，从而使深度图像的像素点无法与普通相机采集到的彩色图像的像素点对齐，无法建立准确的三维点云模型。

发明内容

有鉴于此，本申请的主要目的在于提供一种深度图像的畸变矫正方法，该方法可以矫正卷帘快门深度相机在旋转过程中曝光使拍摄到的深度图像产生的果冻效应畸变，使深度图像的像素点可以与普通相机采集到的色彩图像的像素点对齐，从而建立准确的三维点云模型。

为了达到上述目的，本申请提出的技术方案为：

第一方面，本申请实施例提供了一种深度图像的畸变矫正方法，包括以下步骤：

获取深度相机在拍摄过程中的每个采样时刻的相机位置信息；

根据所述深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，确定所述深度相机在所述曝光起始时刻的相机位置信息，以及所述深度相机在所述曝光终止时刻的相机位置信息，并确定所述深度相机在所述曝光起始时刻和所述曝光终止时刻之间移动的旋转角度；

根据所述旋转角度、所述深度相机的视场角和所述深度图像的分辨率，确定所述深度图像每行图像信息各自的像素偏移量；所述像素偏移量为深度图像每行图像信息偏移的像素量；

根据每个所述像素偏移量，对所述深度图像的畸变进行矫正。

一种可能的实施方式中，所述根据所述旋转角度、所述深度相机的视场角和所述深度图像的分辨率，确定所述深度图像每行图像信息各自的像素偏移量的步骤，包括：

根据所述视场角中的水平视场角和所述分辨率中的分辨率宽度，确定所述深度图像的水平像素宽度；

根据所述水平像素宽度和所述旋转角度，确定所述深度图像中最后一行图像信息的所述像素偏移量；

根据所述分辨率中的分辨率高度和所述深度图像中最后一行图像信息的所述像素偏移量，确定每行图像信息的所述像素偏移量。

一种可能的实施方式中，所述根据每个所述像素偏移量，对所述深度图像的畸变进行矫正的步骤，包括：

针对所述深度图像中的每行图像信息，根据该行图像信息的像素偏移量，对该行图像信息进行位置矫正。

一种可能的实施方式中，所述获取深度相机在拍摄过程中的每个采样时刻的相机位置信息的步骤之前，所述方法还包括：

将所述深度相机的所述采样时刻与所述曝光起始时刻或所述曝光终止时刻进行时钟同步。

第二方面，本申请实施例还提供一种深度图像的畸变矫正装置，包括：

获取模块，用于获取深度相机在拍摄过程中的每个采样时刻的相机位置信息；

角度确定模块，用于根据所述深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，确定所述深度相机在所述曝光起始时刻的相机位置信息，以及所述深度相机在所述曝光终止时刻的相机位置信息，并确定所述深度相机在所述曝光起始时刻和所述曝光终止时刻之间移动的旋转角度；

偏移量确定模块，用于根据所述旋转角度、所述深度相机的视场角和所述深度图像的分辨率，确定所述深度图像每行图像信息各自的像素偏移量；所述像素偏移量为深度图像每行图像信息偏移的像素量；

矫正模块，用于根据每个所述像素偏移量，对所述深度图像的畸变进行矫正。

一种可能的实施方式中，所述偏移量确定模块，具体用于：

根据所述视场角中的水平视场角和所述分辨率中的分辨率宽度，确定所述深度图像的水平像素宽度；

根据所述水平像素宽度和所述旋转角度，确定所述深度图像中最后一行图像信息的所述像素偏移量；

根据所述分辨率中的分辨率高度和所述深度图像中最后一行图像信息的所述像素偏移量，确定每行图像信息的所述像素偏移量。

一种可能的实施方式中，矫正模块，具体用于：

针对所述深度图像中的每行图像信息，根据该行图像信息的像素偏移量，对该行图像信息进行位置矫正。

一种可能的实施方式中，所述装置还包括：

时钟同步模块，用于将所述深度相机的所述采样时刻与所述曝光起始时刻或所述曝光终止时刻进行时钟同步。

第三方面，本申请实施例还提供一种计算机可读存储介质，可以矫正深度相机在旋转过程中曝光使拍摄到的深度图像产生的畸变。具体方案为：

一种计算机可读存储介质，存储有计算机指令，所述指令被处理器执行时可实现上述第一方面及第一方面中任一种可能的实施方式的步骤。

第四方面，本申请实施例还提供一种电子设备，可以矫正深度相机在旋转过程中曝光使拍摄到的深度图像产生的畸变。具体方案为：

一种电子设备，该电子设备包括上述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。

综上所述，本申请提出了一种深度图像的畸变矫正方法、装置及存储介质。本申请的技术方案根据深度相机在拍摄深度图像时的曝光起始时刻的相机位置信息，以及曝光终止时刻的相机位置信息，确定深度相机在曝光起始时刻和曝光终止时刻之间移动的旋转角度，从而根据深度相机移动的旋转角度，确定深度图像每行图像信息的像素偏移量，根据每行图像信息的像素偏移量对深度图像的畸变进行矫正。由于深度图像的畸变使由于深度相机在旋转过程中曝光产生的，因此，根据曝光起始时刻和曝光终止时刻之间深度相机移动的旋转角度，确定像素偏移量来对深度图像的畸变进行矫正，可以准确地矫正深度相机在旋转过程中曝光使拍摄到的深度图像产生的畸变，使深度图像的像素点可以与普通相机采集到的色彩图像的像素点对齐，从而建立准确的三维点云模型。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种深度图像的畸变矫正方法的流程示意图；

图2为深度相机的相机位置信息示意图；

图3为本申请实施例提供的另一种深度图像的畸变矫正方法的流程示意图；

图4为深度相机的视场角示意图；

图5为深度图像分辨率及像素偏移量示意图；

图6a为深度相机实际采集的一帧深度图像的示意图；

图6b为进行畸变矫正后的深度图像的示意图；

图7为本申请实施例提供的深度图像的畸变矫正装置的结构示意图；

图8为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

本申请实施例提出了一种深度图像的畸变矫正方法、装置及存储介质。本申请实施例提供的技术方案可以应用于三维点云模型的建立过程，在建立三维点云模型时，首选需要对待建立模型的空间或物体进行数据采集，在数据采集时，需要采集彩色图像和深度图像。这里，彩色图像可以是采用普通相机采集的彩色图像或彩色前景图像，彩色图像中包含了色彩信息。深度图像为深度相机采集的深度图像，深度图像中包含了深度信息。根据彩色图像包含的色彩信息和深度图像中包含深度信息，可以进行三维重建，建立出该待建立模型的空间或物体的三维点云模型。

在使用深度相机对待建立模型的空间或物体的深度图像进行采集时，通常采用卷帘快门图像传感器的深度相机边旋转边拍摄的模式，边旋转边使用拍摄到的每一帧深度图像合成到深度全景图形中，旋转一圈完成后，便得到一张深度全景图像。在卷帘快门深度相机的旋转速度较快时，卷帘快门深度相机在旋转的过程中曝光，就会使采集到的深度图像发生畸变，俗称果冻效应，最终使生成的深度全景图像有一定程度的倾斜，从而使深度图像的像素点无法与普通相机采集到的彩色图像的像素点对齐，无法建立准确的三维点云模型。尤其是在对高精度的三维点云模型进行建模的应用场景中，深度相机旋转速度较快时，果冻效应的问题尤其突出。进一步的，由于相机在旋转过程中的旋转速度很难保持恒定，因此，不同时刻拍摄的深度图像发生畸变的大小也不同，无法简单的采用统一的校正值对每一帧深度图像进行矫正。

有鉴于此，本申请的核心发明点在于，首先获取深度相机在旋转过程中每个采样时刻的相机位置信息，其次，获取深度相机拍摄的每一帧深度图像的曝光起始时刻和曝光终止时刻，由相机位置信息确定曝光起始时刻和曝光终止时刻之间深度相机移动的旋转角度，进而确定像素偏移量来对该帧深度图像每一行图像信息的畸变进行矫正。这样可以准确地矫正深度相机在旋转过程中曝光使拍摄到的深度图像产生的畸变，使深度图像的像素点可以与普通相机采集到的色彩图像的像素点对齐，从而建立准确的三维点云模型。

为使本申请的目的、技术方案和优点更加清楚，下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

实施例一

图1为本申请实施例一提供的一种深度图像的畸变矫正方法的流程示意图，如图1所示，该实施例主要包括：

S101：获取深度相机在拍摄过程中的每个采样时刻的相机位置信息。

由于深度相机在拍摄深度图像时，采用边旋转边拍摄的方式，因此，可以根据驱动深度相机旋转的电机，获取深度相机在拍摄过程中的每个采样时刻的相机位置信息，这里采样时刻不是指图像的拍摄时刻或曝光时刻，而是指对相机位置信息进行采样的时刻。在实际实施时，可以在每个采样时刻获取相机位置信息，也可以先获取相机位置信息，然后获取每个相机位置信息对应的采样时刻。驱动深度相机旋转的电机可以是以一定的旋转角作为步长进行旋转，也可以是连续旋转的。在以一定的旋转角作为步长旋转时，深度相机每次按预设时间间隔从当前角度旋转到与当前角度的夹角等于旋转角的位置，因此，可以根据深度相机每次从当前角度开始旋转的时刻确定采样时刻。在深度相机连续旋转时或以一定的旋转角作为步长旋转时，通常以预设的时间步长或角度步长为拍摄时间间隔，采集每一帧深度图像，因此，也可以根据深度相机的旋转速度和拍摄时间间隔，设定采样时刻。由于深度相机在拍摄时，是做水平方向上的旋转运动，因此，相机位置信息通常可以用深度相机相对于参照位置的旋转角表示。

S102：根据所述深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，确定所述深度相机在所述曝光起始时刻的相机位置信息，以及所述深度相机在所述曝光终止时刻的相机位置信息，并确定所述深度相机在所述曝光起始时刻和所述曝光终止时刻之间移动的旋转角度。

深度相机在采集深度图像时需要一定的曝光时间，为了确定由于曝光时间和深度相机旋转速度产生的深度图像畸变，可以首先获取深度相机在拍摄深度图像时的曝光起始时刻和曝光终止时刻。根据深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，可以从深度相机在每个采样时刻的相机位置信息中，确定深度相机在曝光起始时刻的相机位置信息和在曝光终止时刻的相机位置信息。为了方便描述，如图2所示，假设深度相机拍摄深度图像时的曝光起始时刻为t0，曝光终止时刻为t1，则相对于参照位置，可以从深度相机在每个采样时刻的相机位置信息中，确定深度相机在曝光起始时刻的相机位置信息为a0，在曝光终止时刻的相机位置信息为a1。

由于深度图像的畸变是由于曝光时间和深度相机旋转速度产生的，因此，在获取代表了曝光时间的曝光起始时刻和曝光终止时刻之后，确定代表深度相机旋转速度的旋转角度。示例性的，在相机位置信息用深度相机相对于参照位置的旋转角表示时，可以根据深度相机在曝光起始时刻的相机位置信息与曝光终止时刻的相机位置信息之差，确定深度相机在曝光起始时刻和曝光终止时刻之间移动的旋转角度，如图2所示，深度相机在曝光起始时刻和曝光终止时刻之间移动的旋转角度为a1-a0。

S103：根据所述旋转角度、所述深度相机的视场角和所述深度图像的分辨率，确定所述深度图像每行图像信息各自的像素偏移量；所述像素偏移量为深度图像每行图像信息偏移的像素量；。

深度相机的视场角(Field of View，FOV)，为深度相机的视野范围，通常为深度相机视野中可通过镜头的最大范围的边缘构成的夹角。视场角可以通常可以分为水平视场角(Horizontal Field of View，HFOV)和垂直视场角(Vertical Field of View，VFOV)，分别代表了深度相机在水平方向和垂直方向的视野范围。深度相机的分辨率，为深度相机采集的图像的大小，通常可以表示为深度相机采集的图像包含多少行和多少列的像素。根据深度相机的视场角和深度图像的分辨率，可以确定深度图像的每行图像信息和每行图像信息的水平像素宽度。由于深度相机通常都是卷帘快门，是按行进行曝光的，因此，随着深度相机的旋转移动，按照曝光的顺序，深度相机的每行的像素偏移量逐渐增加。因此，根据上述旋转角度、深度图像的每行图像信息和每行图像信息的水平像素宽度，可以确定深度图像每行图像信息各自的像素偏移量。一行图像信息对应一个像素偏移量，该行的像素偏移量为深度图像该行图像信息偏移的像素量。

S104：根据每个所述像素偏移量，对所述深度图像的畸变进行矫正。

根据每行图像信息的像素偏移量，可以对深度图像的畸变进行矫正。使深度图像的像素点可以与普通相机采集到的色彩图像的像素点对齐，从而建立准确的三维点云模型。

实施例二

如图3所示，本申请实施例提供的另一种深度图像的畸变矫正方法，包括：

S301：将所述深度相机的所述采样时刻与所述曝光起始时刻或所述曝光终止时刻进行时钟同步。

如果深度相机使用同一个时钟来源进行电机控制和镜头控制，则无需在采样时刻于曝光起始时刻或曝光终止时刻之间进行时钟同步。在深度相机使用不同的时钟来源进行电机控制和镜头控制时，需要进行时钟同步。通常在拍摄前将进行电机控制和镜头控制的时钟调同步。也可以在拍摄之前记录进行电机控制的电机时钟时间和进行镜头控制的镜头时钟时间，以记录的电机时钟时间为基准，调整镜头时钟时间进行同步，或以记录的镜头时钟时间为基准，调整电机时钟时间进行同步。上述时钟同步通常以微秒、甚至更精准地以纳秒为单位进行。这里，电机控制是指控制电机进行旋转从而带动深度相机的镜头旋转，镜头控制是指控制深度相机进行拍摄深度图像和深度图像的曝光等操作。

S302：获取深度相机在拍摄过程中的每个采样时刻的相机位置信息。

深度相机通常的拍摄模式是边旋转边拍摄，深度相机需要使用电机作为驱动装置驱动深度相机的镜头转动，具体实施时，可以采用步进电机或者伺服电机作为驱动装置。在采用步进电机作为驱动装置时，步进电机通常采用电脉冲信号控制，每次接受到电机控制器输出的电脉冲信号时，以预设旋转角为步长转动相应的角度或以预设线长为步长转动相应的弧度，因此可以根据步进电机的电脉冲信号的频率和占空比，确定采样时刻，并根据电脉冲信号的频率、上述步长和相机启示位置，确定每个采样时刻的相机位置信息。在采用伺服电机作为驱动装置时，伺服电机通常可以采用编码器测量电机的转角和转速，因此，可以通过编码器设定采样时刻，在每个采样时刻获取深度相机的镜头的相机位置信息。

这里，获取的相机位置信息通常为旋转角或弧度线长。采样时刻通常采用时间戳表示。

S303：获取深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻。

在实际实施时，深度相机拍摄的每一帧深度图像都带有一个时间戳，这个时间戳可能是曝光起始时刻的时间戳，也可能是曝光终止时刻的时间戳。具体是曝光起始时刻的时间戳，还是曝光终止时刻的时间戳，可以根据深度相机的供应商或说明书确定。深度相机也可以设置曝光时间长度或者可以获取深度相机默认的曝光时间长度。

假设曝光起始时刻为t0，曝光时间长度为Δt，曝光终止时刻为t1。如果深度图像携带的时间戳时曝光起始时刻的时间戳，那么根据曝光起始时刻t0和曝光时间长度Δt可以确定曝光终止时刻t1＝t0+Δt。如果深度图像携带的时间戳时曝光终止时刻的时间戳，那么根据曝光终止时刻t1和曝光时间长度Δt可以确定曝光起始时刻t0＝t1–Δt。

S304：根据所述深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，确定所述深度相机在所述曝光起始时刻的相机位置信息，以及所述深度相机在所述曝光终止时刻的相机位置信息。

根据深度相机拍摄每一帧深度图像时的曝光起始时刻和曝光终止时刻，可以从深度相机的每个采样时刻的相机位置信息中，确定深度相机在拍摄该帧深度图像的曝光起始时刻的相机位置信息，以及深度相机在拍摄该帧深度图像的曝光终止时刻的相机位置信息。这里的相机位置信息可能是角度值，也可能是弧度值。

S305：确定所述深度相机在所述曝光起始时刻和所述曝光终止时刻之间移动的旋转角度。

假设深度相机在曝光起始时刻的相机位置信息为a0，深度相机在曝光终止时刻的相机位置信息为a1。当相机位置信息是角度值时，将深度相机在曝光终止时刻的相机位置信息和曝光起始时刻的相机位置信息之差为上述旋转角度Δa＝a1-a0。当相机位置信息为弧度值时，如果上述弧度值使用线长表示，可以将上述弧度值转换为角度值之后，再根据深度相机在曝光终止时刻的相机位置信息和曝光起始时刻的相机位置信息之差确定旋转角度。如果上述弧度值使用其对应的圆心角表示，可以直接根据深度相机在曝光终止时刻的相机位置信息和曝光起始时刻的相机位置信息之差确定旋转角度。

S306：根据所述旋转角度、所述深度相机的视场角和所述深度图像的分辨率，确定所述深度图像每行图像信息各自的像素偏移量。

如图4所示，深度相机的视场角可以分为水平视场角HFOV和垂直视场角VFOV。如图5所示，深度相机采集的深度图像的分辨率为width*height，其中width为分辨率宽度，通常表示了深度图像的水平方向包括多少个像素；height为分辨率高度，通常表示了深度图像的垂直方向包括多少个像素。

根据所述视场角中的水平视场角和所述分辨率中的分辨率宽度，确定所述深度图像的水平像素宽度，示例性的，水平像素宽度为width/HFOV。

之后，可以根据所述水平像素宽度和所述旋转角度，确定所述深度图像中最后一行图像信息的所述像素偏移量。由于深度相机采集深度图像时的曝光时一行一行进行的，假设最上方第一行图像信息的曝光之后逐行向下曝光直至最下方一行图像信息，那么，那么进行第一行图像信息的曝光的时刻为曝光起始时刻，进行最后一行图像信息的曝光的时刻为曝光终止时刻。在整个曝光时间长度中，依次进行每行图像信息的曝光，并在曝光的同时在电机的带动下旋转了上述旋转角度。因此，进行最后一行图像信息的曝光时，电机旋转到上述旋转角度中的最大值，最后一行图像信息的图像畸变最大。所以可以根据水平像素宽度和旋转角度确定所述深度图像中最后一行图像信息的像素偏移量。具体的，最后一行图像信息的像素偏移量是最后一行图像信息相对第一行图像信息的像素偏移量。这里，以曝光起始时刻为参考时刻，由于曝光起始时刻进行第一行图像信息的曝光，因此，第一行图像信息的像素偏移量为0。示例性的，如图5所示，最后一行图像信息的像素偏移量p可以采用下述公式(1)确定：

其中，p为最后一行图像信息的像素偏移量，width为分辨率宽度，hfov为水平视场角，a0为深度相机在曝光起始时刻的相机位置信息，a1为深度相机在曝光终止时刻的相机位置信息。最后一行图像信息的像素偏移量也可以成为果冻效应值。

我们认为深度相机以均匀的速度进行每一行图像信息的曝光，并且由于曝光时间长度通常较短，我们还认为深度相机在曝光时间长度范围内以均匀的速度进行转动。因此，可以根据所述分辨率中的分辨率高度和所述深度图像中最后一行图像信息的所述像素偏移量，确定每行图像信息的所述像素偏移量。具体的，当使用height表示分辨率高度时，height通常表示了深度图像的垂直方向包含多少个像素。深度图像的垂直方向的每个像素为一行图像信息，因此，可以使用n表示深度图像中的第n行图像信息，n的取值范围为0-height。此时，示例性的，可以采用下述公式(2)确定每行图像信息的像素偏移量。

其中，n为深度图像中的第n行图像信息，p_n为第n行图像信息的像素偏移量，p为最后一行图像信息的像素偏移量，width为分辨率宽度，height为分辨率高度，hfov为水平视场角，a0为深度相机在曝光起始时刻的相机位置信息，a1为深度相机在曝光终止时刻的相机位置信息。

由于对图像的显示和处理通常是以像素为单位进行的，因此当根据公式(1)或公式(2)求得的p或不是p_n整数时，通常采用四舍五入、收尾法或去尾法等方式对计算结果取整，优选的可以采用四舍五入对计算结果取整。

S307：针对所述深度图像中的每行图像信息，根据该行图像信息的像素偏移量，对该行图像信息进行位置矫正。

根据深度相机的旋转方向，可以确定深度相机采集的深度图像中的每行图像信息是向哪个方向发生畸变的，因此，可以根据该行图像信息的像素偏移量，将该行图像信息向旋转方向相反的方向移动对应的像素量，从而对该行图像信息进行位置矫正。示例性的，如图5所示，针对深度图像信息中的最后一行图像信息，根据确定的最后一行图像信息的像素偏移量为p，假设深度图像中的每行图像信息是向左发生的畸变，可以将最后一行图像信息向右移动p个像素，从而对该行图像信息进行位置矫正。可以采用相同的方法，根据每行图像信息的像素偏移量p_n，对该行图像信息进行位置矫正。

在根据像素偏移量进行图像信息的位置矫正的过程中，可能会存在图像信息缺失的情况，例如图5所示，针对深度图像信息中的最后一行图像信息，根据确定的最后一行图像信息的像素偏移量为p，假设深度图像中的每行图像信息是向左发生的畸变，将最后一行图像信息向右移动p个像素时，最后一行图像信息移动后，最右侧会缺失p个像素的图像信息。此时，一般把缺失的p个像素的图像信息剪裁掉，或者可以根据相邻帧对应行的图像信息补充缺失的图像信息，也可以复制相邻的像素的图像信息补充缺失的图像信息。

图6a和图6b为实际实施时对一帧深度图像的畸变进行矫正的结果对比图，其中，图6a为深度相机实际采集的一帧深度图像的示意图，图6b为进行畸变矫正后的深度图像的示意图。如图6a和图6b所示，进行畸变矫正之前，图中代表墙体边缘的线条是歪的，进行畸变矫正之后，图中代表墙体边缘的线条被矫正为垂直。

基于相同的设计构思，本申请实施例还提供一种深度图像的畸变矫正装置及存储介质。

实施例三

如图7所示，本申请实施例提供的深度图像的畸变矫正装置700，包括：

获取模块701，用于获取深度相机在拍摄过程中的每个采样时刻的相机位置信息；

角度确定模块702，用于根据所述深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，确定所述深度相机在所述曝光起始时刻的相机位置信息，以及所述深度相机在所述曝光终止时刻的相机位置信息，并确定所述深度相机在所述曝光起始时刻和所述曝光终止时刻之间移动的旋转角度；

偏移量确定模块703，用于根据所述旋转角度、所述深度相机的视场角和所述深度图像的分辨率，确定所述深度图像每行图像信息各自的像素偏移量；所述像素偏移量为深度图像每行图像信息偏移的像素量；

矫正模块704，用于根据每个所述像素偏移量，对所述深度图像的畸变进行矫正。

一种可能的实施方式中，所述偏移量确定模块703，具体用于：

根据所述视场角中的水平视场角和所述分辨率中的分辨率宽度，确定所述深度图像的水平像素宽度；

根据所述水平像素宽度和所述旋转角度，确定所述深度图像中最后一行图像信息的所述像素偏移量；

根据所述分辨率中的分辨率高度和所述深度图像中最后一行图像信息的所述像素偏移量，确定每行图像信息的所述像素偏移量。

一种可能的实施方式中，矫正模块704，具体用于：

针对所述深度图像中的每行图像信息，根据该行图像信息的像素偏移量，对该行图像信息进行位置矫正。

一种可能的实施方式中，所述装置还包括：

时钟同步模块705，用于将所述深度相机的所述采样时刻与所述曝光起始时刻或所述曝光终止时刻进行时钟同步。

实施例四

一种计算机可读介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行实施例一或实施例二提供的方法的步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，实现根据参考实施例三提供的装置进行实施例一或实施例二提供的方法的步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。

实施例五

本申请实施例还提供一种电子设备，可以是计算机或服务器，其中可以集成本申请上述装置实施例三的装置。如图8所示，其示出了本申请装置实施例三所涉及的电子设备800。

该电子设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质802。该电子设备还可以包括电源803、输入输出单元804。本领域技术人员可以理解，图8中并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中：

处理器801是该电子设备的控制部分，利用各种接口和线路连接各个部分，通过运行或执行存储在计算机可读存储介质802中的软件程序，执行实施例一或实施例二提供的方法的步骤。

计算机可读存储介质802可用于存储软件程序，即实施例一或实施例二提供的方法中涉及的程序。

处理器801通过运行存储在计算机可读存储介质802的软件程序，从而执行各种功能应用以及数据处理。计算机可读存储介质802可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据电子设备需要使用的数据等。此外，计算机可读存储介质802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，计算机可读存储介质802还可以包括存储器控制器，以提供处理器801对计算机可读存储介质802的访问。

电子设备还包括给各个部件供电的电源803，优选的，电源803可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入输出单元804，比如可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入；比如可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本申请的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种深度图像的畸变矫正方法，其特征在于，包括：

获取深度相机在拍摄过程中的每个采样时刻的相机位置信息；

根据所述深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，确定所述深度相机在所述曝光起始时刻的所述相机位置信息，以及所述深度相机在所述曝光终止时刻的所述相机位置信息，并确定所述深度相机在所述曝光起始时刻和所述曝光终止时刻之间移动的旋转角度；

根据深度相机的视场角中的水平视场角和深度图像的分辨率中的分辨率宽度，确定所述深度图像的水平像素宽度；根据所述水平像素宽度和所述旋转角度，确定所述深度图像中最后一行图像信息的像素偏移量；根据所述分辨率中的分辨率高度和所述深度图像中最后一行图像信息的所述像素偏移量，确定每行图像信息的所述像素偏移量；所述像素偏移量为所述深度图像每行图像信息偏移的像素量；

根据每个所述像素偏移量，对所述深度图像的畸变进行矫正。

2.根据权利要求1所述的方法，其特征在于，所述根据每个所述像素偏移量，对所述深度图像的畸变进行矫正的步骤，包括：

针对所述深度图像中的每行图像信息，根据该行图像信息的所述像素偏移量，对该行图像信息进行位置矫正。

3.根据权利要求1所述的方法，其特征在于，所述获取深度相机在拍摄过程中的每个采样时刻的相机位置信息的步骤之前，所述方法还包括：

将所述深度相机的所述采样时刻与所述曝光起始时刻或所述曝光终止时刻进行时钟同步。

4.一种深度图像的畸变矫正装置，其特征在于，包括：

获取模块，用于获取深度相机在拍摄过程中的每个采样时刻的相机位置信息；

角度确定模块，用于根据所述深度相机拍摄深度图像时的曝光起始时刻和曝光终止时刻，确定所述深度相机在所述曝光起始时刻的所述相机位置信息，以及所述深度相机在所述曝光终止时刻的所述相机位置信息，并确定所述深度相机在所述曝光起始时刻和所述曝光终止时刻之间移动的旋转角度；

偏移量确定模块，用于根据深度相机的视场角中的水平视场角和深度图像的分辨率中的分辨率宽度，确定所述深度图像的水平像素宽度；根据所述水平像素宽度和所述旋转角度，确定所述深度图像中最后一行图像信息的像素偏移量；根据所述分辨率中的分辨率高度和所述深度图像中最后一行图像信息的所述像素偏移量，确定每行图像信息的所述像素偏移量；所述像素偏移量为所述深度图像每行图像信息偏移的像素量；

矫正模块，用于根据每个所述像素偏移量，对所述深度图像的畸变进行矫正。

5.根据权利要求4所述的装置，其特征在于，矫正模块，具体用于：

针对所述深度图像中的每行图像信息，根据该行图像信息的所述像素偏移量，对该行图像信息进行位置矫正。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

时钟同步模块，用于将所述深度相机的所述采样时刻与所述曝光起始时刻或所述曝光终止时刻进行时钟同步。

7.一种计算机可读存储介质，存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1～3任一项所述的方法的步骤。

8.一种电子设备，其特征在于，该电子设备包括如权利要求7所述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。

Images