CN113902786B

CN113902786B - 一种深度图像的预处理方法、系统及相关装置

Info

Publication number: CN113902786B
Application number: CN202111117223.2A
Authority: CN
Inventors: 李志钧; 张勇; 周雨谖; 潘颢文
Original assignee: Zhuhai Shixi Technology Co Ltd
Current assignee: Zhuhai Shixi Technology Co Ltd
Priority date: 2021-09-23
Filing date: 2021-09-23
Publication date: 2022-05-27
Anticipated expiration: 2041-09-23
Also published as: CN113902786A

Abstract

本申请公开了一种深度图像的预处理方法、系统及相关装置，用于提高对深度图像的训练效率。本申请方法包括：获取深度图像；提取所述深度图像的矩阵信息；从所述矩阵信息中提炼目标数据；将所述目标数据转化为三通道矩阵；根据所述三通道矩阵生成目标图像。

Description

一种深度图像的预处理方法、系统及相关装置

技术领域

本申请涉及图像处理领域，尤其涉及一种深度图像的预处理方法、系统及相关装置。

背景技术

深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，深度图像的每个像素点的灰度值可用于表达场景中某一点距离摄像机的远近，它直接反映了景物可见表面的几何形状。深度图像作为一种普遍的三维场景信息表达方式得到了广泛的应用。

现有技术中，若要处理深度图像分类的深度学习方法，一般是直接修改卷积神经网络的数据接口格式，然后将深度图像数据导入到网络中训练，该方法的训练速度较慢，对于本来简单的图片分类(比如一共2000张照片，照片总类别为10类)任务，用ResNet20训练，若要保证95％以上的准确率，一般电脑的训练时间可达20小时，训练效率低下。

发明内容

本申请提供了一种深度图像的预处理方法、系统及相关装置，用于提高对深度图像的训练效率。

本申请第一方面提供了一种深度图像的预处理方法，包括：

获取深度图像；

提取所述深度图像的矩阵信息；

从所述矩阵信息中提炼目标数据；

将所述目标数据转化为三通道矩阵；

根据所述三通道矩阵生成目标图像。

可选的，所述从所述矩阵信息中提炼目标数据包括：

按照预设规格将所述矩阵信息划分为若干个大小相同的矩阵块；

分别计算每一个矩阵块的最大值、最小值以及平均值，得到目标数据。

可选的，所述将所述目标数据转化为三通道矩阵包括：

将所述目标数据分别按照最大值、最小值以及平均值整合为三通道矩阵，所述三通道矩阵的第一通道由每一个所述矩阵块的最大值组成，第二通道由每一个所述矩阵块的最小值组成，第三通道由每一个所述矩阵块的平均值组成。

可选的，所述从所述矩阵信息中提炼目标数据包括：

分别计算每一个矩阵块的极差、平均值以及方差，得到目标数据。

可选的，所述将所述目标数据转化为三通道矩阵包括：

将所述目标数据分别按照极差、平均值以及方差整合为三通道矩阵，所述三通道矩阵的第一通道由每一个所述矩阵块的极差组成，第二通道由每一个所述矩阵块的平均值组成，第三通道由每一个所述矩阵块的方差组成。

可选的，在所述根据所述三通道矩阵生成目标图像之后，所述方法还包括：

将所述目标图像输入至Resnet模型进行训练。

本申请第二方面提供了一种深度图像的预处理系统，包括：

获取单元，用于获取深度图像；

提取单元，用于提取所述深度图像的矩阵信息；

第一处理单元，用于从所述矩阵信息中提炼目标数据；

第二处理单元，用于将所述目标数据转化为三通道矩阵；

生成单元，用于根据所述三通道矩阵生成目标图像。

可选的，所述第一处理单元包括：

划分模块，用于按照预设规格将所述矩阵信息划分为若干个大小相同的矩阵块；

计算模块，用于分别计算每一个矩阵块的最大值、最小值以及平均值，得到目标数据。

所述第二处理单元具体用于：

可选的，所述第一处理单元包括：

计算模块，用于分别计算每一个矩阵块的极差、平均值以及方差，得到目标数据。

所述第二处理单元具体用于：

可选的，所述系统还包括：

输入单元，用于将所述目标图像输入至Resnet模型进行训练。

本申请第三方面提供了一种深度图像的预处理装置，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的深度图像的预处理方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的深度图像的预处理方法。

从以上技术方案可以看出，本申请具有以下优点：

通过提取深度图像中的矩阵信息，并对矩阵信息进行炼值和升维的处理以构建一个三通道的矩阵，其中炼值处理是指从矩阵信息中提炼目标数据，升维处理则是指根据目标数据将原深度图像的矩阵信息转化为三通道矩阵，从而将深度图像模拟成RGB图片格式，使之符合目前VGG、Resnet等图像识别的深度学习算法模型的常用训练图片数据的格式，提高模型的训练效率。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的深度图像的预处理方法一个实施例流程示意图；

图2为本申请提供的深度图像的预处理方法另一个实施例流程示意图；

图3为本申请提供的深度图像的预处理方法另一个实施例流程举例示意图；

图4为本申请提供的深度图像的预处理系统一个实施例结构示意图；

图5为本申请提供的深度图像的预处理系统另一个实施例结构示意图；

图6为本申请提供的深度图像的预处理装置一个实施例结构示意图。

具体实施方式

需要说明的是，本申请提供的深度图像的预处理方法，可以应用于终端，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。

请参阅图1，图1为本申请提供的深度图像的预处理方法的一个实施例，该方法包括：

101、获取深度图像；

在3D计算机图形中，深度图像是包含与场景对象的表面距离有关信息的图像或图像通道，深度图像在呈现上类似于灰度图像，深度图像中的每个像素值表示传感器距离物体的实际距离。

终端首先获取待预处理的深度图像，深度图像的获取方式包括TOF、结构光和双目，具体此处不做限定。深度图像中的每个像素点的灰度值可用于表示场景中某一点距离摄像机的远近。

102、提取深度图像的矩阵信息；

计算机以数字矩阵的形式储存图像，矩阵的大小与图像的分辨率有关，矩阵中的数字表示像素的强度或亮度，在深度图像中则对应表示深度距离，较小的数字(接近0)表示黑色，较大的数字(接近255)表示白色。

具体的，终端可以通过python提取该深度图像的矩阵信息。

103、从矩阵信息中提炼目标数据；

终端从矩阵信息中提炼目标数据，需要说明的是，该目标数据是指能够表达原深度图像信息的数据。

104、将目标数据转化为三通道矩阵；

RGB图像的矩阵为三通道矩阵，即RGB图像中每个像素点呈现的颜色可以用一个三通道矩阵来表示，图像中的每个像素点由三通道矩阵中对应位置的三个值决定，例如纯红色表示为RGB(255,0,0)，纯黑色表示为RGB(0,0,0)，纯白色表示为RGB(255,255,255)。

终端根据从深度图像的矩阵信息中提炼的目标数据，再将目标数据转化为三通道矩阵，使之符合RGB图像的矩阵形式。

105、根据三通道矩阵生成目标图像。

为了将深度图像模拟成RGB图片格式，终端根据目标数据所转化的三通道矩阵来生成目标图像(预处理后的深度图像)，即通过预处理将深度图像中的原矩阵信息转化为三通道矩阵。

在本实施例中，通过提取深度图像中的矩阵信息，并对矩阵信息进行炼值和升维的处理以构建一个三通道的矩阵，其中炼值处理是指从矩阵信息中提炼目标数据，升维处理则是指根据目标数据将原深度图像的矩阵信息转化为三通道矩阵，从而将深度图像模拟成RGB图片格式，使之符合目前VGG、Resnet等图像识别的深度学习算法模型的常用训练图片数据的格式，提高模型的训练效率。

下面对本申请提供的深度图像的预处理方法进行详细说明，请参阅图2，图2为本申请提供的深度图像的预处理方法的另一个实施例，该方法包括：

201、获取深度图像；

202、提取深度图像的矩阵信息；

本实施例中，步骤201至步骤202与前述实施例步骤101至步骤102类似，此处不再赘述。

203、按照预设规格将矩阵信息划分为若干个大小相同的矩阵块；

终端将得到的矩阵信息提取到python，然后进行矩阵分块。具体的，终端将按照预设规格对矩阵信息进行分块，得到若干个相同大小的矩阵块，通过对矩阵信息进行分块能够极大地降低原深度图像的分辨率，从而可以提高模型的训练速度。

204、分别计算每一个矩阵块的最大值、最小值以及平均值，得到目标数据；

终端对划分得到的每一个矩阵块，分别计算每一个矩阵块中数据的最大值、最小值以及平均值，并将这些计算得到的结果确定为目标数据。

深度图像中的每个像素值能够反映深度信息，因此提炼每一个矩阵块中的最大值、最小值以及平均值可以大致反映出该矩阵块所表示的深度范围以及平均深度，即通过每一个矩阵块中的最大值、最小值以及平均值能够反映原深度图像中的深度信息。

205、将目标数据分别按照最大值、最小值以及平均值整合为三通道矩阵；

终端根据计算得到的每一个矩阵块的最大值、最小值以及平均值构造三通道矩阵。具体的，终端根据每一个矩阵块的最大值生成第一矩阵，并将该第一矩阵确定为三通道矩阵中的第一通道，终端根据每一个矩阵块的最小值生成第二矩阵，并将该第二矩阵确定为三通道矩阵中的第二通道，终端根据每一个矩阵块的平均值生成第三矩阵，并将该第三矩阵确定为三通道矩阵中的第三通道。

使用每一个矩阵块的最大值、最小值以及平均值扩展成三通道矩阵可以尽可能地保留原深度图像的深度信息，从而保证训练模型的图片判别准确率，保证训练完成的模型的准确率稳定。通过该预处理方法可以使处理后的深度图像适应众多RGB图片识别和分类模型的训练数据接口。

需要说明的是，在步骤204和步骤205中，除了计算每一个矩阵块的最大值、最小值以及平均值来拓展三通道矩阵之外，还可以计算每一个矩阵块的极差、平均值、方差来拓展成三通道矩阵，终端具体执行如下步骤：

分别计算每一个矩阵块的极差、平均值、方差，得到目标数据；

将所述目标数据分别按照极差、平均值以及方差整合为三通道矩阵。

通过如上方法，可以根据实际应用中不同的图片处理任务，使用每一个矩阵块的极差、平均值、方差来扩展成三通道矩阵，即使用不同的目标数据来拓展三通道矩阵。通过提炼不同的目标数据，可以在保留原深度图像总体信息的同时，以不同侧重点突出原深度图像的部分信息，以应对不同的图片处理任务。

206、根据三通道矩阵生成目标图像；

本实施例中，步骤206与前述实施例步骤105类似，此处不再赘述。

207、将目标图像输入至Resnet模型进行训练。

终端将预处理后的深度图像(目标图像)输入至Resnet模型中进行训练。

请参阅图3，图3为本实施例中流程举例示意图，以4×4的深度图像为例，首先从该深度图像中提取矩阵信息，得到如301所示的4×4矩阵信息；再通过2×2的预设规格对该矩阵进行分块，得到如302所示的4个2×2的矩阵块；分别计算每一个矩阵块的最大值、最小值以及平均值，得到如303所示的四组目标数据；根据每一个矩阵块的最大值、最小值以及平均值整合为一个如304所示的三通道矩阵；最后根据三通道矩阵生成目标图像，再将目标图像输入至Resnet模型305中进行训练。

在本实施例中，通过该预处理方法，能够压缩原深度图像的分辨率，使得模型的训练速度提高，同时通过获取矩阵信息中的局部最大值、最小值以及平均值保留了原深度图像的相关信息，保证了模型训练的效果。

需要说明的是，本申请提供的预处理方法不仅仅可以用于Resnet模型的训练，也可以拓展到其他跟图片处理相关的深度学习算法的应用中，提高训练速度，增加工作和研究的效率。

请参阅图4，图4为本申请提供的深度图像的预处理系统一个实施例，该系统包括：

获取单元401，用于获取深度图像；

提取单元402，用于提取深度图像的矩阵信息；

第一处理单元403，用于从矩阵信息中提炼目标数据；

第二处理单元404，用于将目标数据转化为三通道矩阵；

生成单元405，用于根据三通道矩阵生成目标图像。

在本实施例中，通过获取单元401和提取单元402获取深度图像并提取深度图像中的矩阵信息，第一处理单元403和第二处理单元404对矩阵信息进行炼值和升维的处理以构建一个三通道的矩阵，生成单元405根据三通道矩阵生成目标图像，从而将深度图像模拟成RGB图片格式，使之符合目前VGG、Resnet等图像识别的深度学习算法模型的常用训练图片数据的格式，提高模型的训练效率。

下面对本申请提供的深度图像的预处理系统进行详细说明，请参阅图5，图5为本申请提供的深度图像的预处理系统另一个实施例，该系统包括：

获取单元501，用于获取深度图像；

提取单元502，用于提取深度图像的矩阵信息；

第一处理单元503，用于从矩阵信息中提炼目标数据；

第二处理单元504，用于将目标数据转化为三通道矩阵；

生成单元505，用于根据三通道矩阵生成目标图像。

可选的，第一处理单元503包括：

划分模块5031，用于按照预设规格将矩阵信息划分为若干个大小相同的矩阵块；

计算模块5032，用于分别计算每一个矩阵块的最大值、最小值以及平均值，得到目标数据。

第二处理单元504具体用于：

将目标数据分别按照最大值、最小值以及平均值整合为三通道矩阵，三通道矩阵的第一通道由每一个矩阵块的最大值组成，第二通道由每一个矩阵块的最小值组成，第三通道由每一个矩阵块的平均值组成。

可选的，第一处理单元503包括：

计算模块5032，用于分别计算每一个矩阵块的极差、平均值以及方差，得到目标数据。

第二处理单元504具体用于：

将目标数据分别按照极差、平均值以及方差整合为三通道矩阵，三通道矩阵的第一通道由每一个矩阵块的极差组成，第二通道由每一个矩阵块的平均值组成，第三通道由每一个矩阵块的方差组成。

可选的，系统还包括：

输入单元506，用于将目标图像输入至Resnet模型进行训练。

本实施例系统中，各单元的功能与前述图2所示方法实施例中的步骤对应，此处不再赘述。

本申请还提供了一种深度图像的预处理装置，请参阅图6，图6为本申请提供的深度图像的预处理装置一个实施例，该装置包括：

处理器601、存储器602、输入输出单元603、总线604；

处理器601与存储器602、输入输出单元603以及总线604相连；

存储器602保存有程序，处理器601调用程序以执行如上任一深度图像的预处理方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一深度图像的预处理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种深度图像的预处理方法，其特征在于，所述方法包括：

获取深度图像；

提取所述深度图像的矩阵信息；

从所述矩阵信息中提炼目标数据；

将所述目标数据转化为三通道矩阵；

根据所述三通道矩阵生成目标图像；

所述从所述矩阵信息中提炼目标数据包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述目标数据转化为三通道矩阵包括：

3.根据权利要求1所述的方法，其特征在于，所述从所述矩阵信息中提炼目标数据包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述目标数据转化为三通道矩阵包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述根据所述三通道矩阵生成目标图像之后，所述方法还包括：

将所述目标图像输入至Resnet模型进行训练。

6.一种深度图像的预处理系统，其特征在于，所述系统包括：

获取单元，用于获取深度图像；

提取单元，用于提取所述深度图像的矩阵信息；

第一处理单元，用于从所述矩阵信息中提炼目标数据；

第二处理单元，用于将所述目标数据转化为三通道矩阵；

生成单元，用于根据所述三通道矩阵生成目标图像；

所述第一处理单元包括：

7.一种深度图像的预处理装置，其特征在于，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至5中任一项所述方法。

8.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至5中任一项所述方法。