CN112101252B - 一种基于深度学习的图像处理方法、系统、设备及介质 - Google Patents

一种基于深度学习的图像处理方法、系统、设备及介质 Download PDF

Info

Publication number
CN112101252B
CN112101252B CN202010988402.2A CN202010988402A CN112101252B CN 112101252 B CN112101252 B CN 112101252B CN 202010988402 A CN202010988402 A CN 202010988402A CN 112101252 B CN112101252 B CN 112101252B
Authority
CN
China
Prior art keywords
layer
image
neural network
coding
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010988402.2A
Other languages
English (en)
Other versions
CN112101252A (zh
Inventor
姚志强
周曦
曹睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yunconghonghuang Intelligent Technology Co Ltd
Original Assignee
Guangzhou Yunconghonghuang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yunconghonghuang Intelligent Technology Co Ltd filed Critical Guangzhou Yunconghonghuang Intelligent Technology Co Ltd
Priority to CN202010988402.2A priority Critical patent/CN112101252B/zh
Publication of CN112101252A publication Critical patent/CN112101252A/zh
Application granted granted Critical
Publication of CN112101252B publication Critical patent/CN112101252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种基于深度学习的图像处理方法，包括：获取待处理的多帧深度图像；利用基于深度卷积网络的特征编码模块对待处理的多帧深度图像进行编码，得到对应的信息编码向量；利用基于RNN循环神经网络的信息融合模块对所述信息编码向量进行融合，得到融合编码向量；通过基于深度反卷积网络的特征解码模块对所述融合编码向量进行解码，得到点云图，其中，所述点云图中每个像素点是一个三维数据点。本发明利用深度神经网络取代传统的复杂计算，可实现实时的重建融合。并且利用深度神经网络抽取特征并进行人脸拼接，经过数亿级别的不同表情变化数据进行训练，可以稳健地应对各种面部形变、各种角度变化、各种残缺情况。

Description

一种基于深度学习的图像处理方法、系统、设备及介质
技术领域
本发明涉及图像处理领域，特别是涉及一种基于深度学习的图像处理方法、系统、设备及介质。
背景技术
随着人工智能潮流的兴起，基于二维图像的2D人脸识别技术迅速发展成熟，已经成为个人身份鉴别的重要手段。但是二维人脸识别在不均匀光照、光照不足、人脸角度较大、化妆等场景错误率较高，且容易被二维图像、视频欺骗攻击，因此人们开始研究3D人脸技术以克服这些问题。
然而，目前真正基于3维信息的3D人脸识别技术，还有很多问题需要解决。目前受限于3D相机的性能，3D相机所采集到的单帧人脸深度图像质量比较差：1、相机及易受到强光，过曝以及反光等干扰，造成面部大面积部分缺失信息；2、在曲面梯度铰大的部分容易丢失信息，例如面部边缘，使得每帧能采集的人脸只有一小块，与2维相机有很大差距；3、由于相机视角、人脸角度等造成不可见部分信息的缺失。这些问题都会极大影响到3D人脸识别系统的准确度，阻碍其工程应用。
为了提升数据质量，可以连续拍摄若干帧3D数据，然后将这些不同帧的数据采用算法融合拼接起来，得到更加完整的人脸数据。但是现有的算法普遍采用计算量非常大的ICP算法，而残缺的人脸缺乏突出的几何特征，造成ICP算法很不稳定，而且基于ICP的算法会逐渐累积误差，为了消除这些问题又要引入更加复杂的优化算法，这样就造成了计算开销巨大，这样就导致在工程应用中，特别是在移动设备上，无法实现实时的多帧拼接融合。
此外，在多帧拍摄时，人脸往往会发生表情变化，这是传统算法所无法应对的，表情变化不仅会导致拼接容易失败，即使能拼接，变化的曲面叠加到一起，也会变成混乱无效的数据。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度学习的图像处理方法、系统、设备及介质，用于解决现有技术中的至少一个缺陷。
为实现上述目的及其他相关目的，本发明提供一种基于深度学习的图像处理方法，包括：
获取待处理的多帧深度图像；
利用基于深度卷积网络的特征编码模块对待处理的多帧深度图像进行编码，得到对应的多个信息编码向量；
利用基于RNN循环神经网络的信息融合模块对所述多个信息编码向量进行融合，得到融合编码向量；
通过基于深度反卷积网络的特征解码模块对所述融合编码向量进行解码，得到点云图，其中，所述点云图中每个像素点是一个三维数据点。
可选地，还包括：
获取与所述深度图像对应的UV图，所述UV图中的像素点与所述点云图中的像素点一一对应；
根据所述UV图确定所述点云图中各像素点表示的语义信息。
可选地，所述特征编码模块包括依次连接的卷积层、批归一化层、激活层、多个依次连接的残差层、维度变换层。
可选地，所述信息融合模块由多个RNN循环神经网络依次组成，上一个RNN循环神经网络的输出作为下一个RNN循环神经网络的输入，并且多个信息编码向量分别作为所述RNN循环神经网络的输入。
可选地，所述特征解码模块包括：依次连接的维度变换层、放大层、像素洗牌层。
可选地，所述放大层包括多个依次连接的放大单元，每个所述放大单元包括：
插值层，用于对上一层输出的数据进行放大，通过插值的方式计算每一个像素点上的值；
残差层，与所述插值层连接，所述残差层的输入为所述插值层的输出。
可选地，获取待处理的深度图像之前，包括：
对所述待处理的深度图像进行预处理，所述预处理包括：
检测多张待处理的深度图像中的目标区域，裁剪出多张目标区域图像；
对所述多张目标区域图像的尺寸进行调整，使多张目标区域图像的大小相同；
对大小相同的多张目标区域图像分别进行归一化处理，得到所述特征编码模块的输入图像。
为实现上述目的及其他相关目的，本发明提供一种基于深度学习的图像处理装置，包括：
图像获取模块，用于获取待处理的多帧深度图像；
特征编码模块，用于利用基于深度卷积网络的特征编码模块对待处理的多帧深度图像进行编码，得到对应的多个信息编码向量；
特征融合模块，用于利用基于RNN循环神经网络的信息融合模块对所述多个信息编码向量进行融合，得到融合编码向量；
特征解码模块，用于通过基于深度反卷积网络的特征解码模块对所述融合编码向量进行解码，得到点云图，其中，所述点云图中每个像素点是一个三维数据点。
可选地，还包括：
UV图获取模块，用于获取与所述深度图像对应的UV图，所述UV图中的像素点与所述点云图中的像素点一一对应；
语义确定模块，用于根据所述UV图确定所述点云图中各像素点表示的语义信息。
可选地，所述特征编码模块包括依次连接的卷积层、批归一化层、激活层、多个依次连接的残差层、维度变换层。
可选地，所述信息融合模块由多个RNN循环神经网络依次组成，上一个RNN循环神经网络的输出作为下一个RNN循环神经网络的输入，并且多个信息编码分别作为所述RNN循环神经网络的输入。
可选地，所述特征解码模块包括：依次连接的维度变换层、放大层、像素洗牌层。
为实现上述目的及其他相关目的，本发明提供提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行上述的方法。
为实现上述目的及其他相关目的，本发明提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行上述的方法。
如上所述，本发明提供的一种基于深度学习的图像处理方法，具有以下有益技术效果：
本发明的一种基于深度学习的图像处理方法，包括：获取待处理的多帧深度图像；
利用基于深度卷积网络的特征编码模块对待处理的多帧深度图像进行编码，得到对应的多个信息编码向量；利用基于RNN循环神经网络的信息融合模块对所述多个信息编码向量进行融合，得到融合编码向量；通过基于深度反卷积网络的特征解码模块对所述融合编码向量进行解码，得到点云图，其中，所述点云图中每个像素点是一个三维数据点。本发明利用深度神经网络取代传统的复杂计算，可实现实时的重建融合。并且利用深度神经网络抽取特征并进行人脸拼接，经过数亿级别的不同表情变化数据进行训练，可以稳健地应对各种面部形变、各种角度变化、各种残缺情况。
附图说明
图1为本发明一实施例的一种基于深度学习的图像处理方法的流程图；
图2为本发明一实施例的特征编码模块的结构示意图；
图3为本发明一实施例的信息融合模块的结构示意图；
图4为本发明一实施例的特征解码模块的结构框图；
图5为本发明一实施例的一种基于深度学习的图像处理装置的结构示意图；
图6为一实施例提供的终端设备的硬件结构示意图；
图7为另一实施例提供的终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，一种基于深度学习的图像处理方法，包括：
S11获取待处理的多帧深度图像；
S12利用基于深度卷积网络的特征编码模块对待处理的多帧深度图像进行编码，得到对应的多个信息编码向量；
S13利用基于RNN循环神经网络的信息融合模块对所述多个信息编码向量进行融合，得到融合编码向量；
S14通过基于深度反卷积网络的特征解码模块对所述融合编码向量进行解码，得到点云图，其中，所述点云图中每个像素点是一个三维数据点。
本发明对待处理的深度图像进行特征抽取并进行融合，可以经过数亿级别的不同表情变化数据进行训练，可以稳健地应对各种形变、各种角度变化、各种残缺情况。
在一实施例中，深度图像，可以使用3D相机对进行采集，依据具体使用场景、现场环境、目标状态的不同，通过3D相机采集一张或者多张(任意时长、表情、姿态)的深度图像。
在一实施例中，所述待处理的深度图像，可以是人脸图像或人体图像，或其他图像。若所述的待处理的深度图像为人脸图像，则特征编码模块对人脸深度图像进行编码，特征解码模块对融合编码进行解码，得到的是人脸点云图。
在一实施例中，得到待处理图像的点云图后，还包括：
获取与所述深度图像对应的UV图，所述UV图中的像素点与所述点云图中的像素点一一对应；
根据所述UV图确定所述点云图中各像素点表示的语义信息。
点云图是一种特殊的图片数据结构，每一个像素点上存储的不是颜色信息，而是一个三维数据点的坐标(x,y,z)。该图片上的每一个像素与尺寸相同的UV图一一对应。脸UV图可由工业3维建模软件生成，但此处并不关心UV图上的纹理信息，而只关注UV图上对应的目标的语义信息。UV图可以看做是一个查表工具，UV图上每一个二维像素点都有确切的含义，目标的每个区域在UV图上都有固定的区域。通过UV图可以知道点云图上的某个点的具体表示。通过在UV图上手工标注目标关键点，可以通过这些目标关键点的位置，在点云图上查找目标关键点对应的三维点，从而得到目标的真实空间位置。依据UV图上属于目标的区域，将点云图上的点取出，就可以得到融合后的完整的点云。此外，UV图上还定义了每个点与其他点的三角面关系，将这些固定的三角面关系与目标点云组合，就得到了目标的曲面三角网格表示。UV图只需要利用3维建模软件生成一次即可，但如果需要更换新的UV图，则需要将前面的深度网络模块在新数据上重新训练，才能在新的UV图上工作。
通过将目标点云图与UV图结合，可以得到融合、补全后的目标的多种表示方式：目标三维点云、目标曲面三角网格、目标三维空间关键点等。这些数据可以作为后续任务的输入。如目标的识别等任务，为后续任务提供更加完整、稳定、丰富的数据，从而提升后续任务的稳定性和准确性。
若点云图是人脸点云图，则该人脸点云图上的每一个像素与一个尺寸与人脸点云图相同的人脸UV图一一对应。通过将人脸点云图与人脸UV图结合，可以得到融合、补全后的人脸的多种表示方式：人脸三维点云、人脸曲面三角网格、人脸三维空间关键点等。这些数据可以作为后续任务的输入，如人脸识别等任务，为后续任务提供更加完整、稳定、丰富的数据，从而提升后续任务的稳定性和准确性。
本发明将UV图与点云图进行结合除了能输出融合后的点云以外，还能输出曲面三角网格，以及语义信息，依据该语义信息，可以知道点云上每一个点属于人脸的那个部位，例如是嘴角还是鼻尖。
在一实施例中，如图2所示，所述特征编码模块基于深度卷积网络组成，包括：依次连接的卷积层convolution、批归一化层Batch normalization、激活层activation、多个依次连接的残差层(例如，ResNext block1、ResNext block2、......、ResNext block8)、维度变换层view(将残差层ResNext block8输出的信息编码向量的维度统一到一维)。通过该特征编码模块，可以得到n张深度图对应的n个信息编码向量。
在一实施例中，如图3所示，所述信息融合模块由多个RNN循环神经网络依次组成，上一个RNN循环神经网络的输出作为下一个RNN循环神经网络(Recurrent NeuralNetwork,RNN)的输入，并且多个信息编码分别作为所述RNN循环神经网络的输入。
例如，第一层的输入为信息编码向量1，第二层的输入为信息编码向量2和第一层的输出，第三层的输入为信息编码向量3和第二层的输出，以此类推，最后一层的输入为上一层的输出和信息编码向量n，最后一层的输出为融合编码向量。
在一实施例中，如图4所示，所述解码模块包括由深度反卷积网络构成，包括：依次连接的维度变换层view层、放大层、像素洗牌层Pixel shuffle。
像素洗牌层Pixel shuffle，用于对上一层输出的数据进行放大，通过在输入数据上进行周期筛选来得到输出数据上每一个像素点上的值。具体地，像素洗牌层Pixelshuffle的工作原理是，将上一层输出的2维数据作为输入，将其尺寸(宽、高)放大1倍，通过在输入数据上进行周期筛选来得到输出数据上每一个像素点上的值。
在一实施例中，所述放大层包括多个依次连接的放大单元，每个所述放大单元包括：
插值层，用于对上一层输出的数据进行放大，通过插值的方式计算每一个像素点上的值；
残差层ResNext block，与所述插值层连接，所述残差层的输入为所述插值层的输出。
具体地，插值层是将上一层输出的2维数据作为输入，将其尺寸(宽、高)放大1倍，然后使用插值的方式来计算每一个像素点上的值。
在一实施例中，获取待处理的深度图像之前，包括：
对所述待处理的深度图像进行预处理，所述预处理包括：
检测多张待处理的深度图像中的目标区域，裁剪出多张目标区域图像；
对所述多张目标区域图像的尺寸进行调整，使多张目标区域图像的大小相同；
对大小相同的多张目标区域图像分别进行归一化处理，得到所述特征编码模块的输入图像。
若待处理的深度图像为人脸图像，则首先对每一张图像进行人脸检测，获取人脸的位置，依据这个位置从对应的深度图中裁剪出人脸区域，将每一张裁剪出的深度图片调整尺寸到固定的256*256的大小，然后进行数据归一化处理，作为下一步的输入深度图片。
本发明利用深度神经网络取代传统的复杂计算，可实现实时的重建融合，并且利用深度神经网络抽取特征并进行人脸拼接，经过数亿级别的不同表情变化数据进行训练，可以稳健地应对各种面部形变、各种角度变化、各种残缺情况。
如图5所示，一种基于深度学习的图像处理装置，包括：
图像获取模块51，用于获取待处理的多帧深度图像；
特征编码模块52，用于利用基于深度卷积网络的特征编码模块对待处理的多帧深度图像进行编码，得到对应的多个信息编码向量；
特征融合模块53，用于利用基于RNN循环神经网络的信息融合模块对所述多个信息编码向量进行融合，得到融合编码向量；
特征解码模块54，用于通过基于深度反卷积网络的特征解码模块对所述融合编码向量进行解码，得到点云图，其中，所述点云图中每个像素点是一个三维数据点。
本发明对待处理的深度图像进行特征抽取并进行融合，可以经过数亿级别的不同表情变化数据进行训练，可以稳健地应对各种形变、各种角度变化、各种残缺情况。
在一实施例中，深度图像，可以使用3D相机对进行采集，依据具体使用场景、现场环境、目标状态的不同，通过3D相机采集一张或者多张(任意时长、表情、姿态)的深度图像。
在一实施例中，所述待处理的深度图像，可以是人脸图像或人体图像，或其他图像。若所述的待处理的深度图像为人脸图像，则特征编码模块对人脸深度图像进行编码，特征解码模块对融合编码进行解码，得到的是人脸点云图。
在一实施例中，该装置还包括：
UV图获取模块，用于获取与所述深度图像对应的UV图，所述UV图中的像素点与所述点云图中的像素点一一对应；
语义确定模块，用于根据所述UV图确定所述点云图中各像素点表示的语义信息。
点云图是一种特殊的图片数据结构，每一个像素点上存储的不是颜色信息，而是一个三维数据点的坐标(x,y,z)。该图片上的每一个像素与尺寸相同的UV图一一对应。脸UV图可由工业3维建模软件生成，但此处并不关心UV图上的纹理信息，而只关注UV图上对应的目标的语义信息。UV图可以看做是一个查表工具，UV图上每一个二维像素点都有确切的含义，目标的每个区域在UV图上都有固定的区域。通过UV图可以知道点云图上的某个点的具体表示。通过在UV图上手工标注目标关键点，可以通过这些目标关键点的位置，在点云图上查找目标关键点对应的三维点，从而得到目标的真实空间位置。依据UV图上属于目标的区域，将点云图上的点取出，就可以得到融合后的完整的点云。此外，UV图上还定义了每个点与其他点的三角面关系，将这些固定的三角面关系与目标点云组合，就得到了目标的曲面三角网格表示。UV图只需要利用3维建模软件生成一次即可，但如果需要更换新的UV图，则需要将前面的深度网络模块在新数据上重新训练，才能在新的UV图上工作。
通过将目标点云图与UV图结合，可以得到融合、补全后的目标的多种表示方式：目标三维点云、目标曲面三角网格、目标三维空间关键点等。这些数据可以作为后续任务的输入。如目标的识别等任务，为后续任务提供更加完整、稳定、丰富的数据，从而提升后续任务的稳定性和准确性。
若点云图是人脸点云图，则该人脸点云图上的每一个像素与一个尺寸与人脸点云图相同的人脸UV图一一对应。通过将人脸点云图与人脸UV图结合，可以得到融合、补全后的人脸的多种表示方式：人脸三维点云、人脸曲面三角网格、人脸三维空间关键点等。这些数据可以作为后续任务的输入，如人脸识别等任务，为后续任务提供更加完整、稳定、丰富的数据，从而提升后续任务的稳定性和准确性。
本发明将UV图与点云图进行结合除了能输出融合后的点云以外，还能输出曲面三角网格，以及语义信息，依据该语义信息，可以知道点云上每一个点属于人脸的那个部位，例如是嘴角还是鼻尖。
在一实施例中，所述特征编码模块基于深度卷积网络组成，包括：依次连接的卷积层convolution、批归一化层Batch normalization、激活层activation、多个依次连接的残差层(例如，ResNext block1、ResNext block2、......、ResNext block8)、维度变换层view(将残差层ResNext block8输出的信息编码向量的维度统一到一维)。通过该特征编码模块，可以得到n张深度图对应的n个信息编码向量。
在一实施例中，所述信息融合模块由多个RNN循环神经网络依次组成，上一个RNN循环神经网络的输出作为下一个RNN循环神经网络(Recurrent Neural Network,RNN)的输入，并且多个信息编码分别作为所述RNN循环神经网络的输入。
例如，第一层的输入为信息编码向量1，第二层的输入为信息编码向量2和第一层的输出，第三层的输入为信息编码向量3和第二层的输出，以此类推，最后一层的输入为上一层的输出和信息编码向量n，最后一层的输出为融合编码向量。
在一实施例中，所述解码模块包括由深度反卷积网络构成，包括：依次连接的维度变换层view层、放大层、像素洗牌层Pixel shuffle。
像素洗牌层Pixel shuffle，用于对上一层输出的数据进行放大，通过在输入数据上进行周期筛选来得到输出数据上每一个像素点上的值。具体地，像素洗牌层Pixelshuffle的工作原理是，将上一层输出的2维数据作为输入，将其尺寸(宽、高)放大1倍，通过在输入数据上进行周期筛选来得到输出数据上每一个像素点上的值。
在一实施例中，所述放大层包括多个依次连接的放大单元，每个所述放大单元包括：
插值层，用于对上一层输出的数据进行放大，通过插值的方式计算每一个像素点上的值；
残差层ResNext block，与所述插值层连接，所述残差层的输入为所述插值层的输出。
具体地，插值层是将上一层输出的2维数据作为输入，将其尺寸(宽、高)放大1倍，然后使用插值的方式来计算每一个像素点上的值。
在一实施例中，还包括预处理模块，用于在获取待处理的深度图像之前，对所述待处理的深度图像进行预处理，所述预处理包括：
检测多张待处理的深度图像中的目标区域，裁剪出多张目标区域图像；
对所述多张目标区域图像的尺寸进行调整，使多张目标区域图像的大小相同；
对大小相同的多张目标区域图像分别进行归一化处理，得到所述特征编码模块的输入图像。
若待处理的深度图像为人脸图像，则首先对每一张图像进行人脸检测，获取人脸的位置，依据这个位置从对应的深度图中裁剪出人脸区域，将每一张裁剪出的深度图片调整尺寸到固定的256*256的大小，然后进行数据归一化处理，作为下一步的输入深度图片。
在本实施例中，该设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中交易管理方法所包含步骤的指令(instructions)。
图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
在某些实施方式中，上述第一处理器1101例如可以为中央处理器(CentralProcessing Unit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
在某些实施方式中，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。在某些实施方式中，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；在某些实施方式中，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；在某些实施方式中，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于深度学习的图像处理方法，其特征在于，包括：
获取待处理的多帧深度图像；
利用基于深度卷积网络的特征编码模块对待处理的多帧深度图像进行编码，得到对应的多个信息编码向量；每一帧深度图像对应一个信息编码向量；
利用基于RNN循环神经网络的信息融合模块对所述多个信息编码向量进行融合，得到融合编码向量；
所述信息融合模块由多个RNN循环神经网络依次组成，上一个RNN循环神经网络的输出作为下一个RNN循环神经网络的输入，并且一个信息编码向量作为一个所述RNN循环神经网络的输入，每一个信息编码向量对应一个RNN循环神经网络；
通过基于深度反卷积网络的特征解码模块对所述融合编码向量进行解码，得到点云图，其中，所述点云图中每个像素点是一个三维数据点。
2.根据权利要求1所述的基于深度学习的图像处理方法，其特征在于，还包括：
获取与所述深度图像对应的UV图，所述UV图中的像素点与所述点云图中的像素点一一对应；
根据所述UV图确定所述点云图中各像素点表示的语义信息。
3.根据权利要求1所述的基于深度学习的图像处理方法，其特征在于，所述特征编码模块包括依次连接的卷积层、批归一化层、激活层、多个依次连接的残差层、维度变换层。
4.根据权利要求1所述的基于深度学习的图像处理方法，其特征在于，所述特征解码模块包括：依次连接的维度变换层、放大层、像素洗牌层。
5.根据权利要求4所述的基于深度学习的图像处理方法，其特征在于，所述放大层包括多个依次连接的放大单元，每个所述放大单元包括：
插值层，用于对上一层输出的数据进行放大，通过插值的方式计算每一个像素点上的值；
残差层，与所述插值层连接，所述残差层的输入为所述插值层的输出。
6.根据权利要求1所述的基于深度学习的图像处理方法，其特征在于，获取待处理的深度图像之前，包括：
对所述待处理的深度图像进行预处理，所述预处理包括：
检测多张待处理的深度图像中的目标区域，裁剪出多张目标区域图像；
对所述多张目标区域图像的尺寸进行调整，使多张目标区域图像的大小相同；
对大小相同的多张目标区域图像分别进行归一化处理，得到所述特征编码模块的输入图像。
7.一种基于深度学习的图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理的多帧深度图像；
特征编码模块，用于利用基于深度卷积网络的特征编码模块对待处理的多帧深度图像进行编码，得到对应的多个信息编码向量；每一帧深度图像对应一个信息编码向量；
特征融合模块，用于利用基于RNN循环神经网络的信息融合模块对所述多个信息编码向量进行融合，得到融合编码向量；所述信息融合模块由多个RNN循环神经网络依次组成，上一个RNN循环神经网络的输出作为下一个RNN循环神经网络的输入，并且一个信息编码向量作为一个所述RNN循环神经网络的输入，每一个信息编码向量对应一个RNN循环神经网络；
特征解码模块，用于通过基于深度反卷积网络的特征解码模块对所述融合编码向量进行解码，得到点云图，其中，所述点云图中每个像素点是一个三维数据点。
8.根据权利要求7所述的基于深度学习的图像处理装置，其特征在于，还包括：
UV图获取模块，用于获取与所述深度图像对应的UV图，所述UV图中的像素点与所述点云图中的像素点一一对应；
语义确定模块，用于根据所述UV图确定所述点云图中各像素点表示的语义信息。
9.根据权利要求7所述的基于深度学习的图像处理装置，其特征在于，所述特征编码模块包括依次连接的卷积层、批归一化层、激活层、多个依次连接的残差层、维度变换层。
10.根据权利要求9所述的基于深度学习的图像处理装置，其特征在于，所述特征解码模块包括：依次连接的维度变换层、放大层、像素洗牌层。
11.一种基于深度学习的图像处理设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-6中一个或多个所述的方法。
12.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-6中一个或多个所述的方法。
CN202010988402.2A 2020-09-18 2020-09-18 一种基于深度学习的图像处理方法、系统、设备及介质 Active CN112101252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010988402.2A CN112101252B (zh) 2020-09-18 2020-09-18 一种基于深度学习的图像处理方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010988402.2A CN112101252B (zh) 2020-09-18 2020-09-18 一种基于深度学习的图像处理方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN112101252A CN112101252A (zh) 2020-12-18
CN112101252B true CN112101252B (zh) 2021-08-31

Family

ID=73759691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010988402.2A Active CN112101252B (zh) 2020-09-18 2020-09-18 一种基于深度学习的图像处理方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112101252B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240792B (zh) * 2021-04-29 2022-08-16 浙江大学 一种基于人脸重建的图像融合生成式换脸方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543858A (zh) * 2019-09-05 2019-12-06 西北工业大学 多模态自适应融合的三维目标检测方法
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110738200A (zh) * 2019-12-23 2020-01-31 广州赛特智能科技有限公司 车道线3d点云地图构建方法、电子设备及存储介质
CN111242845A (zh) * 2020-01-22 2020-06-05 苏州丹升智慧科技有限公司 一种3d人像重建方法、电子设备及计算机可读存储介质
CN111275026B (zh) * 2020-03-23 2022-09-13 复旦大学 一种三维点云联合语义和实例分割的方法
CN111626226B (zh) * 2020-05-28 2021-01-29 广西壮族自治区人民医院 一种颈部转动识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543858A (zh) * 2019-09-05 2019-12-06 西北工业大学 多模态自适应融合的三维目标检测方法
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法

Also Published As

Publication number Publication date
CN112101252A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
WO2020207191A1 (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN110503703B (zh) 用于生成图像的方法和装置
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
US20210035346A1 (en) Multi-Plane Model Animation Interaction Method, Apparatus And Device For Augmented Reality, And Storage Medium
JP6154075B2 (ja) オブジェクト検出及び分割の方法，装置，コンピュータプログラム製品
US20220351390A1 (en) Method for generating motion capture data, electronic device and storage medium
US20200410211A1 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
CN112052792B (zh) 一种跨模型人脸识别方法、装置、设备及介质
CN111047509A (zh) 一种图像特效处理方法、装置及终端
CN111062276A (zh) 基于人机交互的人体姿态推荐方法、装置、机器可读介质及设备
KR20230003132A (ko) 측광-기반 3d 객체 모델링
CN109582122A (zh) 增强现实信息提供方法、装置及电子设备
CN111275824A (zh) 用于交互式增强现实的表面重建
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN112101252B (zh) 一种基于深度学习的图像处理方法、系统、设备及介质
CN112115954B (zh) 一种特征提取方法、装置、机器可读介质及设备
CN113870413A (zh) 三维重建方法、装置、电子设备及存储介质
CN111080589A (zh) 目标对象匹配方法、系统、设备及机器可读介质
CN114299615A (zh) 基于关键点的多特征融合的动作识别方法、装置、介质及设备
CN111818364B (zh) 视频融合方法、系统、设备及介质
CN112232143B (zh) 一种人脸点云优化方法、装置、机器可读介质及设备
CN114049473A (zh) 图像处理方法及装置
CN112257581A (zh) 一种人脸检测方法、装置、介质及设备
CN112258392A (zh) 一种超分辨图像训练方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant