CN108830782A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN108830782A CN108830782A CN201810532243.8A CN201810532243A CN108830782A CN 108830782 A CN108830782 A CN 108830782A CN 201810532243 A CN201810532243 A CN 201810532243A CN 108830782 A CN108830782 A CN 108830782A
- Authority
- CN
- China
- Prior art keywords
- artis
- image
- target object
- neural network
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000000694 effects Effects 0.000 claims abstract description 94
- 238000003062 neural network model Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 11
- 210000005036 nerve Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 210000001503 joint Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机设备和存储介质，首先通过神经网络模型识别出图像中目标对象的关节点，之后再根据预设效果选择目标对象的关节点进行处理得到处理后的图像。由于目标对象的关节点与目标对象的形态密切相关，因此，基于目标对象的关节点对图像进行处理，可以得到更加逼真、精细的特效图像。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
特效图像由于其趣味性深受众多用户的喜爱。传统技术中，一般采用首先识别出图像目标对象，之后在识别出的目标对象上施加预设效果的方式得到特效图像。
但是通过传统技术得到的特效图像，存在施加的特效位置准确性差，特效效果粗糙等问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够精细的为处理的图像增加特效的方法、装置、计算机设备和存储介质。
第一方面，本申请实施例提供一种图像处理方法，包括如下步骤：
获取图像，并对获取的图像进行编码处理得到模型数据；
将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征；
根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点；
根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像。
在其中一个实施例中，所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤包括：
根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；
根据预设效果，将所述操作关节点从初始位置移动至目标位置，得到处理后的图像。
在其中一个实施例中，所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤包括：
根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；
基于所述操作关节点增加预设效果，得到处理后的图像。
在其中一个实施例中，若所述图像为解码视频数据得到的多帧图像，则所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤包括：
根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；
根据所述多帧图像的时序，得到所述操作关节点的时序序列；
根据预设效果，在所述时序序列中增加特效，得到处理后的图像序列。
在其中一个实施例中，若所述目标对象为人体，则所述将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征；根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点的步骤包括：
将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中人体的肢体分布图；
根据所述人体的肢体分布图，对所述多个关节点进行聚类，得到所述关节点的人物类别；
根据所述关节点的人物类别，得到所述图像中的每一人体的关节点。
在其中一个实施例中，在将所述模型数据输入神经网络模型的步骤之前，所述方法还包括：
获取训练图像，并对所述训练图像中的关节点和人体的肢体分布进行标注，得到多个模型训练图像样本；
对所述多个模型训练图像样本进行编码，得到多个模型训练数据；
使用所述多个模型训练数据训练原始神经网络模型，得到所述神经网络模型。
在其中一个实施例中，所述使用所述多个模型训练数据训练原始神经网络模型，得到神经网络模型的步骤包括：
根据目标任务构建所述神经网络模型中的神经网络；
将所述多个模型训练数据输入所述神经网络，迭代执行所述神经网络的正向推导和反向传播算法，得到所述神经网络模型；
所述目标任务包括：骨骼关节点回归任务、肢体分布回归任务和人物类别聚类任务。
第二方面，本申请实施例提供一种图像处理装置，所述装置包括：
获取模块，用于获取图像，并对获取的图像进行编码处理得到模型数据；
关节点识别模块，用于将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征；
关节点处理模块，用于根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点；并根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像。
第三方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请任意实施例提供的图像处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意实施例提供的图像处理方法本申请涉及一种图像处理方法、装置、计算机设备和存储介质，该图像处理方法包括：首先通过神经网络模型识别出图像中目标对象的关节点，之后再根据预设效果选择目标对象的关节点进行处理得到处理后的图像。由于目标对象的关节点与目标对象的形态密切相关，因此，基于目标对象的关节点对图像进行处理，可以得到更加逼真、精细的特效图像。
附图说明
图1为本申请一个实施例中图像处理方法的应用环境图；
图2为本申请一个实施例中图像处理方法的流程示意图；
图3为本申请一个实施例中根据预设效果选择目标对象的关节点进行处理，得到处理后的图像的步骤流程示意图；
图4为本申请另一个实施例中根据预设效果选择目标对象的关节点进行处理，得到处理后的图像的步骤流程示意图；
图5为本申请另一个实施例中根据预设效果选择目标对象的关节点进行处理，得到处理后的图像的步骤流程示意图；
图6为本申请另一个实施例中确定目标对象的关节点的步骤流程示意图；
图7为本申请另一个实施例中图像处理方法的补充步骤流程示意图；
图8为本申请一个实施例中得到神经网络模型的步骤流程示意图；
图9为本申请一个实施例中人体图像特效生成装置的结构框图；
图10为本申请一个实施例中计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，图像采集装置110与计算机设备120连接。其中，图像采集装置110与计算机设备120可以设置为一体式终端，该一体式终端可以包含但不限于是各种智能手机、平板电脑和便携式可穿戴设备、个人计算机、笔记本电脑。该图像采集装置110与计算机设备120还可以是分别独立的设置的图像采集设备(例如车载摄像头)与服务器。该图像采集设备通过网络与服务器通信连接，该服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
可选地，该计算机设备120包含至少一个处理器121与存储器122。可选地，该处理器121可以为CPU(Central Processing Unit，中央处理器)，GPU(Graphics ProcessingUnit，图形处理器)，IPU(Intelligence Processing Unit，智能处理器)等等，优选适于图像处理的GPU或者适于运行神经网络算法的IPU。可选地，该处理器121为多核处理器，例如多核GPU。
可选的，该存储器122上存储有图像处理的神经网络算法。在处理器121进行图像处理时，可以调用存储器122上存储的神经网络算法进行图像处理。
可选地，该计算机设备的多个处理器121或者某一处理器121的多个处理器核可以并行处理多个操作任务，以提高计算机设备120的数据处理效率。可选地应当清楚的是，该处理器121可以运行神经网络模型的算法，对输入神经网络模型的数据进行处理。可选地，输入神经网络模型的数据，可以是原始数据，例如获取的相片、视频等等；也可以是经编码后具有固定格式的数据，例如经one-hot编码的数据等等。
在一个实施例中，如图2所示，提供了一种图像处理方法，现以图1所示的应用环境为例进行说明，包括以下步骤：
步骤S210：获取图像，并对获取的图像进行编码处理得到模型数据。
具体的，计算机设备120的处理器121获取图像，并对获取的图像进行编码处理得到模型数据。可选的，该图像可以为RGB格式的图像。可选的，使用one-hot编码获取的图像中的像素值，得到模型数据。
步骤S220：将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征。
其中，目标对象的特征是指可以用于区分当前目标对象与其他目标对象的特征。具体的，计算机设备120的处理器121在获取模型数据后，将该模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征。可选的，处理器121获取模型数据后，调用存储于存储区122上的神经网络模型的各网络层的算法，对输入的模型数据进行运算处理，最终输出得到所述图像中的多个关节点和所述图像中目标对象的特征。例如：进行编码处理的图像中包含两个目标对象：人体X和人体Y，神经网络模型首先得到的图像中的所有关节点：A，B，C，D，E，F；以及人体X和人体Y的特征。
步骤S230：根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点。
具体的，计算机设备120的处理器121根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点。可选的，处理器121首先获取图像中目标对象的特征，在根据目标对象的特征对获取的关节点进行分类，确定各关节点所属的目标对象类别，即得到各目标对象的关节点。例如：得到图像中包含目标对象：人体X和人体Y，图像中包含关节点：A，B，C，D，E，F。处理器在确定关节点A，B，C，D，E，F属于的目标对象类别(属于人体A还是人体B)时，需首先获取人体X和人体Y的特征，之后再根据人体X和人体Y的特征对关节点A，B，C，D，E，F进行分类，得到属于人体X的关节点(A，B，C)和属于人体Y的关节点(D，E，F)。
步骤S240：根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像。
其中，预设效果是指对图像处理后期望得到的效果。具体的，计算机设备120的处理器121根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像。可选的，处理器121首先从获取的目标对象中确定待处理的目标对象，再从待处理的目标对象的关节点中确定出目标关节点，最后基于该目标关节点对图像增加特效，得到处理后的图像。例如：处理后图像的预设效果为：为图像中的人体插上翅膀。在某图像中目标对象人体X的关节点为A，B，C；目标对象人体Y的关节点为D，E，F。处理器121首先根据预设效果确定待处理的目标对象：人体X和人体Y，之后再确定人体X和人体Y的目标关节点，得到人体X的目标关节点为A，人体Y的目标关键点为E，最后基于关节点A和关节点E分别为人体X和人体Y增加翅膀特效，得到处理后的图像。同理可根据识别图像中人体的手臂关节点，躯干部关节点以及腿部关节点实现为图像中人体更换盔甲的效果，在此不再做如何更换铠甲特效这一方案的详细阐述。
上述实施例提出的图像处理方法，首先通过神经网络模型识别出图像中目标对象的关节点，之后再根据预设效果选择目标对象的关节点进行处理得到处理后的图像。由于目标对象的关节点与目标对象的形态密切相关，因此，基于目标对象的关节点对图像进行处理，可以得到更加逼真、精细的特效图像。
作为一种可选的实施方式，如图3所示，所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤包括：
步骤S231a：根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点。
其中，操作关节点是指在图像后续处理过程中将使用的关节点。具体的，处理器121根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点。可选的，该预设效果为对骨骼的拉伸、缩短、扭曲等效果中的一种或几种。可选的，处理器首先根据预设效果从图像中的所有目标对象中选择待处理的目标对象，之后再根据预设效果从待处理的目标对象的关节点中选出操作关节点。例如，预设效果为：拉伸人体X的腿部，则处理器首先确定目标对象人体X，之后在从人体X的关节点中选出肘部关节的关节点作为操作关节点。
应当清楚的是，上述图像的预设效果可以是图像中所有的目标对象进行处理，也可以是对图像中部分目标对象进行处理。
步骤S232a：根据预设效果，将所述操作关节点从初始位置移动至目标位置，得到处理后的图像。
具体的，处理器121根据预设效果，将所述操作关节点从初始位置移动至目标位置，得到处理后的图像。可选的，处理器121首先计获取操作关节点的初始位置到目标位置的移动路径，之后按照该移动路径将操作关节点从初始位置移动至目标位置。
上述实施例在对图像中的目标对象进行变形处理时，可以得到逼真的变形后的目标对象的图像。
作为一种可选的实施方式，如图4所示，所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤包括：
步骤S231b：根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点。
其中，操作关节点是指在图像后续处理过程中将使用的关节点。具体的，处理器121根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点。可选的，该预设效果为目标对象插上翅膀，为目标对象更换盔甲或者在目标对象皮肤上增加贴纸等效果中的一种或几种。可选的，处理器首先根据预设效果从图像中的所有目标对象中选择待处理的目标对象，之后再根据预设效果从待处理的目标对象的关节点中选出操作关节点。例如，预设效果为：为人体X的插上翅膀，则处理器首先确定目标对象人体X，之后在从人体X的关节点中选出躯干部位的关节的脊椎关节点作为操作关节点。
应当清楚的是，上述图像的预设效果可以是图像中所有的目标对象进行处理，也可以是对图像中部分目标对象进行处理。
步骤S232b：基于所述操作关节点增加预设效果，得到处理后的图像。
具体的，处理器121基于所述操作关节点增加预设效果，得到处理后的图像。可选的，处理器121首先根据预设效果，获取基于操作做节点的图像处理区域，之后再根据预设效果获取图像处理区域各像素点的像素值，最后使用获取的像素值对图像处理区域进行渲染，从而实现对图像增加预设效果，得到处理后的图像。例如：在操作关节点为脊椎关节点，预设效果为插上翅膀时，处理器121首先在选择的脊椎关节点处增加翅膀根部图像效果，之后再基于该翅膀根部图像延展渲染成整个翅膀的效果，得到为目标对象人体X插上翅膀的特效。可选的，在对预处理像素点进行渲染后，还可以出图像进行平滑处理，以使图像纹理更加逼真。可选的，该增加的预设效果可以为增加翅膀、贴纸等特效。
本实施例提出的图像处理方法，可以为图像中的目标对象在预设位置精确的增加翅膀，或者贴纸等预设效果。
作为一种可选的实施方式，所述获取图像的步骤包括：获取视频数据，并对所述视频数据进行解码，得到多帧图像。
具体的，计算机设备120的处理器121获取视频数据后，对所述视频数据进行解码，得到多帧图像。可选的，该视频数据可以是视频采集装置110采集的RGB格式的视频数据。
作为一种可选的实施方式，如图5所示，若使用上述图像处理方法处理的图像为视频数据解码得到的多帧图像，则所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤可以包括：
步骤S231c：根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节。
具体的，处理器121根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点。可选的，处理器首先根据预设效果从图像中的所有目标对象中选择待处理的目标对象，之后再根据预设效果从待处理的目标对象的关节点中选出操作关节点。
应当清楚的是，上述图像的预设效果可以是图像中所有的目标对象进行处理，也可以是对图像中部分目标对象进行处理。
步骤S232c：根据所述多帧图像的时序，得到所述操作关节点的时序序列。
具体的，处理器121根据所述多帧图像的时序，得到所述操作关节点的时序序列。可选的，处理器121首先获取各帧图像中原始操作关节点，之后根据各帧图像的邻帧图像中对应的原始操作关节点，对各帧图像中原始操作关节点进行修正，得到各帧图像中操作关节点；之后再根据各帧图像的时序得到操作关节点时序序列。
例如，对某一视频数据解码后，得到N帧图像，该视频数据中包含人体X和人体Y，得到的第一帧图像中人体X的原始操作关节点A1，人体Y的原始操作关节点D1；第二帧图像中人体X的原始操作关节点A2，人体Y的原始操作关节点D2；……；第N帧图像中人体X的原始操作关节点An，人体Y的原始操作关节点Dn。此时，处理器121首先根据第一帧图像中的原始操作关节点A1，D1，修正第二帧图像中原始操作关节点A2，D2，得到第二帧图像中人体X的操作关节点A2’和人体Y的操作关节点D2’；同理得到第三帧到第N帧的图像中的人体X的操作关节点和人体Y的操作关节点，最后按照各帧图像的时序排列第二帧到第N帧图像中人体X的操作关节点和人体Y的操作关节点，得到人体X的操作关节点的时序序列和人体Y的操作关节点的时序序列。
步骤S233c：根据预设效果，在所述时序序列中增加特效，得到处理后的图像序列。
具体的，处理器121根据预设效果，在所述时序序列中增加特效，得到处理后的视频数据。可选的，处理器121将整体的预设效果拆分为与多帧图像的对应的子预设效果，之后基于各帧图像中的操作关节点，将该子预设效果对应增加至时序序列中各帧图像中，得到处理后的图像序列。上述处理通过解码视频数据得到的多帧图像的方法为在视频数据中增加特效的基础，只要对得到的图像序列进行平滑处理即可得到增加特效的视频数据。
例如，预设效果为：随视频数据中人体X的手部移动，描绘一道火焰。则处理器121首先确定视频数据的各帧图像中的目标对象人体X，以及各帧图像中的手部关节点，之后再对预设的一道火焰进行分解，得到每帧图像对应的子预设效果(每帧图像中火焰的形状位置等信息)，最后将每帧图像对应的子预设效果施加至各帧图像，进而得到时间子预设效果的图像帧序列。对图像帧序列进行平滑处理后即可得到施加了一道火焰效果的视频数据。同理还可以对视频数据增加星星等特效，在此不再做详细阐述。
上述实施例提出的对视频数据的处理方法可以实现对视频数据中动态的目标对象施加特效，且得到的施加特效后的视频数据逼真，效果细腻。
作为一种可选的实施方式，上述目标对象可以为人体、动物、机器人等具有关节点的对象。应当清楚的是，使用神经网络模型进行数据处理得到的目标对象的特征，为对应目标对象的特征。例如目标对象为人体时，该目标对象的特征可以为人体的肢体分布图。该肢体分布表示图像中人体各部位的分布形态。
作为一种可选的实施方式，如图6所示，在目标对象为人体时，所述将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征；根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点的步骤包括：
步骤S220’：将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中人体的肢体分布图。
步骤S230’：根据所述人体的肢体分布图，对所述多个关节点进行聚类，得到所述关节点的人物类别，并根据所述关节点的人物类别，得到所述图像中的每一人体的关节点。
具体的，处理器121首先运行神经网络模型的各层网络对输入模型的数据进行处理得到图像中的多个关节点，以及人体的肢体分布图。之后根据图像中的人体的肢体分布图，对图像中的多个关节点进行聚类，得到图像中每一关节点所属的人物类别。可选的，处理器121首先确定图像中人体的数目，并基于该数目设置人物类别的类别数，即得到图像中各人体包含的关节点。
首先基于神经网络模型提出图像中的关节点和人体的肢体分布特征，之后根据人体的肢体分布特征对关节点进行聚类，可以快速准确的识别出图像中的关节点属于哪一人体。
作为一种可选的实施方式，如图7所示，在所述将原始图像输入神经网络模型的步骤之前，还包括：
步骤S240：获取训练图像，并对所述训练图像中的关节点和人体的肢体分布进行标注，得到多个模型训练图像样本。具体的，使用标注工具(例如Photoshop等软件)对训练图像中进行人工标注。可选的，对训练图像中进行人工标注包括：标注训练图像中的每一人体的关节点；以及根据人体生理特征标注每一人体的关节点连线。可选的，还可以对所述训练图像进行数据增强预处理，例如将训练图像进行翻转和/或扰动操作。
步骤S250：对所述多个模型训练图像样本进行编码，得到多个模型训练数据。
具体的，根据预设方式(例如one-hot编码)对所述多个模型训练图像样本进行编码，得到多个模型训练数据。
步骤S260：使用所述多个模型训练数据训练原始神经网络模型，得到所述神经网络模型。具体的，预先根据目标任务构建神经网络模型的神经网络结构，之后，使用步骤S240得到的多个模型训练数据训练原始神经网络模型，直至网络模型的网络收敛，得到神经网络模型。该目标任务包括：骨骼关节点回归任务、肢体分布回归任务和人物类别聚类任务。
本实施例提供的神经网络模型的训练方法，得到的神经网络模型，可以准确的将图像中的关节点所属的人物类别输出。
作为一种可选的实施方式，如图8所示，所述使用所述模型训练数据训练原始神经网络模型，得到神经网络模型的步骤包括：
步骤S261：根据目标任务构建所述神经网络模型中的神经网络。该神经网络包括：骨骼关节点回归任务神经网络层、肢体分布回归任务神经网络层和人物类别聚类任务神经网络层。该任务类别聚类任务神经网络层的输入数据为骨骼关节点回归任务神经网络层和肢体分布回归任务神经网络层的输出数据。
步骤S262：将所述多个模型训练数据输入所述神经网络，迭代执行所述神经网络的正向推导和反向传播算法，得到神经网络模型。可选的，该正向推导过程包括：
步骤a，将所述多个模型训练数据输入到所述神经网络，使用随机梯度下降算法，计算该神经网络每一层的损失函数的梯度值，并使用得到的每一层的梯度值更新对应层的权值；步骤b，利用反向传播算法，计算该神经网络每一层的误差灵敏度，并使用每一层的误差灵敏度更新对应层的权值；步骤c，迭代执行所述步骤a和步骤b，直至使用每一层的梯度值更新对应层的权值与使用每一层的误差灵敏度更新对应层的权值相等，完成神经网络的训练。
本实施例提出的模型训练方法，得到的神经网络模型，进行数据处理时，输出的处理结果准确可靠。应该理解的是，虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了图像处理装置，所述装置包括：
获取模块910，用于获取图像，并对获取的图像进行编码处理得到模型数据。
关节点识别模块920，用于将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征。
关节点处理模块930，用于根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点；并根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像。
作为一种可选的实施方式，关节点处理模块930，具体用于根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；根据预设效果，将所述操作关节点从初始位置移动至目标位置，得到处理后的图像。
作为一种可选的实施方式，关节点处理模块930，具体用于根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；基于所述操作关节点增加预设效果，得到处理后的图像。
作为一种可选的实施方式，若所述图像为解码视频数据得到的多帧图像，则关节点处理模块930，还可以用于根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；根据所述多帧图像的时序，得到所述操作关节点的时序序列；根据预设效果，在所述时序序列中增加特效，得到处理后的图像序列。
作为一种可选的实施方式，所述关节点识别模块920，在目标对象为人体时，可以用于将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中人体的肢体分布图。关节点处理模块930，用于根据所述人体的肢体分布图，对所述多个关节点进行聚类，得到所述关节点的人物类别；并根据所述关节点的人物类别，得到所述图像中的每一人体的关节点。
作为一种可选的实施方式，关节点识别模块920，用于对所述多个模型训练图像样本进行编码，得到多个模型训练数据；使用所述多个模型训练数据训练原始神经网络模型，得到所述神经网络模型。
作为一种可选的实施方式，关节点识别模块920，用于根据目标任务构建所述神经网络模型中的神经网络；将所述多个模型训练数据输入所述神经网络，迭代执行所述神经网络的正向推导和反向传播算法，得到所述神经网络模型；所述目标任务包括：骨骼关节点回归任务、肢体分布回归任务和人物类别聚类任务。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其结构示意图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取图像，并对获取的图像进行编码处理得到模型数据；将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征；根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点；根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；根据预设效果，将所述操作关节点从初始位置移动至目标位置，得到处理后的图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；基于所述操作关节点增加预设效果，得到处理后的图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取视频数据，并对所述视频数据进行解码，得到多帧图像。
在一个实施例中，若所述图像为解码视频数据得到的多帧图像，则处理器执行计算机程序时还可以实现以下步骤：根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；根据所述多帧图像的时序，得到所述操作关节点的时序序列；根据预设效果，在所述时序序列中增加特效，得到处理后的图像序列。
在一个实施例中，若所述目标对象为人体，则处理器执行计算机程序时还可以实现以下步骤：将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中人体的肢体分布图；根据所述人体的肢体分布图，对所述多个关节点进行聚类，得到所述关节点的人物类别；根据所述关节点的人物类别，得到所述图像中的每一人体的关节点。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述多个模型训练图像样本进行编码，得到多个模型训练数据；使用所述多个模型训练数据训练原始神经网络模型，得到所述神经网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据目标任务构建所述神经网络模型中的神经网络；将所述多个模型训练数据输入所述神经网络，迭代执行所述神经网络的正向推导和反向传播算法，得到所述神经网络模型；所述目标任务包括：骨骼关节点回归任务、肢体分布回归任务和人物类别聚类任务。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意实施例提供的图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法，其特征在于，包括如下步骤：
获取图像，并对获取的图像进行编码处理得到模型数据；
将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征；
根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点；
根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤包括：
根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；
根据预设效果，将所述操作关节点从初始位置移动至目标位置，得到处理后的图像。
3.根据权利要求1所述的方法，其特征在于，所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤包括：
根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；
基于所述操作关节点增加预设效果，得到处理后的图像。
4.根据权利要求1所述的方法，其特征在于，若所述图像为解码视频数据得到的多帧图像，则所述根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像的步骤包括：
根据预设效果确定待处理的目标对象，并从所述待处理的目标对象的关节点中选择操作关节点；
根据所述多帧图像的时序，得到所述操作关节点的时序序列；
根据预设效果，在所述时序序列中增加特效，得到处理后的图像序列。
5.根据权利要求1所述的方法，其特征在于，若所述目标对象为人体，则所述将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征；根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点的步骤包括：
将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中人体的肢体分布图；
根据所述人体的肢体分布图，对所述多个关节点进行聚类，得到所述关节点的人物类别；
根据所述关节点的人物类别，得到所述图像中的每一人体的关节点。
6.根据权利要求5所述的方法，其特征在于，在将所述模型数据输入神经网络模型的步骤之前，所述方法还包括：
获取训练图像，并对所述训练图像中的关节点和人体的肢体分布进行标注，得到多个模型训练图像样本；
对所述多个模型训练图像样本进行编码，得到多个模型训练数据；
使用所述多个模型训练数据训练原始神经网络模型，得到所述神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述使用所述多个模型训练数据训练原始神经网络模型，得到神经网络模型的步骤包括：
根据目标任务构建所述神经网络模型中的神经网络；
将所述多个模型训练数据输入所述神经网络，迭代执行所述神经网络的正向推导和反向传播算法，得到所述神经网络模型；
所述目标任务包括：骨骼关节点回归任务、肢体分布回归任务和人物类别聚类任务。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取图像，并对获取的图像进行编码处理得到模型数据；
关节点识别模块，用于将所述模型数据输入神经网络模型，得到所述图像中的多个关节点和所述图像中目标对象的特征；
关节点处理模块，用于根据所述目标对象的特征对所述多个关节点进行分类，确定目标对象的关节点；并根据预设效果选择所述目标对象的关节点进行处理，得到处理后的图像。
9.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810532243.8A CN108830782B (zh) | 2018-05-29 | 2018-05-29 | 图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810532243.8A CN108830782B (zh) | 2018-05-29 | 2018-05-29 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108830782A true CN108830782A (zh) | 2018-11-16 |
| CN108830782B CN108830782B (zh) | 2022-08-05 |
Family
ID=64146631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810532243.8A Active CN108830782B (zh) | 2018-05-29 | 2018-05-29 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108830782B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110428375A (zh) * | 2019-07-24 | 2019-11-08 | 东软医疗系统股份有限公司 | 一种dr图像的处理方法及装置 |
| CN111290995A (zh) * | 2018-12-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 资源管理方法和装置 |
| CN111862105A (zh) * | 2019-04-29 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 图像的区域处理方法、装置和电子设备 |
| CN112106347A (zh) * | 2019-08-30 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 一种图像生成方法、设备、可移动平台及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982578A (zh) * | 2012-10-31 | 2013-03-20 | 北京航空航天大学 | 单幅人物图像中着装人体三维模型估计方法 |
| CN104732585A (zh) * | 2015-03-23 | 2015-06-24 | 腾讯科技（深圳）有限公司 | 一种人体体型重构的方法及装置 |
| CN105184735A (zh) * | 2014-06-19 | 2015-12-23 | 腾讯科技（深圳）有限公司 | 一种人像变形方法及装置 |
| CN106228590A (zh) * | 2016-07-19 | 2016-12-14 | 中国电子科技集团公司第二十八研究所 | 一种图像中的人体姿态编辑方法 |
| CN106251390A (zh) * | 2016-08-15 | 2016-12-21 | 网易（杭州）网络有限公司 | 动画编辑方法和动画编辑装置 |
| CN107248183A (zh) * | 2017-05-09 | 2017-10-13 | 深圳市金立通信设备有限公司 | 一种调整编辑对象色彩的方法及终端 |
| CN107728782A (zh) * | 2017-09-21 | 2018-02-23 | 广州数娱信息科技有限公司 | 交互方法及交互系统、服务器 |
| CN107977927A (zh) * | 2017-12-14 | 2018-05-01 | 北京奇虎科技有限公司 | 基于图像数据的身材调整方法及装置、计算设备 |
| CN108031110A (zh) * | 2017-11-03 | 2018-05-15 | 东莞市新进巧工艺制品有限公司 | 一种基于ar技术的游戏系统 |
| CN108052896A (zh) * | 2017-12-12 | 2018-05-18 | 广东省智能制造研究所 | 基于卷积神经网络与支持向量机的人体行为识别方法 |
-
2018
- 2018-05-29 CN CN201810532243.8A patent/CN108830782B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982578A (zh) * | 2012-10-31 | 2013-03-20 | 北京航空航天大学 | 单幅人物图像中着装人体三维模型估计方法 |
| CN105184735A (zh) * | 2014-06-19 | 2015-12-23 | 腾讯科技（深圳）有限公司 | 一种人像变形方法及装置 |
| CN104732585A (zh) * | 2015-03-23 | 2015-06-24 | 腾讯科技（深圳）有限公司 | 一种人体体型重构的方法及装置 |
| CN106228590A (zh) * | 2016-07-19 | 2016-12-14 | 中国电子科技集团公司第二十八研究所 | 一种图像中的人体姿态编辑方法 |
| CN106251390A (zh) * | 2016-08-15 | 2016-12-21 | 网易（杭州）网络有限公司 | 动画编辑方法和动画编辑装置 |
| CN107248183A (zh) * | 2017-05-09 | 2017-10-13 | 深圳市金立通信设备有限公司 | 一种调整编辑对象色彩的方法及终端 |
| CN107728782A (zh) * | 2017-09-21 | 2018-02-23 | 广州数娱信息科技有限公司 | 交互方法及交互系统、服务器 |
| CN108031110A (zh) * | 2017-11-03 | 2018-05-15 | 东莞市新进巧工艺制品有限公司 | 一种基于ar技术的游戏系统 |
| CN108052896A (zh) * | 2017-12-12 | 2018-05-18 | 广东省智能制造研究所 | 基于卷积神经网络与支持向量机的人体行为识别方法 |
| CN107977927A (zh) * | 2017-12-14 | 2018-05-01 | 北京奇虎科技有限公司 | 基于图像数据的身材调整方法及装置、计算设备 |
Non-Patent Citations (4)
| Title |
|---|
| JACOB BUCKMAN ET AL.: "THERMOMETER ENCODING：ONE HOT WAY TO RESIST ADVERSARIAL EXAMPLES", 《ICLR 2018》 * |
| ZHE CAO ET AL.: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Field", 《ARXIV》 * |
| 蒋莉等: "骨架驱动的MLS卡通角色变形", 《计算机辅助设计与图形学学报》 * |
| 郑利平等: "虚拟角色头佩附件自动组合算法", 《图学学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111290995A (zh) * | 2018-12-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 资源管理方法和装置 |
| CN111290995B (zh) * | 2018-12-07 | 2023-08-25 | 北京字节跳动网络技术有限公司 | 资源管理方法和装置 |
| CN111862105A (zh) * | 2019-04-29 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 图像的区域处理方法、装置和电子设备 |
| CN110428375A (zh) * | 2019-07-24 | 2019-11-08 | 东软医疗系统股份有限公司 | 一种dr图像的处理方法及装置 |
| CN110428375B (zh) * | 2019-07-24 | 2024-03-01 | 东软医疗系统股份有限公司 | 一种dr图像的处理方法及装置 |
| CN112106347A (zh) * | 2019-08-30 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 一种图像生成方法、设备、可移动平台及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108830782B (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241903B (zh) | 样本数据清洗方法、装置、计算机设备及存储介质 | |
| CN108830782A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110378372A (zh) | 图数据识别方法、装置、计算机设备和存储介质 | |
| CN109902546A (zh) | 人脸识别方法、装置及计算机可读介质 | |
| CN108805058A (zh) | 目标对象变化姿态识别方法、装置及计算机设备 | |
| CN110135406A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN112446302B (zh) | 一种人体姿态检测方法、系统、电子设备和存储介质 | |
| CN106709565A (zh) | 一种神经网络的优化方法及装置 | |
| CN110363086A (zh) | 图数据识别方法、装置、计算机设备和存储介质 | |
| CN110263819A (zh) | 一种用于贝类图像的目标检测方法及装置 | |
| CN110751039B (zh) | 多视图3d人体姿态估计方法及相关装置 | |
| CN110287836B (zh) | 图像分类方法、装置、计算机设备和存储介质 | |
| CN108764143A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| US20230351698A1 (en) | Skinning method and apparatus, computer device, and storage medium | |
| CN112991502B (zh) | 一种模型训练方法、装置、设备及存储介质 | |
| US11776210B2 (en) | 3D face modeling based on neural networks | |
| CN110175505A (zh) | 微表情类型的确定方法、装置、存储介质及电子装置 | |
| CN110276289A (zh) | 生成匹配模型的方法和人脸特征点追踪方法 | |
| CN110163864A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN112132278A (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
| CN117501245A (zh) | 神经网络模型训练方法和装置、数据处理方法和装置 | |
| CN109345604A (zh) | 图片处理方法、计算机设备和存储介质 | |
| CN111832517A (zh) | 基于门控卷积的低清人脸关键点检测方法 | |
| CN116363308A (zh) | 人体三维重建模型训练方法、人体三维重建方法和设备 | |
| CN117218300B (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |