CN108564058B - 一种图像处理方法、装置及计算机可读存储介质 - Google Patents

一种图像处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108564058B
CN108564058B CN201810381726.2A CN201810381726A CN108564058B CN 108564058 B CN108564058 B CN 108564058B CN 201810381726 A CN201810381726 A CN 201810381726A CN 108564058 B CN108564058 B CN 108564058B
Authority
CN
China
Prior art keywords
human body
determining
picture
points
fit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810381726.2A
Other languages
English (en)
Other versions
CN108564058A (zh
Inventor
王乐
王�琦
洪毅强
吴嘉旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Comic Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Comic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Comic Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201810381726.2A priority Critical patent/CN108564058B/zh
Publication of CN108564058A publication Critical patent/CN108564058A/zh
Application granted granted Critical
Publication of CN108564058B publication Critical patent/CN108564058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法，包括：获取图片；所述图片包含人体；基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；在所述贴合区域上贴合预设服饰素材。本发明还同时公开了一种图像处理装置以及计算机可读存储介质。

Description

一种图像处理方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及计算机可读存储介质。
背景技术
目前，随着图像处理技术以及计算机视觉技术的发展，逐渐利用计算机代替人眼对目标进行识别，并可以对识别得到的图片做图形处理。
目前，通过人脸识别技术识别人脸的轮廓以及关键点，并利用获取的人脸的关键点，在人脸的轮廓上贴合动漫头饰素材。
但是，由于通过人脸识别技术，仅能识别人脸的轮廓，因而不能基于人工智能实现对人体贴合服饰素材。
发明内容
有鉴于此，本发明实施例期望提供一种图像处理方法、装置及计算机可读存储介质，能够基于人工智能实现对人体贴合服饰素材。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像处理方法，所述方法包括：
获取图片；所述图片包含人体；
基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；
利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；
在所述贴合区域上贴合预设服饰素材。
上述方案中，所述基于机器学习算法，确定所述图片中人体的骨骼关节点的位置，包括：
利用所述图片的数据，结合卷积神经网络模型，确定所述图片中人体的骨骼关节点的位置。
上述方案中，所述利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域，包括：
利用所述图片的数据，并结合人体语义分割模型，得到掩码特征图；所述人体语义分割模型为基于全卷积神经网络算法对与人体有关的预设分割数据集进行训练得到的；
针对每个骨骼关节点的位置，在所述掩码特征图进行搜索，将相应骨骼关节点对应的像素相邻的非前景像素作为所述相应骨骼关节点的边缘点；其中，非前景像素是利用所述掩码特征图中像素的掩码值确定的；
基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域。
上述方案中，所述在所述贴合区域上贴合预设服饰素材，包括：
控制所述预设服饰素材的尺寸，使得与所述贴合区域的大小相符；
将缩放后的预设服饰素材贴合在所述贴合区域。
上述方案中，所述基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域，包括：
基于所述图片中人体肩部的骨骼关节点以及髋部的骨骼关节点对应的像素相邻的非前景像素，确定所述图片中人体躯干部位的区域；
将确定的躯干部位的区域作为贴合区域。
上述方案中，所述基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域，包括：
基于所述图片中人体的骨骼关节点的位置，确定四肢部位上的两个骨骼关节点；所述四肢部位包括以下之一：左手臂、右手臂，左腿、右腿；
在所述两个骨骼关节点确定的连线上，确定至少一组离散点；
针对每个离散点，在所述掩码特征图中进行搜索，将相应离散点对应的像素相邻的非前景像素作为所述离散点的边缘点；
基于所述离散点的边缘点，以及四肢部位上的骨骼关节点，确定贴合区域。
上述方案中，将预设服饰素材贴合在所述贴合区域之后，所述方法还包括：
确定预设服饰素材的覆盖区域；
当所述覆盖区域大于确定的贴合区域时，对所述覆盖区域中不属于所述图片中人体的轮廓的区域的颜色更新为背景色；所述轮廓是利用所述掩码特征图中的前景像素确定的；所述前景像素是利用所述掩码特征图中像素的掩码值确定的；
当所述覆盖区域小于确定的贴合区域时，确定所述轮廓中未贴合预设服饰素材的未贴合区域，并确定与未贴合区域相邻的贴合区域；将未贴合区域的颜色渲染为所述贴合区域对应的预设服饰素材的颜色。
本发明实施例提供一种图像处理装置，所述装置包括：
获取模块，用于获取图片；所述图片包含人体；
确定模块，用于基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；还用于利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；
贴合模块，用于在所述贴合区域上贴合预设服饰素材。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上面所述任一项图像处理方法的步骤。
本发明实施例提供一种图像处理装置，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器用于运行所述计算机程序时，执行上面所述任一项图像处理方法的步骤。
本发明实施例提供的图像处理方法、装置及计算机可读存储介质，获取图片；所述图片包含人体；基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；在所述贴合区域上贴合预设服饰素材。在本发明实施例中，基于机器学习算法，通过确定骨骼关节点的位置，进而确定贴合区域，从而能够基于人工智能实现在确定的贴合区域上对人体贴合服饰素材。
附图说明
图1为本发明实施例图像处理方法的实现流程示意图；
图2为本发明实施例本发明实施例图像处理的具体实现流程示意图；
图3为本发明实施例人体的骨骼关节点的示意图；
图4为本发明实施例图像处理装置的组成结构示意图一；
图5为本发明实施例图像处理装置的组成结构示意图二。
具体实施方式
本发明实施例中，获取图片；所述图片包含人体；基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；在所述贴合区域上上贴合预设服饰素材。
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
如图1所示，详细说明本发明实施例图像处理方法，包括以下步骤：
步骤101：获取图片；所述图片包含人体。
这里，所述图像处理方法可以应用于人工智能领域。
步骤102：基于机器学习算法，确定所述图片中人体的骨骼关节点的位置。
在一实施例中，所述基于机器学习算法，确定所述图片中人体的骨骼关节点的位置，包括：利用所述图片的数据，结合卷积神经网络模型，确定所述图片中人体的骨骼关节点的位置。
其中，所述位置为在以预设坐标系为参考系中的位置。所述预设坐标系可以为世界坐标系。
步骤103：利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域。
在一实施例中，所述利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域，包括：利用所述图片的数据，并结合人体语义分割模型，得到掩码特征图；所述人体语义分割模型为基于全卷积神经网络算法对与人体有关的预设分割数据集进行训练得到的；针对每个骨骼关节点的位置，在所述掩码特征图进行搜索，将相应骨骼关节点对应的像素相邻的非前景像素作为所述相应骨骼关节点的边缘点；其中，非前景像素是利用所述掩码特征图中像素的掩码值确定的；基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域。
实际应用时，可以利用上采样，使得到的掩码特征图与原图的分辨率相同，如此，针对所述掩码特征图中的每个像素，基于相应像素的掩码值，判断所述相应像素是否为前景像素；其中，前景像素可以形成所述图片中人体的轮廓。
步骤104：在所述贴合区域上贴合预设服饰素材。
所述预设服饰素材，可以由至少一个部分的动漫服饰素材构成。具体地，动漫服饰素材可以包括对应人体四肢部位的动漫服饰素材以及对应人体躯干部位的动漫服饰素材。
在一实施例中，所述在所述贴合区域上贴合预设服饰素材，包括：控制所述预设服饰素材的尺寸，使得与所述贴合区域的大小相符；将缩放后的预设服饰素材贴合在所述贴合区域。
在一实施例中，所述基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域，包括：基于所述图片中人体肩部的骨骼关节点以及髋部的骨骼关节点对应的像素相邻的非前景像素，确定所述图片中人体躯干部位的区域；将确定的躯干部位的区域作为贴合区域。
这里，在所述掩码特征图中确定肩部骨骼关节点对应的像素，并从肩部骨骼关节点对应的像素出发，在所述掩码特征图进行近邻搜索，将相应骨骼关节点对应的像素相邻的非前景像素作为所述肩部骨骼关节点的边缘点。
在一实施例中，所述基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域，包括：基于所述图片中人体的骨骼关节点的位置，确定四肢部位上的两个骨骼关节点；所述四肢部位包括以下之一：左手臂、右手臂，左腿、右腿；在所述两个骨骼关节点确定的连线上，确定至少一组离散点；针对每个离散点，在所述掩码特征图中进行搜索，将相应离散点对应的像素相邻的非前景像素作为所述离散点的边缘点；基于所述离散点的边缘点，以及四肢部位上的骨骼关节点，确定贴合区域。
实际应用时，针对每个离散点，在所述掩码特征图中，沿着构成连线的两个骨骼关节点的法线方向进行搜索至少两组边缘点；并利用最小二乘对两组边缘点拟合，得到边界拟合线；基于边界拟合线以及两个骨骼关节点的连线对应的法线确定贴合区域。
在一实施例中，将预设服饰素材贴合在所述贴合区域之后，所述方法还包括：确定预设服饰素材的覆盖区域；当所述覆盖区域大于确定的贴合区域时，对所述覆盖区域中不属于所述图片中人体的轮廓的区域的颜色更新为背景色；当所述覆盖区域小于确定的贴合区域时，确定所述轮廓中未贴合预设服饰素材的未贴合区域，并确定与未贴合区域相邻的贴合区域；将未贴合区域的颜色渲染为所述贴合区域对应的预设服饰素材的颜色。
其中，所述轮廓是利用所述掩码特征图中的前景像素确定的；所述前景像素是利用所述掩码特征图中像素的掩码值确定的。
本发明实施例提供的图像处理方法，获取图片；所述图片包含人体；基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；在所述贴合区域上上贴合预设服饰素材。在本发明实施例中，基于机器学习算法，通过确定骨骼关节点的位置，进而确定贴合区域，从而能够在确定的贴合区域上对人体贴合服饰素材。
下面以具体实施例为例，详细说明本发明在实际应用中的实现过程及原理。
图2为本发明实施例图像处理的具体实现流程示意图，具体实现过程，包括如下步骤：
步骤201：获取包含用户全身的图片。
步骤202：利用深度学习算法，得到掩码特征图。
利用深度学习算法中的全卷积神经网络算法，对公开数据集中与人体有关的数据进行训练，得到人体语义分割模型。基于所述人体语义分割模型对包含用户全身的图片进行分析，得到掩码特征图。其中，所述公开数据集可以为VOC2012。
这里，将传统卷积神经网络中的全连接层转化成卷积层，得到全卷积神经网络的网络结构，全卷积神经网络中所有的层都是卷积层。具体地，在传统卷积神经网络结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个类别的概率。而全卷积神经网络中的第6层、第7层和第8层全部为卷积层，卷积核的大小(通道数，宽，高)分别为(4096,1,1)、(4096,1,1)、(1000,1,1)。
这里，全卷积神经网络在拓扑中间输出层上采用上采样，即对每个像素进行反卷积运算，以使分辨率较低的掩码特征图与原图的分辨率相同，如此，可以利用掩码特征图中像素的掩码值，标识像素的类别，即判断像素是否属于前景像素。其中，前景像素形成人体前景图。
步骤203：利用深度学习算法，识别所述图片中人体的骨骼关节点，并确定骨骼关节点的坐标。
其中，人体的骨骼关节点包括：脖子、左右肩、左右手肘、左右手腕等等。
图3为人体的骨骼关节点的示意图，如图3所示，序号0、1、4、5代表腿部上的关节点，序号10、11、12、13、14、15代表手部上的关节点，序号8、9代表头部上的关节点，序号2、3代表臀部上的关节点。
深度学习算法的整体流程为：分四个阶段，利用深度学习算法构建神经网络，每个阶段都会输出骨骼关节点的位置，但以第四阶段的响应图输出的位置为准。第一阶段和第二阶段中，神经网络的输入为一个3通道的彩色图片，彩色图片的尺寸为368×368。第二阶段至第四阶段中，通过高斯函数模板把响应归拢到图像中心。具体如下：
第一阶段：使用卷积神经网络对原始图片进行处理，预测骨骼点关节点的位置。
输入的原始图片大小为368×368×3，输出的特征图大小为46×46×15；其中，15代表预测的位置个数。这里，预测的骨骼点关节点共有14个，在加上1个显示背景，共15个预设位置。
第二阶段：输入第一阶段中的原始图片，在卷积神经网络的卷积层的中间部分，增加特征图组合操作，对合并后的数据执行卷积操作。
这里，所述特征图组合操作为将以下三部分数据进行合并：
a.第一阶段输出的特征图，大小为46×46×15；
b.第二阶段中卷积CONV上段的卷积结果，大小为46×46×32；
c.高斯函数模板，大小为46×46×1；
合并后的数据大小为46×46×48。
第三阶段：从第二阶段的上半部分卷积操作中，取出某一个深度为128的特征图作为输入，在卷积神经网络的卷积层的中间部分，增加特征图组合操作，对合并的数据执行卷积操作。
输入的特征图大小为46×46×128。第三阶段与第二阶段的特征图组合操作相同，合并后的数据大小为46×46×48。
第四阶段：输入第三阶段中深度为128的特征图，在卷积神经网络的卷积层的中间部分，增加特征图组合操作，对合并的数据执行卷积、激活和池化等一系列运算后，输出大小为46×46×15的特征图，用于确定骨骼关节点的坐标。
其中，一张特征图对应一个骨骼关节点。
步骤204：根据所述掩码特征图，以及骨骼关节点坐标，确定所述骨骼关节点的边缘点的坐标。
这里，以肩部骨骼关节点和髋部骨骼关节点为例，说明确定边缘点的过程。
针对肩部骨骼关节点，确定边缘点的过程包括：在所述掩码特征图中，确定肩部骨骼关节点对应的像素，从两个肩部骨骼关节点出发并进行近邻搜索，找出两个肩部骨骼关节点的上侧、外侧的边缘点。以左肩为例，假设左肩骨骼关节点对应的像素坐标为(x0,y0)，则以左肩骨骼关节点出发，在所述掩码特征图上向上搜索与肩部骨骼关节点对应的像素相邻的非前景像素，得到上侧的边缘点的坐标为
Figure BDA0001641199050000091
其中
Figure BDA0001641199050000092
按照公式(1)遍历得到。
Figure BDA0001641199050000093
针对髋部骨骼关节点，确定边缘点的过程包括：在所述掩码特征图中，确定髋部骨骼关节点对应的像素，从两个髋部骨骼关节点出发并在粗估边缘点处进行近邻搜索，找到两个髋部骨骼关节点的外缘点。以左髋为例，假设左髋骨骼关节点的纵坐标为y，以左髋骨骼关节点为起点，在所述掩码特征图上向左侧搜索第一个不属于前景像素的像素点即非前景像素，则搜索的非前景像素为左髋的边缘点。
步骤205：利用骨骼关节点的坐标以及边缘点的坐标，确定贴合区域，并通过缩放操作，将预先准备好的躯干部位动漫素材贴合在所述贴合区域上。
利用获取的两个肩部骨骼关节点的上边缘以及髋部骨骼关节点的左、右边缘的坐标，计算人体躯干部位的宽与高，确定躯干部位的贴合区域。其中，宽为髋部骨骼关节点的左右边缘点的横坐标之差的绝对值；高为两个肩部骨骼关节点的上边缘的纵坐标的平均值与两个髋部骨骼关节点的边缘点的纵坐标平均值之差的绝对值。
对躯干部位动漫服饰素材，在宽、高两个方向上分别进行缩放操作，使得与所述躯干部位的贴合区域的宽与高一致。
步骤206：利用骨骼关节点的坐标以及边缘点的坐标，确定贴合区域，并通过缩放操作，将预先准备好的四肢部位动漫素材贴合在所述贴合区域上。
这里，四肢部位包括上臂、小臂、大腿、小腿等部位，以右上臂为例进行说明四肢部位动漫素材贴合在人体的轮廓上的过程：假设人体右肩骨骼关节点的坐标为
Figure BDA0001641199050000094
右肘骨骼关节点的坐标为
Figure BDA0001641199050000095
首先，按照公式(3)得到右肩骨骼关节点和右肘骨骼关节点构成的连线。按照公式(4)在连线上取等间距的的16个离散点即(xk,yk),k＝1,2,...,16。
Figure BDA0001641199050000101
Figure BDA0001641199050000102
其次，在所述掩码特征图中确定16个离散点对应的像素，分别从16个离散点对应的像素出发，沿右肩、右肘连线的法线方向，在所述掩码特征图上进行近邻搜索，找到右上臂的内、外缘对应的两组边界点，利用最小二乘对两组边界点拟合，得到内、外缘的边界拟合线。
最后，右上臂的内、外缘的边界拟合线与分别过右肩、右肘关键点的两条法线组成一个矩形。以所述矩形的宽、高为基准，将拟贴合至右上臂的动漫服饰素材进行缩放操作，再贴合至所述矩形确定的贴合区域上。
这里，根据所述掩码特征图，将右上臂动漫服饰素材盖住的不属于人体轮廓的非轮廓区域的颜色更新为背景色；将服饰未盖住的右上臂边缘附近区域，用动漫服饰素材的主体颜色进行渲染，完成右上臂的服饰贴合。
这里，上半身、下半身等部位贴合动漫服饰素材的方法与右上臂贴合动漫服饰素材的方法相同，在此不再赘述。
基于本申请各实施例图像处理方法，本申请还提供了一种图像处理装置，如图4所示，所述装置包括：获取模块41、确定模块42、贴合模块43；其中，
获取模块41，用于获取图片；所述图片包含人体；
确定模块42，用于基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；还用于利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；
贴合模块43，用于在所述贴合区域上上贴合预设服饰素材。
在一实施例中，所述确定模块42，具体用于利用所述图片的数据，结合卷积神经网络模型，确定所述图片中人体的骨骼关节点的位置。其中，所述位置为在以预设坐标系为参考系中的位置。所述预设坐标系可以为世界坐标系。
在一实施例中，所述确定模块42，具体用于利用所述图片的数据，并结合人体语义分割模型，得到掩码特征图；所述人体语义分割模型为基于全卷积神经网络算法对与人体有关的预设分割数据集进行训练得到的；针对每个骨骼关节点的位置，在所述掩码特征图进行搜索，将相应骨骼关节点对应的像素相邻的非前景像素作为所述相应骨骼关节点的边缘点；其中，非前景像素是利用所述掩码特征图中像素的掩码值确定的；基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域。
实际应用时，可以利用上采样，使得到的掩码特征图与原图的分辨率相同，如此，针对所述掩码特征图中的每个像素，基于相应像素的掩码值，判断所述相应像素是否为前景像素；其中，前景像素可以形成所述图片中人体的轮廓。
在一实施例中，所述贴合模块43，具体用于从确定的轮廓中确定贴合区域；控制所述预设服饰素材的尺寸，使得与所述贴合区域的大小相符；将缩放后的预设服饰素材贴合在所述贴合区域。
在一实施例中，所述贴合模块43，具体用于基于所述图片中人体肩部的骨骼关节点以及髋部的骨骼关节点对应的像素相邻的非前景像素，确定所述图片中人体躯干部位的区域；将确定的躯干部位的区域作为贴合区域。
这里，在所述掩码特征图中确定肩部骨骼关节点对应的像素，并从肩部骨骼关节点对应的像素出发，在所述掩码特征图进行近邻搜索，将相应骨骼关节点对应的像素相邻的非前景像素作为所述肩部骨骼关节点的边缘点。
在一实施例中，所述贴合模块43，具体用于基于所述图片中人体的骨骼关节点的位置，确定四肢部位上的两个骨骼关节点；所述四肢部位包括以下之一：左手臂、右手臂，左腿、右腿；在所述两个骨骼关节点确定的连线上，确定至少一组离散点；针对每个离散点，在所述掩码特征图中进行搜索，将相应离散点对应的像素相邻的非前景像素作为所述离散点的边缘点；基于所述离散点的边缘点，以及四肢部位上的骨骼关节点，确定贴合区域。
实际应用时，针对每个离散点，在所述掩码特征图中，沿着构成连线的两个骨骼关节点的法线方向进行搜索至少两组边缘点；并利用最小二乘对两组边缘点拟合，得到边界拟合线；基于边界拟合线以及两个骨骼关节点的连线对应的法线确定贴合区域。
在一实施例中，所述装置还包括：
更新模块，用于确定预设服饰素材的覆盖区域；当所述覆盖区域大于确定的贴合区域时，对所述覆盖区域中不属于所述图片中人体的轮廓的区域的颜色更新为背景色；当所述覆盖区域小于确定的贴合区域时，确定所述轮廓中未贴合预设服饰素材的未贴合区域，并确定与未贴合区域相邻的贴合区域；将未贴合区域的颜色渲染为所述贴合区域对应的预设服饰素材的颜色。
其中，所述轮廓是利用所述掩码特征图中的前景像素确定的；所述前景像素是利用所述掩码特征图中像素的掩码值确定的。
在实际应用中，获取模块41由位于图像处理装置上的网络接口实现；确定模块42、贴合模块43、更新模块可由位于图像处理装置上的中央处理器(CPU，Central ProcessingUnit)、微处理器(MPU，Micro Processor Unit)、数字信号处理器(DSP，Digital SignalProcessor)、或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现。
图5是本发明图像处理装置的结构示意图，图5所示的图像处理装置500包括：至少一个处理器501、存储器502、用户接口503、至少一个网络接口504。图像处理装置500中的各个组件通过总线系统505耦合在一起。可理解，总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统505。
其中，用户接口503可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
本发明实施例中的存储器502用于存储各种类型的数据以支持图像处理装置500的操作。这些数据的示例包括：用于在图像处理装置500上操作的任何计算机程序，如操作系统5021和应用程序5022；其中，操作系统5021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序5022可以包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5022中。
上述本发明实施例揭示的方法可以应用于处理器501中，或者由处理器501实现。处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器501可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成图像处理方法的步骤。
可以理解，存储器502可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。
基于本申请各实施例提供的图像处理方法，本申请还提供一种计算机可读存储介质，参照图5所示，所述计算机可读存储介质可以包括：用于存储计算机程序的存储器502，上述计算机程序可由图像处理装置500的处理器501执行，以完成服务器侧图像处理方法所述步骤。
计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：
获取图片；所述图片包含人体；
基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；
利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；
在所述贴合区域上贴合预设服饰素材；
其中，所述利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域，包括：
利用所述图片的数据，并结合人体语义分割模型，得到掩码特征图；所述人体语义分割模型为基于全卷积神经网络算法对与人体有关的预设分割数据集进行训练得到的；
针对每个骨骼关节点的位置，在所述掩码特征图进行搜索，将相应骨骼关节点对应的像素相邻的非前景像素作为所述相应骨骼关节点的边缘点；其中，非前景像素是利用所述掩码特征图中像素的掩码值确定的；
基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域。
2.根据权利要求1所述的方法，其特征在于，所述基于机器学习算法，确定所述图片中人体的骨骼关节点的位置，包括：
利用所述图片的数据，结合卷积神经网络模型，确定所述图片中人体的骨骼关节点的位置。
3.根据权利要求1所述的方法，其特征在于，所述在所述贴合区域上贴合预设服饰素材，包括：
控制所述预设服饰素材的尺寸，使得与所述贴合区域的大小相符；
将缩放后的预设服饰素材贴合在所述贴合区域。
4.根据权利要求1所述的方法，其特征在于，所述基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域，包括：
基于所述图片中人体肩部的骨骼关节点以及髋部的骨骼关节点对应的像素相邻的非前景像素，确定所述图片中人体躯干部位的区域；
将确定的躯干部位的区域作为贴合区域。
5.根据权利要求1所述的方法，其特征在于，所述基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域，包括：
基于所述图片中人体的骨骼关节点的位置，确定四肢部位上的两个骨骼关节点；所述四肢部位包括以下之一：左手臂、右手臂，左腿、右腿；
在所述两个骨骼关节点确定的连线上，确定至少一组离散点；
针对每个离散点，在所述掩码特征图中进行搜索，将相应离散点对应的像素相邻的非前景像素作为所述离散点的边缘点；
基于所述离散点的边缘点，以及四肢部位上的骨骼关节点，确定贴合区域。
6.根据权利要求1所述的方法，其特征在于，将预设服饰素材贴合在所述贴合区域之后，所述方法还包括：
确定预设服饰素材的覆盖区域；
当所述覆盖区域大于确定的贴合区域时，对所述覆盖区域中不属于所述图片中人体的轮廓的区域的颜色更新为背景色；所述轮廓是利用所述掩码特征图中的前景像素确定的；所述前景像素是利用所述掩码特征图中像素的掩码值确定的；
当所述覆盖区域小于确定的贴合区域时，确定所述轮廓中未贴合预设服饰素材的未贴合区域，并确定与未贴合区域相邻的贴合区域；将未贴合区域的颜色渲染为所述贴合区域对应的预设服饰素材的颜色。
7.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取图片；所述图片包含人体；
确定模块，用于基于机器学习算法，确定所述图片中人体的骨骼关节点的位置；还用于利用所述骨骼关节点的位置，确定所述图片中人体所形成的贴合区域；
贴合模块，用于在所述贴合区域上贴合预设服饰素材；
所述确定模块，具体用于利用所述图片的数据，并结合人体语义分割模型，得到掩码特征图；所述人体语义分割模型为基于全卷积神经网络算法对与人体有关的预设分割数据集进行训练得到的；
针对每个骨骼关节点的位置，在所述掩码特征图进行搜索，将相应骨骼关节点对应的像素相邻的非前景像素作为所述相应骨骼关节点的边缘点；其中，非前景像素是利用所述掩码特征图中像素的掩码值确定的；
基于所述骨骼关节点的边缘点，确定所述图片中人体所形成的贴合区域。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
9.一种图像处理装置，其特征在于，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至6任一项所述方法的步骤。
CN201810381726.2A 2018-04-25 2018-04-25 一种图像处理方法、装置及计算机可读存储介质 Active CN108564058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810381726.2A CN108564058B (zh) 2018-04-25 2018-04-25 一种图像处理方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810381726.2A CN108564058B (zh) 2018-04-25 2018-04-25 一种图像处理方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108564058A CN108564058A (zh) 2018-09-21
CN108564058B true CN108564058B (zh) 2020-10-23

Family

ID=63536778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810381726.2A Active CN108564058B (zh) 2018-04-25 2018-04-25 一种图像处理方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108564058B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298786B (zh) * 2019-07-02 2023-12-08 北京字节跳动网络技术有限公司 图像渲染方法、装置、设备及存储介质
CN110706192A (zh) * 2019-10-15 2020-01-17 北京明略软件系统有限公司 图像数据中标识的处理方法及装置、存储介质和电子装置
CN111612011B (zh) * 2020-05-21 2023-09-05 郑泽宇 一种基于人体语义分割的服饰色彩提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020961A (zh) * 2012-11-26 2013-04-03 谭平 基于图像的虚拟服装拟合的方法和设备
CN103106604A (zh) * 2013-01-23 2013-05-15 东华大学 基于体感技术的3d虚拟试衣方法
US20140122381A1 (en) * 2012-10-25 2014-05-01 Microsoft Corporation Decision tree training in machine learning
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN107909583A (zh) * 2017-11-08 2018-04-13 维沃移动通信有限公司 一种图像处理方法、装置及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140122381A1 (en) * 2012-10-25 2014-05-01 Microsoft Corporation Decision tree training in machine learning
CN103020961A (zh) * 2012-11-26 2013-04-03 谭平 基于图像的虚拟服装拟合的方法和设备
CN103106604A (zh) * 2013-01-23 2013-05-15 东华大学 基于体感技术的3d虚拟试衣方法
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN107909583A (zh) * 2017-11-08 2018-04-13 维沃移动通信有限公司 一种图像处理方法、装置及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect的虚拟试衣系统的设计与实现;李智超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115(第01期);论文第13-21页 *

Also Published As

Publication number Publication date
CN108564058A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN111787242B (zh) 用于虚拟试衣的方法和装置
CN107507216B (zh) 图像中局部区域的替换方法、装置及存储介质
Kumarapu et al. Animepose: Multi-person 3d pose estimation and animation
KR101711736B1 (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN108564058B (zh) 一种图像处理方法、装置及计算机可读存储介质
JP7475772B2 (ja) 画像生成方法、画像生成装置、コンピュータ機器、及びコンピュータプログラム
CN109410119A (zh) 面具图像变形方法及其系统
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN110288715A (zh) 虚拟项链试戴方法、装置、电子设备及存储介质
KR20170067673A (ko) 애니메이션 생성 방법 및 애니메이션 생성 장치
CN108229492B (zh) 提取特征的方法、装置及系统
Xu et al. 3D joints estimation of the human body in single-frame point cloud
CN115761885B (zh) 一种共时与跨域异步融合驱动的行为识别方法
CN115862130B (zh) 基于人体姿态及其躯干运动场的行为识别方法
CN114821811B (zh) 人物合成图像生成方法、装置、计算机设备及存储介质
CN114638744B (zh) 人体姿态迁移方法及装置
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN115564871A (zh) 训练试衣模型的方法、虚拟试衣方法及相关装置
Chen et al. Optimizing human model reconstruction from RGB-D images based on skin detection
CN112508776B (zh) 动作迁移方法、装置和电子设备
CN116228850A (zh) 物体姿态估计方法、装置、电子设备及可读存储介质
CN115880766A (zh) 姿态迁移、姿态迁移模型训练方法、装置和存储介质
CN113610864A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP3677253B2 (ja) 映像編集方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant