CN108614994A - 一种基于深度学习的人头部图像提取方法和装置 - Google Patents

一种基于深度学习的人头部图像提取方法和装置 Download PDF

Info

Publication number
CN108614994A
CN108614994A CN201810255773.2A CN201810255773A CN108614994A CN 108614994 A CN108614994 A CN 108614994A CN 201810255773 A CN201810255773 A CN 201810255773A CN 108614994 A CN108614994 A CN 108614994A
Authority
CN
China
Prior art keywords
image
head
deep learning
style
extracting method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810255773.2A
Other languages
English (en)
Inventor
叶小凤
谷也
盛卫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intelligent Robot Research Institute
Original Assignee
Shenzhen Intelligent Robot Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intelligent Robot Research Institute filed Critical Shenzhen Intelligent Robot Research Institute
Priority to CN201810255773.2A priority Critical patent/CN108614994A/zh
Publication of CN108614994A publication Critical patent/CN108614994A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的人头部图像提取方法和装置。所述方法包括将包含人像的待提取图片输入到经过预先训练的YOLO神经网络进行处理和输出头部区域图像，将头部区域图像输入到经过训练的HED神经网络进行处理和输出头部边缘轮廓图像，将头部区域图像作为内容图像、头部边缘轮廓图像作为风格图像输入到艺术风格迁移神经网络进行处理，从而输出合成图像等步骤；所述装置包括存储器和处理器。本发明能够从头部区域图像中提取出头部边缘轮廓图像，并将头部边缘轮廓图像的风格迁移到头部区域图像中，实现头部边缘轮廓、五官和头发等细节的融合，使得合成图像具有丰富的面部特征和清晰的边缘轮廓。本发明应用于图像识别处理技术领域。

Description

一种基于深度学习的人头部图像提取方法和装置
技术领域
本发明涉及图像识别处理技术领域，尤其是一种基于深度学习的人头部图像提取方法和装置。
背景技术
术语解释：
YOLO：You Only Look Once，是一种基于深度学习的目标检测方法，其可以用于训练神经网络，经过YOLO训练的神经网络可以用于解决目标区域预测和类别预测的回归问题，其优点是可以同时保证较高的检测速度和准确率；
HED：Holistically-nested Edge Detection，整体嵌入边缘检测，是一种深度神经网络模型，其用于图像边缘轮廓检测时，输入对象为图片，输出对象为图片中主要形状的边缘轮廓图像。
随着机器人技术的发展，机器人越来越广泛地应用于各个领域。机器人的其中一种应用是肖像机器人，其可以对包含人像的图片进行检测，从整幅图片中提取出仅包含头部图像的区域，然后从这个区域内的图像中提取出头部图像的主要特征，包括图像中头部的边缘轮廓等，根据这些主要特征，驱动画笔等机构进行头像的绘制。肖像机器人可以用于艺术创作，而其效果除了与画笔驱动质量有关外，主要取决于对头部图像的识别、检测和提取的质量。
现有的肖像机器人主要使用基于Haar特征的人脸检测技术进行头部图像所在区域的识别，然后使用Canny边缘检测、全局二值化和局部二值化等方法来进行边缘轮廓的提取。这些现有的检测方法需要人工参与调整检测结果，而且过于关注头部图像的面部细节，容易造成识别结果中面部边缘断裂，这影响了肖像机器人的画像效果。
发明内容
为了解决上述技术问题，本发明的第一目的在于提供一种基于深度学习的人头部图像提取方法，第二目的在于提供一种基于深度学习的人头部图像提取装置。
本发明所采取的第一技术方案是：
一种基于深度学习的人头部图像提取方法，包括以下步骤：
S1.将包含人像的待提取图片输入到经过预先训练的YOLO神经网络进行处理，从而输出头部区域图像，所述头部区域图像为待提取图片的一部分且包含所述人像的头像；
S2.将头部区域图像输入到经过训练的HED神经网络进行处理，从而输出头部边缘轮廓图像；
S3.将头部区域图像作为内容图像、头部边缘轮廓图像作为风格图像输入到艺术风格迁移神经网络进行处理，从而输出合成图像，所述艺术风格迁移神经网络用于将头部边缘轮廓图像的风格迁移到头部区域图像。
进一步地，本发明一种基于深度学习的人头部图像提取方法还包括以下步骤：
S4.将合成图像依次进行二值化和矢量化，从而得到矢量图像。
进一步地，本发明一种基于深度学习的人头部图像提取方法还包括以下步骤：
S5.根据矢量图像，驱动绘画机构进行绘画。
进一步地，所述步骤S1具体包括：
S101.获取待提取图片的特征图，所述特征图具有多个网格单元；
S102.使用YOLO神经网络学习每个网格单元对应的多组参数(tx,ty,tw,th)；
S103.根据所述每组参数(tx,ty,tw,th)，分别生成对应的预测边界框；
S104.针对每个网格单元，使用非极大值抑制算法在所有预测边界框中选出最优预测边界框；
S105.以最优预测边界框内所包括的图像作为头部区域图像输出。
进一步地，所述步骤S103具体包括：
S10301.使用下式计算参数(bx,by,bw,bh)：
式中，σ(·)为sigmoid函数，cx为对应网格单元左上角距离特征图片左上角的水平边距，cy为对应网格单元左上角距离特征图片左上角的垂直边距，pw为对应真实边界框的宽度，ph为对应真实边界框的高度，所述真实边界框为人头部所在区域手工标注的边界框；
S10302.以bx为中心点横坐标、by为中心点纵坐标、bw为宽度、bh为高度生成对应的预测边界框。
进一步地，所述HED神经网络包括多个阶段、多个卷积层和一个加权融合层；
所述每个阶段分别包括卷积层和分类器，所述每个阶段中的卷积层和分类器相关联形成侧输出层，所述侧输出层用于生成并输出此阶段对应的头部边缘轮廓图像；
所述加权融合层用于组合来自不同阶段输出的头部边缘轮廓图像，从而生成并输出作为最终结果的头部边缘轮廓图像。
进一步地，通过下式计算HED神经网络对应的加权融合层损失函数和侧输出层损失函数：
Lfuse(W,ws,wf)＝Dist(Y,Ffuse)，
式中，W为HED神经网络所有网络参数的集合，Lfuse为加权融合层损失函数，Lside为侧输出层损失函数，为第m层侧输出层损失函数，β为类平衡参数，Y+为HED神经网络的边缘标签集合，Y-为HED神经网络的非边缘标签集合，yj表示与原图像相对应的二值边缘图，Dist(·)为预测值与真实值之间的距离，ws为侧输出层模型参数，αm为每个侧输出层的损失权重，wf为加权融合层模型参数，侧输出层模型参数和加权融合层模型参数可以通过下列目标函数进行求解：
(W，ws,wf)*＝argmin(Lside(W,ws)+Lfuse(W,ws,wf))，
所述HED神经网络通过下式对所输入的头部区域图像进行处理：
式中，X为头部区域图像，为第m层侧输出层的输出值，Yfuse为加权融合层的输出值。
进一步地，所述步骤S3具体包括：
S301.生成内容图像的特征图和风格图像的特征图；
S302.分别从内容图像的特征图和风格图像的特征图中提取多个局部块；
S303.在风格图像的特征图中匹配所述多个局部块中最佳的局部块，从而生成并输出合成图像。
进一步地，所述步骤S303中，利用下列公式生成合成图像：
式中，x为合成图像，Φ(x)为x的特征图，Ψ(Φ(x))为从x的特征图中提取出的局部块，ΨNN(i)(Φ(xs))表示Φ(xs)中与Ψi(Φ(x))最匹配的局部块，xc为内容图像，xs为风格图像，γ(x)为平滑参数，m为Ψ(Φ(x))的基数，α1和α2为自定义常数。
本发明所采取的第二技术方案是：
一种基于深度学习的人头部图像提取装置，包括：
存储器，用于存储至少一个程序；
处理器，用于加载所述至少一个程序以执行第一技术方案所述一种基于深度学习的人头部图像提取方法。
本发明的有益效果是：本发明YOLO神经网络能够将头部区域图像从待提取图片中提取出来，使得后续处理步骤只需要关注头部区域图像，无需关注待提取图片的其他部分，减少数据处理量，提高工作效率。HED神经网络能够从头部区域图像中提取出头部边缘轮廓图像，艺术风格迁移神经网络将头部边缘轮廓图像的风格迁移到头部区域图像中，由于头部区域图像本身还包含五官和头发等面部细节图像信息，因此艺术风格迁移神经网络的风格迁移作用的效果便是实现头部边缘轮廓、五官和头发等细节的融合，使得最后所得的合成图像同时具有丰富的面部特征和清晰的边缘轮廓。根据合成图像得到的矢量图像适用于肖像机器人绘画，克服了传统肖像机器人绘画面临的面部边缘断裂等问题。
附图说明
图1为本发明方法流程图；
图2为本发明方法所生成的一个预测边界框的示意图。
具体实施方式
实施例1
一种基于深度学习的人头部图像提取方法，如图1所示，包括以下步骤：
S1.将包含人像的待提取图片输入到经过预先训练的YOLO神经网络进行处理，从而输出头部区域图像，所述头部区域图像为待提取图片的一部分且包含所述人像的头像；
S2.将头部区域图像输入到经过训练的HED神经网络进行处理，从而输出头部边缘轮廓图像；
S3.将头部区域图像作为内容图像、头部边缘轮廓图像作为风格图像输入到艺术风格迁移神经网络进行处理，从而输出合成图像，所述艺术风格迁移神经网络用于将头部边缘轮廓图像的风格迁移到头部区域图像。
本实施例中所用的YOLO神经网络，可以先通过现有技术来进行训练，使得其能够从输入到YOLO神经网络的图像中将含有人头部图像的区域提取出来。训练YOLO神经网络时，使用包含人头部图像的图片作为训练所用的数据集。待提取图片可以是事先拍摄或现场拍摄的照片，其包含人像。利用经过训练的YOLO神经网络，便可以从待提取图片的头部区域图像提取出来。
HED神经网络可以使用一个具有5个阶段的16层的VGG16网络。HED神经网络可以先通过现有技术来进行训练，使得其能够从输入到HED神经网络的图像中将人头部边缘轮廓提取出来。经过训练后的HED神经网络的输入对象为头部区域图像，输出对象为头部边缘轮廓图像。
艺术风格迁移神经网络可以使用VGG19网络，其具有5个阶段的19层网络。艺术风格迁移神经网络的输入对象包括内容图像和风格图像，输出对象为合成图像，艺术风格迁移神经网络利用Markov Random Field(MRF)技术使得合成图像的局部块信息与风格图像的局部块信息类似，因此，艺术风格迁移神经网络能够将风格图像的风格迁移到内容图像布局，使得合成图像具有风格图像的风格。
本发明方法中，YOLO神经网络能够将头部区域图像从待提取图片中提取出来，使得后续处理步骤只需要关注头部区域图像，无需关注待提取图片的其他部分，减少数据处理量，提高工作效率。HED神经网络能够从头部区域图像中提取出头部边缘轮廓图像，艺术风格迁移神经网络将头部边缘轮廓图像的风格迁移到头部区域图像中，由于头部区域图像本身还包含五官和头发等面部细节图像信息，因此艺术风格迁移神经网络的风格迁移作用的效果便是实现头部边缘轮廓、五官和头发等细节的融合，使得最后所得的合成图像同时具有丰富的面部特征和清晰的边缘轮廓。
进一步作为优选的实施方式，本发明一种基于深度学习的人头部图像提取方法还包括以下步骤：
S4.将合成图像依次进行二值化和矢量化，从而得到矢量图像。
进一步作为优选的实施方式，本发明一种基于深度学习的人头部图像提取方法还包括以下步骤：
S5.根据矢量图像，驱动绘画机构进行绘画。
由于肖像机器人进行绘画时所用的图像格式是矢量图像，因此，为了将本发明方法应用到肖像机器人上，在得到合成图像后，先将其二值化，再将其矢量化，肖像机器人可以根据所得的矢量图像来驱动其绘画机构进行绘画。由于矢量图像来自于用本发明方法得到的合成图像，其适用于肖像机器人绘画，克服了传统肖像机器人绘画面临的面部边缘断裂等问题。
进一步作为优选的实施方式，所述步骤S1具体包括：
S101.获取待提取图片的特征图，所述特征图具有多个网格单元；
S102.使用YOLO神经网络学习每个网格单元对应的多组参数(tx,ty,tw,th)；
S103.根据所述每组参数(tx,ty,tw,th)，分别生成对应的预测边界框；
S104.针对每个网格单元，使用非极大值抑制算法在所有预测边界框中选出最优预测边界框；
S105.以最优预测边界框内所包括的图像作为头部区域图像输出。
在步骤S1，即YOLO神经网络对待提取图片进行处理的步骤中，YOLO神经网络提取输入的待提取图片的特征图，所述特征图具有多个网格单元。图2所示是一个待提取图片特征图的左上角部分，各条实线所划分的方格即为所述网格单元。优选地网络可以为每个网格单元学习5组参数，每组参数分别包括(tx,ty,tw,th)等参数，每组参数分别对应生成一个预测边界框，各预测边界框用于作为最优预测边界框的候选对象。其中，tx，ty，tw和th是与预测边界框位置相关的参数，根据(tx,ty,tw,th)便可以确定一个预测边界框。
使用非极大值抑制算法可以从所有预测边界框中选出一个作为最优预测边界框，这个最优预测边界框内所包含的图像便是待处理图片中包含头像的部分，而且最优预测边界框所划定的范围是最优的。
每组参数中还可以包括to，to是与预测边界框的置信度相关的参数，所述置信度信息可以通过下式计算出来：σ(to)＝Pr(object)*IOU(b,object)，式中，σ(·)为sigmoid函数，Pr(object)为对应单元内包含头像的概率，IOU(b,object)为对应网格单元对应的真实边界框与预测边界框的交集与并集的面积之比。
进一步作为优选的实施方式，所述步骤S103具体包括：
S10301.使用下式计算参数(bx,by,bw,bh)：
式中，σ(·)为sigmoid函数，cx为对应网格单元左上角距离特征图片左上角的水平边距，cy为对应网格单元左上角距离特征图片左上角的垂直边距，pw为对应真实边界框的宽度，ph为对应真实边界框的高度，所述真实边界框为人头部所在区域手工标注的边界框；
S10302.以bx为中心点横坐标、by为中心点纵坐标、bw为宽度、bh为高度生成对应的预测边界框。
σ(·)为sigmoid函数可以将tx和ty约束到[0,1]。如图2所示，针对的网格单元为位于第二行第二列的网格单元，虚线框为所检测对象的真实边界框，其宽度为pw，高度为ph。所计算出来的一个预测边界框为矩形，其宽度为bw，高度为bh，该预测边界框的中心点，即矩形的对角线交点，以待提取图片左上角为原点，其坐标为(bx,by)。
上述过程是一个预测边界框的生成过程，对不同网格单元依次执行上述过程，便能得到多个预测边界框。
进一步作为优选的实施方式，所述HED神经网络包括多个阶段、多个卷积层和一个加权融合层；
所述每个阶段分别包括卷积层和分类器，所述每个阶段中的卷积层和分类器相关联形成侧输出层，所述侧输出层用于生成并输出此阶段对应的头部边缘轮廓图像；
所述加权融合层用于组合来自不同阶段输出的头部边缘轮廓图像，从而生成并输出作为最终结果的头部边缘轮廓图像。
进一步作为优选的实施方式，通过下式计算HED神经网络对应的加权融合层损失函数和侧输出层损失函数：
Lfuse(W,ws,wf)＝Dist(Y,Ffuse)，
式中，W为网络参数的集合，Lfuse为加权融合层损失函数，Lside为侧输出层损失函数，为第m层侧输出层损失函数，β为类平衡参数，Y+，Y-分别为边缘与非边缘标签集合，yj表示与原图像相对应的二值边缘图。Dist(·)为预测值与真实值之间的距离，ws为侧输出层模型参数，αm为每个侧输出层的损失权重，wf为加权融合层模型参数，侧输出层模型参数和加权融合层模型参数可以通过下列目标函数进行求解：
(W，ws,wf)*＝argmin(Lside(W,ws)+Lfuse(W,ws,wf))，
所述HED神经网络通过下式对所输入的头部区域图像进行处理：
式中，X为头部区域图像，为第m层侧输出层的输出值，Yfuse为加权融合层的输出值。
进一步作为优选的实施方式，所述步骤S3具体包括：
S301.生成内容图像的特征图和风格图像的特征图；
S302.分别从内容图像的特征图和风格图像的特征图中提取多个局部块；
S303.在风格图像的特征图中匹配所述多个局部块中最佳的局部块，从而生成并输出合成图像。
在步骤S3，即艺术风格迁移神经网络对头部区域图像和头部边缘轮廓图像进行处理的步骤中，艺术风格迁移神经网络对头部区域图像和头部边缘轮廓图像各自的特征图进行处理，首先分别从中提取出多个局部块，然后在风格图像的块集合中寻找合成图像的最佳匹配的局部块，组合得到合成图像，然后进行输出。
进一步作为优选的实施方式，所述步骤S303中，利用下列公式生成合成图像：
式中，x为合成图像，Φ(x)为x的特征图，Ψ(Φ(x))为从x的特征图中提取出的局部块，ΨNN(i)(Φ(xs))表示Φ(xs)中与Ψi(Φ(x))最匹配的局部块。xc为内容图像，xs为风格图像，γ(x)为平滑参数，m为Ψ(Φ(x))的基数，α1和α2为自定义常数。
实施例2
本实施例中，一种基于深度学习的人头部图像提取装置，包括：
存储器，用于存储至少一个程序；
处理器，用于加载所述至少一个程序以执行实施例1所述一种基于深度学习的人头部图像提取方法。
以上是对本发明的较佳实施进行了具体说明，但对本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于深度学习的人头部图像提取方法，其特征在于，包括以下步骤：
S1.将包含人像的待提取图片输入到经过预先训练的YOLO神经网络进行处理，从而输出头部区域图像，所述头部区域图像为待提取图片的一部分且包含所述人像的头像；
S2.将头部区域图像输入到经过训练的HED神经网络进行处理，从而输出头部边缘轮廓图像；
S3.将头部区域图像作为内容图像、头部边缘轮廓图像作为风格图像输入到艺术风格迁移神经网络进行处理，从而输出合成图像，所述艺术风格迁移神经网络用于将头部边缘轮廓图像的风格迁移到头部区域图像。
2.根据权利要求1所述的一种基于深度学习的人头部图像提取方法，其特征在于，还包括以下步骤：
S4.将合成图像依次进行二值化和矢量化，从而得到矢量图像。
3.根据权利要求2所述的一种基于深度学习的人头部图像提取方法，其特征在于，还包括以下步骤：
S5.根据矢量图像，驱动绘画机构进行绘画。
4.根据权利要求1-3任一项所述的一种基于深度学习的人头部图像提取方法，其特征在于，所述步骤S1具体包括：
S101.获取待提取图片的特征图，所述特征图具有多个网格单元；
S102.使用YOLO神经网络学习每个网格单元对应的多组参数(tx,ty,tw,th)；
S103.根据所述每组参数(tx,ty,tw,th)，分别生成对应的预测边界框；
S104.针对每个网格单元，使用非极大值抑制算法在所有预测边界框中选出最优预测边界框；
S105.以最优预测边界框内所包括的图像作为头部区域图像输出。
5.根据权利要求4所述的一种基于深度学习的人头部图像提取方法，其特征在于，所述步骤S103具体包括：
S10301.使用下式计算参数(bx,by,bw,bh)：
式中，σ(·)为sigmoid函数，cx为对应网格单元左上角距离特征图左上角的水平边距，cy为对应网格单元左上角距离特征图左上角的垂直边距，pw为对应真实边界框的宽度，ph为对应真实边界框的高度，所述真实边界框为人头部所在区域手工标注的边界框；
S10302.以bx为中心点横坐标、by为中心点纵坐标、bw为宽度、bh为高度生成对应的预测边界框。
6.根据权利要求1-3任一项所述的一种基于深度学习的人头部图像提取方法，其特征在于，所述HED神经网络包括多个阶段、多个卷积层和一个加权融合层；
所述每个阶段分别包括卷积层和分类器，所述每个阶段中的卷积层和分类器相关联形成侧输出层，所述侧输出层用于生成并输出此阶段对应的头部边缘轮廓图像；
所述加权融合层用于组合来自不同阶段输出的头部边缘轮廓图像，从而生成并输出作为最终结果的头部边缘轮廓图像。
7.根据权利要求6所述的一种基于深度学习的人头部图像提取方法，其特征在于：
通过下式计算HED神经网络对应的加权融合层损失函数和侧输出层损失函数：
Lfuse(W,ws,wf)＝Dist(Y,Ffuse)，
式中，W为HED神经网络所有网络参数的集合，Lfuse为加权融合层损失函数，Lside为侧输出层损失函数，为第m层侧输出层损失函数，β为类平衡参数，Y+为HED神经网络的边缘标签集合，Y-为HED神经网络的非边缘标签集合，yj表示与原图像相对应的二值边缘图，Dist(·)为预测值与真实值之间的距离，ws为侧输出层模型参数，αm为每个侧输出层的损失权重，wf为加权融合层模型参数，侧输出层模型参数和加权融合层模型参数可以通过下列目标函数进行求解：
(W，ws,wf)*＝argmin(Lside(W,ws)+Lfuse(W,ws,wf))，
所述HED神经网络通过下式对所输入的头部区域图像进行处理：
式中，X为头部区域图像，为第m层侧输出层的输出值，Yfuse为加权融合层的输出值。
8.根据权利要求1-3任一项所述的一种基于深度学习的人头部图像提取方法，其特征在于，所述步骤S3具体包括：
S301.生成内容图像的特征图和风格图像的特征图；
S302.分别从内容图像的特征图和风格图像的特征图中提取多个局部块；
S303.在风格图像的特征图中匹配所述多个局部块中最佳的局部块，从而生成并输出合成图像。
9.根据权利要求8所述的一种基于深度学习的人头部图像提取方法，其特征在于，所述步骤S303中，利用下列公式生成合成图像：
式中，x为合成图像，xc为内容图像，xs为风格图像。Φ(x)为x的特征图，Ψ(Φ(x))为从x的特征图中提取出的局部块，ΨNN(i)(Φ(xs))表示Φ(xs)中与Ψi(Φ(x))最匹配的局部块，γ(x)为平滑参数，m为Ψ(Φ(x))的基数，α1和α2为自定义常数。
10.一种基于深度学习的人头部图像提取装置，其特征在于，包括：
存储器，用于存储至少一个程序；
处理器，用于加载所述至少一个程序以执行权利要求1-9任一项所述一种基于深度学习的人头部图像提取方法。
CN201810255773.2A 2018-03-27 2018-03-27 一种基于深度学习的人头部图像提取方法和装置 Pending CN108614994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810255773.2A CN108614994A (zh) 2018-03-27 2018-03-27 一种基于深度学习的人头部图像提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810255773.2A CN108614994A (zh) 2018-03-27 2018-03-27 一种基于深度学习的人头部图像提取方法和装置

Publications (1)

Publication Number Publication Date
CN108614994A true CN108614994A (zh) 2018-10-02

Family

ID=63658850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810255773.2A Pending CN108614994A (zh) 2018-03-27 2018-03-27 一种基于深度学习的人头部图像提取方法和装置

Country Status (1)

Country Link
CN (1) CN108614994A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN109918996A (zh) * 2019-01-17 2019-06-21 平安科技（深圳）有限公司 人员违法动作识别方法、系统、计算机设备和存储介质
CN109934835A (zh) * 2019-01-25 2019-06-25 广西科技大学 基于深度强化网络邻接连接的轮廓检测方法
CN110111369A (zh) * 2019-05-08 2019-08-09 上海大学 一种基于边缘检测的尺度自适应海面目标跟踪方法
CN110189348A (zh) * 2019-05-29 2019-08-30 北京达佳互联信息技术有限公司 头像处理方法、装置、计算机设备及存储介质
CN110796673A (zh) * 2019-10-31 2020-02-14 Oppo广东移动通信有限公司 图像分割方法及相关产品
CN111161284A (zh) * 2019-12-31 2020-05-15 东南大学 一种基于PSPNet与HED相结合的医学图像骨骼分割方法
CN111179215A (zh) * 2019-11-29 2020-05-19 北京航空航天大学合肥创新研究院 一种基于细胞明场图片对细胞内部结构的分析方法及系统
CN111189201A (zh) * 2020-01-15 2020-05-22 西安建筑科技大学 一种基于机器视觉的空调预测控制方法
CN112131917A (zh) * 2019-06-25 2020-12-25 北京京东尚科信息技术有限公司 测量方法、装置、系统和计算机可读存储介质
CN112733729A (zh) * 2021-01-12 2021-04-30 北京爱笔科技有限公司 模型训练、回归分析的方法、装置、存储介质和设备
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
CN113592970A (zh) * 2021-07-28 2021-11-02 网易（杭州）网络有限公司 毛发造型的生成方法及装置、电子设备、存储介质
CN114943869A (zh) * 2022-03-30 2022-08-26 中国民用航空飞行学院 风格迁移增强的机场目标检测方法
CN116128717A (zh) * 2023-04-17 2023-05-16 四川观想科技股份有限公司 一种基于神经网络的图像风格迁移方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329770A (zh) * 2008-05-30 2008-12-24 清华大学 基于水流结构图的中国水墨动画自动生成的方法
CN101551911A (zh) * 2009-05-07 2009-10-07 上海交通大学 人脸素描肖像画自动生成方法
CN102682420A (zh) * 2012-03-31 2012-09-19 北京百舜华年文化传播有限公司 一种真实人物图像转换为卡通风格图像的方法及装置
CN104637076A (zh) * 2013-11-13 2015-05-20 沈阳新松机器人自动化股份有限公司 一种机器人肖像绘制系统及方法
CN104732506A (zh) * 2015-03-27 2015-06-24 浙江大学 一种基于人脸语义分析的人物照片颜色风格转换方法
CN105184249A (zh) * 2015-08-28 2015-12-23 百度在线网络技术（北京）有限公司 用于人脸图像处理的方法和装置
CN106327422A (zh) * 2015-07-01 2017-01-11 北京大学 一种图像风格化重建方法及装置
CN106485765A (zh) * 2016-10-13 2017-03-08 中国科学院半导体研究所 一种自动描绘人脸线条画的方法
US20170169313A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329770A (zh) * 2008-05-30 2008-12-24 清华大学 基于水流结构图的中国水墨动画自动生成的方法
CN101551911A (zh) * 2009-05-07 2009-10-07 上海交通大学 人脸素描肖像画自动生成方法
CN102682420A (zh) * 2012-03-31 2012-09-19 北京百舜华年文化传播有限公司 一种真实人物图像转换为卡通风格图像的方法及装置
CN104637076A (zh) * 2013-11-13 2015-05-20 沈阳新松机器人自动化股份有限公司 一种机器人肖像绘制系统及方法
CN104732506A (zh) * 2015-03-27 2015-06-24 浙江大学 一种基于人脸语义分析的人物照片颜色风格转换方法
CN106327422A (zh) * 2015-07-01 2017-01-11 北京大学 一种图像风格化重建方法及装置
CN105184249A (zh) * 2015-08-28 2015-12-23 百度在线网络技术（北京）有限公司 用于人脸图像处理的方法和装置
US20170169313A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN106485765A (zh) * 2016-10-13 2017-03-08 中国科学院半导体研究所 一种自动描绘人脸线条画的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOFENG YE ET AL.: "Deep Learning-Based Human Head Detection and Extraction for Robotic Portrait Drawing", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS（ROBIO）》 *
宓超 等: "《装卸机器视觉及其应用》", 31 January 2016, 上海科学技术出版社 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN109918996A (zh) * 2019-01-17 2019-06-21 平安科技（深圳）有限公司 人员违法动作识别方法、系统、计算机设备和存储介质
CN109934835A (zh) * 2019-01-25 2019-06-25 广西科技大学 基于深度强化网络邻接连接的轮廓检测方法
CN109934835B (zh) * 2019-01-25 2023-03-31 广西科技大学 基于深度强化网络邻接连接的轮廓检测方法
CN110111369A (zh) * 2019-05-08 2019-08-09 上海大学 一种基于边缘检测的尺度自适应海面目标跟踪方法
CN110189348A (zh) * 2019-05-29 2019-08-30 北京达佳互联信息技术有限公司 头像处理方法、装置、计算机设备及存储介质
CN110189348B (zh) * 2019-05-29 2020-12-25 北京达佳互联信息技术有限公司 头像处理方法、装置、计算机设备及存储介质
CN112131917A (zh) * 2019-06-25 2020-12-25 北京京东尚科信息技术有限公司 测量方法、装置、系统和计算机可读存储介质
CN110796673A (zh) * 2019-10-31 2020-02-14 Oppo广东移动通信有限公司 图像分割方法及相关产品
CN111179215A (zh) * 2019-11-29 2020-05-19 北京航空航天大学合肥创新研究院 一种基于细胞明场图片对细胞内部结构的分析方法及系统
CN111179215B (zh) * 2019-11-29 2022-09-13 北京航空航天大学合肥创新研究院 一种基于细胞明场图片对细胞内部结构的分析方法及系统
CN111161284B (zh) * 2019-12-31 2022-02-11 东南大学 一种基于PSPNet与HED相结合的医学图像骨骼分割方法
CN111161284A (zh) * 2019-12-31 2020-05-15 东南大学 一种基于PSPNet与HED相结合的医学图像骨骼分割方法
CN111189201A (zh) * 2020-01-15 2020-05-22 西安建筑科技大学 一种基于机器视觉的空调预测控制方法
CN112733729B (zh) * 2021-01-12 2024-01-09 北京爱笔科技有限公司 模型训练、回归分析的方法、装置、存储介质和设备
CN112733729A (zh) * 2021-01-12 2021-04-30 北京爱笔科技有限公司 模型训练、回归分析的方法、装置、存储介质和设备
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
CN113592970A (zh) * 2021-07-28 2021-11-02 网易（杭州）网络有限公司 毛发造型的生成方法及装置、电子设备、存储介质
CN113592970B (zh) * 2021-07-28 2024-04-12 网易（杭州）网络有限公司 毛发造型的生成方法及装置、电子设备、存储介质
CN114943869A (zh) * 2022-03-30 2022-08-26 中国民用航空飞行学院 风格迁移增强的机场目标检测方法
CN114943869B (zh) * 2022-03-30 2023-06-30 中国民用航空飞行学院 风格迁移增强的机场目标检测方法
CN116128717A (zh) * 2023-04-17 2023-05-16 四川观想科技股份有限公司 一种基于神经网络的图像风格迁移方法

Similar Documents

Publication Publication Date Title
CN108614994A (zh) 一种基于深度学习的人头部图像提取方法和装置
CN111160440B (zh) 一种基于深度学习的安全帽佩戴检测方法及装置
CN110992311B (zh) 一种基于特征融合的卷积神经网络瑕疵检测方法
CN110287960B (zh) 自然场景图像中曲线文字的检测识别方法
CN107480730A (zh) 电力设备识别模型构建方法和系统、电力设备的识别方法
CN110543846B (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
US11887362B2 (en) Sky filter method for panoramic images and portable terminal
CN110991435A (zh) 一种基于深度学习的快递运单关键信息定位方法和装置
CN104680144B (zh) 基于投影极速学习机的唇语识别方法和装置
CN109325954A (zh) 图像分割方法、装置及电子设备
CN106022363B (zh) 一种适用于自然场景下的中文文字识别方法
CN109448001B (zh) 一种图片自动裁剪方法
CN107729872A (zh) 基于深度学习的人脸表情识别方法及装置
CN104915972A (zh) 图像处理装置、图像处理方法以及程序
CN103258214A (zh) 基于图像块主动学习的遥感图像分类方法
CN107633511A (zh) 一种基于自编码神经网络的风机视觉检测系统
CN110298265A (zh) 一种基于yolo神经网络的电梯中特定目标检测方法
CN110135430A (zh) 一种基于深度神经网络的铝材模具id自动识别系统
CN103824089A (zh) 一种基于级联回归的人脸3d姿态识别方法
CN112085024A (zh) 一种罐表面字符识别方法
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN110766016B (zh) 一种基于概率神经网络的喷码字符识别方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN110889332A (zh) 一种基于面试中微表情的说谎检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002

RJ01 Rejection of invention patent application after publication