CN110287484B - 一种基于人脸特征的汉语文本描述人脸图像生成方法 - Google Patents

一种基于人脸特征的汉语文本描述人脸图像生成方法 Download PDF

Info

Publication number
CN110287484B
CN110287484B CN201910499411.2A CN201910499411A CN110287484B CN 110287484 B CN110287484 B CN 110287484B CN 201910499411 A CN201910499411 A CN 201910499411A CN 110287484 B CN110287484 B CN 110287484B
Authority
CN
China
Prior art keywords
text
face image
list
word
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910499411.2A
Other languages
English (en)
Other versions
CN110287484A (zh
Inventor
杨静
付志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201910499411.2A priority Critical patent/CN110287484B/zh
Publication of CN110287484A publication Critical patent/CN110287484A/zh
Application granted granted Critical
Publication of CN110287484B publication Critical patent/CN110287484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸特征的汉语文本描述人脸图像生成方法，其特点是该方法对描述人脸特征的中文文本经分句、分词、词性分析、过滤和字典映射，从文本的句子、词语中抽取特征向量，实现中文文本序列到数学表示的转换，将抽取的特征表示与面部图像模版结合，并输入到深度神经网络模型中，生成与文本描述相匹配的人脸图像。本发明与现有技术相比生成符合相应汉语文本所描述特征的人脸图像具有较强的针对性，在处理描述文本的过程中应用了词性过滤操作，并通过自动编码器进行语义过滤以及融合，有效消除了描述文本中与任务无关以及无意义文本的干扰，方法简单、易行，较好的解决了自然语言描述的随意性。

Description

一种基于人脸特征的汉语文本描述人脸图像生成方法
技术领域
本发明涉及自然语言处理及图像生成技术领域，尤其是一种基于人脸特征的汉语文本描述人脸图像生成方法。
背景技术
在一些特定场景下，需要根据给定的部分信息快速获取人物的面部画像，其中就包括基于自然语言的描述性文本生成面部图像的任务。通常这一任务由于描述的内容、信息较为模糊，常常由人力手工完成并加以核对，而随着机器学习方法的发展，向计算机输入人物面部特征从而获取面部图像成为可能。较早的面部图像的方法输入多为一些简单的短语描述或人为规定格式的信息，例如确定发色是黑、红、黄等给定颜色列表中的一种，则相应的发色属性用一个属性-值对来表示，而现实场景中，常常需要直接从自然语言文本中提炼信息并转换为对应图像。
现有技术的自然语言的描述具有相当的随意性，难以直接用简单的属性完全表示，而且目前的方法以英语等语言为基础，这些语言与中文语法、字词格式等方面存在着重要的区别，相关的方法难以通用，因此亟需研发建立相关模型抽取特征进而生成图像尤为重要。
发明内容
本发明的目的是针对现有技术的不足而设计的一种基于人脸特征的汉语文本描述人脸图像生成方法，采用深度神经网络模型将抽取的人脸特征表示与面部图像模版融合，生成与文本描述相匹配的人脸图像，方法简单、易行，在处理描述文本的过程中应用了词性过滤操作，并通过自动编码器进行语义过滤以及融合，有效消除了描述文本中与任务无关以及无意义文本的干扰，精准度高。
本发明的目的是这样实现的：一种基于人脸特征的汉语文本描述人脸图像生成方法，其特点是该方法对描述人脸特征的中文文本经分句、分词、词性分析、过滤和字典映射，从文本的句子、词语中抽取特征向量，实现中文文本序列到数学表示的转换，将抽取的特征表示与面部图像模版结合，并输入到深度神经网络模型中，生成与文本描述相匹配的人脸图像，其具体实现包括以下步骤：
a、获取描述面部特征的汉语言文本输入；
b、提取文本中可以切分短句的分隔符位置，选择定位短句的分隔符；
c、使用上述选择的分隔符，将描述面部特征的汉语言文本分割成描述短句列表S，且分割后的短句中不包含上述分隔符；
d、对短句列表S中的每个短句Si进行中文分词以及词性标注，并过滤部分词性词语，保留具备特征描述能力的词或短语，得到对应的分词结果S(e)i，对应短句列表S得到分词结果列表S(e)；所述短句Si为短句列表S中的第i个短句；
e、利用word2vec词向量工具对每个S(e)i中的每个单词S(e)ij进行向量化，得到短句S(e)i对应的向量化结果为Vi；单词S(e)ij对应的向量化结果为Vij；短句列表S对应的向量化结果为V；所述单词S(e)ij为短句Si分词列表S(e)i中的第j个单词；
f、将每个短句S(e)i对应的向量化结果Vi输入系统中第一个递归自动编码器(Recursive AutoEncoder)，将输出的单一向量VSi作为句子的表示向量，得到短句列表S所对应的向量列表VS；
g、将向量列表VS输入系统中的第二个递归自动编码器(RecursiveAutoEncoder)，并将中间层输出的单一向量VF作为整个面部特征描述文本的最终向量表示；
h、将上述步骤获取的向量VF与面部图像模版组合后输入系统中的面部图像生成模型中，得到与输入文本描述相符的人脸图像，所述生成模型基于深度神经网络。
所述描述面部特征的汉语言文本包括不确定类型数目的其它类型语言文本，且只包含对单一人物面部特征的描述。
所述分词结果列表S(e)中包括具有名词、代词、形容词、数词、量词、介词当中一种词性的词或短语。
本发明与现有技术相比生成符合相应汉语文本所描述特征的人脸图像具有较强的针对性，在处理描述文本的过程中应用了词性过滤操作，并通过自动编码器进行语义过滤以及融合，有效消除了描述文本中与任务无关以及无意义文本的干扰，方法简单、易行，较好的解决了自然语言描述的随意性。
附图说明
图1为本发明流程示意图。
具体实施方式
参阅附图1，本发明对描述人脸特征的中文文本经分句、分词、词性分析、过滤和字典映射，从文本的句子、词语中抽取特征向量，实现中文文本序列到数学表示的转换，将抽取的特征表示与面部图像模版结合，并输入到深度神经网络模型中，生成与文本描述相匹配的人脸图像，其具体实现包括以下步骤：
a、获取描述面部特征的汉语言文本输入；
b、提取文本中可以切分短句的分隔符位置，选择定位短句的分隔符；
c、使用上述选择的分隔符，将描述面部特征的汉语言文本分割成描述短句列表S，且分割后的短句中不包含上述分隔符；
d、对短句列表S中的每个短句Si进行中文分词以及词性标注，并过滤部分词性词语，保留具备特征描述能力的词或短语，得到对应的分词结果S(e)i，对应短句列表S得到分词结果列表S(e)；所述短句Si为短句列表S中的第i个短句；
e、利用word2vec词向量工具对每个S(e)i中的每个单词S(e)ij进行向量化，得到短句S(e)i对应的向量化结果为Vi；单词S(e)ij对应的向量化结果为Vij；短句列表S对应的向量化结果为V；所述单词S(e)ij为短句Si分词列表S(e)i中的第j个单词；
f、将每个短句S(e)i对应的向量化结果Vi输入系统中第一个递归自动编码器(Recursive AutoEncoder)，将输出的单一向量VSi作为句子的表示向量，得到短句列表S所对应的向量列表VS；
g、将向量列表VS输入系统中的第二个递归自动编码器(RecursiveAutoEncoder)，并将中间层输出的单一向量VF作为整个面部特征描述文本的最终向量表示；
h、将上述步骤获取的向量VF与面部图像模版组合后输入系统中的面部图像生成模型中，得到与输入文本描述相符的人脸图像，所述生成模型基于深度神经网络。
所述描述面部特征的汉语言文本包括不确定类型数目的其它类型语言文本，且只包含对单一人物面部特征的描述。
所述分词结果列表S(e)中包括具有名词、代词、形容词、数词、量词、介词当中一种词性的词或短语。
下面以具体实施为例对本发明作进一步阐述：
实施例1
本发明按下述步骤抽取的特征表示与面部图像模版结合，并输入到深度神经网络模型中，生成与文本描述相匹配的人脸图像的：
(1)通过自定的不确定的服务形式，在一次会话范围内，获取描述面部特征的汉语言文本序列，作为输入。
(2)对于除语言字母、文字和数字外的文本字符，包括标点符号在内的部分特殊符号，将之作为分隔符，并提取出其在文本中的位置。
(3)使用步骤(2)中选择的分隔符，将描述人脸特征的汉语言文本分割成描述短句列表S，且分割后的短句中讲不包含上述分隔符。
(4)对于短句列表S中的短句Si，(i表示短句Si在短句列表中的顺序，下同)，对其进行中文分词以及词性标注，分词结果保留具备特征描述能力的词或短语，记短句Si对应分词结果为S(e)i，整个短句列表S对应的分词结果为S(e)。
(5)对于任一S(e)i中的任一单词S(e)ij，(j表示词语S(e)ij在短句Si分词列表S(e)i中的顺序，下同)，利用word2vec词向量工具将其进行向量化，对应完整S的向量化结果记为V，处理后短句S(e)i的向量化结果记为Vi，单词S(e)ij的向量化结果记为Vij。
(6)对于步骤(5)获取的每个S(e)i，将其对应向量列表Vi输入系统中第一个的Recursive AutoEncoder(递归自动编码器)，并将输出的单一向量VSi作为句子的表示向量，并将整个短句列表得到的向量列表记为VS。
(7)将步骤(6)取得的短句列表对应的向量列表VS输入系统中的第二个RecursiveAutoEncoder，并将中间层输出的单一向量VF作为整个面部特征描述文本的最终向量表示。
(8)将步骤(7)中获取的向量VF和面部图像模版输入系统中的面部图像生成模型部分，输出结果为最终的脸部图像，该部分使用的生成模型基于深度神经网络。
(9)结束。
本发明关注基于自然语言文本生成关联图像的问题，并针对汉语文本进行设计，旨在生成符合相应汉语文本所描述特征的人脸图像，具有较强的针对性，和健壮性，在处理描述文本的过程中应用了词性过滤操作，并通过自动编码器进行语义过滤以及融合，有效消除了描述文本中与任务无关以及无意义文本的干扰。
以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims (2)

1.一种基于人脸特征的汉语文本描述人脸图像生成方法，其特征在于该方法对描述人脸特征的中文文本经分句、分词、词性分析、过滤和字典映射，从文本的句子、词语中抽取特征向量，实现中文文本序列到数学表示的转换，将抽取的特征表示与面部图像模版结合，并输入到深度神经网络模型中，生成与文本描述相匹配的人脸图像，其具体实现过程包括以下步骤：
a、获取描述面部特征的汉语言文本输入；
b、提取文本中可以切分短句的分隔符位置，选择定位短句的分隔符；
c、使用上述选择的分隔符，将描述面部特征的汉语言文本分割成描述短句列表
Figure DEST_PATH_IMAGE002
，且分割后的短句中不包含上述分隔符；
d、对短句列表
Figure 799938DEST_PATH_IMAGE002
中的每个短句
Figure DEST_PATH_IMAGE004
进行中文分词以及词性标注，并过滤部分词性词语，保留具备特征描述能力的词，得到对应的分词结果
Figure DEST_PATH_IMAGE006
，对应短句列表
Figure 442314DEST_PATH_IMAGE002
得到分词结果列表
Figure DEST_PATH_IMAGE008
；所述短句
Figure 97417DEST_PATH_IMAGE004
为短句列表
Figure 804211DEST_PATH_IMAGE002
中的第i个短句；
e、利用word2vec词向量工具对每个
Figure 680900DEST_PATH_IMAGE006
中的每个单词
Figure DEST_PATH_IMAGE010
进行向量化，得到短句
Figure 378729DEST_PATH_IMAGE006
对应的向量化结果为
Figure DEST_PATH_IMAGE012
；单词
Figure DEST_PATH_IMAGE013
对应的向量化结果为
Figure DEST_PATH_IMAGE015
；短句列表
Figure DEST_PATH_IMAGE016
对应的向量化结果为
Figure DEST_PATH_IMAGE018
；所述单词
Figure 409876DEST_PATH_IMAGE013
为短句
Figure 280880DEST_PATH_IMAGE004
分词列表
Figure 153022DEST_PATH_IMAGE006
中的第j个单词；
f、将每个短句
Figure 208702DEST_PATH_IMAGE006
对应的向量化结果
Figure 274616DEST_PATH_IMAGE012
输入第一个递归自动编码器，将输出的单一向量
Figure DEST_PATH_IMAGE020
作为句子的表示向量，得到短句列表
Figure 746049DEST_PATH_IMAGE002
所对应的向量列表
Figure DEST_PATH_IMAGE022
；
g、将向量列表
Figure DEST_PATH_IMAGE023
输入第二个递归自动编码器，并将中间层输出的单一向量
Figure DEST_PATH_IMAGE025
作为整个面部特征描述文本的最终向量表示；
h、将上述步骤获取的向量
Figure 659647DEST_PATH_IMAGE025
与面部图像模版组合后输入系统中的面部图像生成模型中，得到与输入文本描述相符的人脸图像，所述生成模型基于深度神经网络。
2.根据权利要求1所述基于人脸特征的汉语文本描述人脸图像生成方法，其特征在于所述分词结果列表
Figure 728972DEST_PATH_IMAGE008
中包括具有名词、代词、形容词、数词、量词、介词当中一种词性的词。
CN201910499411.2A 2019-06-11 2019-06-11 一种基于人脸特征的汉语文本描述人脸图像生成方法 Active CN110287484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910499411.2A CN110287484B (zh) 2019-06-11 2019-06-11 一种基于人脸特征的汉语文本描述人脸图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910499411.2A CN110287484B (zh) 2019-06-11 2019-06-11 一种基于人脸特征的汉语文本描述人脸图像生成方法

Publications (2)

Publication Number Publication Date
CN110287484A CN110287484A (zh) 2019-09-27
CN110287484B true CN110287484B (zh) 2022-12-06

Family

ID=68003653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910499411.2A Active CN110287484B (zh) 2019-06-11 2019-06-11 一种基于人脸特征的汉语文本描述人脸图像生成方法

Country Status (1)

Country Link
CN (1) CN110287484B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553335A (zh) * 2020-04-23 2020-08-18 上海风秩科技有限公司 图像生成方法和装置及存储介质
CN112529390A (zh) * 2020-12-02 2021-03-19 平安医疗健康管理股份有限公司 任务分配方法、装置、计算机设备和存储介质
CN113254694B (zh) * 2021-05-21 2022-07-15 中国科学技术大学 一种文本转图像方法和装置
CN114119811B (zh) * 2022-01-28 2022-04-01 北京智谱华章科技有限公司 图像的生成方法、装置和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632147A (zh) * 2013-12-10 2014-03-12 公安部第三研究所 实现面部特征标准化语义描述的系统及方法
CN106503055B (zh) * 2016-09-27 2019-06-04 天津大学 一种从结构化文本到图像描述的生成方法
CN108009154B (zh) * 2017-12-20 2021-01-05 哈尔滨理工大学 一种基于深度学习模型的图像中文描述方法
CN109147010B (zh) * 2018-08-22 2023-07-25 广东工业大学 带属性人脸图像生成方法、装置、系统及可读存储介质
CN109271628A (zh) * 2018-09-03 2019-01-25 东北大学 一种图像描述生成方法
CN109543159B (zh) * 2018-11-12 2023-03-24 南京德磐信息科技有限公司 一种文本生成图像方法及装置

Also Published As

Publication number Publication date
CN110287484A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110287484B (zh) 一种基于人脸特征的汉语文本描述人脸图像生成方法
CN107463553B (zh) 针对初等数学题目的文本语义抽取、表示与建模方法和系统
CN112784696B (zh) 基于图像识别的唇语识别方法、装置、设备及存储介质
CN111026842A (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN110362819B (zh) 基于卷积神经网络的文本情感分析方法
CN110532573A (zh) 一种翻译方法和系统
CN110598203A (zh) 一种结合词典的军事想定文书实体信息抽取方法及装置
CN107301163B (zh) 包含公式的文本语义解析方法及装置
CN113761377B (zh) 基于注意力机制多特征融合的虚假信息检测方法、装置、电子设备及存储介质
CN109977398A (zh) 一种特定领域的语音识别文本纠错方法
CN113255331B (zh) 文本纠错方法、装置及存储介质
Jiang et al. Computer vision and text recognition for assisting visually impaired people using Android smartphone
CN109902160B (zh) 电路题目自动解答的方法及系统
US20220019737A1 (en) Language correction system, method therefor, and language correction model learning method of system
CN114881043B (zh) 基于深度学习模型的法律文书语义相似度评估方法及系统
CN116341519A (zh) 基于背景知识的事件因果关系抽取方法、装置及存储介质
Varghese et al. English to SiGML conversion for sign language generation
Rahaman et al. A rule based system for bangla voice and text to bangla sign language interpretation
CN113065352B (zh) 一种电网调度工作文本的操作内容识别方法
CN110750669B (zh) 一种图像字幕生成的方法及系统
Khosrobeigi et al. A rule-based post-processing approach to improve Persian OCR performance
CN116822530A (zh) 一种基于知识图谱的问答对生成方法
Joshi Text image extraction and summarization
CN115359486A (zh) 一种文档图像中自定义信息的确定方法及系统
CN113850052A (zh) 自回归语言模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant