CN112668384A - 一种知识图谱构建方法、系统、电子设备及存储介质 - Google Patents
一种知识图谱构建方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112668384A CN112668384A CN202010786696.0A CN202010786696A CN112668384A CN 112668384 A CN112668384 A CN 112668384A CN 202010786696 A CN202010786696 A CN 202010786696A CN 112668384 A CN112668384 A CN 112668384A
- Authority
- CN
- China
- Prior art keywords
- micro
- expression
- target image
- features
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title abstract description 4
- 230000014509 gene expression Effects 0.000 claims abstract description 154
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 241000282414 Homo sapiens Species 0.000 claims abstract description 44
- 230000006399 behavior Effects 0.000 claims abstract description 41
- 230000001815 facial effect Effects 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 10
- 230000007123 defense Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 210000000697 sensory organ Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 208000020401 Depressive disease Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 201000003102 mental depression Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种知识图谱构建方法、系统、电子设备及存储介质，其中，所述方法包括：获取包含人脸区域的目标图像；从所述目标图像获取人脸特征和微表情特征；获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；根据所述配对关系，对用户行为作出评估与预测。通过从目标图像获取人脸特征和微表情预测特征，再通过预先构建的微表情特征提取模型，确定目标图像微表情特征，再根据人脸特征和微表情特征，建立目标图像、人脸特征、微表情特征、言论文本的配对关系，通过配对关系确定知识图谱，方便查询、评估与预测用户行为，充分利用数据资源，促进人际交往、社会和谐，实现方法简单，泛化能力强。
Description
技术领域
本发明涉及知识图谱技术领域，更具体地说，涉及一种知识图谱创建方法、系统、电子设备及存储介质。
背景技术
微表情，是心理学名词。人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会“泄露”出其它的信息。微表情作为人类传达情感的重要组成部分，通常发生于人类不经意间、且无法控制和压抑的情况下。因此，微表情可用于国家安全、案件侦破、危险预警、个人防卫等领域，在目标人物无意识的情况下，探查目标人物的真实意图、想法及可能有的行为。
由于微表情的持续时间短，捕捉难度大，所以微表情在很多领域的研究成果不能得到充分应用，造成数据资源的浪费。
因此，现有技术亟待有很大的进步。
发明内容
本发明要解决的技术问题在于微表情在很多领域的研究成果不能得到充分应用，造成数据资源的浪费，针对现有技术的上述的缺陷，一方面，本发明提供了一种知识图谱创建方法，包括：
获取包含人脸区域的目标图像；
从所述目标图像获取人脸特征和微表情特征；
获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
根据所述配对关系，对用户行为作出评估与预测。
在本发明所述的知识图谱创建方法中，所述从所述目标图像获取人脸特征和微表情特征包括：
构建微表情提取模型；
从所述目标图像获取人脸特征；
从所述目标图像获取微表情预测特征；
根据所述微表情预测特征和所述微表情特征提取模型，从所述目标图像获取所述微表情特征。
在本发明所述的知识图谱创建方法中，所述获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系包括：
从现有的或者互联网上采集属于人脸属性的用户的言论图片或者文本；
建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
存储目标图像、人脸特征、微表情特征、言论文本的配对关系。
在本发明所述的知识图谱创建方法中，所述根据所述配对关系，对用户行为作出评估与预测包括：
统计分析目标图像、人脸特征、微表情特征、言论文本的配对关系；
对用户行为作出评估与预测。
在本发明所述的知识图谱创建方法中，所述统计分析目标图像、人脸特征、微表情特征、言论文本的配对关系包括：
根据目标图像、人脸特征、微表情特征、言论文本的配对关系，统计用户在指定时间段类的微表情所属类别、言论倾向。
在本发明所述的知识图谱创建方法中，所述对用户行为作出评估与预测包括：根据用户在指定时间段类的微表情所属类别、言论倾向，预测用户在未来预定时间段类行为动向。
另一方面，本发明还提供了一种知识图谱创建系统，包括，
目标图像获取模块，用于获取包含人脸区域的目标图像；
人脸特征和微表情特征获取模块，用于从所述目标图像获取人脸特征和微表情特征；
配对关系建立模块，用于获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
用户行为评估与预测模块，用于根据所述配对关系，对用户行为作出评估与预测。
在本发明所述的知识图谱创建系统中，所述人脸特征和微表情特征获取模块进一步包括：
微表情提取模型构建模块，用于构建微表情提取模型；
人脸特征获取模块，用于从所述目标图像获取人脸特征；
微表情预测特征获取模块，用于从所述目标图像获取微表情预测特征；
微表情特征获取模块，根据所述微表情预测特征和所述微表情特征提取模型，从所述目标图像获取所述微表情特征。
另一方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述知识图谱创建方法的步骤。
另一方面，本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述知识图谱创建方法的步骤。
实施本发明的知识图谱创建方法、系统、电子设备及存储介质，具有以下有益效果：通过从目标图像获取人脸特征和微表情预测特征，再通过预先构建的微表情特征提取模型，确定目标图像微表情特征，再根据人脸特征和微表情特征，建立目标图像、人脸特征、微表情特征、言论文本的配对关系，通过配对关系确定知识图谱，方便查询、评估与预测用户行为，充分利用数据资源，促进人际交往、社会和谐，实现方法简单，泛化能力强，可普遍适用于国家安全、案件侦破、危险预警、个人防卫等领域。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明一种知识图谱创建方法流程图；
图2是本发明又一种知识图谱创建方法流程图；
图3为根据本发明实施例提供的构建知识图谱的方法流程图；
图4是本发明一种知识图谱创建系统结构示意图；
图5是本发明又一种知识图谱创建系统结构示意图；
图6为根据本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下，所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的知识图谱创建方法可应用于各种终端，该终端设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(如手机、移动电话、平板电脑、PDA、媒体播放器等)、消费型电子设备、车载计算机、智能手表、电视机，以及其他具有显示屏幕的终端设备等等。
以下为微表情类别与对应的微表情解析。
实施例一
请参阅图1，为本发明一种知识图谱创建方法流程图。如图1所示，在本发明第一实施例提供的知识图谱创建方法中，至少包括步骤：
S11、获取包含人脸区域的目标图像；
目标图像可以为待提取微表情特征的单幅包含人脸区域的图像，也可以为待提取微表情特征的多幅包含人脸区域的图像中的任一幅图像，还可以为待提取微表情的视频中的任一帧包含人脸区域的图像。需要说明的是，待提取微表情特征的视频包括但是不限于包括人脸部的真实高清监控视频，比如可以为审讯场景下的监控视频，也可以为小区出入人员的高清监控视频。
S12、从所述目标图像获取人脸特征和微表情特征；
从目标图像中获取人脸特征和微表情特征，人脸特征为特定的人所有的固有属性。准确的识别微表情是个体的一项重要社会技能，在人与人的交流中有着重要的作用。微表情的识别受到了沟通双方多种因素的影响。一方面，从表情发出者的角度来看，面部本身的特征，包括特定部位(如眼睛和嘴部)和整体的特征信息，均会影响微表情的识别。另一方面，从信息接收者的角度来看，观察者自身的特性(如其所处的情绪状态、内部思维线索等)也会影响微表情的识别。
人脸特定部位的信息对微表情识别有重要的影响作用。面部特征点的选取，应包含我们需要提取的面部特征点，同时这些特征点要能很好地描述出每个表情的变化过程，特征点的数量在其标定五官的周围要达到一定密度，以达到在表情变化时完整地描述该五官的变化情况。
除了特定部位的特征外，人脸的整体特征也会影响个体对面部表情的识别。整体特征的影响可以表现在多个方面，包括面部结构、人脸的形态和性别等。面部结构是指面孔上各个部位之间的空间关系及布局信息。
S13、获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
通过已有的属于人脸属性的言论问题，导出言论文本；或者通过在互联网上，搜索属于人脸属性的言论文本、图片、视频等，从言论图片、视频中导出言论文本；再建立目标图像、人脸特征、微表情特征、言论文本的配对关系，形成知识图谱。
S14、根据所述配对关系，对用户行为作出评估与预测。
根据目标图像、人脸特征、微表情特征、言论文本的配对关系，分析用户在一定时间段内行为趋向，预估用户的行为举止。
通过从目标图像获取人脸特征和微表情特征，建立目标图像、人脸特征、微表情特征、言论文本的配对关系，通过配对关系确定知识图谱，方便查询、评估与预测用户行为，充分利用数据资源，促进人际交往、社会和谐，实现方法简单，泛化能力强，可普遍适用于国家安全、案件侦破、危险预警、个人防卫等领域。
实施例二
请参阅图2，为本发明又一种知识图谱创建方法流程图。如图2所示，在本发明第一实施例提供的知识图谱创建方法中，至少包括步骤：
S21、获取包含人脸区域的目标图像；
目标图像可以为待提取微表情特征的单幅包含人脸区域的图像，也可以为待提取微表情特征的多幅包含人脸区域的图像中的任一幅图像，还可以为待提取微表情的视频中的任一帧包含人脸区域的图像。需要说明的是，待提取微表情特征的视频包括但是不限于包括人脸部的真实高清监控视频，比如可以为审讯场景下的监控视频，也可以为小区出入人员的高清监控视频。
S22、构建微表情提取模型；
由于微表情具备持续时间短暂、变化幅度微弱，动作区域较少等明显区别于宏表情的特点。所以先积累微表情数据，再对现有的微表情进行捕捉、归类、分析是有必要的。通过合理设置实验环境、改进实验方法，利用现有影视资源，对多个用户进行微表情采集，这样通过有目的有针对性的实验，可以建立样本量大，种类齐全，分辨率高的微表情数据库。例如有针对性的选取喜剧、悲剧、恐怖片、悬疑片等视频资源来采集微表情样本，生成微表情数据库。
微表情数据库建立流程可以通过拍摄视频、初步筛选出微表情片段、视频片段转换成帧序列、进一步筛选出微表情图像序列、精细编码(标注，贴上表情标签)、整理微表情图像序列数据、建立微表情数据库来完成。
为避免拍摄高频率的视频时存在交流电频闪干扰，实验场地选择在自然光照充足的室内，辅以白炽灯补充光照，整体光照环境尽量接近自然光照。同时为了最大限度的模拟室外真实环境，采集实验在环境相对开放气氛平和的教室内进行，以便志愿者尽可能的保持放松状态。实验设备：使用GoPro Hero摄像机，视频格式设置为MP4格式，分辨率设为1920*1080像素，画面比例16:9，帧率为90fps，为获得较大的人脸图像同时减少图像失真，镜头视角选择narrow模式。精心筛选出一些视频短片作为刺激源诱发微表情。例如利用《搞笑毛毛虫》采集高兴的微表情，《摩托车竞技》采集惊讶的表情，《荒岛生存》采集厌恶的表情，《殴打儿童》采集愤怒的表情，《汶川地震灾情》采集悲伤的表情，《搞笑视频集锦》采集高兴的表情，《逗蛇》采集惊讶的表情，《牙科手术》采集厌恶的表情，《我的兄弟姐妹》采集悲伤的表情，《小悦悦事件》采集愤怒的表情，《午夜凶铃》采集恐怖的表情等。
有了微表情数据库，再构建微表情提取模型，采用当前流行的深度机器学习策略，对微表情样本数据进行分类，输出微表情各种类别，例如单肩抖动、注视对方眼睛、回答时生硬的重复问题、把手放在眉骨之间、揉鼻子、眼睛向右下看、惊讶、男人右肩微耸、用手抚额头、瞳孔放大、话语重复声音上扬、肢体阻抗向后退一步、抿嘴、摸脖子、亮出中指、鼻孔外翻、下巴扬起，嘴角下垂、眉毛向上，拉紧等；建立微表情与微表情意义之间的联系。有了微表情提取模型，可以输入任意一种含有微表情的目标图像，对微表情进行识别输出。
S23、从所述目标图像获取人脸特征；
人脸特征是作为人的固有属性。
S24、从所述目标图像获取微表情预测特征；
微表情预测特征为目标图像中与微表情有关的特征。具体的，微表情预测特征可以包括目标人脸图像和目标人脸图像中的面部特征点信息。其中，目标人脸图像为目标图像中人脸区域的图像，目标人脸图像中的面部特征点可以包括：左眼、右眼、鼻子、左嘴角、右嘴角等，目标人脸图像中的面部特征点信息可以为左眼、右眼、鼻子、左嘴角、右嘴角等的位置信息。
S25、根据所述微表情预测特征和所述微表情特征提取模型，从所述目标图像获取所述微表情特征；
将微表情预测特征输入预先构建的微表情特征提取模型，获得微表情特征提取输出的微表情特征，作为目标图像中人脸的目标微表情特征。
S26、获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
通过已有的属于人脸属性的言论问题，导出言论文本；或者通过在互联网上，搜索属于人脸属性的言论文本、图片、视频等，从言论图片、视频中导出言论文本；再建立目标图像、人脸特征、微表情特征、言论文本的配对关系，形成知识图谱。
S27、根据所述配对关系，对用户行为作出评估与预测。
根据目标图像、人脸特征、微表情特征、言论文本的配对关系，分析用户在一定时间段内行为趋向，预估用户的行为举止。
通过从目标图像获取人脸特征和微表情预测特征，再通过预先构建的微表情特征提取模型，确定目标图像微表情特征，再根据人脸特征和微表情特征，建立目标图像、人脸特征、微表情特征、言论文本的配对关系，通过配对关系确定知识图谱，方便查询、评估与预测用户行为，充分利用数据资源，促进人际交往、社会和谐，实现方法简单，泛化能力强，可普遍适用于国家安全、案件侦破、危险预警、个人防卫等领域。
例如，在测谎方面，因为微表情的产生环境一般伴随着心理抑制状态，它的出现往往意味着当事人在试图掩饰自己的真实情绪。因此，若通过一定手段检测到微表情的发生并了解到其所表达的情绪意义，则可以准确把握当事人内心的真实想法，有针对性地开展下一步工作，从而大大提高测谎成功率。还有，当事人出现喜悦的微表情时，根据当时的背景可能意味着成功通过测试而产生的窃喜之情，再比如当事人产生恐怖的微表情时，就有可能表明他内心存在不可告人的秘密，害怕被他人发现。当今社会越来越多的交流和碰撞导致恐怖袭击、极端案件、网络诈骗等危害公共安全的事件层出不穷，令人防不胜防。在危险预测上如果只是依靠人工粗略的检验，很有可能忽略微表情这种重要的信息，因为通过在车站、机场、学校等人员密集的公共场合和看守所、审讯室等特殊场所，对相关人员进行微表情基础知识的培训，结合监控条件下计算机图像分析处理技术，微表情可以在国家安全、案件侦破、危险预警、个人防卫等领域发挥很大作用。
图3为根据本发明实施例提供的构建知识图谱的方法流程图。如图3所示，构建知识图谱一般来说至少包括四步：数据获取，信息抽取，知识融合，知识加工。
(一)数据获取
数据获取是建立知识图谱的第一步。目前，知识图谱数据源按来源渠道的不同可分为两种：一种是业务本身的数据，这部分数据通常包含在行业内部数据库表并以结构化的方式存储，是一种非公开或半公开的数据；另一种是网络上公开、抓取的数据，这些数据通常是以网页的形式存在，是非结构化的数据。业务本身的数据在本实施例中，例如要建立用户甲的知识图谱，则为现有的已知的用户甲的个人图像，言论文本或者言论图片等；非结构化的数据则为根据用户甲的名称，在网络上公开、抓取的数据。
(二)信息抽取
信息抽取的关键问题是如何从异构数据源中自动抽取信息得到候选知识单元。如前文所说，知识获取有两种渠道，前者只需要简单预处理即可以作为后续AI系统的输入，但后者一般需要借助于自然语言处理等技术来提取出结构化信息，这正是信息抽取的难点问题，涉及的关键技术包括实体抽取、关系抽取和属性抽取。
(1)实体抽取/命名实体识别
实体抽取又称为命名实体识别，是指从文本数据集中自动识别出命名实体，其目的就是建立知识图谱中的“节点”。实体抽取的质量(准确率和召回率)对后续的知识获取效率和质量影响极大，因此是信息抽取中最为基础和关键的部分。
实体的类型主要包括三大类七小类：实体类(包括人名，地名，机构名)、时间类(日期，时间)、数字类(货币、百分比)。
根据已知的实体实例进行特征建模，利用该模型处理海量数据集得到新的命名实体列表，然后针对新实体建模，迭代地生成实体标注语料库。
也可以利用搜索引擎的服务器日志，事先并不给出实体分类等信息，而是基于实体的语义特征从搜索日志中识别出命名实体，然后采用聚类算法对识别出的实体对象进行聚类。在本实施例中，采用人名、人名所涉及到的地名或者所涉及的机构名为实体来建立知识图谱。
(2)关系抽取
文本语料经过实体抽取之后得到的是一系列离散的命名实体(节点)，为了得到语义信息，还需要从相关的语料中提取出实体之间的关联关系(边)，才能将多个实体或概念联系起来，形成网状的知识结构。研究关系抽取技术，就是研究如何解决从文本语料中抽取实体间的关系。
(3)属性抽取
属性抽取的目标是从不同信息源中采集特定实体的属性信息，从而完成对实体属性的完整勾画，如针对某款手机，可以从互联网中获取多源(异构)的数据，从中得到其品牌、配置等信息。
(三)知识融合
经由信息抽取之后的信息单元间的关系是扁平化的，缺乏层次性和逻辑性，同时存在大量冗余甚至错误的信息碎片。知识融合，简单理解，就是将多个知识库中的知识进行整合，形成一个知识库的过程，在这个过程中，主要关键技术包含指代消解、实体消歧、实体链接。不同的知识库，收集知识的侧重点不同，对于同一个实体，有知识库的可能侧重于其本身某个方面的描述，有的知识库可能侧重于描述实体与其它实体的关系，知识融合的目的就是将不同知识库对实体的描述进行整合，从而获得实体的完整描述。
知识融合旨在解决如何将关于同一个实体或概念的多源描述信息融合起来。
实体链接链接的是从半结构化数据和非结构化数据那里通过信息抽取提取出来的数据。那么除了半结构化数据和非结构化数据以外，还有个更方便的数据来源——结构化数据，如外部知识库和关系数据库。对于这部分结构化数据的处理，就是知识合并的内容。一般来说知识合并主要分为两种：合并外部知识库，主要处理数据层和模式层的冲突；合并关系数据库，有RDB2RDF等方法。
(四)知识加工
海量数据在经信息抽取、知识融合之后得到一系列基本的事实表达，但这并不等同于知识，要想获得结构化，网络化的知识体系，还需要经过质量评估之后(部分需要人工参与甄别)，才能将合格的部分纳入知识体系中以确保知识库的质量，这就是知识加工的过程。
实施例三
图4是本发明一种知识图谱创建系统结构示意图。如图4所示，一种知识图谱创建系统，至少包括，
目标图像获取模块10，用于获取包含人脸区域的目标图像；
目标图像可以为待提取微表情特征的单幅包含人脸区域的图像，也可以为待提取微表情特征的多幅包含人脸区域的图像中的任一幅图像，还可以为待提取微表情的视频中的任一帧包含人脸区域的图像。需要说明的是，待提取微表情特征的视频包括但是不限于包括人脸部的真实高清监控视频，比如可以为审讯场景下的监控视频，也可以为小区出入人员的高清监控视频。
人脸特征和微表情特征获取模块20，用于从所述目标图像获取人脸特征和微表情特征；
从目标图像中获取人脸特征和微表情特征，人脸特征为特定的人所有的固有属性。准确的识别微表情是个体的一项重要社会技能，在人与人的交流中有着重要的作用。微表情的识别受到了沟通双方多种因素的影响。一方面，从表情发出者的角度来看，面部本身的特征，包括特定部位(如眼睛和嘴部)和整体的特征信息，均会影响微表情的识别。另一方面，从信息接收者的角度来看，观察者自身的特性(如其所处的情绪状态、内部思维线索等)也会影响微表情的识别。
人脸特定部位的信息对微表情识别有重要的影响作用。面部特征点的选取，应包含我们需要提取的面部特征点，同时这些特征点要能很好地描述出每个表情的变化过程，特征点的数量在其标定五官的周围要达到一定密度，以达到在表情变化时完整地描述该五官的变化情况。
除了特定部位的特征外，人脸的整体特征也会影响个体对面部表情的识别。整体特征的影响可以表现在多个方面，包括面部结构、人脸的形态和性别等。面部结构是指面孔上各个部位之间的空间关系及布局信息。
配对关系建立模块30，用于获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
通过已有的属于人脸属性的言论问题，导出言论文本；或者通过在互联网上，搜索属于人脸属性的言论文本、图片、视频等，从言论图片、视频中导出言论文本；再建立目标图像、人脸特征、微表情特征、言论文本的配对关系，形成知识图谱。
用户行为评估与预测模块40，用于根据所述配对关系，对用户行为作出评估与预测。
根据目标图像、人脸特征、微表情特征、言论文本的配对关系，分析用户在一定时间段内行为趋向，预估用户的行为举止。
通过从目标图像获取人脸特征和微表情特征，建立目标图像、人脸特征、微表情特征、言论文本的配对关系，通过配对关系确定知识图谱，方便查询、评估与预测用户行为，充分利用数据资源，促进人际交往、社会和谐，实现方法简单，泛化能力强，可普遍适用于国家安全、案件侦破、危险预警、个人防卫等领域。
实施例四
图5是本发明又一种知识图谱创建系统结构示意图。如图5所示，一种知识图谱创建系统，至少包括，
目标图像获取模块10，用于获取包含人脸区域的目标图像；
目标图像可以为待提取微表情特征的单幅包含人脸区域的图像，也可以为待提取微表情特征的多幅包含人脸区域的图像中的任一幅图像，还可以为待提取微表情的视频中的任一帧包含人脸区域的图像。需要说明的是，待提取微表情特征的视频包括但是不限于包括人脸部的真实高清监控视频，比如可以为审讯场景下的监控视频，也可以为小区出入人员的高清监控视频。
人脸特征和微表情特征获取模块20，用于从所述目标图像获取人脸特征和微表情特征；其中人脸特征和微表情特征获取模块进一步包括：
微表情提取模型构建模块21，用于构建微表情提取模型；
由于微表情具备持续时间短暂、变化幅度微弱，动作区域较少等明显区别于宏表情的特点。所以先积累微表情数据，再对现有的微表情进行捕捉、归类、分析是有必要的。通过合理设置实验环境、改进实验方法，利用现有影视资源，对多个用户进行微表情采集，这样通过有目的有针对性的实验，可以建立样本量大，种类齐全，分辨率高的微表情数据库。例如有针对性的选取喜剧、悲剧、恐怖片、悬疑片等视频资源来采集微表情样本，生成微表情数据库。
有了微表情数据库，再构建微表情提取模型，采用当前流行的深度机器学习策略，对微表情样本数据进行分类，输出微表情各种类别，例如单肩抖动、注视对方眼睛、回答时生硬的重复问题、把手放在眉骨之间、揉鼻子、眼睛向右下看、惊讶、男人右肩微耸、用手抚额头、瞳孔放大、话语重复声音上扬、肢体阻抗向后退一步、抿嘴、摸脖子、亮出中指、鼻孔外翻、下巴扬起，嘴角下垂、眉毛向上，拉紧等；建立微表情与微表情意义之间的联系。有了微表情提取模型，可以输入任意一种含有微表情的目标图像，对微表情进行识别输出。
人脸特征获取模块22，用于从所述目标图像获取人脸特征；
人脸特征是作为人的固有属性。
微表情预测特征获取模块23，用于从所述目标图像获取微表情预测特征；
微表情预测特征为目标图像中与微表情有关的特征。具体的，微表情预测特征可以包括目标人脸图像和目标人脸图像中的面部特征点信息。其中，目标人脸图像为目标图像中人脸区域的图像，目标人脸图像中的面部特征点可以包括：左眼、右眼、鼻子、左嘴角、右嘴角等，目标人脸图像中的面部特征点信息可以为左眼、右眼、鼻子、左嘴角、右嘴角等的位置信息。
微表情特征获取模块24，根据所述微表情预测特征和所述微表情特征提取模型，从所述目标图像获取所述微表情特征；
将微表情预测特征输入预先构建的微表情特征提取模型，获得微表情特征提取输出的微表情特征，作为目标图像中人脸的目标微表情特征。
配对关系建立模块30，用于获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
通过已有的属于人脸属性的言论问题，导出言论文本；或者通过在互联网上，搜索属于人脸属性的言论文本、图片、视频等，从言论图片、视频中导出言论文本；再建立目标图像、人脸特征、微表情特征、言论文本的配对关系，形成知识图谱。
用户行为评估与预测模块40，用于根据所述配对关系，对用户行为作出评估与预测。
根据目标图像、人脸特征、微表情特征、言论文本的配对关系，分析用户在一定时间段内行为趋向，预估用户的行为举止。
通过从目标图像获取人脸特征和微表情预测特征，再通过预先构建的微表情特征提取模型，确定目标图像微表情特征，再根据人脸特征和微表情特征，建立目标图像、人脸特征、微表情特征、言论文本的配对关系，通过配对关系确定知识图谱，方便查询、评估与预测用户行为，充分利用数据资源，促进人际交往、社会和谐，实现方法简单，泛化能力强，可普遍适用于国家安全、案件侦破、危险预警、个人防卫等领域。
实施例五
图6为根据本发明实施例提供的电子设备的实体结构示意图。基于上述实施例的内容，如图6所示，该电子设备可以包括：处理器(processor)201、存储器(memory)202和总线203；其中，处理器201和存储器202通过总线203完成相互间的通信；处理器201用于调用存储在存储器202中并可在处理器201上运行的计算机程序指令，以执行上述各方法实施例所提供的知识图谱创建的方法，例如包括：
S11、获取包含人脸区域的目标图像；
S12、从所述目标图像获取人脸特征和微表情特征；
S13、获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
S14、根据所述配对关系，对用户行为作出评估与预测。
此外，上述的存储器202中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案实质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例基于人脸识别生成备忘录的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘，只读存储器(ROM，Read-On ly Memory)、随机存储存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种存储程序代码的介质。
实施例六
本发明另一实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各实施例所提供的知识图谱创建的方法，例如包括：
S11、获取包含人脸区域的目标图像；
S12、从所述目标图像获取人脸特征和微表情特征；
S13、获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
S14、根据所述配对关系，对用户行为作出评估与预测。
实施本实施例，通过从目标图像获取人脸特征和微表情预测特征，再通过预先构建的微表情特征提取模型，确定目标图像微表情特征，再根据人脸特征和微表情特征，建立目标图像、人脸特征、微表情特征、言论文本的配对关系，通过配对关系确定知识图谱，方便查询、评估与预测用户行为，充分利用数据资源，促进人际交往、社会和谐，实现方法简单，泛化能力强，可普遍适用于国家安全、案件侦破、危险预警、个人防卫等领域。
实施例七
本发明另一实施例提供-种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的知识图谱创建的方法，例如包括：
S11、获取包含人脸区域的目标图像；
S12、从所述目标图像获取人脸特征和微表情特征；
S13、获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
S14、根据所述配对关系，对用户行为作出评估与预测。
实施本实施例，通过从目标图像获取人脸特征和微表情预测特征，再通过预先构建的微表情特征提取模型，确定目标图像微表情特征，再根据人脸特征和微表情特征，建立目标图像、人脸特征、微表情特征、言论文本的配对关系，通过配对关系确定知识图谱，方便查询、评估与预测用户行为，充分利用数据资源，促进人际交往、社会和谐，实现方法简单，泛化能力强，可普遍适用于国家安全、案件侦破、危险预警、个人防卫等领域。
本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特定场合，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。
Claims (10)
1.一种知识图谱创建方法，其特征在于，包括：
获取包含人脸区域的目标图像；
从所述目标图像获取人脸特征和微表情特征；
获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
根据所述配对关系，对用户行为作出评估与预测。
2.根据权利要求1所述的知识图谱创建方法，其特征在于，所述从所述目标图像获取人脸特征和微表情特征包括：
构建微表情提取模型；
从所述目标图像获取人脸特征；
从所述目标图像获取微表情预测特征；
根据所述微表情预测特征和所述微表情特征提取模型，从所述目标图像获取所述微表情特征。
3.根据权利要求1所述的知识图谱创建方法，其特征在于，所述获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系包括：
从现有的或者互联网上采集属于人脸属性的用户的言论图片或者文本；
建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
存储目标图像、人脸特征、微表情特征、言论文本的配对关系。
4.根据权利要求1所述的知识图谱创建方法，其特征在于，所述根据所述配对关系，对用户行为作出评估与预测包括：
统计分析目标图像、人脸特征、微表情特征、言论文本的配对关系；
对用户行为作出评估与预测。
5.根据权利要求4所述的知识图谱创建方法，其特征在于，所述统计分析目标图像、人脸特征、微表情特征、言论文本的配对关系包括：
根据目标图像、人脸特征、微表情特征、言论文本的配对关系，统计用户在指定时间段类的微表情所属类别、言论倾向。
6.根据权利要求5所述的知识图谱创建方法，其特征在于，所述对用户行为作出评估与预测包括：根据用户在指定时间段类的微表情所属类别、言论倾向，预测用户在未来预定时间段类行为动向。
7.一种知识图谱创建系统，其特征在于，包括，
目标图像获取模块，用于获取包含人脸区域的目标图像；
人脸特征和微表情特征获取模块，用于从所述目标图像获取人脸特征和微表情特征；
配对关系建立模块，用于获取属于人脸属性的言论文本，建立目标图像、人脸特征、微表情特征、言论文本的配对关系；
用户行为评估与预测模块，用于根据所述配对关系，对用户行为作出评估与预测。
8.根据权利要求1所述的知识图谱创建方法，其特征在于，所述人脸特征和微表情特征获取模块进一步包括：
微表情提取模型构建模块，用于构建微表情提取模型；
人脸特征获取模块，用于从所述目标图像获取人脸特征；
微表情预测特征获取模块，用于从所述目标图像获取微表情预测特征；
微表情特征获取模块，根据所述微表情预测特征和所述微表情特征提取模型，从所述目标图像获取所述微表情特征。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至6任一项所述知识图谱创建方法的步骤。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述知识图谱创建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010786696.0A CN112668384B (zh) | 2020-08-07 | 一种知识图谱构建方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010786696.0A CN112668384B (zh) | 2020-08-07 | 一种知识图谱构建方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112668384A true CN112668384A (zh) | 2021-04-16 |
| CN112668384B CN112668384B (zh) | 2024-05-31 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908722A (zh) * | 2023-01-05 | 2023-04-04 | 杭州华鲤智能科技有限公司 | 一种生成3d人脸建模的方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609478A (zh) * | 2017-08-09 | 2018-01-19 | 广州思涵信息科技有限公司 | 一种匹配课堂知识内容的实时学情分析系统及方法 |
| CN107665230A (zh) * | 2017-06-21 | 2018-02-06 | 海信集团有限公司 | 用于智能家居控制的用户行为预测模型的训练方法及装置 |
| CN108470188A (zh) * | 2018-02-26 | 2018-08-31 | 北京物灵智能科技有限公司 | 基于图像分析的交互方法及电子设备 |
| CN109271930A (zh) * | 2018-09-14 | 2019-01-25 | 广州杰赛科技股份有限公司 | 微表情识别方法、装置与存储介质 |
| CN109543658A (zh) * | 2018-12-25 | 2019-03-29 | 中国政法大学 | 智能审讯辅助方法及装置 |
| CN109543007A (zh) * | 2018-10-16 | 2019-03-29 | 深圳壹账通智能科技有限公司 | 提问数据生成方法、装置、计算机设备和存储介质 |
| CN109697233A (zh) * | 2018-12-03 | 2019-04-30 | 中电科大数据研究院有限公司 | 一种知识图谱体系搭建方法 |
| CN109829358A (zh) * | 2018-12-14 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 微表情贷款控制方法、装置、计算机设备及存储介质 |
| CN109840485A (zh) * | 2019-01-23 | 2019-06-04 | 科大讯飞股份有限公司 | 一种微表情特征提取方法、装置、设备及可读存储介质 |
| CN109961152A (zh) * | 2019-03-14 | 2019-07-02 | 广州多益网络股份有限公司 | 虚拟偶像的个性化互动方法、系统、终端设备及存储介质 |
| CN110009475A (zh) * | 2019-02-12 | 2019-07-12 | 平安科技（深圳）有限公司 | 风险稽核监察方法、装置、计算机设备及存储介质 |
| CN110609902A (zh) * | 2018-05-28 | 2019-12-24 | 华为技术有限公司 | 一种基于融合知识图谱的文本处理方法及装置 |
| CN110866126A (zh) * | 2019-11-22 | 2020-03-06 | 福建工程学院 | 一种高校网络舆情风险评估方法 |
| CN111462841A (zh) * | 2020-03-12 | 2020-07-28 | 华南理工大学 | 一种基于知识图谱的抑郁症智能诊断装置及系统 |
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665230A (zh) * | 2017-06-21 | 2018-02-06 | 海信集团有限公司 | 用于智能家居控制的用户行为预测模型的训练方法及装置 |
| CN107609478A (zh) * | 2017-08-09 | 2018-01-19 | 广州思涵信息科技有限公司 | 一种匹配课堂知识内容的实时学情分析系统及方法 |
| CN108470188A (zh) * | 2018-02-26 | 2018-08-31 | 北京物灵智能科技有限公司 | 基于图像分析的交互方法及电子设备 |
| CN110609902A (zh) * | 2018-05-28 | 2019-12-24 | 华为技术有限公司 | 一种基于融合知识图谱的文本处理方法及装置 |
| CN109271930A (zh) * | 2018-09-14 | 2019-01-25 | 广州杰赛科技股份有限公司 | 微表情识别方法、装置与存储介质 |
| CN109543007A (zh) * | 2018-10-16 | 2019-03-29 | 深圳壹账通智能科技有限公司 | 提问数据生成方法、装置、计算机设备和存储介质 |
| CN109697233A (zh) * | 2018-12-03 | 2019-04-30 | 中电科大数据研究院有限公司 | 一种知识图谱体系搭建方法 |
| CN109829358A (zh) * | 2018-12-14 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 微表情贷款控制方法、装置、计算机设备及存储介质 |
| CN109543658A (zh) * | 2018-12-25 | 2019-03-29 | 中国政法大学 | 智能审讯辅助方法及装置 |
| CN109840485A (zh) * | 2019-01-23 | 2019-06-04 | 科大讯飞股份有限公司 | 一种微表情特征提取方法、装置、设备及可读存储介质 |
| CN110009475A (zh) * | 2019-02-12 | 2019-07-12 | 平安科技（深圳）有限公司 | 风险稽核监察方法、装置、计算机设备及存储介质 |
| CN109961152A (zh) * | 2019-03-14 | 2019-07-02 | 广州多益网络股份有限公司 | 虚拟偶像的个性化互动方法、系统、终端设备及存储介质 |
| CN110866126A (zh) * | 2019-11-22 | 2020-03-06 | 福建工程学院 | 一种高校网络舆情风险评估方法 |
| CN111462841A (zh) * | 2020-03-12 | 2020-07-28 | 华南理工大学 | 一种基于知识图谱的抑郁症智能诊断装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| YUCONG DUAN; LIXU SHAO; GONGZHU HU; ZHANGBING ZHOU; QUAN ZOU; ZHAOXIN LIN: "Specifying architecture of knowledge graph with data graph, information graph, knowledge graph and wisdom graph", 《2017 IEEE 15TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING RESEARCH, MANAGEMENT AND APPLICATIONS (SERA)》, pages 327 - 332 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908722A (zh) * | 2023-01-05 | 2023-04-04 | 杭州华鲤智能科技有限公司 | 一种生成3d人脸建模的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kossaifi et al. | Sewa db: A rich database for audio-visual emotion and sentiment research in the wild | |
| US10108709B1 (en) | Systems and methods for queryable graph representations of videos | |
| CN108921002B (zh) | 基于多线索融合的暴恐音视频识别方法及装置 | |
| US20210073272A1 (en) | Digital image classification and annotation | |
| CN113709384A (zh) | 基于深度学习的视频剪辑方法、相关设备及存储介质 | |
| CN109408672B (zh) | 一种文章生成方法、装置、服务器及存储介质 | |
| Somandepalli et al. | Computational media intelligence: Human-centered machine analysis of media | |
| Nalluru et al. | Relevancy classification of multimodal social media streams for emergency services | |
| CN108764007A (zh) | 基于ocr与文本分析技术对注意力的测量方法 | |
| US20190005315A1 (en) | Method of evaluating photographer satisfaction | |
| Sharma et al. | Audio-visual automatic group affect analysis | |
| CN113395578A (zh) | 一种提取视频主题文本的方法、装置、设备及存储介质 | |
| Abouelenien et al. | Multimodal gender detection | |
| CN112989950A (zh) | 一种面向多模态特征语义关联特征的暴力视频识别系统 | |
| CN111860523A (zh) | 一种声像档案的智能著录系统与方法 | |
| Rothkrantz | Lip-reading by surveillance cameras | |
| CN113301382B (zh) | 视频处理方法、设备、介质及程序产品 | |
| Boychuk et al. | An exploratory sentiment and facial expressions analysis of data from photo-sharing on social media: The case of football violence | |
| CN110232181A (zh) | 评论分析方法及装置 | |
| Sümer et al. | Automated anonymisation of visual and audio data in classroom studies | |
| Miniakhmetova et al. | An approach to personalized video summarization based on user preferences analysis | |
| Shome et al. | A generalized mechanism beyond NLP for real-time detection of cyber abuse through facial expression analytics | |
| CN112668384B (zh) | 一种知识图谱构建方法、系统、电子设备及存储介质 | |
| Shrivastava et al. | Puzzling out emotions: a deep-learning approach to multimodal sentiment analysis | |
| CN112668384A (zh) | 一种知识图谱构建方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |