CN106909896B - 基于人物性格与人际关系识别的人机交互系统及工作方法 - Google Patents

基于人物性格与人际关系识别的人机交互系统及工作方法 Download PDF

Info

Publication number
CN106909896B
CN106909896B CN201710087550.5A CN201710087550A CN106909896B CN 106909896 B CN106909896 B CN 106909896B CN 201710087550 A CN201710087550 A CN 201710087550A CN 106909896 B CN106909896 B CN 106909896B
Authority
CN
China
Prior art keywords
human body
human
module
character
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710087550.5A
Other languages
English (en)
Other versions
CN106909896A (zh
Inventor
简仁贤
潘一汉
刁玉贤
张惠棠
杨闵淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Emotibot Technologies Ltd
Original Assignee
Emotibot Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Emotibot Technologies Ltd filed Critical Emotibot Technologies Ltd
Priority to CN201710087550.5A priority Critical patent/CN106909896B/zh
Publication of CN106909896A publication Critical patent/CN106909896A/zh
Application granted granted Critical
Publication of CN106909896B publication Critical patent/CN106909896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Abstract

本发明属于计算机视觉领域和人机交互领域，提供了一种基于人物性格与人际关系识别的人机交互系统及工作方法，包括：检测模块：对图片或视频进行检测，得到人脸人体图像的真实区域；信息特征提取模块：提取人脸人体图像特征，分析人脸属性和人体行为；信息特征整合模块：将前一模块输出的人脸和人体信息合并，组成每个人的特征向量；性格喜好判别模块：根据输入的特征向量分析人物性格喜好；关系判别模块：判断图中或视频中人物关系；人机对话模块：根据人物性格喜好和人物关系，选择话题与用户沟通。本发明分析图中或视频中人物性格喜好和人物之间的关系，选择合适话题主动与用户沟通，让人机交互方式更加智能，更加亲切自然，更加人性化。

Description

基于人物性格与人际关系识别的人机交互系统及工作方法
技术领域
本发明属于计算机视觉领域和人机交互领域，具体涉及基于人物性格与人际关系识别的人机交互系统及工作方法。
背景技术
随着科技的发展，现代几乎各种技术的发展都涉及到了人工智能技术，可以说人工智能已经广泛应用到许多领域。它是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相渗透而发展起来的一门综合性学科。从计算机应用系统的角度出发，人工智能是研究如何制造智能机器或智能系统，来模拟人类智能活动的能力，以延伸人们智能的科学。
目前人工智能里的聊天机器人或情感机器人和人的交互方式：首先用户主动发起话题，输入一段文字、一段语音、一张图像或者一个段视频，然后机器人根据用户输入的内容做出相应的反馈。对于文字和语音，现有的机器人能够给出相当不错答复，但是对于图片或视频内容，现有的机器人仅能识别画面中的人和物，但无法识别人与人之间的关系，也很难把他们联系起来与用户做更好的互动交流，提供更加人性化的交流体验。
发明内容
针对以上问题的不足，本发明提供了一种基于人物性格与人际关系识别的人机交互系统及工作方法，本发明对输入的图像或视频中的人员进行性格喜好分析，并对其中的人员之间关系的进行分析判别，选择合适的话题主动与用户进行沟通，更易激发用户聊天的兴趣，让这种人机交互方式更加智能，更加亲切自然，更加人性化，解决了现有的机器人只能识别图片和视频中的人物，而无法很好的融入到聊天的话题当中的问题。
为实现上述目的，基于人物性格与人际关系识别的人机交互系统，包括：
检测模块：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；
信息特征提取模块：对检测模块得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为；
信息特征整合模块：将信息特征提取模块输出的每个人的人脸和人体信息合并到一起，组合成一个固定维度的特征向量；
性格喜好判别模块：将信息特征整合模块整合后的每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；
关系判别模块：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，判别每俩人之间的关系；
人机对话模块：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好，然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。
进一步地，所述检测模块包括人脸检测模块和人体检测模块；所述人脸检测模块用于得到人脸区域图像，所述人体检测模块用于得到人体区域图像。
进一步地，所述信息特征整合模块包括人脸图像特征提取模块、人脸属性分析模块、人体图像特征提取模块、人体关键点和行为分析模块；所述人脸图像特征提取模块输出人脸图像特征向量，人脸属性分析模块输出人脸属性向量，人体图像提取模块输出人体图像特征向量，人体关键点和行为分析模块输出人体行为向量。
进一步地，所述人脸图像特征提取模块和人体图像特征提取模块采用HOG特征、SIFT特征和LBP特征这三种算法中的一种或几种的组合。
进一步地，所述人脸属性分析模块将人脸图像输入到深层卷积网络模型，提取高度抽象化的轮廓特征和纹理特征，然后分别传递给性别分类器、年龄分类器和表情分类器；所述性别分类器输出男性、女性的概率，所述年龄分类器输出1至100的某一值，所述表情分类器输出五种表情的概率，所述五种表情为开心、生气、悲伤、惊恐和发呆。
进一步地，所述人体关键点和行为分析模块将人体图像输入到深层卷积网络模型分步提取特征，第一阶段提取到关键点的初略特征，然后从第一阶段到第T阶段按照从粗到精的思路逐步提取更加细微的特征，最后对这些特征进行回归分析，得到人体各部位的关键点坐标，根据这些人体关键点分析图中每个人彼此之间的行为，所述行为包括牵手、拥抱、搭肩和分离。
进一步把地，所述检测模块的具体工作方法如下：
步骤a1：输入待测图片或视频；
步骤a2：通过深层卷积神经网络模型提取图像特征并生成特征图；
步骤a3：将图像对应的特征图分解成若干个可能含有待测物体的矩形框；
步骤a4：对每个矩形框包含的特征输入回归器中判别待测物的概率，通过非极大值抑制和设定阈值的方法，合并重叠的矩形框和去除概率较小的矩形框；
步骤a5：对剩下的矩形框的边界进行微调，微调后的矩形框位置即为待测物体即人脸图像和人体图像的真实区域。
基于人物性格与人际关系识别的人机交互系统的工作方法，包括以下步骤：
步骤S1：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；
步骤S2：利用第一步得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为，并输出人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量；
步骤S3：将从上一步得到的每个人的人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量合并到一起，组合成一个固定维度的特征向量；
步骤S4：将每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；
步骤S5：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，输出每种关系的概率，设定关系阈值，在所有的关系概率中如果都小于阈值则不做判别，如果有某种关系的概率大于阈值即可判别此俩人属于这种关系；
步骤S6：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好；然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。
由上述方案可知，本发明提供的基于人物性格与人际关系识别的人机交互系统及工作方法，本发明对输入的图像或视频中的人员进行性格喜好分析，并对其中的人员之间关系的进行分析判别，选择合适的话题主动与用户进行沟通，更易激发用户聊天的兴趣，让这种人机交互方式更加智能，更加亲切自然，更加人性化，解决了现有的机器人只能识别图片和视频中的人物，而无法很好的融入到聊天的话题当中的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本实施例基于人物性格与人际关系识别的人机交互系统的结构框图；
图2为本实施例中检测模块的工作方法流程图；
图3为本实施例基于人物性格与人际关系识别的人机交互系统的工作方法流程图；
图4为本实施例中人脸属性分析模块的工作示意图；
图5为本实施例中人体关键点和行为分析模块的工作示意图；
图6为本实施例中信息整合模块的工作示意图。
具体实施方式
下面将结合附图对本发明的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的产品，因此只是作为示例，而不能以此来限制本发明的保护范围。
实施例：
本实施例提供一种基于人物性格与人际关系识别的人机交互系统，如图1～图6所示，包括：
检测模块：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；
信息特征提取模块：对检测模块得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为；
信息特征整合模块：将信息特征提取模块输出的每个人的人脸和人体信息合并到一起，组合成一个固定维度的特征向量；
性格喜好判别模块：将信息特征整合模块整合后的每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；
关系判别模块：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，判别每俩人之间的关系；
人机对话模块：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好，然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。
如图1所示，所述检测模块包括人脸检测模块和人体检测模块；所述人脸检测模块用于得到人脸区域图像，所述人体检测模块用于得到人体区域图像。
如图2所示，所述检测模块的具体工作方法如下：
步骤a1：输入待测图片或视频；
步骤a2：通过深层卷积神经网络模型提取图像特征并生成特征图；
步骤a3：将图像对应的特征图分解成若干个可能含有待测物体的矩形框；
步骤a4：对每个矩形框包含的特征输入回归器中判别待测物的概率，通过非极大值抑制和设定阈值的方法，合并重叠的矩形框和去除概率较小的矩形框；
步骤a5：对剩下的矩形框的边界进行微调，微调后的矩形框位置即为待测物体即人脸图像和人体图像的真实区域。
如图1和图6所示，所述信息特征整合模块包括人脸图像特征提取模块、人脸属性分析模块、人体图像特征提取模块、人体关键点和行为分析模块；所述人脸图像特征提取模块输出人脸图像特征向量，人脸属性分析模块输出人脸属性向量，人体图像提取模块输出人体图像特征向量，人体关键点和行为分析模块输出人体行为向量。
所述人脸图像特征提取模块和人体图像特征提取模块采用HOG特征、SIFT特征和LBP特征这三种算法中的一种或几种的组合。
如图4所示，所述人脸属性分析模块将人脸图像输入到深层卷积网络模型，提取高度抽象化的轮廓特征和纹理特征，然后分别传递给性别分类器、年龄分类器和表情分类器；所述性别分类器输出男性、女性的概率，所述年龄分类器输出1至100的某一值，所述表情分类器输出五种表情的概率，所述五种表情为开心、生气、悲伤、惊恐和发呆。
如图5所示，所述人体关键点和行为分析模块将人体图像输入到深层卷积网络模型分步提取特征，第一阶段(Stage1)提取到关键点的初略特征，然后从第一阶段(Stage1)到第T阶段(StageN)按照从粗到精的思路逐步提取更加细微的特征，最后对这些特征进行回归分析，得到人体各部位的关键点坐标，根据这些人体关键点分析图中每个人彼此之间的行为，所述行为包括牵手、拥抱、搭肩和分离。
上述第一阶段，首先将人体关键点按照人体结构放置在人体区域中，以关键点为中心，以R1为半径，利用深度卷积网络模型提取关键点附近图像区域的特征，根据提取到的特征调整每个关键点的位置,并保存当前人体关键点位置；第二到第T阶段，利用上一阶段所得到的人体关键点重新放置在人体区域中，以关键点为中心，以R2为半径(R1>R2>...>Rt)，利用深度卷积网络模型提取关键点附近图像区域的特征，然后根据提取到的特征调整每个关键点的位置,并保存当前人体关键点位置；经过T个阶段的迭代，最后一次的关键点的位置即为最终的结果。
基于人物性格与人际关系识别的人机交互系统的工作方法，如图3所示，包括以下步骤：
步骤S1：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；
步骤S2：利用第一步得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为，并输出人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量；
步骤S3：将从上一步得到的每个人的人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量合并到一起，组合成一个固定维度的特征向量；
步骤S4：将每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；
步骤S5：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，输出每种关系的概率，设定关系阈值，在所有的关系概率中如果都小于阈值则不做判别，如果有某种关系的概率大于阈值即可判别此俩人属于这种关系；
步骤S6：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好；然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。
本实施例结合当前的各种技术，判断图像或视频中每个人的性格喜好和彼此之间的关系，性格如：坚定果断自负的力量型、热情活泼多变的活泼型、随和友善寡言的和平型和细致敏感悲观的完美型；关系如：情侣、夫妻、父子、母女、朋友、同事和陌生人等。结合以前资料库的人员性格与行为习惯推测可能的喜好，然后主动发起话题，聊起他的爱人、孩子、家人和朋友等，可以显得更加亲切友善，更容易激发用户聊天的兴趣，让这种人机交互方式更加智能，更加亲切自然，更加人性化。解决现有的机器人只能识别图片和视频中的人物，而无法很好的融入到聊天的话题当中。
实例一：一个男生跟机器人聊天时，输入了一张自拍照，首先进行人脸和人体检测，发现只有一个人，然后，将这个人进行人脸属性分析、人体关键点定位和行为分析，并提取人脸和人体的图像特征，将这些信息整合在一起，输入到性格喜好判别模块，分析他是属于坚定果断自负的力量型、热情活泼多变的活泼型、随和友善寡言的和平型还是细致敏感悲观的完美型，根据这一性格信息，匹配以前的资料库中每类性格的喜好和聊天方式，聊天机器人选择合适的话题和方式，与其进行交流沟通。
实例二：一个女生跟聊天机器人聊天时，上传了一张她和她男朋友手挽手的自拍照，本系统就会对这张照片进行人脸和人体检测，得到人脸和人体区域的位置和人数，其次，分别分析每个人人脸的年龄、性别、表情和颜值等属性，还有身体关键点和拥抱、牵手、靠近和远离等行为，结合提取到的人脸和人体的图像特征，进行信息整合，整合成一个固定长度的特征向量，然后输入到关系判别模块中，经判别图中两个之间的关系是情侣。最后，聊天机器人根据这一关系，主动发话问候用户，如：“你身边的那位男生是你男朋友吗？好帅哦”。
实例三：应用在酒店或餐厅的迎宾机器人，根据机器人头部摄像头实时获取到的图像，分析前来入住的客人有几位，以及他们的关系，然后主动问候，有针对性的提供服务，可以有效避免机械式的一问一答模式。如：一对夫妻带着一个5岁的孩子，来到酒店大堂办理入住，迎宾机器人可以主动上前问候：“先生，您好，请问您有3位要办理入住，对吗？”，“您身边的这两位是您太太和孩子吗，我们特意为您和您家人准备了家庭房，里面配备有还有儿童床，欢迎您入住”。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.基于人物性格与人际关系识别的人机交互系统，其特征在于，包括：
检测模块：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；
信息特征提取模块：对检测模块得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为；
信息特征整合模块：将信息特征提取模块输出的每个人的人脸和人体信息合并到一起，组合成一个固定维度的特征向量；
性格喜好判别模块：将信息特征整合模块整合后的每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；
关系判别模块：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，判别每俩人之间的关系；
人机对话模块：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好，然后根据关系判别模块输出的人物关系以及人所具有的特质和喜好，选择合适的话题与用户交流沟通；
所述信息特征整合模块包括人脸图像特征提取模块、人脸属性分析模块、人体图像特征提取模块、人体关键点和行为分析模块；所述人脸图像特征提取模块输出人脸图像特征向量，人脸属性分析模块输出人脸属性向量，人体图像提取模块输出人体图像特征向量，人体关键点和行为分析模块输出人体行为向量；
所述人脸属性分析模块将人脸图像输入到深层卷积网络模型，提取高度抽象化的轮廓特征和纹理特征，然后分别传递给性别分类器、年龄分类器和表情分类器；所述性别分类器输出男性、女性的概率，所述年龄分类器输出1至100的某一值，所述表情分类器输出五种表情的概率，所述五种表情为开心、生气、悲伤、惊恐和发呆。
2.根据权利要求1所述的基于人物性格与人际关系识别的人机交互系统，其特征在于，所述检测模块包括人脸检测模块和人体检测模块；所述人脸检测模块用于得到人脸区域图像，所述人体检测模块用于得到人体区域图像。
3.根据权利要求1所述的基于人物性格与人际关系识别的人机交互系统，其特征在于，所述人脸图像特征提取模块和人体图像特征提取模块采用HOG特征、SIFT特征和LBP特征这三种算法中的一种或几种的组合。
4.根据权利要求1所述的基于人物性格与人际关系识别的人机交互系统，其特征在于，所述人体关键点和行为分析模块将人体图像输入到深层卷积网络模型分步提取特征，第一阶段提取到关键点的初略特征，然后从第一阶段到第T阶段按照从粗到精的思路逐步提取更加细微的特征，最后对这些特征进行回归分析，得到人体各部位的关键点坐标，根据这些人体关键点分析图中每个人彼此之间的行为，所述行为包括牵手、拥抱、搭肩和分离。
5.根据权利要求1所述的基于人物性格与人际关系识别的人机交互系统，其特征在于，所述检测模块的具体工作方法如下：
步骤a1：输入待测图片或视频；
步骤a2：通过深层卷积神经网络模型提取图像特征并生成特征图；
步骤a3：将图像对应的特征图分解成若干个可能含有待测物体的矩形框；
步骤a4：对每个矩形框包含的特征输入回归器中判别待测物的概率，通过非极大值抑制和设定阈值的方法，合并重叠的矩形框和去除概率较小的矩形框；
步骤a5：对剩下的矩形框的边界进行微调，微调后的矩形框位置即为待测物体即人脸图像和人体图像的真实区域。
6.基于人物性格与人际关系识别的人机交互系统的工作方法，其特征在于，包括以下步骤：
步骤S1：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；
步骤S2：利用第一步得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为，并输出人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量；
步骤S3：将从上一步得到的每个人的人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量合并到一起，组合成一个固定维度的特征向量；
步骤S4：将每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；
步骤S5：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，输出每种关系的概率，设定关系阈值，在所有的关系概率中如果都小于阈值则不做判别，如果有某种关系的概率大于阈值即可判别此俩人属于这种关系；
步骤S6：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好；然后根据关系判别模块输出的人物关系以及人所具有的特质和喜好，选择合适的话题与用户交流沟通；
所述步骤S3具体包括：将人脸图像输入到深层卷积网络模型，提取高度抽象化的轮廓特征和纹理特征，然后分别传递给性别分类器、年龄分类器和表情分类器；所述性别分类器输出男性、女性的概率，所述年龄分类器输出1至100的某一值，所述表情分类器输出五种表情的概率，所述五种表情为开心、生气、悲伤、惊恐和发呆。
CN201710087550.5A 2017-02-17 2017-02-17 基于人物性格与人际关系识别的人机交互系统及工作方法 Active CN106909896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710087550.5A CN106909896B (zh) 2017-02-17 2017-02-17 基于人物性格与人际关系识别的人机交互系统及工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710087550.5A CN106909896B (zh) 2017-02-17 2017-02-17 基于人物性格与人际关系识别的人机交互系统及工作方法

Publications (2)

Publication Number Publication Date
CN106909896A CN106909896A (zh) 2017-06-30
CN106909896B true CN106909896B (zh) 2020-06-30

Family

ID=59207620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710087550.5A Active CN106909896B (zh) 2017-02-17 2017-02-17 基于人物性格与人际关系识别的人机交互系统及工作方法

Country Status (1)

Country Link
CN (1) CN106909896B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807734B (zh) * 2017-09-27 2021-06-15 北京光年无限科技有限公司 一种用于智能机器人的交互输出方法以及系统
CN108038413A (zh) * 2017-11-02 2018-05-15 平安科技（深圳）有限公司 欺诈可能性分析方法、装置及存储介质
CN108021864A (zh) * 2017-11-02 2018-05-11 平安科技（深圳）有限公司 人物性格分析方法、装置及存储介质
CN108038414A (zh) * 2017-11-02 2018-05-15 平安科技（深圳）有限公司 基于循环神经网络的人物性格分析方法、装置及存储介质
CN108021866A (zh) * 2017-11-03 2018-05-11 百度在线网络技术（北京）有限公司 照片管理方法、装置、设备及存储介质
CN107909038B (zh) * 2017-11-16 2022-01-28 北京邮电大学 一种社交关系分类模型训练方法、装置、电子设备及介质
CN108182389B (zh) * 2017-12-14 2021-07-30 华南师范大学 基于大数据与深度学习的用户数据处理方法、机器人系统
CN108171166A (zh) * 2017-12-28 2018-06-15 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN108596011A (zh) * 2017-12-29 2018-09-28 中国电子科技集团公司信息科学研究院 一种基于组合深度网络的人脸属性识别方法和装置
CN108256099A (zh) * 2018-01-30 2018-07-06 上海与德通讯技术有限公司 关系网的建立方法、基于关系网的提醒方法和智能设备
CN108537165A (zh) * 2018-04-08 2018-09-14 百度在线网络技术（北京）有限公司 用于确定信息的方法和装置
CN108764047A (zh) * 2018-04-27 2018-11-06 深圳市商汤科技有限公司 群体情绪行为分析方法和装置、电子设备、介质、产品
CN108898067B (zh) * 2018-06-06 2021-04-30 北京京东尚科信息技术有限公司 确定人和物关联度的方法、装置及计算机可读存储介质
CN109471959B (zh) * 2018-06-15 2022-06-14 中山大学 基于图推理模型的图像中人物社会关系辨识方法及系统
CN109902548B (zh) * 2018-07-20 2022-05-31 华为技术有限公司 一种对象属性识别方法、装置、计算设备及系统
CN109002805A (zh) * 2018-07-25 2018-12-14 朱丽萍 基于区块链分析的现场滤波架构
CN109117758A (zh) * 2018-07-27 2019-01-01 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110833697A (zh) * 2018-08-16 2020-02-25 潘小亮 区块链计时式船体控制方法
CN109086837A (zh) * 2018-10-24 2018-12-25 高嵩 基于卷积神经网络的用户属性分类方法、存储介质、装置及电子设备
CN109635753A (zh) * 2018-12-14 2019-04-16 深圳壹账通智能科技有限公司 基于神经网络模型的应聘者评估方法及装置
CN109934149B (zh) * 2019-03-06 2022-08-09 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN110110671B (zh) * 2019-05-09 2021-02-05 谷泽丰 一种性格分析方法、装置及电子设备
CN111079662A (zh) * 2019-12-19 2020-04-28 江苏云从曦和人工智能有限公司 一种人物识别方法、装置、机器可读介质及设备
CN111507421A (zh) * 2020-04-22 2020-08-07 上海极链网络科技有限公司 一种基于视频的情感识别方法及装置
CN111626258B (zh) * 2020-06-03 2024-04-16 上海商汤智能科技有限公司 一种签到信息展示方法、装置、计算机设备及存储介质
CN112200292A (zh) * 2020-09-30 2021-01-08 江苏迪迪隆机器人科技发展有限公司 一种基于户外巡游机器人的互动信息处理方法和装置
CN112464009A (zh) * 2020-11-17 2021-03-09 百度(中国)有限公司 用于生成配对图像的方法、装置、电子设备及存储介质
CN112562221A (zh) * 2020-12-02 2021-03-26 支付宝(杭州)信息技术有限公司 一种支持人脸识别的终端以及方法
CN113784215B (zh) * 2021-09-08 2023-07-25 天津智融创新科技发展有限公司 基于智能电视的性格特征的检测方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419686A (zh) * 2000-10-30 2003-05-21 皇家菲利浦电子有限公司 模拟人际交互并利用相关数据装载外部数据库的用户接口/娱乐设备
JP2005199373A (ja) * 2004-01-14 2005-07-28 Toshiba Corp コミュニケーション装置及びコミュニケーション方法
CN102024157A (zh) * 2009-09-09 2011-04-20 索尼公司 信息处理装置、信息处理方法和信息处理程序
KR20140100353A (ko) * 2013-02-06 2014-08-14 한국전자통신연구원 휴먼 정보 인식 방법 및 장치
CN104091341A (zh) * 2014-07-18 2014-10-08 厦门美图之家科技有限公司 一种基于显著性检测的图像模糊检测方法
CN104091153A (zh) * 2014-07-03 2014-10-08 苏州工业职业技术学院 应用于聊天机器人的情绪判断方法
CN104715493A (zh) * 2015-03-23 2015-06-17 北京工业大学 一种运动人体姿态估计的方法
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN105824935A (zh) * 2016-03-18 2016-08-03 北京光年无限科技有限公司 面向问答机器人的信息处理方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479194B2 (ja) * 2003-08-29 2010-06-09 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
TW201123031A (en) * 2009-12-24 2011-07-01 Univ Nat Taiwan Science Tech Robot and method for recognizing human faces and gestures thereof
US8311973B1 (en) * 2011-09-24 2012-11-13 Zadeh Lotfi A Methods and systems for applications for Z-numbers

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419686A (zh) * 2000-10-30 2003-05-21 皇家菲利浦电子有限公司 模拟人际交互并利用相关数据装载外部数据库的用户接口/娱乐设备
JP2005199373A (ja) * 2004-01-14 2005-07-28 Toshiba Corp コミュニケーション装置及びコミュニケーション方法
CN102024157A (zh) * 2009-09-09 2011-04-20 索尼公司 信息处理装置、信息处理方法和信息处理程序
KR20140100353A (ko) * 2013-02-06 2014-08-14 한국전자통신연구원 휴먼 정보 인식 방법 및 장치
CN104091153A (zh) * 2014-07-03 2014-10-08 苏州工业职业技术学院 应用于聊天机器人的情绪判断方法
CN104091341A (zh) * 2014-07-18 2014-10-08 厦门美图之家科技有限公司 一种基于显著性检测的图像模糊检测方法
CN104715493A (zh) * 2015-03-23 2015-06-17 北京工业大学 一种运动人体姿态估计的方法
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN105824935A (zh) * 2016-03-18 2016-08-03 北京光年无限科技有限公司 面向问答机器人的信息处理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DeepPose Human Pose Estimation via Deep Neural Networks;Alexander Toshev ，Christian Szegedy;《2014 IEEE Conference on Computer Vision and Pattern Recognition》;20140925;第1654页第1段-第1656页第6段 *

Also Published As

Publication number Publication date
CN106909896A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106909896B (zh) 基于人物性格与人际关系识别的人机交互系统及工作方法
US11393133B2 (en) Emoji manipulation using machine learning
US10482316B2 (en) Image information processing method and apparatus, and computer storage medium
Scheutz et al. Are we ready for sex robots?
US20170011258A1 (en) Image analysis in support of robotic manipulation
US20200314490A1 (en) Media manipulation using cognitive state metric analysis
EP3651103A1 (en) Device, system and method for providing service relating to advertising and product purchase by using artificial-intelligence technology
US20220101146A1 (en) Neural network training with bias mitigation
EP3839768A1 (en) Mediating apparatus and method, and computer-readable recording medium thereof
CN103513890A (zh) 一种基于图片的交互方法、装置和服务器
Hammal et al. Automatic action unit detection in infants using convolutional neural network
Zhang et al. Emotion detection using Kinect 3D facial points
CN102902704B (zh) 信息处理设备、短语输出方法
CN110210449A (zh) 一种用于虚拟现实交友的人脸识别系统及方法
DE112019000040T5 (de) Detektieren von massnahmen zur erkennungsverhinderung
CN106897426A (zh) 基于眼球追踪技术的特定数据生成系统及方法
Ochs et al. Socially aware virtual characters: The social signal of smiles [Social Sciences]
CA3050456C (en) Facial modelling and matching systems and methods
Savadi et al. Face based automatic human emotion recognition
Minu A extensive survey on sign language recognition methods
Martinez The promises and perils of automated facial action coding in studying children’s emotions.
KR20230103665A (ko) 텍스트 기반 아바타 생성 기능을 제공하는 메타버스 공간 장치, 방법, 및 프로그램
CN115100560A (zh) 用户不良状态的监测方法、装置、设备及计算机存储介质
US20210097629A1 (en) Initiating communication between first and second users
Rizk et al. Demonstrating hitonavi-μ: a novel wearable LiDAR for human activity recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant