CN111428666A - 基于快速人脸检测的智能家庭陪伴机器人系统及方法 - Google Patents

基于快速人脸检测的智能家庭陪伴机器人系统及方法 Download PDF

Info

Publication number
CN111428666A
CN111428666A CN202010241385.6A CN202010241385A CN111428666A CN 111428666 A CN111428666 A CN 111428666A CN 202010241385 A CN202010241385 A CN 202010241385A CN 111428666 A CN111428666 A CN 111428666A
Authority
CN
China
Prior art keywords
face
image
intelligent
robot
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010241385.6A
Other languages
English (en)
Inventor
刘海英
周娟婷
邓立霞
赵阳
陈华康
贝前程
裴云成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202010241385.6A priority Critical patent/CN111428666A/zh
Publication of CN111428666A publication Critical patent/CN111428666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了基于快速人脸检测的智能家庭陪伴机器人系统及方法，包括：视频图像采集系统、智能视频分析系统及终端控制中心；所述视频图像采集系统捕捉用户的视频信息传递给智能视频分析系统；所述智能视频分析系统对进入视频中的人脸进行检测；所述终端控制中心将提取的人脸面部图像与存储的人脸面部特征分析对比，识别出人脸面部行为根据识别出的人脸面部行为控制所述陪伴机器人执行相应的动作，进行人机交互，实现智能陪伴。本公开采用终端控制中心及视频分析系统进行人脸识别和图像处理，避免占用机器人CPU处理器的存储空间及计算速度，将数据处理分布式处理便于提高整个系统的运行效率，快速识别人脸表情及年龄。

Description

基于快速人脸检测的智能家庭陪伴机器人系统及方法
技术领域
本发明属于智能类机器人技术领域，尤其涉及基于快速人脸检测的智能家庭陪伴机器人系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着计算机视觉和人工智能的发展，各种机器人在相关领域取得了丰富的成果，并将科研成果应用到生活领域。其中，家庭的服务机器人以关爱老人、呵护小孩的目标，逐渐被广泛接受。
由于生活节奏的变快和劳动力的减少，小孩的看护、老人的陪护逐渐成为困扰年轻人的诸多问题。
为了解决上述问题，现有技术中存在用机器人来陪护儿童与老人，目前也有一些可以进行简单人机交互的智能机器人。但是这些机器人的功能都是比较简单，并且提前设计好的，不能对老人与儿童的需求进行合适的人机交互，无法满足人们生活中的实际需求。
另外，现有技术机器人虽然存在对儿童的识别及交互，但是实现的是对儿童的简单面部识别而作出回应动作，做出简单的人机交互，无法实用于对于家庭中的不同年龄阶段的每个人，也无法满足不同的需求。
发明内容
为克服上述现有技术的不足，本发明提供了基于快速人脸检测的智能家庭陪伴机器人系统，快速判断出用户的面部表情所代表的情绪及年龄，进行相应的互动。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
基于快速人脸检测的智能家庭陪伴机器人系统，包括：
视频图像采集系统、智能视频分析系统及终端控制中心；
所述视频图像采集系统捕捉用户的视频信息传递给智能视频分析系统；
所述智能视频分析系统对进入视频中的人脸进行检测，若检测到人脸则进行人眼定位以及人脸图像的标准化，对标准化后的人脸面部图像进行特征的提取；
所述终端控制中心将提取的人脸面部图像与存储的人脸面部特征分析对比，识别出人脸面部行为根据识别出的人脸面部行为控制所述陪伴机器人执行相应的动作，进行人机交互，实现智能陪伴。
进一步的技术方案，所述智能视频分析系统在提取的人脸面部图像时，将人脸的灰度图进行LBP特征值的计算：将人脸图像分割成大小相等且相互之间没有重叠的若干区域，计算每一个小分块的LBP直方图，将各个分块的LBP特征的统计直方图连接起来，得到最终直方图的特征向量，得到描述整幅人脸图像的LBP纹理特征。
进一步的技术方案，所述终端控制中心数据库无法匹配到所述智能视频分析系统当前面部表情的时，储存此面部图像信息，以便下次进行识别。
进一步的技术方案，所述智能视频分析系统将采集到的图像进行图像灰度化、直方图均衡化预处理操作。
进一步的技术方案，所述终端控制中心识别出用户的年龄及情感。
另一方面，本发明公开了基于快速人脸检测的智能家庭陪伴机器人陪伴方法，包括：
捕捉用户的视频信息传递给智能视频分析系统；
对进入视频中的人脸进行检测，若检测到人脸则进行人眼定位以及人脸图像的标准化，对标准化后的人脸面部图像进行特征的提取；
将提取的人脸面部图像与存储的人脸面部特征分析对比，识别出人脸面部行为根据识别出的人脸面部行为控制所述陪伴机器人执行相应的动作，进行人机交互，实现智能陪伴。
进一步的技术方案，在提取的人脸面部图像时，将人脸的灰度图进行LBP特征值的计算：将人脸图像分割成大小相等且相互之间没有重叠的若干区域，计算每一个小分块的LBP直方图，将各个分块的LBP特征的统计直方图连接起来，得到最终直方图的特征向量，得到描述整幅人脸图像的LBP纹理特征。
进一步的技术方案，无法匹配到所述智能视频分析系统当前面部表情的时，储存此面部图像信息，以便下次进行识别。
进一步的技术方案，将采集到的图像首先进行图像灰度化、直方图均衡化预处理操作。
进一步的技术方案，所述终端控制中心识别出用户的年龄及情感。
以上一个或多个技术方案存在以下有益效果：
1、本公开采集用户面部表情图像，终端控制中心利用LBP算法将人脸的灰度图进行LBP特征值的计算，提取图像特征，与数据库进行对比得到该面部特征对应的情感，反馈给机器人应当作出怎样的人机交互，当数据库没有信息与之匹配时，补全并更新数据，使其适应不同用户的特点和需求，使机器人更加智能化、人性化，能够快速准确的获得上述面部识别结果。
2、本公开采用终端控制中心及视频分析系统进行人脸识别和图像处理，避免占用机器人CPU处理器的存储空间及计算速度，将数据处理分布式处理便于提高整个系统的运行效率，快速识别人脸表情及年龄，并且机器人与终端保持数据对接，能有着更丰富的交互行为。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例模块框架图；
图2是本发明实施例数据处理流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了基于快速人脸检测的智能家庭陪伴机器人系统，参见附图1所示，包括机器人的视频图像采集系统，智能视频分析系统，终端控制中心。终端控制中心数据库中存储着大量数据，针对不同年龄用户的不同情绪，机器人有着不同的处理方案。
本公开根据对机器人采集到的用户面部表情信息，实时传递给终端控制中心，对此表情作出合适的判断，并对比人脸数据库，判断用户此时的情绪，作出合适的人机交互，在不能判别或者错误判别用户面部表情时，终端控制中心及时修改补充并更新数据。
具体在进行识别人脸面部特征，对比数据库中的数据，判断用户的喜怒哀乐。
将表情分成一小块一小块动作单元，再通过动作单元的组合判断情绪的做法不同，对表情的分类更加自然，简单易懂，将表情进行更细致的分类，然后从某一种特定的表情整体学习其中的特征。
当智能视频分析系统把面部特征数据发送给终端控制中心时，它会在数据库找到与之对应的人机交互，如果该人机交互数据，在机器人中有存储，会给机器人发出做此人机交互动作的指令，如果该交互数据在机器人中没有存储，终端会传递相应的数据给机器人并下达执行指令，进行合适的人机交互。
在其中一个实施例子中，视频图像采集系统为机器人自身携带的摄像装置，视频采集系统利用LBP算法，有效地分析并提取图像的局部纹理特征，提取出面部图像的特征。终端控制中心利用所得到得图像特征对比数据库，得到该面部表情时，对应得机器人的人机互动数据信息。当终端控制中心没有数据与提取的面部特征匹配时，储存此信息，补全数据库。
具体实施例子中，安装在家庭陪伴机器人上的视频图像采集系统捕捉视频信息传递给智能视频分析系统，将机器人启动同时将其参数和数据库进行初始化，打开机器人的摄像头，采集摄像头捕获到的视频帧图像传递给终端控制中心。智能视频分析系统将采集到的图像进行图像灰度化、直方图均衡化预处理操作。
智能视频分析系统对进入视频中的人脸进行检测，若未检测到返回继续采集检测，若检测到人脸则进行人眼定位以及人脸图像的标准化，这里标准化为与库中一样的尺寸，然后对标准化后的人脸面部图像运用相应的算法实现其特征的提取，选取人脸的核心关键点信息，以这些关键点的信息作为判断情绪的标准，接着将其与终端控制中心数据库中的人脸面部特征进行分析对比，识别出人脸面部行为，根据终端控制中心得到的信息，进行合适的判断，识别此时用户的情况，进行合适的人机交互包括并不限于挥手问候，语音讲话，唱歌跳舞等。
在上述实施例子中，因为人脸的各种复杂因素，如光照变化、眼镜或头发遮挡、表情等问题，并不能取得十分满意的效果。而要定位人脸特征点，准确预估的眼睛位置，能更好的定位人脸特征点。
对年龄进行识别时，具体为：对人脸进行标记，cnn卷积提取特征，训练网络直到cnn找到的特征大部分符合标记结果，认为网络已经知道怎么根据人脸判断性别了，保存网络模型，输入人脸经过模型计算后得到男女的概率，找到概率大的那个作为最终结果。
在本公开的实施例子中，从视频中获取图像信息，针对视频中图像信息进行图像识别处理，具体的，人脸检测是指在输入图像或视频流中确定有无人脸及人脸的大小、位置、姿态等。在有一定光线照射、复杂背景的条件下，利用Adaboost算法提取人脸的的haar-like特征，即输入人脸的矩形特征，在获取了矩形特征后用“积分图”计算矩形特征的值。其次，采用Adaboost算法选取优化的弱分类器，将这些弱分类器进行组合构造成分类能力更好的强分类器。最后，把得到的强分类器串联起，将其组合为级联分类器来进行更加快速有效的人脸检测。
将检测到的人脸图像进行去噪，平滑图像内容，然后在对应的色彩空间对图像进行阈值分割，提取出所需要的目标图像信息，得到用户与机器人的距离位置信息，后期机器人可以控制与用户在合适的范围内作出合适的交互。
机器人进行人脸识别和图像处理时会过多的占用机器人的CPU时间，而且一般的机器人CPU处理器不足以支持以上运算。
视频处理系统利用LBP算法将人脸的灰度图进行LBP特征值的计算，若输入图像为彩色图应转化为灰度图，然后将人脸图像按照某种方法分割成大小相等且相互之间没有重叠的若干区域，计算每一个小分块的LBP直方图，将各个分块的LBP特征的统计直方图连接起来，得到最终直方图的特征向量，得到可以描述整幅人脸图像的LBP纹理特征，到了整个人脸图像特征的直方图后，对上步所得到直方图进行相似性度量，对比终端控制中心的人脸数据库，判断出面部表情所代表的情绪。
各个分块的LBP特征的统计直方图，相似性度量是评定两个事物之间相近程度的一种度量。两个事物越接近，它们的相似性度量也就越大，而两个事物越疏远，它们的相似性度量也就越小。以此匹配数据库中相似型量度最高的。
终端控制中心根据数据库中内容，得到相应的处理方法，并将其传递给机器人，使机器人能根据用户的实时情况作出合适的反应。
终端控制中心数据库无法匹配到面当前部表情的应对方法时，储存此面部图像信息，后期工作人员再进行数据补充。
终端控制中心在连续多次判断出用户在机器人作出相应的人机互动时，仍处于难过状态，储存相应的面部图像信息，后期进行相应的数据修改与补充。
视频采集系统利用LBP算法，有效地分析并提取图像的局部纹理特征，提取出面部图像的特征。
终端控制中心利用所得到得图像特征对比数据库，得到该面部表情时，对应得机器人的人机互动数据信息。
机器人进行人脸识别和图像处理时会过多的占用机器人的CPU时间，而且一般的机器人CPU处理器不足以支持以上运算，智能视频分析系统能快速的对机器人传递回来的视频信息进行适当的分析并传给终端，终端能存储更多的数据，有着丰富的简单或者复杂的人机交换数据，机器人cpu内存占用减少，处理速度快，针对不同用户的不同需求，机器人进行的人机交互会更快更准确合适。
图2为家庭服务时具体的实施流程示意图，包括以下步骤：
第一步：用户到达家庭陪护机器人的监控范围，机器人与终端控制中心建立起联系。
第二步：像智能视频分析系统提供家庭陪伴机器人采集的视频信息。
第三步：对进入服务范围的用户进行检测，并对比终端控制中心的数据库，得到相应的处理方案数据。
第四步：将对应的数据实时反馈给家庭陪护机器人，机器人可以与用户作出一系列的人机互动，包括但不仅限于对话，握手，唱歌，跳舞等。
机器人通过摄像头采集用户人脸图像，传输到智能视频采集系统，对图像进行简单去噪预处理，利用Adaboost算法提取人脸的的haar-like特征，即输入人脸的矩形特征，在获取了矩形特征后用“积分图”计算矩形特征的值进行人脸检测。
智能视频采集系统，对进入视频中的人脸进行检测，若未检测到返回继续采集检测，若检测到人脸则进行人眼定位以及人脸图像的标准化，这里标准化为与库中一样的尺寸，然后对标准化后的人脸面部图像运用相应的算法实现其特征的提取，接着将其与终端控制中心数据库中的人脸面部特征进行分析对比。
终端控制中心根据数据库中内容，得到相应的处理方法，并将其传递给机器人，使机器人能根据用户的实时情况作出合适的反应，包括但不仅限于以下几种情况：
当检测用户面部年龄是家里小孩的时候，它可以上前友好地用中文和英文说出“你好，你这样子看起来很可爱，我想给你跳支舞。”并上前和小孩一起跳舞。
当检测用户面部年龄是父母的时候，可以上前传递报纸，并说出今天是周几，您工作辛苦了之类的话语。
当识别出是爷爷奶奶时，可以可爱的上前打招呼“爷爷奶奶好。”或者有提示音“爷爷奶奶注意脚下。”给予老人关怀，并可以再老人面前打太极，逗；老人开心。
当识别出当前用户面部表情与悲伤相时，机器人可以控制扬声器发出关于“我要开始唱歌啦。”并实时的放一些音乐来舒缓用户情绪。
终端控制中心数据库无法匹配到面当前部表情的应对方法时，储存此面部图像信息，后期工作人员再进行数据补充。
终端控制中心在连续多次判断出用户在机器人作出相应的人机互动时，仍处于难过状态，储存相应的面部图像信息，后期进行相应的数据修改与补充。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于快速人脸检测的智能家庭陪伴机器人系统，其特征是，包括：
视频图像采集系统、智能视频分析系统及终端控制中心；
所述视频图像采集系统捕捉用户的视频信息传递给智能视频分析系统；
所述智能视频分析系统对进入视频中的人脸进行检测，若检测到人脸则进行人眼定位以及人脸图像的标准化，对标准化后的人脸面部图像进行特征的提取；
所述终端控制中心将提取的人脸面部图像与存储的人脸面部特征分析对比，识别出人脸面部行为根据识别出的人脸面部行为控制所述陪伴机器人执行相应的动作，进行人机交互，实现智能陪伴。
2.如权利要求1所述的基于快速人脸检测的智能家庭陪伴机器人系统，其特征是，所述智能视频分析系统在提取的人脸面部图像时，将人脸的灰度图进行LBP特征值的计算：将人脸图像分割成大小相等且相互之间没有重叠的若干区域，计算每一个小分块的LBP直方图，将各个分块的LBP特征的统计直方图连接起来，得到最终直方图的特征向量，得到描述整幅人脸图像的LBP纹理特征。
3.如权利要求1所述的基于快速人脸检测的智能家庭陪伴机器人系统，其特征是，所述终端控制中心数据库无法匹配到所述智能视频分析系统当前面部表情的时，储存此面部图像信息，以便下次进行识别。
4.如权利要求1所述的基于快速人脸检测的智能家庭陪伴机器人系统，其特征是，所述智能视频分析系统将采集到的图像进行图像灰度化、直方图均衡化预处理操作。
5.如权利要求1所述的基于快速人脸检测的智能家庭陪伴机器人系统，其特征是，所述终端控制中心识别出用户的年龄及情感。
6.基于快速人脸检测的智能家庭陪伴机器人陪伴方法，其特征是，包括：
捕捉用户的视频信息传递给智能视频分析系统；
对进入视频中的人脸进行检测，若检测到人脸则进行人眼定位以及人脸图像的标准化，对标准化后的人脸面部图像进行特征的提取；
将提取的人脸面部图像与存储的人脸面部特征分析对比，识别出人脸面部行为根据识别出的人脸面部行为控制所述陪伴机器人执行相应的动作，进行人机交互，实现智能陪伴。
7.如权利要求6所述的基于快速人脸检测的智能家庭陪伴机器人陪伴方法，其特征是，在提取的人脸面部图像时，将人脸的灰度图进行LBP特征值的计算：将人脸图像分割成大小相等且相互之间没有重叠的若干区域，计算每一个小分块的LBP直方图，将各个分块的LBP特征的统计直方图连接起来，得到最终直方图的特征向量，得到描述整幅人脸图像的LBP纹理特征。
8.如权利要求6所述的基于快速人脸检测的智能家庭陪伴机器人陪伴方法，其特征是，无法匹配到所述智能视频分析系统当前面部表情的时，储存此面部图像信息，以便下次进行识别。
9.如权利要求6所述的基于快速人脸检测的智能家庭陪伴机器人陪伴方法，其特征是，将采集到的图像首先进行图像灰度化、直方图均衡化预处理操作。
10.如权利要求6所述的基于快速人脸检测的智能家庭陪伴机器人陪伴方法，其特征是，所述终端控制中心识别出用户的年龄及情感。
CN202010241385.6A 2020-03-31 2020-03-31 基于快速人脸检测的智能家庭陪伴机器人系统及方法 Pending CN111428666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010241385.6A CN111428666A (zh) 2020-03-31 2020-03-31 基于快速人脸检测的智能家庭陪伴机器人系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010241385.6A CN111428666A (zh) 2020-03-31 2020-03-31 基于快速人脸检测的智能家庭陪伴机器人系统及方法

Publications (1)

Publication Number Publication Date
CN111428666A true CN111428666A (zh) 2020-07-17

Family

ID=71549978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010241385.6A Pending CN111428666A (zh) 2020-03-31 2020-03-31 基于快速人脸检测的智能家庭陪伴机器人系统及方法

Country Status (1)

Country Link
CN (1) CN111428666A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634684A (zh) * 2020-12-11 2021-04-09 深圳市木愚科技有限公司 智能教学方法和装置
CN113158858A (zh) * 2021-04-09 2021-07-23 苏州爱可尔智能科技有限公司 基于深度学习的行为分析方法、系统
WO2022213396A1 (zh) * 2021-04-09 2022-10-13 深圳市悦保科技有限公司 猫的面部个体识别装置、方法、计算机设备及存储介质
CN116486464A (zh) * 2023-06-20 2023-07-25 齐鲁工业大学(山东省科学院) 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211484A (zh) * 2006-12-25 2008-07-02 成都三泰电子实业股份有限公司 防止在atm取款时密码被偷窥的方法及装置
CN103714321A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于距离图像和强度图像的驾驶员人脸定位系统
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
CN105488463A (zh) * 2015-11-25 2016-04-13 康佳集团股份有限公司 基于人脸生物特征的直系亲属关系识别方法及系统
CN105590084A (zh) * 2014-11-03 2016-05-18 贵州亿丰升华科技机器人有限公司 一种机器人人脸检测跟踪情感检测系统
CN106303565A (zh) * 2016-08-12 2017-01-04 广州华多网络科技有限公司 视频直播的画质优化方法和装置
CN106384083A (zh) * 2016-08-31 2017-02-08 上海交通大学 一种自动面部表情识别并进行信息推荐的方法
CN107103266A (zh) * 2016-02-23 2017-08-29 中国科学院声学研究所 二维人脸欺诈检测分类器的训练及人脸欺诈检测方法
CN107728780A (zh) * 2017-09-18 2018-02-23 北京光年无限科技有限公司 一种基于虚拟机器人的人机交互方法及装置
CN107856039A (zh) * 2017-11-16 2018-03-30 北京科技大学 一种养老陪护服务机器人系统及养老陪护方法
CN109159129A (zh) * 2018-08-03 2019-01-08 深圳市益鑫智能科技有限公司 一种基于人脸表情识别的智能陪伴机器人
CN110555401A (zh) * 2019-08-26 2019-12-10 浙江大学 一种基于表情识别的自适应情感表达系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211484A (zh) * 2006-12-25 2008-07-02 成都三泰电子实业股份有限公司 防止在atm取款时密码被偷窥的方法及装置
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
CN103714321A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于距离图像和强度图像的驾驶员人脸定位系统
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人
CN105590084A (zh) * 2014-11-03 2016-05-18 贵州亿丰升华科技机器人有限公司 一种机器人人脸检测跟踪情感检测系统
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
CN105488463A (zh) * 2015-11-25 2016-04-13 康佳集团股份有限公司 基于人脸生物特征的直系亲属关系识别方法及系统
CN107103266A (zh) * 2016-02-23 2017-08-29 中国科学院声学研究所 二维人脸欺诈检测分类器的训练及人脸欺诈检测方法
CN106303565A (zh) * 2016-08-12 2017-01-04 广州华多网络科技有限公司 视频直播的画质优化方法和装置
CN106384083A (zh) * 2016-08-31 2017-02-08 上海交通大学 一种自动面部表情识别并进行信息推荐的方法
CN107728780A (zh) * 2017-09-18 2018-02-23 北京光年无限科技有限公司 一种基于虚拟机器人的人机交互方法及装置
CN107856039A (zh) * 2017-11-16 2018-03-30 北京科技大学 一种养老陪护服务机器人系统及养老陪护方法
CN109159129A (zh) * 2018-08-03 2019-01-08 深圳市益鑫智能科技有限公司 一种基于人脸表情识别的智能陪伴机器人
CN110555401A (zh) * 2019-08-26 2019-12-10 浙江大学 一种基于表情识别的自适应情感表达系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634684A (zh) * 2020-12-11 2021-04-09 深圳市木愚科技有限公司 智能教学方法和装置
CN113158858A (zh) * 2021-04-09 2021-07-23 苏州爱可尔智能科技有限公司 基于深度学习的行为分析方法、系统
WO2022213396A1 (zh) * 2021-04-09 2022-10-13 深圳市悦保科技有限公司 猫的面部个体识别装置、方法、计算机设备及存储介质
CN116486464A (zh) * 2023-06-20 2023-07-25 齐鲁工业大学(山东省科学院) 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法
CN116486464B (zh) * 2023-06-20 2023-09-01 齐鲁工业大学(山东省科学院) 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法

Similar Documents

Publication Publication Date Title
CN108388876B (zh) 一种图像识别方法、装置以及相关设备
CN111428666A (zh) 基于快速人脸检测的智能家庭陪伴机器人系统及方法
Pantic et al. Automatic analysis of facial expressions: The state of the art
WO2019033573A1 (zh) 面部情绪识别方法、装置及存储介质
CN112784763B (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
CN111401270A (zh) 一种人体运动姿态识别评价方法及其系统
KR102132407B1 (ko) 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치
CN111597955A (zh) 基于深度学习的表情情绪识别的智能家居控制方法及装置
KR20110129042A (ko) 표정인식을 이용한 휴대 기기의 상호작용 방법
CN111353451A (zh) 电瓶车检测方法、装置、计算机设备及存储介质
Xia et al. Face occlusion detection using deep convolutional neural networks
WO2002039371A2 (en) Estimation of facial expression intensity using a bidirectional star topology hidden markov model
Sara et al. A deep learning facial expression recognition based scoring system for restaurants
US10917721B1 (en) Device and method of performing automatic audio focusing on multiple objects
Han et al. A New Information Fusion Method for Bimodal Robotic Emotion Recognition.
Abedi et al. Modification of deep learning technique for face expressions and body postures recognitions
WO2024001539A1 (zh) 说话状态识别方法及模型训练方法、装置、车辆、介质、计算机程序及计算机程序产品
CN111191598A (zh) 一种基于智能陪伴机器人的人脸表情识别方法
CN111898473B (zh) 一种基于深度学习的司机状态实时监测方法
Starostenko et al. Real-time facial expression recognition using local appearance-based descriptors
CN114998966A (zh) 基于特征融合的人脸表情识别方法
KR20130117624A (ko) 비주얼 큐를 이용하여 비디오 시퀀스에서 토킹 세그먼트를 검출하는 방법 및 장치
Bakheet A fuzzy framework for real-time gesture spotting and recognition
CN115210754A (zh) 易接近性判定装置、易接近性判定方法以及程序
Singh et al. Comparison analysis of different face detecting techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200717