CN110796020B - 一种心情指数分析方法及相关装置 - Google Patents

一种心情指数分析方法及相关装置 Download PDF

Info

Publication number
CN110796020B
CN110796020B CN201910947580.8A CN201910947580A CN110796020B CN 110796020 B CN110796020 B CN 110796020B CN 201910947580 A CN201910947580 A CN 201910947580A CN 110796020 B CN110796020 B CN 110796020B
Authority
CN
China
Prior art keywords
mood
analyzed
index
expression
expression recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910947580.8A
Other languages
English (en)
Other versions
CN110796020A (zh
Inventor
王杉杉
黄轩
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201910947580.8A priority Critical patent/CN110796020B/zh
Publication of CN110796020A publication Critical patent/CN110796020A/zh
Application granted granted Critical
Publication of CN110796020B publication Critical patent/CN110796020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)

Abstract

本申请公开了一种心情指数分析方法及相关装置，方法包括：通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；将多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；根据多个表情识别结果确定心情综合分布指数；根据心情综合分布指数生成心情热力图。实施本发明实施例，实现了对待分析人物的情绪监测的全面性，提高了构建心情分布热力图的准确性。

Description

一种心情指数分析方法及相关装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种心情指数分析方法及相关装置。
背景技术
随着消费水平的提高，消费者不仅仅追求能购买需要的商品，更倾向于追求购物过程中的舒适体验感。当消费者进入商场后，商场内部的空间设计，照明和一些营销活动都会对消费者的情绪产生不同的影响。因此，需要根据消费者情绪分析指导商场进行更加合理的设计和布局，开展各种更适合不同层次消费者的促销活动，让消费者在游逛的过程中有更好的心情，会直接带来销售额和利润的提升。
发明内容
本发明实施例提供了一种心情指数分析方法和相关装置，实施本发明实施例，实现了对待分析人物的情绪监测的全面性，提高了构建心情分布热力图的准确性。
第一方面，本申请实施例提供一种心情指数分析方法，包括：
通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；
将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；
根据所述多个表情识别结果确定心情综合分布指数；
根据所述心情综合分布指数生成心情热力图。
第二方面，本申请实施例提供一种心情指数分析装置，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；以及将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到表情识别结果；以及根据所述表情识别结果确定心情综合分布指数；以及根据所述心情综合分布指数生成心情热力图。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备能够首先通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；然后将多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；其次根据多个表情识别结果确定心情综合分布指数；最后根据心情综合分布指数生成心情热力图，实现了对待分析人物的情绪监测的全面性，提高了构建心情分布热力图的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1为本发明一个实施例提供的一种心情指数分析系统的示意图；
图2为本发明又一个实施例提供的一种心情指数分析方法的流程示意图；
图3为本发明的一个实施例提供的一种生成心情热力图的示意图；
图4为本发明的一个实施例提供的一种表情检测模型的结构示意图；
图5为本发明的一个实施例提供的另一种心情指数分析方法的流程示意图；
图6为本发明一个实施例提供的一种电子设备的示意图；
图7为本发明一个实施例提供的一种心情指数分析装置的功能单元组成框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，图1为一个心情指数分析系统100的示意图，该心情指数分析系统100包括人脸图像采集装置110、人脸图像处理装置120，所述人脸图像采集装置110连接所述人脸图像处理装置120，人脸图像采集装置110用于获取视频数据并发给人脸图像处理装置120进行处理，人脸图像处理装置120用于对视频数据进行处理并输出处理结果，该心情指数分析系统100可以包括集成式单体设备或者多设备，为方便描述，本申请将心情指数分析系统100统称为电子设备。显然该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminaldevice)等等。
目前，表情检测模型大多基于相对复杂的卷积神经网络，参数多，占用显存空间大，需要有高性能显卡的支持，成本较高，且人脸表情识别装置多用于安防领域，在商场购物中应用较少，不能得到商场内部的空间设计或营销活动对消费者情绪的影响。
基于此，本申请实施例提出一种心情指数分析方法以解决上述问题，下面对本申请实施例进行详细介绍。
首先，参见图2，图2为本发明的一个实施例提供的一种心情指数分析方法的流程示意图，应用于如图1所示的电子设备，其中，如图2所示，本发明的一个实施例提供的一种心情指数分析方法可以包括：
S201，电子设备通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像。
其中，所述待分析人物是指在所述多个摄像装置下被采集人脸图像以及需要进行心情分析的人物。
其中，多个待分析人物的人脸图像是指视频中的某一图像帧中多个待分析人物的人脸图像，具体实现中，也可以采集同一个待分析人物的人脸图像。其中，该人脸图像中包括一张或多张人脸。
举例来说，在商场不同的区域部署摄像头，对不同区域的摄像头进行编号，实时的采集现场数据，实时检测待分析人物的人脸图像。
S202，所述电子设备将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果。
其中，所述表情识别结果可以分为常见的7中表情：愤怒，厌恶，害怕，开心，难过，惊讶，平静。所述预训练的表情检测模型可以是基于移动端神经网络(mobilenetv1)改进的神经网络模型，在没有显卡环境下部署与运行，对采集的多个待分析人物的人脸图像进行表情识别。
具体实现中，可以选择对mobilenetv1改进得到神经网络模型进行训练得到预训练的神经网络模型。其中，mobilenetv1改进得到神经网络模型包括依次串联的多个卷积层，所述多个卷积层中的预设的至少一个卷积层连接所述连接层，所述连接层连接所述分类层，将人脸图片作为神经网络模型的输入，所述神经网络模型的不同层的输出结果为人脸表情特征值，所述神经网络模型将不同层的特征值通过连接层进行融合后再输入分类层进行表情识别，得到表情识别结果。
举例来说，首先获取现有的表情数据集，首先对所述表情数据集中的每个表情的图像数据进行平滑，锐化，增广等处理，提高表情数据集中表情图像的视觉质量和数量，得到表情训练集；将所述表情训练集对预设神经网络模型进行训练，将该模型的每一个卷积层进行可视化输出，确定输出图像基本特征的多个卷积层，将多个卷积层中的预设的至少一个卷积层输出结果输入到连接层进行融合，其中预设的至少一个卷积层至少包括该模型的最后一个卷积层，用户选取除最后一个卷积层的多个卷积层中至少一个卷积层的输出结果与所述该模型的最后一个卷积层的输出结果进行融合，得到融合图像，再将所述融合图像输入分类层进行分类，得到分类结果。采用softmaxloss与centerloss得到新的损失函数，将分类结果输入新的损失函数，以增加各类表情中心的间距，减小类间距离，使分类结果更准确，得到精确的表情识别结果。
S203，所述电子设备根据所述多个表情识别结果确定心情综合分布指数；
其中，根据所述多个表情识别结果确定心情指数，根据心情指数和预设权值确定心情综合分布指数，所述心情指数包括不同区域的多个摄像装置的每个摄像装置下的心情指数或每个待分析人物的心情指数。
S204，所述电子设备根据所述心情综合分布指数生成心情热力图。
可以看出，本申请实施例中，电子设备能够首先通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；然后将多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；其次根据多个表情识别结果确定心情综合分布指数；最后将心情综合指数按照时间变化生成心情热力图，实现了对待分析人物的情绪监测的全面性，提高了构建心情分布热力图的准确性。
在一个可能的示例中，所述根据所述多个表情识别结果确定心情综合分布指数，包括：根据所述表情识别结果确定所述不同区域的多个摄像装置的每个摄像装置下的心情指数；获取不同区域的每个摄像装置下的预设权值；根据所述每个摄像装置下的心情指数和所述每个摄像装置的预设权值计算得到心情综合分布指数。
其中，获取不同区域的每个摄像装置下不同表情的预设权值Wi，所述预设权值根据不同区域进行设置，根据所述预设权值和摄像装置的心情指数确定每个摄像装置的表情指数，根据所述表情识别结果确定所述不同区域的多个摄像装置的每个摄像装置下的心情指数Cj；根据所述每个摄像装置下的心情指数Cj和每个摄像装置的预设权值Wi计算得到心情综合分布指数E：
Figure BDA0002223600140000051
其中，根据表情识别结果确定每个摄像装置下的实时心情指数；根据当前摄像机的实时心情指数和预设权值计算得到当前摄像装置的表情指数；根据所述表情指数确定心情综合分布指数。
具体实现中，如图3所示，图3为一种生成心情热力图的示意图，通过设置在不同区域的摄像装置1、摄像装置2和摄像装置3等分别采集多个待分析人物的的人脸图像得到3组多个表情识别结果，根据每组多个表情识别结果进行计算得到每组对应的摄像装置的心情指数，根据摄像装置1、摄像装置2和摄像装置3的预设权值W1，W2，W3计算心情综合分布指数。例如，摄像装置1的心情指数为15.5、摄像装置2心情指数为10.3和摄像装置3心情指数为5.5，获取摄像装置1、摄像装置2和摄像装置3的预设权值为10、5和25，根据计算得到心情综合分布指数为80.6。
具体实现中，还可以根据每个摄像装置的表情指数生成每个摄像装置的心情热力图。
可见，本示例中，所述电子设备能够根据不同区域的表情识别结果得到每个摄像装置的心情指数，进而根据每个摄像装置的预设权值确定心情综合分布指数，实现了对待分析人物的情绪监测的全面性和构建心情分布热力图的准确性，有利于商场中各项活动的布局和开展。
在一个可能的示例中，所述根据所述表情识别结果确定所述不同区域的多个摄像装置的每个摄像装置下的心情指数，包括：根据所述表情识别结果确定每台摄像装置在预设时间内采集人脸图像的总次数以及每种表情的识别次数；根据所述采集人脸图像的总次数和所述每种表情的识别次数计算得到每个摄像装置下的心情指数。
其中，根据所述表情识别结果确定每台摄像装置在预设时间内采集人脸图像的总次数M以及每种表情的识别次数Qi，其中预设时间可以根据要求调整，例如所述预设时间可以为一天；根据所述采集人脸图像的总次数M和所述每种表情的识别次数Qi计算每个摄像装置下的心情指数Cj：
Figure BDA0002223600140000061
其中，通过表情识别结果确定每个摄像装置下的不同表情被识别的次数以及识别表情的总次数，通过对不同表情被识别的次数以及识别表情的总次数进行加权平均计算确定每个摄像装置的心情指数。
具体实现中，每种表情的预设分数值可以通过预先定义得到，例如：平静：0.5，愤怒：0.1，厌恶：0.1，悲伤：0.2，害怕：0.4，惊讶：0.6，快乐：0.7。通过表情识别结果统计在预设时间内每个摄像装置识别表情的总次数和每种表情被识别的次数，例如设置在投诉区的编号为1的摄像装置在一天内被识别表情的总次数为30次，其中，平静20次，愤怒：1次，厌恶：1次，悲伤：0次，害怕：0次，惊讶：0次，快乐：8次；该摄像装置下的心情指数为：
Figure BDA0002223600140000071
可见，本示例中，所述电子设备可以通过设置在不同区域的摄像装置下被检测不同表情被识别的次数以及识别表情的总次数确定每个摄像装置的心情指数，实现了不同区域心情指数的差异性，有利于提高构建心情分布热力图的准确性。
在一个可能的示例中，所述根据所述多个表情识别结果确定心情综合分布指数，包括：根据所述表情识别结果确定每个待分析人物的心情指数；获取不同区域每个待分析人物的预设权值，所述预设权值为根据人物属性进行设置的；根据所述每个待分析人物的心情指数和所述每个待分析人物的预设权值计算得到心情综合分布指数。
其中，根据所述表情识别结果确定每个待分析人物的心情指数Uk；获取不同区域每个待分析人物的预设权值Wj，所述预设权值为根据人物属性进行设置的，所述人物属性包括人物年龄、性别和购买力等，其设置规则是：根据人物属性与预设区域相应的人物属性差异性越小，其权值越高，与预设区域相应的人物属性差异性越大，其权值越低；根据所述每个待分析人物的心情指数Uk和每个待分析人物的预设权值Wj计算得到心情综合分布指数E：
Figure BDA0002223600140000072
其中，根据每个区域的摄像装置下采集的多个待分析人物人脸图像，通过表情监测模型确定每个待分析人物的表情识别结果，根据表情识别结果确定每个待分析人物的实时心情指数；确定每个待分析人物的人物属性，根据每个待分析人物的人物属性和预设区域获取预设权值，根据预设权值和每个待分析人物的心情指数计算得到当前区域的每个待分析人物的表情指数；根据所述表情指数确定心情综合分布指数。
举例来说，通过设置在游乐区的摄像装置采集多个顾客的人脸图像得到多个表情识别结果，年龄较小的顾客在游乐区多为快乐的情绪，而年纪较大的顾客在游乐区多则表现为平静较多，根据多个表情识别结果可以得出游乐区中年龄较小的顾客的实时心情指数高于年纪较大的顾客，例如年龄较小的顾客的心情指数为18，年龄较大的顾客的心情指数为10，获取游乐区中年龄较小的顾客的预设权值为20，年龄较大的顾客的预设权值为10，根据预设权值和年龄较大的顾客的心情指数计算得到年龄较大的顾客的表情指数为100，年龄较小的顾客的表情指数为360；根据所述表情指数确定心情综合分布指数为15.3。
具体实现中，还可以根据每个摄像装置下每个待分析人物的表情指数和人物属性生成与人物属性关联的心情热力图。
可见，本示例中，所述电子设备能够根据每个区域多个待分析人物人脸图像的表情识别结果得到心情指数，进而根据每个待分析人物的预设权值确定心情综合分布指数，同时实现了对待分析人物的情绪监测的全面性和差异性，提高了构建心情分布热力图的准确性。
在一个可能的示例中，所述根据所述表情识别结果确定每个待分析人物的心情指数，包括：根据所述表情识别结果确定每个待分析人物预设时间内被同一区域的摄像装置采集人脸图像的总次数以及每种表情的识别次数；根据所述被采集人脸图像的总次数和所述每种表情的识别次数计算得到每个待分析人物的心情指数。
其中，根据所述表情识别结果确定每个待分析人物在预设时间内被同一区域的摄像装置采集人脸图像的总次数N以及每种表情的识别次数Pi；根据所述被采集人脸图像的总次数N和所述每种表情的识别次数Pi计算每个待分析人物的心情指数Uk：
Figure BDA0002223600140000081
其中，Fi为每种表情的预设分数值。
其中，通过表情识别结果和多个待分析人物的人脸图像确定每个待分析人物在预设时间内被同一区域的摄像装置采集并被识别表情的总次数和每种表情被识别的次数，通过对每个待分析人物在预设时间内被识别表情的总次数和每种表情被识别的次数进行加权平均计算得到每个待分析人物的心情指数。
具体实现中，每种表情的预设分数值可以通过预先定义得到，例如：平静：0.5，愤怒：0.1，厌恶：0.1，悲伤：0.2，害怕：0.4，惊讶：0.6，快乐：0.7。通过表情识别结果统计每个待分析人物的预设时间内被识别的总次数和每种表情被识别的次数，例如，顾客A预设时间内被同一区域的摄像装置采集并识别的总次数为50次，其中，平静30次，愤怒：1次，厌恶：1次，悲伤：0次，害怕：0次，惊讶：4次，快乐：14次；该摄像装置下的心情指数为：
Figure BDA0002223600140000082
可见，本示例中，所述电子设备可以通过设置在同一区域的摄像装置下每个待分析人物识别表情的总次数和每种表情的次数确定每个待分析人物的心情指数，实现了确定不同待分析人物在同一区域的心情指数的差异性，以及对待分析人物的情绪监测的全面性和差异性，提高了构建心情分布热力图的准确性。
在一个可能的示例中，所述表情检测模型包括连接层、分类层和多个卷积层，所述多个卷积层依次串联，所述多个卷积层中的预设卷积层连接所述连接层，所述连接层连接所述分类层，所述将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果，包括：将所述多个待分析人物的人脸图像输入所述预训练的表情检测模型，获取所述多个卷积层中预设的至少一个卷积层所输出的至少一个图像特征值，所述预设的至少一个卷积层用于提取所述多个待分析人物的人脸图像的图像特征值；将所述至少一个图像特征值输入所述连接层，得到融合图像；将所述融合图像输入所述分类层，得到多个表情识别结果。
其中，将所述多个待分析人物的人脸图像输入所述预训练的表情检测模型，可以通过设置在不同区域的多个摄像装置进行连续采集多帧图像，将所述多帧图像输入预训练的表情检测模型；根据所述多帧图像确定出识别最多的一类表情作为表情识别结果，以及保存输入的多帧图像，多帧图像和表情识别结果还可以用于提供给用户确定识别错误最多的一类作为模型样本，对所述表情检测模型进行优化训练。
具体实现中，将获取的多个待分析人物的人脸图像输入所述预训练的表情检测模型，所述预训练的表情检测模型中多个卷积层中每一个卷积层进行图像特征值的提取以及进行可视化输出，且多个卷积层中不同卷积层的输出是不同粒度的图像特征提取，将所述多个卷积层中预设的至少一个卷积层所输出的至少一个图像特征值输入到连接层，得到融合图像，最后将所述融合图像输入分类层，得到多个表情识别结果。例如，如图4所示的表情检测模型，将获取的人脸图像输入所述预训练的表情检测模型，通过Dw5_1,Dw5_2,Dw5_3，Dw5_4,Dw5_5,Dw5_6等卷积层对所述人脸图像进行下采样，将所述预训练的表情检测模型的卷积层Dw5_1,Dw5_3,Dw5_5与Dw5_6层输出的图像特征值Dw5_1_dense，Dw5_3_dense，Dw5_5_dense和Dw6通过连接层进行融合，得到融合图像，再输入全连接(fully connectedlayers，FC)层进行分类，然后通过采用softmaxloss与centerloss得到新的损失函数loss增加各类中心的间距，减小不同表情的类间距离，使分类鲁棒性更好，得到表情识别结果。
在本申请可能的示例中，所述电子设备通过预训练的神经网络模型将至少一个卷积层所输出的至少一个图像特征值进行融合、分类；确保了有丰富的特征输入，提高了表情识别结果的效果和准确度。
在一个可能的示例中，所述根据所述心情综合分布指数生成心情热力图之后，还包括：分析所述心情热力图；当检测到异常情况时，输出汇报提醒，所述异常情况是指所述心情综合分布指数低于预设综合分布指数阈值。
其中，根据实时获取的心情热力图进行分析，当所述心情综合分布指数低于预设综合分布指数阈值时，确定该区域的待分析人物的心情处于异常情况，输出异常汇报提醒，所述汇报提醒包括声音提示、图标的颜色、亮度提示等。
在本申请可能的示例中，所述电子设备通过实时获取和分析心情热力图，监控所述心情热力图的异常情况，输出汇报提醒，以便于能够对异常情况进行及时反馈，提升运营管理效率。
与上述图2所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种心情指数分析方法的流程示意图，应用于如图1所述的电子设备，如图所示，本心情指数分析方法包括：
S501，电子设备通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；
S502，所述电子设备将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；
S503，所述电子设备根据所述表情识别结果确定所述不同区域的多个摄像装置的每个摄像装置下的心情指数；
S504，所述电子设备获取不同区域的每个摄像装置下的预设权值，所述预设权值根据不同区域进行设置；
S505，所述电子设备根据所述每个摄像装置下的心情指数和每个摄像装置的预设权值计算得到心情综合分布指数；
S506，所述电子设备根据所述心情综合分布指数生成心情热力图。
可以看出，本申请实施例中，电子设备能够首先通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；然后将多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；其次根据多个表情识别结果确定心情综合分布指数；最后根据心情综合分布指数生成心情热力图，实现了对待分析人物的情绪监测的全面性，提高了构建心情分布热力图的准确性。
此外，所述电子设备能够根据不同区域的表情识别结果得到每个摄像装置的心情指数，进而根据每个摄像装置的预设权值确定心情综合分布指数，实现了对待分析人物的情绪监测的全面性和构建心情分布热力图的准确性。
与上述图2、图5所示的实施例一致的，请参阅图6，图6是本申请实施例提供的一种电子设备600的结构示意图，如图所示，所述电子设备600包括应用处理器610、存储器620、通信接口630以及一个或多个程序621，其中，所述一个或多个程序621被存储在上述存储器620中，并且被配置由上述应用处理器610执行，所述一个或多个程序621包括用于执行以下步骤的指令；
通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；
将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；
根据所述多个表情识别结果确定心情综合分布指数；
根据所述心情综合分布指数生成心情热力图。
可以看出，本申请实施例中，电子设备能够首先通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；然后将多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；其次根据多个表情识别结果确定心情综合分布指数；最后根据心情综合分布指数生成心情热力图，实现了对待分析人物的情绪监测的全面性，提高了构建心情分布热力图的准确性。
在一个可能的示例中，在所述根据所述多个表情识别结果确定心情综合分布指数方面，所述程序中的指令具体用于执行以下操作：根据所述表情识别结果确定所述不同区域的多个摄像装置的每个摄像装置下的心情指数；获取不同区域的每个摄像装置下的预设权值；根据所述每个摄像装置下的心情指数和所述每个摄像装置的预设权值计算得到心情综合分布指数。
在一个可能的示例中，在所述根据所述表情识别结果确定所述不同区域的多个摄像装置的每个摄像装置下的心情指数方面，所述程序中的指令具体用于执行以下操作：根据所述表情识别结果确定每台摄像装置预设时间内采集人脸图像的总次数以及每种表情的识别次数；根据所述采集人脸图像的总次数和所述每种表情的识别次数计算得到每个摄像装置下的心情指数。
在一个可能的示例中，在所述根据所述多个表情识别结果确定心情综合分布指数方面，所述程序中的指令具体用于执行以下操作：根据所述表情识别结果确定每个待分析人物的心情指数；获取不同区域每个待分析人物的预设权值，所述预设权值为根据人物属性进行设置的；根据所述每个待分析人物的心情指数和所述每个待分析人物的预设权值计算得到心情综合分布指数。
在一个可能的示例中，在所述根据所述表情识别结果确定每个待分析人物的心情指数Uk方面，所述程序中的指令具体用于执行以下操作：根据所述表情识别结果确定每个待分析人物在预设时间内被同一区域的摄像装置采集人脸图像的总次数以及每种表情的识别次数；根据所述被采集人脸图像的总次数和所述每种表情的识别次数计算得到每个待分析人物的心情指数。
在一个可能的示例中，在所述将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果方面，所述程序中的指令具体用于执行以下操作：将所述多个待分析人物的人脸图像输入所述预训练的表情检测模型，获取所述多个卷积层中预设的至少一个卷积层所输出的至少一个图像特征值，所述预设的至少一个卷积层用于提取所述多个待分析人物的人脸图像的图像特征值；将所述至少一个图像特征值输入所述连接层，得到融合图像；将所述融合图像输入所述分类层，得到多个表情识别结果。
在一个可能的示例中，所述程序还包括用于执行以下操作的指令：在所述根据所述心情综合分布指数生成心情热力图之后，分析所述心情热力图；当检测到异常情况时，输出汇报提醒，所述异常情况是指所述心情综合分布指数低于预设综合分布指数阈值。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图7是本申请实施例中所涉及的心情指数分析装置700的功能单元组成框图。该心情指数分析装置700应用于电子设备，所述心情指数分析装置包括处理单元701和通信单元702，其中，
所述处理单元701，用于通过所述通信单元702通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；以及将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到表情识别结果；以及根据所述表情识别结果确定心情综合分布指数；以及根据所述心情综合分布指数生成心情热力图。
其中，所述心情指数分析装置700还可以包括存储单元703，用于存储电子设备的程序代码和数据。所述处理单元701可以是处理器，所述通信单元702可以是内部通信接口，存储单元703可以是存储器。
可以看出，本申请实施例中，电子设备能够首先通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；然后将多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；其次根据多个表情识别结果确定心情综合分布指数；最后根据心情综合分布指数生成心情热力图，实现了对待分析人物的情绪监测的全面性，提高了构建心情分布热力图的准确性。
在一个可能的示例中，在所述根据所述多个表情识别结果确定心情综合分布指数方面，所述处理单元701具体用于：根据所述表情识别结果确定所述不同区域的多个摄像装置的每个摄像装置下的心情指数；获取不同区域的每个摄像装置下的预设权值；根据所述每个摄像装置下的心情指数和所述每个摄像装置的预设权值计算得到心情综合分布指数。
在一个可能的示例中，在所述根据所述表情识别结果确定所述不同区域的多个摄像装置的每个摄像装置下的心情指数方面，所述处理单元701具体用于：根据所述表情识别结果确定每台摄像装置在预设时间内采集人脸图像的总次数以及每种表情的识别次数；根据所述采集人脸图像的总次数和所述每种表情的识别次数计算得到每个摄像装置下的心情指数。
在一个可能的示例中，在所述根据所述多个表情识别结果确定心情综合分布指数方面，所述处理单元701具体用于：根据所述表情识别结果确定每个待分析人物的心情指数；获取不同区域每个待分析人物的预设权值，所述预设权值为根据人物属性进行设置的；根据所述每个待分析人物的心情指数和所述每个待分析人物的预设权值计算得到心情综合分布指数。
在一个可能的示例中，在所述根据所述表情识别结果确定每个待分析人物的心情指数方面，所述处理单元701具体用于：根据所述表情识别结果确定每个待分析人物在预设时间内被同一区域的摄像装置采集人脸图像的总次数以及每种表情的识别次数；根据所述被采集人脸图像的总次数和所述每种表情的识别次数计算得到每个待分析人物的心情指数。
在一个可能的示例中，在所述将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果方面，所述处理单元701具体用于：将所述多个待分析人物的人脸图像输入所述预训练的表情检测模型，获取所述多个卷积层中预设的至少一个卷积层所输出的至少一个图像特征值，所述预设的至少一个卷积层用于提取所述多个待分析人物的人脸图像的图像特征值；将所述至少一个图像特征值输入所述连接层，得到融合图像；将所述融合图像输入所述分类层，得到多个表情识别结果。
在一个可能的示例中，所述处理单元701所述根据所述心情综合分布指数生成心情热力图之后，还用于：分析所述心情热力图；当检测到异常情况时，输出汇报提醒，所述异常情况是指所述心情综合分布指数低于预设综合分布指数阈值。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种心情指数分析方法，其特征在于，包括：
通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；
将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；
根据所述多个表情识别结果确定心情综合分布指数；
根据所述心情综合分布指数生成心情热力图；
其中，
所述根据所述多个表情识别结果确定心情综合分布指数，包括：
根据所述表情识别结果确定每个待分析人物的心情指数；
获取不同区域每个待分析人物的预设权值，所述预设权值为根据人物属性进行设置的；
根据所述每个待分析人物的心情指数和所述每个待分析人物的预设权值计算得到心情综合分布指数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述表情识别结果确定每个待分析人物的心情指数，包括：
根据所述表情识别结果确定每个待分析人物在预设时间内被同一区域的摄像装置采集人脸图像的总次数以及每种表情的识别次数；
根据所述被采集人脸图像的总次数和所述每种表情的识别次数计算得到每个待分析人物的心情指数。
3.根据权利要求1所述的方法，其特征在于，所述表情检测模型包括连接层、分类层和多个卷积层，所述多个卷积层依次串联，所述多个卷积层中的预设的至少一个卷积层连接所述连接层，所述连接层连接所述分类层，所述将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果，包括：
将所述多个待分析人物的人脸图像输入所述预训练的表情检测模型，获取所述多个卷积层中预设的至少一个卷积层所输出的至少一个图像特征值，所述预设的至少一个卷积层用于提取所述多个待分析人物的人脸图像的图像特征值；
将所述至少一个图像特征值输入所述连接层，得到融合图像；
将所述融合图像输入所述分类层，得到多个表情识别结果。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述心情综合分布指数生成心情热力图之后，还包括：
分析所述心情热力图；
当检测到异常情况时，输出汇报提醒，所述异常情况是指所述心情综合分布指数低于预设综合分布指数阈值。
5.一种心情指数分析装置，其特征在于，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元通过设置在不同区域的多个摄像装置采集多个待分析人物的人脸图像；以及将所述多个待分析人物的人脸图像输入预训练的表情检测模型，得到多个表情识别结果；以及根据所述多个表情识别结果确定心情综合分布指数；以及根据所述心情综合分布指数生成心情热力图；
其中，
所述根据所述多个表情识别结果确定心情综合分布指数，包括：
根据所述表情识别结果确定每个待分析人物的心情指数；
获取不同区域每个待分析人物的预设权值，所述预设权值为根据人物属性进行设置的；
根据所述每个待分析人物的心情指数和所述每个待分析人物的预设权值计算得到心情综合分布指数。
6.一种电子设备，其特征在于，包括处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-4任一项所述的方法中的步骤的指令。
7.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-4任一项所述的方法。
CN201910947580.8A 2019-09-30 2019-09-30 一种心情指数分析方法及相关装置 Active CN110796020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910947580.8A CN110796020B (zh) 2019-09-30 2019-09-30 一种心情指数分析方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910947580.8A CN110796020B (zh) 2019-09-30 2019-09-30 一种心情指数分析方法及相关装置

Publications (2)

Publication Number Publication Date
CN110796020A CN110796020A (zh) 2020-02-14
CN110796020B true CN110796020B (zh) 2022-03-25

Family

ID=69438803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910947580.8A Active CN110796020B (zh) 2019-09-30 2019-09-30 一种心情指数分析方法及相关装置

Country Status (1)

Country Link
CN (1) CN110796020B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
WO2018060993A1 (en) * 2016-09-27 2018-04-05 Faception Ltd. Method and system for personality-weighted emotion analysis
CN108509941A (zh) * 2018-04-20 2018-09-07 北京京东金融科技控股有限公司 情绪信息生成方法和装置
CN108563978A (zh) * 2017-12-18 2018-09-21 深圳英飞拓科技股份有限公司 一种情绪检测方法与装置
CN108710858A (zh) * 2018-05-22 2018-10-26 中国计量大学 一种基于表情识别的城市幸福指数动态热力图生成方法
CN109002766A (zh) * 2018-06-22 2018-12-14 北京邮电大学 一种表情识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018060993A1 (en) * 2016-09-27 2018-04-05 Faception Ltd. Method and system for personality-weighted emotion analysis
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
CN108563978A (zh) * 2017-12-18 2018-09-21 深圳英飞拓科技股份有限公司 一种情绪检测方法与装置
CN108509941A (zh) * 2018-04-20 2018-09-07 北京京东金融科技控股有限公司 情绪信息生成方法和装置
CN108710858A (zh) * 2018-05-22 2018-10-26 中国计量大学 一种基于表情识别的城市幸福指数动态热力图生成方法
CN109002766A (zh) * 2018-06-22 2018-12-14 北京邮电大学 一种表情识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Who are happier? Spatio-temporal Analysis of Worldwide Human Emotion Based on Geo-Crowdsourcing Faces;Yuhao Kang，et al.;《2018 Ubiquitous Positioning, Indoor Navigation and Location-Based Services (UPINLBS)》;20181206;第II节第C部分 *

Also Published As

Publication number Publication date
CN110796020A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN109816441B (zh) 策略推送方法、系统及相关装置
CN108898579A (zh) 一种图像清晰度识别方法、装置和存储介质
CN111212303B (zh) 视频推荐方法、服务器和计算机可读存储介质
US20180268458A1 (en) Automated recommendation and virtualization systems and methods for e-commerce
CN106604066B (zh) 改进的视频app中个性化推荐方法及系统
CN108292425A (zh) 自动引导的图像捕获和展示
CN107578453A (zh) 压缩图像处理方法、装置、电子设备及计算机可读介质
CN106604051A (zh) 直播频道推荐方法及装置
CN109242555B (zh) 基于语音的广告播放方法及相关产品
CN114419509B (zh) 一种多模态情感分析方法、装置及电子设备
CN110366043A (zh) 视频处理方法、装置、电子设备及可读介质
CN111182367A (zh) 一种视频的生成方法、装置及计算机系统
CN111339420A (zh) 图像处理方法、装置、电子设备及存储介质
CN113748439A (zh) 电影的成功商数的预测
US11295117B2 (en) Facial modelling and matching systems and methods
CN106294361B (zh) 信息提供方法以及信息提供系统
CN110796020B (zh) 一种心情指数分析方法及相关装置
CN112837108A (zh) 信息处理方法、装置及电子设备
JP2003330941A (ja) 類似画像分類装置
CN108694171B (zh) 信息推送的方法及装置
CN115438246A (zh) 内容评测方法、装置、存储介质以及电子设备
CN110620877B (zh) 位置信息生成方法、装置、终端及计算机可读存储介质
CN114677190A (zh) 视觉素材的处理方法、装置和系统、计算机终端
Chen et al. Aesthetic quality inference for online fashion shopping
CN111291259A (zh) 一种数据筛选方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant