CN111414506A - 基于人工智能情绪处理方法、装置、电子设备及存储介质 - Google Patents

基于人工智能情绪处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111414506A
CN111414506A CN202010176452.0A CN202010176452A CN111414506A CN 111414506 A CN111414506 A CN 111414506A CN 202010176452 A CN202010176452 A CN 202010176452A CN 111414506 A CN111414506 A CN 111414506A
Authority
CN
China
Prior art keywords
emotion
data
user
target
time node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010176452.0A
Other languages
English (en)
Other versions
CN111414506B (zh
Inventor
黄其亮
栾磊
朱建儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010176452.0A priority Critical patent/CN111414506B/zh
Publication of CN111414506A publication Critical patent/CN111414506A/zh
Application granted granted Critical
Publication of CN111414506B publication Critical patent/CN111414506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种基于人工智能的情绪处理方法、装置、电子设备及计算机可读存储介质,涉及人工智能领域。该方法包括:当终端接收到展示目标文件的展示指令时,从预设的服务器获取目标文件和对应的情绪可视化图像;展示目标文件和情绪可视化图像,并采集得到用户在当前时间节点的第一情绪数据;将第一情绪数据发送至服务器;接收目标情绪数据,并基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像;展示更新后的情绪可视化图像。本申请实现了用户可以根据情绪可视化图像来判断文件内容的情绪倾向,让用户对文件的内容有更明确、精细的预期,提升了用户的体验。

Description

基于人工智能情绪处理方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域,具体而言,本申请涉及一种基于人工智能的情绪处理方法、装置、电子设备及计算机可读存储介质。
背景技术
用户在消费信息内容时(包括但不仅限于视频、文章、图集、音频等),点赞/踩是常用的表态互动操作方式。目前常见的互动是针对内容整体产生的情绪来操作反馈的,现有的互动方案如下:
1)对内容的互动(赞/踩)是单一并且整体内容的表达,如图1所示;
2)包含了喜欢/生气/哭泣等多选项的互动方式带来的用户操作步骤也更为复杂,需要手动选取对应的情绪互动类型来发布互动,如图2所示。
现有方案缺点包括:用户消费内容时,对于长内容(一段视频、图集、音频等)的情绪表态较为单一,而且,在有多选项的互动操作时需要选择互动类型,操作较为繁琐,用户体验较差。
发明内容
本申请提供了一种基于人工智能的情绪处理的方法、装置、电子设备及计算机可读存储介质,可以解决用户消费内容时,对于长内容的情绪表态较为单一,而且,在有多选项的互动操作时需要选择互动类型,操作较为繁琐,用户体验较差的问题。所述技术方案如下:
一方面,提供了一种基于人工智能的情绪处理的方法,应用于终端,该方法包括:
当接收到目标文件的展示指令时,获取所述目标文件和对应的情绪可视化图像;
展示所述目标文件和所述情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,所述第一情绪数据用于更新所述情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据;
基于所述目标情绪数据对所述情绪可视化图像进行更新,得到更新后的情绪可视化图像;
展示所述更新后的情绪可视化图像。
优选地,还包括:
从预设的情绪标识库中确定出与所述第一情绪数据匹配的目标情绪标识;
当满足展示所述目标情绪标识的预设条件时,展示所述目标情绪标识。
优选地,所述当满足展示所述目标情绪标识的预设条件时,展示所述目标情绪标识,包括:
当接收到用户触发的针对所述目标情绪标识的确认指令时,展示所述目标情绪标识,并建立所述目标情绪标识与第一时间节点的第一关联关系;其中,所述第一时间节点为接收到所述确认指令的时间节点。
优选地,所述当满足展示所述目标情绪标识的预设条件时,展示所述目标情绪标识的步骤包括:
若所述第一情绪数据超过预设的情绪数据阈值,则展示所述目标情绪标识,并建立所述目标情绪标识与第二时间节点的第二关联关系;其中,所述第二时间节点为展示所述目标情绪标识的时间节点。
优选地,所述采集用户在当前时间节点的第一情绪数据,包括:
通过所述终端中的图像采集设备获取所述用户的人脸数据,基于所述人脸数据得到所述用户的第一情绪数据;或
通过所述终端中的音频采集设备获取所述用户的音频数据,基于所述音频数据得到所述用户的第一情绪数据。
优选地,所述基于所述目标情绪数据对所述情绪可视化图像进行更新,得到更新后的情绪可视化图像,包括:
利用所述目标情绪数据替换所述情绪可视化图像中当前时间节点的原始情绪数据;
依据所述目标情绪数据生成更新后的情绪可视化图像。
另一方面,提供了一种基于人工智能的情绪处理的方法,应用于服务器,包括:
当接收获取目标文件和对应的情绪可视化图像的获取指令时,将所述目标文件的文件数据和所述情绪可视化图像的情绪相关数据发送至终端;
当接收到所述终端发送的用户情绪数据时,基于所述用户情绪数据对情绪可视化图像中当前时间节点的情绪数据进行更新,得到当前时间节点更新后的目标情绪数据;
将所述目标情绪数据发送至所述终端。
优选地,所述情绪可视化图像通过如下方式生成:
获取所述目标文件的至少一个历史浏览用户的用户数据;
基于各个用户数据生成所述情绪可视化图像。
优选地,所述用户数据包括用户的情绪数据;
所述基于各个用户数据生成所述情绪可视化图像,包括:
基于各个情绪数据计算得到所述目标文件各个时间节点的平均情绪数据;其中,所述情绪数据和所述平均情绪数据包括情绪类别和情绪强弱等级;
基于各个时间节点的平均情绪数据生成情绪可视化图像。
优选地,所述用户数据包括用户的情绪数据和用户标识,用户标识具有对应的权重值;
所述基于各个用户数据生成所述情绪可视化图像,包括:
基于各个情绪数据和各自对应的权重值计算得到所述目标文件各个时间节点的平均情绪数据;
基于各个时间节点的第二平均情绪数据生成情绪可视化图像。
另一方面,提供了一种基于人工智能的情绪处理的装置,应用于终端,该装置包括:
第一接收模块,用于接收目标文件的展示指令;
第一获取模块,用于获取所述目标文件和对应的情绪可视化图像;
展示模块,用于展示所述目标文件和所述情绪可视化图像;
采集模块,用于采集用户在当前时间节点的第一情绪数据,所述第一情绪数据用于更新所述情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据;
第一更新模块,用于基于所述目标情绪数据对所述情绪可视化图像进行更新,得到更新后的情绪可视化图像;
所述展示模块,还用于展示所述更新后的情绪可视化图像。
优选地,还包括:
匹配模块,用于从预设的情绪标识库中确定出与所述第一情绪数据匹配的目标情绪标识;
所述展示模块,还用于当满足展示所述目标情绪标识的预设条件时,展示所述目标情绪标识。
优选地,所述展示模块包括:
展示子模块,用于当接收到用户触发的针对所述目标情绪标识的确认指令时,展示所述目标情绪标识;
关联关系建立子模块,用于建立所述目标情绪标识与第一时间节点的第一关联关系;其中,所述第一时间节点为接收到所述确认指令的时间节点。
优选地,所述展示模块包括:
所述展示子模块,还用于若所述第一情绪数据超过预设的情绪数据阈值,则展示所述目标情绪标识;
所述关联关系建立子模块,还用于建立所述目标情绪标识与第二时间节点的第二关联关系;其中,所述第二时间节点为展示所述目标情绪标识的时间节点。
优选地,所述采集模块包括:
获取子模块,用于通过所述终端中的图像采集设备获取所述用户的人脸数据;
第一生成子模块,用于基于所述人脸数据得到所述用户的第一情绪数据;或
所述获取子模块,还用于通过所述终端中的音频采集设备获取所述用户的音频数据;
所述第一生成子模块,还用于基于所述音频数据得到所述用户的第一情绪数据。
优选地,所述第一更新模块包括:
替换子模块,用于利用所述目标情绪数据替换所述情绪可视化图像中当前时间节点的原始情绪数据;
更新子模块,用于依据所述目标情绪数据生成更新后的情绪可视化图像。
另一方面,提供了一种基于人工智能的情绪处理的装置,应用于终端,该装置包括:
第二接收模块,用于接收获取目标文件和对应的情绪可视化图像的获取指令;
第二发送模块,用于将所述目标文件的文件数据和所述情绪可视化图像的情绪相关数据发送至终端;
所述第二接收模块,还用于接收所述终端发送的用户情绪数据;
第二更新模块,用于基于所述用户情绪数据对情绪可视化图像中当前时间节点的情绪数据进行更新,得到当前时间节点更新后的目标情绪数据;
所述第二发送模块,用于将所述目标情绪数据发送至所述终端。
优选地,还包括:
第二获取模块,用于获取所述目标文件的至少一个历史浏览用户的用户数据;
生成模块,用于基于各个用户数据生成所述情绪可视化图像。
优选地,所述用户数据包括用户情绪数据;
所述生成模块包括:
计算子模块,用于基于各个情绪数据计算得到所述目标文件各个时间节点的平均情绪数据;其中,所述情绪数据和所述平均情绪数据包括情绪类别和情绪强弱等级;
第二生成子模块,用于基于各个时间节点的平均情绪数据生成情绪可视化图像。
优选地,所述用户数据包括用户的情绪数据和用户标识,用户标识具有对应的权重值;
所述生成模块还用于:
所述计算子模块,还用于基于各个情绪数据和各自对应的权重值计算得到所述目标文件各个时间节点的平均情绪数据;
所述第二生成子模块,还用于基于各个时间节点的平均情绪数据生成情绪可视化图像。
另一方面,提供了一种电子设备,该电子设备包括:
处理器、存储器和总线;
所述总线,用于连接所述处理器和所述存储器;
所述存储器,用于存储操作指令;
所述处理器,用于通过调用所述操作指令,可执行指令使处理器执行如本申请的第一方面所示的基于人工智能的情绪处理的方法对应的操作。
另一方面,提供了一种电子设备,该电子设备包括:
处理器、存储器和总线;
所述总线,用于连接所述处理器和所述存储器;
所述存储器,用于存储操作指令;
所述处理器,用于通过调用所述操作指令,可执行指令使处理器执行如本申请的第二方面所示的基于人工智能的情绪处理的方法对应的操作。
另一方面,提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现本申请第一方面所示的基于人工智能的情绪处理的方法。
另一方面,提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现本申请第二方面所示的基于人工智能的情绪处理的方法。
本申请提供的技术方案带来的有益效果是:
在本发明实施例中,当终端接收到目标文件的展示指令时,获取所述目标文件和对应的情绪可视化图像,然后展示所述目标文件和所述情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,所述第一情绪数据用于更新所述情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据,再基于所述目标情绪数据对所述情绪可视化图像进行更新,得到更新后的情绪可视化图像,并展示所述更新后的情绪可视化图像。这样,展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,终端还可以根据采集到的情绪数据,利用情绪检测系统智能匹配适合用户当前情绪的互动类型,符合当前场景情绪的互动,不仅减少了用户互动时的操作,让用户更愿意互动,而且也提升互动频率,丰富了用户对单个内容的互动场景,提升用户的互动体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为现有技术用户与信息内容互动的效果图一;
图2为现有技术用户与信息内容互动的效果图二;
图3为本申请一实施例提供的应用于终端的一种基于人工智能的情绪处理方法的流程示意图;
图4为本申请又一实施例提供的应用于终端的一种基于人工智能的情绪处理方法的流程示意图;
图5A为本申请中情绪类别的分类示意图和情绪标识示意图;
图5B为本申请中情绪可视化图像的示例之一—情绪曲线图;
图6为本申请中视频播放时展示可视化图像的效果图;
图7A~7B为本申请中视频播放时用户与视频的互动效果图;
图8为本申请中用户自定义情绪标识的效果图;
图9为本申请又一实施例提供的应用于服务器的一种基于人工智能的情绪处理方法的流程示意图;
图10为本申请又一实施例提供的应用于终端的一种基于人工智能的情绪处理装置的结构示意图;
图11为本申请又一实施例提供的应用于服务器的一种基于人工智能的情绪处理装置的结构示意图;
图12为本申请又一实施例提供的一种基于人工智能的情绪处理的电子设备的结构示意图;
图13为本申请另一实施例提供的一种基于人工智能的情绪处理的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
情绪检测系统:基于AI人工智能原创技术和专利算法,综合了心里学、生物生理学、机器视觉、深度学习等技术,以非接触的方法获取人不可主观控制的生理心理指标,并结合微表情、微动作等信息,识别并量化人的心理情绪。
表态互动操作:用户在消费信息内容(比如视频、音频、网页等)时候,对信息内容的表态互动操作,例如:点赞、踩、开心、惊讶、生气、难过、恐惧等。
情绪可视化模型:数据可视化是人类对一切量化信息的直觉展示,情绪被近似地量化并生成可视化数据,即情绪可视化模型。
本申请提供的基于人工智能的情绪处理方法、装置、电子设备和计算机可读存储介质,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
在一个实施例中提供了一种基于人工智能的情绪处理的方法,如图3所示,应用于终端,该方法包括:
步骤S301,当接收到目标文件的展示指令时,获取目标文件和对应的情绪可视化图像;
具体而言,终端中可以安装多媒体类型的APP(Application,应用程序),比如视频播放器、音频播放器、浏览器等任何可以播放视频、音频或其他可视化图像的多媒体文件的APP,APP中可以展示一个或多个的多媒体文件,用户可以选择一个多媒体文件进行展示,比如播放某个视频文件、音频文件,或者打开某个网页等。其中,用户可以通过点击或通过语音等形式选择目标文件并发起展示该文件的展示指令,当终端接收到该展示指令后,可以向预设的服务器发起获取该目标文件和该目标文件对应的情绪可视化图像的获取请求,服务器接收到获取请求后,将目标文件和对应的情绪可视化图像发送给终端即可。
进一步,情绪可视化图像是将浏览过同一目标文件的所有用户的情绪数据进行平均值计算,得到该目标文件的各个时间节点的情绪平均值,再将各个时间节点的情绪平均值采用情绪可视化模型生成。其中,情绪可视化图像可以是曲线图、面积图、散点图或其他任何可以表示情绪起伏的图形等等。
步骤S302,展示目标文件和情绪可视化图像,并采集得到用户在当前时间节点的第一情绪数据,第一情绪数据用于更新情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据;
终端在接收到服务器发送的目标文件和对应的情绪可视化图像后,在显示设备上展示目标文件和对应的情绪可视化图像即可,同时,终端开始实时采集用户观看目标文件的过程中的情绪数据。
终端获取到用户的情绪数据后,可以将情绪数据发送至服务器,服务器采用该情绪数据来更新情绪可视化图像中当前时间节点的原始情绪数据,从而得到当前时间节点更新后的目标情绪数据,然后将当前时间节点的目标情绪数据发送至终端。
步骤S303,基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像;
终端在接收到目标情绪数据后,即可用目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像,并展示更新后的情绪可视化图像。
步骤S304,展示更新后的情绪可视化图像。
终端在得到更新后的情绪可视化图像之后,展示更新后的情绪可视化图像即可。而且,由于目标文件在全部展示完成之前,终端会实时采集用户的情绪数据,所以,终端展示的情绪可视化图像中已展示文件的部分对应的情绪可视化图像也是在实时更新的。
在本发明实施例中,当终端接收到目标文件的展示指令时,获取目标文件和对应的情绪可视化图像,然后展示目标文件和情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,第一情绪数据用于更新情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据,再基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像,并展示更新后的情绪可视化图像。这样,展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,终端还可以根据采集到的情绪数据,利用情绪检测系统智能匹配适合用户当前情绪的互动类型,符合当前场景情绪的互动,不仅减少了用户互动时的操作,让用户更愿意互动,而且也提升互动频率,丰富了用户对单个内容的互动场景,提升用户的互动体验。
在另一个实施例中提供了一种基于人工智能的情绪处理的方法,如图4所示,应用于终端,该终端可以具有如下特点:
(1)在硬件体系上,设备具备中央处理器、存储器、输入部件和输出部件,也就是说,设备往往是具备通信功能的微型计算机设备。另外,还可以具有多种输入方式,诸如键盘、鼠标、触摸屏、送话器和摄像头等,并可以根据需要进行调整输入。同时,设备往往具有多种输出方式,如受话器、显示屏等,也可以根据需要进行调整;
(2)在软件体系上,设备必须具备操作系统,如Windows Mobile、Symbian、Palm、Android、iOS等。同时,这些操作系统越来越开放,基于这些开放的操作系统平台开发的个性化应用程序层出不穷,如通信簿、日程表、记事本、计算器以及各类游戏等,极大程度地满足了个性化用户的需求;
(3)在通信能力上,设备具有灵活的接入方式和高带宽通信性能,并且能根据所选择的业务和所处的环境,自动调整所选的通信方式,从而方便用户使用。设备可以支持GSM(Global System for Mobile Communication,全球移动通信系统)、WCDMA(Wideband CodeDivision Multiple Access,宽带码分多址)、CDMA2000(Code Division MultipleAccess,码分多址)、TDSCDMA(Time Division-Synchronous Code Division MultipleAccess,时分同步码分多址)、Wi-Fi(Wireless-Fidelity,无线保真)以及WiMAX(WorldwideInteroperability for Microwave Access,全球微波互联接入)等,从而适应多种制式网络,不仅支持语音业务,更支持多种无线数据业务;
(4)在功能使用上,设备更加注重人性化、个性化和多功能化。随着计算机技术的发展,设备从“以设备为中心”的模式进入“以人为中心”的模式,集成了嵌入式计算、控制技术、人工智能技术以及生物认证技术等,充分体现了以人为本的宗旨。由于软件技术的发展,设备可以根据个人需求调整设置,更加个性化。同时,设备本身集成了众多软件和硬件,功能也越来越强大。
进一步,该方法包括:
步骤S401,当接收到目标文件的展示指令时,获取目标文件和对应的情绪可视化图像;
具体而言,终端中可以安装多媒体类型的APP,比如视频播放器、音频播放器、浏览器等,APP中可以展示一个或多个的多媒体文件,用户可以选择一个多媒体文件进行展示,比如播放某个视频文件、音频文件,或者打开某个网页等。其中,用户可以通过点击或通过语音等形式选择目标文件并发起展示该文件的展示指令,当终端接收到该展示指令后,可以向预设的服务器发起获取该目标文件和该目标文件对应的情绪可视化图像的获取请求,服务器接收到获取请求后,将目标文件和对应的情绪可视化图像发送给终端即可。
其中,服务器可以是计算机的一种,它比普通计算机运行更快、负载更高。服务器在网络中为其它终端(如PC机、智能手机、ATM、电视机、可穿戴设备、头戴设备等终端甚至是火车系统等大型设备)提供计算或者应用服务。服务器具有高速的CPU运算能力、长时间的可靠运行、强大的I/O外部数据吞吐能力以及更好的扩展性。根据服务器所提供的服务,一般来说服务器都具备承担响应服务请求、承担服务、保障服务的能力。服务器作为电子设备,其内部的结构十分的复杂,但与普通的计算机内部结构相差不大,如:CPU、硬盘、内存,系统、系统总线等,具体可参考上述的终端。
进一步,情绪可视化图像是将浏览过同一目标文件的所有用户的情绪数据进行平均值计算,得到该目标文件的各个时间节点的情绪平均值,再将各个时间节点的情绪平均值采用情绪可视化模型生成情绪可视化图像。其中,情绪可视化图像可以是曲线图、面积图、散点图等等。
在本发明实施例中,以曲线图为例进行详细说明。具体地,可以把人类基础情绪类型(开心、惊讶、生气、难过、惊恐)定义成色盘中对应的色值,比如深红色表示生气,绿色表示开心,黄色表示难过等等,把情绪强弱评级成0~4(0=完全无情绪,1=介于无情绪和有情绪之间,2=弱情绪,3=一般情绪,4=情绪强烈),情绪越激烈对应的数值就越高,得到情绪数据,如图5A所示。这些情绪数据在终端以可视化图形展现,如图5B所示的曲线图为例:竖轴是情绪的强弱,横轴是不同时间段的不同情绪类型变化,最后生成所有用户浏览目标文件的过程中的情绪曲线图。因此,每个多媒体文件都具有一一对应的情绪曲线图。
步骤S402,展示目标文件和情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,所第一情绪数据用于更新情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据;
终端在接收到服务器发送的目标文件和对应的情绪可视化图像后,在显示设备上展示目标文件和对应的情绪可视化图像即可,同时,终端开始实时采集用户观看目标文件的过程中的情绪数据。
在本发明一种优选实施例中,采集用户在当前时间节点的第一情绪数据,包括:
通过终端中的图像采集设备获取用户的人脸数据,基于所述人脸数据得到所述用户的第一情绪数据;或
通过终端中的音频采集设备获取用户的音频数据,基于音频数据得到用户的第一情绪数据。
具体而言,目标文件在展示的过程中,比如视频播放的过程中,终端可以调用图像采集设备采集用户的人脸数据,然后采用人脸表情识别(facial expressionrecognition,FER)得到用户的情绪数据。
其中,人脸表情识别是人脸识别技术中的一个重要组成部分。面部表情是面部肌肉的一个或多个动作或状态的结果。这些运动表达了个体对观察者的情绪状态。
人类的面部表情至少有21种,除了常见的高兴、吃惊、悲伤、愤怒、厌恶和恐惧6种之外,还有惊喜(高兴+吃惊)、悲愤(悲伤+愤怒)等15种可被区分的复合表情。
表情是人类及其他动物从身体外观投射出的情绪指标,多数指面部肌肉及五官形成的状态,如笑容、怒目等。也包括身体整体表达出的身体语言。一些表情可以准确解释,甚至在不同物种成员之间,愤怒和极端满足是主要的例子。然而,一些表情则难以解释,甚至在熟悉的个体之间,厌恶和恐惧是主要的例子。一般来说,面部各个器官是一个有机整体,协调一致地表达出同一种情感。面部表情是人体(形体)语言的一部分,是一种生理及心理的反应,通常用于传递情感。
除了通过人脸识别得到用户的情绪数据之外,还可以通过声音得到用户的情绪数据。比如,可以通过声音的频率(音高)、强度(音量)、频率的变化(从低到高的音调变化),以及发音率(说话的速度)来识别用户情绪,列举几个例子,这是不同情绪的物理语言特征的例子:
应力:强度和频率的增加;
愤怒:增加强度和频率,频率变化,提高清晰度;
恐惧:增加强度和频率增加,频率范围降低,提高清晰度;
悲伤:强度、频率、频率变化和清晰度;
快乐:增加强度和频率,频率变化,清晰度;
厌倦:降低频率变化和清晰度。
另外,还可以通过肢体动作或者其它方式来识别用户的情绪,从而得到情绪数据,在实际应用中可以根据实际需求进行设置。而且,在识别的过程中,可以采用其中的任意一种方式,也可以采用其中的任意多种方式的结合,在实际应用中也可以根据实际需求进行设置。本申请对上述方式都不作限制。
又或者,可以通过接收用户标记的情绪数据,比如接收用户在各时间节点上输入或选择的表情图片或文字,或者通过对用户评论进行语义识别获得的情绪数据等。
具体地,在视频播放的过程中,用户可以在任一时间节点输入表情图片或文字,与情绪标识同理,表情图片也可以直接进行展示;而用户输入的文字,可以通过自然语言处理的方式对文字进行语义识别,从而得到该文字对应的情绪数据,比如,用户输入的文字为“这只小猫咪太可爱了!!”,通过语义识别,可以确定出用户的情绪数据为“开心”。
进一步,在采集用户的情绪数据时,可以根据时间节点来采集,其中,每个时间节点之间具有一定的时间间隔。比如,每个时间节点之间的时间间隔设置为3秒,那么在实际应用中,就是每隔3秒钟就采集一次用户的情绪数据,例如,终端在播放视频的过程中,在第3:57的时候采集了用户的情绪数据,那么下一次采集用户的情绪数据就是在第4:00的时候了。当然,时间间隔可以根据终端的硬件性能、用户需求等因素进行调整,本申请对此不作限制。
终端获取到用户的情绪数据后,可以将情绪数据发送至服务器,服务器采用该情绪数据来更新情绪可视化图像中当前时间节点的原始情绪数据,从而得到当前时间节点更新后的目标情绪数据,然后将当前时间节点的目标情绪数据发送至终端。
比如,终端采集到了用户在3:57时刻的情绪数据,然后将该情绪数据发送至服务器,服务器将该情绪数据与情绪可视化图像中3:57时刻的原始情绪数据计算平均值,得到3:57时刻的目标情绪数据,然后将该目标情绪数据发送至终端。
步骤S403,基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像;
终端在接收到目标情绪数据后,即可用目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像,并展示更新后的情绪可视化图像。
也就是说,在目标文件展示完成之前,更新后的情绪曲线包括两个部分,两个部分的分界点为目标文件的展示进度,已展示的部分的情绪可视化图像包括基于用户的情绪数据更新后的各个时间节点的目标情绪数据,未展示的部分的情绪可视化图像包括各个时间节点的原始情绪数据。
比如,某个视频文件的时间长度为10:00,用户未观看该视频文件时,该视频文件对应的情绪可视化图像记为A。用户当前观看到了5:48,那么终端会采集用户在0:00~5:48中各个时间节点的情绪数据,然后分别与A中0:00~5:48中各个时间节点的原始情绪数据计算平均值,得到更新后的各个时间节点的目标情绪数据,从而构成了0:00~5:48更新后的情绪可视化图像,记为M,而5:49~10:00的情绪可视化图像仍然是A中5:49~10:00的情绪可视化图像,记为a。因此,当用户打开视频文件时,用户看到的情绪可视化图像为A,当用户观看到了5:48时,用户看到的更新后的情绪可视化图像为M+a。
在本发明一种优选实施例中,基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像的步骤,包括:
利用目标情绪数据替换情绪可视化图像中当前时间节点的原始情绪数据;
依据目标情绪数据生成更新后的情绪可视化图像。
具体而言,目标文件已展示的部分中,针对任一时间节点,终端在采集到该时间节点的用户的情绪数据后,发送给服务器,服务器依据该情绪数据对情绪可视化图像中该时间节点的原始情绪数据进行更新,得后目标情绪数据,并将目标情绪数据发送至终端,终端在接收到目标情绪数据后,将该目标情绪数据替换情绪可视化图像中的原始情绪数据。这样,已展示的部分中各个时间节点的情绪数据都进行了更新,从而得到了已展示的部分的更新后的情绪曲线,进而得到了更新后的情绪可视化图像。
步骤S404,展示更新后的情绪可视化图像;
终端在得到更新后的情绪可视化图像之后,展示更新后的情绪可视化图像即可。而且,由于目标文件在全部展示完成之前,终端会实时采集用户的情绪数据,所以,终端展示的情绪可视化图像中已展示文件的部分对应的情绪可视化图像也是在实时更新的。
例如,如图6所示,当前视频文件正在播放,用户看到的情绪曲线图就是更新后的情绪曲线图,其中,进度条已播放部分对应的情绪曲线图就是M,未播放部分对应的情绪曲线图就是a。
在本发明一种优选实施例中,还包括步骤S405:从预设的情绪标识库中确定出与第一情绪数据匹配的目标情绪标识;以及,步骤S406:当满足展示目标情绪标识的预设条件时,展示目标情绪标识。
在实际应用中,终端获取到用户的情绪数据后,可以从预设的情绪标识库中确定出与该情绪数据匹配的目标情绪标识,比如,如图7A所示,在当前时间节点采集到用户的情绪数据后,从情绪标识库中确定出匹配的目标情绪标识为“生气”,那么就可以在右下角的位置展示“生气”的目标情绪标识。
当满足展示该目标情绪标识的预设条件时,就可以在当前界面中展示该目标情绪标识,并在对应的时间节点进行标记,从而完成表态互动操作。比如,如图7B所示,在已播放的视频文件中,已经完成了两次表态互动操作,一次是“生气”,一次是“难过”(情绪曲线图与视频画面中间的情绪标记)。
需要说明的是,目标情绪标识的位置除了可以是右下角之外,还可以是当前界面中的其它位置,在实际应用中可以根据实际需求进行设置,本申请对此不作限制。同样,展示目标情绪标识、标识目标情绪标识的位置和方式也可以根据实际需求进行设置,本申请对此也不作限制。
在本发明一种优选实施例中,当满足展示目标情绪标识的预设条件时,展示目标情绪标识,包括:
当接收到用户触发的针对目标情绪标识的确认指令时,展示目标情绪标识,并建立目标情绪标识与第一时间节点的第一关联关系;其中,第一时间节点为接收到确认指令的时间节点。
具体而言,终端匹配出目标情绪标识后,用户点击该目标情绪标识即可完成表态互动操作。比如,如图7B所示,当用户点击了右下角的“难过”的目标情绪标识后,即可在当前界面中展示目标情绪标识,同时,建立该目标情绪标识与终端接收到用户点击该目标情绪标识的时间节点的关联关系,并在对应的时间节点进行标记。
在本发明一种优选实施例中,当满足展示目标情绪标识的预设条件时,展示目标情绪标识的步骤包括:
若第一情绪数据超过预设的情绪数据阈值,则展示目标情绪标识,并建立目标情绪标识与第二时间节点的第二关联关系;其中,第二时间节点为展示目标情绪标识的时间节点。
具体而言,终端匹配出目标情绪标识后,还可以判断采集到的情绪数据是否超过了预设的情绪数据阈值,如果是,则自动完成表态互动操作。
比如,预设的情绪数据阈值为“情绪类型:任意;情绪强度:4”,在某个时间节点采集到用户的情绪数据为“开心;4”,那么就自动展示匹配的目标情绪标识,同时,建立该目标情绪标识与展示该目标情绪标识的时间节点的关联关系,并在对应的时间节点进行标记。
在实际应用中,用户可以对情绪标识库进行个性化设置,比如,改变情绪标识。例如,如图8所示,用户将“难过”的情绪标识替换为自己喜欢的情绪标识,这样,在表态互动操作时,展示和标记的情绪标识就是用户喜欢的情绪标识了。
在本发明实施例中,当终端接收到展示目标文件的展示指令时,获取目标文件和对应的情绪可视化图像,然后展示目标文件和情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,第一情绪数据用于更新情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据,再基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像,并展示更新后的情绪可视化图像。这样,展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,终端还可以根据采集到的情绪数据,利用情绪检测系统智能匹配适合用户当前情绪的互动类型,符合当前场景情绪的互动,不仅减少了用户互动时的操作,让用户更愿意互动,而且也提升互动频率,丰富了用户对单个内容的互动场景,提升用户的互动体验。
在另一个实施例中提供了一种基于人工智能的情绪处理的方法,如图9所示,应用于服务器,该方法包括:
步骤S901,当接收获取目标文件和对应的情绪可视化图像的获取指令时,将目标文件的文件数据和情绪可视化图像的情绪相关数据发送至终端;
在实际应用中,任一目标文件被任一用户浏览过(在终端具有采集用户的情绪数据的前提下),都可以获取到该用户浏览该目标文件时在各个时间节点的情绪数据,所以,多个用户浏览过同一目标文件后,服务器中会采用所有用户的情绪数据计算得到该目标文件的情绪可视化图像并保存。当新的用户浏览该目标文件时,服务器即可将该目标文件和对应的情绪可视化图像发送至终端展示给该新的用户。
比如,某个目标文件被99个用户浏览过,那么服务器可以根据99个用户的全部情绪数据计算得到该目标文件各个时间节点对应的各个平均情绪数据,然后基于各个平均情绪数据生成情绪可视化图像,当第100个用户浏览该目标文件时,将该目标文件和情绪可视化图像发送至终端展示给用户。
在本发明一种优选实施例中,情绪可视化图像通过如下方式生成:
获取目标文件的至少一个历史浏览用户的用户数据;
基于各个用户数据生成情绪可视化图像。
在实际应用中,服务器可以一次获取浏览过任一目标文件的至少一个用户的用户数据,然后基于全部的用户数据生成该目标文件对应的情绪可视化图像;也可以采用当前浏览用户的情绪数据实时对情绪可视化图像进行更新,得到更新后的情绪可视化图像,如果目标文件是第一次展示,那么可以依据第一个浏览的用户的情绪数据生成情绪可视化图像。
在本发明一种优选实施例中,用户数据包括用户的情绪数据;
基于各个用户数据生成情绪可视化图像的步骤,包括:
基于各个情绪数据计算得到目标文件各个时间节点的平均情绪数据;其中,情绪数据和平均情绪数据包括情绪类别和情绪强弱等级;
基于各个时间节点的平均情绪数据生成情绪可视化图像。
其中,用户数据可以包括用户的情绪数据,情绪数据包括情绪类型和情绪强弱等级。具体地,当用户数据包括情绪数据时,针对任一时间节点,如果是一次获取多个用户数据,那么服务器采用各个情绪数据计算得到该时间节点的平均情绪数据,然后依据各个时间节点分别对应的平均情绪数据生成情绪可视化图像。
如果是实时对情绪可视化图像进行更新,那么服务器可以采用用户在任一时间节点的情绪数据来更新情绪可视化图像中该时间节点的原始情绪数据,从而得到该时间节点的目标情绪数据,也就是该时间节点的平均情绪数据,然后依据各个时间节点分别对应的平均情绪数据生成更新后的情绪可视化图像。
在本发明一种优选实施例中,用户数据包括用户的情绪数据和用户标识,用户标识具有对应的权重值;
基于各个用户数据生成情绪可视化图像,包括:
基于各个情绪数据和各自对应的权重值计算得到目标文件各个时间节点的平均情绪数据;
基于各个时间节点的平均情绪数据生成情绪可视化图像。
具体而言,用户数据除了可以包括用户的情绪数据之外,还可以包括用户的用户标识,比如影评人、作曲家等等,由于影评人在观看影片时对影片的理解会更加深入,或者作曲家在听聆听乐曲的时候对乐曲的演奏技巧更加了解,所以这种用户的情绪可能比普通用户的情绪更加准确。因此,在生成情绪可视化图像时,可以为不同的用户标识设置不同的权重值,这样,依据具有权重值的各个情绪数据生成的情绪可视化图像会更加准确。
进一步,用户标识可以是通过用户的身份信息确定,用户可以通过身份信息登录APP。
步骤S902,当接收到终端发送的用户情绪数据时,基于用户情绪数据对情绪可视化图像中当前时间节点的原始情绪数据进行更新,得到当前时间节点更新后的目标情绪数据;
步骤S903,将目标情绪数据发送至终端。
具体而言,终端在展示目标文件的时候,可以实时地获取用户的情绪数据,并实时地发送至服务器,服务器采用该情绪数据来更新情绪可视化图像中当前时间节点的原始情绪数据,从而得到当前时间节点更新后的目标情绪数据,然后将当前时间节点的目标情绪数据发送至终端。
在本发明实施例中,当服务器接收获取目标文件和对应的情绪可视化图像的获取指令时,将目标文件的文件数据和情绪可视化图像的情绪相关数据发送至终端;当接收到终端发送的用户情绪数据时,基于用户情绪数据对情绪可视化图像中当前时间节点的原始情绪数据进行更新,得到当前时间节点更新后的目标情绪数据,并将目标情绪数据发送至终端。这样,终端在展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,用户在浏览目标文件的时候,服务器将终端实时采集到的情绪数据实时对情绪可视化图像进行更新,使得用户可以实时看到情绪可视化图像的变化,进一步提升了用户的体验和效率。
图10为本申请又一实施例提供的一种基于人工智能的情绪处理装置的结构示意图,如图10所示,本实施例的装置可以应用于终端,该装置可以包括:
第一接收模块1001,用于接收目标文件的展示指令;
第一获取模块1002,用于获取目标文件和对应的情绪可视化图像;
展示模块1003,用于展示目标文件和情绪可视化图像;
采集模块1004,用于采集用户在当前时间节点的第一情绪数据,第一情绪数据用于更新情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据;
第一更新模块1005,用于基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像;
展示模块,还用于展示更新后的情绪可视化图像。
在本发明一种优选实施例中,还包括:
匹配模块,用于从预设的情绪标识库中确定出与第一情绪数据匹配的目标情绪标识;
展示模块,还用于当满足展示目标情绪标识的预设条件时,展示目标情绪标识。
在本发明一种优选实施例中,展示模块包括:
展示子模块,用于当接收到用户触发的针对目标情绪标识的确认指令时,展示目标情绪标识;
关联关系建立子模块,用于建立目标情绪标识与第一时间节点的第一关联关系;其中,第一时间节点为接收到确认指令的时间节点。
在本发明一种优选实施例中,展示模块包括:
展示子模块,还用于若第一情绪数据超过预设的情绪数据阈值时,则展示目标情绪标识;
关联关系建立子模块,还用于建立目标情绪标识与第二时间节点的第二关联关系;其中,第二时间节点为展示目标情绪标识的时间节点。
在本发明一种优选实施例中,采集模块包括:
获取子模块,用于通过终端中的图像采集设备获取用户的人脸数据;
第一生成子模块,用于基于所述人脸数据得到所述用户的第一情绪数据;或
通过终端中的音频采集设备获取用户的音频数据;
第一生成子模块,还用于基于音频数据得到用户的第一情绪数据。
在本发明一种优选实施例中,第一更新模块包括:
替换子模块,用于利用目标情绪数据替换情绪可视化图像中当前时间节点的原始情绪数据;
更新子模块,用于依据目标情绪数据生成更新后的情绪可视化图像。
本实施例的基于人工智能的情绪处理装置可执行本申请第一个实施例、第二个实施例所示的基于人工智能的情绪处理方法,其实现原理相类似,此处不再赘述。
在本发明实施例中,当终端接收到展示目标文件的展示指令时,获取目标文件和对应的情绪可视化图像,然后展示目标文件和情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,第一情绪数据用于更新情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据再基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像,并展示更新后的情绪可视化图像。这样,展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,终端还可以根据采集到的情绪数据,利用情绪检测系统智能匹配适合用户当前情绪的互动类型,符合当前场景情绪的互动,不仅减少了用户互动时的操作,让用户更愿意互动,而且也提升互动频率,丰富了用户对单个内容的互动场景,提升用户的互动体验。
图11为本申请又一实施例提供的一种基于人工智能的情绪处理装置的结构示意图,如图11所示,本实施例的装置可以应用于服务器,该装置包括:
第二接收模块1101,用于接收获取目标文件和对应的情绪可视化图像的获取指令;
第二发送模块1102,用于将目标文件的文件数据和情绪可视化图像的情绪相关数据发送至终端;
第二接收模块,还用于接收终端发送的用户情绪数据;
第二更新模块1103,用于基于用户情绪数据对情绪可视化图像中当前时间节点的情绪数据进行更新,得到当前时间节点更新后的目标情绪数据;
第二发送模块,用于将目标情绪数据发送至终端。
在本发明一种优选实施例中,还包括:
第二获取模块,用于获取目标文件的至少一个历史浏览用户的用户数据;
生成模块,用于基于各个用户数据生成情绪可视化图像。
在本发明一种优选实施例中,用户数据包括用户的情绪数据;
生成模块包括:
计算子模块,用于基于各个情绪数据计算得到目标文件各个时间节点的平均情绪数据;其中,情绪数据和平均情绪数据包括情绪类别和情绪强弱等级;
第二生成子模块,用于基于各个时间节点的平均情绪数据生成情绪可视化图像。
在本发明一种优选实施例中,用户数据包括用户的情绪数据和用户标识,用户标识具有对应的权重值;
生成模块还用于:
计算子模块,还用于基于各个情绪数据和各自对应的权重值计算得到目标文件各个时间节点的平均情绪数据;
第二生成子模块,还用于基于各个时间节点的平均情绪数据生成情绪可视化图像。
本实施例的基于人工智能的情绪处理装置可执行本申请第三个实施例所示的基于人工智能的情绪处理方法,其实现原理相类似,此处不再赘述。
在本发明实施例中,当服务器接收到获取目标文件和对应的情绪可视化图像的获取指令时,将目标文件的文件数据和情绪可视化图像的情绪相关数据发送至终端;当接收到终端发送的用户情绪数据时,基于用户情绪数据对情绪可视化图像中当前时间节点的情绪数据进行更新,得到当前时间节点更新后的目标情绪数据,并将目标情绪数据发送至终端。这样,终端在展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,用户在浏览目标文件的时候,服务器将终端实时采集到的情绪数据实时对情绪可视化图像进行更新,使得用户可以实时看到情绪可视化图像的变化,进一步提升了用户的体验和效率。
本申请的又一实施例中提供了一种电子设备,该电子设备包括:存储器和处理器;至少一个程序,存储于存储器中,用于被处理器执行时,与现有技术相比可实现:当终端接收到目标文件的展示指令时,获取目标文件和对应的情绪可视化图像,然后展示目标文件和情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,第一情绪数据用于更新情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据,再基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像,并展示更新后的情绪可视化图像。这样,展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,终端还可以根据采集到的情绪数据,利用情绪检测系统智能匹配适合用户当前情绪的互动类型,符合当前场景情绪的互动,不仅减少了用户互动时的操作,让用户更愿意互动,而且也提升互动频率,丰富了用户对单个内容的互动场景,提升用户的互动体验。
在一个可选实施例中提供了一种电子设备,如图12所示,图12所示的电子设备12000包括:处理器12001和存储器12003。其中,处理器12001和存储器12003相连,如通过总线12002相连。可选地,电子设备12000还可以包括收发器12004。需要说明的是,实际应用中收发器12004不限于一个,该电子设备12000的结构并不构成对本申请实施例的限定。
处理器12001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器12001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线12002可包括一通路,在上述组件之间传送信息。总线12002可以是PCI总线或EISA总线等。总线12002可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器12003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器12003用于存储执行本申请方案的应用程序代码,并由处理器12001来控制执行。处理器12001用于执行存储器12003中存储的应用程序代码,以实现前述任一方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
本申请的又一实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。与现有技术相比,当终端接收到展示目标文件的展示指令时,获取目标文件和对应的情绪可视化图像,然后展示目标文件和情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,第一情绪数据用于更新情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据,再基于目标情绪数据对情绪可视化图像进行更新,得到更新后的情绪可视化图像,并展示更新后的情绪可视化图像。这样,展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,终端还可以根据采集到的情绪数据,利用情绪检测系统智能匹配适合用户当前情绪的互动类型,符合当前场景情绪的互动,不仅减少了用户互动时的操作,让用户更愿意互动,而且也提升互动频率,丰富了用户对单个内容的互动场景,提升用户的互动体验。
本申请的又一实施例中提供了一种电子设备,该电子设备包括:存储器和处理器;至少一个程序,存储于存储器中,用于被处理器执行时,与现有技术相比可实现:当服务器接收获取目标文件和对应的情绪可视化图像的获取指令时,将目标文件的文件数据和情绪可视化图像的情绪相关数据发送至终端;当接收到终端发送的用户情绪数据时,基于用户情绪数据对情绪可视化图像中当前时间节点的情绪数据进行更新,得到当前时间节点更新后的目标情绪数据,并将目标情绪数据发送至终端。这样,终端在展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,用户在浏览目标文件的时候,服务器将终端实时采集到的情绪数据实时对情绪可视化图像进行更新,使得用户可以实时看到情绪可视化图像的变化,进一步提升了用户的体验和效率。
在一个可选实施例中提供了一种电子设备,如图13所示,图13所示的电子设备13000包括:处理器13001和存储器13003。其中,处理器13001和存储器13003相连,如通过总线13002相连。可选地,电子设备13000还可以包括收发器13004。需要说明的是,实际应用中收发器13004不限于一个,该电子设备13000的结构并不构成对本申请实施例的限定。
处理器13001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器13001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线13002可包括一通路,在上述组件之间传送信息。总线13002可以是PCI总线或EISA总线等。总线13002可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器13003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器13003用于存储执行本申请方案的应用程序代码,并由处理器13001来控制执行。处理器13001用于执行存储器13003中存储的应用程序代码,以实现前述任一方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
本申请的又一实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。与现有技术相比,当服务器接收到获取目标文件和对应的情绪可视化图像的获取指令时,将目标文件的文件数据和情绪可视化图像的情绪相关数据发送至终端;当接收到终端发送的用户情绪数据时,基于用户情绪数据对情绪可视化图像中当前时间节点的情绪数据进行更新,得到当前时间节点更新后的目标情绪数据,并将目标情绪数据发送至终端。这样,终端在展示目标文件的时候,用户可以根据情绪可视化图像来判断文件内容的情绪倾向,对于持续性的内容有更直观的情绪倾向判断,从而让用户对文件的内容有更明确、精细的预期,提升了用户的体验和效率。
进一步,用户在浏览目标文件的时候,服务器将终端实时采集到的情绪数据实时对情绪可视化图像进行更新,使得用户可以实时看到情绪可视化图像的变化,进一步提升了用户的体验和效率。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种基于人工智能的情绪处理方法,其特征在于,应用于终端,包括:
当接收到目标文件的展示指令时,获取所述目标文件和对应的情绪可视化图像;
展示所述目标文件和所述情绪可视化图像,并采集用户在当前时间节点的第一情绪数据,所述第一情绪数据用于更新所述情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据;
基于所述目标情绪数据对所述情绪可视化图像进行更新,得到更新后的情绪可视化图像;
展示所述更新后的情绪可视化图像。
2.根据权利要求1所述的基于人工智能的情绪处理方法,其特征在于,还包括:
从预设的情绪标识库中确定出与所述第一情绪数据匹配的目标情绪标识;
当满足展示所述目标情绪标识的预设条件时,展示所述目标情绪标识。
3.根据权利要求2所述的基于人工智能的情绪处理方法,其特征在于,所述当满足展示所述目标情绪标识的预设条件时,展示所述目标情绪标识,包括:
当接收到用户触发的针对所述目标情绪标识的确认指令时,展示所述目标情绪标识,并建立所述目标情绪标识与第一时间节点的第一关联关系;其中,所述第一时间节点为接收到所述确认指令的时间节点。
4.根据权利要求2所述的基于人工智能的情绪处理方法,其特征在于,所述当满足展示所述目标情绪标识的预设条件时,展示所述目标情绪标识的步骤包括:
若所述第一情绪数据超过预设的情绪数据阈值,则展示所述目标情绪标识,并建立所述目标情绪标识与第二时间节点的第二关联关系;其中,所述第二时间节点为展示所述目标情绪标识的时间节点。
5.根据权利要求1-3任一所述的基于人工智能的情绪处理方法,其特征在于,所述采集用户在当前时间节点的第一情绪数据,包括:
通过所述终端中的图像采集设备获取所述用户的人脸数据,基于所述人脸数据得到所述用户的第一情绪数据;或
通过所述终端中的音频采集设备获取所述用户的音频数据,基于所述音频数据得到所述用户的第一情绪数据。
6.根据权利要求1-3任一所述的基于人工智能的情绪处理方法,其特征在于,所述基于所述目标情绪数据对所述情绪可视化图像进行更新,得到更新后的情绪可视化图像,包括:
利用所述目标情绪数据替换所述情绪可视化图像中当前时间节点的原始情绪数据;
依据所述目标情绪数据生成更新后的情绪可视化图像。
7.一种基于人工智能的情绪处理方法,其特征在于,应用于服务器,包括:
当接收获取目标文件和对应的情绪可视化图像的获取指令时,将所述目标文件的文件数据和所述情绪可视化图像的情绪相关数据发送至终端;
当接收到所述终端发送的用户情绪数据时,基于所述用户情绪数据对情绪可视化图像中当前时间节点的情绪数据进行更新,得到当前时间节点更新后的目标情绪数据;
将所述目标情绪数据发送至所述终端。
8.根据权利要求6所述的基于人工智能的情绪处理方法,其特征在于,所述情绪可视化图像通过如下方式生成:
获取所述目标文件的至少一个历史浏览用户的用户数据;
基于各个用户数据生成所述情绪可视化图像。
9.根据权利要求8所述的基于人工智能的情绪处理方法,其特征在于,所述用户数据包括用户的情绪数据;
所述基于各个用户数据生成所述情绪可视化图像,包括:
基于各个情绪数据计算得到所述目标文件各个时间节点的平均情绪数据;其中,所述情绪数据和所述平均情绪数据包括情绪类别和情绪强弱等级;
基于各个时间节点的平均情绪数据生成情绪可视化图像。
10.根据权利要求8所述的基于人工智能的情绪处理方法,其特征在于,所述用户数据包括用户的情绪数据和用户标识,用户标识具有对应的权重值;
所述基于各个用户数据生成所述情绪可视化图像,包括:
基于各个情绪数据和各自对应的权重值计算得到所述目标文件各个时间节点的平均情绪数据;
基于各个时间节点的平均情绪数据生成情绪可视化图像。
11.一种基于人工智能的情绪处理装置,其特征在于,应用于终端,包括:
第一接收模块,用于接收目标文件的展示指令;
第一获取模块,用于获取所述目标文件和对应的情绪可视化图像;
展示模块,用于展示所述目标文件和所述情绪可视化图像;
采集模块,用于采集用户在当前时间节点的第一情绪数据,所述第一情绪数据用于更新所述情绪可视化图像中当前时间节点的原始情绪数据,以得到当前时间节点更新后的目标情绪数据;
第一更新模块,用于基于所述目标情绪数据对所述情绪可视化图像进行更新,得到更新后的情绪可视化图像;
所述展示模块,还用于展示所述更新后的情绪可视化图像。
12.一种基于人工智能的情绪处理装置,其特征在于,应用于服务器,包括:
第二接收模块,用于接收获取目标文件和对应的情绪可视化图像的获取指令;
第二发送模块,用于将所述目标文件的文件数据和所述情绪可视化图像的情绪相关数据发送至终端;
所述第二接收模块,还用于接收所述终端发送的用户情绪数据;
第二更新模块,用于基于所述用户情绪数据对情绪可视化图像中当前时间节点的情绪数据进行更新,得到当前时间节点更新后的目标情绪数据;
所述第二发送模块,用于将所述目标情绪数据发送至所述终端。
13.一种电子设备,其特征在于,其包括:
处理器、存储器和总线;
所述总线,用于连接所述处理器和所述存储器;
所述存储器,用于存储操作指令;
所述处理器,用于通过调用所述操作指令,执行上述权利要求1-10中任一项所述的基于人工智能的情绪处理方法。
14.一种计算机可读存储介质,其特征在于,所述计算机存储介质用于存储计算机指令,当其在计算机上运行时,使得计算机可以执行上述权利要求1-10中任一项所述的基于人工智能的情绪处理方法。
CN202010176452.0A 2020-03-13 2020-03-13 基于人工智能情绪处理方法、装置、电子设备及存储介质 Active CN111414506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010176452.0A CN111414506B (zh) 2020-03-13 2020-03-13 基于人工智能情绪处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010176452.0A CN111414506B (zh) 2020-03-13 2020-03-13 基于人工智能情绪处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111414506A true CN111414506A (zh) 2020-07-14
CN111414506B CN111414506B (zh) 2023-09-19

Family

ID=71491024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010176452.0A Active CN111414506B (zh) 2020-03-13 2020-03-13 基于人工智能情绪处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111414506B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738210A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 基于音视频的学生心理状态分析方法、装置、终端及介质
CN112948622A (zh) * 2021-03-16 2021-06-11 深圳市火乐科技发展有限公司 一种展示内容的控制方法及装置
CN113946701A (zh) * 2021-09-14 2022-01-18 广州市城市规划设计有限公司 一种基于图像处理的城乡规划数据的动态更新方法及装置
CN113961161A (zh) * 2021-10-18 2022-01-21 阿里云计算有限公司 数据展示方法、系统、移动终端、存储介质及程序产品
CN115205949A (zh) * 2022-09-05 2022-10-18 腾讯科技(深圳)有限公司 图像生成方法以及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002362395A (ja) * 2001-06-12 2002-12-18 Mazda Motor Corp 車両用制御装置
US20140007149A1 (en) * 2012-07-02 2014-01-02 Wistron Corp. System, apparatus and method for multimedia evaluation
CN103703465A (zh) * 2011-08-08 2014-04-02 谷歌公司 与媒体内的对象相关联的情感信息
CN103826160A (zh) * 2014-01-09 2014-05-28 广州三星通信技术研究有限公司 获取视频的信息的方法及设备及播放视频的方法及设备
US20160042281A1 (en) * 2014-08-08 2016-02-11 International Business Machines Corporation Sentiment analysis in a video conference
CN109672935A (zh) * 2017-10-13 2019-04-23 富泰华工业(深圳)有限公司 基于用户情绪的视频推送系统及方法
US20190332247A1 (en) * 2018-04-30 2019-10-31 The California State University, Northridge Integration of User Emotions for a Smartphone or Other Communication Device Environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002362395A (ja) * 2001-06-12 2002-12-18 Mazda Motor Corp 車両用制御装置
CN103703465A (zh) * 2011-08-08 2014-04-02 谷歌公司 与媒体内的对象相关联的情感信息
US20140007149A1 (en) * 2012-07-02 2014-01-02 Wistron Corp. System, apparatus and method for multimedia evaluation
CN103826160A (zh) * 2014-01-09 2014-05-28 广州三星通信技术研究有限公司 获取视频的信息的方法及设备及播放视频的方法及设备
US20160042281A1 (en) * 2014-08-08 2016-02-11 International Business Machines Corporation Sentiment analysis in a video conference
CN109672935A (zh) * 2017-10-13 2019-04-23 富泰华工业(深圳)有限公司 基于用户情绪的视频推送系统及方法
US20190332247A1 (en) * 2018-04-30 2019-10-31 The California State University, Northridge Integration of User Emotions for a Smartphone or Other Communication Device Environment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738210A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 基于音视频的学生心理状态分析方法、装置、终端及介质
CN112948622A (zh) * 2021-03-16 2021-06-11 深圳市火乐科技发展有限公司 一种展示内容的控制方法及装置
CN113946701A (zh) * 2021-09-14 2022-01-18 广州市城市规划设计有限公司 一种基于图像处理的城乡规划数据的动态更新方法及装置
CN113946701B (zh) * 2021-09-14 2024-03-19 广州市城市规划设计有限公司 一种基于图像处理的城乡规划数据的动态更新方法及装置
CN113961161A (zh) * 2021-10-18 2022-01-21 阿里云计算有限公司 数据展示方法、系统、移动终端、存储介质及程序产品
CN115205949A (zh) * 2022-09-05 2022-10-18 腾讯科技(深圳)有限公司 图像生成方法以及相关设备

Also Published As

Publication number Publication date
CN111414506B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111833418B (zh) 动画交互方法、装置、设备以及存储介质
CN111414506B (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
US9875445B2 (en) Dynamic hybrid models for multimodal analysis
CN111935537A (zh) 音乐短片视频生成方法、装置、电子设备和存储介质
CN108877336A (zh) 基于增强现实技术的教学方法、云服务平台和教学系统
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
CN111027425A (zh) 一种智能化表情合成反馈交互系统及方法
CN107480766B (zh) 多模态虚拟机器人的内容生成的方法和系统
CN113254684B (zh) 一种内容时效的确定方法、相关装置、设备以及存储介质
CN113395578A (zh) 一种提取视频主题文本的方法、装置、设备及存储介质
CN114969282B (zh) 基于富媒体知识图谱多模态情感分析模型的智能交互方法
CN108614872A (zh) 课程内容展示方法及装置
Fedotov et al. From smart to personal environment: integrating emotion recognition into smart houses
Schuller Acquisition of affect
CN113542797A (zh) 视频播放中的互动方法、装置及计算机可读存储介质
Cui et al. Virtual Human: A Comprehensive Survey on Academic and Applications
Elkobaisi et al. Human emotion: a survey focusing on languages, ontologies, datasets, and systems
Park et al. Music-aided affective interaction between human and service robot
Gunes et al. 16 automatic analysis of social emotions
CN116030168B (zh) 中间帧的生成方法、装置、设备及存储介质
CN117289804B (zh) 虚拟数字人面部表情管理方法、装置、电子设备及介质
CN116708899B (zh) 应用于合成虚拟形象的视频处理方法、装置及存储介质
CN116955835B (zh) 资源筛选方法、装置、计算机设备及存储介质
CN115951787B (zh) 近眼显示设备的交互方法、存储介质及近眼显示设备
CN114666307B (zh) 会议互动方法、会议互动装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant