CN109446907A - 一种视频聊天的方法、装置、设备和计算机存储介质 - Google Patents

一种视频聊天的方法、装置、设备和计算机存储介质 Download PDF

Info

Publication number
CN109446907A
CN109446907A CN201811124132.XA CN201811124132A CN109446907A CN 109446907 A CN109446907 A CN 109446907A CN 201811124132 A CN201811124132 A CN 201811124132A CN 109446907 A CN109446907 A CN 109446907A
Authority
CN
China
Prior art keywords
user
emotional state
chat
facial image
search key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811124132.XA
Other languages
English (en)
Inventor
李彤辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811124132.XA priority Critical patent/CN109446907A/zh
Publication of CN109446907A publication Critical patent/CN109446907A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种视频聊天的方法、装置、设备和计算机存储介质,所述方法包括:获取与第一用户视频聊天的第二用户的人脸图像;识别所述第二用户的人脸图像,以得到第二用户的情绪状态;根据所述第二用户的情绪状态确定聊天建议,并将所确定的聊天建议返回给所述第一用户。本发明能够在视频聊天过程中为当前用户提供适于对方用户情绪状态的聊天建议,从而更加智能地实现视频聊天双方顺利沟通的目的。

Description

一种视频聊天的方法、装置、设备和计算机存储介质
【技术领域】
本发明涉及互联网技术领域,尤其涉及一种视频聊天的方法、装置、设备和计算机存储介质。
【背景技术】
现有的视频聊天通常只支持人脸美颜、增加人脸动画等,虽然在一定程度上可以提高视频聊天的效果,但现有技术不能够获取与当前用户进行视频聊天的对方用户的情绪状态,进而为当前用户提供适当的聊天建议。而在对方用户的情绪状态发生变化时,例如对方用户变得生气或伤心时,若当前用户未能察觉或察觉之后不知道采取何种聊天方式应对时,则很容易导致尬聊或者不欢而散的问题,使得聊天双方无法顺利地进行沟通。
【发明内容】
有鉴于此,本发明提供了一种视频聊天的方法、装置、设备和计算机存储介质,能够在视频聊天过程中为当前用户提供适于对方用户情绪状态的聊天建议,从而更加智能地实现视频聊天双方顺利沟通的目的。
本发明为解决技术问题所采用的技术方案是提供一种视频聊天的方法,所述方法包括:获取与第一用户视频聊天的第二用户的人脸图像;识别所述第二用户的人脸图像,以得到第二用户的情绪状态;根据所述第二用户的情绪状态确定聊天建议,并将所确定的聊天建议返回给所述第一用户。
根据本发明一优选实施例,所述第二用户的情绪状态包括开心、兴奋、伤心、生气、中性、惊讶、恶心等中的一种。
根据本发明一优选实施例,所述识别所述第二用户的人脸图像,以得到第二用户的情绪状态包括:将所述第二用户的人脸图像作为输入,利用预先训练得到的情绪状态识别模型进行情绪状态的识别,将所述情绪状态识别模型的输出结果作为第二用户的情绪状态。
根据本发明一优选实施例,所述情绪状态识别模型可以采用以下方式预先训练得到:获取人脸图像以及与各人脸图像对应的情绪状态作为训练样本;将人脸图像作为输入,将与各人脸图像对应的情绪状态作为输出,训练分类模型,得到情绪状态识别模型。
根据本发明一优选实施例,在根据所述第二用户的情绪状态确定聊天建议之前,还包括:确定所述第二用户的情绪状态是否为消极的情绪状态;若是,则继续执行根据所述第二用户的情绪状态确定聊天建议的步骤,否则转至执行获取与第一用户视频聊天的第二用户的人脸图像的步骤。
根据本发明一优选实施例,所述根据所述第二用户的情绪状态确定聊天建议包括:根据所述第二用户的情绪状态确定检索关键词;根据所述检索关键词进行检索,将所得到的检索结果确定为对应所述第二用户的情绪状态的聊天建议。
根据本发明一优选实施例,所述根据所述第二用户的情绪状态确定检索关键词包括:将所述第二用户的情绪状态确定为检索关键词;或者按照预设的构造规则对所述第二用户的情绪状态进行构造,将所得到的构造结果确定为检索关键词。
本发明为解决技术问题所采用的技术方案为提供一种视频聊天的装置,所述装置包括:获取单元,用于获取与第一用户视频聊天的第二用户的人脸图像;识别单元,用于识别所述第二用户的人脸图像,以得到第二用户的情绪状态;处理单元,用于根据所述第二用户的情绪状态确定聊天建议,并将所确定的聊天建议返回给所述第一用户。
根据本发明一优选实施例,所述第二用户的情绪状态包括开心、兴奋、伤心、生气、中性、惊讶、恶心等中的一种。
根据本发明一优选实施例,所述识别单元在识别所述第二用户的人脸图像,以得到第二用户的情绪状态时,具体执行:将所述第二用户的人脸图像作为输入,利用预先训练得到的情绪状态识别模型进行情绪状态的识别,将所述情绪状态识别模型的输出结果作为第二用户的情绪状态。
根据本发明一优选实施例,所述装置还包括训练单元,用于采用以下方式预先训练得到所述情绪状态识别模型:获取人脸图像以及与各人脸图像对应的情绪状态作为训练样本;将人脸图像作为输入,将与各人脸图像对应的情绪状态作为输出,训练分类模型,得到情绪状态识别模型。
根据本发明一优选实施例,所述处理单元在根据所述第二用户的情绪状态确定聊天建议之前,还执行:确定所述第二用户的情绪状态是否为消极的情绪状态;若是,则继续执行根据所述第二用户的情绪状态确定聊天建议的操作,否则转至获取单元执行获取与第一用户视频聊天的第二用户的人脸图像的操作。
根据本发明一优选实施例,所述处理单元在根据所述第二用户的情绪状态确定聊天建议时,具体执行:根据所述第二用户的情绪状态确定检索关键词;根据所述检索关键词进行检索,将所得到的检索结果确定为对应所述第二用户的情绪状态的聊天建议。
根据本发明一优选实施例,所述处理单元在根据所述第二用户的情绪状态确定检索关键词时,具体执行:将所述第二用户的情绪状态确定为检索关键词;或者按照预设的构造规则对所述第二用户的情绪状态进行构造,将所得到的构造结果确定为检索关键词。
由以上技术方案可以看出,本发明通过在视频聊天过程中获取与第一用户视频聊天的第二用户的人脸图像,识别得到第二用户的情绪状态,进而根据第二用户的情绪状态获取相应的聊天建议,以用于第一用户能够以更加符合第二用户当前情绪状态的聊天方式与第二用户进行视频聊天,避免由于第二用户的情绪状态发生变化而导致尬聊或不欢而散的问题,更加智能地实现彼此顺利沟通的目的。
【附图说明】
图1为本发明一实施例提供的一种视频聊天的方法流程图;
图2为本发明一实施例提供的一种视频聊天的装置结构图;
图3为本发明一实施例提供的计算机系统/服务器的框图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1为本发明一实施例提供的一种视频聊天的方法流程图,如图1中所示,所述方法包括:
在101中,获取与第一用户视频聊天的第二用户的人脸图像。
在本步骤中,获取与第一用户视频聊天的第二用户的人脸图像。其中,第二用户为与第一用户进行视频聊天的聊天对象。
举例来说,若用户A与用户B进行视频聊天,对于用户A来说,其自身是第一用户,而用户B是第二用户;同样地,对于用户B来说,其自身是第一用户,而用户A是第二用户。
可以理解的是,在视频聊天过程中,首先通过用户所使用终端的摄像头采集用户的人脸图像,然后由当前用户的终端将所采集的人脸图像发送至对方用户的终端,从而实现在当前用户的视频聊天界面中展现与其进行视频聊天的对方用户的人脸图像。
也就是说,第一用户的视频聊天界面中会展现第二用户的人脸图像,同样地,第二用户的视频聊天界面中会展现第一用户的人脸图像。因此,本步骤通过第一用户的视频聊天界面便能够获取与第一用户进行视频聊天的第二用户的人脸图像。
在102中,识别所述第二用户的人脸图像,以得到第二用户的情绪状态。
在本步骤中,根据步骤101中所获取的第二用户的人脸图像,以识别得到第二用户的情绪状态。其中,第二用户的情绪状态可以包括开心、兴奋、伤心、生气、中性、惊讶、恶心等中的一种。可以理解的是,第二用户的中性的情绪状态即为第二用户的人脸图像中面部无表情的情绪状态。
本步骤在根据第二用户的人脸图像识别第二用户的情绪状态时,可以采用以下方式:将第二用户的人脸图像作为输入,利用预先训练得到的情绪状态识别模型进行情绪状态的识别,将情绪状态识别模型的输出结果作为第二用户的情绪状态。
具体地,情绪识别模型可以采用以下方式预先训练得到:获取人脸图像以及与各人脸图像对应的情绪状态作为训练样本;将人脸图像作为输入,将与各人脸图像对应的情绪状态作为输出,训练分类模型,得到情绪状态识别模型。其中,分类模型可以为深度神经网络模型、卷积神经网络模型、支持向量机等,本发明对此不进行限定。
本步骤在根据第二用户的人脸图像识别第二用户的情绪状态时,还可以采用以下方式:提取第二用户的人脸图像中的特征部位,例如眼睛、眼眉、嘴巴、面部颜色等可以体现用户情绪的特征部位,可以仅提取一个特征部位,也可以提取多个特征部位;根据所提取的特征部位识别第二用户的情绪状态,例如第二用户开心时会眉开眼笑或嘴巴咧开,第二用户伤心时会两眼无光或嘴巴紧闭,第二用户生气时会怒目而视等。
在103中,根据所述第二用户的情绪状态确定聊天建议,并将所确定的聊天建议返回给所述第一用户。
在本步骤中,根据步骤102识别得到的第二用户的情绪状态确定与其对应的聊天建议,然后将所确定的聊天建议返回给第一用户,以用于第一用户更加顺利地与第二用户进行视频聊天。
可以理解的是,本步骤在确定与第二用户的情绪状态对应的聊天建议之前,还可以包括以下内容:确定第二用户的情绪状态是否为消极的情绪状态,其中消极的情绪状态可以为伤心、生气、惊讶、恶心等中的一种;若是,则继续执行确定与第二用户的情绪状态对应的聊天建议的步骤;若不是,则转至执行步骤101。
其中,本步骤在确定与第二用户的情绪状态对应的聊天建议时,可以采用以下方式:根据第二用户的情绪状态确定检索关键词;将根据检索关键词检索得到的检索结果确定为与第二用户的情绪状态对应的聊天建议。
具体地,本步骤在根据第二用户的情绪状态确定检索关键词时,可以采用以下方式:直接将第二用户的情绪状态确定为检索关键词。举例来说,若第二用户的情绪状态为开心,则直接将“开心”确定为与第二用户的情绪状态对应的检索关键词。
还可以采用以下方式:按照预设的构造规则对第二用户的情绪状态进行构造,将构造结果确定为检索关键词。举例来说,若第二用户的情绪状态为伤心,则按照预设的构造规则构造得到的检索关键词可以为“如何跟伤心的人聊天”,也可以为“如何通过聊天使伤心的人高兴”等。
其中,根据检索关键词检索得到的检索结果可以为表情,也可以为文本信息,例如提示如何更改聊天话题或者如何更改聊天内容等文本信息的至少一种。在获得检索结果后,将所得到的检索结果作为与第二用户的情绪状态对应的聊天建议。
另外,本步骤在根据检索关键词检索得到检索结果时,可以通过网络搜索引擎检索得到检索结果;也可以在预设的数据库中检索得到检索结果。其中,预设的数据库中包括检索关键词以及与各检索关键词对应的检索结果。
具体地,本步骤在将所确定的聊天建议返回给第一用户时,可以在第一用户的视频聊天界面中展示聊天建议,例如展示检索得到的表情或者展示如何更改聊天话题、如何更改聊天内容等的文本信息,进而由第一用户决定是否执行对应的聊天建议,例如是否发送检索得到的表情,是否根据聊天建议更改聊天话题或者更改聊天内容等。
另外,若检索得到的检索结果为表情时,可以不在第一用户的视频聊天界面中展示该表情,而是直接将检索得到的表情发送给第二用户。举例来说,若第二用户的情绪状态为伤心,根据伤心的情绪状态检索得到开心表情,则直接将该开心表情发送给第二用户,以缓解第二用户当前的伤心情绪。
图2为本发明一实施例提供的一种视频聊天的装置结构图,如图2中所示,所述装置包括:获取单元21、识别单元22、处理单元23以及训练单元24。
获取单元21,用于获取与第一用户视频聊天的第二用户的人脸图像。
获取单元21获取与第一用户视频聊天的第二用户的人脸图像。其中,第二用户为与第一用户进行视频聊天的聊天对象。
可以理解的是,在视频聊天过程中,首先通过用户所使用终端的摄像头采集用户的人脸图像,然后由当前用户的终端将所采集的人脸图像发送至对方用户的终端,从而实现在当前用户的视频聊天界面中展现与其进行视频聊天的对方用户的人脸图像。
也就是说,第一用户的视频聊天界面中会展现第二用户的人脸图像,同样地,第二用户的视频聊天界面中会展现第一用户的人脸图像。因此,获取单元21通过第一用户的视频聊天界面便能够获取与第一用户进行视频聊天的第二用户的人脸图像。
训练单元24,用于预先训练得到情绪状态识别模型。
训练单元24可以采用以下方式预先训练得到情绪状态识别模型:获取人脸图像以及与各人脸图像对应的情绪状态作为训练样本;将人脸图像作为输入,将与各人脸图像对应的情绪状态作为输出,训练分类模型,得到情绪状态识别模型。其中,分类模型可以为深度神经网络模型、卷积神经网络模型、支持向量机等,本发明对此不进行限定。
利用训练单元24训练得到的情绪状态识别模型,能够根据所输入的用户的人脸图像得到用户的情绪状态。
识别单元22,用于识别所述第二用户的人脸图像,以得到第二用户的情绪状态。
识别单元22根据获取单元21所获取的第二用户的人脸图像,以识别得到第二用户的情绪状态。其中,第二用户的情绪状态可以包括开心、兴奋、伤心、生气、中性、惊讶、恶心等中的一种。可以理解的是,第二用户的中性的情绪状态即为第二用户的人脸图像中面部无表情的情绪状态。
识别单元22在根据第二用户的人脸图像识别第二用户的情绪状态时,可以采用以下方式:将第二用户的人脸图像作为输入,利用训练单元24预先训练得到的情绪状态识别模型进行情绪状态的识别,将情绪状态识别模型的输出结果作为第二用户的情绪状态。
识别单元22在根据第二用户的人脸图像识别第二用户的情绪状态时,还可以采用以下方式:提取第二用户的人脸图像中的特征部位,例如眼睛、眼眉、嘴巴、面部颜色等可以体现用户情绪的特征部位,可以仅提取一个特征部位,也可以提取多个特征部位;根据所提取的特征部位识别第二用户的情绪状态,例如第二用户开心时会眉开眼笑或嘴巴咧开,第二用户伤心时会两眼无光或嘴巴紧闭,第二用户生气时会怒目而视等。
处理单元23,用于根据所述第二用户的情绪状态确定聊天建议,并将所确定的聊天建议返回给所述第一用户。
处理单元23根据识别单元22识别得到的第二用户的情绪状态确定与其对应的聊天建议,然后将所确定的聊天建议返回给第一用户,以用于第一用户更加顺利地与第二用户进行视频聊天。
可以理解的是,处理单元23在确定与第二用户的情绪状态对应的聊天建议之前,还可以包括以下内容:确定第二用户的情绪状态是否为消极的情绪状态,其中消极的情绪状态可以为伤心、生气、惊讶、恶心等中的一种;若是,则继续执行确定与第二用户的情绪状态对应的聊天建议的操作;若不是,则转至获取单元21继续获取与第一用户视频聊天的第二用户的人脸图像的操作。
其中,处理单元23在确定与第二用户的情绪状态对应的聊天建议时,可以采用以下方式:根据第二用户的情绪状态确定检索关键词;将根据检索关键词检索得到的检索结果确定为与第二用户的情绪状态对应的聊天建议。
具体地,处理单元23在根据第二用户的情绪状态确定检索关键词时,可以采用以下方式:直接将第二用户的情绪状态确定为检索关键词。处理单元23还可以采用以下方式:按照预设的构造规则对第二用户的情绪状态进行构造,将构造结果确定为检索关键词。
其中,处理单元23根据检索关键词检索得到的检索结果可以为表情,也可以为文本信息,例如提示如何更改聊天话题、如何更改聊天内容等文本信息的至少一种。在获得检索结果后,处理单元23将所得到的检索结果作为与第二用户的情绪状态对应的聊天建议。
另外,处理单元23在根据检索关键词检索得到检索结果时,可以通过网络搜索引擎检索得到检索结果;也可以在预设的数据库中检索得到检索结果。其中,预设的数据库中包括检索关键词以及与各检索关键词对应的检索结果。
具体地,处理单元23在将所确定的聊天建议返回给第一用户时,可以在第一用户的视频聊天界面中展示聊天建议,例如展示检索得到的表情或者展示如何更改聊天话题、如何更改聊天内容等的文本信息,进而由第一用户决定是否执行对应的聊天建议,例如是否发送检索得到的表情,是否根据聊天建议更改聊天话题或者更改聊天内容等。
另外,若检索得到的检索结果为表情时,处理单元23可以不在第一用户的视频聊天界面中对表情展示,而是直接将检索得到的表情发送给第二用户。举例来说,若第二用户的情绪状态为伤心,根据伤心的情绪状态检索得到开心表情,则直接将该开心表情发送给第二用户,以缓解第二用户当前的伤心情绪。
图3示出了适于用来实现本发明实施方式的示例性计算机系统/服务器012的框图。图3显示的计算机系统/服务器012仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,计算机系统/服务器012以通用计算设备的形式表现。计算机系统/服务器012的组件可以包括但不限于:一个或者多个处理器或者处理单元016,系统存储器028,连接不同系统组件(包括系统存储器028和处理单元016)的总线018。
总线018表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器012典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器012访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器028可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机系统/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统034可以用于读写不可移动的、非易失性磁介质(图3未显示,通常称为“硬盘驱动器”)。尽管图3中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块042的程序/实用工具040,可以存储在例如存储器028中,这样的程序模块042包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信,在本发明中,计算机系统/服务器012与外部雷达设备进行通信,还可与一个或者多个使得用户能与该计算机系统/服务器012交互的设备通信,和/或与使得该计算机系统/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且,计算机系统/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器020通过总线018与计算机系统/服务器012的其它模块通信。应当明白,尽管图3中未示出,可以结合计算机系统/服务器012使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元016通过运行存储在系统存储器028中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的方法流程。
上述的计算机程序可以设置于计算机存储介质中,即该计算机存储介质被编码有计算机程序,该程序在被一个或多个计算机执行时,使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。例如,被上述一个或多个处理器执行本发明实施例所提供的方法流程。
随着时间、技术的发展,介质含义越来越广泛,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
利用本发明所提供的技术方案,通过在视频聊天过程中获取与第一用户视频聊天的第二用户的人脸图像,识别得到第二用户的情绪状态,进而根据第二用户的情绪状态获取相应的聊天建议,以用于第一用户能够以更加符合第二用户当前情绪状态的聊天方式与第二用户进行视频聊天,避免由于第二用户的情绪状态发生变化而导致尬聊或不欢而散的问题,更加智能地实现彼此顺利沟通的目的。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (16)

1.一种视频聊天的方法,其特征在于,所述方法包括:
获取与第一用户视频聊天的第二用户的人脸图像;
识别所述第二用户的人脸图像,以得到第二用户的情绪状态;
根据所述第二用户的情绪状态确定聊天建议,并将所确定的聊天建议返回给所述第一用户。
2.根据权利要求1所述的方法,其特征在于,所述第二用户的情绪状态包括开心、兴奋、伤心、生气、中性、惊讶、恶心等中的一种。
3.根据权利要求1所述的方法,其特征在于,所述识别所述第二用户的人脸图像,以得到第二用户的情绪状态包括:
将所述第二用户的人脸图像作为输入,利用预先训练得到的情绪状态识别模型进行情绪状态的识别,将所述情绪状态识别模型的输出结果作为第二用户的情绪状态。
4.根据权利要求3所述的方法,其特征在于,所述情绪状态识别模型可以采用以下方式预先训练得到:
获取人脸图像以及与各人脸图像对应的情绪状态作为训练样本;
将人脸图像作为输入,将与各人脸图像对应的情绪状态作为输出,训练分类模型,得到情绪状态识别模型。
5.根据权利要求1所述的方法,其特征在于,在根据所述第二用户的情绪状态确定聊天建议之前,还包括:
确定所述第二用户的情绪状态是否为消极的情绪状态;
若是,则继续执行根据所述第二用户的情绪状态确定聊天建议的步骤,否则转至执行获取与第一用户视频聊天的第二用户的人脸图像的步骤。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第二用户的情绪状态确定聊天建议包括:
根据所述第二用户的情绪状态确定检索关键词;
根据所述检索关键词进行检索,将所得到的检索结果确定为对应所述第二用户的情绪状态的聊天建议。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第二用户的情绪状态确定检索关键词包括:
将所述第二用户的情绪状态确定为检索关键词;或者
按照预设的构造规则对所述第二用户的情绪状态进行构造,将所得到的构造结果确定为检索关键词。
8.一种视频聊天的装置,其特征在于,所述装置包括:
获取单元,用于获取与第一用户视频聊天的第二用户的人脸图像;
识别单元,用于识别所述第二用户的人脸图像,以得到第二用户的情绪状态;
处理单元,用于根据所述第二用户的情绪状态确定聊天建议,并将所确定的聊天建议返回给所述第一用户。
9.根据权利要求8所述的装置,其特征在于,所述第二用户的情绪状态包括开心、兴奋、伤心、生气、中性、惊讶、恶心等中的一种。
10.根据权利要求8所述的装置,其特征在于,所述识别单元在识别所述第二用户的人脸图像,以得到第二用户的情绪状态时,具体执行:
将所述第二用户的人脸图像作为输入,利用预先训练得到的情绪状态识别模型进行情绪状态的识别,将所述情绪状态识别模型的输出结果作为第二用户的情绪状态。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括训练单元,用于采用以下方式预先训练得到所述情绪状态识别模型:
获取人脸图像以及与各人脸图像对应的情绪状态作为训练样本;
将人脸图像作为输入,将与各人脸图像对应的情绪状态作为输出,训练分类模型,得到情绪状态识别模型。
12.根据权利要求8所述的装置,其特征在于,所述处理单元在根据所述第二用户的情绪状态确定聊天建议之前,还执行:
确定所述第二用户的情绪状态是否为消极的情绪状态;
若是,则继续执行根据所述第二用户的情绪状态确定聊天建议的操作,否则转至获取单元执行获取与第一用户视频聊天的第二用户的人脸图像的操作。
13.根据权利要求8所述的装置,其特征在于,所述处理单元在根据所述第二用户的情绪状态确定聊天建议时,具体执行:
根据所述第二用户的情绪状态确定检索关键词;
根据所述检索关键词进行检索,将所得到的检索结果确定为对应所述第二用户的情绪状态的聊天建议。
14.根据权利要求13所述的装置,其特征在于,所述处理单元在根据所述第二用户的情绪状态确定检索关键词时,具体执行:
将所述第二用户的情绪状态确定为检索关键词;或者
按照预设的构造规则对所述第二用户的情绪状态进行构造,将所得到的构造结果确定为检索关键词。
15.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的方法。
CN201811124132.XA 2018-09-26 2018-09-26 一种视频聊天的方法、装置、设备和计算机存储介质 Pending CN109446907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811124132.XA CN109446907A (zh) 2018-09-26 2018-09-26 一种视频聊天的方法、装置、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811124132.XA CN109446907A (zh) 2018-09-26 2018-09-26 一种视频聊天的方法、装置、设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN109446907A true CN109446907A (zh) 2019-03-08

Family

ID=65544330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124132.XA Pending CN109446907A (zh) 2018-09-26 2018-09-26 一种视频聊天的方法、装置、设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN109446907A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414465A (zh) * 2019-08-05 2019-11-05 北京深醒科技有限公司 一种视频通讯的情感分析方法
CN110598612A (zh) * 2019-08-30 2019-12-20 深圳智慧林网络科技有限公司 基于移动终端的病人看护方法、移动终端和可读存储介质
CN110599359A (zh) * 2019-09-05 2019-12-20 深圳追一科技有限公司 社交方法、装置、系统、终端设备及存储介质
CN111062207A (zh) * 2019-12-03 2020-04-24 腾讯科技(深圳)有限公司 表情图像处理方法、装置、计算机存储介质及电子设备
CN111309937A (zh) * 2020-01-21 2020-06-19 上海掌门科技有限公司 一种用于发布会话消息的方法与设备
CN113141297A (zh) * 2021-03-29 2021-07-20 维沃移动通信有限公司 聊天提示方法、装置、电子设备及介质
CN115209080A (zh) * 2021-03-26 2022-10-18 广东小天才科技有限公司 一种视频通话交互方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419686A (zh) * 2000-10-30 2003-05-21 皇家菲利浦电子有限公司 模拟人际交互并利用相关数据装载外部数据库的用户接口/娱乐设备
CN102455898A (zh) * 2010-10-29 2012-05-16 张明 视频聊天卡通表情辅助娱乐系统
CN104615646A (zh) * 2014-12-25 2015-05-13 上海科阅信息技术有限公司 智能聊天机器人系统
CN106886770A (zh) * 2017-03-07 2017-06-23 佛山市融信通企业咨询服务有限公司 一种视频通讯情感分析辅助方法
CN106909907A (zh) * 2017-03-07 2017-06-30 佛山市融信通企业咨询服务有限公司 一种视频通讯情感分析辅助系统
CN107632992A (zh) * 2016-07-18 2018-01-26 深圳市珍爱网信息技术有限公司 一种基于语音识别的相亲匹配方法及装置
CN108009490A (zh) * 2017-11-29 2018-05-08 宁波高新区锦众信息科技有限公司 一种基于识别情绪的聊天机器人系统及该系统的判断方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419686A (zh) * 2000-10-30 2003-05-21 皇家菲利浦电子有限公司 模拟人际交互并利用相关数据装载外部数据库的用户接口/娱乐设备
CN102455898A (zh) * 2010-10-29 2012-05-16 张明 视频聊天卡通表情辅助娱乐系统
CN104615646A (zh) * 2014-12-25 2015-05-13 上海科阅信息技术有限公司 智能聊天机器人系统
CN107632992A (zh) * 2016-07-18 2018-01-26 深圳市珍爱网信息技术有限公司 一种基于语音识别的相亲匹配方法及装置
CN106886770A (zh) * 2017-03-07 2017-06-23 佛山市融信通企业咨询服务有限公司 一种视频通讯情感分析辅助方法
CN106909907A (zh) * 2017-03-07 2017-06-30 佛山市融信通企业咨询服务有限公司 一种视频通讯情感分析辅助系统
CN108009490A (zh) * 2017-11-29 2018-05-08 宁波高新区锦众信息科技有限公司 一种基于识别情绪的聊天机器人系统及该系统的判断方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414465A (zh) * 2019-08-05 2019-11-05 北京深醒科技有限公司 一种视频通讯的情感分析方法
CN110414465B (zh) * 2019-08-05 2023-11-10 北京深醒科技有限公司 一种视频通讯的情感分析方法
CN110598612A (zh) * 2019-08-30 2019-12-20 深圳智慧林网络科技有限公司 基于移动终端的病人看护方法、移动终端和可读存储介质
CN110598612B (zh) * 2019-08-30 2023-06-09 深圳智慧林网络科技有限公司 基于移动终端的病人看护方法、移动终端和可读存储介质
CN110599359A (zh) * 2019-09-05 2019-12-20 深圳追一科技有限公司 社交方法、装置、系统、终端设备及存储介质
CN110599359B (zh) * 2019-09-05 2022-09-16 深圳追一科技有限公司 社交方法、装置、系统、终端设备及存储介质
CN111062207A (zh) * 2019-12-03 2020-04-24 腾讯科技(深圳)有限公司 表情图像处理方法、装置、计算机存储介质及电子设备
CN111309937A (zh) * 2020-01-21 2020-06-19 上海掌门科技有限公司 一种用于发布会话消息的方法与设备
CN115209080A (zh) * 2021-03-26 2022-10-18 广东小天才科技有限公司 一种视频通话交互方法及系统
CN115209080B (zh) * 2021-03-26 2024-10-18 广东小天才科技有限公司 一种视频通话交互方法及系统
CN113141297A (zh) * 2021-03-29 2021-07-20 维沃移动通信有限公司 聊天提示方法、装置、电子设备及介质
CN113141297B (zh) * 2021-03-29 2023-02-24 维沃移动通信有限公司 聊天提示方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN109446907A (zh) 一种视频聊天的方法、装置、设备和计算机存储介质
CN107492379B (zh) 一种声纹创建与注册方法及装置
US10621978B2 (en) Dynamically generated dialog
CN107545241A (zh) 神经网络模型训练及活体检测方法、装置及存储介质
CN109145680A (zh) 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN108229535B (zh) 涉黄图像审核方法、装置、计算机设备及存储介质
CN109960541A (zh) 启动小程序的方法、设备和计算机存储介质
CN109599095A (zh) 一种语音数据的标注方法、装置、设备和计算机存储介质
CN109637519A (zh) 语音交互实现方法、装置、计算机设备及存储介质
CN108363556A (zh) 一种基于语音与增强现实环境交互的方法和系统
CN110232340A (zh) 建立视频分类模型以及视频分类的方法、装置
CN108090127A (zh) 建立问答文本评价模型与评价问答文本的方法、装置
CN108920639A (zh) 基于语音交互的上下文获取方法及设备
US10770072B2 (en) Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning
US20200135039A1 (en) Content pre-personalization using biometric data
CN110728319B (zh) 一种图像生成方法、装置以及计算机存储介质
CN108932066A (zh) 输入法获取表情包的方法、装置、设备和计算机存储介质
CN110378346A (zh) 建立文字识别模型的方法、装置、设备和计算机存储介质
CN109543560A (zh) 一种视频中人物的分割方法、装置、设备和计算机存储介质
US20190090771A1 (en) Predicting thought based on neural mapping
US20220350954A1 (en) Contextual real-time content highlighting on shared screens
CN108154103A (zh) 检测推广信息显著性的方法、装置、设备和计算机存储介质
CN108268602A (zh) 分析文本话题点的方法、装置、设备和计算机存储介质
US11373057B2 (en) Artificial intelligence driven image retrieval
CN109495549A (zh) 一种应用拉活的方法、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308