CN111177346B - 人机交互方法、装置、电子设备、存储介质 - Google Patents

人机交互方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111177346B
CN111177346B CN201911318821.9A CN201911318821A CN111177346B CN 111177346 B CN111177346 B CN 111177346B CN 201911318821 A CN201911318821 A CN 201911318821A CN 111177346 B CN111177346 B CN 111177346B
Authority
CN
China
Prior art keywords
semantic information
quasi
video data
output
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911318821.9A
Other languages
English (en)
Other versions
CN111177346A (zh
Inventor
王国锋
赵江杰
陈曲
张坤雷
陈学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiways Automobile Co Ltd
Original Assignee
Aiways Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiways Automobile Co Ltd filed Critical Aiways Automobile Co Ltd
Priority to CN201911318821.9A priority Critical patent/CN111177346B/zh
Publication of CN111177346A publication Critical patent/CN111177346A/zh
Application granted granted Critical
Publication of CN111177346B publication Critical patent/CN111177346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种人机交互方法、装置、电子设备、存储介质，人机交互方法，包括：步骤S110：采集包含用户的视频数据；步骤S120：对所述视频数据进行解析，包括：对所述视频数据中的语音数据进行解析获得第一语义信息；对所述视频数据中的用户手势进行解析获得第二语义信息；对所述视频数据中的用户头部动作进行解析获得第三语义信息；对所述视频数据中的用户表情进行解析获得第四语义信息；步骤S130：将所述第一语义信息、第二语义信息、第三语义信息及第四语义信息进行多模融合获得多模输出；步骤S140：将所述多模输出输入一回复预测模型，将所述回复预测模型的输出作为回复信息。本发明实现多模人机交互。

Description

人机交互方法、装置、电子设备、存储介质
技术领域
本发明涉及人机交互领域，尤其涉及一种人机交互方法、装置、电子设备、存储介质。
背景技术
人机交互通过智能对话与即时问答的智能交互，帮助用户解决问题。随着近年来人工智能技术逐渐在很多领域走向实用化，人机交互也越来越智能化。AI技术正在不断赋能人机交互智能化升级，已出现了人机交互系统、机器人装置、闲聊机器人装置等。这些系统和装置中的系统结合自然语言理解、自然语言生成、智能对话管理运用在人机语音交互系统中，让交互体验更流畅、更智能。但是，目前已有的人机交互系统很难达到人和人交互的水平，只获取用户的语音信息，缺少更多元化的输入信息，导致整个交互没有达到人和人交互的水准。在人和机器的对话中，人有时候除了语言还可以有其他的模态(比如表情、手势、肢体动作等)表达自己的观点，但目前的语音交互系统往往会丢失掉这部分信息，导致不能够收集到更丰富的信息，影响后续的交互。
发明内容
本发明为了克服上述相关技术存在的缺陷，提供一种人机交互方法、装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本发明的一个方面，提供一种人机交互方法，包括：
步骤S110：采集包含用户的视频数据；
步骤S120：对所述视频数据进行解析，包括：
对所述视频数据中的语音数据进行解析获得第一语义信息；
对所述视频数据中的用户手势进行解析获得第二语义信息；
对所述视频数据中的用户头部动作进行解析获得第三语义信息；
对所述视频数据中的用户表情进行解析获得第四语义信息；
步骤S130：将所述第一语义信息、第二语义信息、第三语义信息及第四语义信息进行多模融合获得多模输出；
步骤S140：将所述多模输出输入一回复预测模型，将所述回复预测模型的输出作为回复信息。
在本发明的一个具体实施例中，所述对所述视频数据中的语音数据进行解析获得第一语义信息包括：
利用梅尔频率倒谱系数提取所述语音数据的语音特征；
将所述语音特征转化为数字特征；
将所述数字特征输入VGG模型，获得音素序列；
利用隐马尔科夫模型将所述音素序列转化为文字数据；
利用BERT模型获取所述文字数据的第一语义信息。
在本发明的一个具体实施例中，所述对所述视频数据中的用户手势进行解析获得第二语义信息包括：
将所述视频数据划分为若干帧；
将所划分的帧输入一经训练的神经网络模型；
将所述神经网络模型的输出作为手势信息；
将所述手势信息转化为第二语义信息。
在本发明的一个具体实施例中，所述对所述视频数据中的用户头部动作进行解析获得第三语义信息包括：
将所述视频数据划分为若干帧；
提取每一帧图像中头部动作坐标；
判断相邻帧的头部动作坐标的变化量是否大于一预设阈值；
若是，则将该相邻帧中的头部移动确定为一头部动作；
若否则迭代执行判断相邻帧的头部动作坐标的变化量是否大于一预设阈值的步骤；
将所获得的头部动作转化为第三语义信息。
在本发明的一个具体实施例中，所述对所述视频数据中的用户表情进行解析获得第四语义信息包括：
将所述视频数据划分为若干帧；
利用mini Xception模型解析每一帧图片的表情；
若N帧图片中，大于预定比例的图片的表情皆为同一表情时，将该表情转化为第四语义信息。
在本发明的一个具体实施例中，所述第一语义信息、第二语义信息、第三语义信息及第四语义信息皆包含多个子语义信息，步骤S130包括：
获取多个第一准多模融合输出及各第一准多模融合输出的语言模型分数，其中，每个第一准多模融合输出及该准多模融合输出的语言模型分数根据如下步骤获取：
自所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中随机选取多个子语义信息；
融合该多个子语义信息，获得第一准多模融合输出，并计算该第一准多模融合输出的语言模型分数；
将语言模型分数最高的第一准多模融合输出作为多模输出。
在本发明的一个具体实施例中，所述步骤S130还包括：
判断所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中的多个子语义信息是否存在语义冲突；
若不存在，则执行所述获取多个第一准多模融合输出及各第一准多模融合输出的语言模型分数的步骤；
若存在，则：
对于语义冲突的多个子语义信息，基于该子语义信息所属的语义信息的权重，融合该多个语义冲突的多个子语义信息，获得冲突融合输出；
获取多个第二准融合输出该第二准多模融合输出的语言模型分数，其中，每个第二准融合输出及该第二准多模融合输出的语言模型分数根据如下步骤获取：
自所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中随机选取多个不存在语义冲突的子语义信息；
融合该多个不存在语义冲突的子语义信息及所述冲突融合输出，获得第二准多模融合输出，并计算该第二准多模融合输出的语言模型分数；
将语言模型分数最高的第二准多模融合输出作为多模输出。
根据本发明的又一方面，还提供一种人机交互装置，包括：
采集模块，用于采集包含用户的视频数据；
解析模块，用于对所述视频数据进行解析，包括：
对所述视频数据中的语音数据进行解析获得第一语义信息；
对所述视频数据中的用户手势进行解析获得第二语义信息；
对所述视频数据中的用户头部动作进行解析获得第三语义信息；
对所述视频数据中的用户表情进行解析获得第四语义信息；
融合模块，用于将所述第一语义信息、第二语义信息、第三语义信息及第四语义信息进行多模融合获得多模输出；
回复模块，用于将所述多模输出输入一回复预测模型，将所述回复预测模型的输出作为回复信息。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
目前的人机交互系统大多是只采集用户的语音数据，忽略了图片视频信息在语音交流中的作用。而本发明主要是结合与人相关联的视频数据，并针对性的设计出对应的算法去解析信息，并最终构建一个基于深度学习的人机多模交互系统。具有如下优势：
1)引入了针对人机交互的手势识别、头部动作识别、表情识别算法，并且采用了目前较优的自然语言理解模型(如BERT模型)对原有语音交互系统做了优化，提高了性能。
2)将手势识别、头部动作、表情结合到人机交互中，大大增加了输入信息量，让交互效果更好。
3)提出多模融合算法，让多模的结果能融合在一起供下游任务使用。本发明中提出的多模态交互技术可以用于带有视频信息采集的摄像头和带有声音采集的麦克风设备的车载人机交互、机器人上的人机交互、其他人机交互系统等各种产品和系统中，使得交互体验更便捷、具有趣味性和更人性化。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的人机交互方法的流程图。
图2示出了根据本发明实施例的对所述视频数据中的语音数据进行解析获得第一语义信息的流程图。
图3示出了根据本发明实施例的对所述视频数据中的用户手势进行解析获得第二语义信息的流程图。
图4示出了根据本发明实施例的对所述视频数据中的用户头部动作进行解析获得第三语义信息的流程图。
图5示出了根据本发明实施例的对所述视频数据中的用户表情进行解析获得第四语义信息的流程图。
图6示出了本发明实施例的人机交互装置的示意图。
图7示出本发明示例性实施例中一种计算机可读存储介质示意图。
图8示出本发明示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
图1出了根据本发明实施例的人机交互方法的流程图。所述人机交互方法包括如下步骤：
步骤S110：采集包含用户的视频数据；
步骤S120：对所述视频数据进行解析，包括：
对所述视频数据中的语音数据进行解析获得第一语义信息；
对所述视频数据中的用户手势进行解析获得第二语义信息；
对所述视频数据中的用户头部动作进行解析获得第三语义信息；
对所述视频数据中的用户表情进行解析获得第四语义信息；
步骤S130：将所述第一语义信息、第二语义信息、第三语义信息及第四语义信息进行多模融合获得多模输出；
步骤S140：将所述多模输出输入一回复预测模型，将所述回复预测模型的输出作为回复信息。
在本发明的示例性实施方式的人机交互方法中，一方面，引入了针对人机交互的手势识别、头部动作识别、表情识别算法，并且采用了目前较优的自然语言理解模型对原有语音交互系统做了优化，提高了性能；另一方面，将手势识别、头部动作、表情结合到人机交互中，大大增加了输入信息量，让交互效果更好；再一方面，提出多模融合算法，让多模的结果能融合在一起供下游任务使用。本发明中提出的多模态交互技术可以用于带有视频信息采集的摄像头和带有声音采集的麦克风设备的车载人机交互、机器人上的人机交互、其他人机交互系统等各种产品和系统中，使得交互体验更便捷、具有趣味性和更人性化。
在本发明的一些实施例中，所述步骤S120中的对所述视频数据中的语音数据进行解析获得第一语义信息的步骤可以参见图2。图2共示出如下步骤：
步骤S111：利用梅尔频率倒谱系数提取所述语音数据的语音特征；
步骤S112：将所述语音特征转化为数字特征；
步骤S113：将所述数字特征输入VGG模型，获得音素序列；
步骤S114：利用隐马尔科夫模型将所述音素序列转化为文字数据；
步骤S115：利用BERT模型获取所述文字数据的第一语义信息。
具体而言，在语音输入后可以进行去噪处理，去噪后利用MFCC(梅尔频率倒谱系数)提取语音特征，将语音特征转化成数字特征。接下来将数字特征输入VGG网络模型，得到音素序列，最后将音素序列利用HMM(隐马尔科夫模型)语言模型转化成文字数据。得到文字数据后，利用BERT模型(目前在自然语言理解任务上，准确率和泛化性能最好的神经网络模型)获取语言的第一语义信息，这里的语义信息包括时间、地名、人名、机构名、歌曲名、事件名、心情、态度等，获得的第一语义信息输出供后续多模融合使用。
在本发明的一个具体实施例中，所述步骤S120中的对所述视频数据中的用户手势进行解析获得第二语义信息的步骤可以参见图3。图3共示出如下步骤：
步骤S121：将所述视频数据划分为若干帧；
步骤S122：将所划分的帧输入一经训练的神经网络模型；
步骤S123：将所述神经网络模型的输出作为手势信息；
步骤S124：将所述手势信息转化为第二语义信息。
当本发明应用于车载系统时，可以通过装备摄像头来获取用户放在方向盘上的手势视频信息，得到视频后，分成若干帧，输入给一神经网络。在一个优选地实施例中，可以使用RESNET-50神经模型，后再接一个全连接层从而输出手势信息后，将手势信息转化成自然语言，最终输出自然语言，手势可以包括但不限于大拇指向上、大拇指向下，摇手等，转化后的自然语言可以包括但不限于肯定、否定、赞扬、开心、失望等。
在本发明的一个具体实施例中，所述步骤S120中的对所述视频数据中的用户头部动作进行解析获得第三语义信息的步骤可以参见图4。图4共示出如下步骤：
步骤S131：将所述视频数据划分为若干帧；
步骤S132：提取每一帧图像中头部动作坐标；
步骤S133：判断相邻帧的头部动作坐标的变化量是否大于一预设阈值；
若是，则执行步骤S134：将该相邻帧中的头部移动确定为一头部动作；
若否则迭代执行步骤S133判断相邻帧的头部动作坐标的变化量是否大于一预设阈值的步骤；
步骤S135：将所获得的头部动作转化为第三语义信息。
当本发明应用于车载系统时，可以通过摄像头获取用户的头部动作视频信息，得到视频信息后，分成若干帧，将每一帧的图片转化成头部动作坐标，判断前一帧和后一帧的坐标变化，计算头部的变化量是否需大于阈值，如果大于阈值，就是某一个头部动作，直接输出头部动作信息，如果不大于某一个阈值，继续计算接下来的帧，一直遍历下去，直到采集完所有的帧输出。得到动作后再转化成自然语言输出，头部动作包括：点头、摇头、其他，对应的自然语义可以是肯定、否定、其他。
在本发明的一个具体实施例中，所述步骤S120中的对所述视频数据中的用户表情进行解析获得第四语义信息的步骤可以参见图5。图5共示出如下步骤：
步骤S141：将所述视频数据划分为若干帧；
步骤S142：利用mini Xception模型解析每一帧图片的表情；
步骤S143：若N帧图片中，大于预定比例的图片的表情皆为同一表情时，将该表情转化为第四语义信息。N为大于1的整数。
当本发明应用于车载系统时，可以通过摄像头获取用户的表情视频信息，得到视频信息后，分成若干帧，将每一帧的图片，用mini—Xception模型预测，如果10帧中有超过阈值的帧数是某一个表情，就输出自然语义表情。表情包括人类自然存在的表情包括兴奋、高兴、惊奇、害怕、害羞、厌恶、愤怒、伤心。
在本发明的一个具体实施例中，获得的所述第一语义信息、第二语义信息、第三语义信息及第四语义信息皆包含多个子语义信息。由此，图1所示的步骤S130通过如下步骤实现语义信息的融合：获取多个第一准多模融合输出及各第一准多模融合输出的语言模型分数；将语言模型分数最高的第一准多模融合输出作为多模输出。在该实施例中，每个第一准多模融合输出及该准多模融合输出的语言模型分数根据如下步骤获取：自所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中随机选取多个子语义信息；融合该多个子语义信息，获得第一准多模融合输出，并计算该第一准多模融合输出的语言模型分数。优选地，每次分别自所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中选取四个子语义信息。具体而言，本发明所描述的融合是将四种子语义信息输入到预训练的语言模型中，语言模型会对每个子语义信息进行编码，分别生成包含子语义信息的一句话，然后将四句话进行拼接，拼接后的结果进行分类，分类的类别是预先定义的所有四种语义信息包含的类别。将这个类别输出的结果与每种自语义信息输入计算相似度，这个相似度的就是语言模型的分数。
在上述实施例的一个具体实现中，所述步骤S130还包括：判断所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中的多个子语义信息是否存在语义冲突。若不存在，则执行前述的获取多个第一准多模融合输出及各第一准多模融合输出的语言模型分数的步骤。若存在，则执行如下步骤：对于语义冲突的多个子语义信息，基于该子语义信息所属的语义信息的权重，融合该多个语义冲突的多个子语义信息，获得冲突融合输出；获取多个第二准融合输出该第二准多模融合输出的语言模型分数，其中，每个第二准融合输出及该第二准多模融合输出的语言模型分数根据如下步骤获取：自所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中随机选取多个不存在语义冲突的子语义信息；融合该多个不存在语义冲突的子语义信息及所述冲突融合输出，获得第二准多模融合输出，并计算该第二准多模融合输出的语言模型分数；将语言模型分数最高的第二准多模融合输出作为多模输出。具体而言，本发明所描述的语义冲突是通过一个简单的分类模型来实现的，提前将所有的语义信息进行分类，比如高兴、开心是一类，悲伤、难过是一类，分别将子语义信息输入分类模型，如果一个是开心类，一个是难过类，那就认为是存在冲突的。
上述步骤S140中，当解析完用户多模输入信息，并生成多模输出后，就可以结合下层的意图分类模型、生成模型、检索模型，最后对结果重排序获取到最符合要求的结果反馈给用户。作为一个优选的实施例，意图分类模型使用BERT模型，采用人机对话中的各类别数据，类别主要包括音乐、导航、联系人、车控、闲聊等，结合BERT模型做微调，获取最后的分类目标；生成模型主要是使用seq2seq生成模型，语料为人机对话问答对，模型主要包括编码器、注意力机制、解码器部分，最终得到100个结果。检索模型主要是结合ElasticSearch分布式数据库使用BM25算法，并按照排名取前200个结果。得到300个结果后，采用LamdaMART模型对300个结果结合多模输出进行重排序，获取最终每一个结果的分数，取得分最高的分数回复用户。
具体而言，BERT模型本身是一个预训练好的模型，是基于大量的语料训练的。在使用的时候，基于预训练模型，使用自己的少量数据再训练就可以得到比较好的效果，这个过程就叫做微调。分类目标的目的是确认检索模型的范围，不需要到所有的类别的数据中检索，只要确定了属于什么类别，到这个类别对应的数据中检索就可以了，这样可以节省很多搜索时间。
LambdaMART是一种基于GBDT的排序算法，将搜索排序问题转化为回归决策树问题，将文档是否相似进行标注后就可以进行训练。GBDT是回归树模型，输出时连续值，可以直接用作得分，相似度越高的模型输入的分值越大。
以上仅仅是示意性地描述本发明的多个实现方式，上述各实现方式可以单独或组合实现，本发明并非以此为限制。
图6示出了根据本发明实施例的人机交互装置的模块图。人机交互装置200包括采集模块210、解析模块220、融合模块230及回复模块240。
采集模块210用于采集包含用户的视频数据；
解析模块220用于对所述视频数据进行解析，包括：
对所述视频数据中的语音数据进行解析获得第一语义信息；
对所述视频数据中的用户手势进行解析获得第二语义信息；
对所述视频数据中的用户头部动作进行解析获得第三语义信息；
对所述视频数据中的用户表情进行解析获得第四语义信息；
融合模块230用于将所述第一语义信息、第二语义信息、第三语义信息及第四语义信息进行多模融合获得多模输出；
回复模块240用于将所述多模输出输入一回复预测模型，将所述回复预测模型的输出作为回复信息。
在本发明的示例性实施方式的人机交互装置中，一方面，引入了针对人机交互的手势识别、头部动作识别、表情识别算法，并且采用了目前较优的自然语言理解模型对原有语音交互系统做了优化，提高了性能；另一方面，将手势识别、头部动作、表情结合到人机交互中，大大增加了输入信息量，让交互效果更好；再一方面，提出多模融合算法，让多模的结果能融合在一起供下游任务使用。本发明中提出的多模态交互技术可以用于带有视频信息采集的摄像头和带有声音采集的麦克风设备的车载人机交互、机器人上的人机交互、其他人机交互系统等各种产品和系统中，使得交互体验更便捷、具有趣味性和更人性化。
图6仅仅是示意性的示出本发明提供的人机交互装置200，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。本发明提供的人机交互装置200可以由软件、硬件、固件、插件及他们之间的任意组合来实现，本发明并非以此为限。
在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述人机交互方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述人机交互方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图7示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述人机交互方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8描述根据本发明的这种实施方式的电子设备500。图8示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：至少一个处理单元510、至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530、显示单元540等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述人机交互方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1至5所示的步骤。
所述存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
所述存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器560可以通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述人机交互方法。
目前的人机交互系统大多是只采集用户的语音数据，忽略了图片视频信息在语音交流中的作用。而本发明主要是结合与人相关联的视频数据，并针对性的设计出对应的算法去解析信息，并最终构建一个基于深度学习的人机多模交互系统。具有如下优势：
1)引入了针对人机交互的手势识别、头部动作识别、表情识别算法，并且采用了目前较优的自然语言理解模型(如BERT模型)对原有语音交互系统做了优化，提高了性能。
2)将手势识别、头部动作、表情结合到人机交互中，大大增加了输入信息量，让交互效果更好。
3)提出多模融合算法，让多模的结果能融合在一起供下游任务使用。本发明中提出的多模态交互技术可以用于带有视频信息采集的摄像头和带有声音采集的麦克风设备的车载人机交互、机器人上的人机交互、其他人机交互系统等各种产品和系统中，使得交互体验更便捷、具有趣味性和更人性化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

Claims (9)

1.一种人机交互方法，其特征在于，包括：
步骤S110：采集包含用户的视频数据；
步骤S120：对所述视频数据进行解析，包括：
对所述视频数据中的语音数据进行解析获得第一语义信息；
对所述视频数据中的用户手势进行解析获得第二语义信息；
对所述视频数据中的用户头部动作进行解析获得第三语义信息；
对所述视频数据中的用户表情进行解析获得第四语义信息；
步骤S130：将所述第一语义信息、第二语义信息、第三语义信息及第四语义信息进行多模融合获得多模输出；所述第一语义信息、第二语义信息、第三语义信息及第四语义信息皆包含多个子语义信息，步骤S130还包括：获取多个第一准多模融合输出及各第一准多模融合输出的语言模型分数，其中，每个所述第一准多模融合输出及该准多模融合输出的语言模型分数根据如下步骤获取：自所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中随机选取多个子语义信息；融合所述多个子语义信息，获得第一准多模融合输出，并计算所述第一准多模融合输出的语言模型分数；将所述语言模型分数最高的第一准多模融合输出作为多模输出；
步骤S140：将所述多模输出输入一回复预测模型，将所述回复预测模型的输出作为回复信息。
2.如权利要求1所述的人机交互方法，其特征在于，所述对所述视频数据中的语音数据进行解析获得第一语义信息包括：
利用梅尔频率倒谱系数提取所述语音数据的语音特征；
将所述语音特征转化为数字特征；
将所述数字特征输入VGG模型，获得音素序列；
利用隐马尔科夫模型将所述音素序列转化为文字数据；
利用BERT模型获取所述文字数据的第一语义信息。
3.如权利要求1所述的人机交互方法，其特征在于，所述对所述视频数据中的用户手势进行解析获得第二语义信息包括：
将所述视频数据划分为若干帧；
将所划分的帧输入一经训练的神经网络模型；
将所述神经网络模型的输出作为手势信息；
将所述手势信息转化为第二语义信息。
4.如权利要求1所述的人机交互方法，其特征在于，所述对所述视频数据中的用户头部动作进行解析获得第三语义信息包括：
将所述视频数据划分为若干帧；
提取每一帧图像中头部动作坐标；
判断相邻帧的头部动作坐标的变化量是否大于一预设阈值；
若是，则将该相邻帧中的头部移动确定为一头部动作；
若否，则迭代执行判断相邻帧的头部动作坐标的变化量是否大于一预设阈值的步骤；
将所获得的头部动作转化为第三语义信息。
5.如权利要求1所述的人机交互方法，其特征在于，所述对所述视频数据中的用户表情进行解析获得第四语义信息包括：
将所述视频数据划分为若干帧；
利用mini Xception模型解析每一帧图片的表情；
若N帧图片中，大于预定比例的图片的表情皆为同一表情时，将该表情转化为第四语义信息。
6.如权利要求1所述的人机交互方法，其特征在于，所述步骤S130还包括：
判断所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中的多个子语义信息是否存在语义冲突；
若不存在，则执行所述获取多个第一准多模融合输出及各第一准多模融合输出的语言模型分数的步骤；
若存在，则：
对于语义冲突的多个子语义信息，基于该子语义信息所属的语义信息的权重，融合该多个语义冲突的多个子语义信息，获得冲突融合输出；
获取多个第二准融合输出及 该第二准多模融合输出的语言模型分数，其中，每个第二准融合输出及该第二准多模融合输出的语言模型分数根据如下步骤获取：
自所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中随机选取多个不存在语义冲突的子语义信息；
融合该多个不存在语义冲突的子语义信息及所述冲突融合输出，获得第二准多模融合输出，并计算该第二准多模融合输出的语言模型分数；
将语言模型分数最高的第二准多模融合输出作为多模输出。
7.一种人机交互装置，其特征在于，包括：
采集模块，用于采集包含用户的视频数据；
解析模块，用于对所述视频数据进行解析，包括：
对所述视频数据中的语音数据进行解析获得第一语义信息；
对所述视频数据中的用户手势进行解析获得第二语义信息；
对所述视频数据中的用户头部动作进行解析获得第三语义信息；
对所述视频数据中的用户表情进行解析获得第四语义信息；
融合模块，用于将所述第一语义信息、第二语义信息、第三语义信息及第四语义信息进行多模融合获得多模输出；所述第一语义信息、第二语义信息、第三语义信息及第四语义信息皆包含多个子语义信息，所述融合模块还包括：用于获取多个第一准多模融合输出及各第一准多模融合输出的语言模型分数，其中，每个所述第一准多模融合输出及该准多模融合输出的语言模型分数根据如下步骤获取：自所述第一语义信息、第二语义信息、第三语义信息及第四语义信息中随机选取多个子语义信息；融合所述多个子语义信息，获得第一准多模融合输出，并计算所述第一准多模融合输出的语言模型分数；将所述语言模型分数最高的第一准多模融合输出作为多模输出；
回复模块，用于将所述多模输出输入一回复预测模型，将所述回复预测模型的输出作为回复信息。
8.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至6任一项所述的人机交互方法。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的人机交互方法。
CN201911318821.9A 2019-12-19 2019-12-19 人机交互方法、装置、电子设备、存储介质 Active CN111177346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911318821.9A CN111177346B (zh) 2019-12-19 2019-12-19 人机交互方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911318821.9A CN111177346B (zh) 2019-12-19 2019-12-19 人机交互方法、装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111177346A CN111177346A (zh) 2020-05-19
CN111177346B true CN111177346B (zh) 2022-10-14

Family

ID=70648939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911318821.9A Active CN111177346B (zh) 2019-12-19 2019-12-19 人机交互方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111177346B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308116B (zh) * 2020-09-28 2023-04-07 济南大学 一种助老陪护机器人的自调优多通道融合方法和系统
CN113591659B (zh) * 2021-07-23 2023-05-30 重庆长安汽车股份有限公司 一种基于多模态输入的手势操控意图识别方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965592A (zh) * 2015-07-08 2015-10-07 苏州思必驰信息科技有限公司 基于语音和手势识别的多模态非触摸人机交互方法及系统
CN105739688A (zh) * 2016-01-21 2016-07-06 北京光年无限科技有限公司 一种基于情感体系的人机交互方法、装置和交互系统
CN106997236B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
CN106909946A (zh) * 2017-03-02 2017-06-30 深圳明创自控技术有限公司 一种多模态融合的商品分类系统
CN107301168A (zh) * 2017-06-01 2017-10-27 深圳市朗空亿科科技有限公司 智能机器人及其情绪交互方法、系统
CN110263256B (zh) * 2019-06-21 2022-12-02 西安电子科技大学 基于多模态异质信息的个性化推荐方法
CN110390816A (zh) * 2019-07-18 2019-10-29 电子科技大学 一种基于多模型融合的状态判别方法

Also Published As

Publication number Publication date
CN111177346A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
US10977452B2 (en) Multi-lingual virtual personal assistant
US11503155B2 (en) Interactive voice-control method and apparatus, device and medium
CN110427617B (zh) 推送信息的生成方法及装置
KR102462426B1 (ko) 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
US11282522B2 (en) Artificial intelligence apparatus and method for recognizing speech of user
CN115329779B (zh) 一种多人对话情感识别方法
US11881209B2 (en) Electronic device and control method
US20200219487A1 (en) Information processing apparatus and information processing method
CN110807333A (zh) 一种语义理解模型的语义处理方法、装置及存储介质
CN114995657B (zh) 一种智能机器人的多模态融合自然交互方法、系统及介质
CN110991175B (zh) 多模态下的文本生成方法、系统、设备及存储介质
CN111177346B (zh) 人机交互方法、装置、电子设备、存储介质
US11468247B2 (en) Artificial intelligence apparatus for learning natural language understanding models
CN114005446A (zh) 情感分析方法、相关设备及可读存储介质
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
US20210337274A1 (en) Artificial intelligence apparatus and method for providing visual information
CN107943299B (zh) 情感呈现方法和装置、计算机设备及计算机可读存储介质
Goyal et al. Personalized Emotion Detection from Text using Machine Learning
JP3949913B2 (ja) 手話文認識装置およびユーザインタフェース
KR102635031B1 (ko) 의미 단위 시각화를 기반으로 한 화자 분리 실시간 통역 서비스 제공 방법, 장치 및 시스템
US11978438B1 (en) Machine learning model updating
KR20190106011A (ko) 대화 시스템 및 그 방법, 그 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
CN113555006B (zh) 一种语音信息识别方法、装置、电子设备及存储介质
US20240095987A1 (en) Content generation
CN110909142B (zh) 一种问答模型的问题语句处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20230131

Granted publication date: 20221014

PD01 Discharge of preservation of patent
PD01 Discharge of preservation of patent

Date of cancellation: 20240108

Granted publication date: 20221014

PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20240130

Granted publication date: 20221014