CN111385188A - 对话元素的推荐方法、装置、电子设备和介质 - Google Patents

Abstract

本申请公开了一种对话元素的推荐方法、装置、电子设备和介质，涉及计算机技术领域。具体实现方案为：获取当前对话场景的上文内容；根据上文内容的语义确定对话回复元素；将所述对话回复元素进行推荐；将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。本申请通过根据上文内容确定对话回复元素，并推荐给用户，将用户输入确定的至少一个对话回复元素，作为下文内容在当前对话场景中发送，避免了用户针对对话回复元素进行手动搜索或浏览查找，减少了用户操作流程时间，提高了用户在对话过程中获得供展示的丰富元素的效率。

Description

对话元素的推荐方法、装置、电子设备和介质

技术领域

本申请涉及计算机技术领域，具体涉及人工智能技术，尤其涉及一种对话元素的推荐方法、装置、电子设备和介质。

背景技术

随着互联网技术和通信技术的发展，人们已经越来越多的通过网络进行信息浏览和交流。例如，社交软件中，人们可以发布自己的想法，其他人可以进行评论和转发；即时通信软件中，用户之间可以进行信息交流。

上述各种信息展示和交互时，逐渐已经不局限于文字交流，而是融入了各种元素，如图片、视频等。现有技术中，信息输入类软件中，可提供表情图片等，供用户选择来输入，从而帮助用户表达自己的想法。

但是，现有技术中，有时用户不知道图片库中有哪些图片供自己选择，只能在大量图片库中进行搜索或浏览查找，导致用户操作流程较长。

发明内容

本申请提供一种对话元素的推荐方法、装置、电子设备和介质，以提高用户在对话过程中获得供展示的丰富元素的效率。

第一方面，本申请实施例提供了一种对话元素的推荐方法，所述方法包括：

获取当前对话场景的上文内容；

根据上文内容的语义确定对话回复元素；

将所述对话回复元素进行推荐；

将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。

上述申请中的一个实施例具有如下优点或有益效果：通过根据上文内容确定对话回复元素，并推荐给用户，将用户输入确定的至少一个对话回复元素，作为下文内容在当前对话场景中发送，避免了用户针对对话回复元素进行手动搜索或浏览查找，减少了用户操作流程时间，提高了用户在对话过程中获得供展示的丰富元素的效率。

可选地，所述对话回复元素包括图片、视频和动图中的至少一个。

上述申请中的一个实施例具有如下优点或有益效果：通过将图片、视频和动图中的至少一个作为对话回复元素，提高了对话场景中的趣味性。

可选的，根据上文内容的语义确定对话回复元素包括：

根据所述上文内容的元素确定上文语义；

根据所述上文语义确定下文语义；

根据所述下文语义确定所述对话回复元素。

上述申请中的一个实施例具有如下优点或有益效果：通过根据上文语义确定下文语义，并根据下文语义确定对话回复元素，实现了根据上文语义直接确定对话回复元素，省去了用户手动搜索或者浏览查找对话回复元素的时间。

可选的，根据所述上文语义确定下文语义包括：

根据所述上文语义，在问答对集合中检索匹配下文语义。

上述申请中的一个实施例具有如下优点或有益效果：通过检索的方法在问答对中匹配下文语义，实现了根据上文语义确定下文语义的效果，为后续根据下文语义确定对话回复元素奠定了基础。

可选的，根据所述上文内容的元素确定上文语义包括：

如果所述上文内容的元素是文本语句，则将所述文本语句或文本语句的关键词作为所述上文语义；

如果所述上文内容的元素包括图片，则将所述图片输入语义识别模型，以识别所述图片的语义，作为所述上文语义；其中，所述图片为单张图片、视频中的关键帧图片或动图中的关键帧图片。

上述申请中的一个实施例具有如下优点或有益效果：当上文内容的元素为文本语句时，则将文本语句或文本语句的关键词作为所述上文语义；当上文内容的元素包括图片，则将图片输入语义识别模型，以识别所述图片的语义，作为所述上文语义，使得无论上文内容的元素是文本语句或者图片，后续都可以确定对话回复元素，从而扩展了推荐对话元素的适用场景。

可选的，所述语义识别模型为基于图片和语义样本对进行训练后的机器学习模型。

上述申请中的一个实施例具有如下优点或有益效果：通过基于图片和语义样本训练得到机器学习模型，使得根据机器学习模型就是可以识别图片的语义，作为所述上文语义。

可选的，所述图片和语义样本对中的语义包括主题、情绪和场景；

其中，所述主题包括至少两级标签，用于表征图片内容；

所述情绪包括至少两级标签，用于表征图片的情绪类别；

所述场景用于表征图片所适用的对话场景。

上述申请中的一个实施例具有如下优点或有益效果：通过将主题、情绪和场景设置为图片和语义样本对中的语义，并且将主题和情绪设置为至少包括两级标签，使得图片的语义能更加详细的描述和概括对应图片的特性，进而使后续根据图片的语义能更加精准的确定对话回复元素。

可选的，将所述图片输入语义识别模型，以识别所述图片的语义，作为所述上文语义包括：

将所述图片输入语义识别模型，以识别所述图片的语义；

从所述图片中提取文本，与识别的所述图片的语义，进行组合，以作为所述上文语义。

上述申请中的一个实施例具有如下优点或有益效果：将图片中提取的文字以及图片的语义共同作为上文语义，使得上文语义能更加详细的描述和概括对应图片的特性，进而使后续根据上文语义能更加精准的确定对话回复元素。

可选的，根据所述上文语义，在问答对集合中检索匹配下文语义包括：

根据所述上文语义，在问答对集合中检索匹配候选下文语义；

使用基于深度机器学习的语义匹配模型，对多个所述候选下文语义进行匹配度排序；

根据排序结果对各所述候选下文语义进行筛选。

上述申请中的一个实施例具有如下优点或有益效果：通过根据上文语义，在问答对集合中检索匹配候选下文语义，再基于深度机器学习的语义匹配模型对候选下文语义进行匹配度排序，以筛选候选下文语义，使得最终得到的下文语义与上文语义更加匹配，进而使得后续根据下文语义确定的对话回复元素也更加符合用户需求。

可选的，根据所述下文语义确定所述对话回复元素包括：

对所述下文语义进行切词处理，以抽取至少一个语义关键词；

基于所述语义关键词，在元素库中进行检索，以确定至少一个候选对话回复元素；

从所述候选对话回复元素中提取特征，使用决策树模型对所述语义关键词和元素提取特征进行匹配度排序；

根据排序结果对所述候选对话回复元素进行筛选。

上述申请中的一个实施例具有如下优点或有益效果：通过基于语义关键词在元素库中检索，得到至少一个候选对话回复元素，在根据决策树模型，对候选对话回复元素进行排序和筛选，使得能够根据下文语义得到更精准的对话回复元素。

可选的，将所述对话回复元素进行推荐包括：

根据所述对话回复元素的回复情绪倾向进行分类；

将各所述对话回复元素，按照分类结果进行分别显示，以推荐给用户进行选择；

其中，所述回复情绪倾向的分类包括：正面回复、负面回复和中立回复。

上述申请中的一个实施例具有如下优点或有益效果：通过根据对话回复元素的回复情绪倾向，将对话回复元素分成包括：正面回复、负面回复和中立回复，并将分类结果推荐给用户选择，使得用户可以根据需求选择合适类型的对话回复元素进行回复，提高了对话场景的趣味性。

可选的，获取当前对话场景的上文内容包括：

在评论区获取到输入指示时，将所述评论区关联的待评论内容作为当前对话场景的上文内容；或

在即时通信获取到输入指示时，将即时通信的对话上文作为当前对话场景的上文内容。

上述申请中的一个实施例具有如下优点或有益效果：通过在评论区或者即时通信获取到输入指令时，分别将评论区关联的待评论内容或者即时通信的对话上文作为当前对话场景的上文内容，使得对话场景无论是评论区或者是即时通信，都可以实现根据上文内容确定对话回复元素的技术效果。

可选的，在评论区获取到输入指示时或在即时通信获取到输入指示时，还包括：

唤起输入法键盘界面，在界面中显示元素自动推荐入口控件；

相应的，将所述对话回复元素进行推荐包括：

将所述对话回复元素在所述输入法键盘界面的元素推荐窗口中进行展示。

上述申请中的一个实施例具有如下优点或有益效果：通过在界面中显示元素自动推荐入口控件，使得用户可以根据自身需求选择是否打开元素自动推荐入口控件，以显示对话回复元素；通过将对话回复元素在输入法键盘界面的元素推荐窗口中进行展示，使得用户可以更直观的浏览到对话回复元素，以从中选择对话回复元素而发送。

第二方面，本申请实施例提供了一种对话元素的推荐装置，所述装置包括：

上文内容获取模块，用于获取当前对话场景的上文内容；

对话回复元素确定模块，用于根据上文内容的语义确定对话回复元素；

对话回复元素推荐模块，用于将所述对话回复元素进行推荐；

下文内容发送模块，用于将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。

第三方面，本申请实施例还公开了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的对话元素的推荐方法。

第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的对话元素的推荐方法。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1A是根据本申请第一实施例的一种对话元素的推荐方法的流程示意图；

图1B是根据本申请第一实施例的一种回复情绪倾向分类的示意图；

图1C是根据本申请第一实施例的一种元素推荐窗口的示意图；

图2A是根据本申请第二实施例的一种对话元素的推荐方法的流程示意图；

图2B是根据本申请第二实施例的一种元素自动推荐入口控件的示意图；

图3是根据本申请第三实施例的一种对话元素的推荐方法的流程示意图；

图4是根据本申请第四实施例的一种对话元素的推荐装置的结构示意图；

图5是用来实现本申请实施例的对话元素的推荐方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

实施例一

图1A是本申请实施例一提供的一种对话元素的推荐方法的流程示意图。本实施例适用于用户在社交软件中与其它用户以图片形式进行聊天的情况，可以由本申请实施例提供的对话元素的推荐装置来执行，该装置可以采用软件和/或硬件的方式实现。该装置可选的配置在客户端中，集成于用户终端。或者，该装置部分集成于客户端，并与服务端配合实现。如图1A所示，该方法可以包括：

S101、获取当前对话场景的上文内容。

其中，当前对话场景包括终端的即时通信界面或是社交软件的交流区等，例如短信界面或聊天软件的聊天界面，又例如论坛的交流区或朋友圈的交流区等。上文内容是根据当前对话场景的类型确定的，不同类型的对话场景对应不同类型的上文内容。

具体的，在当前对话场景中获取到输入指示时，根据当前对话场景的类型，确定当前对话场景的上文内容。

可选的，S101包括：在评论区获取到输入指示时，将所述评论区关联的待评论内容作为当前对话场景的上文内容；或在即时通信获取到输入指示时，将即时通信的对话上文作为当前对话场景的上文内容。

其中，输入指示可以是用户在当前对话场景中，唤起输入法键盘界面时生成的控制指令。评论区关联的待评论内容和即时通信的对话上文的形式，包括文本语句、图片、视频或是动图中的至少一种。例如，假设用户A在某论坛交流区中发帖称“今天天气真好”，则“今天天气真好”就可以被看作是一条待评论内容，若用户B在该帖子关联的评论区进行评论时，获取用户B的输入指示，将“今天天气真好”作为当前对话场景的上文内容；又例如，假设用户A在某聊天软件的聊天界面中向用户B发送了一个表情图，则所述表情图就可以被看作是即时通信的对话上文，若用户B在聊天界面中进行消息回复时，获取用户B的输入指示，将所述表情图作为当前对话场景的上文内容。

通过获取当前对话场景的上文内容，为后续根据上文内容确定对话回复元素奠定了基础。

S102、根据上文内容的语义确定对话回复元素。

其中，对话回复元素可看作是针对上文内容的可选回复内容，用户可根据对话回复元素，输入确定目标对话回复元素，以回复上文内容。对话回复元素包括图片、视频和动图中的至少一个。

具体的，根据上文内容的元素确定上文内容的语义，并根据得到的上文内容的语义在数据库中匹配得到下文的语义，最终根据下文的语义确定对话回复元素。

可选的，S102包括：

A、根据所述上文内容的元素确定上文语义。

其中，上文内容的元素是根据上文内容的形式确定。可选的，若上文内容的形式为文本语句，则上文内容的元素就是文本语句；若上文内容的形式为图片，则上文内容的元素为单张图片；若上文内容的形式为视频或者动图，则上文内容的元素为视频中的关键帧图片或动图中的关键帧图片。

具体的，如果上文内容的元素是文本语句，则将所述文本语句或文本语句的关键词作为所述上文语义；如果上文内容的元素包括图片，则识别图片的语义，并将图片的语义作为上文语义。

B、根据所述上文语义确定下文语义。

可选的，步骤B包括：1)根据上文语义，在问答对集合中检索匹配下文语义；或者，2)通过将上文语义输入到训练好的机器学习模型中，以预测得到下文语义等。

其中，在1)的实现方式中，问答对集合包括以K-V键值对的形式存储于语料库中。问答对集合是通过采集和分析海量用户的聊天记录以及实时热词而生成的，在问答对集合中，一个“问题”对应至少一个“回答”。根据上文语义，在语料库中以预设检索方式对存储的问答对集合进行检索，以在问答对集合中确定匹配的“问题”，并将匹配的“问题”对应的“回答”，作为匹配的下文语义。其中，预设检索方式包括倒排索引和文本相似度计算相结合的索引方式。

在2)的实现方式中，机器学习模型包括通过卷积神经网络对语料样本进行训练得到的。

C、根据所述下文语义确定所述对话回复元素。

其中，每个对话回复元素和对应的关键词以K-V键值对的形式存储于元素库中。一个“对话回复元素”对应至少一个“关键词”，而每个“对话回复元素”的“关键词”可以由相关人员添加并建立与“对话回复元素”之间的关联关系。

具体的，根据下文语义的关键词，在元素库总进行检索，并将检索得到的至少一个对话回复元素，作为所述上文内容的对话回复元素。

通过根据上文内容的语义确定对话回复元素，避免了用户通过手动检索或浏览查询以得到对话回复元素，节省了用户的操作时间。

上述操作，可以由客户端本地来执行，也可以推送给服务端，以请求服务端确定对话回复元素，并反馈给客户端。

S103、将所述对话回复元素进行推荐。

具体的，将S102中确定的对话回复元素进行分类后，在可视窗口中向用户进行展示，供用户从对话回复元素中确定目标对话回复元素并发送。

可选的，S103包括：将对话回复元素在输入法键盘界面的元素推荐窗口中进行展示。

S103还包括：根据所述对话回复元素的回复情绪倾向进行分类；将各所述对话回复元素，按照分类结果进行分别显示，以推荐给用户进行选择。

其中，通过包括卷积神经网络的视觉理解能力以及语义理解能力将对话回复元素进行情绪分析，以确定对话回复元素的回复情绪倾向。回复情绪倾向的分类包括：正面回复、负面回复和中立回复，正面回复表示对话回复元素与上文内容具有相同的观点，语义上具有承接性；负面回复表示对话回复元素与上文内容具有相反的观点，语义上具有对抗性；中立回复表示对话回复元素没有明确主观倾向，且没有明确语义。

示例性的，图1B是一种回复情绪倾向分类的示意图，其中10表示当前对话场景的上文内容，11表示该上文内容的一种正面回复性对话回复元素，12表示该上文内容的一种负面回复性对话回复元素，13表示该上文内容的一种中立回复性对话回复元素。图1C是一种元素推荐窗口的示意图，其中，在该元素推荐窗口中将对话回复元素分成“跟”、“怼”和“佛”三种回复情绪倾向，用户选择“跟”时，该元素推荐窗口则显示正面回复性对话回复元素；用户选择“怼”时，该元素推荐窗口则显示负面回复性对话回复元素；用户选择“佛”时，该元素推荐窗口则显示中立回复性对话回复元素。

通过将对话回复元素进行推荐，使得用户可以从对话回复元素中，确定目标对话回复元素，作为下文内容在当前对话场景中发送，节省了用户手动检索或浏览查询对话回复元素的时间。

S104、将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。

具体的，用户在可视窗口显示的推荐对话回复元素中，根据自身喜好以及需求通过包括单击、双击或者拖拽等手势操作确定目标对话回复元素，并将目标对话回复元素作为下文内容在当前对话场景中发送。

通过将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送，实现了根据上文内容快速发送下文内容的效果，提高了用户在对话过程中获得供展示的丰富元素的效率，并且满足了用户的轻社交需求。

本申请实施例提供的技术方案，通过根据上文内容确定对话回复元素，并推荐给用户，将用户输入确定的至少一个对话回复元素，作为下文内容在当前对话场景中发送，避免了用户针对对话回复元素进行手动搜索或浏览查找，减少了用户操作流程时间，提高了用户在对话过程中获得供展示的丰富元素的效率。

实施例二

图2A为本申请实施例二提供的一种对话元素的推荐方法的流程示意图。本实施例为上述实施例一提供了一种具体实现方式，该具体实现方式适用于解决当前对话场景的上文内容的元素是文本语句时，用户手动检索或浏览查询对话回复元素消耗较长时间的问题，如图2A所示，该方法可以包括：

S201、获取当前对话场景的上文内容。

可选的，在评论区获取到输入指示时，将所述评论区关联的待评论内容作为当前对话场景的上文内容；或在即时通信获取到输入指示时，将即时通信的对话上文作为当前对话场景的上文内容。

其中，在评论区获取到输入指示时或在即时通信获取到输入指示时，还包括：唤起输入法键盘界面，在界面中显示元素自动推荐入口控件。

示例性的，图2B是一种元素自动推荐入口控件的示意图，其中元素自动推荐入口控件20显示在窗口中，用于当用户点击该入口控件20时，则会在输入法键盘界面生成元素推荐窗口，并在元素推荐窗口中展示对话回复元素。

S202、如果所述上文内容的元素是文本语句，则将所述文本语句或文本语句的关键词作为所述上文语义。

具体的，通过包括TF-IDF(Term Frequency–Inverse Document Frequency，词频逆文本频率指数)、图论排序算法或者基于文档主题生成模型的关键词提取方法，来提取所述文本语句的关键词。

示例性的，文本语句为“我今天上午在C1教学楼有一门高数考试”，则通过关键词提取，将“今天上午”、“C1教学楼”以及“高数考试”作为该文本语句的关键词。

S203、根据所述上文语义，在问答对集合中检索匹配候选下文语义，并使用基于深度机器学习的语义匹配模型，对多个所述候选下文语义进行匹配度排序。

具体的，根据上文语义，在语料库中以预设检索方式对存储的问答对集合进行检索，以在问答对集合中确定匹配的“问题”，并将匹配的“问题”对应的“回答”，作为匹配的候选下文语义。其中，预设检索方式包括倒排索引和文本相似度计算相结合的索引方式。得到候选下文语义后，将上文语义以及候选下文语义共同输入到基于深度机器学习的语义匹配模型中，以对上文语义的候选下文语义进行匹配度排序，其中语义匹配模型具体包括DSSM(Deep Structured Semantic Models，深层结构语义模型)、CLSM(Convolutional LatentSemantic Model，卷积潜在语义模型)以及LSTM-DSSM(Long-Short-Term Memory-DeepStructured Semantic Models，长期记忆深层结构语义模型)等。

可选的，若根据上文语义，在问答对集合中无法检索匹配到候选下文语义，则不会向用户进行对话回复元素的推荐；或者，将默认对话回复元素推荐给用户，供用户从默认对话回复元素中确定目标对话回复元素，作为下文内容在当前对话场景中发送。

S204、根据排序结果对各所述候选下文语义进行筛选。

具体的，根据排序结果，将排序位次在预设排序位次之前的候选下文语义，作为筛序后的下文语义。

通过根据排序结果对各候选下文语义进行筛选，保证了筛选后的下文语义与上文语义具有较高的匹配度。

S205、对筛选后的下文语义进行切词处理，以抽取至少一个语义关键词，并基于所述语义关键词，在元素库中进行检索，以确定至少一个候选对话回复元素。

其中，每个对话回复元素和对应的关键词以K-V键值对的形式存储于元素库中。一个“对话回复元素”对应至少一个“关键词”，而每个“对话回复元素”的“关键词”可以由相关人员添加并建立与“对话回复元素”之间的关联关系。

具体的，通过包括基于序列标注的切词方法、基于正向/逆向最大匹配算法、N-gram模型切词方法或者隐马尔科夫模型切词方法等，对筛选后的下文语义进行切词处理，以抽取至少一个语义关键词，语义关键词包括主体关键词或者情绪关键词等。根据语义关键词在元素库总进行检索，以在元素库中确定与语义关键词匹配的“关键词”，并将匹配的“关键词”对应的“对话回复元素”，作为候选对话回复元素。其中，检索方式包括倒排索引和文本相似度计算相结合的索引方式。

S206、从所述候选对话回复元素中提取特征，使用决策树模型对所述语义关键词和元素提取特征进行匹配度排序，并根据排序结果对所述候选对话回复元素进行筛选。

具体的，通过包括训练后的机器学习模型对候选对话回复元素进行特征提取，得到元素提取特征，并将语义关键词和元素提取特征输入到预先建立的决策树模型中，决策树模型是一种简单易用的非参数分类器，它不需要对数据有任何的先验假设，计算速度较快，结果容易解释，而且稳健性强。决策树模型输出元素提取特征对于语义关键词的匹配度排序，并将排序结果在预设排序位次以前的元素提取特征对应的候选对话回复元素，作为筛序后的对话回复元素。

S207、将筛选后的对话回复元素进行推荐。

S208、将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。

本申请实施例提供的技术方案，通过根据上文语义，在问答对集合中检索匹配候选下文语义，再基于深度机器学习的语义匹配模型对候选下文语义进行匹配度排序，以筛选候选下文语义，使得最终得到的下文语义与上文语义更加匹配，进而使得后续根据下文语义确定的对话回复元素也更加符合用户需求；通过基于语义关键词在元素库中检索，得到至少一个候选对话回复元素，在根据决策树模型，对候选对话回复元素进行排序和筛选，使得能够根据下文语义得到更精准的对话回复元素。

实施例三

图3为本申请实施例三提供的一种对话元素的推荐方法的流程示意图。本实施例为上述实施例一提供了一种具体实现方式，该具体实现方式适用于解决当前对话场景的上文内容的元素包括图片时，用户手动检索或浏览查询对话回复元素消耗较长时间的问题，如图3所示，该方法可以包括：

S301、获取当前对话场景的上文内容。

S302、如果所述上文内容的元素包括图片，则将所述图片输入语义识别模型，以识别所述图片的语义，作为所述上文语义。

其中，所述图片为单张图片、视频中的关键帧图片或动图中的关键帧图片。所述语义识别模型为基于图片和语义样本对进行训练后的机器学习模型。语义识别模型具体的训练过程为：采集样本图片，并由相关人员对采集的样本图片进行图片语义标注得到语义样本，基于样本图片和语义样本对进行机器学习训练，得到语义识别模型。

可选的，所述图片和语义样本对中的语义包括主题、情绪和场景；其中，所述主题包括至少两级标签，用于表征图片内容，例如一级主题标签可以包括“萌宠”、“明星”或者“幼儿”等，二级主题标签可以包括“猫”、“狗”或者“明星”的姓名等。所述情绪包括至少两级标签，用于表征图片的情绪类别，一级情绪标签可以包括“正向情绪”或者“负向情绪”等，二级情绪标签可以包括“高兴”、“惊喜”、“愤怒”或者“悲伤”等。所述场景用表征图片所适用的对话场景，例如场景可以包括“办公”、“家族对话”或者“年轻人聊天”等。

可选的，S302包括：将所述图片输入语义识别模型，以识别所述图片的语义；从所述图片中提取文本，与识别的所述图片的语义，进行组合，以作为所述上文语义。

具体的，通过包括OCR(Optical Character Recognition，光学字符识别)技术从图片中提取文本，并将提取的文本以及根据语义识别模型得到的图片语义，共同作为上文语义。

通过将主题、情绪和场景设置为图片和语义样本对中的语义，并且将主题和情绪设置为至少包括两级标签，使得图片的语义能更加详细的描述和概括对应图片的特性，进而使后续根据图片的语义能更加精准的确定对话回复元素；通过将图片中提取的文字以及图片的语义共同作为上文语义，使得上文语义能更加详细的描述和概括对应图片的特性，进而使后续根据上文语义能更加精准的确定对话回复元素。

S303、根据所述上文语义，在问答对集合中检索匹配候选下文语义，并使用基于深度机器学习的语义匹配模型，对多个所述候选下文语义进行匹配度排序。

S304、根据排序结果对各所述候选下文语义进行筛选。

S305、对筛选后的下文语义进行切词处理，以抽取至少一个语义关键词，并基于所述语义关键词，在元素库中进行检索，以确定至少一个候选对话回复元素。

S306、从所述候选对话回复元素中提取特征，使用决策树模型对所述语义关键词和元素提取特征进行匹配度排序，并根据排序结果对所述候选对话回复元素进行筛选。

S307、将筛选后的对话回复元素进行推荐。

S308、将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。

本申请实施例提供的技术方案，如果上文内容的元素包括图片，则将所述图片输入语义识别模型，以识别图片的语义，作为上文语义，并根据上文语义，在问答对集合中检索匹配候选下文语义，再基于深度机器学习的语义匹配模型对候选下文语义进行匹配度排序，以筛选候选下文语义，从筛序后的下文语义中抽取语义关键词，并基于语义关键词在元素库中进行检索，以确定候选对话回复元素，最终根据决策树模型进行匹配度排序，以确定筛选后的对话回复元素，避免了如果上文内容的元素包括图片时，用户针对对话回复元素进行手动搜索或浏览查找而消耗较长时间，减少了用户操作流程时间，提高了用户在对话过程中获得供展示的丰富元素的效率。

实施例四

图4为本申请实施例四提供的一种对话元素的推荐装置的结构示意图，可执行本申请任一实施例所提供的一种对话元素的推荐方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置可以包括：

上文内容获取模块41，用于获取当前对话场景的上文内容；

对话回复元素确定模块42，用于根据上文内容的语义确定对话回复元素；

对话回复元素推荐模块43，用于将所述对话回复元素进行推荐；

下文内容发送模块44，用于将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。

在上述实施例的基础上，所述对话回复元素包括图片、视频和动图中的至少一个。

在上述实施例的基础上，所述对话回复元素确定模块42，具体用于：

根据所述上文内容的元素确定上文语义；

根据所述上文语义确定下文语义；

根据所述下文语义确定所述对话回复元素。

在上述实施例的基础上，所述对话回复元素确定模块42，具体还用于：

根据所述上文语义，在问答对集合中检索匹配下文语义。

在上述实施例的基础上，所述对话回复元素确定模块42，具体还用于：

如果所述上文内容的元素是文本语句，则将所述文本语句或文本语句的关键词作为所述上文语义；

如果所述上文内容的元素包括图片，则将所述图片输入语义识别模型，以识别所述图片的语义，作为所述上文语义；其中，所述图片为单张图片、视频中的关键帧图片或动图中的关键帧图片。

在上述实施例的基础上，所述语义识别模型为基于图片和语义样本对进行训练后的机器学习模型。

在上述实施例的基础上，所述图片和语义样本对中的语义包括主题、情绪和场景；其中，所述主题包括至少两级标签，用于表征图片内容；所述情绪包括至少两级标签，用于表征图片的情绪类别；所述场景用于表征图片所适用的对话场景。

在上述实施例的基础上，所述对话回复元素确定模块42，具体还用于：

将所述图片输入语义识别模型，以识别所述图片的语义；

从所述图片中提取文本，与识别的所述图片的语义，进行组合，以作为所述上文语义。

在上述实施例的基础上，所述对话回复元素确定模块42，具体还用于：

根据所述上文语义，在问答对集合中检索匹配候选下文语义；

使用基于深度机器学习的语义匹配模型，对多个所述候选下文语义进行匹配度排序；

根据排序结果对各所述候选下文语义进行筛选。

在上述实施例的基础上，所述对话回复元素确定模块42，具体还用于：

对所述下文语义进行切词处理，以抽取至少一个语义关键词；

基于所述语义关键词，在元素库中进行检索，以确定至少一个候选对话回复元素；

从所述候选对话回复元素中提取特征，使用决策树模型对所述语义关键词和元素提取特征进行匹配度排序；

根据排序结果对所述候选对话回复元素进行筛选。

在上述实施例的基础上，所述对话回复元素推荐模块43，具体用于：

根据所述对话回复元素的回复情绪倾向进行分类；

将各所述对话回复元素，按照分类结果进行分别显示，以推荐给用户进行选择；

其中，所述回复情绪倾向的分类包括：正面回复、负面回复和中立回复。

在上述实施例的基础上，所述上文内容获取模块41，具体用于：

在评论区获取到输入指示时，将所述评论区关联的待评论内容作为当前对话场景的上文内容；或

在即时通信获取到输入指示时，将即时通信的对话上文作为当前对话场景的上文内容。

在上述实施例的基础上，所述上文内容获取模块41，具体还用于：

唤起输入法键盘界面，在界面中显示元素自动推荐入口控件。

在上述实施例的基础上，所述对话回复元素推荐模块43，具体还用于：

将所述对话回复元素在所述输入法键盘界面的元素推荐窗口中进行展示。

本申请实施例所提供的一种对话元素的推荐装置40，可执行本申请任一实施例所提供的一种对话元素的推荐方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任一实施例所提供的一种对话元素的推荐方法。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是根据本申请实施例的对话元素的推荐方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的对话元素的推荐方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的对话元素的推荐方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的对话元素的推荐方法对应的程序指令/模块(例如，附图4所示的上文内容获取模块41、对话回复元素确定模块42、对话回复元素推荐模块43以及下文内容发送模块44)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的对话元素的推荐方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据对话元素的推荐方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至对话元素的推荐方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

对话元素的推荐方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与对话元素的推荐方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过根据上文内容确定对话回复元素，并推荐给用户，将用户输入确定的至少一个对话回复元素，作为下文内容在当前对话场景中发送，避免了用户针对对话回复元素进行手动搜索或浏览查找，减少了用户操作流程时间，提高了用户在对话过程中获得供展示的丰富元素的效率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种对话元素的推荐方法，其特征在于，包括：

获取当前对话场景的上文内容；

根据上文内容的语义确定对话回复元素；

将所述对话回复元素进行推荐；

将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。

2.根据权利要求1所述的方法，其特征在于，所述对话回复元素包括图片、视频和动图中的至少一个。

3.根据权利要求2所述的方法，其特征在于，根据上文内容的语义确定对话回复元素包括：

根据所述上文内容的元素确定上文语义；

根据所述上文语义确定下文语义；

根据所述下文语义确定所述对话回复元素。

4.根据权利要求3所述的方法，其特征在于，根据所述上文语义确定下文语义包括：

根据所述上文语义，在问答对集合中检索匹配下文语义。

5.根据权利要求3所述的方法，其特征在于，根据所述上文内容的元素确定上文语义包括：

如果所述上文内容的元素是文本语句，则将所述文本语句或文本语句的关键词作为所述上文语义；

如果所述上文内容的元素包括图片，则将所述图片输入语义识别模型，以识别所述图片的语义，作为所述上文语义；其中，所述图片为单张图片、视频中的关键帧图片或动图中的关键帧图片。

6.根据权利要求5所述的方法，其特征在于，所述语义识别模型为基于图片和语义样本对进行训练后的机器学习模型。

7.根据权利要求5所述的方法，其特征在于：

所述图片和语义样本对中的语义包括主题、情绪和场景；

其中，所述主题包括至少两级标签，用于表征图片内容；

所述情绪包括至少两级标签，用于表征图片的情绪类别；

所述场景用于表征图片所适用的对话场景。

8.根据权利要求5所述的方法，其特征在于，将所述图片输入语义识别模型，以识别所述图片的语义，作为所述上文语义包括：

将所述图片输入语义识别模型，以识别所述图片的语义；

从所述图片中提取文本，与识别的所述图片的语义，进行组合，以作为所述上文语义。

9.根据权利要求3-8任一所述的方法，其特征在于，根据所述上文语义，在问答对集合中检索匹配下文语义包括：

根据所述上文语义，在问答对集合中检索匹配候选下文语义；

使用基于深度机器学习的语义匹配模型，对多个所述候选下文语义进行匹配度排序；

根据排序结果对各所述候选下文语义进行筛选。

10.根据权利要求3-8任一所述的方法，其特征在于，根据所述下文语义确定所述对话回复元素包括：

对所述下文语义进行切词处理，以抽取至少一个语义关键词；

基于所述语义关键词，在元素库中进行检索，以确定至少一个候选对话回复元素；

从所述候选对话回复元素中提取特征，使用决策树模型对所述语义关键词和元素提取特征进行匹配度排序；

根据排序结果对所述候选对话回复元素进行筛选。

11.根据权利要求1-3任一所述的方法，其特征在于，将所述对话回复元素进行推荐包括：

根据所述对话回复元素的回复情绪倾向进行分类；

将各所述对话回复元素，按照分类结果进行分别显示，以推荐给用户进行选择；

其中，所述回复情绪倾向的分类包括：正面回复、负面回复和中立回复。

12.根据权利要求1-3任一所述的方法，其特征在于，获取当前对话场景的上文内容包括：

在评论区获取到输入指示时，将所述评论区关联的待评论内容作为当前对话场景的上文内容；或

在即时通信获取到输入指示时，将即时通信的对话上文作为当前对话场景的上文内容。

13.根据权利要求12所述的方法，其特征在于，在评论区获取到输入指示时或在即时通信获取到输入指示时，还包括：

唤起输入法键盘界面，在界面中显示元素自动推荐入口控件；

相应的，将所述对话回复元素进行推荐包括：

将所述对话回复元素在所述输入法键盘界面的元素推荐窗口中进行展示。

14.一种对话元素的推荐装置，其特征在于，包括：

上文内容获取模块，用于获取当前对话场景的上文内容；

对话回复元素确定模块，用于根据上文内容的语义确定对话回复元素；

对话回复元素推荐模块，用于将所述对话回复元素进行推荐；

下文内容发送模块，用于将用户输入确定的对话回复元素，作为下文内容在当前对话场景中发送。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-13中任一项所述的对话元素的推荐方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-13中任一项所述的对话元素的推荐方法。

Images