发明内容
本公开实施例至少提供一种信息推送的方案,结合实体类意图维度和服务需求类意图维度对待检测媒体内容进行自动的意图识别,从而可以基于用户搜索意图进行信息的准确推荐,解决通过文本输入进行媒体内容搜索的复杂度高、准确性低的问题。
主要包括以下几个方面:
第一方面,本公开提供了一种信息推送的方法,所述方法包括:
获取待检测媒体内容;
从实体类意图维度对所述待检测媒体内容进行识别过滤,确定所述待检测媒体内容中,与用户搜索意图对应的至少一个第一实体对象;
从服务需求类意图维度对所述待检测媒体内容进行识别过滤,确定所述待检测媒体内容中,与用户搜索意图对应的至少一个第二实体对象;
基于所述至少一个第一实体对象和所述至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息。
在一种实施方式中,所述从实体类意图维度对所述待检测媒体内容进行识别过滤,确定所述待检测媒体内容中,与用户搜索意图对应的至少一个第一实体对象,包括:
对所述待检测媒体内容进行实体检测,得到所述待检测媒体内容中包含的至少一个实体对象;
对所述至少一个实体对象进行识别过滤,得到与用户搜索意图对应的至少一个第一实体对象。
在一种实施方式中,所述对所述待检测媒体内容进行实体检测,得到所述待检测媒体内容中包含的至少一个实体对象,包括:
将所述待检测媒体内容中的至少一张图片输入实体检测模型进行实体检测,得到所述图片中包含的实体对象;所述实体检测模型为基于已标记实体对象的训练样本图片进行训练得到的。
在一种实施方式中,所述对所述至少一个实体对象进行识别过滤,得到与用户搜索意图对应的至少一个第一实体对象,包括:
针对检测出的每个实体对象,将该实体对象的特征信息、用户特征信息、和所述待检测媒体内容的属性信息输入实体意图模型,确定该实体对象的意图得分;所述实体意图模型为基于已标记实体类意图识别结果的样本媒体内容进行训练得到的;所述用户特征信息是指发起针对所述待检测媒体内容的搜索指令的用户的特征信息;
若该意图得分大于设定分数阈值,将该实体对象作为与所述用户搜索意图对应的第一实体对象。
在一种实施方式中,所述实体对象的特征信息包括:任一实体对象在所述待检测媒体内容中的持续出现时长、所述任一实体对象在对应图片中出现的位置信息、所述任一实体对象在对应帧图片中的尺寸信息、所述任一实体对象对应的景深信息中的至少一种;
所述待检测媒体内容的属性信息包括:所述待检测媒体内容的分类信息和所述待检测媒体内容的文本描述信息中的至少一种。
在一种实施方式中,所述从服务需求类意图维度对所述待检测媒体内容进行识别过滤,确定所述待检测媒体内容中,与用户搜索意图对应的至少一个第二实体对象,包括:
对所述待检测媒体内容进行服务需求类识别过滤,确定所述待检测媒体内容中与服务需求类意图匹配的意图图片;
对匹配的意图图片进行服务需求类实体检测,得到匹配的意图图片中包含的至少一个第二实体对象。
在一种实施方式中,所述对所述待检测媒体内容进行服务需求类识别过滤,包括:
针对所述待检测媒体内容中的至少一张图片,将所述至少一张图片中的每张图片对应的特征信息、所述待检测媒体内容的属性信息、和所述待检测媒体内容的发布者的属性信息输入消费意图模型进行识别过滤,确定该张图片是否为与所述服务需求类意图匹配的意图图片;所述消费意图模型为基于已标记服务需求类识别过滤结果的样本媒体内容进行训练得到的。
在一种实施方式中,所述待检测媒体内容的属性信息包括以下信息中的至少一种:
所述待检测媒体内容的分类信息、所述待检测媒体内容的文本描述信息、所述待检测媒体内容中是否包含消费链接信息。
在一种实施方式中,所述对匹配的意图图片进行服务需求类实体检测,得到匹配的意图图片中包含的至少一个第二实体对象,包括:
将匹配的意图图片对应的服务需求类检测信息,输入服务需求类实体检测模型,得到匹配的意图图片中包含的至少一个实体对象分别对应的服务需求类意图得分;所述服务需求类实体意图模型为基于已标记服务需求类识别过滤结果的样本媒体内容进行训练得到的;
若所述意图图片中包含的任一实体对象对应的服务需求类意图得分大于设定分数阈值,将该任一实体对象作为与所述用户搜索意图对应的第二实体对象。
在一种实施方式中,任一所述意图图片对应的所述服务需求类检测信息包括以下多种:
所述意图图片的特征向量、所述意图图片在所述待检测媒体内容中出现的次数比例、所述意图图片中的实体对象在该意图图片中的位置信息、所述待检测媒体内容的分类信息、所述待检测媒体内容的文本描述信息、所述待检测媒体内容的发布者的属性信息、所述待检测媒体内容是否包含消费链接信息。
在一种实施方式中,所述基于所述至少一个第一实体对象和所述至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息,包括:
通过将所述至少一个第一实体对象和所述至少一个第二实体对象的特征向量,与各个媒体内容对应的实体对象的特征向量进行匹配,从各个媒体内容对应的实体对象中,查找与所述至少一个第一实体对象和所述至少一个第二实体对象分别对应的相似实体对象;
将所述相似实体对象对应的媒体内容作为所述与用户搜索意图对应的目标对象信息。
在一种实施方式中,所述基于所述至少一个第一实体对象和所述至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息,包括:
将所述至少一个第一实体对象和所述至少一个第二实体对象分别对应的服务方链接信息,作为所述与用户搜索意图对应的目标对象信息。
在一种实施方式中,所述方法还包括:
将所述至少一个第一实体对象和所述至少一个第二实体对象进行意图排序,得到意图排序结果;
按照所述意图排序结果,将与所述至少一个第一实体对象和所述至少一个第二实体对象分别对应的目标对象信息进行排序后发送给用户端。
在一种实施方式中,所述将所述至少一个第一实体对象和所述至少一个第二实体对象进行意图排序,得到意图排序结果,包括:
将所述至少一个第一实体对象和所述至少一个第二实体对象对应的排序特征信息输入混合意图排序模型,得到意图排序结果。
在一种实施方式中,所述排序特征信息包括以下多种:
意图得分、实体对象在图片中的尺寸大小、实体对象在所在图片中的位置信息、实体对象的分类信息、所述待检测媒体内容的分类信息、所述待检测媒体内容的文本描述信息、所述待检测媒体内容的发布者的属性信息、所述待检测媒体内容是否包含消费链接信息。
在一种实施方式中,所述获取待检测媒体内容,包括:
获取搜索指令;所述搜索指令中携带有目标视频标识和当前播放进度信息;
根据所述目标视频标识和所述当前播放进度信息,确定目标视频帧;
在目标视频中提取包括所述目标视频帧在内的连续多个视频帧,将所述连续多个视频帧作为所述待检测媒体内容;所述连续多个视频帧包括在所述目标视频帧之前的至少一个视频帧和在所述目标视频帧之后的至少一个视频帧。
第二方面,本公开还提供了一种信息推送的方法,所述方法包括:
基于用户选择的待检测媒体内容,向服务器发送搜索指令;
接收所述服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息;所述第一实体对象为从实体类意图维度对所述待检测媒体内容进行识别过滤得到的,所述第二实体对象为从服务需求类意图维度对所述待检测媒体内容进行识别过滤得到的;
在搜索结果展示页面展示所述目标对象信息。
在一种实施方式中,所述接收所述服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息,包括:
接收所述服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息以及各个目标对象信息的排序信息;
按照所述排序信息,在搜索结果展示页面展示所述各个目标对象信息。
在一种实施方式中,所述在搜索结果展示页面展示所述目标对象信息,包括:
在搜索结果展示页面的第一展示区域展示各个目标对象信息对应的多个分类信息,以及在搜索结果展示页面的第二展示区域展示各个目标对象信息。
第三方面,本公开还提供了一种信息推送的装置,所述装置包括:
内容获取模块,用于获取待检测媒体内容;
意图识别模块,用于从实体类意图维度对所述待检测媒体内容进行识别过滤,确定所述待检测媒体内容中,与用户搜索意图对应的至少一个第一实体对象;从服务需求类意图维度对所述待检测媒体内容进行识别过滤,确定所述待检测媒体内容中,与用户搜索意图对应的至少一个第二实体对象;
信息推送模块,用于基于所述至少一个第一实体对象和所述至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息。
第四方面,本公开还提供了一种信息推送的装置,所述装置包括:
指令发送模块,用于基于用户选择的待检测媒体内容,向服务器发送搜索指令;
信息接收模块,用于接收所述服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息;所述第一实体对象为从实体类意图维度对所述待检测媒体内容进行识别过滤得到的,所述第二实体对象为从服务需求类意图维度对所述待检测媒体内容进行识别过滤得到的;
信息展示模块,用于在搜索结果展示页面展示所述目标对象信息。
第五方面,本公开还提供了一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的信息推送的方法的步骤。
第六方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的信息推送的方法的步骤。
采用上述方案,其服务器在获取待检测媒体内容之后,可以对所述待检测媒体内容从实体类意图维度和服务需求类意图维度分别进行识别过滤,确定与用户搜索意图对应的多种实体对象,进而确定与用户搜索意图对应的目标对象信息。
一方面,上述信息推送的方法可以实现直接基于媒体内容进行推送,不需要用户输入文本信息进行媒体内容搜索,能够一定程度上降低搜索复杂度、提升搜索准确性。另一方面,上述方案可以基于多个意图维度进行信息推送,为满足用户的搜索意图提供了保障,例如,在待检测媒体内容是有关一个穿着裙子的小女孩怀抱一只猫和一条狗的视频时,利用上述方案不仅可以推送与猫、狗、小女孩这些实体类对象对应的目标对象信息(例如有关实体对象的相似视频等),还可以推送与裙子这一服务需求类对象对应的目标对象信息(例如有关实体对象的相似商品链接等),这涵盖了用户多种可能的搜索意图,提升了推送结果的全面性及得到满足用户意图的搜索结果的概率。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,相关技术中的推送方法依赖于用户对意图搜索的媒体内容进行准确的文本描述以及文本的输入操作,这将导致推送的效率较低,同时,在用户无法准确的进行文本描述时,往往导致媒体内容推送的准确性较低。
基于上述研究,本公开提供了至少一种信息推送的方案,结合实体类意图维度和服务需求类意图维度对待检测媒体内容进行自动的意图识别,从而可以基于用户搜索意图进行信息的准确推荐,解决通过文本输入进行媒体内容搜索的复杂度高、准确性低的问题。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种信息推送的方法进行详细介绍,本公开实施例所提供的信息推送的方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该信息推送的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为服务器为例对本公开实施例提供的信息推送的方法加以说明。
实施例一
参见图1所示,为本公开实施例一提供的信息推送的方法的流程图,方法包括步骤S101~S103,其中:
S101、获取待检测媒体内容;
S102、从实体类意图维度对待检测媒体内容进行识别过滤,确定待检测媒体内容中,与用户搜索意图对应的至少一个第一实体对象;
S103、从服务需求类意图维度对待检测媒体内容进行识别过滤,确定待检测媒体内容中,与用户搜索意图对应的至少一个第二实体对象;
S104、基于至少一个第一实体对象和至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息。
这里,为了便于理解本公开实施例提供的信息推送的方法,首先对该信息推送的方法可能的应用场景进行简单介绍。用户在当前媒体内容应用程序(Application,APP)页面上可以发起针对待检测媒体内容的搜索指令,服务器接收到该搜索指令后,基于上述方法步骤,得到从实体类意图维度对待检测媒体内容进行识别过滤得到的第一实体对象的目标对象信息,以及从服务需求类意图维度对待检测媒体内容进行识别过滤得到的第二实体对象的目标对象信息,之后,服务器可以将这些目标对象信息发送给用户端。
在一种实施方式下,在返回给用户端的目标对象信息中,可以将第一实体对象的目标对象信息以及第二实体对象的目标对象信息进行混合排序后展示,在另一种实施方式下,也可以将第一实体对象的目标对象信息与第二实体对象的目标对象信息进行分类展示。
其中,上述搜索指令可以是基于用户端上设置的相关搜索按钮的触发所生成的,比如,在用户端的媒体内容播放页面上设置搜索按钮,在该搜索按钮被触发后生成上述搜索指令;也可以是在待检测媒体内容播放的过程中,在待检测媒体内容上执行相应的搜索操作所生成的,例如,在当前播放的媒体内容上利用搜索框框选媒体内容区域来发起上述搜索指令;还可以是在用户端进入某个媒体内容播放页面后默认触发的,也即进入媒体内容播放页面后自动进行相关目标对象信息的推送。除此之外,上述搜索指令还可以是能够发起媒体内容搜索请求的其它方式所触发的,本公开实施例对此不做具体的限制。
上述待检测媒体内容可以是一帧或多帧图片,或者,可以是视频,还可以是当前播放的视频中的某个图片帧,或者是当前播放的视频中的某个图片帧及该图片帧前后的若干图片帧所构成的图片组,还可以是其它媒体内容,本公开实施例对此不做具体的限制。考虑到视频搜索的广泛应用,接下来可以以视频作为媒体内容进行具体示例。
考虑到针对用户浏览的媒体内容而言,同一用户在浏览不同的媒体内容时,其所可能具有的搜索意图并不相同,例如用户A而言,在观看猫咪玩耍视频时,其所具有的搜索意图可以是有关猫咪的视频,在观看直播视频时,其所具有的搜索意图可以是有关人物所穿戴的衣物,这样,在用户A观看人猫互动视频时,则可以是同时具备上述搜索意图;此外,不同用户在浏览同一媒体内容时,其所可能具有的搜索意图也可能不同,例如针对男性用户而言,在观看人猫互动视频时,其所具有的搜索意图可以是与人猫互动相关的视频等,而针对女性用户而言,在观看同一人猫互动视频时,其所具有的搜索意图则可以是有关人物所穿戴的衣物等。
正是为了兼顾上述各种可能的搜索意图,本公开实施例才提供了一种结合实体类意图维度与服务需求类意图维度,确定与用户搜索意图相关的实体对象的方案,也即,本公开实施例中,基于对待检测媒体内容的搜索指令的响应,服务器一方面可以进行实体类意图维度的意图识别以确定与用户搜索意图对应的第一实体对象,另一方面可以进行服务需求类意图维度的意图识别以确定与用户搜索意图对应的第二实体对象。
其中,上述第一实体对象可以是与用户搜索意图(即实体搜索意图)对应的实体对象,在具体应用中,可以对待检测媒体内容先进行实体检测、再进行识别过滤来确定。例如,以一个穿着裙子的小女孩怀抱一只猫和一条狗的视频作为待检测媒体内容为例,人可以作为一个实体对象,猫也可以作为一个实体对象,狗也可以作为一个实体对象,而用户究竟对上述哪个实体对象最感兴趣则是确定上述确定第一实体对象的关键,本公开实施例中可以基于对各个实体对象的识别过滤来确定。
另外,上述第二实体对象也可以是与用户搜索意图(即商品搜索意图)对应的实体对象,在具体应用中,可以先进行服务需求类识别过滤,而后再进行服务需求类实体检测来确定。这里,仍以一个穿着裙子的小女孩怀抱一只猫和一条狗的视频作为待检测媒体内容为例,小女孩穿着的裙子、猫咪穿着的衣服均可以作为上述实体对象,同理,用户究竟对上述哪个实体对象最感兴趣是确定上述确定第二实体对象的关键,这需要结合意图识别和实体检测来实现。
本公开实施例中,在确定至少一个第一实体对象和至少一个第二实体对象之后,即可以确定与用户搜索意图对应的目标对象信息,并可以将该目标对象信息发送至用户端。
这里,为了便于实现多个第一实体对象和多个第二实体对象的信息推荐,本公开实施例可以为各个实体对象中的每个实体对象均对应一个对象标识信息,以便于用户端根据上述各个对象标识信息实现与用户搜索意图相关的各个目标对象信息的显示,这里,为了兼顾实体类意图和服务需求类意图,可以将确定的实体对象所对应的目标对象信息混合排序,并进行展示。
除此之外,本公开实施例还可以将实体类意图对应的实体对象的目标对象信息与服务需求类意图对应的实体对象的目标对象信息进行分类展示,这时,可以为实体类意图对应的第一实体对象设置第一对象标识信息,并为服务需求类意图对应的第二实体对象设置第二对象标识信息,而后,基于第一对象标识信息展示与用户搜索意图中实体类意图对应的第一实体对象的目标对象信息,并基于第二对象标识信息展示与用户搜索意图中服务需求类意图对应的第二实体对象的目标对象信息。
其中,上述有关第一实体对象的目标对象信息可以是相似媒体内容,例如,可以是相似视频、相似图片等目标对象信息以便于用户查看,上述有关第二实体对象的目标对象信息可以是相似商品的链接等目标对象信息以便于用户基于链接跳转到其它第三方电商小程序,此外,还可以是相似商品信息以便于用户进行查看,本公开实施例对此不做具体的限制。
值得说明的是,本公开实施例中的对象标识信息不仅可以包括用于指示实体对象的缩略图片,还可以是用于描述实体对象的文字描述内容。
这里,用户端可以基于接收到的与用户搜索意图对应的目标对象信息进行信息展示。下面结合图2(a)~2(c)所示的用户端界面呈现效果图对本公开实施例提供的上述信息推送的方法进行示例说明。
如图2(a)所示,用户端所呈现的待检测媒体内容画面(即人猫互动画面)上包括有搜索按钮(○)。在用户触发该搜索按钮之后,即可以向服务器发出有关待检测媒体内容的搜索指令。服务器则可以基于该搜索指令分别确定与用户搜索意图对应的至少一个第一实体对象(即人物和猫咪)及其对应的对象标识信息(即人物这一标识和猫咪这一标识)、以及与用户搜索意图对应的至少一个第二实体对象(即人物穿着衣服、猫咪穿着衣服)及其对应的对象标识信息(即人物衣服这一标识和猫咪衣服这一标识)。
本公开实施例中,在服务器确定与上述各个对象标识信息对应的目标对象信息之后,即可以发送至用户端进行展示。用户端在进行目标对象信息的展示时,可以仅基于上述人物标识、猫咪标识、人物衣服标识、猫咪衣服标识的缩略图片标识方式进行展示,如图2(b)所示;还可以仅基于人物标识、猫咪标识、人物衣服标识、猫咪衣服标识的文字描述标识方式进行展示;除此之外,还可以结合上述两种标识方式进行标识展示,如图2(c)所示。
从图2(b)所示的展示结果来看,示例的是人物图、猫咪图、人物衣服图、猫咪衣服图这四个缩略图片标识,其混合展示有与上述四个缩略图片标识对应的目标对象信息,如,猫咪视频1、猫咪视频2、人物衣服链接1、猫咪衣服链接3、人物视频4、人物衣服链接5所示。
从图2(c)所示的展示结果来看,示例的是人物图、猫咪图、人物衣服图、猫咪衣服图这四个缩略图片标识及各个缩略图片标识所对应的文本描述标识,其混合展示有与上述四个缩略图片标识及文本描述标识对应的目标对象信息,有关具体的推送展示结果与图2(b)所展示的结果相同,在此不再赘述。
除此之外,在进行信息推送结果展示的过程中,还可以分类展示有与上述每个缩略图片标识对应的目标对象信息,这时,针对多个标识所对应展示的目标对象信息可以基于滑动操作进行切换显示,例如,可以通过左右滑动在上述四个标识之间进行切换,从而实现其对应的显示内容的分类展示,在确定搜索全面性的前提下,确保搜索的针对性。
值得说明的是,有关目标对象信息结果的具体展示方式,例如一行展示几个结果、采用纵向展示还是横向展示等均可以基于不同的应用需求来选取,在此不做具体的限制。
为了进一步满足用户的自定义搜索需求,本公开实施例还可以在提供上述推送结果的同时,提供手动选择按钮(图2(b)和图2(c)右上角所示),在用户触发这一选择按钮之后,可以跳转至待检测媒体内容画面,以便用户进一步进行媒体内容的选择,有关基于选择操作触发搜索指令及根据该搜索指令进行意图搜索的过程可参见上述描述内容,在此不再赘述。
值得说明的是,本公开实施例不仅可以在展示目标对象信息的同时支持用户的手动选择,还可以直接基于用户的手动选择,向服务器发起针对框选的媒体内容的搜索指令,以实现意图搜索,具体过程在此不再赘述。
本公开实施例中,第一实体对象以及第二实体对象的确定作为进行信息推送的关键步骤,接下来可以分别进行描述:
针对第一实体对象的确定而言,本公开实施例可以结合实体检测和识别过滤的结果来确定,如图3所示,上述确定第一实体对象的方法具体包括如下步骤:
S301、对待检测媒体内容进行实体检测,得到待检测媒体内容中包含的至少一个实体对象;
S302、对至少一个实体对象进行识别过滤,得到与用户搜索意图对应的至少一个第一实体对象。
这里,本公开实施例首先可以对待检测媒体内容进行实体检测,然后可以对检测出的各个实体对象进行识别过滤,以确定与用户搜索意图对应的第一实体对象。
本公开实施例中,在进行实体检测的过程中,可以基于待检测媒体内容以及预先训练好的实体检测模型实现实体检测。
本公开实施例中,针对不同的用户触发方式,其所对应的待检测媒体内容也不相同,针对搜索按钮触发方式,对应的待检测媒体内容可以是当前触发时刻所对应的媒体内容画面上所显示的图片或者该图片前后帧所组成的图片组,还可以是当前播放的视频,其中,对于当前播放的视频还可以将等间隔或不等间隔抽帧的方式抽取的若干视频帧作为待检测媒体内容;针对手动框选触发方式,对应的待检测媒体内容可以是当前触发时刻所对应的框选的图片区域。不管上述那种触发方式,待检测媒体内容均是可以包括图片的。因此,在本公开实施例中,可以将待检测媒体内容中的至少一张图片输入到实体检测模型进行实体检测,得到图片中包含的实体对象。
其中,上述实体检测模型可以是预先训练得到的,可以基于已标记实体对象的训练样本图片训练得到。在具体应用中,可以基于训练样本图片以及对应该训练样本图片的标注信息进行训练。这里,可以通过训练过程中模型输出的结果与已标记的结果之间的比对结果进行实体检测模型的参数调整,从而能够在达到模型训练截止条件(例如,达到迭代次数等条件)时,得到训练好的实体检测模型。
这样,将待检测媒体内容中的图片输入至训练好的实体检测模型中,即可以确定图片中包含的实体对象。除此之外,本公开实施例还可以将实体对象可以理解成待检测媒体内容中的前景目标,这时,可以利用光流法、帧差法和背景差法等进行前景目标的检测,还可以利用其它手段实现前景目标的检测,本公开实施例对此不做具体限制。
值的说明的是,在视频作为待检测内容时,本公开实施例在对待检测视频进行实体对象的检测之前,还可以先进行等间隔抽帧,以得到对应的图片,而后再进行实体检测,从而在确保实体检测完整性的前提下,降低检测计算量。
在确定出待检测媒体内容中包含的各个实体对象之后,可以对检测出的各个实体对象进行识别过滤,以确定第一实体对象。如图4所示,上述第一实体对象的确定过程具体包括如下步骤:
S401、针对检测出的每个实体对象,将该实体对象的特征信息、用户特征信息、和待检测媒体内容的属性信息输入实体意图模型,确定该实体对象的意图得分;实体意图模型为基于已标记识别过滤结果的样本媒体内容进行训练得到的;用户特征信息是指发起针对待检测媒体内容的搜索指令的用户的特征信息;
S402、若该意图得分大于设定分数阈值,将该实体对象作为与用户搜索意图对应的第一实体对象。
这里,本公开实施例中,首先可以从检测出的每个实体对象中提取与实体意图识别相关的信息(即实体识别过滤信息),如实体对象的特征信息、用户特征信息、和待检测媒体内容的属性信息,而后再利用预先训练好的实体意图模型进行识别过滤,以确定意图得分,最后将意图得分较高的实体对象确定为与用户搜索意图对应的第一实体对象。
其中,上述实体对象的特征信息可以包括:任一实体对象在待检测媒体内容中的持续出现时长、任一实体对象在对应图片中出现的位置信息、任一实体对象在对应帧图片中的尺寸信息、任一实体对象对应的景深信息中的任意一种或任意组合。
本公开实施例中,上述实体对象在待检测媒体内容中的持续出现时长可以表征在摄取待检测媒体内容的过程中,对于实体对象的关注时间,关注时间越长,一定程度上说明对该实体对象的兴趣度较高,这时,用户基于搜索指令的触发操作,将进一步体现对这一实体对象的关注程度;上述实体对象在对应图片中出现的位置信息和尺寸信息可以表征在摄取待检测媒体内容的过程中,对于实体对象的关注度,越靠近图片的中间位置、尺寸越大说明对该实体对象的关注度越高,同理,这将进一步体现用户对这一实体对象的关注程度。
上述用户特征信息则可以是发起针对待检测媒体内容的搜索指令的用户的特征信息,该特征信息作为一种标签化的信息方式,一定程度上表征用户的特定行为特征。不同用户所具备的特征信息也不相同,本公开实施例可以采用用户授权的年龄、性别、职业、和用户行为信息(如点赞行为习惯、评论行为习惯等与用户操作媒体相关的行为信息)等信息作为用户特征信息。
上述待检测媒体内容的属性信息中的待检测媒体内容的分类信息则可以是根据预先设置的分类规则确定的分类,例如,是搞笑视频还是商品推荐视频,对于搞笑视频而言,其所具备商品推荐的意图将适应性降低;待检测媒体内容的文本描述信息则用于描述待检测媒体内容的相关信息,例如,对一个待检测视频进行描述,一定程度上能够理解视频的语义内容,从而提升识别过滤的准确性。
除此之外,本公开实施例中的实体识别过滤信息还可以是其它有助于提升识别过滤准确率的相关信息,本公开实施例对此不做具体的限制。具体采用上述哪几种实体识别过滤信息的组合方式,可以结合不同的应用需求进行选取,这里不做具体的限制。
考虑到不同实体对象其所具备的实体识别过滤信息并不相同,本公开实施例可以基于预先训练好的实体意图模型进行意图得分的确定,从而能够基于意图得分确定一个实体对象是否为与用户搜索意图对应的第一实体对象。
其中,上述实体意图模型可以是基于已标记识别过滤结果的样本媒体内容进行训练得到的。在进行实体意图模型训练之前,需要先对样本媒体内容进行实体对象的提取,而后从中提取出实体识别过滤信息,有关从样本媒体内容中提取出实体识别过滤信息的过程与上述针对待检测媒体内容提取实体识别过滤信息的过程类似,在此不再赘述。
在进行实体意图模型训练的过程中,可以针对实体对象进行强意图识别,还可以进行弱意图识别,这时,在针对样本媒体内容进行识别过滤结果的标注时,可以将具有强意图识别需求的实体对象标记为11,将具有弱意图识别需求的实体对象标记为00,其它实体对象标记为01,这时,在针对样本媒体内容中的样本实体对象进行识别过滤时,即需要训练对于各意图识别需求的实体对象的模型输出结果与实际标注结果之间的比对关系,以训练得到实体意图模型。
这时,将待检测媒体内容中的各个实体对象对应的实体识别过滤信息输入实体意图模型进行识别过滤,即可得到每个实体对象对应的意图得分。对于强意图实体对象而言,其意图得分更高,对于弱意图实体对象而言,其意图得分更低,这里,可以将大于设定分数阈值的实体对象均作为与用户搜索意图对应的第一实体对象。
本公开实施例中,可以针对强弱两种不同的意图类型设置不同的设定分数阈值。该设定分数阈值可以是基于弱意图实体对象设置的最低值,还可以是基于强意图实体对象设置的最低值,这时,在一个实体对象的意图得分高于强意图实体对象设置的阈值时,即可以确定该实体对象为与用户搜索意图对应的第一实体对象中的强意图实体对象,在一个实体对象的意图得分高于弱意图实体对象设置的阈值时,即可以确定该实体对象为与用户搜索意图对应的第一实体对象中的弱意图实体对象。
针对第二实体对象的确定而言,本公开实施例可以结合服务需求类识别过滤和服务需求类实体检测来确定,如图5所示,上述确定第二实体对象的方法具体包括如下步骤:
S501、对待检测媒体内容进行服务需求类识别过滤,确定待检测媒体内容中与服务需求类意图匹配的意图图片;
S502、对匹配的意图图片进行服务需求类实体检测,得到匹配的意图图片中包含的至少一个第二实体对象。
这里,本公开实施例首先可以对待检测媒体内容进行服务需求类识别过滤,然后可以对服务需求类意图匹配的意图图片进行服务需求类实体检测,以确定与用户搜索意图对应的第二实体对象。
本公开实施例中,在进行服务需求类识别过滤的过程中,可以基于待检测媒体内容以及预先训练好的消费意图模型实现意图识别。
其中,与上述第一实体对象的确定过程中所描述的有关针对不同的用户触发方式,其所对应的待检测媒体内容也不相同的相关内容类似,这里对有关待检测媒体内容的内容不再赘述。
本公开实施例中,针对待检测视频作为待检测媒体内容而言,为了确定更为符合用户需求的意图图片,如图6所示,可以先按照如下步骤确定待检测媒体内容:
S601、获取搜索指令;搜索指令中携带有目标视频标识和当前播放进度信息;
S602、根据目标视频标识和当前播放进度信息,确定目标视频帧;
S603、在目标视频中提取包括目标视频帧在内的连续多个视频帧,将连续多个视频帧作为待检测媒体内容;连续多个视频帧包括在目标视频帧之前的至少一个视频帧和在目标视频帧之后的至少一个视频帧。
这里,本公开实施例可以基于搜索指令中携带的目标视频标识和当前播放进度信息确定目标视频帧,例如,当前播放的视频帧为目标视频的第10帧,这时,可以将目标视频帧在内的连续多个视频帧确定为待检测媒体内容,例如,可以将第5帧至第15帧确定为待检测媒体内容。这里主要是考虑到针对视频内容而言,不管是针对实体类意图还是服务需求类意图而言,其画面连续性特征对意图分析均具有一定的影响,因此,本公开实施例可以选用上述方式确定待检测媒体内容。
在按照上述方式确定待检测媒体内容之后,可以对连续多个视频帧分别进行服务需求类识别过滤,确定连续多个视频帧中与服务需求类意图匹配的意图图片。
在具体应用中,针对待检测媒体内容中的每张图片,可以将该张图片对应的服务需求类识别过滤信息(如图片对应的特征信息、待检测媒体内容的属性信息、待检测媒体内容的发布者的属性信息等信息)输入与消费意图模型进行识别过滤,以确定该张图片是否为与服务需求类意图匹配的意图图片。
本公开实施例中,上述图片的特征信息可以用于表征当前图片中所包括的目标是否具有消费属性;上述待检测媒体内容的发布者的属性信息可以用于表征发布媒体内容的用户是否为带货用户,若是带货用户,则说明待检测图片是意图图片的可能性较高;上述待检测媒体内容的属性信息则可以包括待检测媒体内容的分类信息、文本描述信息、是否包含消费链接信息等属性信息,其中,待检测媒体内容的分类信息则可以是根据预先设置的分类规则确定的分类,例如,是搞笑视频还是商品推荐视频,对于搞笑视频而言,其所具备商品推荐的意图将适应性降低;待检测媒体内容的文本描述信息则用于描述待检测媒体内容的相关信息,例如,对一个待检测视频进行描述,一定程度上能够理解视频的语义内容,从而提升识别过滤的准确性;待检测媒体内容中是否包含消费链接信息则用于表征消费意图,具有消费链接的图片其是意图图片的可能性也较高。
除此之外,本公开实施例中的服务需求类识别过滤信息还可以是其它有助于提升服务需求类识别过滤的相关信息,本公开实施例对此不做具体的限制。具体采用上述哪几种服务需求类识别过滤信息的组合方式,可以结合不同的应用需求进行选取,这里不做具体的限制。
在确定服务需求类识别过滤信息之后,即可以根据预先训练好的消费意图模型进行识别过滤,以确定待检测媒体内容中的图片是否为与服务需求类意图匹配的意图图片。
其中,上述消费意图模型可以是预先训练的,也即,可以基于样本媒体内容及该样本媒体内容所标注的服务需求类识别过滤结果进行训练。
在进行消费意图模型训练之前,需要先对样本媒体内容进行图片的提取,而后从中提取出服务需求类识别过滤信息,有关从样本媒体内容中提取出服务需求类识别过滤信息的过程与上述针对待检测媒体内容提取服务需求类识别过滤信息的过程类似,在此不再赘述。
在进行消费意图模型训练的过程中,可以通过训练过程中模型输出的结果与已标记的结果之间的比对结果进行消费意图模型的参数调整,从而能够在达到模型训练截止条件(例如,达到迭代次数等条件)时,得到训练好的消费意图模型。
这样,将待检测媒体内容中的图片对应的服务需求类识别过滤信息输入与消费意图模型中,即可以确定该张图片是否为与服务需求类意图匹配的意图图片。
基于上述意图识别得到的意图图片,本公开实施例可以对该意图图片进行服务需求类实体检测,得到该意图图片中包含的第二实体对象。如图7所示,上述第二实体对象的确定过程具体包括如下步骤:
S701、将匹配的意图图片对应的服务需求类检测信息,输入服务需求类实体检测模型,得到匹配的意图图片中包含的至少一个实体对象分别对应的服务需求类意图得分;服务需求类实体意图模型为基于已标记服务需求类识别过滤结果的样本媒体内容进行训练得到的;
S702、若意图图片中包含的任一实体对象对应的服务需求类意图得分大于设定分数阈值,将该任一实体对象作为与用户搜索意图对应的第二实体对象。
这里,本公开实施例中,首先可以确定意图图片对应的服务需求类检测信息,而后再利用预先训练好的服务需求类实体检测模型确定服务需求类意图得分,最后将意图得分较高的实体对象确定为与用户搜索意图对应的第二实体对象。
其中,上述意图图片对应的服务需求类检测信息包括以下信息中的多种:意图图片的特征向量、意图图片在待检测媒体内容中出现的次数比例、意图图片中的实体对象在该意图图片中的位置信息、待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容的发布者的属性信息、待检测媒体内容是否包含消费链接信息。
本公开实施例中,上述意图图片的特征向量用于表征意图图片的特征;上述意图图片在待检测媒体内容中出现的次数比例则用于表征意图图片在待检测媒体内容中的重要程度,出现比例越高,说明越重要;有关意图图片中的实体对象在该意图图片中的位置信息则可以表征在摄取待检测媒体内容的过程中,对于实体对象的关注度,越靠近图片的中间位置说明对该实体对象的关注度越高,这将进一步体现用户对这一意图图片的关注程度;有关上述待检测媒体内容的分类信息则可以是根据预先设置的分类规则确定的分类,例如,是搞笑视频还是商品推荐视频,对于商品推荐视频而言,其所具备的实体类意图将适应性降低;上述待检测媒体内容的文本描述信息则用于描述待检测媒体内容的相关信息,例如,对一个待检测视频进行描述,一定程度上能够理解视频的语义内容,从而提升服务需求类识别过滤的准确性;有关待检测媒体内容的发布者的属性信息、待检测媒体内容是否包含消费链接信息,则用于表征意图图片具有商品意图的可能性,例如属性信息中包括带货用户、且包含消费链接信息,将一定程度上说明具有商品搜索意图的可能性较大。
除此之外,本公开实施例中的服务需求类检测信息还可以是其它有助于提升服务需求类识别过滤准确性的相关信息,本公开实施例对此不做具体的限制。具体采用上述哪几种服务需求类检测信息的组合方式,可以结合不同的应用需求进行选取,这里不做具体的限制。
考虑到不同意图图片其所具备的服务需求类检测信息并不相同,本公开实施例可以基于预先训练好的服务需求类检测信息进行服务需求类意图得分的确定,从而能够基于意图得分确定一个实体对象是否为与用户搜索意图对应的第二实体对象。
其中,上述服务需求类实体检测模型可以是基于已标记服务需求类识别过滤结果的样本媒体内容进行训练得到的。在进行服务需求类实体检测模型训练之前,需要先对样本媒体内容进行意图图片的提取,而后从中提取出服务需求类检测信息,有关从样本媒体内容中提取出服务需求类检测信息的过程与上述针对待检测媒体内容提取服务需求类检测信息的过程类似,在此不再赘述。
在进行服务需求类实体检测模型训练的过程中,同理,可以针对意图图片中包含的实体对象进行强意图识别,还可以进行弱意图识别,这时,在针对样本媒体内容进行服务需求类识别过滤结果的标注时,可以将具有强意图识别需求的实体对象标记为11,将具有弱意图识别需求的实体对象标记为00,其它实体对象标记为01,这时,在针对样本媒体内容中的样本意图图片进行服务需求类实体检测时,即需要训练对于各意图识别需求的意图图片的模型输出结果与实际标注结果之间的比对关系,以训练得到服务需求类实体检测模型。
这时,将待检测媒体内容中意图图片对应的服务需求类检测信息输入服务需求类实体检测模型进行服务需求类实体检测,即可得到意图图片中包含的至少一个实体对象分别对应的服务需求类意图得分。对于强意图实体对象而言,其意图得分更高,对于弱意图实体对象而言,其意图得分更低,这里,可以将大于设定分数阈值的实体对象均作为与用户搜索意图对应的第二实体对象。
有关设定分数阈值的确定,可以基于前文的相关描述,在此不再赘述。从而,能够针对意图图片确定出具有强服务需求类意图的实体对象以及具有弱服务需求类意图的实体对象。
在按照上述方法确定第一实体对象和第二实体对象之后,即可以确定与用户搜索意图对应的目标对象信息。如图8所示,上述目标对象信息的确定具体可以通过如下步骤完成。
S801、通过将至少一个第一实体对象和至少一个第二实体对象的特征向量,与各个媒体内容对应的实体对象的特征向量进行匹配,从各个媒体内容对应的实体对象中,查找与至少一个第一实体对象和至少一个第二实体对象分别对应的相似实体对象;
S802、将相似实体对象对应的媒体内容作为与用户搜索意图对应的目标对象信息。
这里,首先可以基于特征向量的匹配结果,从各个媒体内容对应的实体对象中,查找与至少一个第一实体对象和至少一个第二实体对象分别对应的相似实体对象,也即,针对至少一个第一实体对象和至少一个第二实体对象中的每个实体对象而言,可以将该实体对象的特征向量与各个媒体内容对应的实体对象的特征向量进行比较,若特征向量比较相近,则将媒体内容中的这一实体对象确定为与上述至少一个第一实体对象和至少一个第二实体对象对应的相似实体对象,这时,即可以将相似实体对象对应的媒体内容作为与用户搜索意图对应的目标对象信息,并推送至用户端进行显示。
其中,上述目标对象信息可以包括实体对象的服务方链接信息,这样,在推送至用户端之后,用户可以基于服务方链接信息进行调整,例如,跳转至对应的商品链接或者短视频播放链接等。
本公开实施例,基于用户搜索意图确定的第一实体对象和第二实体对象而言,不同的实体对象所具有的搜索意图大小可能并不相同。因此,本公开实施例可以先对上述第一实体对象和第二实体对象进行意图排序,而后再进行目标对象信息的排序以进行信息推送。如图9所示,上述信息推送方法包括如下步骤:
S901、将至少一个第一实体对象和至少一个第二实体对象进行意图排序,得到意图排序结果;
S902、按照意图排序结果,将与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息进行排序后发送给用户端。
这里,首先可以进行至少一个第一实体对象和至少一个第二实体对象的意图排序,而后按照意图排序结果,将与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息进行排序,最后,将排序后的目标对象信息发送至用户端。
本公开实施例中,上述意图排序的实现过程可以基于预先训练好的混合意图排序模型,也即,将各个实体对象对应的排序特征信息输入到上述混合意图排序模型中,即可得到意图排序结果。
其中,上述排序特征信息包括以下多种:意图得分、实体对象在图片中的尺寸大小、实体对象在所在图片中的位置信息、实体对象的分类信息、待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容的发布者的属性信息、待检测媒体内容是否包含消费链接信息。
其中,上述意图得分的高低能够一定程度上表征用户对对应的实体对象的意图倾向大小;上述实体对象在图片中的尺寸大小、实体对象在所在图片中的位置信息可以表征实体对象的被关注程度;有关待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容的发布者的属性信息、待检测媒体内容是否包含消费链接信息参见上述描述内容,在此不再赘述,均能够一定程度上影响意图排序的结果。
在进行混合意图排序模型训练之前,同样需要从各个样本实体对象中提取出排序特征信息,而后进行排序的标注,这样,即可以进行混合意图排序模型的训练。有关从各个样本实体对象中提取出排序特征信息的相关过程在此不再赘述。
可见,本公开实施例提供的信息推送的方法,不仅可以推送与用户搜索意图匹配的各个实体对象的目标对象信息,还可以按照用户对各个实体对象的搜索意图的大小等信息进行意图排序,以实现排序后的目标对象信息的推荐,从而进一步提升信息推送的全面性。
为了便于进一步理解本公开实施例提供的上述信息推送的方法,可以结合图10所示的应用示意图对上述信息推送的方法进行说明。
如图10所示,这里,将视频作为待检测媒体内容进行示例说明。
首先,针对视频进行等间隔抽帧,得到图片帧,然后可以分成两路进行相关处理,一路是基于实体类意图维度确定第一实体对象,另一路是基于服务需求类意图维度确定第二实体对象,最后将第一实体对象和第二实体对象进行组合,输入至混合意图排序模型进行排序以实现排序后的信息推荐。
其中,针对第一实体对象可以包括具有强意图的实体2(比如意图得分为2的实体)、以及弱意图的实体4和实体5(比如意图得分为1的实体);针对第二实体对象而言,可以包括具有强意图的商品4(比如意图得分为2的实体)、以及弱意图的商品3(比如意图得分为1的实体),这样,通过混合意图排序模型,可得到实体2、商品4、实体4、实体5、商品3的意图排序结果,通过该意图排序结果即可进行对应的目标对象信息的推荐。
接下来以执行主体为用户端对本公开实施例提供的一种信息推送的方法加以说明。
实施例二
参见图11所示,为本公开实施例二提供的信息推送的方法的流程图,方法包括步骤S1101~S1103,其中:
S1101、基于用户选择的待检测媒体内容,向服务器发送搜索指令;
S1102、接收服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息;第一实体对象为从实体类意图维度对待检测媒体内容进行识别过滤得到的,第二实体对象为从服务需求类意图维度对待检测媒体内容进行识别过滤得到的;
S1103、在搜索结果展示页面展示目标对象信息。
这里,可以首先向服务器发送针对待检测媒体内容的搜索指令,然后接收服务器根据实施例一所示的信息推送的方法所确定的第一实体对象和第二实体对象对应的目标对象信息,基于该目标对象信息进行搜索结果展示页面的显示。
其中,上述搜索指令可以是用户端在响应针对待检测媒体内容画面上的搜索按钮的触发操作,还可以是响应作用在待检测媒体内容画面上的框选操作之后,向服务器发起的,有关搜索指令的具体发起过程以及上述有关搜索按钮和框选操作的相关描述,具体参见图2(a)~2(c)所涉及的应用示意图以及实施例一的相关描述,在此不再赘述。
为了便于兼顾各个实体对象的搜索,本公开实施例中的目标对象信息还可以包括与各个实体对应的对象标识信息,具体描述可参见实施例一中的相关描述,在此不再赘述。
本公开实施例可以将第一实体对象和第二实体对象对应的目标对象信息进行组合,而后进行组合展示,在具体展示时,可以基于第一实体对象和第二实体对象,在搜索结果展示页面上展示包含各个目标对象信息对应的多个分类信息的第一展示区域以及包含各个目标对象信息的第二展示区域,从而可以不区分是基于实体类意图维度所搜索到的实体对象还是基于服务需求类意图维度所搜索到的实体对象。
本公开实施例中,不仅可以支持上述组合展示,还可以支持分类展示方式,有关具体的展示方式参见实施例一的相关描述,在此不再赘述。除此之外,值得说明的是,本公开实施例还可以采用其它展示方式,本公开实施例对此不做具体的限制。
本公开实施例中,在服务器将与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息以及各个目标对象信息的排序信息反馈至用户端之后,用户端还可以基于排序信息展示上述各个目标对象信息。有关排序过程参见实施一中的相关描述,在此不再赘述。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与信息推送的方法对应的信息推送的装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述信息推送的方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
实施例三
参照图12所示,为本公开实施例三提供的一种信息推送的装置的示意图,装置包括:
内容获取模块1201,用于获取待检测媒体内容;
意图识别模块1202,用于从实体类意图维度对待检测媒体内容进行识别过滤,确定待检测媒体内容中,与用户搜索意图对应的至少一个第一实体对象;从服务需求类意图维度对待检测媒体内容进行识别过滤,确定待检测媒体内容中,与用户搜索意图对应的至少一个第二实体对象;
信息推送模块1203,用于基于至少一个第一实体对象和至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息。
采用上述信息推送的装置,结合实体类意图维度和服务需求类意图维度对待检测媒体内容进行自动的意图识别,从而可以基于用户搜索意图进行信息的准确推荐,解决通过文本输入进行媒体内容搜索的复杂度高、准确性低的问题。
在一种实施方式中,意图识别模块1202,用于按照如下步骤确定与用户搜索意图对应的至少一个第一实体对象:
对待检测媒体内容进行实体检测,得到待检测媒体内容中包含的至少一个实体对象;
对至少一个实体对象进行识别过滤,得到与用户搜索意图对应的至少一个第一实体对象。
在一种实施方式中,意图识别模块1202,用于按照如下步骤对待检测媒体内容进行实体检测,得到待检测媒体内容中包含的至少一个实体对象:
将待检测媒体内容中的至少一张图片输入实体检测模型进行实体检测,得到图片中包含的实体对象;实体检测模型为基于已标记实体对象的训练样本图片进行训练得到的。
在一种实施方式中,意图识别模块1202,用于按照如下步骤确定与用户搜索意图对应的至少一个第一实体对象:
针对检测出的每个实体对象,将该实体对象的特征信息、用户特征信息、和待检测媒体内容的属性信息输入实体意图模型,确定该实体对象的意图得分;实体意图模型为基于已标记实体类意图识别结果的样本媒体内容进行训练得到的;用户特征信息是指发起针对待检测媒体内容的搜索指令的用户的特征信息;
若该意图得分大于设定分数阈值,将该实体对象作为与用户搜索意图对应的第一实体对象。
在一种实施方式中,实体对象的特征信息包括:任一实体对象在待检测媒体内容中的持续出现时长、任一实体对象在对应图片中出现的位置信息、任一实体对象在对应帧图片中的尺寸信息、任一实体对象对应的景深信息中的至少一种;
待检测媒体内容的属性信息包括:待检测媒体内容的分类信息和待检测媒体内容的文本描述信息中的至少一种。
在一种实施方式中,意图识别模块1202,用于按照如下步骤确定待检测媒体内容中,与用户搜索意图对应的至少一个第二实体对象:
对待检测媒体内容进行服务需求类识别过滤,确定待检测媒体内容中与服务需求类意图匹配的意图图片;
对匹配的意图图片进行服务需求类实体检测,得到匹配的意图图片中包含的至少一个第二实体对象。
在一种实施方式中,意图识别模块1202,用于按照如下步骤对待检测媒体内容进行服务需求类识别过滤:
针对待检测媒体内容中的至少一张图片,将至少一张图片中的每张图片对应的特征信息、待检测媒体内容的属性信息、和待检测媒体内容的发布者的属性信息输入消费意图模型进行识别过滤,确定该张图片是否为与服务需求类意图匹配的意图图片;消费意图模型为基于已标记服务需求类识别过滤结果的样本媒体内容进行训练得到的。
在一种实施方式中,待检测媒体内容的属性信息包括以下信息中的至少一种:
待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容中是否包含消费链接信息。
在一种实施方式中,意图识别模块1202,用于按照如下步骤对匹配的意图图片进行服务需求类实体检测,得到匹配的意图图片中包含的至少一个第二实体对象:
将匹配的意图图片对应的服务需求类检测信息,输入服务需求类实体检测模型,得到匹配的意图图片中包含的至少一个实体对象分别对应的服务需求类意图得分;服务需求类实体意图模型为基于已标记服务需求类识别过滤结果的样本媒体内容进行训练得到的;
若意图图片中包含的任一实体对象对应的服务需求类意图得分大于设定分数阈值,将该任一实体对象作为与用户搜索意图对应的第二实体对象。
在一种实施方式中,任一意图图片对应的服务需求类检测信息包括以下多种:
意图图片的特征向量、意图图片在待检测媒体内容中出现的次数比例、意图图片中的实体对象在该意图图片中的位置信息、待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容的发布者的属性信息、待检测媒体内容是否包含消费链接信息。
在一种实施方式中,信息推送模块1203,用于按照以下步骤确定与用户搜索意图对应的目标对象信息:
通过将至少一个第一实体对象和至少一个第二实体对象的特征向量,与各个媒体内容对应的实体对象的特征向量进行匹配,从各个媒体内容对应的实体对象中,查找与至少一个第一实体对象和至少一个第二实体对象分别对应的相似实体对象;
将相似实体对象对应的媒体内容作为与用户搜索意图对应的目标对象信息。
在一种实施方式中,信息推送模块1203,用于按照以下步骤确定与用户搜索意图对应的目标对象信息:
将至少一个第一实体对象和至少一个第二实体对象分别对应的服务方链接信息,作为与用户搜索意图对应的目标对象信息。
在一种实施方式中,上述装置还包括:
意图排序模块1204,用于将至少一个第一实体对象和至少一个第二实体对象进行意图排序,得到意图排序结果;按照意图排序结果,将与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息进行排序后发送给用户端。
在一种实施方式中,意图排序模块1204,用于按照以下步骤对至少一个第一实体对象和至少一个第二实体对象进行排序:
将至少一个第一实体对象和至少一个第二实体对象对应的排序特征信息输入混合意图排序模型,得到意图排序结果。
在一种实施方式中,排序特征信息包括以下多种:
意图得分、实体对象在图片中的尺寸大小、实体对象在所在图片中的位置信息、实体对象的分类信息、待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容的发布者的属性信息、待检测媒体内容是否包含消费链接信息。
在一种实施方式中,内容获取模块1201,用于按照如下步骤获取待检测媒体内容:
获取搜索指令;搜索指令中携带有目标视频标识和当前播放进度信息;
根据目标视频标识和当前播放进度信息,确定目标视频帧;
在目标视频中提取包括目标视频帧在内的连续多个视频帧,将连续多个视频帧作为待检测媒体内容;连续多个视频帧包括在目标视频帧之前的至少一个视频帧和在目标视频帧之后的至少一个视频帧。
如图13所示,为本公开实施例三提供的另一种信息推送的装置的示意图,装置包括:
指令发送模块1301,用于基于用户选择的待检测媒体内容,向服务器发送搜索指令;
信息接收模块1302,用于接收服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息;第一实体对象为从实体类意图维度对待检测媒体内容进行识别过滤得到的,第二实体对象为从服务需求类意图维度对待检测媒体内容进行识别过滤得到的;
信息展示模块1303,用于在搜索结果展示页面展示目标对象信息。
在一种实施方式中,信息接收模块1302,用于按照以下步骤接收服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息:
接收服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息以及各个目标对象信息的排序信息;
按照排序信息,在搜索结果展示页面展示各个目标对象信息。
在一种实施方式中,信息展示模块1303,用于按照以下步骤在搜索结果展示页面展示目标对象信息:
在搜索结果展示页面的第一展示区域展示各个目标对象信息对应的多个分类信息,以及在搜索结果展示页面的第二展示区域展示各个目标对象信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
实施例四
本公开实施例还提供了一种计算机设备,该计算机设备可以是服务器,也可以是用户端。在以服务器作为计算机设备时,如图14所示,为本公开实施例提供的计算机设备的结构示意图,包括:处理器1401、存储器1402、和总线1403。存储器1402存储有处理器1401可执行的机器可读指令(如图12所示信息推送的装置中,内容获取模块1201、意图识别模块1202和信息推送模块1203所对应执行的指令),当计算机设备运行时,处理器1401与存储器1402之间通过总线1403通信,机器可读指令被处理器1401执行时执行如下处理:
获取待检测媒体内容;
从实体类意图维度对待检测媒体内容进行识别过滤,确定待检测媒体内容中,与用户搜索意图对应的至少一个第一实体对象;
从服务需求类意图维度对待检测媒体内容进行识别过滤,确定待检测媒体内容中,与用户搜索意图对应的至少一个第二实体对象;
基于至少一个第一实体对象和至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息。
在一种实施方式中,上述处理器1401执行的指令中,从实体类意图维度对待检测媒体内容进行识别过滤,确定待检测媒体内容中,与用户搜索意图对应的至少一个第一实体对象,包括:
对待检测媒体内容进行实体检测,得到待检测媒体内容中包含的至少一个实体对象;
对至少一个实体对象进行识别过滤,得到与用户搜索意图对应的至少一个第一实体对象。
在一种实施方式中,上述处理器1401执行的指令中,对待检测媒体内容进行实体检测,得到待检测媒体内容中包含的至少一个实体对象,包括:
将待检测媒体内容中的至少一张图片输入实体检测模型进行实体检测,得到图片中包含的实体对象;实体检测模型为基于已标记实体对象的训练样本图片进行训练得到的。
在一种实施方式中,上述处理器1401执行的指令中,对至少一个实体对象进行识别过滤,得到与用户搜索意图对应的至少一个第一实体对象,包括:
针对检测出的每个实体对象,将该实体对象的特征信息、用户特征信息、和待检测媒体内容的属性信息输入实体意图模型,确定该实体对象的意图得分;实体意图模型为基于已标记实体类意图识别结果的样本媒体内容进行训练得到的;用户特征信息是指发起针对待检测媒体内容的搜索指令的用户的特征信息;
若该意图得分大于设定分数阈值,将该实体对象作为与用户搜索意图对应的第一实体对象。
在一种实施方式中,实体对象的特征信息包括:任一实体对象在待检测媒体内容中的持续出现时长、任一实体对象在对应图片中出现的位置信息、任一实体对象在对应帧图片中的尺寸信息、任一实体对象对应的景深信息中的至少一种;
待检测媒体内容的属性信息包括:待检测媒体内容的分类信息和待检测媒体内容的文本描述信息中的至少一种。
在一种实施方式中,上述处理器1401执行的指令中,从服务需求类意图维度对待检测媒体内容进行识别过滤,确定待检测媒体内容中,与用户搜索意图对应的至少一个第二实体对象,包括:
对待检测媒体内容进行服务需求类识别过滤,确定待检测媒体内容中与服务需求类意图匹配的意图图片;
对匹配的意图图片进行服务需求类实体检测,得到匹配的意图图片中包含的至少一个第二实体对象。
在一种实施方式中,上述处理器1401执行的指令中,对待检测媒体内容进行服务需求类识别过滤,包括:
针对待检测媒体内容中的至少一张图片,将至少一张图片中的每张图片对应的特征信息、待检测媒体内容的属性信息、和待检测媒体内容的发布者的属性信息输入消费意图模型进行识别过滤,确定该张图片是否为与服务需求类意图匹配的意图图片;消费意图模型为基于已标记服务需求类识别过滤结果的样本媒体内容进行训练得到的。
在一种实施方式中,待检测媒体内容的属性信息包括以下信息中的至少一种:
待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容中是否包含消费链接信息。
在一种实施方式中,上述处理器1401执行的指令中,对匹配的意图图片进行服务需求类实体检测,得到匹配的意图图片中包含的至少一个第二实体对象,包括:
将匹配的意图图片对应的服务需求类检测信息,输入服务需求类实体检测模型,得到匹配的意图图片中包含的至少一个实体对象分别对应的服务需求类意图得分;服务需求类实体意图模型为基于已标记服务需求类识别过滤结果的样本媒体内容进行训练得到的;
若意图图片中包含的任一实体对象对应的服务需求类意图得分大于设定分数阈值,将该任一实体对象作为与用户搜索意图对应的第二实体对象。
在一种实施方式中,任一意图图片对应的服务需求类检测信息包括以下多种:
意图图片的特征向量、意图图片在待检测媒体内容中出现的次数比例、意图图片中的实体对象在该意图图片中的位置信息、待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容的发布者的属性信息、待检测媒体内容是否包含消费链接信息。
在一种实施方式中,上述处理器1401执行的指令中,基于至少一个第一实体对象和至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息,包括:
通过将至少一个第一实体对象和至少一个第二实体对象的特征向量,与各个媒体内容对应的实体对象的特征向量进行匹配,从各个媒体内容对应的实体对象中,查找与至少一个第一实体对象和至少一个第二实体对象分别对应的相似实体对象;
将相似实体对象对应的媒体内容作为与用户搜索意图对应的目标对象信息。
在一种实施方式中,上述处理器1401执行的指令中,基于至少一个第一实体对象和至少一个第二实体对象,确定与用户搜索意图对应的目标对象信息,包括:
将至少一个第一实体对象和至少一个第二实体对象分别对应的服务方链接信息,作为与用户搜索意图对应的目标对象信息。
在一种实施方式中,上述处理器1401执行的指令还包括:
将至少一个第一实体对象和至少一个第二实体对象进行意图排序,得到意图排序结果;
按照意图排序结果,将与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息进行排序后发送给用户端。
在一种实施方式中,上述处理器1401执行的指令中,将至少一个第一实体对象和至少一个第二实体对象进行意图排序,得到意图排序结果,包括:
将至少一个第一实体对象和至少一个第二实体对象对应的排序特征信息输入混合意图排序模型,得到意图排序结果。
在一种实施方式中,排序特征信息包括以下多种:
意图得分、实体对象在图片中的尺寸大小、实体对象在所在图片中的位置信息、实体对象的分类信息、待检测媒体内容的分类信息、待检测媒体内容的文本描述信息、待检测媒体内容的发布者的属性信息、待检测媒体内容是否包含消费链接信息。
在一种实施方式中,上述处理器1401执行的指令中,获取待检测媒体内容,包括:
获取搜索指令;搜索指令中携带有目标视频标识和当前播放进度信息;
根据目标视频标识和当前播放进度信息,确定目标视频帧;
在目标视频中提取包括目标视频帧在内的连续多个视频帧,将连续多个视频帧作为待检测媒体内容;连续多个视频帧包括在目标视频帧之前的至少一个视频帧和在目标视频帧之后的至少一个视频帧。
在以用户端作为计算机设备时,如图15所示,为本公开实施例提供的计算机设备的结构示意图,包括:处理器1501、存储器1502、和总线1503。存储器1502存储有处理器1501可执行的机器可读指令(如图13所示信息推送的装置中,指令发送模块1301、信息接收模块1302和信息展示模块1303所对应执行的指令),当计算机设备运行时,处理器1501与存储器1502之间通过总线1503通信,机器可读指令被处理器1501执行时执行如下处理:
基于用户选择的待检测媒体内容,向服务器发送搜索指令;
接收服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息;第一实体对象为从实体类意图维度对待检测媒体内容进行识别过滤得到的,第二实体对象为从服务需求类意图维度对待检测媒体内容进行识别过滤得到的;
在搜索结果展示页面展示目标对象信息。
在一种实施方式中,上述处理器1501执行的指令中,接收服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息,包括:
接收服务器反馈的与至少一个第一实体对象和至少一个第二实体对象分别对应的目标对象信息以及各个目标对象信息的排序信息;
按照排序信息,在搜索结果展示页面展示各个目标对象信息。
在一种实施方式中,上述处理器1501执行的指令中,在搜索结果展示页面展示目标对象信息,包括:
在搜索结果展示页面的第一展示区域展示各个目标对象信息对应的多个分类信息,以及在搜索结果展示页面的第二展示区域展示各个目标对象信息。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例一中的信息推送的方法的步骤或者执行上述方法实施例二中的信息推送的方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的信息推送的方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行上述方法实施例中的信息推送的方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。