CN113761360A - 基于视频的物品搜索方法、装置、设备及存储介质 - Google Patents

基于视频的物品搜索方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113761360A
CN113761360A CN202110585078.4A CN202110585078A CN113761360A CN 113761360 A CN113761360 A CN 113761360A CN 202110585078 A CN202110585078 A CN 202110585078A CN 113761360 A CN113761360 A CN 113761360A
Authority
CN
China
Prior art keywords
item
search
target
presenting
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110585078.4A
Other languages
English (en)
Inventor
庄延军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110585078.4A priority Critical patent/CN113761360A/zh
Publication of CN113761360A publication Critical patent/CN113761360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers

Abstract

本申请提供了一种基于视频的物品搜索方法、装置、设备及计算机可读存储介质；方法包括：在当前登录账号的播放界面中播放目标视频的视频内容，并呈现对应所述视频内容的搜索控件；其中，所述搜索控件，用于对所述视频内容中的任一物品进行搜索；在播放所述视频内容的过程中，呈现当前登录账号基于所述搜索控件输入的物品信息，所述物品信息对应所述视频内容中的目标物品；基于所述物品信息，接收到针对所述目标物品的搜索指令；响应于所述搜索指令，在所述播放界面中呈现针对所述目标物品的搜索结果。通过本申请，能够基于播放界面中的搜索控件获取视频内容中任一物品的搜索结果，扩大了搜索范围。

Description

基于视频的物品搜索方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于视频的物品搜索方法、装置、设备及计算机可读存储介质。
背景技术
相关技术中，用户在观看视频的过程中，若当前播放的视频内容中的物品关联有对应的推荐物品，则用户可查看所关联的推荐物品的详情信息，如当前播放的视频画面中角色A穿了一件连衣裙且该连衣裙关联有相对应的推荐物品，则用户可查看该推荐物品的详情信息。
然而，相关技术需事先将视频内容中的物品与推荐物品进行关联，因此，用户在观看视频的过程中，能够查看的推荐物品均是事先关联好的，而对于视频内容中未关联推荐物品的物品，如角色A的一件普通T恤，可能没有关联对应的推荐详情信息，导致用户无法基于播放界面搜索查看事先未关联有推荐物品的物品对应的详情信息，使得用户针对视频内容中物品的搜索范围比较有限。
发明内容
本申请实施例提供一种基于视频的物品搜索方法、装置、设备及计算机可读存储介质，能够基于播放界面搜索查看视频内容中任一物品的搜索结果，扩大了搜索范围。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种基于视频的物品搜索方法，包括：
在当前登录账号的播放界面中播放目标视频的视频内容，并呈现对应所述视频内容的搜索控件；
其中，所述搜索控件，用于对所述视频内容中的任一物品进行搜索；
在播放所述视频内容的过程中，呈现所述当前登录账号基于所述搜索控件输入的物品信息，所述物品信息对应所述视频内容中的目标物品；
基于所述物品信息，接收到针对所述目标物品的搜索指令；
响应于所述搜索指令，在所述播放界面中呈现针对所述目标物品的搜索结果。
本申请实施例提供一种基于视频的物品搜索装置，包括：
第一呈现模块，用于在当前登录账号的播放界面中播放目标视频的视频内容，并呈现对应所述视频内容的搜索控件；
其中，所述搜索控件，用于对所述视频内容中的任一物品进行搜索；
第二呈现模块，用于在播放所述视频内容的过程中，呈现当前登录账号基于所述搜索控件输入的物品信息，所述物品信息对应所述视频内容中的目标物品；
指令接收模块，用于基于所述物品信息，接收到针对所述目标物品的搜索指令；
第三呈现模块，用于响应于所述搜索指令，在所述播放界面中呈现针对所述目标物品的搜索结果。
上述方案中，所述第二呈现模块，还用于响应于基于所述搜索控件触发的语音录入操作，在所述播放界面中呈现所述语音录入操作对应的文本内容，并将所述文本内容作为所述物品信息；
其中，所述文本内容，为对基于所述搜索控件录入的语音进行文本转换得到。
上述方案中，所述第二呈现模块，还用于响应于针对所述搜索控件的触发操作，呈现对应所述视频内容中目标物品的搜索编辑框；
响应于基于所述搜索编辑框触发的文本编辑操作，在所述搜索编辑框中呈现基于所述搜索编辑框输入的文本内容，并将所述文本内容作为所述物品信息。
上述方案中，所述基于所述物品信息，接收到针对所述目标物品的搜索指令之前，所述装置还包括：
物品确定模块，用于获取当前播放的所述视频内容的视频帧图像，并对所述视频帧图像进行物品识别，得到所述视频帧图像包含的至少一个物品；
当所述物品信息包括物品名称时，确定与所述物品名称相对应的描述物品；
将所述视频帧图像包含的至少一个物品与所述描述物品进行匹配，并基于匹配结果确定所述视频帧图像中的目标物品。
上述方案中，所述物品确定模块，还用于当所述匹配结果表征所述至少一个物品中与所述描述物品相匹配的物品的数量为一个时，将所述相匹配的物品作为所述目标物品；
当所述匹配结果表征所述至少一个物品中与所述描述物品相匹配的物品的数量为多个时，获取所述物品信息中对所述描述物品进行描述的附加信息，并将多个所述物品中与所述附加信息相匹配的物品作为所述目标物品。
上述方案中，当所述匹配结果表征所述至少一个物品中不存在与所述描述物品相匹配的物品时，所述第三呈现模块，还用于在所述播放界面中呈现用于指示未搜索到所述目标物品的搜索指示信息；
或者，从所述至少一个物品中选择至少一个物品作为第一推荐物品，在所述播放界面中呈现所述第一推荐物品对应的搜索结果。
上述方案中，所述指令接收模块，还用于基于所述物品信息，确定所述视频内容中的所述目标物品；
当所述目标物品的数量为多个时，呈现对应所述多个目标物品的物品选择界面；
响应于通过所述物品选择界面接收到的物品选择指令，接收到针对所述物品选择指令所指示选择的目标物品的搜索指令。
上述方案中，所述第三呈现模块，还用于当所述搜索结果的类型为文本或图像时，在所述播放界面中，通过卡片浮层呈现所述搜索结果；
当所述搜索结果的类型为视频时，通过独立于所述播放界面的子界面播放所述搜索结果。
上述方案中，所述第三呈现模块，还用于当所述搜索结果为所述目标物品对应的展示视频时，播放所述展示视频；
在播放所述展示视频的过程中，采用静音播放方式播放所述目标视频的视频内容，并在所述播放界面中呈现所述视频内容中语音内容所对应的文本。
上述方案中，所述第三呈现模块，还用于在所述播放界面中呈现针对所述目标物品的搜索详情页面；
在所述搜索详情页面中，将所述目标物品对应的详情信息作为所述搜索结果进行呈现。
上述方案中，所述将所述目标物品对应的详情信息作为所述搜索结果进行呈现之前，所述方装置还包括：
详情获取模块，用于发送针对所述目标物品的搜索请求，所述搜索请求携带所述目标物品的帧图像，以将所述目标物品的帧图像与物品库中物品的帧图像进行匹配，确定物品库中与所述目标物品相匹配的物品的详情信息并返回；
接收返回的所述物品的详情信息，并将接收的所述物品的详情信息作为所述目标物品对应的详情信息。
上述方案中，所述第三呈现模块，还用于在所述播放界面中，呈现针对所述目标物品的搜索详情页面；
在所述搜索详情页面中，将所述目标物品对应的第二推荐物品作为所述搜索结果进行呈现；
其中，所述第二推荐物品与所述目标物品间的相似度超过相似度阈值。
上述方案中，所述第三呈现模块，还用于当所述搜索结果包括所述目标物品对应的推荐物品，且所述推荐物品的数量为多个时，分别获取各所述推荐物品的推荐优先级；
在所述播放界面中，按照所述推荐优先级高、相应的推荐物品在前的方式，呈现各所述推荐物品。
上述方案中，所述第三呈现模块，还用于当所述搜索结果包括所述目标物品对应的推荐物品，且所述推荐物品的数量为多个时，在所述播放界面中，并列呈现各所述推荐物品；
或者，滚动呈现各所述推荐物品。
上述方案中，所述第三呈现模块，还用于当所述目标物品的数量为多个时，获取各所述目标物品对应的推荐物品，所述目标物品与所述推荐物品一一对应；
在所述播放界面中，在各所述目标物品关联的区域中显示相应的推荐物品；
将呈现的各所述推荐物品作为所述搜索结果。
上述方案中，所述装置还包括：
互动处理模块，用于呈现针对所述目标物品的搜索结果的互动功能项；
当接收到针对所述互动功能项的触发操作时，呈现互动界面，并在所述互动界面中呈现对应所述搜索结果的互动功能入口；
响应于基于所述互动功能入口触发的互动操作，呈现对应互动结果的互动指示信息。
本申请实施例提供一种计算机设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的基于视频的物品搜索方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的基于视频的物品搜索方法。
本申请实施例具有以下有益效果：
在播放界面中播放目标视频的视频内容，并呈现对应视频内容的搜索控件；在播放视频内容的过程中，呈现当前登录账号基于搜索控件输入的物品信息，物品信息对应视频内容中的目标物品；基于物品信息，接收到针对目标物品的搜索指令；响应于搜索指令，在播放界面中呈现针对目标物品的搜索结果；如此，用户在观看视频内容的过程中，对视频内容中任一物品感兴趣而进行搜索时，可主动触发播放界面中呈现的搜索控件，并基于搜索控件输入所要搜索物品(如目标物品)的物品信息，终端即可接收物品信息，接收到针对目标物品的搜索指令，并响应于该搜索指令，呈现目标物品对应的搜索结果，使得用户能够获取视频内容中任一目标物品的搜索结果，相较于仅能搜索查看视频中事先关联好推荐物品的相关信息而言，提高了针对视频内容中物品的搜索范围，从而大幅提升用户的观感体验；并且，对视频播放客户端而言，也能提升用户粘性，减少用户流失。
附图说明
图1为本申请实施例提供的基于视频的物品搜索系统100的一个可选的架构示意图；
图2为本申请实施例提供的基于视频的物品搜索方法的流程示意图；
图3为本申请实施例提供的物品信息的获取界面示意图；
图4为本申请实施例提供的物品信息的获取界面示意图；
图5A-5B为本申请实施例提供的搜索结果的显示界面示意图；
图6为本申请实施例提供的搜索指令的触发界面示意图；
图7为本申请实施例提供的搜索结果的显示界面示意图；
图8为本申请实施例提供的搜索结果的显示界面示意图；
图9为本申请实施例提供的搜索结果的显示界面示意图；
图10为本申请实施例提供的搜索结果的显示界面示意图；
图11为本申请实施例提供的基于视频的物品搜索系统架构示意图；
图12为本申请实施例提供的基于视频的物品搜索方法的流程示意图；
图13为本申请实施例提供的物品识别结果示意图；
图14为本申请实施例提供的基于视频的物品搜索装置的结构示意图；
图15为本申请实施例提供的计算机设备500的一个可选的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二…”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二…”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
参见图1，图1为本申请实施例提供的基于视频的物品搜索系统100的一个可选的架构示意图，为实现支撑一个示例性应用，终端(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
在实际应用中，终端可以为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，还可以为台式计算机、电视机、车载设备或者这些数据处理设备中任意组合；服务器200既可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在实际应用中，终端上设置有客户端，如视频播放客户端、浏览器客户端、新闻客户端、教育客户端等。当用户打开终端上的客户端观看目标视频时，终端在播放界面中播放目标视频的视频内容，并呈现对应视频内容的搜索控件，在播放视频内容的过程中，呈现当前登录账号基于搜索控件输入的物品信息，物品信息对应视频内容中的目标物品；基于物品信息，接收到针对目标物品的搜索指令，响应于搜索指令，生成并发送用于获取目标物品的搜索请求至服务器200；服务器200用于基于搜索请求，确定并返回目标物品的搜索结果至终端进行呈现。
基于上述对本申请实施例的提供的基于视频的物品搜索系统的说明，下面对本申请实施例的提供的基于视频的物品搜索方法进行说明，在实际实施时，该方法可由图1所示的终端或服务器200单独实施，还可由图1所示的终端和服务器200协同实施。接下来将结合图1及图2，图2为本申请实施例提供的基于视频的物品搜索方法的流程示意图，以图1所示的终端单独实施本申请实施例提供的基于视频的物品搜索方法为例进行说明。
步骤101：终端在当前登录账号的播放界面中播放目标视频的视频内容，并呈现对应视频内容的搜索控件。
其中，搜索控件，用于对视频内容中的任一物品进行搜索。
在实际应用中，终端上设置有客户端，如视频播放客户端、浏览器客户端、新闻客户端等，用户可以通过客户端观看视频，当用户打开终端上的客户端观看目标视频时，在播放界面中播放目标视频的视频内容，并呈现用于对视频内容的相关信息进行搜索的搜索控件，用户在观看视频的过程中，可根据自身需要选择是否触发该搜索控件，当用户想要了解视频内容中任一物品的相关信息时，可通过触发该搜索控件对所要了解的物品的相关信息进行搜索。
步骤102：在播放视频内容的过程中，呈现当前登录账号基于搜索控件输入的物品信息，其中，物品信息对应视频内容中的目标物品。
这里，在用户通过终端上设置的客户端观看目标视频的视频内容的过程中，当用户发现当前播放的视频内容中有感兴趣的事物(即目标物品)时，则可触发播放界面中呈现的对应视频内容的搜索控件进行交互，终端响应于该触发操作，暂停播放当前正在播放的视频内容，获取用户输入的对应视频内容中目标物品的物品信息，同时对当前播放的视频内容进行截屏，得到当前播放的视频内容的视频帧图像的视频帧图像，以进行后续处理。
在一些实施例中，终端可通过如下方式获取并呈现当前登录账号基于所述搜索控件输入的物品信息：响应于基于搜索控件触发的语音录入操作，在播放界面中呈现语音录入操作对应的文本内容，并将文本内容作为物品信息；其中，文本内容为对基于搜索控件录入的语音进行文本转换得到。
其中，搜索控件可为语音搜索按钮或语音录入图标，终端响应于针对搜索控件的触发操作，采集用户录入的语音信息，并将语音信息进行文本转换，如通过语音识别文字引擎对语音信息进行文本转换，得到相应的文本内容进行呈现。
参见图3，图3为本申请实施例提供的获取并显示物品信息的界面示意图，在播放界面中呈现如“语音录入图标”这一搜索控件301，当用户触发(如点击、滑动等)搜索控件301时，终端响应于该触发操作，采集用户录入的语音，并在播放界面中呈现对录入的语音进行文本转换得到的文本内容，如“搜索主角身上的连衣裙”，当用户停止语音录入时，即可基于录入的语音对应的文本内容触发针对目标物品的搜索指令，以响应于该触发操作，呈现相应的搜索结果。
在一些实施例中，终端可通过如下方式获取并呈现当前登录账号基于所述搜索控件输入的物品信息：响应于针对搜索控件的触发操作，呈现对应视频内容中目标物品的搜索编辑框；响应于基于搜索编辑框触发的文本编辑操作，在搜索编辑框中呈现基于搜索编辑框输入的文本内容，并将文本内容作为物品信息。
参见图4，图4为本申请实施例提供的获取并显示物品信息的界面示意图，在播放界面中呈现如“搜索”这一搜索控件401，当用户触发(如点击、滑动等)搜索控件401时，终端响应于该触发操作，呈现搜索编辑框402，当用户在搜索编辑框402输入对目标物品进行搜索的描述信息(即文本内容)时，在搜索编辑框402中呈现输入的文本内容，并将该文本内容作为对视频内容中目标物品进行搜索的物品信息，以基于该物品信息，接收到针对目标物品的搜索指令。
步骤103：基于物品信息，接收到针对目标物品的搜索指令。
这里，当终端获取并显示当前登录账号通过搜索控件输入的对视频内容中目标物品进行搜索的物品信息时，终端即可接收到针对目标物品的搜索指令，以响应于该搜索指令，对目标物品的相关信息进行搜索。
在一些实施例中，终端在基于物品信息，接收到针对目标物品的搜索指令之前，还可通过如下方式确定目标物品：
获取当前播放的视频内容的视频帧图像，并对视频帧图像进行物品识别，得到视频帧图像包含的至少一个物品；当物品信息包括物品名称时，确定与物品名称相对应的描述物品；将视频帧图像包含的至少一个物品与文本内容指示的描述物品进行匹配，并基于匹配结果确定视频帧图像中的目标物品。
这里，终端对当前播放的视频内容的视频帧图像进行物品识别，如将视频帧图像输入至预先训练好的物品识别模型中，得到视频帧图像包含的至少一个物品，如衣服，首饰，眼镜，手表等。终端对用户基于搜索控件输入的物品信息进行语义分析，得到物品信息对应的描述物品以及对描述物品进行描述的附加信息，即得到用户所要搜索的意图，例如，用户语音录入的语音信息对应的文本内容为：“搜索张三穿的连衣裙”，将该文本内容作为对目标物品进行搜索的物品信息，则可知，物品信息对应的描述物品为“连衣裙”、对描述物品进行描述的附加信息为“张三”。最后，终端将视频帧图像包含的至少一个物品与物品信息对应的描述物品进行匹配，得到匹配结果，并基于匹配结果确定视频帧图像包含的至少一个物品中的目标物品。
在一些实施例中，终端可通过如下方式基于匹配结果确定视频帧图像中的目标物品：当匹配结果表征视频帧图像包含的至少一个物品中与物品信息指示的描述物品相匹配的物品的数量为一个时，将视频帧图像中相匹配的物品作为目标物品；当匹配结果表征视频帧图像包含的至少一个物品中与文本内容指示的描述物品相匹配的物品的数量为多个时，获取文本内容中对描述物品进行描述的附加信息，并将多个(与描述物品相匹配的)物品中与附加信息相匹配的物品作为目标物品。
这里，基于匹配结果确定视频帧图像包含的至少一个物品中与文本内容对应的描述物品相匹配的物品的数量，当该数量为1时，表征视频帧图像包含的至少一个物品中存在一个用户所要搜索的描述物品，则直接将相匹配的物品作为目标物品；当该数量大于1时，表征视频帧图像中存在多个与描述物品相匹配的物品，则需要再进行对描述物品进行描述的附加信息的过滤，比如某人的某物品，则需要对相匹配的物品的归属信息(如归属人物)进一步识别，由于视频帧图像中能识别出每个物品对应的归属人物的人脸，则将该人脸与对描述物品进行描述的附加信息进行匹配，将相匹配的人脸对应的物品作为目标物品。
例如，用户语音录入的语音信息对应的文本内容为：“搜索张三穿的连衣裙”，则可知，文本内容(即物品信息)对应的描述物品为“连衣裙”、对描述物品进行描述的附加信息为“张三”；而视频帧图像中识别得到“张三”和“李四”这两个人都穿着“连衣裙”，则可确定视频帧图像中存在两个与“连衣裙”这一描述物品相匹配的物品，即张三的连衣裙1和李四的连衣裙2，则需进一步匹配，分别将连衣裙1和连衣裙2对应的归属人物与语音输入的附加信息(张三)进行匹配，将相匹配的张三的连衣裙1确定为目标物品。
在一些实施例中，当匹配结果表征视频帧图像包含的至少一个物品中不存在与物品信息指示的描述物品相匹配的物品时，终端可通过如下方式在播放界面中呈现针对目标物品的搜索结果：在播放界面中呈现用于指示未搜索到目标物品的搜索指示信息；或者，从至少一个物品中选择一个或多个物品作为第一推荐物品，在播放界面中呈现第一推荐物品对应的搜索结果。
这里，当视频帧图像包含的至少一个物品中与文本内容对应的描述物品相匹配的物品的数量为零，即当通过搜索控件输入的物品信息所指示的描述物品在视频帧图像中不存在时，表征当前播放的视频内容(或画面)中不存在用户所要搜索的描述物品，终端可直接呈现没有找到目标物品的搜索指示信息，或在播放界面中呈现从视频帧图像中识别出来的第一推荐物品对应的搜索结果。
在获取第一推荐物品对应的搜索结果的过程中，终端首先从视频帧图像包含的物品中选择一个或多个物品作为第一推荐物品，将第一推荐物品的帧图像与物品库中物品的帧图像进行匹配，确定物品库中与第一推荐物品相匹配的物品的详情信息，并将商品库中该物品的详情信息作为第一推荐物品的详情信息，以将该详情信息作为搜索结果进行呈现。
例如，当用户语音录入的语音对应的文本内容为：“搜索主角戴的帽子”，则可知该文本内容所指示的描述物品为帽子，而对当前播放的视频内容的视频帧图像识别得到的物品为：连衣裙、高跟鞋，那么可知，当前播放的视频内容中不存在用户所要搜索的描述物品，可从连衣裙、高跟鞋中选择一个或多个物品作为第一推荐物品，并呈现有关第一推荐物品的搜索结果。
参见图5A-5B，图5A-5B为本申请实施例提供的搜索结果的显示界面示意图，若当前播放的视频内容中不存在用户所要搜索的描述物品，在图5A，呈现如“主角没戴帽子哦”，或“没有搜索到帽子”等搜索指示信息；图5B中，当前播放的视频内容中不存在用户所要搜索的“帽子”这一描述物品，则从连衣裙、高跟鞋中选择一个或多个物品作为第一推荐物品，如将“连衣裙”作为第一推荐物品，并呈现有关“连衣裙”这一第一推荐物品的搜索结果。
在一些实施例中，终端可通过如下方式基于物品信息，接收到针对目标物品的搜索指令：基于物品信息，确定视频内容中的目标物品；当目标物品的数量为多个时，呈现对应多个目标物品的物品选择界面；响应于通过物品选择界面接收到的物品选择指令，接收到针对物品选择指令所指示选择的目标物品的搜索指令。
这里，当有多个目标物品时，可从中选择一个目标物品进行搜索，还可同时选择多个目标物品进行搜索。
参见图6，图6为本申请实施例提供的搜索指令的触发界面示意图，当目标物品有多个时，可选择一个或多个目标物品，当用户选择所需搜索的目标物品时，终端即可接收到针对所选择的目标物品的搜索指令。
步骤104：响应于搜索指令，在播放界面中呈现针对目标物品的搜索结果。
在一些实施例中，终端可通过如下方式在播放界面中呈现针对目标物品的搜索结果：当搜索结果的类型为文本或图像时，在播放界面中，通过卡片浮层呈现搜索结果；当搜索结果的类型为视频时，通过独立于播放界面的子界面播放搜索结果。
其中，文本为与目标物品相关的文本描述信息，图像为与目标物品相关的描述图像，视频为与目标物品相关的描述视频，如当目标物品为衣服时，文本可为针对该衣服的文字描述(如介绍、评价等)，图像为针对该衣服的展示图片，视频可为针对该衣服试穿视频，等等。
在实际应用中，卡片浮层可具备一定的透明度，在播放界面中可移动，卡片浮层的大小可根据实际应用而设定，当搜索结果较多时，可呈现较大的卡片浮层以完全显示搜索结果，也可呈现较小的卡片浮层显示部分搜索结果，此种情况下，卡片浮层呈现有进度下拉条，可通过拖拉进度下拉条显示剩余部分的搜索结果。子界面也可具备一定的透明度，位于播放界面之上，透过子界面可查看播放界面中播放的视频内容，子界面可只占据播放界面的一部分，也可占据播放界面的全部；如此，通过具备一定透明度的子界面呈现搜索结果，能够使用户看到更多信息，满足用户快速获取信息的需求；同时，伴随用户的滑动操作，子界面在播放界面上的呈现位置同步移动。
在一些实施例中，终端可通过如下方式在播放界面中呈现针对目标物品的搜索结果：当搜索结果为目标物品对应的展示视频时，播放展示视频；在播放展示视频的过程中，采用静音播放方式播放目标视频的视频内容，并在播放界面中呈现视频内容中语音内容所对应的文本。
这里，若目标视频与展示视频同时播放时，为了避免声音干扰，对目标视频中的语音内容进行文本转换，得到对应的文本，在播放展示视频的过程中，采用静音播放方式播放目标视频的视频内容，同时在播放界面中呈现视频内容中语音内容所对应的文本。如此，用户在观看展示视频的同时还可观看目标视频播放的内容，提高信息的获取效率。
参见图7，图7为本申请实施例提供的搜索结果的显示界面示意图，在播放展示视频的过程中，采用静音播放方式播放目标视频的视频内容，同时在播放界面中呈现视频内容中语音内容所对应的文本701。
在一些实施例中，终端可通过如下方式在播放界面中呈现针对目标物品的搜索结果：在播放界面中呈现针对目标物品的搜索详情页面；在搜索详情页面中，将目标物品对应的详情信息作为搜索结果进行呈现。
这里，详情信息是对目标物品的介绍信息，如当目标物品为连衣裙时，则目标物品的详情信息可以是连衣裙的材质、颜色、价格、代言人、设计师、购买链接等信息。
在一些实施例中，终端在将目标物品对应的详情信息作为搜索结果进行呈现之前，还可通过如下方式获取目标物品对应的详情信息：发送针对目标物品的搜索请求，搜索请求携带目标物品的帧图像，以将目标物品的帧图像与物品库中物品的帧图像进行匹配，确定物品库中与目标物品相匹配的物品的详情信息并返回；接收返回的物品的详情信息，并将接收的物品的详情信息作为目标物品对应的详情信息。
这里，物品库也可为商品库，物品库中存储有大量的物品、以及对应物品的详情信息。在实际实施时，终端发送携带目标物品的帧图像的搜索请求至服务器，服务器基于搜索请求，将目标物品的帧图像与物品库中物品的帧图像进行匹配，如对目标物品的帧图像进行特征提取，将提取的特征分别与物品库中物品的帧图像的特征进行相似度计算，得到多个相似度值，将物品库中相似度值超过相似度阈值的物品确定为与目标物品相匹配，获取并返回相匹配的物品对应的详情信息至终端。
在一些实施例中，终端可通过如下方式在播放界面中呈现针对目标物品的搜索结果：在播放界面中，呈现针对目标物品的搜索详情页面；在搜索详情页面中，将目标物品对应的第二推荐物品作为搜索结果进行呈现；其中，第二推荐物品与目标物品间的相似度超过相似度阈值。
这里，在实际应用中，除了呈现与目标物品完全相同的物品的详情信息，还可将与目标物品相似的第二推荐物品作为搜索结构进行呈现，这样能够给用户提供更多与目标物品相似的物品，便于用户比较分析。
在一些实施例中，终端可通过如下方式在播放界面中呈现针对目标物品的搜索结果：当搜索结果包括目标物品对应的推荐物品，且推荐物品的数量为多个时，分别获取各推荐物品的推荐优先级；在播放界面中，按照推荐优先级高、相应的推荐物品在前的方式，呈现各推荐物品。
这里，推荐优先级可基于按推荐物品与目标物品之间相关性(或相似度)高低、推荐物品的销售价格高低或销量高低等而定，推荐优先级越高，相应的推荐物品的呈现位置越靠前。
参见图8，图8为本申请实施例提供的搜索结果的显示界面示意图，在播放界面中呈现目标物品对应的推荐物品为：推荐物品1、推荐物品2和推荐物品3，其中，推荐物品1与目标物品的相似度为100％、推荐物品2与目标物品的相似度为90％、推荐物品3与目标物品的相似度为80％，则推荐物品1的优先级最高，推荐物品3的推荐优先级最低，则在呈现推荐物品时，推荐物品1在推荐物品2的前面，推荐物品2又在推荐物品3的前面。
在一些实施例中，终端可通过如下方式在播放界面中呈现针对目标物品的搜索结果：当搜索结果包括目标物品对应的推荐物品，且推荐物品的数量为多个时，在播放界面中，并列呈现各推荐物品；或者，滚动呈现各推荐物品。
在一些实施例中，终端可通过如下方式在播放界面中呈现针对目标物品的搜索结果：当目标物品的数量为多个时，获取各目标物品对应的推荐物品，目标物品与推荐物品一一对应；在播放界面中，在各目标物品关联的区域中显示相应的推荐物品；将呈现的各所述推荐物品作为搜索结果。
这里，目标物品有多个，相应的推荐物品也有多个，每个目标物品与推荐物品一一对应，在视频画面中目标物品关联的区域处呈现相应的推荐物品。
参见图9，图9为本申请实施例提供的搜索结果的显示界面示意图，视频帧图像中存在两个目标物品：连衣裙和帽子，则在“连衣裙”这一目标物品关联的区域中显示相应的“同款连衣裙”的详情信息，在“帽子”这一目标物品关联的区域中显示相应的“同款帽子”的详情信息。
在一些实施例中，终端还可呈现针对目标物品的搜索结果的互动功能项；当接收到针对互动功能项的触发操作时，呈现互动界面，并在互动界面中呈现对应搜索结果的互动功能入口；响应于基于互动功能入口触发的互动操作，呈现对应互动结果的互动指示信息。
其中，互动功能项用于实现针对搜索结果的互动功能，如分享，购买等功能，用户可基于互动功能项对搜索结果进行相应的互动，例如，当用户点击分享功能项时，终端响应于点击操作，呈现分享页面，并在分享页面中呈现对应搜索结果的分享功能入口，响应于基于分享功能入口触发的针对分享对象的选择操作，将该搜索结果分享至选择操作所指示选择的分享对象，并呈现已将搜索结果分享至分享对象的分享指示信息。
参见图10，图10为本申请实施例提供的搜索结果的显示界面示意图，在呈现搜索结果的详情页面中呈现针对搜索结果的购买链接，将该购买链接作为互动功能项，当用户点击购买链接时，终端响应于该点击操作，呈现推荐物品的购买详情界面，并在购买详情界面中呈现对应推荐物品的购买功能入口，响应于基于购买功能入口触发的购买操作，呈现对应购买结果的购买指示信息。
通过上述方式，用户在观看视频内容的过程中，对视频内容中任一物品进行搜索，如对任一物品中目标物品进行搜索时，即可主动通过播放界面中呈现的搜索控件，输入针对所要搜索的目标物品的物品信息，终端基于物品信息，接收到针对目标物品的搜索指令，响应于该搜索指令，呈现相应的搜索结果，使得用户能够获取视频内容中任一目标物品的搜索结果，相较于仅能搜索查看视频中事先关联好推荐物品的相关信息而言，提高了针对视频内容中物品的搜索范围，从而大幅提升用户的观感体验；并且，对视频播放客户端而言，也能提升用户粘性，减少用户流失。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。以由图1所示的终端和服务器200协同实施为例，继续对本申请实施例提供的基于视频的物品搜索方法进行说明。参见图11，图11为本申请实施例提供的基于视频的物品搜索系统架构示意图，该架构由终端、服务器、物品识别模型和商品数据库组成，其中，终端上设置视频播放客户端，服务器为视频播放客户端对应的后台服务器，物品识别模型和商品数据库可位于服务器中，物品识别模型用于对采集的视频帧图像进行物品识别，商品数据库用于获取所要搜索的目标物品的相关信息。
在实际实施时，可结合图11及图12对本申请实施例提供的基于视频的物品搜索方法进行说明，图12为本申请实施例提供的基于视频的物品搜索方法的流程示意图，该方法包括：
步骤301：终端响应于针对语音搜索按钮的触发操作，采集用户录入的语音信息，并获取当前视频内容对应的视频帧图像。
这里，在用户通过终端上设置的视频播放客户端观看目标视频的视频内容的过程中，当用户发现当前播放的视频内容中有感兴趣的事物(即目标物品)时，则可触发播放界面中呈现的对应视频内容的语音搜索按钮(即搜索控件)进行交互，终端响应于该触发操作，暂停播放当前正在播放的视频内容，并采集用户录入的语音信息，同时对当前视频内容进行截屏，得到对应的视频帧图像；终端将采集的语音信息和视频帧图像发送至后台的服务器。
步骤302：服务器获取语音信息和视频帧图像。
步骤303：服务器对语音信息进行文本转换，得到对应的文本内容。
这里，服务器还可将文本转换得到的文本内容实时返回至终端进行呈现。
步骤304：服务器对文本内容进行语义分析，得到对应的描述物品和附加信息。
上述步骤302-步骤304中，服务器接收到语音信息和视频帧图像后，对语音信息进行文本转换，如通过语音识别文字引擎对语音信息进行文本转换，得到对应的文本内容；对文本内容进行语义分析，得到文本内容对应的描述物品以及对描述物品进行描述的附加信息，即得到用户所要搜索的意图。
步骤305：服务器对视频帧图像进行物品识别，得到视频帧图像包含的至少一个物品。
这里，服务器对视频帧图像进行物品识别，如将视频帧图像输入至预先训练好的物品识别模型中，得到视频帧图像包含的至少一个物品，如衣服，首饰，眼镜，手表等。
参见图13，图13为本申请实施例提供的物品识别结果示意图，当待识别图像输入至物品识别模型中，可识别得到待识别图像中包含的各个物品，例如，图13中，对待识别的客厅场景图像输入至物品识别模型中，得到客厅场景图像所包含的物品为：冰箱1301、电视机1302、空调1303、台灯1304、沙发1305等。在实际实施时，物品识别模型可基于以下至少之一的算法而训练，FCN、SegNet、U-Net、Dilated Convolutions、DeepLab(v1&v2)、RefineNet、PSPNet、Large Kernel Matters、DeepLab v3，本申请实施例并限定具体的训练算法。
步骤306：服务器将视频帧图像包含的至少一个物品与文本内容对应的描述物品进行匹配。
步骤307：判断相匹配的物品的数量。
这里，基于匹配结果判断视频帧图像包含的至少一个物品中与文本内容对应的描述物品相匹配的物品的数量，当数量为零时，执行步骤308；当数量为1时，执行步骤309；当数量大于1时，执行步骤310。
步骤308：服务器将用于指示未搜索到描述物品的搜索指示信息或推荐物品的详情信息至终端。
这里，当相匹配的物品的数量为零时，表征当前播放的视频内容(即视频帧图像)中不存在用户所要搜索的描述物品，服务器将用于指示未搜索到描述物品的搜索指示信息返回至终端，以在终端中呈现该搜索指示信息。
在实际应用中，当视频帧图像中不存在用户所要搜索的描述物品时，服务器还可从视频帧图像包含的物品中选择一个或多个物品作为推荐物品，获取并返回推荐物品对应的搜索结果至终端，以在终端中呈现推荐物品对应的搜索结果。在获取推荐物品的搜索结果时，服务器可将推荐物品的帧图像与商品库(上述的物品库)中商品的帧图像进行匹配，确定商品库中与推荐物品相匹配的物品的详情信息，并将商品库中相匹配的物品的详情信息作为推荐物品的详情信息返回至终端。
例如，当用户语音录入的语音对应的文本内容为：“搜索主角戴的帽子”，则可知该文本内容所指示的描述物品为帽子，若假设对当前播放的视频内容的视频帧图像识别得到的物品为：连衣裙、高跟鞋，那么可知，当前播放的视频内容中不存在用户所要搜索的描述物品，可从连衣裙、高跟鞋中选择一个或多个物品作为推荐物品，并获取有关推荐物品的搜索信息。
步骤309：服务器将相匹配的物品作为目标物品。
这里，当视频帧图像包含的至少一个物品中存在一个用户所要搜索的描述物品时，直接将相匹配的物品作为目标物品。
步骤310：服务器获取将多个物品中与附加信息相匹配的物品作为目标物品。
这里，当视频帧图像中存在多个与描述物品相匹配的物品时，则需要再进行基于定语条件的过滤，比如某人的某物品，则需要对相匹配的物品的归属信息(如归属人物)进一步识别，由于视频帧图像中能识别出每个物品对应的归属人物的人脸，则将该人脸与对描述物品进行描述的附加信息进行匹配，将相匹配的人脸对应的物品作为目标物品。
例如，用户语音录入的语音信息对应的文本内容为：“搜索张三穿的连衣裙”，则可知，文本内容对应的描述物品为“连衣裙”、对描述物品进行描述的附加信息为“张三”；而视频帧图像中识别得到“张三”和“李四”这两个人都穿着“连衣裙”，则经过上述两次匹配识别，将视频帧图像中归属人物为“张三”的物品作为用户所要搜索的目标物品。
步骤311：服务器基于目标物品的帧图像在商品库中进行搜索，得到目标物品对应的详情信息。
这里，服务器将目标物品的帧图像与商品库中商品的帧图像进行匹配，确定商品库中与目标物品相匹配的商品，从商品库中获取相匹配的商品的详情信息，并将推荐商品的详情信息作为目标物品对应的详情信息。
步骤312：服务器返回目标物品对应的详情信息至终端。
步骤313：终端在播放界面中呈现针对目标物品的搜索结果。
下面继续说明本申请实施例提供的基于视频的物品搜索装置14的实施为软件模块的示例性结构，在一些实施例中，参见图14，图14为本申请实施例提供的基于视频的物品搜索装置的结构示意图，包括：
第一呈现模块141，用于在播放界面中播放目标视频的视频内容，并呈现对应所述视频内容的搜索控件；
其中，所述搜索控件，用于对所述视频内容中的任一物品进行搜索；
第二呈现模块142，用于在播放所述视频内容的过程中，呈现当前登录账号基于所述搜索控件输入的物品信息，所述物品信息对应所述视频内容中的目标物品；
指令接收模块143，用于基于所述物品信息，接收到针对所述目标物品的搜索指令；
第三呈现模块144，用于响应于所述搜索指令，在所述播放界面中呈现针对所述目标物品的搜索结果。
在一些实施例中，所述第二呈现模块，还用于响应于基于所述搜索控件触发的语音录入操作，在所述播放界面中呈现所述语音录入操作对应的文本内容，并将所述文本内容作为所述物品信息；
其中，所述文本内容，为对基于所述搜索控件录入的语音进行文本转换得到。
在一些实施例中，所述第二呈现模块，还用于响应于针对所述搜索控件的触发操作，呈现对应所述视频内容中目标物品的搜索编辑框；
响应于基于所述搜索编辑框触发的文本编辑操作，在所述搜索编辑框中呈现基于所述搜索编辑框输入的文本内容，并将所述文本内容作为所述物品信息。
在一些实施例中，所述基于所述物品信息，接收到针对所述目标物品的搜索指令之前，所述装置还包括：
物品确定模块，用于获取当前播放的所述视频内容的视频帧图像，并对所述视频帧图像进行物品识别，得到所述视频帧图像包含的至少一个物品；
当所述物品信息包括物品名称时，确定与所述物品名称相对应的描述物品；
将所述视频帧图像包含的至少一个物品与所述描述物品进行匹配，并基于匹配结果确定所述视频帧图像中的目标物品。
在一些实施例中，所述物品确定模块，还用于当所述匹配结果表征所述至少一个物品中与所述描述物品相匹配的物品的数量为一个时，将所述相匹配的物品作为所述目标物品；
当所述匹配结果表征所述至少一个物品中与所述描述物品相匹配的物品的数量为多个时，获取所述物品信息中对所述描述物品进行描述的附加信息，并将多个所述物品中与所述附加信息相匹配的物品作为所述目标物品。
在一些实施例中，当所述匹配结果表征所述至少一个物品中不存在与所述描述物品相匹配的物品时，所述第三呈现模块，还用于在所述播放界面中呈现用于指示未搜索到所述目标物品的搜索指示信息；
或者，从所述至少一个物品中选择至少一个物品作为第一推荐物品，在所述播放界面中呈现所述第一推荐物品对应的搜索结果。
在一些实施例中，所述指令接收模块，还用于基于所述物品信息，确定所述视频内容中的所述目标物品；
当所述目标物品的数量为多个时，呈现对应所述多个目标物品的物品选择界面；
响应于通过所述物品选择界面接收到的物品选择指令，接收到针对所述物品选择指令所指示选择的目标物品的搜索指令。
在一些实施例中，所述第三呈现模块，还用于当所述搜索结果的类型为文本或图像时，在所述播放界面中，通过卡片浮层呈现所述搜索结果；
当所述搜索结果的类型为视频时，通过独立于所述播放界面的子界面播放所述搜索结果。
在一些实施例中，所述第三呈现模块，还用于当所述搜索结果为所述目标物品对应的展示视频时，播放所述展示视频；
在播放所述展示视频的过程中，采用静音播放方式播放所述目标视频的视频内容，并在所述播放界面中呈现所述视频内容中语音内容所对应的文本。
在一些实施例中，所述第三呈现模块，还用于在所述播放界面中呈现针对所述目标物品的搜索详情页面；
在所述搜索详情页面中，将所述目标物品对应的详情信息作为所述搜索结果进行呈现。
在一些实施例中，所述将所述目标物品对应的详情信息作为所述搜索结果进行呈现之前，所述方装置还包括：
详情获取模块，用于发送针对所述目标物品的搜索请求，所述搜索请求携带所述目标物品的帧图像，以将所述目标物品的帧图像与物品库中物品的帧图像进行匹配，确定物品库中与所述目标物品相匹配的物品的详情信息并返回；
接收返回的所述物品的详情信息，并将接收的所述物品的详情信息作为所述目标物品对应的详情信息。
在一些实施例中，所述第三呈现模块，还用于在所述播放界面中，呈现针对所述目标物品的搜索详情页面；
在所述搜索详情页面中，将所述目标物品对应的推荐物品作为所述搜索结果进行呈现；
其中，所述推荐物品与所述目标物品间的相似度超过相似度阈值。
在一些实施例中，所述第三呈现模块，还用于当所述搜索结果包括所述目标物品对应的推荐物品，且所述推荐物品的数量为多个时，分别获取各所述推荐物品的推荐优先级；
在所述播放界面中，按照所述推荐优先级高、相应的推荐物品在前的方式，呈现各所述推荐物品。
在一些实施例中，所述第三呈现模块，还用于当所述搜索结果包括所述目标物品对应的推荐物品，且所述推荐物品的数量为多个时，在所述播放界面中，并列呈现各所述推荐物品；
或者，滚动呈现各所述推荐物品。
在一些实施例中，所述第三呈现模块，还用于当所述目标物品的数量为多个时，获取各所述目标物品对应的推荐物品，所述目标物品与所述推荐物品一一对应；
在所述播放界面中，在各所述目标物品关联的区域中显示相应的推荐物品；
将呈现的各所述推荐物品作为所述搜索结果。
在一些实施例中，所述装置还包括：
互动处理模块，用于呈现针对所述目标物品的搜索结果的互动功能项；
当接收到针对所述互动功能项的触发操作时，呈现互动界面，并在所述互动界面中呈现对应所述搜索结果的互动功能入口；
响应于基于所述互动功能入口触发的互动操作，呈现对应互动结果的互动指示信息。
本申请实施例提供一种计算机设备，参见图15，图15为本申请实施例提供的计算机设备500的一个可选的结构示意图，在实际应用中，计算机设备500可以为图1中的终端或服务器，以计算机设备为图1所示的终端为例，对实施本申请实施例提供的基于视频的物品搜索方法的计算机设备进行说明，计算机设备包括：
存储器550，用于存储可执行指令；
处理器510，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的视频播放方法。
这里，处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中还可包括至少一个网络接口520和用户接口530。计算机设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图15中将各种总线都标为总线系统540。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的视频的物品搜索方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的视频的物品搜索方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (19)

1.一种基于视频的物品搜索方法，其特征在于，所述方法包括：
在当前登录账号的播放界面中播放目标视频的视频内容，并呈现对应所述视频内容的搜索控件；
其中，所述搜索控件，用于对所述视频内容中的任一物品进行搜索；
在播放所述视频内容的过程中，呈现所述当前登录账号基于所述搜索控件输入的物品信息，所述物品信息对应所述视频内容中的目标物品；
基于所述物品信息，接收到针对所述目标物品的搜索指令；
响应于所述搜索指令，在所述播放界面中呈现针对所述目标物品的搜索结果。
2.如权利要求1所述的方法，其特征在于，所述呈现所述当前登录账号基于所述搜索控件输入的物品信息，包括：
响应于所述当前登录账号基于所述搜索控件触发的语音录入操作，呈现所述语音录入操作对应的文本内容，并将所述文本内容作为所述物品信息；
其中，所述文本内容，为对基于所述搜索控件录入的语音进行文本转换得到。
3.如权利要求1所述的方法，其特征在于，所述呈现当前登录账号基于所述搜索控件输入的物品信息，包括：
响应于当前登录账号针对所述搜索控件的触发操作，呈现对应所述视频内容中目标物品的搜索编辑框；
响应于基于所述搜索编辑框触发的文本编辑操作，在所述搜索编辑框中呈现基于所述搜索编辑框输入的文本内容，并将所述文本内容作为所述物品信息。
4.如权利要求1所述的方法，其特征在于，所述基于所述物品信息，接收到针对所述目标物品的搜索指令之前，所述方法还包括：
获取当前播放的所述视频内容的视频帧图像，并对所述视频帧图像进行物品识别，得到所述视频帧图像包含的至少一个物品；
当所述物品信息包括物品名称时，确定与所述物品名称相对应的描述物品；
将所述视频帧图像包含的至少一个物品与所述描述物品进行匹配，并基于匹配结果确定所述视频帧图像中的目标物品。
5.如权利要求4所述的方法，其特征在于，所述基于匹配结果确定所述视频帧图像中的目标物品，包括：
当所述匹配结果表征所述至少一个物品中与所述描述物品相匹配的物品的数量为一个时，将所述相匹配的物品作为所述目标物品；
当所述匹配结果表征所述至少一个物品中与所述描述物品相匹配的物品的数量为多个时，获取所述物品信息中对所述描述物品进行描述的附加信息，并将多个所述物品中与所述附加信息相匹配的物品作为所述目标物品。
6.如权利要求4所述的方法，其特征在于，当所述匹配结果表征所述至少一个物品中不存在与所述描述物品相匹配的物品时，所述在所述播放界面中呈现针对所述目标物品的搜索结果，包括：
在所述播放界面中呈现用于指示未搜索到所述目标物品的搜索指示信息；
或者，从所述至少一个物品中选择至少一个物品作为第一推荐物品，在所述播放界面中呈现所述第一推荐物品对应的搜索结果。
7.如权利要求1所述的方法，其特征在于，所述基于所述物品信息，接收到针对所述目标物品的搜索指令，包括：
基于所述物品信息，确定所述视频内容中的所述目标物品；
当所述目标物品的数量为多个时，呈现对应所述多个目标物品的物品选择界面；
响应于通过所述物品选择界面接收到的物品选择指令，接收到针对所述物品选择指令所指示选择的目标物品的搜索指令。
8.如权利要求1所述的方法，其特征在于，所述在所述播放界面中呈现针对所述目标物品的搜索结果，包括：
当所述搜索结果的类型为文本或图像时，在所述播放界面中，通过卡片浮层呈现所述搜索结果；
当所述搜索结果的类型为视频时，通过独立于所述播放界面的子界面播放所述搜索结果。
9.如权利要求1所述的方法，其特征在于，所述在所述播放界面中呈现针对所述目标物品的搜索结果，包括：
当所述搜索结果为所述目标物品对应的展示视频时，播放所述展示视频；
在播放所述展示视频的过程中，采用静音播放方式播放所述目标视频的视频内容，并在所述播放界面中呈现所述视频内容中语音内容所对应的文本。
10.如权利要求1所述的方法，其特征在于，所述在所述播放界面中呈现针对所述目标物品的搜索结果，包括：
在所述播放界面中呈现针对所述目标物品的搜索详情页面；
在所述搜索详情页面中，将所述目标物品对应的详情信息作为所述搜索结果进行呈现。
11.如权利要求10所述的方法，其特征在于，所述将所述目标物品对应的详情信息作为所述搜索结果进行呈现之前，所述方法还包括：
发送针对所述目标物品的搜索请求，所述搜索请求携带所述目标物品的帧图像，以将所述目标物品的帧图像与物品库中物品的帧图像进行匹配，确定所述物品库中与所述目标物品相匹配的物品的详情信息并返回；
接收返回的所述物品的详情信息，并将接收的所述物品的详情信息作为所述目标物品对应的详情信息。
12.如权利要求1所述的方法，其特征在于，所述在所述播放界面中呈现针对所述目标物品的搜索结果，包括：
在所述播放界面中，呈现针对所述目标物品的搜索详情页面；
在所述搜索详情页面中，将所述目标物品对应的第二推荐物品作为所述搜索结果进行呈现；
其中，所述第二推荐物品与所述目标物品间的相似度超过相似度阈值。
13.如权利要求1所述的方法，其特征在于，所述在所述播放界面中呈现针对所述目标物品的搜索结果，包括：
当所述搜索结果包括所述目标物品对应的推荐物品，且所述推荐物品的数量为多个时，分别获取各所述推荐物品的推荐优先级；
在所述播放界面中，按照所述推荐优先级高、相应的推荐物品在前的方式，呈现各所述推荐物品。
14.如权利要求1所述的方法，其特征在于，所述在所述播放界面中呈现针对所述目标物品的搜索结果，包括：
当所述搜索结果包括所述目标物品对应的推荐物品，且所述推荐物品的数量为多个时，在所述播放界面中，并列呈现各所述推荐物品；
或者，滚动呈现各所述推荐物品。
15.如权利要求1所述的方法，其特征在于，所述在所述播放界面中呈现针对所述目标物品的搜索结果，包括：
当所述目标物品的数量为多个时，获取各所述目标物品对应的推荐物品，所述目标物品与所述推荐物品一一对应；
在所述播放界面中，在各所述目标物品关联的区域中显示相应的推荐物品；
将呈现的各所述推荐物品作为所述搜索结果。
16.如权利要求1所述的方法，其特征在于，所述方法还包括：
呈现针对所述目标物品的搜索结果的互动功能项；
当接收到针对所述互动功能项的触发操作时，呈现互动界面，并在所述互动界面中呈现对应所述搜索结果的互动功能入口；
响应于基于所述互动功能入口触发的互动操作，呈现对应互动结果的互动指示信息。
17.一种基于视频的物品搜索装置，其特征在于，所述装置包括：
第一呈现模块，用于在当前登录账号的播放界面中播放目标视频的视频内容，并呈现对应所述视频内容的搜索控件；
其中，所述搜索控件，用于对所述视频内容中的任一物品进行搜索；
第二呈现模块，用于在播放所述视频内容的过程中，呈现所述当前登录账号基于所述搜索控件输入的物品信息，所述物品信息对应所述视频内容中的目标物品；
指令接收模块，用于基于所述物品信息，接收到针对所述目标物品的搜索指令；
第三呈现模块，用于响应于所述搜索指令，在所述播放界面中呈现针对所述目标物品的搜索结果。
18.一种计算机设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至16任一项所述的基于视频的物品搜索方法。
19.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至16任一项所述的基于视频的物品搜索方法。
CN202110585078.4A 2021-05-27 2021-05-27 基于视频的物品搜索方法、装置、设备及存储介质 Pending CN113761360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110585078.4A CN113761360A (zh) 2021-05-27 2021-05-27 基于视频的物品搜索方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110585078.4A CN113761360A (zh) 2021-05-27 2021-05-27 基于视频的物品搜索方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113761360A true CN113761360A (zh) 2021-12-07

Family

ID=78787223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110585078.4A Pending CN113761360A (zh) 2021-05-27 2021-05-27 基于视频的物品搜索方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113761360A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055710A (zh) * 2016-07-01 2016-10-26 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN109034115A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN110225387A (zh) * 2019-05-20 2019-09-10 北京奇艺世纪科技有限公司 一种信息搜索方法、装置及电子设备
US10671852B1 (en) * 2017-03-01 2020-06-02 Matroid, Inc. Machine learning in video classification
CN111274449A (zh) * 2020-02-18 2020-06-12 腾讯科技（深圳）有限公司 视频播放方法、装置、电子设备和存储介质
US20200257414A1 (en) * 2018-07-06 2020-08-13 Beijing Microlive Vision Technology Co., Ltd. Method and device for search page interaction, terminal and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055710A (zh) * 2016-07-01 2016-10-26 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
US10671852B1 (en) * 2017-03-01 2020-06-02 Matroid, Inc. Machine learning in video classification
US20200257414A1 (en) * 2018-07-06 2020-08-13 Beijing Microlive Vision Technology Co., Ltd. Method and device for search page interaction, terminal and storage medium
CN109034115A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN110225387A (zh) * 2019-05-20 2019-09-10 北京奇艺世纪科技有限公司 一种信息搜索方法、装置及电子设备
CN111274449A (zh) * 2020-02-18 2020-06-12 腾讯科技（深圳）有限公司 视频播放方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112104899B (zh) 直播中的信息推荐方法、装置、电子设备及存储介质
US10055783B1 (en) Identifying objects in video
US9607010B1 (en) Techniques for shape-based search of content
WO2018102283A1 (en) Providing related objects during playback of video data
CN106598998B (zh) 信息获取方法和信息获取装置
CN111818370B (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
KR102246109B1 (ko) 소비자 선호도에 기반한 상품 추천 시스템 및 방법
CN113824972B (zh) 直播视频的处理方法、装置、设备及计算机可读存储介质
CN110881134B (zh) 数据处理方法、装置、电子设备及存储介质
US20190325497A1 (en) Server apparatus, terminal apparatus, and information processing method
CN113347498A (zh) 一种视频播放方法、装置及计算机可读存储介质
CN113301360A (zh) 一种信息的提示方法、计算设备及存储介质
US20170287041A1 (en) Information processing apparatus, information processing method, and information processing program
US20150235264A1 (en) Automatic entity detection and presentation of related content
CN113596496A (zh) 虚拟直播间的交互控制方法、装置、介质及电子设备
WO2023109291A1 (zh) 搜索结果展示方法、装置、计算机设备和存储介质
CN113254135A (zh) 界面处理方法、装置及电子设备
CN111950425A (zh) 对象获取方法、装置、客户端、服务器、系统和存储介质
CN111447260A (zh) 信息推送、信息发布方法及装置
CN113761360A (zh) 基于视频的物品搜索方法、装置、设备及存储介质
CN113365138B (zh) 内容展示方法、装置、电子设备、存储介质
CN114491213A (zh) 基于图像的商品搜索方法和装置、电子设备及计算机可读存储介质
CN113129112A (zh) 物品推荐方法、装置及电子设备
CN113297406A (zh) 图片搜索方法、系统及电子设备
CN111954017A (zh) 直播间搜索方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination