CN115065831A - 展示目标对象信息的方法、服务器、终端、介质及设备 - Google Patents

展示目标对象信息的方法、服务器、终端、介质及设备 Download PDF

Info

Publication number
CN115065831A
CN115065831A CN202210473147.7A CN202210473147A CN115065831A CN 115065831 A CN115065831 A CN 115065831A CN 202210473147 A CN202210473147 A CN 202210473147A CN 115065831 A CN115065831 A CN 115065831A
Authority
CN
China
Prior art keywords
information
current position
target object
description information
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210473147.7A
Other languages
English (en)
Inventor
周志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN202210473147.7A priority Critical patent/CN115065831A/zh
Publication of CN115065831A publication Critical patent/CN115065831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种展示目标对象信息的方法、服务器、终端、介质及设备，方法包括：接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；将所述描述信息推送至客户端进行展示；如此，当用户需要查询视频画面中某个对象的具体信息时，只需在对象所在的位置进行互动操作，服务器即可对目标对象进行识别，并将目标对象的描述信息推送至用户侧客户端进行显示，及时满足用户观看需求。

Description

展示目标对象信息的方法、服务器、终端、介质及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种展示目标对象信息的方法、服务器、终端、介质及设备。
背景技术
目前，用户观看普通视频或者直播视频时，只能看到视频或者直播中的图像内容；无法获取到关于播放内容更为相关的信息。
比如，当用户观看电影或新的电视剧时，对某些角色比较陌生，如果想更深层次的了解这个角色的一些信息，必须观看前几集或者网上搜索这个角色的相关资料，这样给观众用户造成了不佳体验；无法满足观看需求。又比如，以用户观看游戏直播为例：现有直播方式都是主播端通过直播软件获取游戏画面内容，直播软件都是直接获取游戏画面内容。因此当主播进行直播时，观众能够看到的直播内容也就只有游戏画面，无法实时查看主播的游戏角色名称、技能、装备等信息。
可以看出，用户在观看视频内容时，无法实时获取到关于播放内容更为相关的详细信息，进而导致用户的观看需求得不到满足的技术问题。
发明内容
针对现有技术存在的问题，本发明实施例提供了一种展示目标对象信息的方法、终端、介质及设备，以解决或者部分解决用户在观看视频内容时，无法实时获取到关于播放内容更为相关的详细信息，进而导致用户的观看需求得不到满足的技术问题。
本发明的第一方面，提供一种展示目标对象信息的方法，应用在服务器中，所述方法包括：
接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；
根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；
将所述描述信息推送至客户端进行展示。
上述方案中，所述接收由客户端发送的视频画面中的当前位置信息之前，所述方法还包括：
获取所述视频画面对应的最新主题版本中所有角色的图片素材，生成图片素材库；所述图片素材库中包含有所有角色在不同场景下的图片；
为所述图片素材添加对应的描述信息，生成对应的描述信息库；
基于所述图片素材库及所述描述信息库，利用人工算法进行图片识别模型训练，获得训练后的图片识别模型。
上述方案中，所述根据所述当前位置信息对当前位置对应的目标对象进行图像识别，包括：
当所述目标对象为游戏角色时，对当前位置对应的游戏角色所在的画面进行截图，获得当前帧图片；
利用图像识别模型对所述当前帧图片中当前位置的游戏角色进行识别，获得对应的游戏角色名称；
利用所述图像识别模型识别所述当前帧图片的技能列表区域，获得所述角色使用的技能名称。
上述方案中，所述根据所述当前位置信息对当前位置对应的目标图像进行图像识别，包括：
若所述目标对象为演员角色时，对当前位置对应的演员角色所在的画面进行截图，获得当前帧图片；
利用图像识别模型对所述当前帧图片中当前位置的演员角色进行识别，获得对应的演员描述信息；所述演员描述信息包括：姓名、职业以及与剧集中其他演员角色之间的关系。
上述方案中，所述将所述描述信息推送至客户端进行展示，包括：
获取所述目标对象所属的当前帧图片；
将所述当前帧图片对应的描述信息编码至所述当前帧图片对应的视频流数据中；
将编码后的视频流数据传送至所述客户端，在所述客户端中展示对应的描述信息。
上述方案中，所述将所述当前帧图片对应的描述信息编码至所述当前帧图片对应的视频流数据中，包括：
获取所述描述信息的信息标识ID；所述当前帧图片与所述信息标识ID之间具有对应关系；
将所述信息标识ID编码至所述当前帧图片对应的视频流数据中。
本发明的第二方面，提供一种展示目标对象信息的服务器，所述服务器包括：
接收单元，用于接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；
识别单元，用于根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；
推送单元，用于将所述描述信息推送至客户端进行展示。
本发明的第三方面，提供一种展示目标对象信息的方法，应用在客户端，所述方法包括：
响应用户对视频画面的互动操作，基于所述互动操作获取所述用户选定所述视频画面中的当前位置信息；
将所述当前位置信息发送至服务器，以使得所述服务器根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息，并推送所述描述信息；
接收由所述服务器推送的所述描述信息并对其进行展示。
本发明的第四方面，提供一种终端，所述终端包括：
获取单元，用于响应用户对视频画面的互动操作，基于所述互动操作获取所述用户选定所述视频画面中的当前位置信息；
发送单元，用于将所述当前位置信息发送至服务器，以使得所述服务器根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息，并推送所述描述信息；
展示单元，用于接收由所述服务器推送的所述描述信息并对其进行展示。
本发明的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤；或者，该程序被处理器执行时实现第三方面中所述方法的步骤。
本发明的第六方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中任一项所述方法的步骤；或者，该程序被处理器执行时实现第三方面中所述方法的步骤。
本发明提供了一种展示目标对象信息的方法、服务器、终端、介质及设备，方法包括：接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；将所述描述信息推送至客户端进行展示；如此，当用户需要查询视频画面中某个对象的具体信息时，只需在对象所在的位置进行互动操作，服务器即可对目标对象进行识别，并将目标对象的描述信息推送至用户侧客户端进行显示，及时满足用户观看需求。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
在附图中：
图1示出了本发明一个实施例的展示目标对象信息的系统结构示意图；
图2示出了本发明一个实施例的展示目标对象信息的方法流程示意图；
图3示出了本发明一个实施例提供的客户端展示描述信息时的场景示意图；
图4示出了本发明一个实施例的展示目标对象信息的服务器结构示意图；
图5示出了本发明一个实施例的又一展示目标对象信息的方法流程示意图；
图6示出了本发明一个实施例的展示目标对象信息的终端结构示意图；
图7示出了本发明一个实施例的展示目标对象信息的计算机设备结构示意图；
图8示出了本发明一个实施例的展示目标对象信息的计算机可读存储介质结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了能够更好地理解本申请的技术方案，这里先介绍下展示目标对象信息的系统，如图1所示，系统包括：服务器1和客户端2；
服务器1，接收由客户端2发送的视频画面中的当前位置信息，当前位置信息是客户端基于用户对视频画面的互动操作确定的；根据当前位置信息对当前位置对应的目标对象进行图像识别，获得目标对象的描述信息；
客户端2，用于接收由服务器发送的目标对象的描述信息，将描述信息进行展示。
具体来讲，客户端2是用户侧客户端，客户端2可以表征移动端硬件设备(如手机、平板电脑)中装载的播放视频画面内容的应用程序，客户端2可以表征PC端硬件设备中装载的播放视频画面内容的应用程序或网页浏览器；
服务器1可以为直播平台服务器。如果用户想在观看视频内容的过程中了解视频画面中某个对象的详细信息，只需在视频画面所在的屏幕中进行互动操作：例如当客户端2对应PC端时，用户可以通过鼠标点击屏幕中正在播放的视频画面中目标对象、或者鼠标移动到目标对象在屏幕中的位置后悬停几秒钟；又例如当客户端2对应移动端时，用户触屏点击目标对象；此时客户端2可以根据点击的位置确定视频画面中的当前位置信息。
然后客户端2将当前位置信息发送至服务器1，服务器1根据当前位置信息对当前位置对应的目标对象进行图像识别，获得目标对象的描述信息；将描述信息发送至客户端2，以使得客户端2中显示目标对象的描述信息。
本实施例中，显示描述信息的方式不做限制，比如在目标对象旁边以弹框形式显示，或者以弹幕形式显示。
值得注意的是，服务器1对当前位置对应的目标对象进行图像识别，获得目标对象的描述信息；以及将描述信息推送至客户端进行展示的具体实施过程，会在后续有关于服务器侧的实施例中详细描述，故在此不再赘述。
基于同样的发明构思，本发明实施例提供了一种展示目标对象信息的方法，应用在服务器，如图2所示，方法包括以下几个步骤：
S210，接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；
如上文所述，如果用户想在观看视频内容的过程中了解视频画面中某个对象的详细信息，只需在视频画面所在的屏幕中进行互动操作，比如鼠标点击目标对象，或者手指触屏点击目标对象或将光标悬浮在目标对象上一段时间(比如5s)；此时客户端可以根据点击的位置确定视频画面中的当前位置信息。那么服务器可以接收由客户端发送的视频画面中的当前位置信息，也即当前位置信息是客户端基于用户对视频画面的互动操作确定的。
本实施例中的视频画面可以是(体育)赛事直播、游戏直播画面、晚会直播画面及电视剧或电影播放画面。
以游戏直播画面来说，在进行游戏直播时，主播客户端会将实时的游戏视频画面推送至服务器中，服务器再将游戏画面推送至用户客户端(观众客户端)进行显示。如果在用户想了解画面中主播的游戏角色以及了解某个时刻游戏角色的技能，那么在使用技能时，用户可以通过点击游戏角色的方式来实现，具体的实现方式在后续步骤中会详细阐述。
S211，根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；
本实施例中，是利用图像识别模型对目标对象进行图像识别的，因此在一种实施方式中，接收由客户端发送的视频画面中的当前位置信息之前，方法还包括：
获取视频画面对应的最新主题版本中所有角色的图片素材，生成图片素材库；图片素材库中包含有所有角色在不同场景下的图片；主题可以包括：赛事、游戏、电视剧、直播晚会或电视剧等；
为图片素材添加对应的描述信息，生成对应的描述信息库；
基于图片素材库及描述信息库，利用人工算法进行图片识别模型训练，获得训练后的图片识别模型。
需要说明的是，当服务器接收到视频画面的类型为实时直播类型时(例如赛事直播、游戏直播、晚会直播)，可以定时(比如5s一次)对视频画面进行截取，形成各帧图片。以便于利用上述图片识别模型队截取的各帧图片中的内容进行实时识别，保证用户希望得到的描述信息能够及时被传输至客户端展示。
以游戏直播为例进行说明，针对最新版本的游戏，要获取所有游戏角色在不同场景地图中的图片、所有游戏角色使用不同技能的图片，以及所有游戏角色使用游戏装备的图片等等，进而可以获得图片素材库。然后为上述这些图片添加对应的描述信息，生成对应的描述信息库。可以理解的是，描述信息库和图片素材库可以是存放在一个数据库中，描述信息及图片素材之间存有对应关系。
基于上述大量的标记过的图片，利用人工智能算法对图片进行训练，获得训练后的图像识别模型。其中，人工智能算法可以是神经网络等，本实施例不做限制。
另外，当游戏版本升级后，若升级后的游戏存在新的游戏角色，还需要将新的游戏角色的各种图片素材及对应的描述信息添加至上述数据库中，并需要重新对图片进行训练，获得新的图片识别模型，提高识别精度。
因此当服务器获取到当前位置信息后，可根据当前位置信息对当前位置对应的目标对象进行图像识别，获得目标对象的描述信息。
在一种实施方式中，根据所述当前位置信息对当前位置对应的目标对象进行图像识别，包括：
当所述元素为游戏角色时，对当前位置对应的游戏角色所在的画面进行截图，获得当前帧图片；
利用图像识别模型对当前帧图片中当前位置的游戏角色进行识别，获得对应的游戏角色名称；
利用图像识别模型识别当前帧图片的技能列表区域，获得角色使用的技能名称。
具体来讲，由于服务器对接收到的游戏视频画面是定时截取的，截取的各帧图片中可能不包含当用户进行互动操作时对应的游戏画面。因此为提高识别的准确度，当服务器接收到客户端发送的视频画面中的位置信息时，会触发服务器对当前位置对应的游戏角色所在的画面进行截图，获得当前帧图片。
然后利用图像识别模型对当前帧图片中当前位置的游戏角色进行识别，获得对应的游戏角色名称及使用的装备名称。
并且，在一个游戏中，技能区域在画面中的位置是固定的，比如技能区域可以在整个画面的右下方，因此可以利用图像识别模型对当前帧图片的右下方区域进行文字识别，获得该游戏角色使用的技能名称。
在一种实施方式中，根据当前位置信息对当前位置对应的目标图像进行图像识别，包括：
若目标对象为演员角色时，对当前位置对应的演员角色所在的画面进行截图，获得当前帧图片；
利用图像识别模型对当前帧图片中当前位置的演员角色进行识别，获得对应的演员描述信息；演员描述信息包括：姓名、职业以及与剧集中其他演员角色之间的关系。
以电视剧画面举例来说，比如用户使用鼠标点击或将光标悬浮在电视剧画面的某个目标演员角色上，服务器会对当前画面进行截图，并利用图像识别模型对图中的目标演员角色进行识别，将演员描述信息发送至客户端。
进一步地，为了防止用户误操作(误点击了目标演员角色)，当服务器接收到当前位置信息时，会先确定用户观看的当前次剧集(比如第6集)，同时会确定目标演员角色在整个电视剧中首次出现对应的剧集(比如首次出现是第3集)；
然后基于用户信息(比如登录账号、使用的设备ID)调取用户的历史观看记录，根据历史观看记录确定用户已观看的剧集，若确定用户已经观看的剧集中不包括目标演员角色的首次出场对应的剧集时(即用户没有观看过第3集)，则会将识别到的演员描述信息发送至客户端。若确定用户已经观看的剧集中存在包括目标演员角色的首次出场对应的剧集时(用户已经观看第3集)，则不会推送演员描述信息至客户端。
这样通过对海量的打标图片素材进行训练，获得高精度的图片识别模型，可以对每帧图片进行精准识别，获得目标对象的描述信息。
S212，将所述描述信息推送至客户端进行展示。
服务器获取到描述信息后，将描述信息推送至客户端进行展示。在展示描述信息时，如图3所示，可以在目标对象的旁边以弹框形式展示，弹框上的关闭标记关闭描述信息；也可以以其他方式进行展示，本实施例不做限制。
在一种实施方式中，将描述信息推送至客户端进行展示，包括：
获取目标对象所属的当前帧图片；
将当前帧图片对应的描述信息编码至当前帧图片的视频流数据中；
将编码后的视频流数据传送至客户端，在客户端中展示对应的描述信息。
具体来讲，服务器在向客户端传输视频内容对应的视频流数据时，也是一帧一帧传输的，目标对象可能出现在不同帧图片中；比如在游戏直播中，目标对象可能会一连串使用多个技能，这个过程是需要一定时长的，因此使用技能的过程可能会占用好几帧画面，若传输有延迟，很可能会导致描述信息与画面无法匹配。
本实施例考虑描述信息与用户互动操作的同步性，因此在传输视频流数据时，将目标对象所属的当前帧图片对应的描述信息编码至当前帧图片对应的视频流数据中，再传送至客户端。客户端接收到视频流数据后，对视频流数据进行解码，获得当前帧图片及对应的描述信息，此时客户端接收到的数据可以确保当前帧图片与描述信息是匹配的。这样用户可以清楚的得知主播是在哪一帧画面开始使用了某种技能，以及是在哪一帧画面中结束使用该技能。
进一步地，考虑到描述信息的数据量较大，若直接编码在视频流数据中进行传输时，可能会占用较多的流量。因此在一种实施方式中，将当前帧图片对应的描述信息编码至当前帧图片对应的视频流数据中，包括：
获取描述信息的信息标识ID；当前帧图片与所述信息标识ID之间具有对应关系；
将信息标识ID编码至当前帧图片对应的视频流数据中。
比如，信息标识ID可以包括：角色ID和技能ID；当客户端接收到视频流数据后，对视频流数据进行解码，获得角色ID和技能ID，基于角色ID和技能ID向服务器查询对应的描述信息。
而服务器可以存储不同信息标识ID对应的描述信息，这样服务器将信息标识ID及对应的描述信息存储在本地数据库中，可以通过使用缓存降低传输压力。同时，当客户端接收到信息标识ID及对应的描述信息时，会将信息标识ID与对应的描述信息存储在客户端设备的本地缓存中，若客户端再次发起查询请求时，可以优先查询本地缓存中是否有对应的信息标识ID，如有，则直接可以从本地缓存中获取对应的描述信息，进一步提高查询效率。
当服务器更新了某个信息标识ID对应的描述信息时，会将最新的描述信息发送至客户端，客户端则根据新的描述信息更新本地缓存中的描述信息，提高准确度。
这样通过服务器的图像识别模型可以准确识别出每一帧图片中每一个元素，获得对应的描述信息；进而推送至客户端进行展示，可以满足用户的观看需求，使得用户实时获取到关于播放内容更为相关的详细信息。
基于与前述实施例中同样的发明构思，本实施例还提供一种展示目标对象信息的服务器，如图4所示，装置包括：
接收单元41，用于接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；
识别单元42，用于根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；
推送单元43，用于将所述描述信息推送至客户端进行展示。
由于本发明实施例所介绍的服务器，为实施本发明实施例的展示目标对象信息的服务器的方法所采用的服务器，故而基于本发明实施例所介绍的方法，本领域所属人员能够了解该服务器的具体结构及变形，故而在此不再赘述。凡是本发明实施例的方法所采用的装置都属于本发明所欲保护的范围。
基于同样的发明构思，本发明实施例还提供一种展示目标对象信息的方法，应用在客户端(客户端安装在终端中)，如图5所示，所述方法包括以下步骤：
S510，响应用户对视频画面的互动操作，基于所述互动操作获取所述用户选定所述视频画面中的当前位置信息；
如上文所述，若用户想在观看视频内容的过程中了解视频画面中某个对象的详细信息，只需在视频画面所在的屏幕中进行互动操作，比如鼠标点击目标对象，或者手指触屏点击目标对象或将光标悬浮在目标对象上一段时间(比如5s)；此时客户端响应用户对视频画面的互动操作，基于所述互动操作获取所述用户选定所述视频画面中的当前位置信息。
本实施例中的视频画面可以是(体育)赛事直播、游戏直播画面、晚会直播画面及电视剧或电影播放画面。
以游戏直播画面来说，在进行游戏直播时，主播客户端会将实时的游戏视频画面推送至服务器中，服务器再将游戏画面推送至用户客户端(观众客户端)进行显示。如果在用户想了解画面中主播的游戏角色以及了解某个时刻游戏角色的技能，那么在使用技能时，用户可以点击游戏角色，此时客户端响应用户对视频画面的点击操作，基于点击操作获取所述用户选定所述视频画面中的当前位置信息。
S511，将所述当前位置信息发送至服务器，以使得所述服务器根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息，并推送所述描述信息；
获取到当前位置信息后，将当前位置信息发送至服务器，以使得服务器根据当前位置信息对当前位置对应的目标对象进行图像识别，获得目标对象的描述信息，并推送描述信息。
其中，服务器当前位置信息对当前位置对应的目标对象进行图像识别，获得目标对象的描述信息可参考上文中的相关描述，故在此不再赘述。
S512，接收由所述服务器推送的所述描述信息并对其进行展示。
终端内安装的客户端接收到描述信息后，可接收由服务器推送的所述描述信息并对其进行展示。在展示描述信息时，如图3所示，可以在目标对象的旁边以弹框形式展示，弹框上的关闭标记关闭描述信息；也可以以其他方式进行展示，本实施例不做限制。
具体来讲，服务器在向客户端传输视频内容对应的视频流数据时，是一帧一帧传输的，目标对象可能出现在不同帧图片中；比如在游戏直播中，目标对象可能会一连串使用多个技能，这个过程是需要一定时长的，因此使用技能的过程可能会占用好几帧画面，若传输有延迟，很可能会导致描述信息与画面无法匹配。
因此若服务器在传输视频流数据时，将目标对象所属的当前帧图片对应的描述信息编码至当前帧图片对应的视频流数据中，再传送至客户端。客户端接收到视频流数据后，对视频流数据进行解码，获得当前帧图片及对应的描述信息，此时客户端接收到的数据可以确保当前帧图片与描述信息是匹配的。这样用户可以清楚的得知主播是在哪一帧画面开始使用了某种技能，以及是在哪一帧画面中结束使用该技能。
若服务器传输的是描述信息的信息ID时，客户端接收到视频流数据后，对视频流数据进行解码，获得信息ID，基于信息ID向服务器查询对应的描述信息。
同时，当客户端接收到信息标识ID及对应的描述信息时，会将信息标识ID与对应的描述信息存储在客户端设备的本地缓存中，若客户端再次发起查询请求时，可以优先查询本地缓存中是否有对应的信息标识ID，如有，则直接可以从本地缓存中获取对应的描述信息，进一步提高查询效率。
当服务器更新了某个信息标识ID对应的描述信息时，会将最新的描述信息发送至客户端，客户端则根据新的描述信息更新本地缓存中的描述信息，提高准确度。
基于同样的发明构思，本实施例还提供一种终端，如图6所示，终端包括：
获取单元61，用于响应用户对视频画面的互动操作，基于所述互动操作获取所述用户选定所述视频画面中的当前位置信息；
发送单元62，用于将所述当前位置信息发送至服务器，以使得所述服务器根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息，并推送所述描述信息；
展示单元63，用于接收由所述服务器推送的所述描述信息并对其进行展示。
由于本发明实施例所介绍的终端，为实施本发明实施例的展示目标对象信息的服务器的方法所采用的终端，故而基于本发明实施例所介绍的方法，本领域所属人员能够了解该终端的具体结构及变形，故而在此不再赘述。凡是本发明实施例的方法所采用的装置都属于本发明所欲保护的范围。
基于同样的发明构思，本实施例提供一种计算机设备700，如图7所示，包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序711，处理器720执行计算机程序711时实现前文所述方法的任一步骤。
基于同样的发明构思，本实施例提供一种计算机可读存储介质800，如图8所示，其上存储有计算机程序811，该计算机程序811被处理器执行时实现前文任一所述方法的步骤。
通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：
本发明提供了一种展示目标对象信息的方法、服务器、终端、介质及设备，方法包括：接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；将所述描述信息推送至客户端进行展示；如此，当用户需要查询视频画面中某个对象的具体信息时，只需在对象所在的位置进行互动操作，服务器即可对目标对象进行识别，并将目标对象的描述信息推送至用户侧客户端进行显示，及时满足用户观看需求。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种展示目标对象信息的方法，其特征在于，应用在服务器中，所述方法包括：
接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；
根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；
将所述描述信息推送至客户端进行展示。
2.如权利要求1所述的方法，其特征在于，所述接收由客户端发送的视频画面中的当前位置信息之前，所述方法还包括：
获取所述视频画面对应的最新主题版本中所有角色的图片素材，生成图片素材库；所述图片素材库中包含有所有角色在不同场景下的图片；
为所述图片素材添加对应的描述信息，生成对应的描述信息库；
基于所述图片素材库及所述描述信息库，利用人工算法进行图片识别模型训练，获得训练后的图片识别模型。
3.如权利要求1所述的方法，其特征在于，所述根据所述当前位置信息对当前位置对应的目标对象进行图像识别，包括：
当所述目标对象为游戏角色时，对当前位置对应的游戏角色所在的画面进行截图，获得当前帧图片；
利用图像识别模型对所述当前帧图片中当前位置的游戏角色进行识别，获得对应的游戏角色名称；
利用所述图像识别模型识别所述当前帧图片的技能列表区域，获得所述角色使用的技能名称。
4.如权利要求1所述的方法，其特征在于，所述根据所述当前位置信息对当前位置对应的目标图像进行图像识别，包括：
若所述目标对象为演员角色时，对当前位置对应的演员角色所在的画面进行截图，获得当前帧图片；
利用图像识别模型对所述当前帧图片中当前位置的演员角色进行识别，获得对应的演员描述信息；所述演员描述信息包括：姓名、职业以及与剧集中其他演员角色之间的关系。
5.如权利要求1所述的方法，其特征在于，所述将所述描述信息推送至客户端进行展示，包括：
获取所述目标对象所属的当前帧图片；
将所述当前帧图片对应的描述信息编码至所述当前帧图片对应的视频流数据中；
将编码后的视频流数据传送至所述客户端，在所述客户端中展示对应的描述信息。
6.如权利要求5所述的方法，其特征在于，所述将所述当前帧图片对应的描述信息编码至所述当前帧图片对应的视频流数据中，包括：
获取所述描述信息的信息标识ID；所述当前帧图片与所述信息标识ID之间具有对应关系；
将所述信息标识ID编码至所述当前帧图片对应的视频流数据中。
7.一种展示目标对象信息的服务器，其特征在于，所述服务器包括：
接收单元，用于接收由客户端发送的视频画面中的当前位置信息，所述当前位置信息是所述客户端基于用户对视频画面的互动操作确定的；
识别单元，用于根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息；
推送单元，用于将所述描述信息推送至客户端进行展示。
8.一种展示目标对象信息的方法，其特征在于，应用在客户端，所述方法包括：
响应用户对视频画面的互动操作，基于所述互动操作获取所述用户选定所述视频画面中的当前位置信息；
将所述当前位置信息发送至服务器，以使得所述服务器根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息，并推送所述描述信息；
接收由所述服务器推送的所述描述信息并对其进行展示。
9.一种终端，其特征在于，所述终端包括：
获取单元，用于响应用户对视频画面的互动操作，基于所述互动操作获取所述用户选定所述视频画面中的当前位置信息；
发送单元，用于将所述当前位置信息发送至服务器，以使得所述服务器根据所述当前位置信息对当前位置对应的目标对象进行图像识别，获得所述目标对象的描述信息，并推送所述描述信息；
展示单元，用于接收由所述服务器推送的所述描述信息并对其进行展示。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤；或者，该程序被处理器执行时实现权利要求8所述方法的步骤。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤；或者该程序被处理器执行时实现权利要求8所述方法的步骤。
CN202210473147.7A 2022-04-29 2022-04-29 展示目标对象信息的方法、服务器、终端、介质及设备 Pending CN115065831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210473147.7A CN115065831A (zh) 2022-04-29 2022-04-29 展示目标对象信息的方法、服务器、终端、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210473147.7A CN115065831A (zh) 2022-04-29 2022-04-29 展示目标对象信息的方法、服务器、终端、介质及设备

Publications (1)

Publication Number Publication Date
CN115065831A true CN115065831A (zh) 2022-09-16

Family

ID=83197171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210473147.7A Pending CN115065831A (zh) 2022-04-29 2022-04-29 展示目标对象信息的方法、服务器、终端、介质及设备

Country Status (1)

Country Link
CN (1) CN115065831A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110870975A (zh) * 2019-11-18 2020-03-10 网易（杭州）网络有限公司 游戏直播的处理方法、装置、设备及计算机可读存储介质
CN111918075A (zh) * 2020-07-15 2020-11-10 腾讯科技（深圳）有限公司 展示对象相关信息的输出方法、装置、介质及电子设备
CN112691385A (zh) * 2020-12-25 2021-04-23 北京达佳互联信息技术有限公司 出装信息获取方法、装置、电子设备、服务器及存储介质
CN113573090A (zh) * 2021-07-28 2021-10-29 广州方硅信息技术有限公司 游戏直播中的内容显示方法、装置、系统和存储介质
CN113975824A (zh) * 2021-10-19 2022-01-28 腾讯科技（深圳）有限公司 游戏观战的提醒方法以及相关设备
CN114025180A (zh) * 2021-09-30 2022-02-08 北京达佳互联信息技术有限公司 一种游戏操作同步系统、方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110870975A (zh) * 2019-11-18 2020-03-10 网易（杭州）网络有限公司 游戏直播的处理方法、装置、设备及计算机可读存储介质
CN111918075A (zh) * 2020-07-15 2020-11-10 腾讯科技（深圳）有限公司 展示对象相关信息的输出方法、装置、介质及电子设备
CN112691385A (zh) * 2020-12-25 2021-04-23 北京达佳互联信息技术有限公司 出装信息获取方法、装置、电子设备、服务器及存储介质
CN113573090A (zh) * 2021-07-28 2021-10-29 广州方硅信息技术有限公司 游戏直播中的内容显示方法、装置、系统和存储介质
CN114025180A (zh) * 2021-09-30 2022-02-08 北京达佳互联信息技术有限公司 一种游戏操作同步系统、方法、装置、设备及存储介质
CN113975824A (zh) * 2021-10-19 2022-01-28 腾讯科技（深圳）有限公司 游戏观战的提醒方法以及相关设备

Similar Documents

Publication Publication Date Title
US11482192B2 (en) Automated object selection and placement for augmented reality
CN110784759B (zh) 弹幕信息处理方法、装置、电子设备及存储介质
CN108419138B (zh) 直播互动装置、方法及计算机可读存储介质
US9167304B2 (en) System and method for recognition of items in media data and delivery of information related thereto
CN103856607B (zh) 将手机终端上视频投放到视频播放设备播放的方法和系统
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN110602554A (zh) 封面图像确定方法、装置及设备
CN106062801A (zh) 用于电视事件观看的追踪像素和cookie
CN111246126A (zh) 基于直播平台的导播切换方法、系统、装置、设备及介质
CN106060578A (zh) 生成视频数据
CN104811814A (zh) 基于视频播放的信息处理方法和系统、客户端和服务器
CN110830847B (zh) 一种截取比赛视频片段的方法、装置及电子设备
CN111327917A (zh) 直播内容的预览方法、装置、设备及存储介质
CN110166789B (zh) 监测视频直播敏感信息的方法、计算机设备及可读存储介质
JP2019528654A (ja) 没入型メディアコンテンツをカスタマイズするための方法及びシステム
CN105933730A (zh) 一种视频关联信息推荐方法和装置
CN110930220A (zh) 一种显示方法、装置、终端设备及介质
CN111107434A (zh) 信息推荐方法及装置
CN103377268A (zh) 运用后设数据来进行目标识别与事件重现的系统
EP3595323A1 (en) Video playing method for synchronously displaying ar information
CN104918071A (zh) 视频播放方法、装置和终端设备
CN109246455A (zh) 实现互动广告的方法、装置、系统及计算机可读存储介质
CN111954022B (zh) 视频播放方法、装置、电子设备和可读存储介质
CN110287934B (zh) 一种对象检测方法、装置、客户端及服务器
CN109116718A (zh) 设置闹钟的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination