CN116132707A - 视频对象识别方法、装置、设备及可读存储介质 - Google Patents

视频对象识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN116132707A
CN116132707A CN202310116498.7A CN202310116498A CN116132707A CN 116132707 A CN116132707 A CN 116132707A CN 202310116498 A CN202310116498 A CN 202310116498A CN 116132707 A CN116132707 A CN 116132707A
Authority
CN
China
Prior art keywords
video
target
identification
role
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310116498.7A
Other languages
English (en)
Inventor
李鸣
肖云
储磊
李雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future Tv Co ltd
Original Assignee
Future Tv Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future Tv Co ltd filed Critical Future Tv Co ltd
Priority to CN202310116498.7A priority Critical patent/CN116132707A/zh
Publication of CN116132707A publication Critical patent/CN116132707A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请的实施例提供了一种视频对象识别方法、装置、设备及可读存储介质，涉及视频处理技术领域。应用于服务器，该方法包括：接收终端发送的视频识别播放请求，视频识别播放请求包括：目标视频中的目标角色标识；根据目标角色标识和预设索引表，在数据库中获取目标角色标识对应的视频帧数据，其中，数据库中存储不同角色标识以及对应的视频帧；根据目标角色标识对应的视频帧数据，向终端传输待播放的视频数据。由此，本申请通过视频识别播放请求，将目标角色标识对应的视频帧数据和预设索引表向终端传输待播放的视频数据，从而解决了因终端版本的差异导致的兼容性问题，进而实现了精准识别视频中的目标角色的功能。

Description

视频对象识别方法、装置、设备及可读存储介质
技术领域
本申请涉及视频处理技术领域，具体而言，涉及一种视频对象识别方法、装置、设备及可读存储介质。
背景技术
为了提升用户体验，一些OTT(Over The Top，互联网电视)大屏端推出了识别指定人物的功能，用户可以在播放过程中的任意选择只看包含某个人物的视频片段。
其中，在Android系统上的终端播放器对视频内容进行人物识别功能的现有方案中，主要是由终端侧对需要识别的人物数据进行抓取，然后由服务侧进行人物识别。
但由于系统终端的版本差异，终端侧在进行视频数据抓取的过程中，存在视频数据兼容性的问题，从而引起数据识别不准确的问题。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种视频对象识别方法、装置、设备及存储介质，以解决现有技术中由于系统终端的版本差异，终端侧在进行数据抓取的过程中，存在视频数据兼容性的问题，从而引起数据识别不准确的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种视频对象识别方法，应用于服务器，包括：
接收终端发送的视频识别播放请求，所述视频识别播放请求包括：目标视频中的目标角色标识；
根据所述目标角色标识和预设索引表，在数据库中获取所述目标角色标识对应的视频帧数据，其中，所述数据库中存储不同角色标识以及对应的视频帧；
根据所述目标角色标识对应的视频帧数据，向所述终端传输待播放的视频数据。
可选地，所述方法还包括：
在所述目标视频的转码过程中，识别所述目标视频中视频帧的角色信息；
根据所述角色信息和对应的视频帧，建立角色标识和视频帧标识的关联关系，生成所述预设索引表；
根据所述预设索引表，在所述数据库中存储不同角色标识以及对应的视频帧。
可选地，所述根据所述角色信息和对应的视频帧，建立角色标识和视频帧标识的关联关系，生成所述预设索引表，包括：
根据所述角色信息和对应的视频帧，建立角色标识、视频帧标识、以及视频帧时间戳之间的关联关系，生成所述预设索引表。
可选地，所述在所述目标视频的转码过程中，识别所述目标视频中视频帧的角色信息，包括：
在所述目标视频的转码过程中，每间隔预设时长截取一个视频帧，并通过人工智能识别所述视频帧的角色信息。
可选地，所述视频识别播放请求还包括：当前播放所述目标视频的时间戳；
所述根据所述目标角色标识和预设索引表，在数据库中获取所述目标角色标识对应的视频帧数据，包括：
根据所述目标角色标识和预设索引表，在数据库中获取当前播放所述目标视频的时间戳之后的当前播放所述目标视频的时间戳。
第二方面，本申请实施例提供了一种视频对象识别方法，应用于终端，包括：
基于当前播放的目标视频，向服务器发送视频识别播放请求，所述视频识别播放请求包括：所述目标视频中的目标角色标识；
接收所述服务器根据所述视频识别播放请求发送的待播放的视频数据，其中，所述待播放的视频数据根据所述目标角色标识和预设索引表，在数据库中获取的所述目标角色标识对应的视频帧数据确定，所述数据库中存储不同角色标识以及对应的视频帧。
可选地，所述视频识别播放请求还包括：当前播放所述目标视频的时间戳；
所述接收所述服务器根据所述视频识别播放请求发送的待播放的视频数据，包括：
接收所述服务器根据所述视频识别播放请求，发送的在当前播放所述目标视频的时间戳之后的待播放的视频数据。
第三方面，本申请实施例还提供了一种视频对象识别装置，应用于服务器，所述装置包括：
接收模块，用于接收终端发送的视频识别播放请求，所述视频识别播放请求包括：目标视频中的目标角色标识；
标识模块，用于根据所述目标角色标识和预设索引表，在数据库中获取所述目标角色标识对应的视频帧数据，其中，所述数据库中存储不同角色标识以及对应的视频帧；
传输模块，用于根据所述目标角色标识对应的视频帧数据，向所述终端传输待播放的视频数据。
第四方面，本申请实施例还提供了一种视频对象识别装置，应用于终端，所述装置包括：
发送模块，用于基于当前播放的目标视频，向服务器发送视频识别播放请求，所述视频识别播放请求包括：所述目标视频中的目标角色标识；
接收模块，用于接收所述服务器根据所述视频识别播放请求发送的待播放的视频数据，其中，所述待播放的视频数据根据所述目标角色标识和预设索引表，在数据库中获取的所述目标角色标识对应的视频帧数据确定，所述数据库中存储不同角色标识以及对应的视频帧。
第五方面，本申请实施例还提供了一种电子设备，所述电子设备包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的视频对象识别方法的步骤。
第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面中任一项所述的视频对象识别方法的步骤。
相对于现有技术而言，本申请具有以下有益效果：
本申请提供的一种视频对象识别方法、装置、设备及存储介质，通过接收终端发送的视频识别播放请求，视频识别播放请求包括：目标视频中的目标角色标识；根据目标角色标识和预设索引表，在数据库中获取目标角色标识对应的视频帧数据；根据目标角色标识对应的视频帧数据，向终端传输待播放的视频数据。相比较传统的OTT大屏端的识别指定人物的功能，本申请提供的一种视频对象识别方法，通过视频识别播放请求，根据目标角色标识对应的视频帧数据和预设索引表向终端传输待播放的视频数据，这种方式没有版本限制，从而解决了因终端版本的差异导致的兼容性问题，进而实现了精准识别视频中的目标角色的功能，同时又实现了视频识别播放的可靠性和准确性，提高了用户的视频播放体验。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种视频对象识别方法的应用场景的示意图；
图2为本申请实施例提供的一种视频对象识别方法的流程示意图一；
图3为本申请实施例提供的一种视频对象识别方法的流程示意图二；
图4为本申请实施例提供的一种视频对象识别方法的流程示意图三；
图5为本申请实施例提供的一种视频对象识别装置的结构示意图一；
图6为本申请实施例提供的一种视频对象识别装置的结构示意图二；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
针对目前很多终端或平台视频播放过程中，以某个角色、演员等选择性播放片段等功能，由于系统终端的版本差异，终端侧在进行数据抓取的过程中，存在视频数据兼容性的问题，进而引起数据识别不准确的问题。本申请提供了一种视频对象识别方法、装置、设备及可读存储介质，以解决因终端版本的差异导致的兼容性问题，进而实现精准识别视频中的目标角色的功能，同时又实现了视频识别播放的可靠性和准确性，提高了用户的视频播放体验。
本申请实施例提供了一种视频对象识别方法，该视频对象识别方法可以应用于对视频进行对象识别的场景，如可以包括对影视等视频中的主演人物、动漫人物、主演明星等进行识别，也可以包括对小视频中的主要元素对象进行识别，还可以包括对广告类型的视频中的广告对象进行识别等，本实施例不做限定，可根据实际情况设置。
为清楚描述本申请实施例提供的视频对象识别方法，先结合附图对视频对象识别方法的示例性应用场景进行详细说明。图1为本申请实施例提供的一种视频对象识别方法的应用场景的示意图。如图1所示，该方法涉及的应用场景100中可以包括：用户110、终端设备120和服务器130。
其中，终端设备120可以是手机、平板电脑、笔记本电脑等移动终端，也可以是台式计算机等固定终端等，这里不做限制，可根据实际情况设置。
服务器130可以是一个单独的服务器也可以是一个服务器组，如果是单独的服务器，该服务器可以负责下述方案中的所有处理，如果是服务器组，服务器组中的不同服务器分别可以负责下述方案中的不同处理，具体的处理分配情况可以由技术人员根据实际需求任意设置，此处不再赘述。
为实现精准识别视频中的目标角色的功能，在服务器130中增加AI(ArtificialIntelligence，人工智能)对象识别服务131的功能，以使利用计算机对目标视频进行处理、分析和理解，从而识别出各种不同模式的目标角色，进而实现精准识别视频中的目标角色的功能。
由此，本申请提供的服务器130由视频转码服务、AI对象识别服务131和数据库组成。其中，视频转码服务是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求；转码本质上就是一个先解码，再编码的过程，因此转换前后的码流可能遵循相同的视频编码标准，也可能不遵循相同的视频编码标准。
服务器130中的数据库主要用于存储AI对象识别服务131生成的结果文件数据，比如AI对象识别服务131生成的结果文件数据中的视频文件、字幕配置文件和音频配置文件等，这里不做限制，可根据实际情况设置。由此，数据库提供的至少两个数据接口，以存放AI对象识别服务131生成的结果文件数据和将AI对象识别服务131生成的结果文件数据输出到终端设备120，如视频对象信息接口和当前视频播放的图像的信息接口，以使得服务器130可以从数据库的视频对象信息接口和当前视频播放的图像的信息接口获取视频对象信息和当前视频播放的图像的信息，并将该信息通过服务器130下发给终端设备120，终端设备120显示视频对象信息和当前视频播放的图像的信息，以供客户观看，从而提高了用户的视频播放体验。
需要说明的是，上述本申请提供的终端设备120若为手机，则无任何终端设备120的版本以及性能的要求。对此，也不应理解为对本发明的限制。在其它例子或实施方式或实施例中，可根据本发明来选择，在此不作具体限定。
如图1所示，用户110可以通过终端设备120从服务器130中获取待播放视频的内容。其中，用户110可以通过操作终端设备120以从服务器130中获取待播放视频的内容。该用户110操作终端设备120的方式有很多，这里不做限制，可根据实际情况设置。如用户110可以通过语音操作的方式，基于终端设备120从服务器130中获取待播放视频的内容，也可以可以通过触屏操作的方式，基于终端设备120从服务器130中获取待播放视频的内容。
从服务器130中获取待播放视频的内容，具体地，即在服务器130中增加AI对象识别服务131的功能，并通过AI对象识别服务131对视频对象识别方法的视频对象进行识别，并将识别后的结果发送给终端设备120，用户110就可在终端设备120上观看从服务器130中获取待播放视频的内容，从而提高用户的视频播放体验。
如下继续结合附图对本申请上述实施例提供的视频对象识别方法进行详细的解释和说明。图2为本申请实施例提供的一种视频对象识别方法的流程示意图一。该方法应用于如图1所示的服务器130。如图2所示，视频对象识别方法包括以下步骤：
S201、接收终端发送的视频识别播放请求，视频识别播放请求包括：目标视频中的目标角色标识。
其中，视频识别播放请求由用户操作或通过触控屏触摸终端的屏幕或语音唤醒终端等方式形成的视频识别播放请求，以请求播放某个视频。对于视频识别播放请求形成的方式，这里不做限制，可根据实际情况设置。
目标视频为用户请求观看的视频内容，视频内容可包括影视、小视频以及广告等，这里不做限制，可根据实际情况设置。
目标角色标识则是从目标视频内容中标识出用户感兴趣的目标角色，如标识出用户正在观看的目标视频内容(如动漫)中的动漫角色，即用户感兴趣的目标角色。目标角色标识可以是视频中角色的名称、演员的名称、代号等，在此不做限制。
示例地，如图1所示，服务器130接收终端发送的视频识别播放请求，以使视频识别播放请求中携带的有关目标视频中的目标角色标识，从而服务器基于目标视频中的目标角色标识，查找目标视频中的目标角色标识对应的目标视频的视频文件、字幕配置文件和音频配置文件等，这里不做限制，可根据实际情况设置。其中，服务器130可以为本地服务器，也可以为云端服务器，这里不做限制，可根据实际情况设置。
S202、根据目标角色标识和预设索引表，在数据库中获取目标角色标识对应的视频帧数据。
其中，服务器中的数据库中存储不同角色标识以及对应的视频帧。
可选的，上述从数据库中获取目标角色标识对应的视频帧数据的操作，可以通过上述步骤S201中的终端发送的视频识别播放请求，从而在服务器中的数据库中获取目标角色标识对应的视频帧数据；或通过数据库提供的至少两个数据接口，从而在服务器中的数据库中获取目标角色标识对应的视频帧数据；也可以通过上述步骤S201中的终端发送的视频识别播放请求，在通过数据库提供的至少两个数据接口，从而在服务器中的数据库中获取目标角色标识对应的视频帧数据。
需要说明的是，上述对从数据库中获取目标角色标识对应的视频帧数据的操作所采用的获取操作方式的实施例，不应理解为对本发明的限制。在其它例子或实施方式或实施例中，可根据本发明来选择，在此不作具体限定。
S203、根据目标角色标识对应的视频帧数据，向终端传输待播放的视频数据。
具体地，在确认获取目标角色标识对应的视频帧数据之后，根据目标角色标识对应的视频帧数据，服务器向终端传输待播放的视频数据中的目标角色标识对应的视频帧数据。其中，服务器向终端传输待播放的视频数据的传输方式可通过单播传输、广播传输、组播传输和点播传输等，这里不做限制，可根据实际情况设置。
其中，单播传输属于点对点传输，即在每个终端与服务器之间建立一个单独的数据通道，并且从服务器送出的每个视频帧数据包只能传送给一个终端的传输方式；广播传输属于一对多的传输，即服务器将视频帧数据包的一个拷贝发送到至少两个终端，用户被动地接收视频帧数据，而不管其是否需要拷贝的一种传输方式；组播传输属于一对多的传输，即路由器一次将视频帧数据包复制到多个通道，服务器只须发送一个视频帧数据信息包，即可让所有发出请求的终端均共享该视频帧数据信息包；点播传输是一种基于用户需求的播放方式，是单播传输或组播传输的特殊应用，即用户在终端发出播放请求，传送给服务器，经过请求验证后，服务器把存储系统中可访问的视频帧数据准备好，使用户可以进行浏览观看，在用户选择目标角色标识对应的视频帧数据后，服务器从存储系统中取出目标角色标识对应的视频帧数据内容，并传送到指定的终端播放。
本申请提供的一种视频对象识别方法，通过接收终端发送的视频识别播放请求，视频识别播放请求包括：目标视频中的目标角色标识；根据目标角色标识和预设索引表，在数据库中获取目标角色标识对应的视频帧数据；根据目标角色标识对应的视频帧数据，向终端传输待播放的视频数据。由此，本申请通过视频识别播放请求，将目标角色标识对应的视频帧数据和预设索引表向终端传输待播放的视频数据，从而实现了精准识别视频中的目标角色的功能，提高了用户的视频播放体验。
在上述任一实施例提供的视频对象识别方法的基础上，本申请实施例的服务器还可提供了转码服务功能的另外一些可能实现示例。图3为本申请实施例提供的一种视频对象识别方法的流程示意图二。如图3所示，视频对象识别方法还包括以下步骤：
S301、在目标视频的转码过程中，识别目标视频中视频帧的角色信息。
具体地，本实施例中可以通过服务器中的视频转码服务为用户筛选的感兴趣的目标视频进行视频转码功能，并将目标视频中视频帧的角色信息识别出来。如将目标视频中的每一静态视频帧中的角色信息识别出来。其中，角色信息为每一静态视频帧中的目标视频中的角色对象，如一静态视频帧中的角色对象出现的次数，或与其他角色对象之间的关系等，在此不作限制。
S302、根据角色信息和对应的视频帧，建立角色标识和视频帧标识的关联关系，生成预设索引表。
具体地，在识别目标视频中视频帧的角色信息之后，根据角色信息对应的角色标识，以及角色信息对应的视频帧的视频帧标识，建立角色标识与视频帧标识之间的关联关系，如目标视频中的角色标识与目标视频中的视频帧标识的对应关系，从而形成目标视频的角色标识与视频帧标识对应的预设索引表。其中，预设索引表为预先根据目标视频数据库中的所有视频帧获取的包括角色标识和其对应的视频帧的索引表。
S303、根据预设索引表，在数据库中存储不同角色标识以及对应的视频帧。
将根据上述预设索引表存储于数据库中，以建立不同角色标识以及其对应的视频帧，从而实现精准识别视频中的目标角色的功能，同时又可以实现视频识别播放的可靠性和准确性，提高用户的视频播放体验。
本申请实施例提供的一种视频对象识别方法，通过在目标视频的转码过程中，识别目标视频中视频帧的角色信息，并根据角色信息和对应的视频帧，建立角色标识和视频帧标识的关联关系，生成预设索引表，最后根据预设索引表，在数据库中存储不同角色标识以及对应的视频帧。由此，本申请通过在数据库中建立预设索引表，从而形成不同角色标识以及其对应的视频帧，进而实现了精准识别视频中的目标角色的功能，同时又可以实现视频识别播放的可靠性和准确性，提高用户的视频播放体验。
可选的，在本申请的一些实施例中，根据角色信息和对应的视频帧，建立角色标识和视频帧标识的关联关系，生成预设索引表，包括：
根据角色信息和对应的视频帧，建立角色标识、视频帧标识、以及视频帧时间戳之间的关联关系，生成预设索引表。
其中，视频帧时间戳可根据实际情况设置，这里不做限制。
具体地，上述步骤S302的基础上，角色标识、视频帧标识、以及视频帧时间戳之间的关联关系即在视频帧时间戳所对应的视频帧标识中的角色标识关系。即可在任意视频帧时间戳所对应的目标视频内容上，形成当前视频帧时间戳所对应的视频帧标识中的角色标识的预设索引表。从而便于对视频内容的视频帧按时间戳排序或分类，从而实现精准识别视频中的目标角色的功能和提高了用户的视频播放体验。
可选的，在本申请的一些实施例中，在目标视频的转码过程中，识别目标视频中视频帧的角色信息，包括：
在目标视频的转码过程中，每间隔预设时长截取一个视频帧，并通过人工智能识别视频帧的角色信息。
其中，间隔预设时长可根据实际情况设置，这里不做限制。如间隔预设时长可以为100ms。在一般场景下，一个角色会存在连续多帧，每间隔预设时长截取一个视频帧可以减少截取视频帧的工作量，提升效率。
具体地，上述步骤S301的基础上，针对目标视频中的任一视频帧，均采取每间隔预设时长(如100ms)进行截取一个视频帧，并将截取的至少2个视频帧传到服务器中的AI对象识别服务中，由AI对象识别服务识别至少2个视频帧中的角色信息，从而实现兼容全平台的不同终端版本，进而在不同性能设备以及不影响播放性能的情况下，实现精准识别视频中的目标角色的功能。
可选的，在本申请的一些实施例中，视频识别播放请求还包括：当前播放目标视频的时间戳；
根据目标角色标识和预设索引表，在数据库中获取目标角色标识对应的视频帧数据，包括：
根据目标角色标识和预设索引表，在数据库中获取当前播放目标视频的时间戳之后的当前播放目标视频的时间戳。
具体地，根据目标角色标识和预设索引表，在数据库中获取当前播放目标视频的视频帧时间戳之后的当前播放目标视频的时间戳，即确认出当前播放目标视频的视频帧时间戳之后，按照用户的视频播放习惯，确认出当前播放目标视频的视频帧时间戳之后的目标视频的时间戳，即当前播放目标视频的视频帧时间戳的下一时刻，该下一时刻为当前播放目标视频的视频帧时间戳之后的目标视频的时间戳，以提高用户的视频播放体验。
如下继续结合附图对本申请上述实施例提供的视频对象识别方法进行详细的解释和说明。图4为本申请实施例提供的一种视频对象识别方法的流程示意图三。该方法应用于如图1所示的终端设备120，与前述服务器130交互。如图2所示，视频对象识别方法包括以下步骤：
S401、基于当前播放的目标视频，向服务器发送视频识别播放请求，视频识别播放请求包括：目标视频中的目标角色标识。
具体地，基于当前播放的目标视频，终端向服务器发送视频识别播放请求，该视频识别播放请求中携带的有关目标视频中的目标角色标识，从而终端基于服务器中的目标视频中的目标角色标识，查找目标视频中的目标角色标识对应的目标视频的视频文件、字幕配置文件和音频配置文件等，这里不做限制，可根据实际情况设置。
S402、接收服务器根据视频识别播放请求发送的待播放的视频数据。
其中，待播放的视频数据根据目标角色标识和预设索引表，在数据库中获取的目标角色标识对应的视频帧数据确定，数据库中存储不同角色标识以及对应的视频帧。
具体地，在步骤S401的基础上，终端接收服务器根据视频识别播放请求发送的待播放的视频数据中的目标视频内容。以方便用户在终端进行目标视频的浏览观看，进而提高了用户的视频播放体验。其中，具体接收方式如上述步骤S203所述，这里不在赘述。
本申请提供的一种视频对象识别方法，通过基于当前播放的目标视频，向服务器发送视频识别播放请求，视频识别播放请求包括：目标视频中的目标角色标识，并接收服务器根据视频识别播放请求发送的待播放的视频数据。由此，本申请通过视频识别播放请求，在终端上显示待播放的视频数据中的目标视频内容，从而提高了用户的视频播放体验。
可选的，在本申请的一些实施例中，视频识别播放请求还包括：当前播放目标视频的时间戳；
接收服务器根据视频识别播放请求发送的待播放的视频数据，包括：
接收服务器根据视频识别播放请求，发送的在当前播放目标视频的时间戳之后的待播放的视频数据。
具体地，终端使用当前播放目标视频的时间戳对应的播放位置作为HTTP请求参数，从而请求视频识别播放请求，进而访问服务器中的视频识别播放请求中携带的有关目标视频中的目标角色标识，以使得目标视频中的目标角色标识对应的当前播放目标视频的时间戳之后的待播放的视频数据中的目标视频可以在终端上显示。
基于同一发明构思，本申请实施例中还提供了一种视频对象识别装置，应用于服务器，由于本申请实施例中的装置解决问题的原理与本申请实施例上述视频对象识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图5为本申请实施例提供的一种视频对象识别装置的结构示意图一。
该视频对象识别装置50，应用于服务器，具体用于：
接收模块51，用于接收终端发送的视频识别播放请求，视频识别播放请求包括：目标视频中的目标角色标识。
获取模块52，用于根据目标角色标识和预设索引表，在数据库中获取目标角色标识对应的视频帧数据，其中，数据库中存储不同角色标识以及对应的视频帧。
传输模块52，用于根据目标角色标识对应的视频帧数据，向终端传输待播放的视频数据。
在一种可选的实施方式中，视频对象识别装置50还用于：
在目标视频的转码过程中，识别目标视频中视频帧的角色信息；
根据角色信息和对应的视频帧，建立角色标识和视频帧标识的关联关系，生成预设索引表；
根据预设索引表，在数据库中存储不同角色标识以及对应的视频帧。
在一种可选的实施方式中，获取模块52具体用于：
根据角色信息和对应的视频帧，建立角色标识、视频帧标识、以及视频帧时间戳之间的关联关系，生成预设索引表。
在一种可选的实施方式中，获取模块52具体用于：
在目标视频的转码过程中，每间隔预设时长截取一个视频帧，并通过人工智能识别视频帧的角色信息。
在一种可选的实施方式中，接收模块51具体用于：
根据目标角色标识和预设索引表，在数据库中获取目标角色标识对应的视频帧数据，包括：
根据目标角色标识和预设索引表，在数据库中获取当前播放目标视频的时间戳之后的当前播放目标视频的时间戳。
基于上述视频对象识别装置50，本申请实施例中还提供了一种视频对象识别装置，应用于终端，由于本申请实施例中的装置解决问题的原理与本申请实施例上述视频对象识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图6为本申请实施例提供的一种视频对象识别装置的结构示意图二。
该视频对象识别装置60，应用于终端，具体用于：
发送模块61，用于基于当前播放的目标视频，向服务器发送视频识别播放请求，视频识别播放请求包括：目标视频中的目标角色标识。
接收模块62，用于接收服务器根据视频识别播放请求发送的待播放的视频数据，其中，待播放的视频数据根据目标角色标识和预设索引表，在数据库中获取的目标角色标识对应的视频帧数据确定，数据库中存储不同角色标识以及对应的视频帧。
在一种可选的实施方式中，发送模块61具体用于：
接收服务器根据视频识别播放请求发送的待播放的视频数据，包括：
接收服务器根据视频识别播放请求，发送的在当前播放目标视频的时间戳之后的待播放的视频数据。
需要说明的是，本申请实施例的视频对象识别装置中未披露的细节，请参照本申请实施例的视频对象识别方法中所披露的细节，具体这里不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图7为本申请实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备70可以包括：处理器71、存储器72和总线，存储器72存储有处理器71可执行的机器可读指令，当电子设备运行时，执行上述机器可读指令，处理器71与存储器72之间通过总线通信，处理器71用于执行上述实施例中的视频对象识别方法的步骤。
存储器72、处理器71以及总线各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。移动存储装置包括至少一个可以软件或固件(firmware)的形式存储于存储器72中或固化在电子设备的操作系统(operatingsystem，OS)中的软件功能模块。处理器71用于执行存储器72中存储的可执行模块，例如移动存储介质的视频对象识别方法所包括的软件功能模块及计算机程序等。
其中，存储器72可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。
可选地，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时，处理器
执行上述实施例中的移动存储介质的视频对象识别方法的步骤。具体实现方式和技术效果类似，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频对象识别方法，其特征在于，应用于服务器，包括：
接收终端发送的视频识别播放请求，所述视频识别播放请求包括：目标视频中的目标角色标识；
根据所述目标角色标识和预设索引表，在数据库中获取所述目标角色标识对应的视频帧数据，其中，所述数据库中存储不同角色标识以及对应的视频帧；
根据所述目标角色标识对应的视频帧数据，向所述终端传输待播放的视频数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述目标视频的转码过程中，识别所述目标视频中视频帧的角色信息；
根据所述角色信息和对应的视频帧，建立角色标识和视频帧标识的关联关系，生成所述预设索引表；
根据所述预设索引表，在所述数据库中存储不同角色标识以及对应的视频帧。
3.根据权利要求2所述的方法，其特征在于，所述根据所述角色信息和对应的视频帧，建立角色标识和视频帧标识的关联关系，生成所述预设索引表，包括：
根据所述角色信息和对应的视频帧，建立角色标识、视频帧标识、以及视频帧时间戳之间的关联关系，生成所述预设索引表。
4.根据权利要求2所述的方法，其特征在于，所述在所述目标视频的转码过程中，识别所述目标视频中视频帧的角色信息，包括：
在所述目标视频的转码过程中，每间隔预设时长截取一个视频帧，并通过人工智能识别所述视频帧的角色信息。
5.根据权利要求3所述的方法，其特征在于，所述视频识别播放请求还包括：当前播放所述目标视频的时间戳；
所述根据所述目标角色标识和预设索引表，在数据库中获取所述目标角色标识对应的视频帧数据，包括：
根据所述目标角色标识和预设索引表，在数据库中获取当前播放所述目标视频的时间戳之后的当前播放所述目标视频的时间戳。
6.一种视频对象识别方法，其特征在于，应用于终端，包括：
基于当前播放的目标视频，向服务器发送视频识别播放请求，所述视频识别播放请求包括：所述目标视频中的目标角色标识；
接收所述服务器根据所述视频识别播放请求发送的待播放的视频数据，其中，所述待播放的视频数据根据所述目标角色标识和预设索引表，在数据库中获取的所述目标角色标识对应的视频帧数据确定，所述数据库中存储不同角色标识以及对应的视频帧。
7.根据权利要求6所述的方法，其特征在于，所述视频识别播放请求还包括：当前播放所述目标视频的时间戳；
所述接收所述服务器根据所述视频识别播放请求发送的待播放的视频数据，包括：
接收所述服务器根据所述视频识别播放请求，发送的在当前播放所述目标视频的时间戳之后的待播放的视频数据。
8.一种视频对象识别装置，其特征在于，应用于服务器，所述装置包括：
接收模块，用于接收终端发送的视频识别播放请求，所述视频识别播放请求包括：目标视频中的目标角色标识；
标识模块，用于根据所述目标角色标识和预设索引表，在数据库中获取所述目标角色标识对应的视频帧数据，其中，所述数据库中存储不同角色标识以及对应的视频帧；
传输模块，用于根据所述目标角色标识对应的视频帧数据，向所述终端传输待播放的视频数据。
9.一种视频对象识别装置，其特征在于，应用于终端，所述装置包括：
发送模块，用于基于当前播放的目标视频，向服务器发送视频识别播放请求，所述视频识别播放请求包括：所述目标视频中的目标角色标识；
接收模块，用于接收所述服务器根据所述视频识别播放请求发送的待播放的视频数据，其中，所述待播放的视频数据根据所述目标角色标识和预设索引表，在数据库中获取的所述目标角色标识对应的视频帧数据确定，所述数据库中存储不同角色标识以及对应的视频帧。
10.一种电子设备，其特征在于，所述电子设备包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一项所述的视频对象识别方法的步骤。
CN202310116498.7A 2023-02-14 2023-02-14 视频对象识别方法、装置、设备及可读存储介质 Pending CN116132707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310116498.7A CN116132707A (zh) 2023-02-14 2023-02-14 视频对象识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310116498.7A CN116132707A (zh) 2023-02-14 2023-02-14 视频对象识别方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116132707A true CN116132707A (zh) 2023-05-16

Family

ID=86300869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310116498.7A Pending CN116132707A (zh) 2023-02-14 2023-02-14 视频对象识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116132707A (zh)

Similar Documents

Publication Publication Date Title
CN107483460B (zh) 一种多平台并行导播推流的方法及系统
US20160295269A1 (en) Information pushing method, device and system
CN112073758B (zh) 一种云桌面投屏方法、装置、计算机设备、计算机可读存储介质及云桌面投屏交互系统
US20160044368A1 (en) Method, apparatus and system for acquiring playback data stream of real-time video communication
CN108881956B (zh) 一种直播流传输方法、装置及相关设备
CN104918105A (zh) 媒体文件的多屏播放方法、设备及系统
CN112616065B (zh) 一种屏幕镜像发起方法、装置、系统及可读存储介质
CN105898506A (zh) 媒体文件的多屏播放方法和系统
CN111163330A (zh) 直播视频的渲染方法、装置、系统、设备及存储介质
CN110662086A (zh) 一种5g高清直播系统及视频处理方法
CN111818383B (zh) 视频数据的生成方法、系统、装置、电子设备及存储介质
WO2015180446A1 (zh) 一种多设备联动服务中的连接通道维护系统及方法
CN112291502A (zh) 信息交互方法、装置、系统和电子设备
CN108235111B (zh) 信息共享方法及智能机顶盒
CN102158683A (zh) 视频会议中视频延时的测试方法及计算机
CN112468763B (zh) 会议电视的视频传输和显示方法、装置、设备及存储介质
CN109089152A (zh) 一种直播间的操作方法、装置、设备和存储介质
CN113259729B (zh) 数据切换的方法、服务器、系统及存储介质
CN110351577B (zh) 直播信息处理方法及装置、存储介质、电子设备
CN111885351A (zh) 一种屏幕显示方法、装置、终端设备和存储介质
CN108616760B (zh) 一种基于浏览器的直播方法、服务器、主播端和用户端
CN116132707A (zh) 视频对象识别方法、装置、设备及可读存储介质
CN102710967A (zh) 一种云电视系统与方法
CN108076381B (zh) 视频显示方法、视频转发设备及系统
CN113271474B (zh) 一种流媒体服务器的测试方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination