CN113453026A - 视频数据处理方法、装置、电子设备及计算机存储介质 - Google Patents

视频数据处理方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN113453026A
CN113453026A CN202010225172.4A CN202010225172A CN113453026A CN 113453026 A CN113453026 A CN 113453026A CN 202010225172 A CN202010225172 A CN 202010225172A CN 113453026 A CN113453026 A CN 113453026A
Authority
CN
China
Prior art keywords
data
video frame
abstraction layer
layer unit
network abstraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010225172.4A
Other languages
English (en)
Other versions
CN113453026B (zh
Inventor
杨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010225172.4A priority Critical patent/CN113453026B/zh
Publication of CN113453026A publication Critical patent/CN113453026A/zh
Application granted granted Critical
Publication of CN113453026B publication Critical patent/CN113453026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2351—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving encryption of additional data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种视频数据处理方法、装置、电子设备及计算机存储介质，其中，一种视频数据处理方法包括：获取视频帧图像及待添加至所述视频帧图像中的附加数据，所述附加数据用于添加到视频帧图像上形成附加图像和/或字符；使用预设类型的第一网络抽象层单元承载所述附加数据，并将所述视频帧图像对应的数据承载于第二网络抽象层单元中；根据所述第一网络抽象层单元和所述第二网络抽象层单元，生成与所述视频帧图像对应的视频帧数据。通过本发明实施例，实现了视频帧数据中有效携带附加数据，且无需在后续解码时进行帧对齐操作，减轻了数据处理负担。

Description

视频数据处理方法、装置、电子设备及计算机存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种视频数据处理方法、装置、电子设备及计算机存储介质。
背景技术
随着各种电子设备性能的提升，在电子设备上实现视频播放就成为了一项基本功能，而视频播放使用的视频资源多由用户从服务端(如服务器或云端)获取。
在获取视频资源时，电子设备需要通过网络连接存储有视频资源的服务端，通过视频流传输的形式从服务端获取视频资源。为了既可在电子设备上能够正常播放视频又避免过大的数据量传输而可能导致的网络问题，多种视频编解码标准应运而生，如H.264标准、H.265标准等等。通过这些视频编解码标准，可以使视频流以更少的数据量进行有效传输，以及在后续进行正常播放。
但随着用户需求的不断提升，除视频的正常传输和播放外，越来越多的应用和服务希望能够基于现有的视频实现更多的功能，如，基于视频的增强现实AR处理、图像处理等等。
为此，如何基于已有视频编解码标准，在视频流中携带不同应用或服务所需的、不属于原始视频的数据，以满足不同应用或服务的需求，成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种视频数据处理方案，以至少部分解决上述问题。
根据本发明实施例的第一方面，提供了一种视频数据处理方法，包括：获取视频帧图像及待添加至所述视频帧图像中的附加数据，所述附加数据用于添加到视频帧图像上形成附加图像和/或字符；使用预设类型的第一网络抽象层单元承载所述附加数据，并将所述视频帧图像对应的数据承载于第二网络抽象层单元；根据所述第一网络抽象层单元和所述第二网络抽象层单元，生成与所述视频帧图像对应的视频帧数据。
根据本发明实施例的第二方面，提供了一种视频数据处理方法，包括：对接收的视频帧数据进行解码，获得所述视频帧数据对应的至少一个网络抽象层单元；若确定所述至少一个网络抽象层单元中存在类型为预设类型的第一网络抽象层单元，则从所述至少一个网络抽象层单元中获取第一网络抽象层单元中的附加数据，其中，所述附加数据用于添加到所述至少一个网络抽象层单元中的第二网络抽象层单元对应的视频帧图像上，以形成附加图像和/或字符。
根据本发明实施例的第三方面，提供了一种视频数据处理方法，包括：对接收的直播视频数据进行解码，获取所述直播视频数据对应的至少一个网络抽象层单元；从所述至少一个网络抽象层单元中，确定预设类型的第一网络抽象层单元；从所述第一网络抽象层单元中获取附加数据，将所述附加数据附加至所述至少一个网络抽象层单元中的第二网络抽象层单元对应的直播图像上，以形成基于所述直播图像的附加图像和/或字符。
根据本发明实施例的第四方面，提供了一种视频数据处理方法，包括：对接收的视频通话数据进行解码，获取所述视频通话数据对应的至少一个网络抽象层单元；从所述至少一个网络抽象层单元中，确定预设类型的第一网络抽象层单元；从所述第一网络抽象层单元中获取附加数据，将所述附加数据附加至所述至少一个网络抽象层单元中的第二网络抽象层单元对应的视频通话图像上，以形成基于所述视频通话图像的附加图像和/或字符。
根据本发明实施例的第五方面，提供了一种视频数据处理装置，包括：第一获取模块，用于获取视频帧图像及待添加至所述视频帧图像中的附加数据，所述附加数据用于添加到视频帧图像上形成附加图像和/或字符；承载模块，用于使用预设类型的第一网络抽象层单元承载所述附加数据，并将所述视频帧图像对应的数据承载于第二网络抽象层单元；生成模块，用于根据所述第一网络抽象层单元和所述第二网络抽象层单元，生成与所述视频帧图像对应的视频帧数据。
根据本发明实施例的第六方面，提供了一种视频数据处理装置，包括：第二获取模块，用于对接收的视频帧数据进行解码，获得所述视频帧数据对应的至少一个网络抽象层单元网络抽象层单元；第三获取模块，用于若确定所述至少一个网络抽象层单元中存在类型为预设类型的第一网络抽象层单元，则从所述至少一个网络抽象层单元中获取第一网络抽象层单元中的附加数据，其中，所述附加数据用于添加到所述至少一个网络抽象层单元中的第二网络抽象层单元对应的视频帧图像上，以形成附加图像和/或字符。
根据本发明实施例的第七方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面或第三方面或第四方面所述的视频数据处理方法对应的操作。
根据本发明实施例的第八方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面或第三方面或第四方面所述的视频数据处理方法。
根据本发明实施例提供的视频数据处理方案，在需要发送某个视频帧图像对应的附加数据(不同应用或服务需要的添加入视频帧图像中的数据)时，一方面，使用预设类型的第一网络抽象层单元携带附加数据，使得数据接收端根据该预设类型即可对该第一网络抽象层单元进行正确的解码处理，由此可满足不同应用或服务的需求；另一方面，承载该附加数据的第一网络抽象层单元，将被看作视频帧图像对应的视频帧数据的一部分，无需通过额外的视频帧携带，也无需数据接收端解码后进行视频帧对齐操作。因此，既减轻了视频帧数据生成端的数据处理负担，也减轻了视频帧数据接收端的数据处理负担。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1A为相关技术中的一种H.264帧的结构示意图；
图1B为相关技术中的一种通过H.264帧携带附加数据的结构示意图；
图2A为根据本发明实施例一的一种视频数据处理方法的步骤流程图；
图2B为图2A所示实施例中的视频帧结构的示意图；
图2C为图2A所示实施例中的一种场景示例的示意图；
图3A为根据本发明实施例二的一种视频数据处理方法的步骤流程图；
图3B为图3A所示实施例中的一种第一NALU的结构示意图；
图3C为图3A所示实施例中的另一种第一NALU的结构示意图；
图4A为根据本发明实施例三的一种视频数据处理方法的步骤流程图；
图4B为图4A所示实施例中的一种场景示例的示意图；
图5A为根据本发明实施例四的一种视频数据处理方法的步骤流程图；
图5B为图5A所示实施例中的一种数据提取过程的示意图；
图5C为图5A所示实施例中的一种场景示意图；
图5D为图5A所示实施例中的另一种场景示意图；
图6为根据本发明实施例五的一种视频数据处理装置的结构框图；
图7为根据本发明实施例六的一种视频数据处理装置的结构框图；
图8为根据本发明实施例七的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
在前述通过视频流传输从服务端获取视频数据的场景中，服务端需要将待传输的视频数据进行编码、复用、封装等一系列操作，以形成视频流发送。而为了顺利实现后续的视频解码播放，在进行视频数据的编码时需要遵循相应的视频编码标准。
对视频数据的编码是通过对每个视频帧的编码实现的，以H.264标准为例，一个视频帧经过H.264编码后，会形成一个或多个切片(SLICE)，而这些切片需要封装进NALU(Network Abstract Layer Unit,网络抽象层单元)中传输，也可认为，一个视频帧对应有至少一个NALU。但NALU并不限于承载切片的数据，其还可以承载其它数据，如视频描述数据及其它数据等等。
一种H.264标准下的NALU构成的视频帧的结构如图1A所示，每个H.264视频帧对应有至少一个NALU，每个NALU之前有一个“Start-code”(开始码)，以指示接下来是一个NALU。按照H.264的规定，“Start-code”必须是"00 00 00 01"或"00 00 01"。
每个NALU的头部由一个字节组成，其包括用于指示NALU类型的类型位、用于指示NALU重要性的重要性指示位，以及禁止位。其中，NALU类型位可以表示NALU的32种不同类型，类型1-12由H.264定义；类型24-31用于H.264以外的类型，RTP负荷规范使用这其中的一些值来定义包聚合和分裂；其他类型13-23为H.264保留。
一种具体类型说明如下表1所示：
Figure BDA0002427406790000061
表1
基于上述描述，若需要基于已有的视频帧图像进行额外的数据携带，例如，在已有的视频帧图像上添加的LOGO图标对应的数据，目前的一种常规处理方式是，将该额外的数据通过独立的视频帧携带，也即，通过额外的视频帧数据对应的NALU携带，如图1B中，视频帧数据1中的多个NALU携带视频帧图像对应的数据，视频帧数据2中的NALU携带附加数据。但这种方式下，在后续视频解码后进行视频播放或展示时，需要将该额外的视频帧与其所需依附的视频帧对齐后进行渲染展示。这种方式不单增加了视频帧数据发送端如服务端的数据处理负担，也同样增加了视频接收端的数据处理负担。
为避免上述问题，本发明实施例提供了一种数据处理方案。以下，通过多个实施例对该数据处理方案进行说明。
实施例一
参照图2A，示出了根据本发明实施例一的一种视频数据处理方法的步骤流程图。
本实施例从视频帧数据发送端如服务端对本发明实施例提供的视频数据处理方法进行说明，本实施例的视频数据处理方法包括以下步骤：
步骤S102：获取视频帧图像及待添加至视频帧图像中的附加数据。
其中，所述附加数据用于添加到视频帧图像上形成附加图像和/或字符，包括但不限于可满足不同应用或服务需要的添加入视频帧图像中的数据，如，向视频帧图像中添加或去除目标对象另外的图像(如广告图像、LOGO标识等)有关的数据、向视频帧图像中添加与视频帧图像中的目标对象有关的图像和/或字符的数据，特效数据等等。其中，所述字符可以为文字、字母、各种符号、或者为包括有链接信息的链接地址等等。
步骤S104：使用预设类型的第一NALU承载附加数据，并将视频帧图像对应的数据承载于第二NALU。
其中，预设类型不同于第二NALU的类型。用于承载视频帧图像对应的数据的NALU会按照视频编解码标准来设置其类型，通常包括多种类型，为与这些类型相区别，第一NALU对应的预设类型与第二NALU的多种可能类型均不相同。
以H.264为例，NALU类型从类型0至类型31，如上表1所示，其中，类型13-23为保留类型，基于此，本领域技术人员可以从类型13-23中选择一个类型作为携带附加数据的预设的NALU类型，例如，选择类型16作为预设的NALU类型。
此外，在一种可行方式中，可以对预设类型的第一NALU中承载的所述附加数据进行掩码处理。此种情况下，在使用预设类型的第一NALU承载所述附加数据时，可以对所述附加数据进行掩码处理，获得掩码数据；使用预设类型的第一NALU承载所述掩码数据。进而，将承载有该掩码数据的第一NALU与用于承载视频帧图像对应的数据的第二NALU组合，形成视频帧图像对应的视频帧数据。当然，不限于此，直接携带附加数据的方式等也同样适用。通过这种方式，第一NALU和第二NALU均对应于同一个视频帧图像的视频帧数据，而无需额外的视频帧数据进行携带和传输，在后续对附加数据进行添加到视频帧图像的处理时，无需进行帧对齐等处理，减轻了数据处理负担。
如前所述，因每个NALU的“Start-code”必须是"00 00 00 01"或"00 00 01"。解码端在进行解码时，若解码到该码值，则认为其后为一个NALU。这就可能导致在某些情况下，在H.264帧中携带的附加数据中也具有与上述“Start-code”的码值同样的二进制字节数据，在解码时将会被认为是一个NALU的开始码，而非附加数据。而通过对附加数据进行掩码处理，则能有效地避免上述问题。因从二进制代码层面来看，通过对附加数据的掩码处理，可以使得附加数据的原始二进制代码改变其代码形式，形成可与NALU的开始码有效进行区别的二进制代码。本实施例中，掩码处理可以由本领域技术人员根据实际情况采用任意适当的方式实现，包括但不限于：位与运算处理、加密处理、模糊处理等，能够使得掩码处理后生成的掩码数据可与NALU的开始码区分即可。
由此，视频帧数据发送端通过预设类型如类型16的第一NALU携带掩码数据，视频帧数据接收端则可以在接收到数据并且确定其对应的NALU中有类型为16的第一NALU时，可直接从该第一NALU的净荷中提取掩码数据，不对其进行直接解码处理，而是另行进行处理，避免产生解码错误。
步骤S106：根据第一NALU和第二NALU，生成与视频帧图像对应的视频帧数据。
视频帧图像对应的视频帧数据本身由至少一个NALU(即第二NALU)组成，其中携带视频帧图像的相关数据如切片数据等，而本发明实施例中，视频帧图像对应的视频帧数据还包括承载有附加数据的第一NALU，该第一NALU因作为视频帧数据的一部分，在后续解码后，无需再进行额外的帧对齐操作。
一种视频帧图像对应的视频帧数据如图2B所示，图2B中，视频帧数据1对应有多个NALU，包括第一NALU和第二NALU，其中，第一NALU连接于多个(两个及两个以上)第二NALU之后，第一NALU中承载有附加数据，多个第二NALU中承载有视频帧图像对应的数据。
以下，以一个具体示例对上述过程进行说明，如图2C所示。本示例中，以对附加数据进行了掩码处理为例，但本领域技术人员应当明了，不进行掩码处理的情况也同样适用本示例中所示的过程。
图2C中，设定需要在视频帧图像X(如上端左侧圆角矩形中所示图像)显示时在其上附加一个LOGO图标A(如上端右侧虚线框中所示“YOUKU”字样图标)，该LOGO图标A即为本示例中的附加数据。首先，对LOGO图标A的数据进行掩码处理，获得LOGO图标A对应的掩码数据A'。本示例中，所述预设类型的第一NALU设定为类型16的NALU。
对于一个NALU来说，其通常包括NALU头部(即NALU HEADER)和NALU净荷部分(即NALU PAYLOAD)。在NALU HEADER中，设置有NALU类型字段(即NAL_UNIT_TYPE)。本示例中，对于第一NALU，其NAL_UNIT_TYPE字段的取值为16，其在NALU PAYLOAD中携带掩码数据A'。而对于当前视频帧图像，假设其切片通过三个NALU携带，这三个NALU中每个NALU的类型则根据实际的需求生成，通常为类型1-12中的一个。三个NALU的类型通常不同，本示例中，设定这三个NALU的类型分别为类型2、类型3和类型4。每个NALU之前还有一个开始码Start-code，以指示其后为一个NALU。
根据上述结构生成的视频帧数据X'如图2C中所示。在生成该视频帧数据X'后，该视频帧数据X'将根据一定的规则与其它视频帧数据一起形成视频流，从其所在的设备A发送向设备B。设备B接收视频流并从视频流中获得该视频帧数据X'后，对其进行解码，当解码至第一NALU时，根据其NALU HEADER中的NAL_UNIT_TYPE确定其类型为类型16，则从其NALUPAYLOAD中获取掩码数据A'。进一步地，对掩码数据A'进行反掩码处理(与掩码处理相反的操作以获得原始附加数据的处理)，获得原来的附加数据，即LOGO图标A的数据。在对视频帧数据对应的视频帧图像进行渲染时，将LOGO图标A同时绘制渲染至该视频帧图像上，从而形成具有LOGO图标A的视频帧图像(如图2C的设备B中所示)。其中，解码部分的具体过程示意可参考图4B中所示。
可见，通过本实施例，在需要发送某个视频帧图像对应的附加数据(不同应用或服务需要的添加入视频帧图像中的数据)时，一方面，使用预设类型的第一NALU携带附加数据，使得数据接收端根据该预设类型即可对该第一NALU进行正确的解码处理，由此可满足不同应用或服务的需求；另一方面，承载该附加数据的第一NALU，将被看作视频帧图像对应的视频帧数据的一部分，无需通过额外的视频帧携带，，也无需数据接收端解码后进行视频帧对齐操作。因此，既减轻了视频帧数据生成端的数据处理负担，也减轻了视频帧数据接收端的数据处理负担。
此外，若对附加数据进行了掩码处理，将附加数据以掩码数据的形式携带在第一NALU中，掩码数据的二进制代码与其它数据的二进制代码不同，从而可以与其它二进制代码进行有效区分，不易被认定为NALU的开始码。由此，实现了在H.264帧中有效携带附加数据，且该附加数据不会被误认为是NALU的开始码，且可有效指示如何对携带有附加数据的NALU进行解码，从而避免了数据接收端出现错误解码的问题。
本实施例的视频数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机等。
实施例二
参照图3A，示出了根据本发明实施例二的一种视频数据处理方法的步骤流程图。
本实施例仍从视频帧数据发送端如服务端对本发明实施例提供的视频数据处理方法进行说明，本实施例的视频数据处理方法包括以下步骤：
步骤S202：获取视频帧图像及待添加至视频帧图像中的附加数据。
本实施例中，待添加至视频帧图像中的附加数据用于添加到视频帧图像上形成附加图像和/或字符，附加数据可以为任意适当的数据，可以由本领域技术人员根据实际需求确定。在一种可行方式中，附加数据包括用于对视频帧图像进行AR处理的数据，包括但不限于以下至少之一：对视频帧图像进行目标对象识别的识别结果的数据、对视频帧图像进行目标对象添加的数据、对视频帧图像进行目标对象去除的数据。通过AR处理，可以将视频帧图像中原本没有的信息附加至该视频帧图像上，以满足不同服务或应用所需的额外效果。
例如，目标对象可以为LOGO图标，该LOGO图标对应的数据即为附加数据，以供后续附加至视频帧图像上形成具有LOGO图标的视频帧图像进行展示。再例如，若原视频帧图像中本身具有LOGO图标，需要对其进行去除操作，此种情况下目标对象仍为LOGO图标，但其对应的附加数据可以为该LOGO图标区域的信息(如位置信息)，以及视频帧图像在该区域的原图像信息，以供后续将原图像附加至视频帧图像，以覆盖视频帧图像中的LOGO区域，实现LOGO图标去除。又例如，视频帧图像中包含有人脸图像或物体图像，则附加数据可以为进行人脸识别的结果或进行物体识别的结果，以供后续视频帧图像在展示时可以根据该结果进行相应的特效处理；当然，附加数据中也可以包含特效数据，则在后续视频帧图像展示时可以根据识别结果直接使用特效数据进行相应的特效处理和展示。
步骤S204：对所述附加数据进行掩码处理，获得掩码数据。
本步骤为可选步骤，也实际应用中，可以在步骤S202之后，直接进行步骤S206。为了进一步提升附加数据的携带效果，避免后续误解码，可以在执行完步骤S202之后，执行本步骤。
执行本步骤时：
在第一种可行方式中，可以对附加数据进行加密处理，根据加密处理结果获得掩码数据。其中，所述加密处理可以通过任意适当的加密算法实现，包括对称性加密算法和非对称性加密算法等。通过加密处理方式，除可获得能够与NALU开始码相区别的二进制代码外，还有效提升了附加数据的安全性。
在第二种可行方式中，可以对附加数据进行模糊处理，根据模糊处理结果获得掩码数据。其中，所述模糊处理可以通过任意适当的数据模糊算法实现，本发明实施例对此不作限制。通过模糊处理,可以使得数据分布更为均匀，不会出现相同数据段重复出现的情况。由此，既可以与NALU开始码相区别，又便于后续解码。
在第三种可行方式中，可以在对附加数据进行加密处理后，再对加密处理后的附加数据进行模糊处理，根据模糊处理结果获得掩码数据。这种方式综合了上述两种方式的优点，既有安全性保障，又便于后续处理。
基于上述三种方式，可选地，还可以生成携带所述掩码数据的掩码数据包，并在所述掩码数据包的包头中设置所述掩码处理的信息。因上述方式中，主要针对附加数据进行处理，处理过程不涉及数据包头的信息，处理后生成的掩码数据完全携带数据包体中，而在数据包头中携带掩码处理的信息，包括模糊处理的信息和加密处理的信息，数据处理负担较小。
此外，在第四种可行方式中，可以对附加数据进行加密处理，将加密处理后的附加数据设置于数据包的数据包体中，并在所述数据包的数据包头中设置所述加密处理的信息；对所述数据包体和所述数据包头中的加密处理的信息进行模糊处理，在所述数据包头中设置所述模糊处理的信息；根据所述数据包体和所述数据包头获得掩码数据。与第三种方式不同的是，该种方式中，加密处理不涉及数据包头的信息，而模糊处理则涉及数据包头的信息。采用这种方式，进一步提升了掩码处理的效果。
此外，还需要说明的是，相较于其它掩码方式，不管是加密处理方式还是模糊处理方式都具有更高的处理效率和更快的处理速度，在大批量数据处理时尤为高效。
根据掩码数据生成的数据包包括数据包头和数据包体；其中，数据包体中携带有掩码数据，数据包头中携带有生成掩码数据的掩码处理的信息；或者，掩码数据的一部分设置于所述数据包体中，另一部分设置于所述数据包头的第一部分中，所述数据包头的第二部分中设置有生成所述掩码数据的掩码处理的信息。通过在数据包头携带掩码处理的信息的方式，可以有效提升后续视频帧数据接收端解码的效率。本发明实施例中，所述掩码处理的信息包括但不限于具体掩码处理的算法信息和/或版本信息，如，加密算法的算法信息和/或算法版本信息，模糊算法的算法信息和/或版本信息。但不限于，也可以由视频帧数据的发送端和接收端预先约定好使用的算法，在数据包中携带算法版本信息即可。
在实际应用中，不管是加密处理的具体实现方式还是模糊处理的具体实现方式都可以根据实际需求进行调整，调整后，使用新的处理方式对附加数据进行处理，相应地，数据包中携带的掩码处理的信息也会随之更新。
步骤S206：使用预设类型的第一NALU承载掩码数据，并将视频帧图像对应的数据承载于第二NALU中。
其中，在视频帧数据遵循H.264标准的情况下，所述预设类型为H.264标准中的NALU对应的保留类型中的一种类型。由此，可以有效实现在符合H.264标准下的第一NALU的生成。
在使用第一NALU承载附加数据或掩码数据时，附加数据可以设置于第一NALU的净荷字段，且将该第一NALU的头部携带的NALU的类型设置为预设类型，如类型16。
若对附加数据进行了如步骤S204中的掩码处理，且生成了携带掩码数据的掩码数据包，在生成的掩码数据包的包头中设置掩码处理的信息；则本步骤中，可以将进行了所述设置的掩码数据包设置于第一NALU的净荷中，并将所述第一NALU的类型设置为所述预设类型。
其中，针对根据前述步骤S204中所述的第一、第二和第三种可行方式，第一NALU的结构如图3B所示。从图3B中可见，该种方式中，掩码处理不涉及数据包头的信息，在数据包体携带掩码数据，而数据包头中则主要携带掩码处理的信息。
而为了更便于理解第四种可行方式对应的第一NALU的结构，图3C中采用了结构结合处理过程的描述方式。从图3C中可见，对附加数据的掩码处理包括：先对附加数据进行加密处理，生成加密数据；将加密数据设置在数据包体中，同时，在数据包头中携带加密处理的信息(如加密处理的版本信息)；然后，再对数据包体中的加密数据和数据包头中的其它信息一起进行模糊处理，形成模糊数据(即此种方式下的掩码数据)，同时，在数据包头中携带模糊处理的信息(如模糊处理的版本信息)。由此，该数据包形成两个大部，即明文部分和掩码部分，其中，明文部分为数据包头的一部分，而掩码部分则包括数据包体和数据包头的另一部分。
步骤S208：根据第一NALU和第二NALU，生成与视频帧图像对应的视频帧数据。
其中，第二NALU可能有一个或多个，第一NALU可以连接于第二NALU的尾部，以生成携带附加数据的视频帧数据。例如，一种生成的视频帧数据的结构可以参照图2C中的“视频帧数据X'”的结构。但不限于此，第一NALU也可连接于两个第二NALU之间或前部等。
此外，在视频帧数据中携带第一NALU，除可实现附加数据的有效传递外，在后续处理中，也无需通过帧对齐处理才能将附加数据附加至视频帧图像中，减少了解码消耗性能，提高了解码效率。在通过附加数据实现特效的情况下，还能减少识别算法耗时。
基于生成的视频帧数据，进一步可选地，可以执行步骤S210。
步骤S210：向目标设备发送携带有生成的视频帧数据的视频流。
视频流由多个视频帧数据进行相应处理后形成，两个设备间通常以视频流的形式进行视频帧数据传递。目标设备在接收到视频流后，通过诸如解复用等相关操作获得其中携带的视频帧数据，进而对其进行解码。若解码出附加数据，则将其附加至其所在的视频帧数据对应的视频帧图像中。
而若附加数据进行了掩码处理，则目标设备对视频帧数据进行解码后，获得视频帧图像和进行了掩码处理的附加数据即掩码数据；并且，在对掩码数据进行反掩码处理后，获得附加数据并将附加数据附加至视频帧图像中。
通过以上过程，目标设备端可以实现附加数据的有效获取和处理。
可见，通过本实施例，在需要发送某个视频帧图像对应的附加数据(不同应用或服务需要的添加入视频帧图像中的数据)时，一方面，使用预设类型的第一NALU携带附加数据，使得数据接收端根据该预设类型即可对该第一NALU进行正确的解码处理，由此可满足不同应用或服务的需求；另一方面，承载该附加数据的第一NALU，将被看作视频帧图像对应的视频帧数据的一部分，无需通过额外的视频帧携带，，也无需数据接收端解码后进行视频帧对齐操作。因此，既减轻了视频帧数据生成端的数据处理负担，也减轻了视频帧数据接收端的数据处理负担。
此外，若对附加数据进行了掩码处理，附加数据以掩码数据的形式携带在第一NALU中，掩码数据的二进制代码与其它数据的二进制代码不同，从而可以与其它二进制代码进行有效区分，不易被认定为NALU的开始码。由此，实现了在H.264帧中有效携带附加数据，且该附加数据不会被误认为是NALU的开始码，且可有效指示如何对携带有附加数据的NALU进行解码，从而避免了数据接收端出现错误解码的问题。
本实施例的视频数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机等。
实施例三
参照图4A，示出了根据本发明实施例三的一种视频数据处理方法的步骤流程图。
本实施例从视频帧数据接收端如客户终端对本发明实施例提供的视频数据处理方法进行说明，本实施例的视频数据处理方法包括以下步骤：
步骤S302：对接收的视频帧数据进行解码，获得视频帧数据对应的至少一个NALU。
其中，视频帧数据对应有至少一个NALU，具体到本发明实施例的方案，其对应有至少两个NALU，其中一个为第一NALU。
对视频帧数据的解码可以采用与实际情况相适用的任意适当的解码方式实现，在基于H.264标准的情况下，可采用H.264中规定的方式进行解码。
步骤S304：若确定所述至少一个NALU中存在类型为预设类型的第一NALU，从所述至少一个NALU中获取第一NALU中的附加数据。
其中，所述附加数据用于添加到所述至少一个NALU中的第二NALU对应的视频帧图像上，以形成附加图像和/或字符。其中，所述字符可以为文字、字母、各种符号、或者为包括有链接信息的链接地址等等。
所述预设类型用于指示当前NALU携带有附加数据，该预设类型不同于多个第二NALU的NALU类型。在视频帧数据遵循H.264标准的情况下，预设类型可以为NALU的保留类型即类型13-23中的任意一种。
若视频帧数据生成端如服务端对附加数据进行了掩码处理，则第一NALU中携带的为掩码数据，在获得附加数据时，可以从所述至少一个NALU中提取预设类型的第一NALU中携带的掩码数据，对所述掩码数据进行反掩码处理获得附加数据。具体地，可以从类型为预设类型的第一NALU的净荷中获取携带有所述掩码数据的数据包；从所述数据包中获取所述掩码数据，再对该掩码数据进行反掩码处理获得附加数据。
此时情况下，当视频帧数据接收端解码到该第一NALU时，确定其为预设类型，则不对其携带的掩码数据进行解码，而是直接获取，并进行反掩码处理，根据处理结果进行后续操作。
其中，所述掩码数据的具体生成方式可参照前述实施例中相关部分的描述，在此不再赘述。
对掩码数据的反掩码处理是针对生成掩码数据时使用的掩码处理的一种反操作，例如，若掩码处理为使用某种加密算法的处理，则反掩码处理则是与该加密算法对应的解密处理；若掩码处理为使用某种模糊算法的处理，则反掩码处理则是与该模糊算法对应的反模糊处理。
通过对掩码数据进行反掩码处理，即可获得原本的附加数据。
以下，以一个具体示例对上述过程进行说明，如图4B所示。
图4B中，视频帧数据接收端(设定为设备B)接收到视频帧数据发送端(设定为设备A)发送来的视频流，从中解析出多个视频帧数据，针对每个视频帧数据进行解码。本示例中，假定携带有第一NALU的视频帧数据为视频帧数据X'，另，预设类型的第一NALU为类型16的NALU。假设，在对视频帧数据X'进行解码时，先对其前三个NALU进行了常规解码。当解码到第四个NALU时，确定该NALU的类型为类型16，如，根据该NALU的NALU HEADER中的NAL_UNIT_TYPE确定其类型为类型16，则不再对该NALU的NALU PAYLOAD中的数据进行解码，而是获取NALU PAYLOAD中的掩码数据A'。掩码数据A'中携带有其掩码处理的信息，则设备B即可根据该掩码处理的信息，采用适当的反掩码处理方式，对掩码数据A'进行反掩码处理，获得原本的附加数据A。进而，在对视频帧数据对应的视频帧图像进行渲染和展示时，可以将该附加数据A附加至视频帧图像中。如，附加数据A对应的是一个LOGO图标，则将该LOGO图标绘制渲染至视频帧图像上。
可见，通过本实施例，在视频帧数据接收端接收到携带有第一NALU的视频帧数据时，一方面，可以根据预设类型确定该NALU中携带有附加数据，从而可对该NALU进行正确的处理，且无需进行视频帧对齐；另一方面，若对附加数据进行过掩码处理，则因该附加数据通过掩码处理后以掩码数据的形式携带在该NALU中，掩码数据的二进制代码与其它数据的二进制代码不同，从而可以与其它二进制代码进行有效区分，不易被认定为NALU的开始码，因此，不会造成视频帧数据接收端的解码错误。
本实施例的视频数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：移动终端(如手机、PAD等)和PC机等。
实施例四
参照图5A，示出了根据本发明实施例四的一种视频数据处理方法的步骤流程图。
本实施例仍从视频帧数据接收端如客户终端对本发明实施例提供的视频数据处理方法进行说明，本实施例的视频数据处理方法包括以下步骤：
步骤S402：对接收的视频帧数据进行解码，获得所述视频帧数据对应的至少一个NALU。
如前所述，对视频帧数据的解码可以由本领域技术人员根据实际情况采用任意适当的方式实现。在使用H.264标准进行视频帧数据传输和处理的情况下，该解码也遵循H.264标准。
步骤S404：若确定所述至少一个NALU中存在类型为预设类型的第一NALU，则获取类型为预设类型的第一NALU中携带的掩码数据。
在视频帧数据遵循H.264标准的情况下，所述预设类型为H.264标准中的NALU对应的保留类型中的一种类型。如，类型13-23中的任意一种。H.264标准在视频数据处理和传输中被广泛使用，由此，极大地提升了本发明实施例的适用性。
获取的掩码数据为在视频帧数据发送端进行过掩码处理的附加数据，掩码数据可以被封装进数据包中，基于此，在获取类型为预设类型的第一NALU中携带的掩码数据时，可以从类型为预设类型的第一NALU的净荷中获取携带有掩码数据的数据包；从数据包中获取掩码数据。
数据包通常包括数据包头和数据包体，本实施例中，数据包体用于携带掩码数据，而数据包头则携带有生成掩码数据的掩码处理的信息。通过这种方式，可以明确指示视频帧数据接收端采用何种方式对掩码数据进行反掩码处理，提高反掩码处理效率。
步骤S406：对掩码数据进行反掩码处理，获得对应的附加数据。
在数据包头携带有生成掩码数据的掩码处理的信息的情况下，本步骤可以实现为：根据数据包头中的掩码处理的信息，对掩码数据进行反掩码处理，获得对应的附加数据。所述附加数据用于添加到至少一个NALU中的第二NALU对应的视频帧图像上，以形成附加图像和/或字符。
例如，若掩码处理的信息指示对附加数据进行了某种加密操作，则可根据该信息对掩码数据进行对应的解密操作，等等。
在一种可行方式中，反掩码处理获得的附加数据包括用于对视频帧图像进行AR处理的数据。其中，所述进行AR处理的数据包括以下至少之一：对视频帧图像进行目标对象识别的识别结果的数据、对视频帧图像进行目标对象添加的数据、对视频帧图像进行目标对象去除的数据。但不限于此，在实际应用中，还可以是其它可附加于视频帧图像且符合需求的数据。
步骤S408：将附加数据附加至视频帧图像中。
其中，视频帧图像根据对视频帧数据中包含的第二NALU进行解码获得。视频帧图像的获得可以采用常规方式对其对应的NALU进行解码获得，本发明实施例对此不再详述。
在获得附加数据后，即可在渲染展示视频帧图像时将其附加至视频帧图像上，如，在视频帧图像上添加或去除LOGO图标、添加视频帧图像中的目标对象识别结果的信息、或者根据该识别结果的信息进一步对视频帧图像进行特效处理等。
以下，以一个遵循H.264标准的实例对上述附加数据的提取过程进行示例性说明，如图5B所示。该过程包括：
步骤C1：对媒体文件解复用，获取每个视频帧数据。
步骤C2：对每个视频帧数据进行解码，获得多个NALU。
其中，多个意指两个及两个以上。
步骤C3：判断当前NALU的类型是否为预设类型；若是，则执行步骤C4；若否，则常规解码。
步骤C4：对当前NALU的数据完整性进行判断。
步骤C5：在根据判断结果确定当前NALU数据完整后，从NALU净荷中获得数据包。
步骤C6：根据数据包中携带的模糊处理的算法版本信息，对数据包进行反模糊处理。
步骤C7：根据反模糊处理的结果，获得完整的数据包包头信息。
步骤C8：根据数据包包头中携带的解密处理的算法版本信息，对数据包包体中的数据进行解密处理。
步骤C9：根据解密处理结果，获得附加数据。
通过上述过程，即可对视频帧数据进行正确解码，并获得其携带的附加数据。
本实施例的上述过程可适用于多种应用场景中。
例如，将上述过程应用于直播场景中时，该视频数据处理可以包括：对接收的直播视频数据进行解码，获取直播视频数据对应的至少一个NALU；从至少一个NALU中，确定预设类型的第一NALU；从第一NALU中获取附加数据，将所述附加数据附加至所述至少一个NALU中的第二NALU对应的直播图像上，以形成基于所述直播图像的附加图像和/或字符。
直播端会实时生成直播图像，经由直播服务端发送给观众端。在一种可行方式中，直播端可以根据自身的需求在发送给直播服务端的直播视频数据中通过预设类型的第一NALU携带附加数据，如特效数据或LOGO数据等(本示例中为LOGO数据)，通过第二NALU携带直播图像对应的数据，然后经由直播服务端转发给观众端，以在观众端显示直播图像时，将附加数据附加至直播视频数据对应的直播图像。上述过程示意如图5C所示，该附加数据对应的LOGO图像如图5C中观众端界面的左上角所示。
在另一种可行方式中，直播端将实时直播图像发送给直播服务端，直播服务端根据对直播图像进行处理的需求，如在直播图像上增加LOGO或特效的需求(本示例中为增加LOGO)，对直播端发送来的直播图像进行处理，生成直播图像对应的第一NALU和第二NALU，然后再向观众端发送，以使观众端在显示直播图像时，可以将附加数据附加至直播图像上。上述过程示意如图5D所示，该附加数据对应的LOGO图像如图5D中观众端界面的左上角所示。
再例如，将上述过程应用于视频通话场景中时，该视频数据处理可以包括：对接收的视频通话数据进行解码，获取视频通话数据对应的至少一个NALU；从至少一个NALU中，确定预设类型的第一NALU；从第一NALU中获取附加数据，将所述附加数据附加至所述至少一个NALU中的第二NALU对应的视频通话图像上，以形成基于所述视频通话图像的附加图像和/或字符。
视频通话场景中的视频数据处理与前述直播场景类似，但与直播场景不同的是，视频通话场景中的两端中的任一端都可采用与前述直播场景类似的方式实现基于视频通话图像的附加数据的添加。此外，视频通话场景中的两端也可以同时采用与前述直播场景类似的方式实现基于视频通话图像的附加数据的添加。
可见，通过本实施例，在视频帧数据接收端接收到携带有第一NALU的视频帧数据时，一方面，可以根据预设类型确定该NALU中携带有附加数据，从而可对该NALU进行正确的处理；另一方面，因该附加数据通过掩码处理后以掩码数据的形式携带在该NALU中，掩码数据的二进制代码与其它数据的二进制代码不同，从而可以与其它二进制代码进行有效区分，不易被认定为NALU的开始码，因此，不会造成视频帧数据接收端的解码错误。
本实施例的视频数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：移动终端(如手机、PAD等)和PC机等。
实施例五
参照图6，示出了根据本发明实施例五的一种视频数据处理装置的结构框图。
本实施例的视频数据处理装置可以设置于视频帧数据的发送端，该装置包括：第一获取模块502，用于获取视频帧图像及待添加至所述视频帧图像中的附加数据，所述附加数据用于添加到视频帧图像上形成附加图像和/或字符；承载模块504，用于使用预设类型的第一NALU承载所述附加数据，并将所述视频帧图像对应的数据承载于第二NALU；生成模块506，用于根据所述第一NALU和所述第二NALU，生成与所述视频帧图像对应的视频帧数据。
可选地，承载模块504，用于对附加数据进行掩码处理，获得掩码数据；使用预设类型的第一NALU承载所述掩码数据，并将所述视频帧图像对应的数据承载于第二NALU。
可选地，承载模块504在对附加数据进行掩码处理，获得掩码数据时，对所述附加数据进行加密处理，根据加密处理结果获得掩码数据，或者，对所述附加数据进行模糊处理，根据模糊处理结果获得掩码数据，或者，在对所述附加数据进行加密处理后，对加密处理后的所述附加数据进行模糊处理，根据模糊处理结果获得掩码数据。
可选地，承载模块504，还用于生成携带所述掩码数据的掩码数据包，并在所述掩码数据包的包头中设置所述掩码处理的信息；将进行了所述设置的掩码数据包设置于第一NALU的净荷中，并将所述第一NALU的类型设置为所述预设类型。
可选地，所述预设类型不同于所述第二NALU的类型。
可选地，所述视频帧数据遵循H.264标准；所述预设类型为所述H.264标准中的NALU对应的保留类型中的一种类型。
可选地，所述附加数据包括用于对所述视频帧图像进行AR处理的数据。
可选地，所述进行AR处理的数据包括以下至少之一：对所述视频帧图像进行目标对象识别的识别结果的数据、对所述视频帧图像进行目标对象添加的数据、对所述视频帧图像进行目标对象去除的数据。
可选地，本实施例的视频数据处理装置还包括：发送模块508，用于向目标设备发送携带有生成的所述视频帧数据的视频流，以使所述目标设备对所述视频帧数据进行解码后，获得所述视频帧图像和附加数据；并且，将所述附加数据附加至所述视频帧图像中。
本实施例的视频数据处理装置用于实现前述多个方法实施例中相应的视频数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的视频数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例六
参照图7，示出了根据本发明实施例六的一种视频数据处理装置的结构框图。
本实施例的视频数据处理装置可以设置于视频帧数据的接收端，该装置包括：第二获取模块602，用于对接收的视频帧数据进行解码，获得所述视频帧数据对应的至少一个NALU；第三获取模块604，用于若确定所述至少一个NALU中存在类型为预设类型的第一NALU，则从所述至少一个NALU中获取第一NALU中的附加数据，其中，所述附加数据用于添加到所述至少一个NALU中的第二NALU对应的视频帧图像上，以形成附加图像和/或字符。
可选地，第二获取模块604，用于若确定所述至少一个NALU中存在类型为预设类型的第一NALU，则从所述至少一个NALU中提取预设类型的第一NALU中携带的掩码数据，对所述掩码数据进行反掩码处理获得附加数据。
可选地，第二获取模块604，用于若确定所述至少一个NALU中存在类型为预设类型的第一NALU，则从类型为预设类型的第一NALU的净荷中获取携带有所述掩码数据的数据包；从所述数据包中获取所述掩码数据。
可选地，所述数据包包括数据包头和数据包体；其中，所述数据包体中携带有所述掩码数据，所述数据包头中携带有生成所述掩码数据的掩码处理的信息；或者，所述掩码数据的一部分设置于所述数据包体中，另一部分设置于所述数据包头的第一部分中，所述数据包头的第二部分中设置有生成所述掩码数据的掩码处理的信息。
可选地，第三获取模块604，用于根据所述掩码处理的信息，对所述掩码数据进行反掩码处理，获得对应的附加数据。
可选地，所述预设类型不同于第二NALU的类型。
可选地，所述视频帧数据遵循H.264标准；所述预设类型为所述H.264标准中的NALU对应的保留类型中的一种类型。
可选地，所述附加数据包括用于对所述视频帧图像进行AR处理的数据。
可选地，所述进行AR处理的数据包括以下至少之一：对所述视频帧图像进行目标对象识别的识别结果的数据、对所述视频帧图像进行目标对象添加的数据、对所述视频帧图像进行目标对象去除的数据。
可选地，所述装置还包括：附加模块606，用于将所述附加数据附加至视频帧图像中，其中，所述视频帧图像根据对所述视频帧数据中包含的第二NALU进行解码获得。
本实施例的视频数据处理装置用于实现前述多个方法实施例中相应的视频数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的视频数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例七
参照图8，示出了根据本发明实施例七的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图8所示，该电子设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中：
处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。
通信接口704，用于与其它电子设备或服务器进行通信。
处理器702，用于执行程序710，具体可以执行上述视频数据处理方法实施例中的相关步骤。
具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
在第一种实施方式中：
程序710具体可以用于使得处理器702执行以下操作：获取视频帧图像及待添加至所述视频帧图像中的附加数据，所述附加数据用于添加到视频帧图像上形成附加图像和/或字符；使用预设类型的第一网络抽象层单元承载所述附加数据，并将所述视频帧图像对应的数据承载于第二网络抽象层单元中；根据所述第一网络抽象层单元和所述第二网络抽象层单元，生成与所述视频帧图像对应的视频帧数据。
在一种可选的实施方式中，程序710还用于使得处理器702在使用预设类型的第一网络抽象层单元承载所述附加数据时，对附加数据进行掩码处理，获得掩码数据；使用预设类型的第一网络抽象层单元承载所述掩码数据。
在一种可选的实施方式中，程序710还用于使得处理器702在对所述附加数据进行掩码处理，获得掩码数据时，对所述附加数据进行加密处理，根据加密处理结果获得掩码数据；或者，对所述附加数据进行模糊处理，根据模糊处理结果获得掩码数据；或者，在对所述附加数据进行加密处理后，对加密处理后的所述附加数据进行模糊处理，根据模糊处理结果获得掩码数据。
在一种可选的实施方式中，程序710还用于使得处理器702生成携带所述掩码数据的掩码数据包，并在所述掩码数据包的包头中设置所述掩码处理的信息；程序710还用于使得处理器702在使用预设类型的第一网络抽象层单元承载所述掩码数据时，将进行了所述设置的掩码数据包设置于第一NALU的净荷中，并将所述第一NALU的类型设置为所述预设类型。
在一种可选的实施方式中，所述预设类型不同于所述第二NALU的类型。
在一种可选的实施方式中，所述视频帧数据遵循H.264标准；所述预设类型为所述H.264标准中的NALU对应的保留类型中的一种类型。
在一种可选的实施方式中，所述附加数据包括用于对所述视频帧图像进行AR处理的数据。
在一种可选的实施方式中，所述进行AR处理的数据包括以下至少之一：对所述视频帧图像进行目标对象识别的识别结果的数据、对所述视频帧图像进行目标对象添加的数据、对所述视频帧图像进行目标对象去除的数据。
在一种可选的实施方式中，程序710还用于使得处理器702向目标设备发送携带有生成的所述视频帧数据的视频流，以使所述目标设备对所述视频帧数据进行解码后，获得所述视频帧图像和附加数据；并且，将所述附加数据附加至所述视频帧图像中。
在第二种实施方式中：
程序710具体可以用于使得处理器702执行以下操作：对接收的视频帧数据进行解码，获得所述视频帧数据对应的至少一个NALU；若确定所述至少一个NALU中存在类型为预设类型的第一NALU，则从所述至少一个NALU中获取预设类型的第一NALU中的附加数据，所述附加数据用于添加到所述至少一个NALU中的第二NALU对应的视频帧图像上，以形成附加图像和/或字符。
在一种可选的实施方式中，程序710还用于使得处理器702在从所述至少一个NALU中获取预设类型的第一NALU中的附加数据时，从所述至少一个NALU中提取预设类型的第一NALU中携带的掩码数据，对所述掩码数据进行反掩码处理，获得对应的附加数据。
在一种可选的实施方式中，程序710还用于使得处理器702在从所述至少一个NALU中提取预设类型的第一NALU中携带的掩码数据时，从类型为预设类型的第一NALU的净荷中获取携带有所述掩码数据的数据包；从所述数据包中获取所述掩码数据。
在一种可选的实施方式中，所述数据包包括数据包头和数据包体；其中，所述数据包体中携带有所述掩码数据，所述数据包头中携带有生成所述掩码数据的掩码处理的信息；或者，所述掩码数据的一部分设置于所述数据包体中，另一部分设置于所述数据包头的第一部分中，所述数据包头的第二部分中包括生成所述掩码数据的掩码处理的信息。
在一种可选的实施方式中，程序710还用于使得处理器702在对所述掩码数据进行反掩码处理，获得对应的附加数据时，根据所述掩码处理的信息，对所述掩码数据进行反掩码处理，获得对应的附加数据。
在一种可选的实施方式中，所述预设类型不同于所述第二NALU的类型。
在一种可选的实施方式中，所述视频帧数据遵循H.264标准；所述预设类型为所述H.264标准中的NALU对应的保留类型中的一种类型。
在一种可选的实施方式中，所述附加数据包括用于对所述视频帧图像进行AR处理的数据。
在一种可选的实施方式中，所述进行AR处理的数据包括以下至少之一：对所述视频帧图像进行目标对象识别的识别结果的数据、对所述视频帧图像进行目标对象添加的数据、对所述视频帧图像进行目标对象去除的数据。
在一种可选的实施方式中，程序710还用于使得处理器702将所述附加数据附加至所述视频帧图像中，其中，所述视频帧图像根据对所述视频帧数据中包含的第二NALU进行解码获得。
程序710中各步骤的具体实现可以参见上述视频数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
通过本实施例的电子设备，在需要发送某个视频帧图像对应的附加数据(不同应用或服务需要的添加入视频帧图像中的数据)时，一方面，使用预设类型的第一网络抽象层单元携带附加数据，使得数据接收端根据该预设类型即可对该第一网络抽象层单元进行正确的解码处理，由此可满足不同应用或服务的需求；另一方面，承载该附加数据的第一网络抽象层单元，将被看作视频帧图像对应的视频帧数据的一部分，无需通过额外的视频帧携带，，也无需数据接收端解码后进行视频帧对齐操作。因此，既减轻了视频帧数据生成端的数据处理负担，也减轻了视频帧数据接收端的数据处理负担。
此外，若对附加数据进行了掩码处理，附加数据以掩码数据的形式携带在该NALU中，掩码数据的二进制代码与其它数据的二进制代码不同，从而可以与其它二进制代码进行有效区分，不易被认定为NALU的开始码。由此，实现了在H.264帧中有效携带附加数据，且该附加数据不会被误认为是NALU的开始码，且可有效指示如何对携带有附加数据的NALU进行解码，从而避免了数据接收端出现错误解码的问题。
需要说明的是，本发明的多个实施例中均以使用H.264编解码标准的场景为例，但本领域技术人员应当明了，其它适当场景，如H.265编解码标准的场景等也可适用。本发明实施例的方案不仅适用于从服务端获取视频资源，如下载或在线观看视频资源，同样可适用于诸如点对点视频发送，如直播或视频通话等场景。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的视频数据处理方法。此外，当通用计算机访问用于实现在此示出的视频数据处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的视频数据处理方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (25)

1.一种视频数据处理方法，包括：
获取视频帧图像及待添加至所述视频帧图像中的附加数据，其中，所述附加数据用于添加到视频帧图像上形成附加图像和/或字符；
使用预设类型的第一网络抽象层单元承载所述附加数据，并将所述视频帧图像对应的数据承载于第二网络抽象层单元中；
根据所述第一网络抽象层单元和所述第二网络抽象层单元，生成与所述视频帧图像对应的视频帧数据。
2.根据权利要求1所述的方法，其中，所述使用预设类型的第一网络抽象层单元承载所述附加数据，包括：
对所述附加数据进行掩码处理，获得掩码数据；
使用预设类型的第一网络抽象层单元承载所述掩码数据。
3.根据权利要求2所述的方法，其中，所述对所述附加数据进行掩码处理，获得掩码数据，包括：
对所述附加数据进行加密处理，根据加密处理结果获得掩码数据；
或者，
对所述附加数据进行模糊处理，根据模糊处理结果获得掩码数据；
或者，
在对所述附加数据进行加密处理后，对加密处理后的所述附加数据进行模糊处理，根据模糊处理结果获得掩码数据。
4.根据权利要求3所述的方法，其中，
所述方法还包括：生成携带所述掩码数据的掩码数据包，并在所述掩码数据包的包头中设置所述掩码处理的信息；
所述使用预设类型的第一网络抽象层单元承载所述掩码数据，包括：将进行了所述设置的掩码数据包设置于第一网络抽象层单元的净荷中，并将所述第一网络抽象层单元的类型设置为所述预设类型。
5.根据权利要求1-4任一项所述的方法，其中，所述预设类型不同于所述第二网络抽象层单元的类型。
6.根据权利要求5所述的方法，其中，所述视频帧数据遵循H.264标准；所述预设类型为H.264标准中的网络抽象层单元对应的保留类型中的一种类型。
7.根据权利要求1所述的方法，其中，所述附加数据包括用于对所述视频帧图像进行AR处理的数据。
8.根据权利要求7所述的方法，其中，所述进行AR处理的数据包括以下至少之一：
对所述视频帧图像进行目标对象识别的识别结果的数据、对所述视频帧图像进行目标对象添加的数据、对所述视频帧图像进行目标对象去除的数据。
9.根据权利要求1所述的方法，其中，所述方法还包括：
向目标设备发送携带有生成的所述视频帧数据的视频流，以使所述目标设备对所述视频帧数据进行解码后，获得所述视频帧图像和所述附加数据；并且，将所述附加数据附加至所述视频帧图像中。
10.一种视频数据处理方法，包括：
对接收的视频帧数据进行解码，获得所述视频帧数据对应的至少一个网络抽象层单元；
若确定所述至少一个网络抽象层单元中存在类型为预设类型的第一网络抽象层单元，则从所述至少一个网络抽象层单元中获取第一网络抽象层单元中的附加数据，其中，所述附加数据用于添加到所述至少一个网络抽象层单元中的第二网络抽象层单元对应的视频帧图像上，以形成附加图像和/或字符。
11.根据权利要求10所述的方法，其特征在于，所述从所述至少一个网络抽象层单元中获取第一网络抽象层单元中的附加数据，包括：
从所述至少一个网络抽象层单元中提取预设类型的第一网络抽象层单元中携带的掩码数据，对所述掩码数据进行反掩码处理获得附加数据。
12.根据权利要求11所述的方法，其中，所述从所述至少一个网络抽象层单元中提取预设类型的第一网络抽象层单元中携带的掩码数据，包括：
从类型为预设类型的第一网络抽象层单元的净荷中获取携带有所述掩码数据的数据包；
从所述数据包中获取所述掩码数据。
13.根据权利要求12所述的方法，其中，所述数据包包括数据包头和数据包体；
其中，
所述数据包体中携带有所述掩码数据，所述数据包头中携带有生成所述掩码数据的掩码处理的信息。
14.根据权利要求13所述的方法，其中，所述对所述掩码数据进行反掩码处理获得附加数据，包括：
根据所述掩码处理的信息，对所述掩码数据进行反掩码处理，获得对应的附加数据。
15.根据权利要求10-14任一项所述的方法，其中，所述预设类型不同于所述第二网络抽象层单元的类型。
16.根据权利要求15所述的方法，其中，所述视频帧数据遵循H.264标准；所述预设类型为所述H.264标准中的网络抽象层单元对应的保留类型中的一种类型。
17.根据权利要求10-14任一项所述的方法，其中，所述附加数据包括用于对所述视频帧图像进行AR处理的数据。
18.根据权利要求17所述的方法，其中，所述进行AR处理的数据包括以下至少之一：
对所述视频帧图像进行目标对象识别的识别结果的数据、对所述视频帧图像进行目标对象添加的数据、对所述视频帧图像进行目标对象去除的数据。
19.根据权利要求17所述的方法，其中，所述方法还包括：
将所述附加数据附加至所述视频帧图像中，其中，所述视频帧图像根据对所述第二网络抽象层单元进行解码获得。
20.一种视频数据处理方法，包括：
对接收的直播视频数据进行解码，获取所述直播视频数据对应的至少一个网络抽象层单元；
从所述至少一个网络抽象层单元中，确定预设类型的第一网络抽象层单元；
从所述第一网络抽象层单元中获取附加数据，将所述附加数据附加至所述至少一个网络抽象层单元中的第二网络抽象层单元对应的直播图像上，以形成基于所述直播图像的附加图像和/或字符。
21.一种视频数据处理方法，包括：
对接收的视频通话数据进行解码，获取所述视频通话数据对应的至少一个网络抽象层单元；
从所述至少一个网络抽象层单元中，确定预设类型的第一网络抽象层单元；
从所述第一网络抽象层单元中获取附加数据，将所述附加数据附加至所述至少一个网络抽象层单元中的第二网络抽象层单元对应的视频通话图像上，以形成基于所述视频通话图像的附加图像和/或字符。
22.一种视频数据处理装置，包括：
第一获取模块，用于获取视频帧图像及待添加至所述视频帧图像中的附加数据，所述附加数据用于添加到视频帧图像上形成附加图像和/或字符；
承载模块，用于使用预设类型的第一网络抽象层单元承载所述附加数据，并将所述视频帧图像对应的数据承载于第二网络抽象层单元；
生成模块，用于根据所述第一网络抽象层单元和所述第二网络抽象层单元，生成与所述视频帧图像对应的视频帧数据。
23.一种视频数据处理装置，包括：
第二获取模块，用于对接收的视频帧数据进行解码，获得所述视频帧数据对应的至少一个网络抽象层单元；
第三获取模块，用于若确定所述至少一个网络抽象层单元中存在类型为预设类型的第一网络抽象层单元，则从所述至少一个网络抽象层单元中获取第一网络抽象层单元中的附加数据，其中，所述附加数据用于添加到所述至少一个网络抽象层单元中的第二网络抽象层单元对应的视频帧图像上，以形成附加图像和/或字符。
24.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的视频数据处理方法对应的操作；或者，执行如权利要求10-19中任一项所述的视频数据处理方法对应的操作；或者，执行如权利要求20或21所述的视频数据处理方法对应的操作。
25.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9中任一所述的视频数据处理方法；或者，实现如权利要求10-19中任一项所述的视频数据处理方法；或者，执行如权利要求20或21所述的视频数据处理方法。
CN202010225172.4A 2020-03-26 2020-03-26 视频数据处理方法、装置、电子设备及计算机存储介质 Active CN113453026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010225172.4A CN113453026B (zh) 2020-03-26 2020-03-26 视频数据处理方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010225172.4A CN113453026B (zh) 2020-03-26 2020-03-26 视频数据处理方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113453026A true CN113453026A (zh) 2021-09-28
CN113453026B CN113453026B (zh) 2023-03-24

Family

ID=77807586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010225172.4A Active CN113453026B (zh) 2020-03-26 2020-03-26 视频数据处理方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113453026B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205649A (zh) * 2021-12-08 2022-03-18 无锡英菲感知技术有限公司 图像数据处理方法、装置、设备及存储介质
CN114666624A (zh) * 2022-04-07 2022-06-24 乾三(北京)科技有限公司 一种视频文件加密和解密方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007081150A1 (en) * 2006-01-09 2007-07-19 Electronics And Telecommunications Research Institute Method defining nal unit type and system of transmission bitstream and redundant slice coding
US20160277751A1 (en) * 2015-03-19 2016-09-22 Patrick J. Sweeney Packaging/mux and unpackaging/demux of geometric data together with video data
CN106464930A (zh) * 2014-05-01 2017-02-22 谷歌公司 将多个编码视频组合以经由视频解码器解码的方法和系统
CN108924600A (zh) * 2018-06-28 2018-11-30 乐蜜有限公司 直播数据的发送接收方法、装置及电子设备
CN110225347A (zh) * 2019-06-24 2019-09-10 北京大米科技有限公司 视频数据传输方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007081150A1 (en) * 2006-01-09 2007-07-19 Electronics And Telecommunications Research Institute Method defining nal unit type and system of transmission bitstream and redundant slice coding
CN106464930A (zh) * 2014-05-01 2017-02-22 谷歌公司 将多个编码视频组合以经由视频解码器解码的方法和系统
US20160277751A1 (en) * 2015-03-19 2016-09-22 Patrick J. Sweeney Packaging/mux and unpackaging/demux of geometric data together with video data
CN108924600A (zh) * 2018-06-28 2018-11-30 乐蜜有限公司 直播数据的发送接收方法、装置及电子设备
CN110225347A (zh) * 2019-06-24 2019-09-10 北京大米科技有限公司 视频数据传输方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205649A (zh) * 2021-12-08 2022-03-18 无锡英菲感知技术有限公司 图像数据处理方法、装置、设备及存储介质
CN114666624A (zh) * 2022-04-07 2022-06-24 乾三(北京)科技有限公司 一种视频文件加密和解密方法

Also Published As

Publication number Publication date
CN113453026B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN113453026B (zh) 视频数据处理方法、装置、电子设备及计算机存储介质
US20120297266A1 (en) Method for processing forward error correction, fec, data, device and system thereof
CN113766317A (zh) 视频传输方法、装置、电子设备和存储介质
CN103890783A (zh) 一种实现视频遮挡的方法、装置和系统
US11336965B2 (en) Method and apparatus for processing video bitstream, network device, and readable storage medium
CN114786040B (zh) 数据通信方法、系统、电子设备和存储介质
CN110225416A (zh) 一种视频的传输方法、网络终端、智能终端以及存储装置
CN111031032A (zh) 云端视频转码方法及装置、解码方法及装置、及电子设备
EP4167572A1 (en) Video partitioning method, transfer method, server, adaptor and storage medium
CN114221909A (zh) 数据传输方法、装置、终端及存储介质
CN109525852A (zh) 直播视频流处理方法、装置、系统及计算机可读存储介质
CN110149521B (zh) 数据处理方法及系统
CN113810781B (zh) 视频处理方法、装置、视频追踪方法、装置及存储介质
CN112367521B (zh) 显示屏内容分享方法、装置、计算机设备和存储介质
CN111405233B (zh) 视频会议中的加密图形传输方法、装置、存储介质及系统
CN113141352B (zh) 多媒体数据的传输方法、装置、计算机设备和存储介质
CN115103228A (zh) 视频流传输方法、装置、电子设备、存储介质及产品
CN113810780A (zh) 视频传输方法、装置、及存储介质
CN106534137B (zh) 媒体流传输方法及装置
CN111225238A (zh) 信息处理方法及相关设备
JP2018520546A (ja) オーディオビデオ・コンテンツをレンダリングする方法、この方法を実施するためのデコーダ、及びこのオーディオビデオ・コンテンツをレンダリングするためのレンダリング装置
CN114286194B (zh) 即时通信视频的处理方法、装置、电子设备及存储介质
CN116506412A (zh) 兼容h.264和h.265编码标准的视频实时加密传输方法及系统
FR2857813A1 (fr) Methode d'insertion de marques de synchronisation dans un flux video, compatible avec un chiffrage par blocs
CN112468845A (zh) 投屏画面的处理方法和处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant