CN110784730A - 直播视频数据的传输方法、装置、设备和存储介质 - Google Patents

直播视频数据的传输方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110784730A
CN110784730A CN201911055225.6A CN201911055225A CN110784730A CN 110784730 A CN110784730 A CN 110784730A CN 201911055225 A CN201911055225 A CN 201911055225A CN 110784730 A CN110784730 A CN 110784730A
Authority
CN
China
Prior art keywords
information
data
live video
video
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911055225.6A
Other languages
English (en)
Other versions
CN110784730B (zh
Inventor
杨克敏
陈杰
欧燕雄
方阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201911055225.6A priority Critical patent/CN110784730B/zh
Publication of CN110784730A publication Critical patent/CN110784730A/zh
Application granted granted Critical
Publication of CN110784730B publication Critical patent/CN110784730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供直播视频数据的传输方法、装置、设备和存储介质，涉及直播技术领域，该传输方法通过获取主播的原始直播视频，并根据特效礼物在原始直播视频中的展示位置信息，对原始直播视频进行智能识别获取AI信息；将AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将AI序列化数据添加到原始直播视频生成直播数据流并发送至观众端。本方案中的AI信息与原始直播视频相互独立，以使得观众端利用AI信息将特效礼物合成到原始直播视频中并展示礼物特效，提高了礼物特效的展示效果，并将AI信息按照预定义的传输协议进行序列化处理，大大压缩了AI信息的传输数据量，便于进行网络传输。

Description

直播视频数据的传输方法、装置、设备和存储介质
技术领域
本申请涉及直播技术领域，具体而言，本申请涉及一种直播视频数据的传输方法、装置、设备和存储介质。
背景技术
随着网络技术发展，实时视频交流如网络直播、视频聊天室等成为一种越来越流行的娱乐方式。在实时视频交流过程中，可以通过赠送礼物展示特效的方式增加用户之间的互动性。
为了增加主播用户和观众用户之间的互动性，提高主播客户端和观众客户端的礼物特效的展示效果，利用主播客户端对主播视频图像进行识别得到包含有人物特征信息，利用人物特征信息将特效礼物进行合成形成特效视频帧后传输到观众端。对于观众端而言，播放特效视频帧来展示礼物特效，而无法识别出人物特征信息，限制了观众端对特效礼物效果的展示。
发明内容
本申请的目的旨在至少解决上述技术缺陷之一，特别是礼物特效的处理方式限制了观众端对特效礼物效果的展示的问题。
第一方面，本申请实施例提供一种直播视频数据的传输方法，包括以下步骤：
获取主播的原始直播视频，并根据特效礼物在所述原始直播视频中的展示位置信息，对所述原始直播视频进行智能识别获取AI信息；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频生成直播数据流；
将所述直播数据流发送至观众端，其中，所述观众端对所述直播数据流进行解析得到原始直播视频和AI序列化数据，将所述AI序列化数据进行反序列化处理得到AI信息，并根据所述AI信息将特效礼物显示在所述原始直播视频上。
在一实施例中，直播视频数据的传输方法，还包括：
获取多个连麦主播的直播数据流，分别将所述直播数据流通过分发网络发送至服务器进行处理后，转发至观众端；其中，连麦主播的直播数据流包括各所述连麦主播的原始直播视频及其对应的AI信息。
在一实施例中，所述AI序列化数据包括协议头部信息和协议数据部分；
所述协议头部信息包括AI信息的属性信息，所述协议数据部分包括AI信息的识别信息。
在一实施例中，所述AI信息的属性信息包括原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率、AI信息种类数量；
所述AI信息的识别信息包括至少一种AI元素信息，每一种所述AI元素信息包括元素头部信息和元素数据信息。
在一实施例中，所述元素头部信息包括：元素类型、元素版本、元素大小以及元素个数；
所述元素数据信息包括AI元素中各关键像素点位置坐标信息。
在一实施例中，所述根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤包括：
根据所述AI信息的属性信息获取原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率和AI信息种类；
根据原始直播视频的序号获取原始直播视频，并依据所述AI序列化数据版本标识对原始直播视频进行版本校验；
根据所述视频分辨率确定特效礼物在所述原始直播视频上的显示分辨率，以及根据所述AI信息种类确定需要添加的特效礼物的类型；
读取各种所述特效礼物的类型的特效礼物，并根据所述AI信息中的目标位置，按照所述显示分辨率将所述特效礼物同步渲染至原始直播视频流上。
在一实施例中，所述AI信息包括人脸信息、人体轮廓信息、手势信息和人体骨骼信息中的至少一者。
第二方面，本申请实施例提供一种直播视频数据的传输方法，包括以下步骤：
接收主播端发送的直播数据流；其中，所述直播数据流是主播端根据特效礼物在所述原始直播视频中的展示位置信息对所述原始直播视频进行智能识别获取AI信息；将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频所得到；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
对所述直播数据流进行解析得到AI序列化数据和原始直播视频，对AI序列化数据进行反序列处理得到AI信息；
根据所述AI信息将特效礼物显示在所述原始直播视频上。
在一实施例中，所述直播数据流包括多个连麦主播的直播数据流；
所述对AI序列化数据进行反序列处理得到AI信息；根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤，包括：
对直播数据流进行解析得到至少两个所述AI序列化数据和原始直播视频；对所述AI序列化数据进行反序列处理得到AI信息；
根据所述AI信息将特效礼物显示在所述原始直播视频上展示在连麦状态下的礼物特效。
在一实施例中，所述根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤包括：
根据所述AI信息确定特效礼物在所述原始直播视频上的目标位置，在所述目标位置上合成所述特效礼物。
第三方面，本申请实施例提供一种直播视频数据的传输装置，包括：
AI信息获取模块，用于获取主播的原始直播视频，并根据特效礼物在所述原始直播视频中的展示位置信息，对所述原始直播视频进行智能识别获取AI信息；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
序列化数据生成模块，用于将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频生成直播数据流；
直播数据流发送模块，用于将所述直播数据流发送至观众端，其中，所述观众端对所述直播数据流进行解析得到原始直播视频和AI序列化数据，将所述AI序列化数据进行反序列化处理得到AI信息，并根据所述AI信息将特效礼物显示在所述原始直播视频上。
第四方面，本申请实施例提供一种直播视频数据的传输装置，包括：
直播数据流接收模块，用于接收主播端发送的直播数据流；其中，所述直播数据流是主播端根据特效礼物在所述原始直播视频中的展示位置信息对所述原始直播视频进行智能识别获取AI信息；将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频所得到；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
反序列化数据生成模块，用于对所述直播数据流进行解析得到AI序列化数据和原始直播视频，对AI序列化数据进行反序列处理得到AI信息；
特效显示模块，用于根据所述AI信息将特效礼物显示在所述原始直播视频上。
第五方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一实施例所述的直播视频数据的传输方法的步骤。
第六方面，本申请实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述任一实施例所述直播视频数据的传输方法的步骤。
上述实施例提供了直播视频数据的传输方法、装置、设备和存储介质，通过获取主播的原始直播视频，并根据特效礼物在原始直播视频中的展示位置信息，对原始直播视频进行智能识别获取AI信息；将AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将AI序列化数据添加到原始直播视频生成直播数据流并发送至观众端，其中，观众端对直播数据流中的AI序列化数据进行反序列化处理得到AI信息，并根据AI信息将特效礼物显示在原始直播视频上。相对于将特效礼物直接合成到原始直播视频中形成具有展示特效的视频流传输到观众端，本方案中的AI信息与原始直播视频相互独立，将AI信息跟随原始直播视频，通过直播数据流的形式传输到观众端，以使得观众端利用AI信息将特效礼物合成到原始直播视频中并展示礼物特效，提高了礼物特效的展示效果。然而，由于AI信息的数据量较大，不利于进行网络传输，因此本方案进一步采用序列化的方式，将AI信息按照预定义的传输协议进行序列化处理，大大压缩了AI信息的传输数据量，便于进行网络传输。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是一实施例提供的实施环境示意图；
图2是一实施例提供的直播视频数据的传输方法的流程图；
图3是一实施例提供的直播视频数据的传输方法的另一流程图；
图4是一实施例提供的双人连麦场景下直播视频数据的传输路径示意图；
图5是一实施例提供的直播视频数据的传输装置的结构示意图；
图6是一实施例提供的直播视频数据的传输装置的另一结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
在对本申请实施例提供的方法进行介绍之前，首先对本申请实施例的应用场景进行介绍。本申请实施例提供的方法应用于网络直播系统中，请参考图1，图1是一实施例提供的实施环境示意图，该实施环境中主要包括一个或多个主播端110、多个观众端120以及服务器130。其中，各主播端110和各观众端120分别与该服务器130之间通过有线网络或者无线网络建立通信连接。
其中，该主播端110和观众端120均可以为PC(personal computer，个人电脑)机、电视游戏机或电子设备等。该服务器130为用于直播的服务器，在一实施例中，该服务器130可以为网络直播平台，在下面的实施例中，以该服务器130为网络直播平台为例进行说明。
其中，主播端110和多个观众端120均运行有直播客户端，对于该主播用户来说，可以通过该直播客户端登录该网络直播平台，并在该网络直播平台中建立直播间，之后，该主播用户即可在该直播间中进行直播。而对于该观众端120来说，可以通过对应的直播客户端登录到该网络直播平台中，并进入该主播用户所创建的直播间，之后，即可在该直播间中观看该主播用户的直播。
本实施例提供的直播视频数据的传输方法适用于在直播过程中赠送特效礼物，根据特效礼物在视频中识别出AI(Artificial Intelligence，人工智能)信息，将AI信息由主播端传输到观众端的情况，可以普通直播场景，即单个主播端识别出AI信息，将AI信息由该主播端传输到观众端；也可以是连麦直播应用场景，即两个或两个以上主播连麦主播，多个主播端分别识别出各自的AI信息，将多个AI信息传输到观众端进行整合，以在观众端展示多个主播在连麦直播下的特效礼物。
下面以连麦状态下的直播视频数据的传输为例，对本方案进行示例性说明。
图2是一实施例提供的直播视频数据的传输方法的流程图，该直播视频数据的传输方法可以执行于直播视频数据的传输设备，如主播端。
具体的，如图2所示，该直播视频数据的传输方法可以包括以下步骤：
S210、获取主播的原始直播视频，并根据特效礼物在所述原始直播视频中的展示位置信息，对所述原始直播视频进行智能识别获取AI信息；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置。
在实施例中，主播端接收特效礼物的赠送指令，赠送指令包括有特效礼物所赠送的目标主播ID(Identification，身份证明)以及目标特效礼物ID。主播端根据接收到的赠送指令，获取目标主播ID所对应的原始直播视频，并根据目标特效礼物ID确定目标特效礼物及其对应的特征区域。例如，目标特效礼物ID为0001，其对应的目标特效礼物为“天使翅膀”，对应的特征区域为背部。
进一步的，主播端从原始直播视频中提取视频帧图像，并根据目标特效礼物对应的特征区域对视频帧图像进行处理，确定特征区域在视频帧图像中的展示位置信息。例如，目标特效礼物的特征区域为背部，对视频帧图像进行处理后，确定其“背部”在原始直播视频的视频帧图像中的展示位置信息，其可以用轮廓线来表示，也可以用轮廓点来表示。
在一实施例中，主播端根据原始直播视频中的展示位置信息，对原始直播视频进行智能识别，得到AI信息，AI信息包括一系列用于表征展示位置信息的像素点，根据AI信息可以将特效礼物显示在原始直播视频的目标位置上。
可选的，AI信息可以包括：人脸信息、人体轮廓信息、手势信息和人体骨骼信息中的至少一者。在实施例中，AI信息可以由一个或多个轮廓关键点来表示，其中，每个轮廓关键点在视频帧图像中有唯一的像素点坐标值，根据轮廓关键点的一个或多个像素点坐标值可以得到目标特效礼物添加在原始直播视频上的目标位置。
不同轮廓关键点的集合对应不同的人体信息。例如，识别出视频帧图像的人脸部位，提取人脸部位的轮廓关键点，在一实施例中，人脸信息可以包括106个轮廓关键点，每个轮廓关键点对应人脸的某一部位，每个轮廓关键点对应唯一的像素点坐标值，表示该轮廓关键点在视频帧图像中的位置。同理，人体轮廓信息可以包括59个轮廓关键点，每个轮廓关键点对应人身体各部位的边缘轮廓，人体骨骼信息可以包括22个轮廓关键点，每个轮廓关键点对应人体骨骼关节点，每个轮廓关键点的像素点坐标值表示在视频帧图像中的位置。
S220、将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频生成直播数据流。
其中，所述预定义的传输协议可兼容不同版本的主播端和观众端，具体定义可根据实际情况做调整。本实施例中，根据在直播视频数据传输过程中通用的必要信息，自定义传输协议的数据帧结构，如表1所示。
表1直播视频数据的传输协议的数据帧结构
在一实施例中，预定义的传输协议可以包括：(1.1)协议头部信息和(1.2)协议数据部分。
其中，协议头部信息用于定义AI信息中数据集格式，其可以包括AI信息的属性信息，如，原始直播视频的序号、AI序列化数据版本标识、AI信息协议包大小、原始直播视频的视频分辨率、AI信息种类数量等。其中，原始直播视频的序号，用于表示AI信息所属的原始直播视频；AI序列化数据版本标识，用于表示AI序列化数据的版本；视频分辨率，用于表示原始直播视频的横向分辨率和纵向分辨率；AI信息种类数量，用于表示AI序列化数据中所包含的AI信息的种类数量。
进一步的，如上表1所示，协议头部信息可以包括多种字段，如下所示：
(1.1a)版本字段：其大小为1B，用于控制预定义的传输协议的版本，也即是AI序列化数据的版本。在本实施例中，高版本传输协议可以解低版本的传输协议，低版本的传输协议发现高版本的传输协议则直接抛掉，不解，从而保持新协议上线后，旧版本没有功能异常。
(1.1b)协议包大小字段：其大小为2B，字节对齐，用于标识封装为协议包的AI信息的大小。
(1.1c)多帧共用标识，其大小为2B，用于表示多帧共用AI信息，其可以进一步包括：帧序号，其大小为1B；共几帧共用AI信息，4bite等；第几帧，4bit。
(1.1d)AI元素集合大小字段，其大小为1B，用于表示共有多少种AI元素信息需要传输，比如有人脸信息和背景分割信息需要传输，那么该字段的值为2，表示有两种AI元素信息；
(1.1e)原始直播视频的序号字段，其大小为4B，用于区分开不同的原始直播视频，其可以与主播端所对应的直播房间相对应，表示该AI信息是由哪个主播的原始直播视频中识别出来的。
(1.1f)原始直播视频的视频分辨率，其可以包括视频宽度(横向分辨率)和视频高度(纵向分辨率)，其大小为3B共24bit。前12bit表示视频宽度的大小，后12bit表示视频高度的大小，可以用网络字节序表示。
进一步的，协议数据部分包括AI信息的识别信息，根据AI信息的识别信息可以确定AI信息的元素类型以及AI信息所包含的像素点坐标值等。AI信息的识别信息可以包括多种AI元素信息，其中每一种AI元素信息通过数据帧结构的方式存储在协议数据部分中。协议数据部分中的每一种AI元素信息也包括元素头部信息和元素数据信息。
表2协议数据部分中AI元素信息的数据帧结构
Figure BDA0002256372170000101
AI元素信息的数据帧结构可以包括：(2.1)元素头部信息和(2.2)元素数据信息。
所述元素头部信息用于定义AI元素的属性，其可以包括：元素类型、元素版本、元素大小以及元素个数，其中，元素类型用于表示AI元素的种类；AI元素包括人脸元素、人体轮廓元素、手势元素和人体骨骼元素；元素版本用于表示所述AI元素的版本；元素大小用于表示AI元素的大小；元素个数用于表示所述AI元素的个数。
进一步的，如上表2所示，元素头部信息有固定的4B头部字段，分为4个字段，具体如下：
(2.1a)元素类型字段：其大小为1B，表示AI元素是哪一种AI元素，其中，元素类型可以是人脸信息、人体轮廓信息、手势信息和人体骨骼信息等。根据不同的元素类型，使用该类型的反序列和解压方法还原数据。
(2.1b)元素版本字段，其大小为1B，用于区别同一AI元素类型的不同版本。在本实施例中，高版本客户端可以解低版本AI元素，低版本的客户端不解高版本的AI元素，以使得AI元素升级后，低版本的客户端仍能正常运行。
(2.1c)元素大小，其大小为12bit，用于表示AI元素信息的大小；
(2.1d)元素个数，其大小为4bit，用于表示该种AI元素的对象个数，比如人脸个数等。
所述元素数据信息包括AI元素中各像素点位置坐标信息。
例如，AI元素类型为：人脸，其中人脸包括106个像素点，则元素数据信息中则保存有这106个像素点的相关位置信息。
在本步骤中，AI信息按照上述预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频生成直播数据流。
需要说明的是，相对于将特效礼物直接合成到原始直播视频中形成具有展示特效的视频流传输到观众端，本方案中的AI序列化数据与原始直播视频相互独立，也即是AI序列化数据携带有展示特效的信息，但并未与原始直播视频进行合成形成具有展示特效的视频流，而是将AI序列化数据跟随原始直播视频，以通过直播数据流的形式传输到观众端，以使得观众端利用AI信息将特效礼物合成到原始直播视频中并展示礼物特效。
S230、将所述直播数据流发送至观众端；其中，所述观众端对所述直播数据流进行解析得到原始直播视频和AI序列化数据，将所述AI序列化数据进行反序列化处理得到AI信息，并根据所述AI信息将特效礼物显示在所述原始直播视频上。
主播端将直播数据流经服务器转发至观众端。观众端对直播数据流进行解析得到原始直播视频和AI序列化数据。其中，直播数据流可以是一个主播端发送的主播数据流，还可以是两个或两个以上主播端发送的主播数据流。
进一步的，观众端按照预定义的传输协议对AI序列化数据进行反序列化处理，得到AI信息，AI信息包括AI信息的属性信息，如，原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率、AI信息种类数量等。其中，原始直播视频的序号用于表示AI信息所属的原始直播视频；AI序列化数据版本标识用于表示AI序列化数据的版本；视频分辨率用于表示原始直播视频的横向分辨率和纵向分辨率；AI信息种类数量用于表示AI序列化数据中所包含的AI信息的种类数量。
AI信息还可以包括AI信息的识别信息，其中，AI信息的识别信息包括至少一种AI元素信息，每一种AI元素信息包括元素头部信息和元素数据信息。
进一步的，元素头部信息包括元素类型、元素版本、元素大小以及元素个数。其中，元素类型用于表示AI元素的种类；AI元素包括人脸元素、人体轮廓元素、手势元素和人体骨骼元素；元素版本，用于表示AI元素的版本；元素大小，用于表示AI元素的大小；元素个数，用于表示AI元素的个数。元素数据信息包括AI元素中各关键像素点位置坐标信息。
观众端根据反序列化处理后得到的AI信息，根据AI信息将特效礼物添加到所对应的原始直播视频上，展示出对应的特效礼物的展示效果。如，若观众端反序列化处理得到主播端A发送过来的第一AI信息，并确定主播端A所对应的特效礼物是“天使翅膀”，则根据第一AI信息将“天使翅膀”添加到主播端A所对应的原始直播视频对应的目标位置，展示“天使翅膀”特效礼物；若观众端反序列化处理得到主播端B发送过来的第二AI信息，并确定主播端B所对应的特效礼物是“面具”，则根据第二AI信息将“面具”添加到主播端B对应的原始直播视频对应的目标位置，展示“面具”特效礼物。
当然，在其他实施例中，观众端可以同时接收主播端A和主播端B的原始直播视频，根据第一AI信息将“天使翅膀”添加到主播端A所对应的原始直播视频对应的目标位置，根据第二AI信息将“面具”添加到主播端B对应的原始直播视频对应的目标位置，并同时展示主播端A和主播端B所对应的特效礼物的展示效果。
本实施例提供的直播视频数据的传输方法，应用于主播端，通过获取主播的原始直播视频，并根据特效礼物在原始直播视频中的展示位置信息，对原始直播视频进行智能识别获取AI信息；将AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将AI序列化数据添加到原始直播视频生成直播数据流并发送至观众端，其中，观众端对直播数据流中的AI序列化数据进行反序列化处理得到AI信息，并根据AI信息将特效礼物显示在原始直播视频上。相对于将特效礼物直接合成到原始直播视频中形成具有展示特效的视频流传输到观众端，本方案中的AI信息与原始直播视频相互独立，将AI信息跟随原始直播视频，通过直播数据流的形式传输到观众端，以使得观众端利用AI信息将特效礼物合成到原始直播视频中并展示礼物特效，提高了礼物特效的展示效果。然而，由于AI信息的数据量较大，不利于进行网络传输，因此本方案进一步采用序列化的方式，将AI信息按照预定义的传输协议进行序列化处理，大大压缩了AI信息的传输数据量，便于进行网络传输。
进一步的，在一实施例中，步骤S230中的根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤，可以包括：
S301、根据所述AI信息的属性信息获取原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率和AI信息种类。
S302、根据原始直播视频的序号获取原始直播视频，并依据所述AI序列化数据版本标识对原始直播视频进行版本校验。
实施例中，每个原始直播视频对应有唯一的序号，根据原始直播视频的序号获取相对应的原始直播视频，同时按照AI序列化数据版本标识对原始直播视频进行版本校验。
S303、根据所述视频分辨率确定特效礼物在所述原始直播视频上的显示分辨率，以及根据所述AI信息种类确定需要添加的特效礼物的类型。
在实施例中，为了使得特效礼物能够适应视频的大小，根据视频分辨率调整特效礼物的大小，使其在原始直播视频上的显示分辨率能够满足原始直播视频的视频分辨率，得到更佳的显示效果。根据所述AI信息种类确定需要添加的特效礼物的类型，如AI信息的种类为人脸和分割轮廓两类AI信息，则在协议数据部分获取人脸和分割轮廓两类AI信息，并确定其相对应的特效礼物的类型。
S304、读取各种所述特效礼物的类型的特效礼物，并根据所述AI信息中的目标位置，按照所述显示分辨率将所述特效礼物同步渲染至原始直播视频流上。
观众客户端获取各AI信息种类相对应的特效礼物，并特效礼物对应合成在视频图像中的目标位置，根据AI信息中像素点的位置信息，将特效礼物合成在原始直播视频的目标位置。同时，将特效礼物按照显示分辨率进行调整同步渲染到显示界面，从而在观众端提高特效礼物的显示效果。
本申请的方案还可以适用于连麦直播应用场景。连麦直播是相对于传统直播而言的一种直播方式。传统直播是指基于RTMP(Real Time Message Protocol，实时信息传输协议)协议做的单路直播互动。该模式下主播一个人表演，其他观众根据IM(InstantMessaging，即时通讯)系统跟主播进行文字互动。连麦直播是基于UDP(User DatagramProtocol，用户数据报协议)多路实时互动直播。该模式下可以多个主播进行直播，主播跟观众除了基于IM系统沟通外，还可以进行音视频互动，极大的方便了观众，互动效果更直观，更能有效吸引用户。
在连麦直播的应用场景下，本方案还可以包括以下步骤：
S240、获取多个连麦主播的直播数据流，分别将所述直播数据流通过分发网络发送至服务器进行处理后，转发至观众端。
其中，连麦主播的直播数据流包括各所述连麦主播的原始直播视频及其对应的AI信息。
为了区分开连麦直播下不同主播之间的直播数据流，可以为各主播所在的直播数据流添加标识。不同直播数据流具有唯一的UID(User Identification，用户身份证明)。
主播端获取多个连麦主播的直播数据流发送至服务器。服务器可以将各直播数据流进行混画、转码和合并等处理后转发至观众端。在此过程中，服务器还可以根据直播数据流的UID将主播端A的直播视频流转发至主播端B，将主播端B的直播视频流转发至主播端A，以便于在连麦状态下，在一主播端能够显示另一主播的特效礼物的展示效果，提高了主播与主播之间的互动性。
图3是一实施例提供的直播视频数据的传输方法的另一流程图，该直播视频数据的传输方法执行于观众端。
具体的，如图3所示，该直播视频数据的传输方法可以包括以下步骤：
S310、接收主播端发送的直播数据流。
其中，所述直播数据流是主播端根据特效礼物在所述原始直播视频中的展示位置信息对所述原始直播视频进行智能识别获取AI信息；将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频所得到；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置。
在本实施例中，观众端接收主播端发送的直播数据流，观众端对直播数据流进行解析得到原始直播视频和AI序列化数据。其中，直播数据流可以是一个主播端发送的主播数据流，还可以是两个或两个以上主播端发送的主播数据流。
S320、对所述直播数据流进行解析得到AI序列化数据和原始直播视频，对AI序列化数据进行反序列处理得到AI信息。
进一步的，观众端按照预定义的传输协议对AI序列化数据进行反序列化处理，得到AI信息，AI信息包括AI信息的属性信息，如，原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率、AI信息种类数量等，还可以包括AI信息的识别信息，如AI信息的元素类型以及AI信息所包含的像素点坐标值等。
S330、根据所述AI信息将特效礼物显示在所述原始直播视频上。
观众端根据反序列化处理后得到的AI信息，将特效礼物添加到所对应的原始直播视频上，展示出对应的特效礼物的展示效果。如，若观众端反序列化处理得到主播端A发送过来的第一AI信息，并确定主播端A所对应的特效礼物是“天使翅膀”，则根据第一AI信息将“天使翅膀”添加到主播端A所对应的原始直播视频对应的目标位置，展示“天使翅膀”特效礼物；若观众端反序列化处理得到主播端B发送过来的第二AI信息，并确定主播端B所对应的特效礼物是“面具”，则根据第二AI信息将“面具”添加到主播端B对应的原始直播视频对应的目标位置，展示“面具”特效礼物。
当然，在其他实施例中，观众端可以同时接收主播端A和主播端B的原始直播视频，根据第一AI信息将“天使翅膀”添加到主播端A所对应的原始直播视频对应的目标位置，根据第二AI信息将“面具”添加到主播端B对应的原始直播视频对应的目标位置，并同时展示主播端A和主播端B所对应的特效礼物的展示效果。
本实施例提供的直播视频数据的传输方法，应用于观众端，通过接收主播端发送的直播数据流；对直播数据流进行解析得到AI序列化数据和原始直播视频，对AI序列化数据进行反序列处理得到AI信息；根据AI信息将特效礼物显示在原始直播视频上。相对于直接接收合成有特效礼物的直播视频流，并播放带有特效的直播视频，本方案中的AI信息与原始直播视频相互独立，将AI信息进行序列化和反序列化处理，压缩AI信息的传输数据量，便于AI信息的传输和使用，同时观众端利用AI信息将特效礼物合成到原始直播视频中并进行特效礼物的效果展示。由于AI信息独立于原始直播视频，特效礼物可以利用AI信息进行二次编辑，使得特效礼物展示更具有表现力，还可以实现跨越原始直播视频的播放区域的效果展示。
为了使本技术方案更为清晰，更为便于理解，下面以连麦状态下的直播视频数据的传输为例，对本技术方案中的各个步骤的具体的实现过程和方式加以详细的描述。
在本实施例中，所述直播数据流包括多个连麦主播的直播数据流；其中，步骤S320中的对AI序列化数据进行反序列处理得到AI信息；根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤，可以包括以下步骤：
S3201、对直播数据流进行解析得到至少两个所述AI序列化数据和原始直播视频；对所述AI序列化数据进行反序列处理得到AI信息。
在连麦状态下，直播数据流包括至少两路直播视频数据，如主播端A所对应的第一直播视频数据和主播端B所对应的第二直播视频数据。将第一直播视频数据进行解析得到第一原始直播视频和第一AI序列化数据，对第一AI序列化数据进行反序列化处理得到第一AI信息。同理，将第二直播视频数据进行解析得到第二原始直播视频和第二AI序列化数据，将第二日AI序列化数据进行反序列化处理得到第二AI信息。
S3202、根据所述AI信息将特效礼物显示在所述原始直播视频上展示在连麦状态下的礼物特效。
在本实施例中，AI信息包括主播端A所对应的第一AI信息和主播端B所对应的第二AI信息。观众端利用第一AI信息将第一特效礼物添加到第一原始直播视频中，得到第一特效直播视频；同理，观众端利用第二AI信息将第二特效礼物添加到第二原始直播视频中，得到第二特效礼物直播视频，将第一特效直播视频在观众端显示区域的第一展示区域进行播放，将第二特效直播视频在观众端显示区域的第二展示区域进行播放，呈现出连麦状态下的礼物特效。
在一实施例中，步骤S330中的根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤，可以包括以下步骤：
S3301、根据所述AI信息确定特效礼物在所述原始直播视频上的目标位置，在所述目标位置上合成所述特效礼物。
观众端获取到AI信息后，结合当前观众端进行特效展示区域的大小对AI信息中的像素点坐标进行相对应的换算，根据换算后的AI信息确定特效礼物在原始直播视频上的目标位置，将特效礼物添加到目标位置上进行合成。
例如，主播端识别到原始直播视频的当前视频帧图像的分辨率大小为400*300，所得到的AI信息中目标轮廓点A的坐标值为(50,50)，而观众端进行展示的同一当前视频帧图像的分辨率大小为800*600，相对应地对AI信息进行换算，得到当前目标轮廓点A’的坐标值为(100,100)。将特效礼物添加到经换算后的AI信息所确定的目标位置上进行合成。需要说明的是，同一当前视频帧图像是指视频帧图像的内容相同，其余特征如分辨率、图像尺寸等可以不同。
为了更清楚地阐释本申请的技术方案，将结合图4所示的场景下的示例，进一步进行说明。
图4是一实施例提供的双人连麦场景下直播视频数据的传输路径示意图。如图4所示，主播端A和主播端B为连麦下的两个主播端，主播端A识别A主播原始直播视频中的第一AI信息，并将第一AI信息按照预定义的传输协议进行序列化处理得到第一AI序列化数据，主播端B识别B主播原始直播视频中的第二AI信息，并将第二AI信息按照预定义的传输协议进行序列化处理得到第二AI序列化数据。主播端A将A主播原始直播视频及其对应的第一AI序列化数据发送至主播流实时分发网络，主播端B将B主播原始直播视频及其对应的第二AI序列化数据发送至主播流实时分发网络。主播流实时分发网络将A主播原始直播视频及其对应的第一AI序列化数据发送至主播端B，以在主播端B展示A主播的特效礼物效果，将B主播原始直播视频及其对应的第二AI序列化数据发送至主播端A，以在主播端A展示B主播的特效礼物效果。
同时，主播流实时分发网络还可以将A主播原始直播视频及其对应的第一AI序列化数据和B主播原始直播视频及其对应的第二AI序列化数据发送至另一服务器，通过另一服务器进行混画转码服务，合并主播A和主播B的原始直播视频及其对应的AI序列化数据后，并通过内容分发网络发送至各观众端，如PC观众端1、移动观众端1、PC观众端2和移动观众端2等。
各观众端接收到经合并处理后的主播A和主播B的原始直播视频及其对应的AI序列化数据，对接收到的A主播的第一AI序列化数据进行反序列化处理第一AI信息，B主播的第二AI序列化数据进行反序列化处理得到第二AI信息。各观众端利用第一AI信息将第一特效礼物添加到A主播的原始直播视频中，利用第二AI信息将第二特效礼物添加到B主播的原始直播视频中，以在观众端同时展示第一特效礼物和第二特效礼物的展示效果。
以上示例仅用于辅助阐述本申请技术方案，其涉及的图示内容及具体流程不构成对本申请技术方案的使用场景的限定。
下面对直播视频数据的传输装置的相关实施例进行详细阐述。
图5是一实施例提供的直播视频数据的传输装置的结构示意图，该直播视频数据的传输装置应用于主播端。
如图5所示，该直播视频数据的传输装置200可以包括：AI信息获取模块210、序列化数据生成模块220和直播数据流发送模块230。
其中，AI信息获取模块210，用于获取主播的原始直播视频，并根据特效礼物在所述原始直播视频中的展示位置信息，对所述原始直播视频进行智能识别获取AI信息；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
序列化数据生成模块220，用于将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频生成直播数据流；
直播数据流发送模块230，用于将所述直播数据流发送至观众端，其中，所述观众端对所述直播数据流进行解析得到原始直播视频和AI序列化数据，将所述AI序列化数据进行反序列化处理得到AI信息，并根据所述AI信息将特效礼物显示在所述原始直播视频上。
本实施例提供的直播视频数据的传输装置，应用于主播端，通过AI信息获取模块获取主播的原始直播视频，并根据特效礼物在原始直播视频中的展示位置信息，对原始直播视频进行智能识别获取AI信息；序列化数据生成模块将AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，直播数据流发送模块将AI序列化数据添加到原始直播视频生成直播数据流并发送至观众端，其中，观众端对直播数据流中的AI序列化数据进行反序列化处理得到AI信息，并根据AI信息将特效礼物显示在原始直播视频上。相对于将特效礼物直接合成到原始直播视频中形成具有展示特效的视频流传输到观众端，本方案中的AI信息与原始直播视频相互独立，将AI信息跟随原始直播视频，通过直播数据流的形式传输到观众端，以使得观众端利用AI信息将特效礼物合成到原始直播视频中并展示礼物特效，提高了礼物特效的展示效果。然而，由于AI信息的数据量较大，不利于进行网络传输，因此本方案进一步采用序列化的方式，将AI信息按照预定义的传输协议进行序列化处理，大大压缩了AI信息的传输数据量，便于进行网络传输。
在一实施例中，直播视频数据的传输方法还包括：连麦数据流处理模块；其中，连麦数据流处理模块，用于获取多个连麦主播的直播数据流，分别将所述直播数据流通过分发网络发送至服务器进行处理后，转发至观众端；其中，连麦主播的直播数据流包括各所述连麦主播的原始直播视频及其对应的AI信息。
在一实施例中，所述AI序列化数据包括协议头部信息和协议数据部分；所述协议头部信息包括AI信息的属性信息，所述协议数据部分包括AI信息的识别信息。
在一实施例中，所述AI信息的属性信息包括原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率、AI信息种类数量；
所述AI信息的识别信息包括至少一种AI元素信息，每一种所述AI元素信息包括元素头部信息和元素数据信息。
在一实施例中，所述元素头部信息包括：元素类型、元素版本、元素大小以及元素个数；
所述元素数据信息包括AI元素中各关键像素点位置坐标信息。
在一实施例中，所述AI信息包括人脸信息、人体轮廓信息、手势信息和人体骨骼信息中的至少一者。
图6是一实施例提供的直播视频数据的传输装置的另一结构示意图，该直播视频数据的传输装置应用于观众端。
如图6所示，该直播视频数据的传输装置300可以包括：直播数据流接收模块310、反序列化数据生成模块320和特效显示模块330。
其中，直播数据流接收模块310，用于接收主播端发送的直播数据流；其中，所述直播数据流是主播端根据特效礼物在所述原始直播视频中的展示位置信息对所述原始直播视频进行智能识别获取AI信息；将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频所得到；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
反序列化数据生成模块320，用于对所述直播数据流进行解析得到AI序列化数据和原始直播视频，对AI序列化数据进行反序列处理得到AI信息；
特效显示模块330，用于根据所述AI信息将特效礼物显示在所述原始直播视频上。
在一实施例中，所述直播数据流包括多个连麦主播的直播数据流；
反序列化数据生成模块320包括：连麦AI信息生成单元和连麦礼物特效展示单元；
其中，连麦AI信息生成单元，用于对直播数据流进行解析得到至少两个所述AI序列化数据和原始直播视频；对所述AI序列化数据进行反序列处理得到AI信息；连麦礼物特效展示单元，用于根据所述AI信息将特效礼物显示在所述原始直播视频上展示在连麦状态下的礼物特效。
在一实施例中，特效显示模块330，用于根据所述AI信息确定特效礼物在所述原始直播视频上的目标位置，在所述目标位置上合成所述特效礼物。
在一实施例中，特效显示模块330包括：AI反序列化数据获取单元、视频获取校验单元、AI信息种类确定单元以及合成渲染单元。
其中，AI反序列化数据获取单元，用于根据所述AI信息的属性信息获取原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率和AI信息种类；
视频获取校验单元，用于根据原始直播视频的序号获取原始直播视频，并依据所述AI序列化数据版本标识对原始直播视频进行版本校验；
AI信息种类确定单元，用于根据所述视频分辨率确定特效礼物在所述原始直播视频上的显示分辨率，以及根据所述AI信息种类确定需要添加的特效礼物的类型；
合成渲染单元，用于读取各种所述特效礼物的类型的特效礼物，并根据所述AI信息中的目标位置，按照所述显示分辨率将所述特效礼物同步渲染至原始直播视频流上。
上述提供的直播视频数据的传输装置可用于执行上述任意实施例提供的直播视频数据的传输方法，具备相应的功能和有益效果。
本申请实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述任一实施例中的直播视频数据的传输方法。
可选的，该计算机设备可以为移动终端、平板电脑、计算机电脑或服务器等。上述提供的计算机设备执行上述任一实施例提供的直播视频数据的传输方法时，具有相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种直播视频数据的传输方法，包括：
获取主播的原始直播视频，并根据特效礼物在所述原始直播视频中的展示位置信息，对所述原始直播视频进行智能识别获取AI信息；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频生成直播数据流；
将所述直播数据流发送至观众端，其中，所述观众端对所述直播数据流进行解析得到原始直播视频和AI序列化数据，将所述AI序列化数据进行反序列化处理得到AI信息，并根据所述AI信息将特效礼物显示在所述原始直播视频上。
或者，所述计算机可执行指令在由计算机处理器执行时用于执行一种直播视频数据的传输方法，包括：
接收主播端发送的直播数据流；其中，所述直播数据流是主播端根据特效礼物在所述原始直播视频中的展示位置信息对所述原始直播视频进行智能识别获取AI信息；将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频所得到；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
对所述直播数据流进行解析得到AI序列化数据和原始直播视频，对AI序列化数据进行反序列处理得到AI信息；
根据所述AI信息将特效礼物显示在所述原始直播视频上。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的直播视频数据的传输方法操作，还可以执行本申请任意实施例所提供的直播视频数据的传输方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请任意实施例所述的直播视频数据的传输方法。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种直播视频数据的传输方法，其特征在于，包括以下步骤：
获取主播的原始直播视频，并根据特效礼物在所述原始直播视频中的展示位置信息，对所述原始直播视频进行智能识别获取AI信息；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频生成直播数据流；
将所述直播数据流发送至观众端；其中，所述观众端对所述直播数据流进行解析得到原始直播视频和AI序列化数据，将所述AI序列化数据进行反序列化处理得到AI信息，并根据所述AI信息将特效礼物显示在所述原始直播视频上。
2.根据权利要求1所述的直播视频数据的传输方法，其特征在于，还包括：
获取多个连麦主播的直播数据流，分别将所述直播数据流通过分发网络发送至服务器进行处理后，转发至观众端；其中，连麦主播的直播数据流包括各所述连麦主播的原始直播视频及其对应的AI信息。
3.根据权利要求1所述的直播视频数据的传输方法，其特征在于，所述AI序列化数据包括协议头部信息和协议数据部分；
所述协议头部信息包括AI信息的属性信息，所述协议数据部分包括AI信息的识别信息。
4.根据权利要求3所述的直播视频数据的传输方法，其特征在于，所述AI信息的属性信息包括原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率和AI信息种类数量；
所述AI信息的识别信息包括至少一种AI元素信息，每一种所述AI元素信息包括元素头部信息和元素数据信息。
5.根据权利要求4所述的直播视频数据的传输方法，其特征在于，所述元素头部信息包括：元素类型、元素版本、元素大小以及元素个数；
所述元素数据信息包括AI元素中各关键像素点位置坐标信息。
6.根据权利要求4所述的直播视频数据的传输方法，其特征在于，所述根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤包括：
根据所述AI信息的属性信息获取原始直播视频的序号、AI序列化数据版本标识、原始直播视频的视频分辨率和AI信息种类；
根据原始直播视频的序号获取原始直播视频，并依据所述AI序列化数据版本标识对原始直播视频进行版本校验；
根据所述视频分辨率确定特效礼物在所述原始直播视频上的显示分辨率，以及根据所述AI信息种类确定需要添加的特效礼物的类型；
读取各种所述特效礼物的类型的特效礼物，并根据所述AI信息中的目标位置，按照所述显示分辨率将所述特效礼物同步渲染至原始直播视频流上。
7.根据权利要求1至6任一项所述的直播视频数据的传输方法，其特征在于，所述AI信息包括人脸信息、人体轮廓信息、手势信息和人体骨骼信息中的至少一者。
8.一种直播视频数据的传输方法，其特征在于，包括以下步骤：
接收主播端发送的直播数据流；其中，所述直播数据流是主播端根据特效礼物在所述原始直播视频中的展示位置信息对所述原始直播视频进行智能识别获取AI信息；将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频所得到；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
对所述直播数据流进行解析得到AI序列化数据和原始直播视频，对AI序列化数据进行反序列处理得到AI信息；
根据所述AI信息将特效礼物显示在所述原始直播视频上。
9.根据权利要求8所述的直播视频数据的传输方法，其特征在于，所述直播数据流包括多个连麦主播的直播数据流；
所述对AI序列化数据进行反序列处理得到AI信息；根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤，包括：
对直播数据流进行解析得到至少两个所述AI序列化数据和原始直播视频；对所述AI序列化数据进行反序列处理得到AI信息；
根据所述AI信息将特效礼物显示在所述原始直播视频上展示在连麦状态下的礼物特效。
10.根据权利要求8所述的直播视频数据的传输方法，其特征在于，所述根据所述AI信息将特效礼物显示在所述原始直播视频上的步骤包括：
根据所述AI信息确定特效礼物在所述原始直播视频上的目标位置，在所述目标位置上合成所述特效礼物。
11.一种直播视频数据的传输装置，其特征在于，包括：
AI信息获取模块，用于获取主播的原始直播视频，并根据特效礼物在所述原始直播视频中的展示位置信息，对所述原始直播视频进行智能识别获取AI信息；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
序列化数据生成模块，用于将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频生成直播数据流；
直播数据流发送模块，用于将所述直播数据流发送至观众端，其中，所述观众端对所述直播数据流进行解析得到原始直播视频和AI序列化数据，将所述AI序列化数据进行反序列化处理得到AI信息，并根据所述AI信息将特效礼物显示在所述原始直播视频上。
12.一种直播视频数据的传输装置，其特征在于，包括：
直播数据流接收模块，用于接收主播端发送的直播数据流；其中，所述直播数据流是主播端根据特效礼物在所述原始直播视频中的展示位置信息对所述原始直播视频进行智能识别获取AI信息；将所述AI信息按照预定义的传输协议进行序列化处理得到AI序列化数据，将所述AI序列化数据添加到所述原始直播视频所得到；其中，所述AI信息用于将特效礼物显示在所述原始直播视频上的目标位置；
反序列化数据生成模块，用于对所述直播数据流进行解析得到AI序列化数据和原始直播视频，对AI序列化数据进行反序列处理得到AI信息；
特效显示模块，用于根据所述AI信息将特效礼物显示在所述原始直播视频上。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10任一项所述的直播视频数据的传输方法的步骤。
14.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10任一项所述直播视频数据的传输方法的步骤。
CN201911055225.6A 2019-10-31 2019-10-31 直播视频数据的传输方法、装置、设备和存储介质 Active CN110784730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911055225.6A CN110784730B (zh) 2019-10-31 2019-10-31 直播视频数据的传输方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911055225.6A CN110784730B (zh) 2019-10-31 2019-10-31 直播视频数据的传输方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110784730A true CN110784730A (zh) 2020-02-11
CN110784730B CN110784730B (zh) 2022-03-08

Family

ID=69388281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911055225.6A Active CN110784730B (zh) 2019-10-31 2019-10-31 直播视频数据的传输方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110784730B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261290A (zh) * 2020-10-16 2021-01-22 海信视像科技股份有限公司 显示设备、摄像头以及ai数据同步传输方法
WO2021047419A1 (zh) * 2019-09-12 2021-03-18 广州华多网络科技有限公司 直播交互方法、直播系统、电子设备及存储介质
WO2021047430A1 (zh) * 2019-09-11 2021-03-18 广州华多网络科技有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN113360034A (zh) * 2021-05-20 2021-09-07 广州博冠信息科技有限公司 画面显示方法、装置、计算机设备及存储介质
CN113793410A (zh) * 2021-08-31 2021-12-14 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN113949900A (zh) * 2021-10-08 2022-01-18 上海哔哩哔哩科技有限公司 直播贴图处理方法及系统
CN114125485A (zh) * 2021-11-30 2022-03-01 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质
CN114501041A (zh) * 2021-04-06 2022-05-13 北京字节跳动网络技术有限公司 特效显示方法、装置、设备、存储介质及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011123718A2 (en) * 2010-04-01 2011-10-06 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
CN104994421A (zh) * 2015-06-30 2015-10-21 广州华多网络科技有限公司 一种直播频道中虚拟物品的互动方法、装置和系统
CN106162230A (zh) * 2016-07-28 2016-11-23 北京小米移动软件有限公司 直播信息的处理方法、装置、主播端、服务器及系统
CN106331880A (zh) * 2016-09-09 2017-01-11 腾讯科技（深圳）有限公司 一种信息处理方法及系统
CN107343220A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 数据处理方法、装置和终端设备
CN109729369A (zh) * 2018-11-22 2019-05-07 北京奇艺世纪科技有限公司 一种直播交互方法、系统、装置及计算机可读存储介质
CN109963162A (zh) * 2017-12-25 2019-07-02 阿里巴巴集团控股有限公司 一种云导播系统及直播处理方法、装置
US10694231B2 (en) * 2016-12-31 2020-06-23 Turner Broadcasting System, Inc. Dynamic channel versioning in a broadcast air chain based on user preferences

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011123718A2 (en) * 2010-04-01 2011-10-06 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
CN104994421A (zh) * 2015-06-30 2015-10-21 广州华多网络科技有限公司 一种直播频道中虚拟物品的互动方法、装置和系统
CN106162230A (zh) * 2016-07-28 2016-11-23 北京小米移动软件有限公司 直播信息的处理方法、装置、主播端、服务器及系统
CN107343220A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 数据处理方法、装置和终端设备
CN106331880A (zh) * 2016-09-09 2017-01-11 腾讯科技（深圳）有限公司 一种信息处理方法及系统
US10694231B2 (en) * 2016-12-31 2020-06-23 Turner Broadcasting System, Inc. Dynamic channel versioning in a broadcast air chain based on user preferences
CN109963162A (zh) * 2017-12-25 2019-07-02 阿里巴巴集团控股有限公司 一种云导播系统及直播处理方法、装置
CN109729369A (zh) * 2018-11-22 2019-05-07 北京奇艺世纪科技有限公司 一种直播交互方法、系统、装置及计算机可读存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021047430A1 (zh) * 2019-09-11 2021-03-18 广州华多网络科技有限公司 虚拟礼物特效的合成方法和装置、直播系统
WO2021047419A1 (zh) * 2019-09-12 2021-03-18 广州华多网络科技有限公司 直播交互方法、直播系统、电子设备及存储介质
CN112261290A (zh) * 2020-10-16 2021-01-22 海信视像科技股份有限公司 显示设备、摄像头以及ai数据同步传输方法
CN112261290B (zh) * 2020-10-16 2022-04-19 海信视像科技股份有限公司 显示设备、摄像头以及ai数据同步传输方法
CN114501041A (zh) * 2021-04-06 2022-05-13 北京字节跳动网络技术有限公司 特效显示方法、装置、设备、存储介质及产品
CN113360034A (zh) * 2021-05-20 2021-09-07 广州博冠信息科技有限公司 画面显示方法、装置、计算机设备及存储介质
CN113793410A (zh) * 2021-08-31 2021-12-14 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN113949900A (zh) * 2021-10-08 2022-01-18 上海哔哩哔哩科技有限公司 直播贴图处理方法及系统
CN113949900B (zh) * 2021-10-08 2023-11-24 上海哔哩哔哩科技有限公司 直播贴图处理方法、系统、设备及存储介质
CN114125485A (zh) * 2021-11-30 2022-03-01 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质
CN114125485B (zh) * 2021-11-30 2024-04-30 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110784730B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN110784730B (zh) 直播视频数据的传输方法、装置、设备和存储介质
CN110475150B (zh) 虚拟礼物特效的渲染方法和装置、直播系统
CN110493630B (zh) 虚拟礼物特效的处理方法和装置、直播系统
CN110798697B (zh) 视频显示方法、装置、系统以及电子设备
CN110536151B (zh) 虚拟礼物特效的合成方法和装置、直播系统
CN107483460B (zh) 一种多平台并行导播推流的方法及系统
CN106331880B (zh) 一种信息处理方法及系统
US20220046291A1 (en) Method and device for generating live streaming video data and method and device for playing live streaming video
CN111163360A (zh) 视频处理方法、装置、计算机可读存储介质和计算机设备
CN112135155B (zh) 音视频的连麦合流方法、装置、电子设备及存储介质
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
CN109547724B (zh) 一种视频流数据的处理方法、电子设备及存储装置
US11272261B2 (en) Cloud platform capable of providing real-time streaming services for heterogeneous applications including AR, VR, XR, and MR irrespective of specifications of hardware of user
CN114095744B (zh) 视频直播方法、装置、电子设备及可读存储介质
KR20080082759A (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
CN107105048B (zh) 一种基于云技术的教学控制方法及系统
CN111464828A (zh) 虚拟特效显示方法、装置、终端及存储介质
CN112689168A (zh) 一种动效处理方法、动效展示方法及动效处理装置
CN113965813A (zh) 直播间内的视频播放方法、系统及计算机设备
CN114584737A (zh) 一种云会议中实时多人同场景自定义的方法与系统
CN109525852B (zh) 直播视频流处理方法、装置、系统及计算机可读存储介质
CN112492324A (zh) 数据处理方法及系统
CN108848106A (zh) 通过音频流传输自定义数据方法、装置及可读存储介质
CN115514989B (zh) 一种数据传输方法、系统及存储介质
CN114095772B (zh) 连麦直播下的虚拟对象展示方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210111

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511442 29 floor, block B-1, Wanda Plaza, Huambo business district, Panyu District, Guangzhou, Guangdong.

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant