CN112423110A - 直播视频数据生成方法、装置及直播视频播放方法、装置 - Google Patents

直播视频数据生成方法、装置及直播视频播放方法、装置 Download PDF

Info

Publication number
CN112423110A
CN112423110A CN202010772489.XA CN202010772489A CN112423110A CN 112423110 A CN112423110 A CN 112423110A CN 202010772489 A CN202010772489 A CN 202010772489A CN 112423110 A CN112423110 A CN 112423110A
Authority
CN
China
Prior art keywords
data
video
video frame
live
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010772489.XA
Other languages
English (en)
Inventor
姜军
朱俊炜
秦永芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202010772489.XA priority Critical patent/CN112423110A/zh
Publication of CN112423110A publication Critical patent/CN112423110A/zh
Priority to US17/392,711 priority patent/US11863801B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种直播视频播放方法及装置，该方法包括：接收直播视频数据以及对应的弹幕数据；解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据；根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版；当播放所述第二视频帧时，将所述第二视频帧对应的目标弹幕数据显示到所述弹幕蒙版。本申请还提供一种直播视频数据生成方法及装置。本申请通过先将视频帧中的防遮挡区域数据设置到对应的视频帧中，从而使得在视频播放过程中的根据视频帧中的防遮挡区域数据快速建立对应的防遮挡弹幕蒙版，实现对应视频帧的防遮挡效果。

Description

直播视频数据生成方法、装置及直播视频播放方法、装置
技术领域
本申请涉及互联网技术领域，尤其涉及一种直播视频数据生成方法、装置及直播视频播放方法、装置。
背景技术
随着网络通信技术的进步和宽带网络的提速，网络视频技术也得到了越来越多的发展和应用，视频提供平台和直播平台等服务商也能够为用户提供越来越丰富的视频体验。为了加强用户在观看视频时的参与感和互动性，在直播视频播放过程中还可以显示用户的评论内容，这些评论内容像子弹一样从视频播放画面的一端飞向另一端，所以被称呼为弹幕。
在直播视频播放时，当出现弹幕的数量非常多的时候，经常会出现弹幕遮挡视频画面中的人脸、关键对象等情况。当然，现有的直播视频播放技术也能够提供弹幕显示开关功能，通过关闭弹幕显示，可以有效避免弹幕遮挡问题，但是，这样又失去了弹幕带来的交互感和观看乐趣。因此，直播视频播放过程中既能够显示弹幕，又能够避免弹幕遮挡目标对象的直播视频播放方法是迫切需要的。
发明内容
本申请提出一种直播视频播放方法及装置，能够解决现有技术中视频播放时，弹幕内容遮挡视频画面中目标对象的问题。
首先，为实现上述目的，本申请提供一种直播视频数据生成方法，所述方法包括：
获取主播视频数据，识别出所述主播视频数据中第一视频帧中的目标对象数据，其中，所述第一视频帧为所述主播视频数据中的任一视频帧；根据所述目标对象数据计算出所述第一视频帧的防遮挡区域数据；将所述防遮挡区域数据添加到所述第一视频帧对应的数据包，以生成直播视频数据的第二视频帧。
在一个例子中，所述根据所述目标对象数据计算出所述第一视频帧的防遮挡区域数据包括：对所述目标对象数据进行矢量描边，得到所述第一视频帧的目标对象轮廓数据；将所述目标对象轮廓数据在所述第一视频帧中覆盖的区域标记为防遮挡区域；统计所述防遮挡区域范围内的坐标点，计算出描述所述防遮挡区域的防遮挡区域数据。
在一个例子中，当所述主播视频数据为摄像头拍摄的实时视频数据时，所述方法还包括：获取视频软件对所述第一视频帧执行视频画面合成的视频参数；根据所述视频参数对所述目标对象轮廓数据进行矫正。
在一个例子中，所述将所述防遮挡区域数据添加到所述第一视频帧对应的数据包包括：根据预设的补充增强信息格式对所述防遮挡区域数据进行编码，得到已编码防遮挡区域数据；将所述已编码防遮挡区域数据添加到根据预设的视频数据格式编码的已编码第一视频帧的数据包，其中所述视频数据格式与所述补充增强信息格式互为相互兼容的数据编码格式。
在一个例子中，所述识别出所述主播视频数据中第一视频帧中的目标对象数据包括：通过预设的目标对象识别模型识别出所述第一视频帧中的所述目标对象数据；或者当所述主播视频数据为虚拟摄像头拍摄的视频数据时，通过绿幕抠图的方式将第一视频帧中除所述目标对象数据之外的数据抠除，从而得到所述目标对象数据。
进一步地，本申请还提供一种直播视频播放方法，所述方法包括：
接收直播视频数据以及对应的弹幕数据；解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据，其中，所述第二视频帧为所述直播视频数据中的任一视频帧；根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版；当播放所述第二视频帧时，将所述第二视频帧对应的目标弹幕数据显示到所述弹幕蒙版。
在一个例子中，所述根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版包括：根据所述防遮挡区域数据在所述第二视频帧的视频帧画面绘制出防遮挡区域范围；在预设的所述第二视频帧的初始弹幕蒙版中设置对应于所述防遮挡区域范围的防遮挡区块，将已设置所述防遮挡区块的所述初始弹幕蒙版作为所述第二视频帧对应的弹幕蒙版。
在一个例子中，所述方法还包括：当所述目标弹幕数据显示到所述弹幕蒙版时，若所述目标弹幕数据与所述防遮挡区块重叠，则将所述目标弹幕数据的重叠部分进行透明显示。
此外，为实现上述目的，本申请还提供一种直播视频数据生成装置，所述装置包括：
识别模块，用于获取主播视频数据，识别出所述主播视频数据中第一视频帧中的目标对象数据，其中，所述第一视频帧为所述主播视频数据中的任一视频帧；计算模块，用于根据所述目标对象数据计算出所述第一视频帧的防遮挡区域数据；生成模块，用于将所述防遮挡区域数据添加到所述第一视频帧对应的数据包，以生成直播视频数据的第二视频帧。
以及，本申请还提供一种直播视频播放装置，所述装置包括：
接收模块，用于接收直播视频数据以及对应的弹幕数据；解析模块，用于解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据，其中，所述第二视频帧为所述直播视频数据中的任一视频帧；建立模块，用于根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版；显示模块，用于当播放所述第二视频帧时，将所述第二视频帧对应的目标弹幕数据显示到所述弹幕蒙版。
相较于现有技术，本申请所提出的直播视频播放方法及装置，能够接收直播视频数据以及对应的弹幕数据，然后解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据；再根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版；当播放所述第二视频帧时，将所述第二视频帧对应的目标弹幕数据显示到所述弹幕蒙版。通过先将视频帧中的防遮挡区域数据设置到对应的视频帧中，从而使得在视频播放过程中的根据视频帧中的防遮挡区域数据快速建立对应的防遮挡弹幕蒙版，实现对应视频帧的防遮挡效果。
附图说明
图1是本申请一实施例的应用环境示意图；
图2是本申请直播视频数据生成方法一具体实施例的流程示意图；
图3是图2中步骤S200的一具体实施例的流程示意图；
图4是图2中步骤S202的一具体实施例的流程示意图；
图5是图2中步骤S202在所述主播视频数据为摄像头拍摄的实时视频数据时的一具体实施例的流程示意图；
图6是图2中步骤S204中所述将所述防遮挡区域数据添加到所述第一视频帧对应的数据包的一具体实施例的流程示意图；
图7是本申请一具体实施例的直播视频数据生成方法的流程效果图；
图8是本申请直播视频播放方法一具体实施例的流程示意图；
图9是图8中步骤S804的一具体实施例的流程示意图；
图10是本申请一具体实施例的直播视频播放方法的流程效果图；
图11是本申请一具体实施例的视频播放时的弹幕显示效果图；
图12是本申请直播视频数据生成装置一实施例的程序模块示意图；
图13是本申请直播视频播放装置一实施例的程序模块示意图；
图14是本申请计算机设备一可选的硬件架构的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1是本申请一实施例的应用环境示意图。参阅图1所示，所述计算机设备10、计算机设备1分别与视频数据服务器20、弹幕服务器30连接。所述计算机设备10能够将获取到的主播视频数据生成对应的直播视频数据，然后上传至所述视频数据服务器3；也可以从所述视频数据服务器20接收视频数据，以及从所述弹幕服务器30接收弹幕数据，然后进行播放；在播放视频数据的同时，也可以发送弹幕数据到所述弹幕服务器30。所述计算机设备1则可以从所述视频数据服务器20从所述视频数据服务器20接收视频数据，以及从所述弹幕服务器30接收弹幕数据，进行播放；在播放视频数据的同时，也可以发送弹幕数据到所述弹幕服务器30。在本实施例中，所述计算机设备1和所述计算机设备10均可作为手机、平板、便携设备、PC机或者其他具有显示功能的电子设备等。在一示例性例子中，例如，在视频直播过程中，所述计算机设备10作为主播端，需要具备拍摄功能，能够自行拍摄视频数据；而所述计算机设备1作为用户端，可以不具备拍摄功能。值得注意的是，所述计算机设备1可以与所述计算机设备10同时具备拍摄功能，然后在视频播放过程中可以从主播端类型切换到用户端类型。
实施例一
图2是本申请直播视频数据生成方法一实施例的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备10为执行主体进行示例性描述。
如图2所示，所述直播视频数据生成方法可以包括步骤S200～S206。
步骤S200，获取主播视频数据，识别出所述主播视频数据中第一视频帧中的目标对象数据。其中，所述第一视频帧为所述主播视频数据中的任一视频帧。
步骤S202，根据所述目标对象数据计算出所述第一视频帧的防遮挡区域数据。
步骤S204，将所述防遮挡区域数据添加到所述第一视频帧对应的数据包，以生成直播视频数据的第二视频帧。
随着网络视频技术的发展，视频服务也得到了广泛的应用。其中，直播服务一般是由主播端在视频服务器请求建立直播间，然后将视频数据上传到视频数据服务器作为待播放视频数据，视频数据服务器再将该待播放视频数据推流到接入所述直播间的用户端。因此，主播端能够与用户端能够共享主播端上传的视频数据，包括实时视频数据和非实时视频数据。
在本实施例中，所述计算机设备10作为主播端，可以建立直播间，然后将视频数据上传至视频数据服务器。具体地，所述计算机设备10先获取主播视频数据，所述主播视频数据可以是所述计算机设备10由自身摄像单元拍摄的实时视频数据，或者是接收到的由其他设备端拍摄的视频数据，其中，所述主播视频数据也可以是虚拟拍摄的数据。接着，所述计算机设备10对获取到的所述主播视频数据进行识别，识别出所述主播视频数据中第一视频帧中的目标对象数据。其中，所述第一视频帧为所述主播视频数据中的任一视频帧。
参阅图3所示，在一示例性例子中，步骤S200可以包括以下步骤：
步骤S300，通过预设的目标对象识别模型识别出所述第一视频帧中的所述目标对象数据。
步骤S302，当所述主播视频数据为虚拟摄像头拍摄的视频数据时，通过绿幕抠图的方式将第一视频帧中除所述目标对象数据之外的数据抠除，从而得到所述目标对象数据。
在一具体实施例中，当所述计算机设备10获取到的视频数据为现实摄像头拍摄的视频数据，那么，在获取到所述主播视频数据之后，所述计算机设备10则会根据预设的目标对象识别模型对所述主播视频数据的每一视频帧进行识别，识别出其中的目标对象。例如，所述目标对象可以是人脸、人像、动物、植物，或者其他物体；所述目标对象识别模型则是可以识别出人脸、人像、动物、植物，或者其他物体的预设的图像识别模型；所述计算机设备10则可以通过该目标对象识别模型对所述主播视频数据中的每一帧进行识别，从而识别出每一视频帧中的目标对象数据。
在另一具体实施例中，当所述计算机设备10获取到的视频数据为虚拟摄像头拍摄的视频数据(虚拟主播直播)时，利用虚拟主播使用的虚拟摄像头软件能够直接输出带绿幕的画面(对于虚拟摄像头拍摄的视频数据，除去关键的几个目标对象数据，其他背景数据均为自动补充的绿幕背景，所述绿幕背景用于后期视频帧编辑时进行替换)。例如，所述计算机设备1可以通过直播软件OBS中的绿幕抠图功能执行对所述主播视频数据中的每一视频帧进行绿幕抠图。绿幕是电影拍摄特技镜头的背景幕布，演员在绿幕前表演。通过摄影机拍摄下来；之后画面在电脑中处理的时候，抠掉背景的绿色、换上其他背景。因此，所述计算机设备10能够通过绿幕抠图的方式，将所述视频数据的每一视频帧中，将除去所述目标对象的数据之外的所有数据进行抠除，从而得到所述目标对象数据。在一具体实施例中，所述计算机设备10可以建立一个能够滤除绿幕数据的滤镜，然后对所述主播视频数据的每一视频帧进行过滤。例如，所述目标对象为人像，那么，所述计算机设备10通过滤镜方式将人像数据之后的绿幕背景滤除，从而剩下人像数据。
参阅图4所示，在一示例性例子中，步骤S202可以包括以下步骤：
步骤S400，对所述目标对象数据进行矢量描边，得到所述第一视频帧的目标对象轮廓数据。
步骤S402，将所述目标对象轮廓数据在所述第一视频帧中覆盖的区域标记为防遮挡区域。
步骤S404，统计所述防遮挡区域范围内的坐标点，计算出描述所述防遮挡区域的防遮挡区域数据。
所述计算机设备10识别出所述主播视频数据的每一视频帧中的目标对象数据之后，则会进一步根据每一视频帧中的目标对象数据计算出每一视频帧中的防遮挡区域数据。在本实施例中，所述计算机设备1通过对所述目标对象数据进行描边，可以得到一系列的关键点坐标，这些坐标光滑地连接起来，则可以还原出人像所在的位置，因此，这些坐标点数据也就是所述目标对象的目标对象轮廓数据。接着，所述计算机设备10将所述目标对象轮廓数据在所述第一视频帧中覆盖的区域标记为防遮挡区域；并统计所述防遮挡区域范围内的坐标点，计算出描述所述防遮挡区域的防遮挡区域数据。例如，通过对所述目标对象轮廓数据中的坐标点进行曲线回归分析，从而得到描述所述防遮挡区域的多个曲线函数，作为所述目标对象数据对应的防遮挡区域数据。当然，在其他实施例中，也可以通过其他方式计算出所述防遮挡区域的防遮挡区域数据。通过这种方式，可以将所述目标对象数据转换成防遮挡区域数据，可以大大减少信息容量，有利于网络传输。
参阅图5所示，在一具体实施例中，当所述主播视频数据为摄像头拍摄的实时视频数据时，步骤S202还可以包括以下步骤：
步骤S500，获取视频软件对所述第一视频帧执行视频画面合成的视频参数；
步骤S502，根据所述视频参数对所述目标对象轮廓数据进行矫正。
具体地，当所述主播视频数据为所述计算机设备10拍摄的实时视频数据时，那么，所述计算机设备10还会根据通过视频软件对所述主播视频数据进行视频画面的调整，从而赋予所述主播视频数据一种默认的视频画面格式，例如，视频帧的尺寸大小、中心位置，以及偏转度等传视频参数。
因此，所述计算机设备10会获取到所述视频参数，然后根据所述视频参数对所述目标对象轮廓数据近矫正。在本实施例中，因为所述计算机设备10通过摄像头拍摄的主播视频数据会通过直播软件进行画面合成，例如，改变大小、改变位置、进行旋转翻转等处理，因此，需要对所述目标对象轮廓数据进行同样的变换，使所述目标对象轮廓数据对应的目标对象数据的关键点的坐标可以和最终生成的直播画面对应。
最后，所述计算机设备10将所述防遮挡区域数据添加到所述第一视频帧对应的数据包，以生成直播视频数据的第二视频帧。也就是说，所述计算机设备10能够将所述主播视频数据的所有视频帧进行转换，从而得到对应的直播视频数据。
参阅图6所示，在一示例性例子中，步骤S204中所述将所述防遮挡区域数据添加到所述第一视频帧对应的数据包，包括以下步骤：
步骤S600，根据预设的补充增强信息格式对所述防遮挡区域数据进行编码，得到已编码防遮挡区域数据。
步骤S602，将所述已编码防遮挡区域数据添加到根据预设的视频数据格式编码的已编码第一视频帧的数据包，其中所述视频数据格式与所述补充增强信息格式互为相互兼容的数据编码格式。
具体地，所述计算机设备10获取到所述第一视频对应的所述防遮挡区域数据之后，则会以补充增强信息的方式添加到所述第一视频帧对应的数据包，从而形成直播视频数据对应的视频帧。在本实施例中，例如，网络直播是指通过互联网公开播出即时影像的娱乐形式。现在网络直播通常使用flv(flash video)、片段式MP4(MPEG-4)等形式传输经过编码的视频和音频信号。当前最流行的视频编码方式为MPEG-4/AVC，也叫做H.264，音频编码方式为MPEG-4/AAC。H.264有国际标准，定义了数据格式、传输协议。在标准中，除了视频数据以外，还定义了“补充增强信息”部分，能够允许用户插入自定义数据。因此，所述防遮挡区域数据，是根据H.264白皮书标准，封装成自定义的补充增强信息数据包，插入到直播的H.264流中的对应的视频帧数据包中，例如，所述防遮挡区域数据会通过H.264白皮书中附录D的1.7节描述的协议进行编码，并插入到所述第二视频帧的数据流里。因为是遵照白皮书标准的，所以现有系统对此兼容，大部分内容分发网络、服务器等设施不需要做特别的修改。
当然，在其他实施例中，所述计算机设备10会根据所述主播视频数据的视频帧的编码格式，选择能够兼容且能够插入到视频帧数据的数据格式对所述防遮挡区域数据进行编码，并插入到对应的视频帧数据包中，从而得到直播视频数据对应的视频帧。
最后，所述计算机设备10将所述直播视频数据上传至视频数据服务器。
请参阅图7，是本发明一示例性例的直播视频数据生成方法的流程效果图。
在本实施例中，所述计算机设备10为直播主播端，因此可以通过摄像头拍摄主播视频数据。一方面，所述计算机设备10通过直播软件将所述主播视频数据的每一视频帧与其他画面元素，例如，虚拟背景或艺术效果等，进行画面合成，从而得到合成视频帧；接着，再对合成视频帧进行编码，得到已编码的合成视频帧。另一方面，所述计算机设备10将拍摄的主播视频数据的视频帧进行人像识别/绿幕抠图，从而获得目标对象，也就是人像数据；接着，再进行矢量描边，得到视频帧对应的目标对象轮廓数据；然后再根据直播软件对于主播视频数据进行画面合成的视频参数，对所述目标对象轮廓数据执行相应的矫正，也就是对所述目标对象轮廓数据中的坐标数据执行坐标变换，并根据矫正后的所述目的对象轮廓数据计算出对应的防遮挡区域数据；然后，将防遮挡区域数据编码为补充增强信息，并插入到对应的已编码的合成视频帧的数据包中，从而得到直播视频数据；最后，将所述直播视频数据推流值视频数据服务器。
实施例二
图8是本申请直播视频播放方法一实施例的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备1为执行主体进行示例性描述。
如图8所示，所述直播视频数据生成方法可以包括步骤S800～S808。
步骤S800，接收直播视频数据以及对应的弹幕数据。
步骤S802，解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据。其中，所述第二视频帧为所述直播视频数据中的任一视频帧。
步骤S804，根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版。
步骤S808，当播放所述第二视频帧时，将所述第二视频帧对应的目标弹幕数据显示到所述弹幕蒙版。
具体地，所述计算机设备1加入到所述计算机设备10创建的直播间后，可以从视频数据服务器上获取到所述计算机设备10上传的直播视频数据。其中，还能够从弹幕服务器上接收所述直播视频数据对应的弹幕数据。例如，当所述直播视频数据被所述计算机设备10，或者其他计算机设备(图1未示出)播放；在播放过程中，所述计算机设备10，或者其他计算机设备也可以针对播放的直播视频数据的发送对应的弹幕数据，所述弹幕数据被上传到所述弹幕服务器，例如，对于播放的所述直播视频数据的第二视频帧时，所发送的弹幕数据则会关联到所述第二视频帧，并保存到所述弹幕服务器。因此，当所述计算机设备1从视频数据服务器上接收直播视频数据的同时，也可以从弹幕服务器上接收对应的弹幕数据。
接着，所述计算机设备1还会进一步解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据。在本实施例中，所述计算机设备1根据补充增强信息格式从所述第二视频帧查找出所述补充增强信息格式的数据，并提取出所述第二视频帧对应的防遮挡区域数据；然后，根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版。
参阅图9所示，在一示例性例子中，步骤S804可以包括以下步骤：
步骤S900，根据所述防遮挡区域数据在所述第二视频帧的视频帧画面绘制出防遮挡区域范围。
步骤S902，在预设的所述第二视频帧的初始弹幕蒙版中设置对应于所述防遮挡区域范围的防遮挡区块，将已设置所述防遮挡区块的所述初始弹幕蒙版作为所述第二视频帧对应的弹幕蒙版。
具体的，所述计算机设备1从所述直播视频数据的第二视频帧中获取到对应于所述第二视频帧的所述防遮挡区域数据之后，则进一步根据防遮挡区域数据绘制出防遮挡区域范围，例如，所述防遮挡区域数据包括多个曲线函数，那么所述计算机设备1则会依次根据每个曲线函数在所述第二视频帧的视频帧画面绘制曲线，然后所有的曲线函数对应的曲线则可以连接并表示出一个区域范围，也就是所述第二视频帧对应的防遮挡区域范围。最后，所述计算机设备1再根据所述防遮挡区域范围在预设的所述第二视频帧的初始弹幕蒙版中设置对应于所述防遮挡区域范围的防遮挡区块，将已设置所述防遮挡区块的所述初始弹幕蒙版作为所述第二视频帧对应的弹幕蒙版。
所述计算机设备1通过直播软件播放所述直播视频数据的过程中，当播放到所述第二视频帧时，所述计算机设备1能够将第二视频帧对应的弹幕数据显示到所述第二视频帧对应的弹幕蒙版。在将所述目标弹幕数据显示到所述弹幕蒙版时，所述计算机设备1还会判断所述目标弹幕数据与所述防遮挡区块是否重叠，若所述目标弹幕数据与所述防遮挡区块重叠，则将所述目标弹幕数据的重叠部分进行透明显示。因此，所述计算机设备1能够通过已设置所述防遮挡区块的弹幕蒙版，实现弹幕数据显示到视频画面时，能够回避画面中的目标对象，比如人像。通过以上方式，利用弹幕蒙版的防遮挡区域控制弹幕的可见区域，并随着视频的播放不断更新蒙板数据，达到弹幕可见区域随着视频变化而变化的目的。
请参阅图10，是本发明一示例性例的直播视频播放方法的流程效果图。
在本实施例中，所述计算机设备1从视频数据服务器接收直播数据，以及从弹幕服务器接收弹幕数据。接着，所述计算机设备1对接收到的直播频数据进行解析，得到对应的音频数据和视频数据；然后对音频数据进行音频解码，输出声音；同时，从视频数据中提取补充增强信息，并对所述补充增强信息进行解析得到对应的防遮挡区域数据，在根据防遮挡区域数据生成对应的包含防遮挡区块的弹幕蒙版；其中，视频数据被提取了补充增强信息，则会进行视频解码，然后输出视频画面。在输出视频画面的同时，所述计算机设备1将获取到的弹幕数据显示到弹幕蒙版，覆盖到所述视频画面，形成弹幕画面。当然，所述弹幕数据与弹幕蒙版中的所述防遮挡区块重叠，则将所述目标弹幕数据的重叠部分进行透明显示。
本申请在视频数据生成阶段，通过将防遮挡区域数据以补充增强信息的方式添加到视频数据的对应视频帧中；然后再视频播放阶段，接收视频数据后，从视频帧中解析出防遮挡区域数据，并生成对应的弹幕蒙版，从而实现弹幕数据的防遮挡显示。请参阅图11，是本发明一示例性例的视频播放时的弹幕显示效果图。其中，弹幕数据始终能够避开人像所在的区域范围。
相对于现有技术，本申请在直播视频数据生成过程中，可直接识别出视频帧中的防遮挡区域数据，或者提取直播素材所包含的绿幕或者透明通道，再将视频帧中的防遮挡区域数据设置到对应的视频帧中；从而使得在视频播放过程中，能够根据视频帧中的防遮挡区域数据快速建立对应的防遮挡弹幕蒙版，实现对应视频帧的防遮挡效果；因此，可以在普通家用电脑上支撑1920x1080分辨率、每秒60帧的处理速度，不依赖服务器，直播过程处理数据较少，能够达到性能高、表现稳定的效果。
实施例三
图12示意性示出了根据本申请实施例三的直播视频数据生成装置的框图，该直播视频数据生成装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图12所示，该直播视频数据生成装置400可以包括识别模块410、计算模块420和生成模块430，其中：
识别模块410，用于获取主播视频数据，识别出所述主播视频数据中第一视频帧中的目标对象数据，其中，所述第一视频帧为所述主播视频数据中的任一视频帧。
计算模块420，用于根据所述目标对象数据计算出所述第一视频帧的防遮挡区域数据。
生成模块430，用于将所述防遮挡区域数据添加到所述第一视频帧对应的数据包，以生成直播视频数据的第二视频帧。
在示例性的实施例中，识别模块410，还用于：通过预设的目标对象识别模型识别出所述第一视频帧中的所述目标对象数据；或者当所述主播视频数据为虚拟摄像头拍摄的视频数据时，通过绿幕抠图的方式将第一视频帧中除所述目标对象数据之外的数据抠除，从而得到所述目标对象数据。
在示例性的实施例中，计算模块420，还用于：对所述目标对象数据进行矢量描边，得到所述第一视频帧的目标对象轮廓数据；将所述目标对象轮廓数据在所述第一视频帧中覆盖的区域标记为防遮挡区域；统计所述防遮挡区域范围内的坐标点，计算出描述所述防遮挡区域的防遮挡区域数据。以及，当所述主播视频数据为摄像头拍摄的实时视频数据时，计算模块420，还用于：获取视频软件对所述第一视频帧执行视频画面合成的视频参数；根据所述视频参数对所述目标对象轮廓数据进行矫正。
在示例性的实施例中，生成模块430，还用于：根据预设的补充增强信息格式对所述防遮挡区域数据进行编码，得到已编码防遮挡区域数据；将所述已编码防遮挡区域数据添加到根据预设的视频数据格式编码的已编码第一视频帧的数据包，其中所述视频数据格式与所述补充增强信息格式互为相互兼容的数据编码格式。
实施例四
图13示意性示出了根据本申请实施例四的直播视频播放装置的框图，该直播视频播放装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图13所示，该直播视频播放装置600可以包括接收模块610、解析模块620、建立模块630和显示模块640，其中：
接收模块610，用于接收直播视频数据以及对应的弹幕数据。
解析模块620，用于解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据，其中，所述第二视频帧为所述直播视频数据中的任一视频帧。
建立模块630，用于根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版。
显示模块640，用于当播放所述第二视频帧时，将所述第二视频帧对应的目标弹幕数据显示到所述弹幕蒙版。
在示例性的实施例中，建立模块630，还用于：根据所述防遮挡区域数据在所述第二视频帧的视频帧画面绘制出防遮挡区域范围；在预设的所述第二视频帧的初始弹幕蒙版中设置对应于所述防遮挡区域范围的防遮挡区块，将已设置所述防遮挡区块的所述初始弹幕蒙版作为所述第二视频帧对应的弹幕蒙版。
在示例性的实施例中，显示模块640，还用于：当所述目标弹幕数据显示到所述弹幕蒙版时，若所述目标弹幕数据与所述防遮挡区块重叠，则将所述目标弹幕数据的重叠部分进行透明显示。
实施例五
图14示意性示出了根据本申请实施例五的适于实现直播视频数据生成方法的计算机设备10，或者实现直播视频播放方法的计算机设备1的硬件架构示意图。本实施例中，计算机设备100是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是具有网关功能的机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图14所示，计算机设备100至少包括但不限于：可通过系统总线相互通信链接存储器510、处理器520、网络接口530。其中：
存储器510至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器510可以是计算机设备1的内部存储模块，例如该计算机设备1的硬盘或内存。在另一些实施例中，存储器510也可以是计算机设备1的外部存储设备，例如该计算机设备1上配备的插接式硬盘，智能存储卡(SmartMedia Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器510还可以既包括计算机设备1的内部存储模块也包括其外部存储设备。本实施例中，存储器510通常用于存储安装于计算机设备100的操作系统和各类应用软件，例如直播视频数据生成方法的程序代码，或者直播视频播放方法的程序代码等。此外，存储器510还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器520在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器520通常用于控制计算机设备100的总体操作，例如执行与计算机设备100进行数据交互或者通信相关的控制和处理等。本实施例中，处理器520用于运行存储器510中存储的程序代码或者处理数据。
网络接口530可包括无线网络接口或有线网络接口，该网络接口530通常用于在计算机设备100与其他计算机设备之间建立通信链接。例如，网络接口530用于通过网络将计算机设备100与外部终端相连，在计算机设备100与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图14仅示出了具有部件510-530的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器510中的直播视频数据生成方法的程序代码，或者直播视频播放方法的程序代码还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器520)所执行，以完成本申请实施例。
实施例六
本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现如实施例一所述的直播视频数据生成方法的步骤，或实施例二所述的直播视频播放方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中直播视频数据生成方法的程序代码，或者直播视频播放方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请实施例的优选实施例，并非因此限制本申请实施例的专利范围，凡是利用本申请实施例说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请实施例的专利保护范围内。

Claims (10)

1.一种直播视频数据生成方法，其特征在于，所述方法包括：
获取主播视频数据，识别出所述主播视频数据中第一视频帧中的目标对象数据，其中，所述第一视频帧为所述主播视频数据中的任一视频帧；
根据所述目标对象数据计算出所述第一视频帧的防遮挡区域数据；
将所述防遮挡区域数据添加到所述第一视频帧对应的数据包，以生成直播视频数据的第二视频帧。
2.如权利要求1所述的直播视频数据生成方法，其特征在于，所述根据所述目标对象数据计算出所述第一视频帧的防遮挡区域数据包括：
对所述目标对象数据进行矢量描边，得到所述第一视频帧的目标对象轮廓数据；
将所述目标对象轮廓数据在所述第一视频帧中覆盖的区域标记为防遮挡区域；
统计所述防遮挡区域范围内的坐标点，计算出描述所述防遮挡区域的防遮挡区域数据。
3.如权利要求2所述的直播视频数据生成方法，其特征在于，当所述主播视频数据为摄像头拍摄的实时视频数据时，所述方法还包括：
获取视频软件对所述第一视频帧执行视频画面合成的视频参数；
根据所述视频参数对所述目标对象轮廓数据进行矫正。
4.如权利要求1所述的直播视频数据生成方法，其特征在于，所述将所述防遮挡区域数据添加到所述第一视频帧对应的数据包包括：
根据预设的补充增强信息格式对所述防遮挡区域数据进行编码，得到已编码防遮挡区域数据；
将所述已编码防遮挡区域数据添加到根据预设的视频数据格式编码的已编码第一视频帧的数据包，其中所述视频数据格式与所述补充增强信息格式互为相互兼容的数据编码格式。
5.如权利要求1所述的直播视频数据生成方法，其特征在于，所述识别出所述主播视频数据中第一视频帧中的目标对象数据包括：
通过预设的目标对象识别模型识别出所述第一视频帧中的所述目标对象数据；或者
当所述主播视频数据为虚拟摄像头拍摄的视频数据时，通过绿幕抠图的方式将第一视频帧中除所述目标对象数据之外的数据抠除，从而得到所述目标对象数据。
6.一种直播视频播放方法，其特征在于，所述方法包括：
接收直播视频数据以及对应的弹幕数据；
解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据，其中，所述第二视频帧为所述直播视频数据中的任一视频帧；
根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版；
当播放所述第二视频帧时，将所述第二视频帧对应的目标弹幕数据显示到所述弹幕蒙版。
7.如权利要求6所述的直播视频播放方法，其特征在于，所述根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版包括：
根据所述防遮挡区域数据在所述第二视频帧的视频帧画面绘制出防遮挡区域范围；
在预设的所述第二视频帧的初始弹幕蒙版中设置对应于所述防遮挡区域范围的防遮挡区块，将已设置所述防遮挡区块的所述初始弹幕蒙版作为所述第二视频帧对应的弹幕蒙版。
8.如权利要求7所述的直播视频播放方法，其特征在于，所述方法还包括：
当所述目标弹幕数据显示到所述弹幕蒙版时，若所述目标弹幕数据与所述防遮挡区块重叠，则将所述目标弹幕数据的重叠部分进行透明显示。
9.一种直播视频数据生成装置，其特征在于，所述装置包括：
识别模块，用于获取主播视频数据，识别出所述主播视频数据中第一视频帧中的目标对象数据，其中，所述第一视频帧为所述主播视频数据中的任一视频帧；
计算模块，用于根据所述目标对象数据计算出所述第一视频帧的防遮挡区域数据；
生成模块，用于将所述防遮挡区域数据添加到所述第一视频帧对应的数据包，以生成直播视频数据的第二视频帧。
10.一种直播视频播放装置，其特征在于，所述装置包括：
接收模块，用于接收直播视频数据以及对应的弹幕数据；
解析模块，用于解析所述直播视频数据的第二视频帧，直接提取出其中的防遮挡区域数据，其中，所述第二视频帧为所述直播视频数据中的任一视频帧；
建立模块，用于根据所述防遮挡区域数据建立所述第二视频帧对应的弹幕蒙版；
显示模块，用于当播放所述第二视频帧时，将所述第二视频帧对应的目标弹幕数据显示到所述弹幕蒙版。
CN202010772489.XA 2020-08-04 2020-08-04 直播视频数据生成方法、装置及直播视频播放方法、装置 Pending CN112423110A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010772489.XA CN112423110A (zh) 2020-08-04 2020-08-04 直播视频数据生成方法、装置及直播视频播放方法、装置
US17/392,711 US11863801B2 (en) 2020-08-04 2021-08-03 Method and device for generating live streaming video data and method and device for playing live streaming video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010772489.XA CN112423110A (zh) 2020-08-04 2020-08-04 直播视频数据生成方法、装置及直播视频播放方法、装置

Publications (1)

Publication Number Publication Date
CN112423110A true CN112423110A (zh) 2021-02-26

Family

ID=74844123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772489.XA Pending CN112423110A (zh) 2020-08-04 2020-08-04 直播视频数据生成方法、装置及直播视频播放方法、装置

Country Status (2)

Country Link
US (1) US11863801B2 (zh)
CN (1) CN112423110A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207516A1 (zh) * 2022-04-27 2023-11-02 北京字跳网络技术有限公司 直播视频处理方法、装置、电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
CN114630138B (zh) * 2022-03-14 2023-12-08 上海哔哩哔哩科技有限公司 配置信息下发方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616772A (zh) * 2018-05-04 2018-10-02 维沃移动通信有限公司 一种弹幕显示方法、终端和服务器
CN109151489A (zh) * 2018-08-14 2019-01-04 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
CN109302619A (zh) * 2018-09-18 2019-02-01 北京奇艺世纪科技有限公司 一种信息处理方法及装置
CN109309861A (zh) * 2018-10-30 2019-02-05 广州虎牙科技有限公司 一种媒体处理方法、装置、终端设备和存储介质
CN109688457A (zh) * 2018-12-28 2019-04-26 武汉斗鱼网络科技有限公司 一种视频防遮挡方法、装置、电子设备及介质
CN111246232A (zh) * 2020-01-17 2020-06-05 广州华多网络科技有限公司 直播互动方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547867B2 (en) * 2014-05-07 2017-01-17 International Business Machines Corporation Targeted advertising and customized display of advertisements in satellite broadcasting
US10740891B1 (en) * 2016-05-20 2020-08-11 Ccc Information Services Inc. Technology for analyzing images depicting vehicles according to base image models
US11109086B2 (en) * 2016-12-31 2021-08-31 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode
CN107105318B (zh) * 2017-03-21 2021-01-29 华为技术有限公司 一种视频热点片段提取方法、用户设备和服务器
CN107181976B (zh) * 2017-04-28 2021-01-29 华为技术有限公司 一种弹幕显示方法及电子设备
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
US10587883B2 (en) * 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
US20190253757A1 (en) * 2018-02-09 2019-08-15 Rovi Guides, Inc. Systems and methods for blocking spoilers
US10757347B1 (en) * 2019-05-08 2020-08-25 Facebook, Inc. Modifying display of an overlay on video data based on locations of regions of interest within the video data
CN112492324A (zh) * 2019-09-12 2021-03-12 上海哔哩哔哩科技有限公司 数据处理方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616772A (zh) * 2018-05-04 2018-10-02 维沃移动通信有限公司 一种弹幕显示方法、终端和服务器
CN109151489A (zh) * 2018-08-14 2019-01-04 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
CN109302619A (zh) * 2018-09-18 2019-02-01 北京奇艺世纪科技有限公司 一种信息处理方法及装置
CN109309861A (zh) * 2018-10-30 2019-02-05 广州虎牙科技有限公司 一种媒体处理方法、装置、终端设备和存储介质
CN109688457A (zh) * 2018-12-28 2019-04-26 武汉斗鱼网络科技有限公司 一种视频防遮挡方法、装置、电子设备及介质
CN111246232A (zh) * 2020-01-17 2020-06-05 广州华多网络科技有限公司 直播互动方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207516A1 (zh) * 2022-04-27 2023-11-02 北京字跳网络技术有限公司 直播视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11863801B2 (en) 2024-01-02
US20220046291A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
CN112423110A (zh) 直播视频数据生成方法、装置及直播视频播放方法、装置
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
US8495697B1 (en) Techniques to provide an enhanced video replay
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN109547724B (zh) 一种视频流数据的处理方法、电子设备及存储装置
CN109963176B (zh) 视频码流处理方法、装置、网络设备和可读存储介质
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
CN110933461B (zh) 图像处理方法、装置、系统、网络设备、终端及存储介质
CN108418832A (zh) 一种虚拟现实导购方法、系统及存储介质
CN114007059A (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
CN106792155A (zh) 一种多视频流的视频直播的方法及装置
CN112492289A (zh) 沉浸媒体数据的处理方法及装置、存储介质和电子装置
CN106604047A (zh) 一种多视频流的视频直播的方法及装置
CN116962742A (zh) 网络直播的视频图像数据传输方法、装置及直播系统
CN112423108B (zh) 码流的处理方法、装置、第一终端、第二终端及存储介质
CN115396647A (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN115103138A (zh) 一种基于时空一致的虚实融合图像的生成方法和系统
CN113194326A (zh) 全景直播方法、装置、计算机设备及计算机可读存储介质
CN112261422A (zh) 适用于广电领域的仿真远程直播流数据处理方法
WO2018120857A1 (zh) 一种基于流媒体技术的视频数据的处理方法及装置
WO2022037423A1 (zh) 点云媒体的数据处理方法、装置、设备及介质
CN114745597A (zh) 视频处理方法和装置、电子设备和计算机可读存储介质
CN113476830A (zh) 云游戏数据处理方法、装置、游戏终端及处理器
CN116546239A (zh) 视频处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination