CN106713942A - 视频处理方法和装置 - Google Patents

视频处理方法和装置 Download PDF

Info

Publication number
CN106713942A
CN106713942A CN201611228075.0A CN201611228075A CN106713942A CN 106713942 A CN106713942 A CN 106713942A CN 201611228075 A CN201611228075 A CN 201611228075A CN 106713942 A CN106713942 A CN 106713942A
Authority
CN
China
Prior art keywords
video data
road
video
background
concurrent processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611228075.0A
Other languages
English (en)
Other versions
CN106713942B (zh
Inventor
陈孟琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201611228075.0A priority Critical patent/CN106713942B/zh
Publication of CN106713942A publication Critical patent/CN106713942A/zh
Application granted granted Critical
Publication of CN106713942B publication Critical patent/CN106713942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]

Abstract

本申请公开了一种视频处理方法及装置,所述方法包括:获取各路视频数据以及各路视频数据对应的虚拟背景;通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景;将并发处理后的各路视频数据组成视频源信号。实施本申请,可以同时并发地用虚拟背景替换多个视频的背景,再将替换背景后的多个视频组成视频源,保证视频内容能够实时流畅播放的同时,还能呈现多样化的视频内容,丰富视频播放效果。

Description

视频处理方法和装置
技术领域
本申请涉及计算机技术领域,尤其涉及视频处理方法和装置。
背景技术
随着网络技术的飞速发展,网络视频直播系统可以应用户的要求,将主播用户的直播视频流广播至多个观众用户实现直播。在直播实现过程中,主播用户的客户端设备采集主播用户的直播视频流,将直播视频流发送给服务器,服务器将直播视频流通过广播或组播技术发送到相应的观众客户端,各个观众客户端接收并显示该直播视频流。为了丰富展示直播画面,主播用户可以采用多个摄像头多方位拍摄直播场景,获得不同角度的视频内容,将多个视频合并到后输出给用户,丰富直播内容。
为了进一步增加直播内容的趣味性,可以更换直播视频中的背景,呈现多样化的直播内容。而目前的背景更换方案,如果分别对多个摄像头拍摄的视频内容进行背景替换,替换背景后再合成直播视频,会出现直播视频不同步的问题,例如:进行背景替换时任一帧图像卡住,就会造成整个直播视频的卡顿。
发明内容
本申请提供一种视频处理方法和装置,解决现有技术中的相关问题。
根据本申请实施例的第一方面,提供一种视频处理方法,包括以下步骤:
获取各路视频数据以及各路视频数据对应的虚拟背景;
通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景;
将并发处理后的各路视频数据组成视频源信号。
在一个实施例中,所述通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景,包括:
调用本地的各线程对各路视频数据进行并发处理,一个线程处理一路视频数据;
在进行并发处理时,将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景。
在一个实施例中,所述获取各路视频数据以及各路视频数据对应的虚拟背景,包括:
接收各摄像设备采集的视频流为各路视频数据,一个摄像设备对应一路视频数据;
调取与各摄像设备对应的虚拟背景,构成各路视频数据对应的虚拟背景。
在一个实施例中,所述通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景,包括:
通过对各路视频数据进行并发处理,将各路视频数据以及其对应的虚拟背景压缩成:预设尺寸的各路压缩信号以及各路压缩信号对应的预设尺寸的压缩背景;
将各路压缩信号所含的背景数据替换成各自对应的压缩背景,生成并发处理后的各路视频数据。
在一个实施例中,所述将并发处理后的各路视频数据组成视频源信号后,所述方法还包括:
对所述视频源信号进行尺寸扩展,生成与获取的任一路视频数据尺寸相同的视频源信号。
在一个实施例中,所述将并发处理后的各路视频数据组成视频源信号后,所述方法还包括:
从并发处理后的各路视频数据中识别出一路主视频数据;
将除主视频数据外的其他并发处理后的视频数据,确定为辅助视频数据;
将各路辅助视频数据分别叠加到所述主视频数据的各局部区域,生成视频播放信号。
在一个实施例中,各路视频数据由设置在直播场景不同方位的各摄像设备采集所得。
根据本申请实施例的第二方面,提供一种视频处理装置,包括:
信息获取模块,用于获取各路视频数据以及各路视频数据对应的虚拟背景;
并发处理模块,用于通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景;
视频组成模块,用于将并发处理后的各路视频数据组成视频源信号。
在一个实施例中,所述并发处理模块包括:
线程调用模块,用于调用本地的各线程对各路视频数据进行并发处理,一个线程处理一路视频数据;
第一替换模块,用于在进行并发处理时,将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景。
在一个实施例中,所述信息获取模块包括:
视频接收模块,用于接收各摄像设备采集的视频流为各路视频数据,一个摄像设备对应一路视频数据;
背景调取模块,调取与各摄像设备对应的虚拟背景,构成各路视频数据对应的虚拟背景。
在一个实施例中,所述并发处理模块包括:
视频压缩模块,用于通过对各路视频数据进行并发处理,将各路视频数据以及其对应的虚拟背景压缩成:预设尺寸的各路压缩信号以及各路压缩信号对应的预设尺寸的压缩背景;
第二替换模块,用于将各路压缩信号所含的背景数据替换成各自对应的压缩背景,生成并发处理后的各路视频数据。
在一个实施例中,所述装置还包括:
尺寸扩展模块,用于对所述视频源信号进行尺寸扩展,生成与获取的任一路视频数据尺寸相同的视频源信号。
在一个实施例中,所述装置还包括:
主视频识别模块,用于从并发处理后的各路视频数据中识别出一路主视频数据;
辅助视频确定模块,用于将除主视频数据外的其他并发处理后的视频数据,确定为辅助视频数据;
视频叠加模块,用于将各路辅助视频数据分别叠加到所述主视频数据的各局部区域,生成视频播放信号。
在一个实施例中,各路视频数据由设置在直播场景不同方位的各摄像设备采集所得。
本申请的实施例,通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景;将并发处理后的各路视频数据组成视频源信号。因此,可以同时并发地用虚拟背景替换多个视频的背景,再将替换背景后的多个视频组成视频源,保证视频内容能够实时流畅播放的同时,还能呈现多样化的视频内容,丰富视频播放效果。
附图说明
图1a是本申请视频处理方法的一个实施例流程图;
图1b是本申请根据一示例性实施例示出的并行处理的示意图;
图2a是本申请实施例视频处理方法的一个应用场景示意图;
图2b是本申请视频处理方法的另一个实施例的流程图;
图2c是本申请根据一示例性实施例示出的直播预览界面的第一示意图;
图2d是本申请根据一示例性实施例示出的直播预览界面的第二示意图;
图3是本申请视频处理装置的一个实施例框图;
图4是本申请视频处理装置的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面通过具体实施例并结合具体的应用场景对本申请提出的视频处理方法和装置进行描述。
图1a是本申请视频处理方法的一个实施例流程图,该实施例可以包括以下步骤101-103:
步骤101:获取各路视频数据以及各路视频数据对应的虚拟背景。
本申请实施例中,各路视频数据可以由设置在同一拍摄区域的不同方位的摄像设备分别采集所得,一路视频视频数据对应一个方位的摄像设备。而各路视频数据与虚拟背景之间的对应关系可以由用户根据实际需要设定,多路视频数据对应一个虚拟背景,或者一路视频数据对应一个虚拟背景,虚拟背景也可以由用户根据其想要呈现的背景画面预先选定。例如:一路视频数据对应阳光海岸画面的虚拟背景,另一路视频数据对应公主房画面的虚拟背景。
在一个实施例中,可以通过以下操作获取各路视频数据以及各路视频数据对应的虚拟背景,包括:
接收各摄像设备采集的视频流为各路视频数据,一个摄像设备对应一路视频数据。
调取与各摄像设备对应的虚拟背景,构成各路视频数据对应的虚拟背景。
本例子中,可以预先设置各摄像设备与虚拟背景之间的对应关系,这样在虚拟背景库存储虚拟背景时,可以将虚拟背景与各摄像设备的标识对应存储,调取与各摄像设备对应的虚拟背景时,可以查找与各摄像设备的标识对应存储的虚拟背景。
步骤102:通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景。
本申请实施例中,替换背景时,将各路视频数据与其所含的背景数据分离,然后将分离后的各路视频数据分别与各自对应的虚拟背景合并。
而分离视频数据和合成虚拟背景分别是视频处理技术中极其消耗处理器的操作,如果不采用并行处理,先后分别对各路视频数据进行背景替换,将各路视频数据组成的视频源信号进行播放时,对处理器的消耗极大,而且如果一路视频数据的处理过程出现故障,将导致整个视频处理过程的停滞,容易造成各路视频数据不同步的问题。为了并行处理各路视频数据的背景替换过程,可以通过以下操作采用多线程实现各路视频数据的背景替换:
调用本地的各线程对各路视频数据进行并发处理,一个线程处理一路视频数据。
在进行并发处理时,将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景。
如图1b所示,调用本地的各线程对各路视频数据进行并发处理时,可以将本申请的视频处理过程的处理资源A1分配给若干线程A2,每一个线程均有足够的处理资源完成一个处理任务A3,一个处理任务A3对应一路视频数据的并发处理。
在将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景时,可以先将每路视频数据所含的背景数据从该路视频数据中分离;将分离背景数据后的视频数据与其对应的虚拟背景进行合成。分离视频数据可以通过图像处理领域的抠图技术实现。
此外,各线程在处理视频数据时,如果视频数据的分辨率固定,即视频数据中包含的像素点数量是固定的,那么视频数据的画面尺寸越大,填充视频数据放大所需的像素点就越多,而视频数据包含的像素点数量又是有限的,这就需要通过插值运算来填充像素点周围的空白面积,来满足填充视频数据的画面尺寸的需要。但插值运算对应的插值像素没有实际视频数据对应的画面信息,其对应的画面信息需要通过相邻像素点的实际视频数据对应画面信息运算得出,所以需要插值运算填充的空白面积越大,在编辑该像素点时消耗的处理资源就越多。
为了进一步节约背景替换对处理器的消耗,减少视频播放出现卡顿现象,可以在通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景的过程中,对每路视频数据做缩小处理,实现过程如下:
通过对各路视频数据进行并发处理,将各路视频数据以及其对应的虚拟背景压缩成:预设尺寸的各路压缩信号以及各路压缩信号对应的预设尺寸的压缩背景。
将各路压缩信号所含的背景数据替换成各自对应的压缩背景,生成并发处理后的各路视频数据。
在一个例子中,各路视频数据的大小分别为800像素*600像素,所述预设尺寸为400像素*300像素。
在并发处理各路视频数据时,如果压缩了各路视频数据,可以减少处理资源的消耗,但后续组成的视频源信号的画面尺寸仍处于压缩后的状态,会影响到视频播放效果,为了不影响视频播放效果,在将并发处理后的各路视频数据组成视频源信号后,可以对所述视频源信号进行尺寸扩展,生成与获取的任一路视频数据尺寸相同的视频源信号。
步骤103:将并发处理后的各路视频数据组成视频源信号。
本申请实施例中,在对各路视频数据完成背景替换后,各视频数据依然是分散、独立的,只是视频播放源内容的一部分,不适合向观众呈现。故需要进行将处理后的各路视频数据组成视频源信号。如果视频源信号的组成部分仅包括各路替换背景后的视频数据,那么在各视频数据替换完背景后,即可将并发处理后的各路视频数据组成视频源信号。如果还包括其他无需替换背景的视频数据,可以获取到其他视频数据后,再将其他视频数据与并处理后的各路视频数据组成视频源信号。
在组成视频源信号后,可以直接在播放端播放视频源信号,也可以从视频源信号中选取部分视频数据进行播放。
在某些应用场景,播放视频源信号的视频播放端、与替换各路视频数据的背景的背景替换端一体,那么背景替换端在将各路视频数据替换虚拟背景后,可以直接将各路视频数据合并成视频源信号。如果视频播放端与背景替换端不一体,那么背景替换端在将各路视频数据替换虚拟背景后,可以将各路视频数据分别作为视频源信号一部分,打包发送到视频合成端或者视频播放端,以使视频合成端或者视频播放端将各路视频数据合并成视频源信号。
在一个可选实现方式中,在将各路视频数据组成视频源信号后,还可以通过以下操作将并发处理后的各路视频数据组成视频播放信号:
从并发处理后的各路视频数据中识别出一路主视频数据。
将除主视频数据外的其他并发处理后的视频数据,确定为辅助视频数据。
将各路辅助视频数据分别叠加到所述主视频数据的各局部区域,生成视频播放信号。
生成视频播放信号后可以直接推动到视频播放端进行播放,呈现多样化的视频播放内容。
此外,为了进一步丰富视频播放内容,将各路辅助视频数据分别叠加到所述主视频数据的各局部区域前,还可以分别为各路辅助视频数据匹配播放特效,所述播放特效包括拉伸效果和/或移动效果。
随着视频技术广泛应用于数字化领域的方方面面,对视频形式的要求也多种多样。逐渐兴起的视频直播是当前视频技术应用的一个热点,主播通过摄像设备(如摄像头)拍摄直播场景的视频及自己的影像,经过一定的编辑后,传送至用户端,将直播场景及主播的影像实时的展示在用户端。作为丰富视频内容的一种方式,主播可以使用多个摄像头从不同方位拍摄直播场景,拍摄主播多个角度的影像,再将多个视频合并输出为一个直播视频,展示更全面的直播内容。
作为丰富视频内容的另一种方式,主播通过摄像头拍摄直播场景的视频及自己的影像后,可以通过视频处理技术替换视频的背景,展现更多样的直播内容。易于理解的,在多个视频中都可以实现背景的替换,可以进一步丰富视频内容。而本申请的视频处理方法,可以使用虚拟背景替换多个视频的背景,再将多个视频合并输出一个视频,实现对多视频背景的替换,丰富视频效果。
参见图2a,以视频直播为例,示出本申请实施例视频处理方法的一个应用场景示意图,该应用场景包括:直播服务器以及通过网络分别与直播服务器连接的直播终端、移动观看终端和固定观看终端。
对于直播终端,装设有主播客户端,可以是具有数据采集、编码、通信功能的设备,例如:台式计算机、智能手机、平板电脑等智能设备。在主播用户启动直播后,主播客户端可以通过直播终端接收设置在直播场景的不同方位的摄像设备采集的直播视频流。
对于直播服务器,用于提供网络直播的后台服务,接收直播终端发送的直播视频流,并将该直播视频流与主播客户端对应存储。此外,还存储有主播客户端与各个频道之间的对应关系,向属于同一频道内的观众客户端发送直播视频流。
对于移动观看终端和固定观看终端,可以是具有数据通信、渲染、输出功能的设备,例如:台式计算机、智能手机、平板电脑等智能设备。其装设有观众客户端,便于用户通过移动观看终端或固定观看终端观看主播客户端上传的直播视频流。
以下视频直播为例,结合图2a所示应用场景阐述一实例,该实例的具体实现过程可以参见图2b,包括以下步骤201-208:
步骤201:直播终端获取各路视频数据以及各路视频数据对应的虚拟背景。
本申请实施例中,直播终端可以接收预先设置的多个摄像设备采集的视频流,构成各路视频数据,一个摄像设备采集得到一路视频数据,各摄像设备设置在直播场景的不同方位,可以设置其中一个为主摄像设备(主摄像头),其余为辅助摄像设备(副摄像头),主摄像设备采集的视频数据为主视频数据,辅助摄像设备采集的视频数据为辅助视频数据,为区分主视频数数据和辅助视频数据,可以为视频数据添加不同的视频ID(身份标识)。
参阅图2c,直播终端在接收到各摄像设备采集的视频数据后,主播用户可通过图2c所示的直播预览界面中的虚拟背景菜单项,设置主摄像头采集的视频数据对应的虚拟背景,以及各副摄像头采集的各路视频数据对应的虚拟背景。例如:主摄像头采集的视频数据对应油画风景画面的虚拟背景,副摄像头采集的视频数据对应花海画面的虚拟背景,设置虚拟背景后,可以在图2d所示的直播预览界面预览替换虚拟背景后的直播画面。
步骤202:直播终端调用本地的各线程对各路视频数据进行并发处理,一个线程处理一路视频数据。
本申请实施例中,可以通过直播终端的CPU作为运算单元,承担视频处理的运算任务。CPU的多线程机制可以将整个运算任务创建为一个整体线程,在该整体线程中分配多个线程完成运算任务,各个线程共享该整体线程分配到的视频处理运算资源,所以各个线程之间容易进行数据共享和交换,共享直播终端端的多路视频数据输出到观看用户端视频画面的画面速率,保证观看用户端视频中的多个视频画面同步。
步骤203:直播终端在进行并发处理时,将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景。
本申请实施例中,替换背景可以使用开源的OBS(Open Broadcaster Software,在线直播软件)技术。OBS是一种开源的在线直播软件,具有轻量、免费的特点,可以对视频中的人物进行抠图。
实际应用时,可以在主播用户背后放置与主播用户的服饰颜色反差较大的纯色背景,构成一块包含主播用户的视频图像在内的色调对比强烈的区域,使主播用户的视频图像与纯色背景之间形成明显的边缘,从而便于将主播用户的视频图像从区域中“切”出来,再使用虚拟背景与“切”出来的主播用户的视频图像合并,完成背景替换。
步骤204:直播终端将替换背景后的各路视频数据作为待播放的直播视频流,向直播服务器发送。
步骤205:直播服务器从并发处理后的各路视频数据中识别出一路主视频数据。
本申请实施例中,根据各路视频数据的ID,识别出主摄像设备采集的视频数据为主视频数据,剩余视频数据为辅助视频数据。
步骤206:直播服务器将除主视频数据外的其他并发处理后的视频数据,确定为辅助视频数据。
步骤207:直播服务器将各路辅助视频数据分别叠加到所述主视频数据的各局部区域,生成待播放的直播视频信号。
本申请实施例中,直播服务器收到多个摄像头的图像之后,会进行判断合并处理,将主摄像头拍摄的图像放在最下方,辅助摄像头拍摄的图像按照顺序依次显示在主摄像头拍摄的图像的上方的局部区域。
步骤208:直播服务器向属于同一频道内的观众客户端发送所述直播视频信号。
此外为了进一步丰富直播内容,直播终端用户可以在将各路视频数据作为直播视频流向服务器发送前,主播用户可以通过如图2c所示的直播预览界面内的“特效效果”菜单项,分别为各路辅助视频数据匹配播放特效,所述播放特效包括双面镜、水平旋转、垂直翻转、拉伸效果和移动效果中的至少一种。
在其他实施例中,直播终端可以将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景替换背景后,直接从并发处理后的各路视频数据中识别出一路主视频数据,将除主视频数据外的其他并发处理后的视频数据,确定为辅助视频数据,再将各路辅助视频数据分别叠加到所述主视频数据的各局部区域,生成待播放的直播视频信号,然后向直播服务器发送所述直播视频信号,以使直播服务器将所述直播视频信号向属于同一频道内的观众客户端发送。
实际应用中,在将辅助视频数据叠加到主视频数据的局部区域时,可以仅叠加部分辅助视频数据。
由上述实施例可知:通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景;将并发处理后的各路视频数据组成视频源信号。因此,可以同时并发地用虚拟背景替换多个视频的背景,再将替换背景后的多个视频组成视频源,保证视频内容能够实时流畅播放的同时,还能呈现多样化的视频内容,丰富视频播放效果。
如果应用到直播领域,替换各路直播视频流的虚拟背景后,可以保证直播内容能够实时流畅播放的同时,还能呈现多样化的直播内容,丰富直播效果。
与前述视频处理方法的实施例相对应,本申请还提供了视频处理装置的实施例。
参见图3,图3是本申请视频处理装置的一个实施例框图,该装置可以包括:信息获取模块310、并发处理模块320和视频组成模块330。
其中,信息获取模块310,用于获取各路视频数据以及各路视频数据对应的虚拟背景。
并发处理模块320,用于通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景。
视频组成模块330,用于将并发处理后的各路视频数据组成视频源信号。
在一个可选的实现方式中,信息获取模块310还可以包括(图3中未示出):
视频接收模块,用于接收各摄像设备采集的视频流为各路视频数据,一个摄像设备对应一路视频数据。
背景调取模块,调取与各摄像设备对应的虚拟背景,构成各路视频数据对应的虚拟背景。
在另一个可选的实现方式中,并发处理模块320还可以包括(图3中未示出):
线程调用模块,用于调用本地的各线程对各路视频数据进行并发处理,一个线程处理一路视频数据。
第一替换模块,用于在进行并发处理时,将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景。
在另一个可选的实现方式中,并发处理模块320还可以包括(图3中未示出):
视频压缩模块,用于通过对各路视频数据进行并发处理,将各路视频数据以及其对应的虚拟背景压缩成:预设尺寸的各路压缩信号以及各路压缩信号对应的预设尺寸的压缩背景。
第二替换模块,用于将各路压缩信号所含的背景数据替换成各自对应的压缩背景,生成并发处理后的各路视频数据。
在另一个可选的实现方式中,本申请实施例的视频处理装置还可以包括(图3中未示出):
尺寸扩展模块,用于对所述视频源信号进行尺寸扩展,生成与获取的任一路视频数据尺寸相同的视频源信号。
在另一个可选的实现方式中,本申请实施例的视频处理装置还可以包括(图3中未示出):
主视频识别模块,用于从并发处理后的各路视频数据中识别出一路主视频数据。
辅助视频确定模块,用于将除主视频数据外的其他并发处理后的视频数据,确定为辅助视频数据。
视频叠加模块,用于将各路辅助视频数据分别叠加到所述主视频数据的各局部区域,生成视频播放信号。
在另一个可选的实现方式中,各路视频数据由设置在直播场景不同方位的各摄像设备采集所得。
上述装置中各个单元(或模块)的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元或模块可以是或者也可以不是物理上分开的,作为单元或模块显示的部件可以是或者也可以不是物理单元或模块,即可以位于一个地方,或者也可以分布到多个网络单元或模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本申请视频处理装置的实施例可以应用在电子设备上。具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现中,电子设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备、互联网电视、智能机车、智能家居设备或者这些设备中的任意几种设备的组合。
装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器等可读介质中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本申请视频处理装置所在电子设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。电子设备的存储处理器可以是可执行指令的存储器;处理器可以耦合存储器,用于读取所述存储器存储的程序指令,并作为响应,执行如下操作:获取各路视频数据以及各路视频数据对应的虚拟背景;通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景;将并发处理后的各路视频数据组成视频源信号。
在其他实施例中,处理器所执行的操作可以参考上文方法实施例中相关的描述,在此不予赘述。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (14)

1.一种视频处理方法,其特征在于,包括以下步骤:
获取各路视频数据以及各路视频数据对应的虚拟背景;
通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景;
将并发处理后的各路视频数据组成视频源信号。
2.如权利要求1所述的方法,其特征在于,所述通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景,包括:
调用本地的各线程对各路视频数据进行并发处理,一个线程处理一路视频数据;
在进行并发处理时,将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景。
3.如权利要求1所述的方法,其特征在于,所述获取各路视频数据以及各路视频数据对应的虚拟背景,包括:
接收各摄像设备采集的视频流为各路视频数据,一个摄像设备对应一路视频数据;
调取与各摄像设备对应的虚拟背景,构成各路视频数据对应的虚拟背景。
4.如权利要求1所述的方法,其特征在于,所述通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景,包括:
通过对各路视频数据进行并发处理,将各路视频数据以及其对应的虚拟背景压缩成:预设尺寸的各路压缩信号以及各路压缩信号对应的预设尺寸的压缩背景;
将各路压缩信号所含的背景数据替换成各自对应的压缩背景,生成并发处理后的各路视频数据。
5.如权利要求4所述的方法,其特征在于,所述将并发处理后的各路视频数据组成视频源信号后,所述方法还包括:
对所述视频源信号进行尺寸扩展,生成与获取的任一路视频数据尺寸相同的视频源信号。
6.如权利要求1至5中任一项所述的方法,其特征在于,所述将并发处理后的各路视频数据组成视频源信号后,所述方法还包括:
从并发处理后的各路视频数据中识别出一路主视频数据;
将除主视频数据外的其他并发处理后的视频数据,确定为辅助视频数据;
将各路辅助视频数据分别叠加到所述主视频数据的各局部区域,生成视频播放信号。
7.如权利要求6所述的方法,其特征在于,各路视频数据由设置在直播场景不同方位的各摄像设备采集所得。
8.一种视频处理装置,其特征在于,包括:
信息获取模块,用于获取各路视频数据以及各路视频数据对应的虚拟背景;
并发处理模块,用于通过对各路视频数据进行并发处理,将各路视频数据所含的背景数据替换成各自对应的虚拟背景;
视频组成模块,用于将并发处理后的各路视频数据组成视频源信号。
9.如权利要求8所述的装置,其特征在于,所述并发处理模块包括:
线程调用模块,用于调用本地的各线程对各路视频数据进行并发处理,一个线程处理一路视频数据;
第一替换模块,用于在进行并发处理时,将每个线程所处理的视频数据所含的背景数据替换成该路视频数据对应的虚拟背景。
10.如权利要求9所述的装置,其特征在于,所述信息获取模块包括:
视频接收模块,用于接收各摄像设备采集的视频流为各路视频数据,一个摄像设备对应一路视频数据;
背景调取模块,调取与各摄像设备对应的虚拟背景,构成各路视频数据对应的虚拟背景。
11.如权利要求8所述的装置,其特征在于,所述并发处理模块包括:
视频压缩模块,用于通过对各路视频数据进行并发处理,将各路视频数据以及其对应的虚拟背景压缩成:预设尺寸的各路压缩信号以及各路压缩信号对应的预设尺寸的压缩背景;
第二替换模块,用于将各路压缩信号所含的背景数据替换成各自对应的压缩背景,生成并发处理后的各路视频数据。
12.如权利要求11所述的装置,其特征在于,所述装置还包括:
尺寸扩展模块,用于对所述视频源信号进行尺寸扩展,生成与获取的任一路视频数据尺寸相同的视频源信号。
13.如权利要求8至12中任一项所述的装置,其特征在于,所述装置还包括:
主视频识别模块,用于从并发处理后的各路视频数据中识别出一路主视频数据;
辅助视频确定模块,用于将除主视频数据外的其他并发处理后的视频数据,确定为辅助视频数据;
视频叠加模块,用于将各路辅助视频数据分别叠加到所述主视频数据的各局部区域,生成视频播放信号。
14.如权利要求13所述的装置,其特征在于,各路视频数据由设置在直播场景不同方位的各摄像设备采集所得。
CN201611228075.0A 2016-12-27 2016-12-27 视频处理方法和装置 Active CN106713942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611228075.0A CN106713942B (zh) 2016-12-27 2016-12-27 视频处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611228075.0A CN106713942B (zh) 2016-12-27 2016-12-27 视频处理方法和装置

Publications (2)

Publication Number Publication Date
CN106713942A true CN106713942A (zh) 2017-05-24
CN106713942B CN106713942B (zh) 2020-06-09

Family

ID=58896531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611228075.0A Active CN106713942B (zh) 2016-12-27 2016-12-27 视频处理方法和装置

Country Status (1)

Country Link
CN (1) CN106713942B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948741A (zh) * 2017-10-31 2018-04-20 深圳宜弘电子科技有限公司 基于智能终端的动态漫画播放方法及系统
CN108933958A (zh) * 2017-05-27 2018-12-04 武汉斗鱼网络科技有限公司 在用户端实现连麦预览的方法、存储介质、设备及系统
CN110933448A (zh) * 2019-11-29 2020-03-27 广州市百果园信息技术有限公司 直播列表服务系统及方法
CN113014801A (zh) * 2021-02-01 2021-06-22 维沃移动通信有限公司 录像方法、装置、电子设备及介质
CN113965665A (zh) * 2021-11-22 2022-01-21 上海掌门科技有限公司 一种用于确定虚拟直播图像的方法与设备
CN114915798A (zh) * 2021-02-08 2022-08-16 阿里巴巴集团控股有限公司 实时视频生成方法、多摄像头直播方法及装置
CN115225929A (zh) * 2022-07-12 2022-10-21 北京字跳网络技术有限公司 直播页面配置方法及装置、电子设备、存储介质
CN113873272B (zh) * 2021-09-09 2023-12-15 北京都是科技有限公司 一种控制直播视频的背景图像的方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998042126A1 (en) * 1997-03-18 1998-09-24 The Metaphor Group Real-time method of digitally altering a video data stream to remove portions of the original image and substitute elements to create a new image
CN105392053A (zh) * 2015-12-11 2016-03-09 上海纬而视科技股份有限公司 一种实时接收和处理网络视频流的方法
CN105472271A (zh) * 2014-09-10 2016-04-06 易珉 一种视频互动方法、装置和系统
WO2016058302A1 (zh) * 2014-10-14 2016-04-21 青岛海信电器股份有限公司 一种多视频数据显示的方法及装置
CN105827976A (zh) * 2016-04-26 2016-08-03 北京博瑞空间科技发展有限公司 基于gpu的视频采集与处理装置及系统
CN105828091A (zh) * 2016-03-28 2016-08-03 广州华多网络科技有限公司 网络直播中视频节目的播放方法及系统
CN106101579A (zh) * 2016-07-29 2016-11-09 维沃移动通信有限公司 一种视频拼接的方法及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998042126A1 (en) * 1997-03-18 1998-09-24 The Metaphor Group Real-time method of digitally altering a video data stream to remove portions of the original image and substitute elements to create a new image
CN105472271A (zh) * 2014-09-10 2016-04-06 易珉 一种视频互动方法、装置和系统
WO2016058302A1 (zh) * 2014-10-14 2016-04-21 青岛海信电器股份有限公司 一种多视频数据显示的方法及装置
CN105392053A (zh) * 2015-12-11 2016-03-09 上海纬而视科技股份有限公司 一种实时接收和处理网络视频流的方法
CN105828091A (zh) * 2016-03-28 2016-08-03 广州华多网络科技有限公司 网络直播中视频节目的播放方法及系统
CN105827976A (zh) * 2016-04-26 2016-08-03 北京博瑞空间科技发展有限公司 基于gpu的视频采集与处理装置及系统
CN106101579A (zh) * 2016-07-29 2016-11-09 维沃移动通信有限公司 一种视频拼接的方法及移动终端

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933958A (zh) * 2017-05-27 2018-12-04 武汉斗鱼网络科技有限公司 在用户端实现连麦预览的方法、存储介质、设备及系统
CN108933958B (zh) * 2017-05-27 2020-10-16 武汉斗鱼网络科技有限公司 在用户端实现连麦预览的方法、存储介质、设备及系统
CN107948741A (zh) * 2017-10-31 2018-04-20 深圳宜弘电子科技有限公司 基于智能终端的动态漫画播放方法及系统
CN110933448A (zh) * 2019-11-29 2020-03-27 广州市百果园信息技术有限公司 直播列表服务系统及方法
CN110933448B (zh) * 2019-11-29 2022-07-12 广州市百果园信息技术有限公司 直播列表服务系统及方法
CN113014801A (zh) * 2021-02-01 2021-06-22 维沃移动通信有限公司 录像方法、装置、电子设备及介质
CN114915798A (zh) * 2021-02-08 2022-08-16 阿里巴巴集团控股有限公司 实时视频生成方法、多摄像头直播方法及装置
CN113873272B (zh) * 2021-09-09 2023-12-15 北京都是科技有限公司 一种控制直播视频的背景图像的方法、装置及存储介质
CN113965665A (zh) * 2021-11-22 2022-01-21 上海掌门科技有限公司 一种用于确定虚拟直播图像的方法与设备
CN115225929A (zh) * 2022-07-12 2022-10-21 北京字跳网络技术有限公司 直播页面配置方法及装置、电子设备、存储介质
CN115225929B (zh) * 2022-07-12 2023-12-15 北京字跳网络技术有限公司 直播页面配置方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN106713942B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN106713942A (zh) 视频处理方法和装置
CN108989830A (zh) 一种直播方法、装置、电子设备及存储介质
CN107105315A (zh) 直播方法、主播客户端的直播方法、主播客户端及设备
US8218855B2 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
CN111083515B (zh) 处理直播内容的方法、装置、系统
US11748870B2 (en) Video quality measurement for virtual cameras in volumetric immersive media
US10939140B2 (en) Selective capture and presentation of native image portions
CN104335243B (zh) 一种处理全景画面的方法及装置
CN107360442A (zh) 一种直播方法、装置及电子设备
JP7303754B2 (ja) ユーザー固有コンテンツを映像制作に融合させる方法及びシステム
CN105898583B (zh) 一种图像推荐方法及电子设备
CN113115110B (zh) 视频合成方法、装置、存储介质与电子设备
CN111937397A (zh) 媒体数据处理方法及装置
CN111901616A (zh) 一种基于H5/WebGL的改进多视角直播渲染的方法
CN105635675A (zh) 一种全景播放方法和装置
CN113747240B (zh) 视频处理方法、设备和存储介质
US20170225077A1 (en) Special video generation system for game play situation
CN103795961A (zh) 会议电视网真系统及其图像处理方法
CN106231411B (zh) 主播类互动平台客户端场景切换、加载方法及装置、客户端
TW201701051A (zh) 全景立體圖像的合成方法、裝置及其移動終端
DE112019000271T5 (de) Verfahren und vorrichtung zur verarbeitung und verteilung von live-virtual-reality-inhalten
CN106658030A (zh) 一种包含单路音频多路视频的复合视频的播放方法及设备
CN110012336A (zh) 直播界面的图片配置方法、终端及装置
CN108769755A (zh) 高分辨率全景视频直播拍照系统与方法
CN103926785A (zh) 一种双摄像头实现方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210115

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511442 24 floors, B-1 Building, Wanda Commercial Square North District, Wanbo Business District, 79 Wanbo Second Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.