CN112770064B - 一种抠像系统 - Google Patents
一种抠像系统 Download PDFInfo
- Publication number
- CN112770064B CN112770064B CN202011604469.8A CN202011604469A CN112770064B CN 112770064 B CN112770064 B CN 112770064B CN 202011604469 A CN202011604469 A CN 202011604469A CN 112770064 B CN112770064 B CN 112770064B
- Authority
- CN
- China
- Prior art keywords
- cloud server
- matting
- video
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种抠像系统,包括:第一编码器、解码器和第一云服务器;解码器与第一云服务器连接;第一编码器,用于对接收的待抠像视频的信号进行编码,得到第一编码信号;待抠像视频为分辨率大于4K的视频;第一编码器,还用于将第一编码信号通过网络传输给解码器;解码器,用于对第一编码信号进行解码,得到待抠像视频的信号;第一云服务器,用于对待抠像视频的信号表示的图像进行抠像。本申请提供的抠像系统可以实现对分辨率大于4K的待抠像视频进行实时抠像,无需将该待抠像视频分开进行抠像,因此,本申请可以提高对分辨率大于4K的视频的抠像效率。
Description
技术领域
本申请涉及视频处理领域,尤其涉及一种抠像系统。
背景技术
2019年3月1日,中国工业和信息化部、国家广播电视总局、中央广播电视总台联合发布了《超高清视频产业发展行动计划(2019—2022年)》,加快推动超高清视频产业快速健康发展。据预测,到2022年,超高清视频(超4K视频,例如,8K视频)用户数达到2亿人。
随着超高清视频的产生,虚拟演播室需要对超高清视频进行抠像,目前,虚拟演播室主要针对最高4K分辨率的视频进行抠像。具体的,通过单条12G-SDI(数字分量串行接口(serial digital interface,SDI)线将待抠像视频传输至本地的抠像设备,利用本地的抠像设备进行抠像,例如,采用硬件色键器或专业的视频板卡进行抠像。
但是,对于超高清视频,如果采用目前的抠像方案,由于传输待抠像视频至抠像设备的带宽受限,需要将待抠像视频分开进行传输和抠像,进而,降低了对超高清视频的抠像效率。
发明内容
本申请提供了一种抠像系统,目的在于解决对超高清视频的抠像效率低的问题。
为了实现上述目的,本申请提供了以下技术方案:
本申请提供了一种抠像系统,包括:第一编码器、解码器和第一云服务器;所述解码器与所述第一云服务器连接;
所述第一编码器,用于对接收的待抠像视频的信号进行编码,得到第一编码信号;所述待抠像视频为分辨率大于4K的视频;
所述第一编码器,还用于将所述第一编码信号通过网络传输给所述解码器;
所述解码器,用于对所述第一编码信号进行解码,得到所述待抠像视频的信号;
所述第一云服务器,用于对所述待抠像视频的信号表示的图像进行抠像。
可选的,所述第一云服务器,用于对所述待抠像视频的信号表示的图像进行抠像,包括:
所述第一云服务器,具体用于获取所述待抠像视频的信号表示的图像中目标区域;所述目标区域为包含人物的区域;
提取所述目标区域中的人物,得到前景图像。
可选的,所述第一云服务器,用于获取所述待抠像视频的信号表示的图像中目标区域,包括:
所述第一云服务器,具体用于识别所述待抠像视频的信号表示的图像中非目标区域;所述非目标区域为不包含人物的区域;
裁剪所述非目标区域,得到所述目标区域。
可选的,所述抠像系统还包括:第二云服务器和处理设备;所述处理设备分别与所述第一服务器和所述第二服务器连接;
所述第一云服务器,还用于将所述前景图像输出到所述第一云服务器的缓存;
所述第二云服务器,用于输出预设的背景图像到所述第二云服务器的缓存;
所述处理设备,用于对所述第一云服务器的缓存和所述第二云服务器的缓存中的图像进行合成,得到合成图像。
可选的,所述处理设备,用于对所述第一云服务器的缓存和所述第二云服务器的缓存中的图像进行合成,得到合成图像,包括:
所述处理设备,具体用于对所述第一云服务器和所述第二云服务器的缓存时钟频率进行校正;对所述第一云服务器的缓存和所述第二云服务器的缓存中同时刻被缓存的图像进行叠加渲染,得到合成图像。
可选的,所述抠像系统还包括:第二编码器;所述第二编码器与所述处理设备连接;
所述处理设备,还用于将所述合成图像输出给所述第二编码器;
所述第二编码器,用于对所述合成图像进行编码,得到第二编码信号;
所述第二编码器,还用于输出所述第二编码信号。
可选的,所述第二编码信号用于网页查看、推流播出,或者,远程录制。
可选的,所述第一云服务器,用于对所述待抠像视频的信号表示的图像进行抠像,包括:
所述第一云服务器,具体用于通过人工智能的方式,对所述待抠像视频的信号表示的图像进行抠像。
可选的,该抠像系统还包括摄像机;
所述摄像机,用于采集所述待抠像视频;
所述摄像机,还用于将所述待抠像视频通过网络传输给所述第一编码器。
可选的,所述待抠像视频为分辨率为8K的视频。
本申请所述的抠像系统包括:第一编码器、解码器和第一云服务器;解码器与第一云服务器连接;第一编码器用于对接收的待抠像视频的信号进行编码,得到第一编码信号;待抠像视频为分辨率大于4K的视频;第一编码器还用于将第一编码信号通过网络传输给解码器;解码器用于对第一编码信号进行解码,得到待抠像视频的信号;第一云服务器用于对待抠像视频的信号表示的图像进行抠像。
一方面,在本申请中,对于分辨率大于4K的待抠像视频,将该待抠像视频的信号进行编码,得到适用于网络传输的第一编码信号,使得得到的第一编码信号可以通过网络进行传输,进而,避免了现有技术中通过12G-SDI线传输存在的带宽受限的问题。
另一方面,在本申请中,解码器对通过网络传输的第一编码信号进行解码,得到待抠像视频的信号,并采用第一云服务器对待抠像视频的信号表示的图像进行抠像,由于云服务器相对于本地的抠像设备具有较高的计算能力,因此,第一云服务器可以对该待抠像视频进行抠像。
综上所述,本申请提供的抠像系统可以实现对分辨率大于4K的待抠像视频进行实时抠像,无需将该待抠像视频分开进行抠像,因此,本申请可以提高对分辨率大于4K的视频的抠像效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种抠像系统的结构示意图;
图2为本申请实施例公开的又一种抠像系统的结构示意图;
图3为本申请实施例公开的又一种抠像系统的结构示意图;
图4为本申请实施例公开的又一种抠像系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种抠像系统,可以包括:第一编码器、解码器和第一云服务器,其中,解码器与第一云服务器连接。
其中,编码器用于接收待抠像视频,其中,待抠像视频是分辨率大于4K的视频,为了描述方便,以下将分辨率大于4K的待抠像视频,统称为待抠像视频。
在本实施例中,以待抠像视频通过索尼UHC-8300摄像机生成,并且,待抠像视频为分辨率为8K的视频为例。其中,UHC-8300摄像机拥有8K、4K和HD同步输出,并提供了多种应用的接口。其中,UHC-8300摄像机可以通过SMPTE光纤与UHCU-8300摄像机控制单位进行连接,UHCU-8300摄像机控制单位通过千兆网络端口把8K待抠像视频的信号输出到第一编码器。
在本实施例中,第一编码器对待抠像视频的信号进行编码,为了描述方便,将第一编码器编码得到的编码信号,称为第一编码信号。在本实施例中,第一编码器,还将第一编码信号通过网络传输给解码器,可选的,可以通过千兆高速网络(例如,有线网络或者5G网络),将第一编码信号传输给解码器。
在本实施例中,第一编码器可以为华为Hi3796CV300编码器,该第一编码器支持AVS3视频标准的8K/120fps实时编码,给抠像系统提供了高效转码服务,减轻网络传输带宽以保证网络稳定性。
在本实施例中,解码器对第一解码信号进行解码,得到待抠像视频的信号。第一云服务器对解码器解码得到的待抠像视频的信号表示的图像进行抠像。其中,第一云服务器可以采用人工智能(Artificial Intelligence,AI)对待抠像视频的信号表示的图像进行抠像。其中,第一云服务器采用人工智能方式对待抠像视频的信号表示的图像进行抠像的过程为现有技术,这里不再赘述。
在本实施例中,解码器可以为华为Hi3796CV300解码器。
在实际中,待抠像视频的信号表示的图像中,可能某些帧图像中,只有某个区域包含人物,如果针对待抠像视频的信号表示的图像中每帧图像都进行像素级的精准抠像,会造成第一云服务器的图像处理器(Graphics Processing Unit,GPU)具有较大的计算量。为了减少第一云服务器的GPU的计算量,在本实施例中,第一云服务器从待抠像视频的信号指示的图像中识别人物,得到不包含人物的区域,为了描述方便,称为非目标区域,裁剪非目标区域,并对目标区域的人物进行提取,得到去除待抠像视频的信号表示的图像的背景,为了描述方便,称为前景图像。
需要说明的是,本实施例提供的通过裁剪非目标区域,对裁剪后得到的目标区域进行人物识别,得到前景图像,只是一种具体的实现方式。在实际中,还可以通过其他方式只对包含人物的目标区域进行人物识别,本实施例不对具体的实现方式作限定。只要第一云服务器只对目标区域进行人物识别,得到前景图像即可。
在本实施例中,抠像系统除了可以对待抠像视频进行抠像之前,还可以将抠像后的视频与预设的背景图像进行合成,得到合成图像,即合成图像的功能。为了实现合成图像的功能,本申请实施例提供的抠像系统还可以包括:第二云服务器和处理设备,其中,处理设备分别与第一云服务器和第二云服务器进行连接,抠像系统的具体结构如图2所示。
其中,第二云服务器用于输出预设的背景图像到该第二云服务器的缓存。第一云服务器还用于将得到的前景图像输出到该第一云服务器的缓存。
处理设备对第一云服务器和第二云服务器的缓存时钟频率进行校正,使得第一云服务器与第二云服务器对同一帧次的图像输入缓存的时刻相同,即第一云服务器将第一帧前景图像输入缓存的时刻与第二云服务器将第一帧背景图像输入缓存的时刻相同,第一云服务器将第二帧前景图像输入缓存的时刻与第二云服务器将第二帧背景图像输入缓存的时刻相同,依次类推。
在本实施例中,处理设备还对第一云服务器的缓存和第二云服务器的缓存中同时刻被缓存的图像进行叠加渲染,得到合成图像。即将第一云服务器输入缓存的第一帧前景图像与第二云服务器输入缓存的第一帧背景图像进行叠加渲染,将第一云服务器输入缓存的第二帧前景图像与第二云服务器输入缓存的第二帧背景图像进行叠加渲染,依次类推,得到多帧合成图像。
在本申请实施例中,抠像系统还可以包括:第二编码器,该第二编码器与处理设备连接,具体的,抠像系统的结构如图3所示。在本实施例中,第二编码器可以为华为Hi3796CV300编码器。
其中,处理设备将合成图像输出给第二编码器。第二编码器对接收的合成图像进行编码,为了描述方便,将第二编码器编码得到的编码信号称为第二编码信号。
在本实施例中,第二编码器还输出第二编码信号,使得第二编码信号表示的图像可以通过网页查看、推流播出,或者,远程录制等。
在本实施例中,抠像系统还可以包括摄像机,其中,摄像机用于采集待抠像视频,并将待抠像视频通过网络传输给第一编码器,抠像系统的具体结构如图4所示。
本实施例具有以下有益效果:
有益效果一:
由于本实施例可以实现对分辨率大于4K的待抠像视频的实时抠像,因此,相对于现有技术中对待抠像视频分流,得到两部分待抠像视频,需要两套抠像系统,一个抠像系统处理一部分待抠像视频,实现对待抠像视频的实时抠像,本实施例只需一套抠像系统,因此,本实施例可以降低抠像系统的成本。
有益效果二:
在现有技术中,在合成图像后,需要监控设备播放合成图像,以便判断抠像和合成图像的效果。而在本实施例中,对合成图像进行编码,得到第二编码信号,第二编码信号表示的图像可以通过网页查看、推流播出,或者,远程录制等,从而无需监控设备,因此,相对于现有技术,本实施例可以节省监控设备的成本,进而达到节省成本的效果。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种抠像系统,其特征在于,包括:第一编码器、第二编码器、解码器、处理设备、第一云服务器和第二云服务器;所述解码器与所述第一云服务器连接;所述第二编码器与所述处理设备连接;所述处理设备分别与所述第一云服务器和所述第二云服务器连接;
所述第一编码器,用于对接收的待抠像视频的信号进行编码,得到第一编码信号;所述待抠像视频为分辨率大于4K的视频;
所述第一编码器,还用于将所述第一编码信号通过网络传输给所述解码器;
所述处理设备,用于对所述第一云服务器的缓存和所述第二云服务器的缓存中的图像进行合成,得到合成图像;
所述第二编码器,用于对所述合成图像进行编码,得到第二编码信号;
所述第二编码器,还用于输出所述第二编码信号;
所述解码器,用于对所述第一编码信号进行解码,得到所述待抠像视频的信号;
所述第一云服务器,用于对所述待抠像视频的信号表示的图像进行抠像;
所述第二云服务器,用于输出预设的背景图像到所述第二云服务器的缓存。
2.根据权利要求1所述的抠像系统,其特征在于,所述第一云服务器,用于对所述待抠像视频的信号表示的图像进行抠像,包括:
所述第一云服务器,具体用于获取所述待抠像视频的信号表示的图像中目标区域;所述目标区域为包含人物的区域;
提取所述目标区域中的人物,得到前景图像。
3.根据权利要求2所述的抠像系统,其特征在于,所述第一云服务器,用于获取所述待抠像视频的信号表示的图像中目标区域,包括:
所述第一云服务器,具体用于识别所述待抠像视频的信号表示的图像中非目标区域;所述非目标区域为不包含人物的区域;
裁剪所述非目标区域,得到所述目标区域。
4.根据权利要求1所述的抠像系统,其特征在于,所述第一云服务器,还用于将前景图像输出到所述第一云服务器的缓存。
5.根据权利要求4所述的抠像系统,其特征在于,包括:
所述处理设备,具体用于对所述第一云服务器和所述第二云服务器的缓存时钟频率进行校正;对所述第一云服务器的缓存和所述第二云服务器的缓存中同时刻被缓存的图像进行叠加渲染,得到合成图像。
6.根据权利要求1所述的抠像系统,其特征在于,所述第二编码信号用于网页查看、推流播出,或者,远程录制。
7.根据权利要求1所述的抠像系统,其特征在于,所述第一云服务器,用于对所述待抠像视频的信号表示的图像进行抠像,包括:
所述第一云服务器,具体用于通过人工智能的方式,对所述待抠像视频的信号表示的图像进行抠像。
8.根据权利要求1所述的抠像系统,其特征在于,还包括摄像机;
所述摄像机,用于采集所述待抠像视频;
所述摄像机,还用于将所述待抠像视频通过网络传输给所述第一编码器。
9.根据权利要求1~8任意一项所述的抠像系统,其特征在于,所述待抠像视频为分辨率为8K的视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011604469.8A CN112770064B (zh) | 2020-12-30 | 2020-12-30 | 一种抠像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011604469.8A CN112770064B (zh) | 2020-12-30 | 2020-12-30 | 一种抠像系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112770064A CN112770064A (zh) | 2021-05-07 |
CN112770064B true CN112770064B (zh) | 2022-10-21 |
Family
ID=75697454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011604469.8A Active CN112770064B (zh) | 2020-12-30 | 2020-12-30 | 一种抠像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112770064B (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201623771U (zh) * | 2010-02-05 | 2010-11-03 | 北京水晶石数字科技有限公司 | 一种实时抠像及视频监视和采集系统 |
US8395653B2 (en) * | 2010-05-18 | 2013-03-12 | Polycom, Inc. | Videoconferencing endpoint having multiple voice-tracking cameras |
CN106383576B (zh) * | 2016-09-08 | 2019-06-14 | 北京美吉克科技发展有限公司 | Vr环境中显示体验者身体局部的方法及系统 |
CN108449569B (zh) * | 2018-03-13 | 2019-04-05 | 重庆虚拟实境科技有限公司 | 虚拟会议方法、系统、装置、计算机装置及存储介质 |
CN108965746A (zh) * | 2018-07-26 | 2018-12-07 | 北京竞业达数码科技股份有限公司 | 视频合成方法及系统 |
CN109040587A (zh) * | 2018-08-01 | 2018-12-18 | 北京旷视科技有限公司 | 抓拍处理方法、装置、抓拍机构、设备及存储介质 |
CN109919836A (zh) * | 2019-03-20 | 2019-06-21 | 广州华多网络科技有限公司 | 视频抠像处理方法、视频抠像处理客户端及可读存储介质 |
CN111556241A (zh) * | 2020-06-27 | 2020-08-18 | 广州长鹏光电科技有限公司 | 一种多功能集成的摄像装置 |
CN112019771A (zh) * | 2020-08-20 | 2020-12-01 | 新华智云科技有限公司 | 基于实时抠像的全息云会议系统 |
-
2020
- 2020-12-30 CN CN202011604469.8A patent/CN112770064B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112770064A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104096362B (zh) | 基于游戏者关注区域改进视频流的码率控制比特分配 | |
JPH09505698A (ja) | 反復誤差データコーディング方法を使用するビデオ圧縮 | |
US20230291909A1 (en) | Coding video frame key points to enable reconstruction of video frame | |
DE102020108357A1 (de) | Umkodieren vorhergesagter bilder in live-videostream-anwendungen | |
CN103299625A (zh) | 转变区中的样本的识别 | |
EP3343923A1 (en) | Motion vector field coding method and decoding method, and coding and decoding apparatuses | |
CN112954398B (zh) | 编码方法、解码方法、装置、存储介质及电子设备 | |
Lin et al. | Deepsvc: Deep scalable video coding for both machine and human vision | |
WO2024078066A1 (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
CN112770064B (zh) | 一种抠像系统 | |
CN114600463A (zh) | 视频编码和视频解码 | |
US10997426B1 (en) | Optimal fragmentation of video based on shot analysis | |
CN101399961B (zh) | 数字指纹嵌入方法、数字视频分发系统及方法 | |
CN101715143A (zh) | 自适应量化和自适应反量化的方法、装置及其系统 | |
CN112954396B (zh) | 视频的播放方法、装置、电子设备及计算机可读存储介质 | |
KR102072576B1 (ko) | 데이터 인코딩 및 디코딩 장치와 방법 | |
CN111491166A (zh) | 基于内容分析的动态压缩系统及方法 | |
CN110798715A (zh) | 基于图像串的视频播放方法及系统 | |
Fautier | Next-generation video compression techniques | |
Lin et al. | Recent developments in perceptual video coding | |
WO2023169004A1 (zh) | 点云媒体的数据处理方法、装置、设备及介质 | |
CN101399962B (zh) | 数字视频分发系统及方法 | |
US20240244229A1 (en) | Systems and methods for predictive coding | |
CN116708793B (zh) | 视频的传输方法、装置、设备及存储介质 | |
US20230360277A1 (en) | Data processing method and apparatus for immersive media, device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |