CN115941920A - 裸眼3d视频生成方法、装置、设备及存储介质 - Google Patents
裸眼3d视频生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115941920A CN115941920A CN202211479106.5A CN202211479106A CN115941920A CN 115941920 A CN115941920 A CN 115941920A CN 202211479106 A CN202211479106 A CN 202211479106A CN 115941920 A CN115941920 A CN 115941920A
- Authority
- CN
- China
- Prior art keywords
- video
- foreground
- matting
- keying
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
本发明涉及3D显示技术领域,公开了一种裸眼3D视频生成方法、装置、设备及存储介质,该方法包括:对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;对前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;基于前景抠像对象生成多路前景抠像图像;对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频。由于本发明通过对数字抠像视频解码后的前景抠像序列帧图像进行抠像处理,获得前景抠像对象,将基于前景抠像对象生成的多路前景抠像图像与对应的背景视频序列帧图像叠加生成裸眼3D视频,从而解决了采用多路3D摄像机的动画制作技术进行视频生成,难度较大的问题。
Description
技术领域
本发明涉及3D显示技术领域,尤其涉及一种裸眼3D视频生成方法、装置、设备及存储介质。
背景技术
随着社会的发展和科技水平的提高,图像的3D显示可能会成为显示领域中新的发展趋势。其中,多视点光栅式裸眼3D显示器可以让多个观看者在拥有较大观看视角的同时观看到立体图像,且无需借助任何助视设备便可以感受到震撼的实际体验,但多视点立体图像的实时获取仍然是多视点自由立体成像的核心问题之一。
现有的技术中实时采集多个视点的立体图像通常用平行排列的多个摄像机同时拍摄同一场景,从而获得不同视点的多幅图像。但采用多路3D摄像机的动画制作技术进行视频生成,难度较大,因此,如何设计出一种简单的裸眼3D视频生成方法,成为一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种裸眼3D视频生成方法、装置、设备及存储介质,旨在解决现有技术中采用多路3D摄像机的动画制作技术制作难度较大的技术问题。
为实现上述目的,本发明提供了一种裸眼3D视频生成方法,所述方法包括以下步骤:
对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;
对所述前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;
基于所述前景抠像对象生成多路前景抠像图像;
对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频。
可选地,所述对所述前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象的步骤,包括:
对所述前景抠像视频序列帧图像进行目标分割,获得目标抠像对象;
对所述目标抠像对象进行边缘检测,并基于检测后的目标抠像对象获得前景抠像对象。
可选地,所述对所述目标抠像对象进行边缘检测,并基于检测后的目标抠像对象获得前景抠像对象的步骤,包括:
对所述目标抠像对象进行边缘检测,获得所述目标抠像对象的边界点;
基于所述边界点和所述边界点的像素值确定所述边界点的水平可疑因子和垂直可疑因子;
在所述水平可疑因子或所述垂直可疑因子大于预设可疑因子阈值时,将所述边界点标注为可疑边界点;
通过所述可疑边界点的数量和所述边界点的数量确定目标可疑区域的可疑率;
基于所述可疑率和预设可疑率阈值对所述目标可疑区域进行分类,并根据分类结果获取前景抠像对象。
可选地,所述数字抠像视频为2D数字抠像视频;
相应的,所述基于所述前景抠像对象生成多路前景抠像图像的步骤,包括:
基于目标视点参数对所述前景抠像对象进行水平像素偏移;
基于水平像素偏移后的前景抠像对象生成多路前景抠像图像。
可选地,所述数字抠像视频为3D数字抠像视频;
相应的,所述基于所述前景抠像对象生成多路前景抠像图像的步骤,包括:
基于目标视点参数对所述前景抠像对象进行画面分割;
基于分割后的前景抠像对象生成多路前景抠像图像。
可选地,所述对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像的步骤,包括:
对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和数字抠像视频序列帧图像;
基于RGB颜色模型对所述数字抠像视频序列帧图像中的像素点进行匹配;
根据匹配结果获得前景抠像视频序列帧图像。
可选地,所述对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频的步骤,包括:
对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成多路待合成画面;
通过目标显示终端对各路待合成画面进行显示,以生成裸眼3D视频。
此外,为实现上述目的,本发明还提出一种裸眼3D视频生成装置,所述装置包括:
视频解码模块,用于对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;
图像抠像模块,用于对所述前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;
图像生成模块,用于基于所述前景抠像对象生成多路前景抠像图像;
视频生成模块,用于对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频。
此外,为实现上述目的,本发明还提出一种裸眼3D视频生成设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的裸眼3D视频生成程序,所述裸眼3D视频生成程序配置为实现如上文所述的裸眼3D视频生成方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有裸眼3D视频生成程序,所述裸眼3D视频生成程序被处理器执行时实现如上文所述的裸眼3D视频生成方法的步骤。
在本发明中,公开了对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;对前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;基于前景抠像对象生成多路前景抠像图像;对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频;相较于现有技术中用平行排列的多个摄像机同时拍摄同一场景,从而获得不同视点的多幅图像,由于本发明通过对数字抠像视频解码后的前景抠像序列帧图像进行抠像处理,获得前景抠像对象,基于前景抠像对象生成的多路前景抠像图像,并将各路前景抠像图像与对应的背景视频序列帧图像叠加生成裸眼3D视频,从而解决了现有技术中采用多路3D摄像机的动画制作技术进行视频生成,难度较大的技术问题,进而提高了用户观影体验。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的裸眼3D视频生成设备的结构示意图;
图2为本发明裸眼3D视频生成方法第一实施例的流程示意图;
图3为本发明裸眼3D视频生成方法第一实施例中2D数字抠像视频示意图;
图4为本发明裸眼3D视频生成方法第一实施例中3D数字抠像视频示意图;
图5为本发明裸眼3D视频生成方法第一实施例中背景视频和前景抠像图像的叠加示意图;
图6为本发明裸眼3D视频生成方法第二实施例的流程示意图;
图7为本发明裸眼3D视频生成方法第三实施例的流程示意图;
图8为本发明裸眼3D视频生成装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的裸眼3D视频生成设备结构示意图。
如图1所示,该裸眼3D视频生成设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对裸眼3D视频生成设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及裸眼3D视频生成程序。
在图1所示的裸眼3D视频生成设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明裸眼3D视频生成设备中的处理器1001、存储器1005可以设置在裸眼3D视频生成设备中,所述裸眼3D视频生成设备通过处理器1001调用存储器1005中存储的裸眼3D视频生成程序,并执行本发明实施例提供的裸眼3D视频生成方法。
本发明实施例提供了一种裸眼3D视频生成方法,参照图2,图2为本发明裸眼3D视频生成方法第一实施例的流程示意图。
本实施例中,所述裸眼3D视频生成方法包括以下步骤:
步骤S10:对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像。
需要说明的是,本实施例的方法的执行主体可以为进行裸眼3D视频生成的裸眼3D视频生成设备,或者是其他能够实现相同或相似功能的、包含了该裸眼3D视频生成设备的裸眼3D视频生成系统。此处以裸眼3D视频生成设备(以下简称设备)对本实施例和下述各实施例提供的裸眼3D视频生成方法进行具体说明。
应当理解的是,上述背景视频可以为进行裸眼3D视频显示时的高分辨率或高质量的2D背景视频。
可以理解的是,上述数字抠像视频可以为由待抠像视频和待抠像视频的背景组成的视频,其中,待抠像视频的背景可以为蓝幕背景、绿幕背景、黑幕背景等视频内容。实际应用中,数字抠像视频可以为2D数字抠像视频或3D数字抠像视频。
需要说明的是,上述背景视频序列帧图像可以为对上述背景视频进行解码后获得的一帧一帧的图像文件。
应当理解的是,上述前景抠像视频序列帧图像可以为对上述数字抠像视频进行解码获得一帧一帧的数字抠像图像后,再基于获得的数字抠像图像获得的前景抠像图像。实际应用中,上述背景视频和上述数字抠像视频的分辨率可以不一致,为了提高裸眼3D显示的分辨率,背景视频和数字抠像视频可以采用高分辨率和高码率进行压缩,且视频压缩参数可以根据实际情况进行设置。
步骤S20:对所述前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象。
需要说明的是,上述抠像处理可以为对上述前景抠像视频序列帧图像进行处理,从而将图像中的某一部分从图像中分离出来,分离出来的部分会生成单独存在的图层,以供后续使用。
应当理解的是,上述前景抠像对象可以为对前景抠像视频序列帧图像进行抠像处理后,从前景抠像视频序列帧图像中分离出来的若干个对象。
步骤S30:基于所述前景抠像对象生成多路前景抠像图像。
可以理解的是,上述多路前景抠像图像可以为基于上述前景抠像对象和显示终端视点参数生成的图像。在数字抠像视频为2D数字抠像视频时,生成对应的多路前景抠像图像的方式为:基于目标视点参数对所述前景抠像对象进行水平像素偏移;基于水平像素偏移后的前景抠像对象生成多路前景抠像图像。在数字抠像视频为3D数字抠像视频时,生成对应的多路前景抠像图像的方式为:基于目标视点参数对所述前景抠像对象进行画面分割;基于分割后的前景抠像对象生成多路前景抠像图像。
在具体实现中,若显示终端为5视点裸眼3D显示终端,针对2D数字抠像视频,如图3所示,图3中301为2D数字抠像视频的背景部分,302为前景抠像对象,假设相邻两幅抠像图像的水平偏移量为±m个像素,则第1路和第5路图像的水平偏移量为±5m个像素,其中±表示向左或向右偏移,不同的方向偏移可控制前景抠像对象是出屏还是入屏画面,从而获得该2D数字抠像视频对应的多路前景抠像图像;针对3D数字抠像视频,如图4所示,图4中401为3D数字抠像视频的背景部分,402为前景抠像对象的一路图像,对前景抠像对象进行画面分割可获得对应的多路前景抠像图像,如常见的6宫格/9宫格3D视频,分割后再对每一路3D图像进行保存。其中,图3中的2D数字抠像视频为单路的图像,图4中的3D数字抠像视频是由6幅3D图像按照视差关系拼接而成的,若图像的分辨率为M*N,则每一路图像的分辨率为M/3*N/2。
步骤S40:对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频。
需要说明的是,在对各路前景抠像图像和对应的背景视频序列帧图像进行叠加时,为了保证生成的背景视频的分辨率不损失,则需要对图像进行压缩。实际应用中,若裸眼3D显示终端的分辨率为M*N,首先将前景抠像对象的每一路图像和对应的背景序列帧图像同时缩放到M*N的分辨率,然后将背景序列帧图像放在最底层,将前景抠像图像叠加到最上层,从而实现对各路前景抠像图像和对应的背景视频序列帧图像的叠加。
进一步地,为了基于各路前景抠像图像和对应的背景视频序列帧图像生成裸眼3D视频,上述步骤S40包括:对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成多路待合成画面;通过目标显示终端对各路待合成画面进行显示,以生成裸眼3D视频。
应当理解的是,在对各路前景抠像图像和对应的背景视频序列帧图像进行叠加后可以生成多路待合成画面,此时可以对每一路待合成的画面进行保存。如对待合成画面进行显示的终端为5视点裸眼3D显示终端,则存在5路待合成的画面,再通过裸眼3D显示终端对生成的5路待合成的画面进行显示,从而生成裸眼3D视频。如图5所示,图5为将背景视频和前景抠像图像进行叠加后的图像,图5中501为背景视频,502为前景抠像对象。
可以理解的是,在对多路待合成画面进行显示时,要先确定显示终端上给定的RGB子像素应该取自待合成画面中那个视点的RGB分量。实际应用中,可以通过多视点子像素映射矩阵的计算公式来进行计算显示终端上给定的RGB子像素,其中,多视点子像素映射矩阵的计算公式为:
式中,Q为RGB子像素映射矩阵,Ntot为总视点的个数,(k,l)为RGB子像素的坐标位置,koff为显示终端左上边缘与光栅单元边缘点的水平位移量,α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角,mod为取余操作,X为一个光栅周期在水平方向上覆盖RGB子像素的个数。
应当理解的是,在计算得到显示终端上给定的RGB子像素在待合成画面中对应的RGB分量后,便可以通过上述目标显示终端显示待合成画面,从而生成裸眼3D视频。实际应用中,若Q=1.57,其可判断其子像素合成图像来自于第2路和第3路视差图像对应的子像素灰度值,其计算公式为,子像素合成值=(1-0.57)*第2路图像子像素灰度值+0.57*第3路图像子像素灰度值。
在具体实现中,在进行裸眼3D显示时,首先可以读取背景视频和数字抠像视频,其中,数字抠像视频包括2D数字抠像视频和3D数字抠像视频,2D数字抠像视频和3D数字抠像视频制作的背景素材要求一致,可以为蓝幕背景、绿幕背景、黑幕背景素材,但2D数字抠像视频的前景视频部分为单路的前景视频,3D数字抠像视频为多路视差视频拼接而成。再对读取的背景视频和数字抠像视频进行解码,获得对应的背景视频序列帧图像和前景抠像视频序列帧图像,并对前景抠像视频序列帧图像进行处理,将图像中需要分离出来的部分进行分离,获得前景抠像对象,然后根据2D数字抠像视频和3D数字抠像视频对应的前景图像生成方式以及裸眼3D显示终端的参数特性对前景抠像对象进行像素平移或画面分割,从而获得对应的多路前景抠像图像,最后根据裸眼3D显示终端的分辨率对多路前景抠像图像和对应的背景序列帧图像进行叠加合成,生成对应的裸眼3D视频。
本实施例公开了对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;对前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;基于前景抠像对象生成多路前景抠像图像;对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频;相较于现有技术中用平行排列的多个摄像机同时拍摄同一场景,从而获得不同视点的多幅图像,由于本实施例通过对数字抠像视频解码后的前景抠像序列帧图像进行抠像处理,获得前景抠像对象,基于前景抠像对象生成的多路前景抠像图像,并将各路前景抠像图像与对应的背景视频序列帧图像叠加生成裸眼3D视频,从而解决了现有技术中采用多路3D摄像机的动画制作技术进行视频生成,难度较大的技术问题,进而提高了用户观影体验。
参考图6,图6为本发明裸眼3D视频生成方法第二实施例的流程示意图。
基于上述第一实施例,为了获得更加精准的前景抠像对象,本实施例中,所述步骤S20包括:
步骤S201:对所述前景抠像视频序列帧图像进行目标分割,获得目标抠像对象。
需要说明的是,上述目标分割可以为将上述前景抠像视频序列帧图像细分为多个图像子区域(即像素的集合)的过程。本实施可以采用基于图论的聚类分割算法,假设前景抠像视频序列帧图像W=(P,L),其具有n个节点和m个连接,将前景抠像视频序列帧图像中的连接权由低到高排序,假设一个分割的初始化为S0,其中图像中每一个像素都是一个类,假设一个常数k,让k取1到n间的所有值,得到第k次区域合并的结果,并定义一个阈值函数τ,通过阈值函数来控制两个类之间的差别,其中,阈值函数τ的计算公式为:
τ(A)=ω/|A|;
式中,|A|为A的面积,ω为一个常数,可通过调整τ值大小来决定是否将两个类合并在一起。
应当理解的是,上述目标抠像对象可以为对前景抠像视频序列帧图像进行目标分割后获得的多个图像子区域。
步骤S202:对所述目标抠像对象进行边缘检测,并基于检测后的目标抠像对象获得前景抠像对象。
可以理解的是,由于视频压缩往往会对上述目标抠像对象的边界像素进行破坏,因此需要对目标抠像对象进行边缘检测。
进一步地,为了准确还原目标抠像对象的边界像素,上述步骤S202包括:对所述目标抠像对象进行边缘检测,获得所述目标抠像对象的边界点;基于所述边界点和所述边界点的像素值确定所述边界点的水平可疑因子和垂直可疑因子;在所述水平可疑因子或所述垂直可疑因子大于预设可疑因子阈值时,将所述边界点标注为可疑边界点;通过所述可疑边界点的数量和所述边界点的数量确定目标可疑区域的可疑率;基于所述可疑率和预设可疑率阈值对所述目标可疑区域进行分类,并根据分类结果获取前景抠像对象。
需要说明的是,在对目标抠像对象进行边缘检测时,可以设前景抠像视频序列帧图像的函数为f(x,y),对该函数进行高斯滤波后得到f(x,y)*G(x,y),若用k表示尺度因子,则可以计算该图像梯度矢量的模Tk和方向Rk,其中,梯度矢量的模Tk和方向Rk的计算公式为:
此时,在Rk方向上使得Tk取得局部极大值的点即为图像的边界点。
应当理解的是,由于在生活中人眼对绿色更为敏感,因此针对蓝幕背景、绿幕背景和黑幕背景视频的数字抠像视频,可以提取上述目标抠像对象中的每帧绿色成分进行检测。实际应用中,可以定义目标抠像对象检测边界点VM(x,y)的水平可疑因子为DXk(x,y),垂直可疑因子为DYk(x,y),并通过边界点VM(x,y)对应的像素值Gk(x,y)对水平可疑因子为DXk(x,y)和垂直可疑因子为DYk(x,y)进行计算,其中,水平可疑因子为DXk(x,y)和垂直可疑因子为DYk(x,y)的计算公式为:
可以理解的是,本实施例中可以定义一个可疑因子阈值T1,若计算得到的水平可疑因子或垂直可疑因子的值超过可疑因子阈值,即DXk(x,y)>T1或DYk(x,y)>T1,则对应的边界点VM(x,y)为可疑边界点,并将该可疑边界点设置为1,否则设置为0,通过上述方法可以对目标抠像对象中的所有可疑边界点进行标注。
需要说明的是,在对目标抠像对象中所有的可疑边界点进行标注后,可以定义目标抠像对象中可疑点的比重,从而根据设置的可疑率阈值判断对应的可疑区域,其中,目标抠像对象的可疑率的计算公式为:
式中,∑Ak(x,y)为目标抠像对象中可疑点的数目,Nk为目标抠像对象中所有边界点的数目。
应当理解的是,若Rk大于可疑率阈值T2,则判定对应的目标抠像对象是可疑的,并将可疑的抠像对象归类为抠像的前景视频;Rk小于可疑率阈值T2,则可以将抠像对象归类为抠像的背景视频。在对前景抠像视频序列帧图像中的目标抠像对象进行归类后,可以获得前景抠像对象。
本实施例通过对前景抠像视频序列帧图像进行目标分割后获得的目标抠像对象进行边缘检测,并基于检测后的目标抠像对象获得前景抠像对象,从而可以准确还原抠像对象的边界像素,降低视频压缩对数字抠像视频边界的像素破坏。
参考图7,图7为本发明裸眼3D视频生成方法第三实施例的流程示意图。
基于上述各实施例,为了基于数字抠像视频获得前景抠像视频序列帧图像,本实施例中,所述步骤S10之后,所述方法还包括:
步骤S101:对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和数字抠像视频序列帧图像。
需要说明的是,上述数字抠像视频序列帧图像为对上述数字抠像视频进行解码后获得一帧一帧的图像。
步骤S102:基于RGB颜色模型对所述数字抠像视频序列帧图像中的像素点进行匹配。
应当理解的是,对于处于数字抠像视频序列帧图像中未知区域的像素点,若要判断该像素点是属于数字抠像视频的前景部分或背景部分,则可以假设该像素点的颜色值为C,将F和B分别表示该像素点在各自通道的前景颜色值和背景颜色值,α为该像素点在该通道的不透明的值,则有公式:C=αF+(1-α)B,式中,α∈[0,1]。当α=1时,说明该像素点属于数字抠像视频的前景部分,当α=0时,说明该像素点属于数字抠像视频的背景部分,当0<α<1时,说明该像素点属于数字抠像视频的前景部分和背景部分的混合,在RGB颜色模型下,其可以描述为:
CR=αFR+(1-α)BR;
CG=αFG+(1-α)BG;
CB=αFB+(1-α)BB;
式中,CR、CG和CB分别表示像素点在R通道、G通道和B通道的颜色值,FR、FG和FB分别表示像素点在R通道、G通道和B通道的前景颜色值,BR、BG和BB分别表示像素点在R通道、G通道和B通道的背景颜色值。
步骤S103:根据匹配结果获得前景抠像视频序列帧图像。
可以理解的是,根据数字抠像视频序列帧图像中的各像素点在RGB颜色模型下对应的不透明值可以判断像素点属于数字抠像视频序列帧图像的前景部分或背景部分,从而对数字抠像视频序列帧图像中所有像素点进行匹配,并基于匹配结果获得对应的前景抠像视频序列帧图像。
本实施例通过对数字抠像视频进行解码获得数字抠像视频序列帧图像,并基于RGB颜色模型对数字抠像视频序列帧图像中的像素点进行匹配,获得前景抠像视频序列帧图像,从而可以从数字抠像视频中提取出对应的前景抠像视频序列帧图像,有利于后续对前景抠像视频序列帧图像进行抠像处理,使裸眼3D视频的生成的操作更简单。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有裸眼3D视频生成程序,所述裸眼3D视频生成程序被处理器执行时实现如上文所述的裸眼3D视频生成方法的步骤。
参照图8,图8为本发明裸眼3D视频生成装置第一实施例的结构框图。
如图8所示,本发明实施例提出的裸眼3D视频生成装置包括:
视频解码模块801,用于对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;
图像抠像模块802,用于对所述前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;
图像生成模块803,用于基于所述前景抠像对象生成多路前景抠像图像;
视频生成模块804,用于对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频。
本实施例的裸眼3D视频生成装置公开了对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;对前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;基于前景抠像对象生成多路前景抠像图像;对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频;相较于现有技术中用平行排列的多个摄像机同时拍摄同一场景,从而获得不同视点的多幅图像,由于本实施例通过对数字抠像视频解码后的前景抠像序列帧图像进行抠像处理,获得前景抠像对象,基于前景抠像对象生成的多路前景抠像图像,并将各路前景抠像图像与对应的背景视频序列帧图像叠加生成裸眼3D视频,从而解决了现有技术中采用多路3D摄像机的动画制作技术进行视频生成,难度较大的技术问题,进而提高了用户观影体验。
本发明裸眼3D视频生成装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种裸眼3D视频生成方法,其特征在于,所述裸眼3D视频生成方法包括:
对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;
对所述前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;
基于所述前景抠像对象生成多路前景抠像图像;
对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频。
2.如权利要求1所述的裸眼3D视频生成方法,其特征在于,所述对所述前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象的步骤,包括:
对所述前景抠像视频序列帧图像进行目标分割,获得目标抠像对象;
对所述目标抠像对象进行边缘检测,并基于检测后的目标抠像对象获得前景抠像对象。
3.如权利要求2所述的裸眼3D视频生成方法,其特征在于,所述对所述目标抠像对象进行边缘检测,并基于检测后的目标抠像对象获得前景抠像对象的步骤,包括:
对所述目标抠像对象进行边缘检测,获得所述目标抠像对象的边界点;
基于所述边界点和所述边界点的像素值确定所述边界点的水平可疑因子和垂直可疑因子;
在所述水平可疑因子或所述垂直可疑因子大于预设可疑因子阈值时,将所述边界点标注为可疑边界点;
通过所述可疑边界点的数量和所述边界点的数量确定目标可疑区域的可疑率;
基于所述可疑率和预设可疑率阈值对所述目标可疑区域进行分类,并根据分类结果获取前景抠像对象。
4.如权利要求1至3中任一项所述的裸眼3D视频生成方法,其特征在于,所述数字抠像视频为2D数字抠像视频;
相应的,所述基于所述前景抠像对象生成多路前景抠像图像的步骤,包括:
基于目标视点参数对所述前景抠像对象进行水平像素偏移;
基于水平像素偏移后的前景抠像对象生成多路前景抠像图像。
5.如权利要求1至3中任一项所述的裸眼3D视频生成方法,其特征在于,所述数字抠像视频为3D数字抠像视频;
相应的,所述基于所述前景抠像对象生成多路前景抠像图像的步骤,包括:
基于目标视点参数对所述前景抠像对象进行画面分割;
基于分割后的前景抠像对象生成多路前景抠像图像。
6.如权利要求1至3中任一项所述的裸眼3D视频生成方法,其特征在于,所述对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像的步骤,包括:
对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和数字抠像视频序列帧图像;
基于RGB颜色模型对所述数字抠像视频序列帧图像中的像素点进行匹配;
根据匹配结果获得前景抠像视频序列帧图像。
7.如权利要求1所述的裸眼3D视频生成方法,其特征在于,所述对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频的步骤,包括:
对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成多路待合成画面;
通过目标显示终端对各路待合成画面进行显示,以生成裸眼3D视频。
8.一种裸眼3D视频生成装置,其特征在于,所述装置包括:
视频解码模块,用于对背景视频和数字抠像视频进行解码,获得背景视频序列帧图像和前景抠像视频序列帧图像;
图像抠像模块,用于对所述前景抠像视频序列帧图像进行抠像处理,获得前景抠像对象;
图像生成模块,用于基于所述前景抠像对象生成多路前景抠像图像;
视频生成模块,用于对各路前景抠像图像和对应的背景视频序列帧图像进行叠加,生成裸眼3D视频。
9.一种裸眼3D视频生成设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的裸眼3D视频生成程序,所述裸眼3D视频生成配置为实现如权利要求1至7中任一项所述的裸眼3D视频生成方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有裸眼3D视频生成程序,所述裸眼3D视频生成程序被处理器执行时实现如权利要求1至7任一项所述的裸眼3D视频生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211479106.5A CN115941920B (zh) | 2022-11-23 | 2022-11-23 | 裸眼3d视频生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211479106.5A CN115941920B (zh) | 2022-11-23 | 2022-11-23 | 裸眼3d视频生成方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115941920A true CN115941920A (zh) | 2023-04-07 |
CN115941920B CN115941920B (zh) | 2023-11-10 |
Family
ID=86696944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211479106.5A Active CN115941920B (zh) | 2022-11-23 | 2022-11-23 | 裸眼3d视频生成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115941920B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116708905A (zh) * | 2023-08-07 | 2023-09-05 | 海马云(天津)信息技术有限公司 | 在电视盒子上实现数字人交互的方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509078A (zh) * | 2011-10-28 | 2012-06-20 | 北京安控科技股份有限公司 | 基于视频分析的烟火检测装置 |
CN103369344A (zh) * | 2012-03-31 | 2013-10-23 | 盛乐信息技术(上海)有限公司 | 立体图像合成中降低变形失真的方法及系统 |
CN103475826A (zh) * | 2013-09-27 | 2013-12-25 | 深圳市中视典数字科技有限公司 | 一种视频抠像合成方法 |
JP2014072801A (ja) * | 2012-09-28 | 2014-04-21 | Sharp Corp | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 |
CN104112275A (zh) * | 2014-07-15 | 2014-10-22 | 青岛海信电器股份有限公司 | 一种图像分割方法及装置 |
CN108965739A (zh) * | 2018-06-22 | 2018-12-07 | 北京华捷艾米科技有限公司 | 视频抠像方法及机器可读存储介质 |
CN110730340A (zh) * | 2019-09-19 | 2020-01-24 | 天脉聚源(杭州)传媒科技有限公司 | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 |
WO2020149143A1 (ja) * | 2019-01-15 | 2020-07-23 | 富士フイルム株式会社 | 立体画像表示体 |
CN114281234A (zh) * | 2021-12-16 | 2022-04-05 | 北京沃东天骏信息技术有限公司 | 图像显示方法、装置及存储介质 |
-
2022
- 2022-11-23 CN CN202211479106.5A patent/CN115941920B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509078A (zh) * | 2011-10-28 | 2012-06-20 | 北京安控科技股份有限公司 | 基于视频分析的烟火检测装置 |
CN103369344A (zh) * | 2012-03-31 | 2013-10-23 | 盛乐信息技术(上海)有限公司 | 立体图像合成中降低变形失真的方法及系统 |
JP2014072801A (ja) * | 2012-09-28 | 2014-04-21 | Sharp Corp | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 |
CN103475826A (zh) * | 2013-09-27 | 2013-12-25 | 深圳市中视典数字科技有限公司 | 一种视频抠像合成方法 |
CN104112275A (zh) * | 2014-07-15 | 2014-10-22 | 青岛海信电器股份有限公司 | 一种图像分割方法及装置 |
CN108965739A (zh) * | 2018-06-22 | 2018-12-07 | 北京华捷艾米科技有限公司 | 视频抠像方法及机器可读存储介质 |
WO2020149143A1 (ja) * | 2019-01-15 | 2020-07-23 | 富士フイルム株式会社 | 立体画像表示体 |
CN110730340A (zh) * | 2019-09-19 | 2020-01-24 | 天脉聚源(杭州)传媒科技有限公司 | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 |
CN114281234A (zh) * | 2021-12-16 | 2022-04-05 | 北京沃东天骏信息技术有限公司 | 图像显示方法、装置及存储介质 |
Non-Patent Citations (2)
Title |
---|
MON ARJAY F. MALBOG等: "Edge Detection Comparison of Hybrid Feature Extraction for Combustible Fire Segmentation: A Canny vs Sobel Performance Analysis", 2020 11TH IEEE CONTROL AND SYSTEM GRADUATE RESEARCH COLLOQUIUM (ICSGRC) * |
龚俊亮;何昕;魏仲慧;朱弘;郭立俊;: "采用尺度空间理论的红外弱小目标检测方法", 红外与激光工程, no. 09 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116708905A (zh) * | 2023-08-07 | 2023-09-05 | 海马云(天津)信息技术有限公司 | 在电视盒子上实现数字人交互的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115941920B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11039064B2 (en) | Image processing method and apparatus | |
JP6561216B2 (ja) | 光学フローを使用した中間ビューの生成 | |
US7006709B2 (en) | System and method deghosting mosaics using multiperspective plane sweep | |
US20110080466A1 (en) | Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images | |
CN107580186B (zh) | 一种基于缝合线时空优化的双摄像机全景视频拼接方法 | |
KR20090071624A (ko) | 이미지 개선 | |
US20080225114A1 (en) | Stereoscopic Display Apparatus | |
JP6683307B2 (ja) | 多数のカメラを用いた最適の球形映像獲得方法 | |
US20100302234A1 (en) | Method of establishing dof data of 3d image and system thereof | |
US20220375159A1 (en) | An image processing method for setting transparency values and color values of pixels in a virtual image | |
KR20100109069A (ko) | 시각적 관심맵 생성 장치 및 방법 | |
CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
WO2019050038A1 (ja) | 画像生成方法および画像生成装置 | |
Sharma et al. | A flexible architecture for multi-view 3DTV based on uncalibrated cameras | |
CN102985949A (zh) | 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法 | |
CN115941920B (zh) | 裸眼3d视频生成方法、装置、设备及存储介质 | |
EP2833637A1 (en) | Method for processing a current image of an image sequence, and corresponding computer program and processing device | |
JP6486603B2 (ja) | 画像処理装置 | |
EP1698167A1 (en) | Image format conversion | |
Köppel et al. | Filling disocclusions in extrapolated virtual views using hybrid texture synthesis | |
US9602708B2 (en) | Rectified stereoscopic 3D panoramic picture | |
JP5645448B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN111695525B (zh) | 一种360°服装试衣展示方法及装置 | |
EP3229106A1 (en) | Efficient determination of optical flow between images | |
US11328494B2 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |