CN103379354B - 立体视频对产生方法及装置 - Google Patents
立体视频对产生方法及装置 Download PDFInfo
- Publication number
- CN103379354B CN103379354B CN201210125660.3A CN201210125660A CN103379354B CN 103379354 B CN103379354 B CN 103379354B CN 201210125660 A CN201210125660 A CN 201210125660A CN 103379354 B CN103379354 B CN 103379354B
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- sequence
- video sequence
- video
- virtual view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 104
- 238000003786 synthesis reaction Methods 0.000 claims description 104
- 238000013519 translation Methods 0.000 claims description 46
- 230000000007 visual effect Effects 0.000 claims description 29
- 238000004519 manufacturing process Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 abstract description 2
- 230000016776 visual perception Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 20
- 239000007787 solid Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种应用于多媒体通信领域的立体视频对产生方法，由输入的显示辅助信息对三维视频序列进行处理，得到一个立体视频对P；显示辅助信息包括虚拟视点合成标识A和虚拟视点位置参数F，或者包括虚拟视点合成标识A、最小视点序号视点选择标识E和虚拟视点位置参数F；虚拟视点合成标识A标识以下情况之一：a1)由三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成立体视频对P；a2)由三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成立体视频对P；对三维视频序列进行处理包括三种情况。本发明还公开了产生装置。本发明改善最终三维立体显示的视觉感受。
Description
技术领域
本发明涉及一种多媒体通信领域，具体涉及一种立体视频对产生方法及装置。
背景技术
三维视频(3D video)序列包括多路(通常为2路)视频序列(对应于纹理信息)、对应的深度(depth)序列(对应于深度信息)，通常也被称为MVD(multi-view video plus depth)格式。三维视频序列也包含每个视点的摄像机参数等信息。三维视频通过视点合成(view synthesis)技术产生虚拟视点视频序列。传统的双目立体视频(stereoscopic video)仅由两个固定视点(即左视点和右视点)的视频序列构成，也称为一个立体视频对(stereos pair)。由双目摄像机获得的立体视频对可能存在两视图像视差过大的问题。观看这样的立体视频对会引起较严重的视觉疲劳，或者说这样的立体视频对并不适合于双目立体观看(stereoscopic viewing)。引入虚拟视点视频序列后，可以利用立体视频对中的一个视频序列和一个合成的虚拟视点视频序列构成一个更适合双目立体观看的立体视频对，这里称其为立体视频对。
虚拟视点视频序列通过视点合成(view synthesis)技术产生。视点合成采用基于深度和图像渲染(depth-image-based rendering，简称DIBR)技术，将一个摄像机视点(camera view)图像的像素通过其对应的深度值和相应的摄像机参数(例如每个视点的焦距、坐标位置等)，投影到另一虚拟视点(virtualview)上，从而生成投影图像；再通过空洞填充(hole filling)、滤波(filtering)、变采样(resampling)等处理产生最终用于显示的虚拟视点视频序列。视点合成还可以基于多个摄像机视点合成一个虚拟视点的图像，即分别将多个摄像机视点的图像投影到该虚拟视点，并把投影图像融合起来，称为视点融合(viewmerging)，再在融合的图像上进行空洞填充、滤波、变采样等处理，获得用于显示的虚拟视点视频序列。
一个立体视频对包括两个视频序列，即左视点视频序列(用于显示给左眼观看)和右视点视频序列(用于显示给右眼观看)。为了改善立体视频对的立体感觉，通常可以采用水平平移(shifting)立体视频对图像的方法来调节显示器上呈现的视差(parallax)范围。当左视点图像(即左视点视频序列的图你)相对于右视点图像向右平移时，负视差(negative parallax)增大，正视差(positive parallax)减小；当左视图像相对于右视图像向左平移时，负视差(negative parallax)减小，正视差(positive parallax)增大。以左视点图像相对于右视点图像向右平移N个像素为例，通常的方法有，依次将左视点图像中(从左向右)第i列像素拷贝给第i+N/2列，同时将右视点图像第i列像素拷贝给第i-N/2列；或者右视点图像保持不变，左视点图像的第i列的图像拷贝给第i+N列。将左视点图像相对于右视点图像向左平移N个像素与上述方法类似。
三维视频的视频序列和深度序列可以分别由目前的多视点视频编码标准(Multi-view video coding，简称MVC，在H.264/AVC标准Annex H中描述)来编码。MVC规定每个视点视频序列都有各自的视点序号(view order index，VOIdx，为非负整数)，用于指示该视点视频的解码次序。最小视点序号视频序列(即VOIdx＝0的视点的视频序列)最先解码，次小视点序号视频序列(即VOIdx＝1的视点的视频序列)随后第二个解码。解码端对三维视频序列码流解码后可以获得上述视点序号信息。但MVC并没有说明各视点间的相对位置关系。立体显示器由于不知道视点的位置信息，可能错误地将一个右视点图像输出给左眼观看，从而产生错误的三维感受。这些视点相对位置关系也可以传输在码流里，让解码端获取相应的信息。
另外，立体显示器(或如机顶盒等辅助设备)可以生成虚拟视点视频作为显示的立体视频对中的一个视频，从而调节视差感觉，其中立体显示器也需要知道虚拟视生成涉及的一些重要参数，例如虚拟视点位置等。因此，三维视频序列码流中还可能包含一些指导立体显示器显示立体视频对的辅助信息，包括指示左视点图像的标识、立体视频对的构成方式、虚拟视点位置、合成精度、平移像素数等。
发明内容
为克服现有技术的上述缺陷，本发明的目的在于由重建的三维视频序列及相应的显示辅助信息，为解码端的双目立体显示设备提供一个适合双目立体观看的立体视频对的方法和装置，从而改善最终三维立体显示的视觉感受。
本发明的第一技术方案是公开一种立体视频对产生方法，由输入的显示辅助信息对三维视频序列进行处理，得到一个立体视频对P；
所述的显示辅助信息包括虚拟视点合成标识A和虚拟视点位置参数F，或者包括虚拟视点合成标识A、最小视点序号视点选择标识E和虚拟视点位置参数F：
所述的虚拟视点合成标识A，用于标识以下两种情况之一：
(a1)由所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成所述的立体视频对P；
(a2)由所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成所述的立体视频对P；
所述的最小视点序号视点选择标识E，用于标识以下两种情况之一：
(e1)当所述的立体视频对P中包含一个合成的虚拟视点视频序列时，即A指示情况(a2)时，所述的三维视频序列中的最小视点序号视频序列作为所述的立体视频对P中的一个视频序列，最小视点序号视频序列对应的视点称为推荐摄像机视点，次小视点序号视频序列对应的视点称为非推荐摄像机视点；
(e2)当所述的立体视频对P中包含一个合成的虚拟视点视频序列时，所述的三维视频序列中的次小视点序号视频序列作为所述的立体视频对P中的一个视频序列，次小视点序号视频序列对应的视点称为推荐摄像机视点，最小视点序号序列视频对应的视点称为非推荐摄像机视点；
所述的虚拟视点位置参数F，当所述显示辅助信息不包括最小视点序号视点选择标识E且所述的立体视频对P中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述三维视频序列中的最小视点序列视点之间的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的次小视点序号视点的一侧；当所述显示辅助信息包括最小视点序号视点选择标识E且所述的立体视频对P中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述的推荐摄像机视点的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的非推荐摄像机视点的一侧；
所述的对三维视频序列进行处理包括：
1)当所述的虚拟视点合成标识A指示情况(a1)时，选取所述的三维视频序列中最小视点序号视频序列和次小视点序号视频序列组成所述的立体视频对P；
2)当所述的虚拟视点合成标识A指示情况(a2)且所述显示辅助信息不包括最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，并与所述的最小视点序号视频序列组成所述的立体视频对P；所述的虚拟视点视频序列对应的虚拟视点与所述三维视频序列中的最小视点序列视点的距离为所述虚拟视点位置参数F指示的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的次小视点序号视点的一侧；
3)当所述的虚拟视点合成标识A指示情况(a2)且所述显示辅助信息包括最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，用于与所述的推荐摄像机视点的视频序列组成所述的立体视频对P；所述的虚拟视点视频序列对应的虚拟视点与所述推荐摄像机视点的距离为所述虚拟视点位置参数F指示的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述非推荐摄像机视点的一侧。
作为优选，所述的显示辅助信息还包括最小视点序号视点为左视标识B；所述的最小视点序号视点为左视标识B用于标识以下两种情况之一：
(b1)最小视点序号视点在次小视点序号视点的左侧；
(b2)最小视点序号视点在次小视点序号视点的右侧；
所述的对三维视频序列进行处理还包括：
1)当所述的立体视频对P由所述的最小视点序号视频序列和次小视点序号视频序列组成时，若B指示情况(b1)，将所述的最小视点序号视频序列和次小视点序列视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的次小视点序号视频序列和最小视点序列视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列；
2)当所述的立体视频对P由所述的最小视点序号视频序列和虚拟视点视频序列组成时，若B指示情况(b1)，将所述的最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列；
3)当所述的立体视频对P由所述的次小视点序号视频序列和虚拟视点视频序列组成时，若B指示情况(b1)，将所述的虚拟视点视频序列和次小视点序号视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的次小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列。
作为优选，所述的显示辅助信息还包括平移像素数C，所述的平移像素数C用于指示对所述立体视频对P中两个视点的视频序列的图像进行水平平移的像素数C*；
所述的对三维视频序列进行处理还包括：
1)当C*为正数或零时，将所述的立体视频对P中的左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向左(或向右)平移C*个像素；
2)C*为负数时，将所述的立体视频对P中的左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向右(或向左)平移-C*个像素。
本发明的第二技术方案是公开一种立体视频对产生装置，包括以下两个模块：
虚拟视点视频序列生成模块，生成虚拟视点视频序列，其输入包括虚拟视点合成标识A、虚拟视点位置参数F和所述的三维视频序列，或者包括虚拟视点合成标识A、最小视点序号视点选择标识E、虚拟视点位置参数F和所述的三维视频序列，其输出为一个合成的虚拟视点视频序列，其中所述的虚拟视点合成标识A，用于标识以下两种情况之一：
(a1)由所述的三维视频序列中最小视点序号视频序列和次小视点序号视频序列组成所述的立体视频对Q，
(a2)由所述的三维视频序列中最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成所述的立体视频对Q；
所述的最小视点序号视点选择标识E，用于标识以下两种情况之一：
(e1)当所述的立体视频对Q中包含一个合成的虚拟视点视频序列时，即A指示情况(a2)时，所述的三维视频序列中的最小视点序号视频序列作为所述的立体视频对Q中的一个视频序列，最小视点序号序列视频对应的视点称为推荐摄像机视点，次小视点序号序列视频对应的视点称为非推荐摄像机视点；
(e2)当所述的立体视频对Q中包含一个合成的虚拟视点视频序列时，所述的三维视频序列中的次小视点序号序列视频序列作为所述的立体视频对Q中的一个视频序列，次小视点序号序列视频序列对应的视点称为推荐摄像机视点，最小视点序号序列视频对应的视点称为非推荐摄像机视点；
所述的虚拟视点位置参数F，当所述显示辅助信息不包括最小视点序号视点选择标识E且所述的立体视频对Q中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述三维视频序列中的最小视点序列视点之间的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的次小视点序号视点的一侧；当所述显示辅助信息包括最小视点序号视点选择标识E且所述的立体视频对Q中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述的推荐摄像机视点的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的非推荐摄像机视点的一侧；
所述虚拟视点视频序列生成模块完成的处理包括：
1)当所述的虚拟视点合成标识A指示情况(a2)且输入不包含最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，用于与所述的最小视点序号视点的视频序列组成所述的立体视频对Q；所述的虚拟视点视频序列对应的虚拟视点在由所述的最小视点序号视点和次小视点序号视点构成的直线上，与所述的最小视点序号视点的距离为所述虚拟视点位置参数F指示的距离L，且在靠近所述的次小视点序号视点的一侧；
2)当所述的虚拟视点合成标识A指示情况(a2)且输入包含最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，用于与所述的推荐摄像机视点的视频序列组成所述的立体视频对Q；所述的虚拟视点视频序列对应的虚拟视点在由所述的最小视点序号视点和次小视点序号视点构成的直线上，与所述的推荐摄像机视点的距离为所述虚拟视点位置参数F指示的距离L，且在靠近所述的非推荐摄像机视点的一侧；
视频序列选择模块，从所述的三维视频序列和合成的虚拟视点视频序列中选出两个视点的视频序列，其输入包括虚拟视点合成标识A和所述的三维视频序列，或者包括虚拟视点合成标识A、最小视点序号视点选择标识E和所述的三维视频序列，当虚拟视点合成标识A指示情况(a2)时，还包括所述虚拟视点视频序列生成模块产生的虚拟视点视频序列，其输出为所述的立体视频对Q，其完成的处理包括：
1)当所述的虚拟视点合成标识A指示情况(a1)时，选择输出所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列；
2)当所述的虚拟视点合成标识A指示情况(a2)且所述的最小视点序号视点选择标识E不存在时，选择输出所述的三维视频序列中的最小视点序号视频序列和所述虚拟视点视频序列；
3)当所述的虚拟视点合成标识A指示情况(a2)且所述的最小视点序号视点选择标识E指示情况(e1)时，选择输出所述的三维视频序列中的最小视点序号视频序列和所述虚拟视点视频序列；当所述的虚拟视点合成标识A指示情况(a2)且所述的最小视点序号视点选择标识E指示情况(e2)时，选择输出所述的三维视频序列中的次小视点序号视频序列和所述虚拟视点视频序列。
作为优选，所述立体视频对产生装置，还至少包括以下两个模块之一：
左右视点分析模块，其输入包括所述的虚拟视点合成标识A、立体视频对Q和最小视点序号视点为左视标识B，或者包括所述的虚拟视点合成标识A、最小视点序号视点选择标识E、立体视频对Q和最小视点序号视点为左视标识B；所述的最小视点序号视点为左视标识B，用于标识以下两种情况之一：
(b1)最小视点序号视点在次小视点序号视点的左侧；
(b2)最小视点序号视点在次小视点序号视点的右侧；
所述的左右视点分析模块的输出包括一个立体视频对R；
所述的左右视点分析模块完成的处理包括：
1)当所述虚拟视点合成标识A指示情况(a1)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的最小视点序号视频序列和次小视点序列视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的次小视点序号视频序列和最小视点序列视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；
2)当所述虚拟视点合成标识A指示情况(a2)且所述左右视点分析模块的输入中不包括最小视点序号视点选择标识E时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；
3)当所述虚拟视点合成标识A指示情况(a2)且所述最小视点序号视点选择标识E指示情况(e1)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；
4)当所述虚拟视点合成标识A指示情况(a2)且所述最小视点序号视点选择标识E指示情况(e2)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的虚拟视点视频序列和次小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的次小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；
图像平移模块，对左右视点图像进行水平平移，其输入为一个立体视频对Q、平移像素数C；其输出为立体视频对S；所述的平移像素数C，用于指示对所述立体视频对Q中左视点视频序列相对于右视点视频序列的图像进行水平平移的像素数C*；所述的图像平移模块的输出为经过平移处理的立体视频对，其完成的处理包括：
1)当C*为正数或零时，将所述的立体视频对Q中左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向左(或向右)平移C*个像素；
2)C*为负数时，将所述的立体视频对Q中左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向右(或向左)平移-C*个像素。
有益效果：与现有技术相比，本发明的立体视频对产生方法及装置为解码端的双目立体显示设备提供一个适合双目立体观看的立体视频对，从而改善最终三维立体显示的视觉感受。
附图说明
结合附图，本发明的其他特点和优点可从下面通过举例来对本发明的原理进行解释的优选实施方式的说明中变得更清楚。
图1为本发明的实施例中立体视频对产生装置的第一结构示意图；
图2为本发明的实施例中立体视频对产生装置的第二结构示意图；
图3为本发明的实施例中立体视频对产生装置的第三结构示意图；
图4为本发明的实施例中立体视频对产生装置的第四结构示意图。
图5为本发明的实施例中立体视频对产生装置的第五结构示意图。
具体实施方式
下面将结合附图对本发明的实施方式进行详细描述：
所述的显示辅助信息至少包括虚拟视点合成标识A和虚拟视点位置参数F，还可能包括最小视点序号视点选择标识E、最小视点序号视点为左视标识B和平移像素数C中至少一者，例如以下组合：
组合1：A、F；
组合2：A、E、F；
组合3：A、F、B；
组合4：A、F、C；
组合5：A、F、B、C；
组合6：A、F、B、E；
组合7：A、F、C、E；
组合8：A、F、B、C、E。
所述的虚拟视点合成标识A，用于标识以下两种情况之一：(a1)由所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成所述的立体视频对，(a2)由所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成所述的立体视频对；
所述的最小视点序号视点选择标识E，用于标识以下两种情况之一：
(e1)当所述的立体视频对中包含一个合成的虚拟视点视频序列时，即A指示情况(a2)时，所述的三维视频序列中的最小视点序号视频序列作为所述的立体视频对中的一个视频序列，最小视点序号视频序列对应的视点称为推荐摄像机视点，次小视点序号视频序列对应的视点称为非推荐摄像机视点；
(e2)当所述的立体视频对中包含一个合成的虚拟视点视频序列时，所述的三维视频序列中的次小视点序号视频序列作为所述的立体视频对中的一个视频序列，次小视点序号视频序列对应的视点称为推荐摄像机视点，最小视点序号序列视频对应的视点称为非推荐摄像机视点。
所述的虚拟视点位置参数F，当所述显示辅助信息不包括最小视点序号视点选择标识E且所述的立体视频对中包含一个合成的虚拟视点视频序列(即所述的虚拟视点合成标识A指示情况(a2))时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述三维视频序列中的最小视点序列视点之间的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的次小视点序号视点的一侧；当所述显示辅助信息包括最小视点序号视点选择标识E且所述的立体视频对中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述的推荐摄像机视点的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的非推荐摄像机视点的一侧。
所述的最小视点序号视点为左视标识B，用于标识以下两种情况之一：
(b1)最小视点序号视点在次小视点序号视点的左侧，(b2)最小视点序号视点在次小视点序号视点的右侧。
所述的平移像素数C，用于指示对所述立体视频对中两个视点的视频序列的图像进行水平平移的像素数C*，其中C*为整数。C*为正数或零时表示将所述的立体视频对中的左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向左(或向右)平移C*个像素；C*为负数表示将所述的立体视频对中的左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向右(或向左)平移-C*个像素。
实施例1
本发明的第一实施方式涉及一种立体视频对产生方法。由输入的显示辅助信息，对三维视频序列进行处理，得到一个立体视频对P。
本发明中所述的显示辅助信息包括虚拟视点合成标识A和虚拟视点位置参数F，或者包括虚拟视点合成标识A、最小视点序号视点选择标识E和虚拟视点位置参数F：
所述的对三维视频序列进行处理包括：
1)当所述的虚拟视点合成标识A指示情况(a1)时，选取所述的三维视频序列中最小视点序号视频序列和次小视点序号视频序列组成所述的立体视频对P；其中最小视点序号视频序列和次小视点序号视频序列分别为所述立体视频对P中的左视点视频序列和右视点视频序列，或分别为所述立体视频对P中的右视点视频序列和左视点视频序列；
2)当所述的虚拟视点合成标识A指示情况(a2)且所述显示辅助信息不包括最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，并与所述的最小视点序号视频序列组成所述的立体视频对P；所述的虚拟视点视频序列对应的虚拟视点与所述三维视频序列中的最小视点序列视点的距离为所述虚拟视点位置参数F指示的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的次小视点序号视点的一侧；其中最小视点序号视频序列和虚拟视点视频序列分别为所述立体视频对P中的左视点视频序列和右视点视频序列，或分别为所述立体视频对P中的右视点视频序列和左视点视频序列；
3)当所述的虚拟视点合成标识A指示情况(a2)且所述显示辅助信息包括最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，用于与所述的推荐摄像机视点的视频序列组成所述的立体视频对P；所述的虚拟视点视频序列对应的虚拟视点在由所述的最小视点序号视点和次小视点序号视点构成的直线上，与所述的推荐摄像机视点的距离为所述的虚拟视点位置参数F指示的距离L，且在靠近所述的非推荐摄像机视点的一侧；其中次小视点序号视频序列和虚拟视点视频序列分别为所述立体视频对P中的左视点视频序列和右视点视频序列，或分别为所述立体视频对P中的右视点视频序列和左视点视频序列。
所述的合成一个虚拟视点视频序列，通常的方法为，采用基于深度和图像渲染(depth-image-based rendering，简称DIBR)技术，将一个摄像机视点(例如最小视点序号视点或次小视点序号视点)图像的像素通过其对应的深度值和相应的摄像机参数，投影到所述的虚拟视点，从而生成投影图像；再通过空洞填充、滤波、变采样等处理产生最终用于显示的虚拟视点视频序列。视点合成还可以基于多个摄像机视点(例如最小视点序号视点和次小视点序号视点)合成一个虚拟视点的图像，即分别将多个摄像机视点的图像投影到该虚拟视点，并把投影图像融合起来(称为视点融合)，再在融合的图像上进行空洞填充、滤波、变采样等处理，获得所述的虚拟视点视频序列。
实施例2
本发明的第二实施方式涉及一种立体视频对产生方法。由输入的显示辅助信息，对三维视频序列进行处理，得到一个立体视频对P1，与实施例1不同的是，本发明中所述的显示辅助信息还包括所述的最小视点序号视点为左视标识B。
所述的对三维视频序列进行处理包括实施例1中的处理，还包括：
1)当由实施例1得到的立体视频对P由所述的最小视点序号视频序列和次小视点序号视频序列组成时(即所述的虚拟视点合成标识A指示情况(a1))，若B指示情况(b1)，将所述的最小视点序号视频序列和次小视点序列视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的次小视点序号视频序列和最小视点序列视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，
2)当由实施例1得到的立体视频对P对由所述的最小视点序号视频序列和虚拟视点视频序列组成时(即所述的虚拟视点合成标识A指示情况(a2))，若B指示情况(b1)，将所述的最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列；
3)当由实施例1得到的立体视频对P由所述的次小视点序号视频序列和虚拟视点视频序列组成时，若B指示情况(b1)，将所述的虚拟视点视频序列和次小视点序号视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的次小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列。
经过上述处理，由实施例1中得到的立体视频对P(其左右视点关系不明确，即P中的左视点图像并不确定应该显示给左眼)得到左右视点关系明确的立体视频对P，处理后的立体视频对记为立体视频对P1。
实施例3
本发明的第二实施方式涉及一种立体视频对产生方法。由输入的显示辅助信息，对三维视频序列进行处理，得到一个立体视频对P2。与实施例1不同的是，本发明中所述的显示辅助信息还包括所述的平移像素数C。
所述的对三维视频序列进行处理包括实施例1中的处理，还包括：
1)当C*为正数或零时，将由实施例1得到的立体视频对P中的左视点视频序列中的图像(简称左视点图像)相对于右视点视频序列中同一时刻的图像(简称右视点图像)向左(或向右)平移C*个像素，得到立体视频对P2；
2)C*为负数时，将所述立体视频对P中的左视点视频序列中的图像相对于右视点视频序列中同一时刻的图像(或向左)平移-C*个像素，得到立体视频对P2。
以左视点图像相对于右视点图像向右平移N个像素(N为正整数或零)为例，通常的方法有，依次将左视点图像中(从左向右)第i列像素拷贝给第i+N/2列，同时将右视点图像第i列像素拷贝给第i-N/2列；或者右视点图像保持不变，左视点图像的第i列的图像拷贝给第i+N列。将左视点图像相对于右视点图像向左平移N个像素与上述方法类似。
实施例4
本发明的第四实施方式涉及一种立体视频对产生方法。由输入的显示辅助信息，对三维视频序列进行处理，得到一个立体视频对P3。与实施例2不同的是，本发明中所述的显示辅助信息还包括所述的平移像素数C。
所述的对三维视频序列进行处理包括实施例2中的处理，还包括：
1)当C*为正数或零时，将由实施例2得到的立体视频对P1中的左视点视频序列中的图像相对于右视点视频序列中同一时刻的图像向左(或向右)平移C*个像素，得到立体视频对P3；
2)C*为负数时，将所述立体视频对P1中的左视点视频序列中的图像相对于右视点视频序列中同一时刻的图像向右(或向左)平移-C*个像素，得到立体视频对P3。
实施例5
本发明的第五实施方式涉及一种立体视频对产生装置。图1为一种立体视频对产生装置实施例的第一结构示意图。该装置包括两个模块：
虚拟视点视频序列生成模块，生成虚拟视点视频序列，其输入包括虚拟视点合成标识A、虚拟视点位置参数F和所述的三维视频序列，其输出为一个合成的虚拟视点视频序列，其完成的功能和实施方式与上述立体视频对产生方法中当所述的虚拟视点合成标识A指示情况(a2)时，合成一个虚拟视点视频序列，用于与所述的最小视点序号视点的视频序列组成所述的立体视频对的功能和实施方式相同；所述的虚拟视点视频序列对应的虚拟视点在由所述的最小视点序号视点和次小视点序号视点构成的直线上，与所述的最小视点序号视点的距离为所述虚拟视点位置参数F指示的距离L，且在靠近所述的次小视点序号视点的一侧。
视频序列选择模块，从所述的三维视频序列和合成的虚拟视点视频序列中选出两个视点的视频序列，其输入包括虚拟视点合成标识A和所述的三维视频序列，当虚拟视点合成标识A指示情况(a2)时，还包括所述虚拟视点视频序列生成模块产生的虚拟视点视频序列，其输出为一个立体视频对Q，其完成的功能和实施方式与上述立体视频对产生方法中当所述的虚拟视点合成标识A指示情况(a1)时，选择输出所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列，当所述的虚拟视点合成标识A指示情况(a2)时，选择输出所述的三维视频序列中的最小视点序号视频序列和所述虚拟视点视频序列的功能和实施方式相同。
实施例6
本发明的第六实施方式涉及一种立体视频对产生装置。图2为一种立体视频对产生装置实施例的第二结构示意图。该装置包括两个模块：
虚拟视点视频序列生成模块，生成虚拟视点视频序列，其输入包括虚拟视点合成标识A、最小视点序号视点选择标识E、虚拟视点位置参数F和所述的三维视频序列，其输出为一个合成的虚拟视点视频序列，其完成的功能和实施方式与上述立体视频对产生方法中当所述的虚拟视点合成标识A指示情况(a2)且输入包含最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，用于与所述的推荐摄像机视点的视频序列组成所述的立体视频对的功能和实施方式相同；所述的虚拟视点视频序列对应的虚拟视点在由所述的最小视点序号视点和次小视点序号视点构成的直线上，与所述的推荐摄像机视点的距离为所述的虚拟视点位置参数F指示的距离L，且在靠近所述的非推荐摄像机视点的一侧。
视频序列选择模块，从所述的三维视频序列和合成的虚拟视点视频序列中选出两个视点的视频序列，其输入包括虚拟视点合成标识A、最小视点序号视点选择标识E和所述的三维视频序列，当虚拟视点合成标识A指示情况(a2)时，还包括所述虚拟视点视频序列生成模块产生的虚拟视点视频序列，其输出为一个立体视频对Q，其完成的功能和实施方式与上述立体视频对产生方法中当所述的虚拟视点合成标识A指示情况(a1)时，选择输出所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列；当所述的虚拟视点合成标识A指示情况(a2)且所述的最小视点序号视点选择标识E指示情况(e1)时，选择输出所述的三维视频序列中的最小视点序号视频序列和所述虚拟视点视频序列；当所述的虚拟视点合成标识A指示情况(a2)且所述的最小视点序号视点选择标识E指示情况(e2)时，选择输出所述的三维视频序列中的次小视点序号视频序列和所述的虚拟视点视频序列的功能和实施方式相同。
实施例7
本发明的第七实施方式涉及一种立体视频对产生装置。图3为一种立体视频对产生装置实施例的第三结构示意图。与实施例5不同的是，该装置还包括左右视点分析模块：用于分析出由实施例5输出的立体视频对Q中的两个视频序列的左右视点关系，其输入包括所述的虚拟视点合成标识A、由实施例5输出的立体视频对Q和最小视点序号视点为左视标识B，其输出为左右视点关系明确的立体视频对R；其完成的功能和实施方式与上述立体视频对产生方法中当所述虚拟视点合成标识A指示情况(a1)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中最小视点序号视频序列和次小视点序列视频序列分别作为所述立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q次小视点序号视频序列和最小视点序列视频序列分别作为所述立体视频对R的左视点视频序列和右视点视频序列；当所述虚拟视点合成标识A指示情况(a2)且所述左右视点分析模块的输入中不包括最小视点序号视点选择标识E时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列的功能和实施方式相同。
实施例8
本发明的第八实施方式涉及一种立体视频对产生装置。图4为一种立体视频对产生装置实施例的第四结构示意图。与实施例5不同的是，该装置还包括图像平移模块，用于对输入的立体视频对中的左右视点图像进行水平平移，其输入包括由实施例5输出的立体视频对Q和平移像素数C；其输出为一个经过图像平移处理的立体视频对S，其完成的功能和实施方式与上述立体视频对产生方法中当C*为正数或零时，将所述的立体视频对Q中的左视点视频序列中的图像相对于右视点视频序列中同一时刻的图像向左(或向右)平移C*个像素；当C*为负数时，将所述的立体视频对Q中的左视点视频序列中的图像相对于右视点视频序列中同一时刻的图像向右(或向左)平移-C*个像素的功能和实施方式相同。
实施例9
本发明的第六实施方式涉及一种立体视频对产生装置。图5为一种立体视频对产生装置实施例的第五结构示意图。与实施例6不同的是，该装置还包括以下两个模块：
左右视点分析模块：用于分析出输入的立体视频对中的两个视频序列的左右视点关系，其输入包括所述的虚拟视点合成标识A、最小视点序号视点选择标识E、由实施例6输出的立体视频对Q和最小视点序号视点为左视标识B，其输出为左右视点关系明确的立体视频对R；其完成的功能和实施方式与上述立体视频对产生方法中当所述虚拟视点合成标识A指示情况(a1)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中最小视点序号视频序列和次小视点序列视频序列分别作为所述立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q次小视点序号视频序列和最小视点序列视频序列分别作为所述立体视频对R的左视点视频序列和右视点视频序列；当所述虚拟视点合成标识A指示情况(a2)且所述最小视点序号视点选择标识E指示情况(e1)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；当所述虚拟视点合成标识A指示情况(a2)且所述最小视点序号视点选择标识E指示情况(e2)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的虚拟视点视频序列和次小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的次小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列的功能和实施方式相同。
图像平移模块，用于对左右视点图像进行水平平移，其输入包括所述立体视频对R和平移像素数C；其输出为一个立体视频对S，其完成的功能和实施方式与上述立体视频对产生方法中当C*为正数或零时，将所述的立体视频对R中的左视点视频序列的图像相对于右视点视频序列同一时刻的图像向左(或向右)平移C*个像素；当C*为负数时，将所述的立体视频对R中的左视点视频序列的图像相对于右视点视频序列同一时刻的图像向右(或向左)平移-C*个像素的功能和实施方式相同。
所述的立体视频对产生装置可以由多种方式实现，例如：
方法一：以电子计算机为硬件附加与所述立体视频对产生方法功能相同的软件程序来实现。
方法二：以单片机为硬件附加与所述立体视频对产生方法功能相同的软件程序来实现。
方法三：以数字信号处理器为硬件附加与立体视频对产生方法功能相同的软件程序来实现。
方法四：设计与所述立体视频对产生方法功能相同的电路来实现。
实现所述的立体视频对产生装置的方法还可以有其它的方法，不仅限于上述四种。
虽然结合附图描述了本发明的实施方式，但是本领域普通技术人员可以在所附权利要求的范围内作出各种变形或修改。
Claims (5)
1.一种立体视频对产生方法，其特征在于，由输入的显示辅助信息对三维视频序列进行处理，得到一个立体视频对P；
所述的显示辅助信息包括虚拟视点合成标识A和虚拟视点位置参数F，或者包括虚拟视点合成标识A、最小视点序号视点选择标识E和虚拟视点位置参数F：
所述的虚拟视点合成标识A，用于标识以下两种情况之一：
(a1)由所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成所述的立体视频对P；
(a2)由所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成所述的立体视频对P；
所述的最小视点序号视点选择标识E，用于标识以下两种情况之一：
(e1)当所述的立体视频对P中包含一个合成的虚拟视点视频序列时，即A指示情况(a2)时，所述的三维视频序列中的最小视点序号视频序列作为所述的立体视频对P中的一个视频序列，最小视点序号视频序列对应的视点称为推荐摄像机视点，次小视点序号视频序列对应的视点称为非推荐摄像机视点；
(e2)当所述的立体视频对P中包含一个合成的虚拟视点视频序列时，所述的三维视频序列中的次小视点序号视频序列作为所述的立体视频对P中的一个视频序列，次小视点序号视频序列对应的视点称为推荐摄像机视点，最小视点序号序列视频对应的视点称为非推荐摄像机视点；
所述的虚拟视点位置参数F，当所述显示辅助信息不包括最小视点序号视点选择标识E且所述的立体视频对P中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述三维视频序列中的最小视点序列视点之间的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的次小视点序号视点的一侧；当所述显示辅助信息包括最小视点序号视点选择标识E且所述的立体视频对P中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述的推荐摄像机视点的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的非推荐摄像机视点的一侧；
所述的对三维视频序列进行处理包括：
1)当所述的虚拟视点合成标识A指示情况(a1)时，选取所述的三维视频序列中最小视点序号视频序列和次小视点序号视频序列组成所述的立体视频对P；
2)当所述的虚拟视点合成标识A指示情况(a2)且所述显示辅助信息不包括最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，并与所述的最小视点序号视频序列组成所述的立体视频对P；所述的虚拟视点视频序列对应的虚拟视点与所述三维视频序列中的最小视点序列视点的距离为所述虚拟视点位置参数F指示的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的次小视点序号视点的一侧；
3)当所述的虚拟视点合成标识A指示情况(a2)且所述显示辅助信息包括最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，用于与所述的推荐摄像机视点的视频序列组成所述的立体视频对P；所述的虚拟视点视频序列对应的虚拟视点与所述推荐摄像机视点的距离为所述虚拟视点位置参数F指示的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述非推荐摄像机视点的一侧。
2.如权利要求1所述的立体视频对产生方法，其特征在于所述的显示辅助信息还包括最小视点序号视点为左视标识B；所述的最小视点序号视点为左视标识B用于标识以下两种情况之一：
(b1)最小视点序号视点在次小视点序号视点的左侧；
(b2)最小视点序号视点在次小视点序号视点的右侧；
所述的对三维视频序列进行处理还包括：
1)当所述的立体视频对P由所述的最小视点序号视频序列和次小视点序号视频序列组成时，若B指示情况(b1)，将所述的最小视点序号视频序列和次小视点序列视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的次小视点序号视频序列和最小视点序列视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列；
2)当所述的立体视频对P由所述的最小视点序号视频序列和虚拟视点视频序列组成时，若B指示情况(b1)，将所述的最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列；
3)当所述的立体视频对P由所述的次小视点序号视频序列和虚拟视点视频序列组成时，若B指示情况(b1)，将所述的虚拟视点视频序列和次小视点序号视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列，若B指示情况(b2)，将所述的次小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对P的左视点视频序列和右视点视频序列。
3.如权利要求1所述的立体视频对产生方法，其特征在于所述的显示辅助信息还包括平移像素数C，所述的平移像素数C用于指示对所述立体视频对P中两个视点的视频序列的图像进行水平平移的像素数C*；
所述的对三维视频序列进行处理还包括：
1)当C*为正数或零时，将所述的立体视频对P中的左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向左/右平移C*个像素；
2)C*为负数时，将所述的立体视频对P中的左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向右/左平移-C*个像素。
4.一种立体视频对产生装置，其特征在于包括以下两个模块：
虚拟视点视频序列生成模块，生成虚拟视点视频序列，其输入包括虚拟视点合成标识A、虚拟视点位置参数F和三维视频序列，或者包括虚拟视点合成标识A、最小视点序号视点选择标识E、虚拟视点位置参数F和三维视频序列，其输出为一个合成的虚拟视点视频序列，其中所述的虚拟视点合成标识A，用于标识以下两种情况之一：
(a1)由所述的三维视频序列中最小视点序号视频序列和次小视点序号视频序列组成所述的立体视频对Q，
(a2)由所述的三维视频序列中最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成所述的立体视频对Q；
所述的最小视点序号视点选择标识E，用于标识以下两种情况之一：
(e1)当所述的立体视频对Q中包含一个合成的虚拟视点视频序列时，即A指示情况(a2)时，所述的三维视频序列中的最小视点序号视频序列作为所述的立体视频对Q中的一个视频序列，最小视点序号序列视频对应的视点称为推荐摄像机视点，次小视点序号序列视频对应的视点称为非推荐摄像机视点；
(e2)当所述的立体视频对Q中包含一个合成的虚拟视点视频序列时，所述的三维视频序列中的次小视点序号序列视频序列作为所述的立体视频对Q中的一个视频序列，次小视点序号序列视频序列对应的视点称为推荐摄像机视点，最小视点序号序列视频对应的视点称为非推荐摄像机视点；
所述的虚拟视点位置参数F，当显示辅助信息不包括最小视点序号视点选择标识E且所述的立体视频对Q中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述三维视频序列中的最小视点序列视点之间的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的次小视点序号视点的一侧；当所述显示辅助信息包括最小视点序号视点选择标识E且所述的立体视频对Q中包含一个合成的虚拟视点视频序列时，用于指示所述的虚拟视点视频序列对应的虚拟视点与所述的推荐摄像机视点的距离L，且所述的虚拟视点在由所述的三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上，靠近所述的非推荐摄像机视点的一侧；
所述虚拟视点视频序列生成模块完成的处理包括：
1)当所述的虚拟视点合成标识A指示情况(a2)且输入不包含最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，用于与所述的最小视点序号视点的视频序列组成所述的立体视频对Q；所述的虚拟视点视频序列对应的虚拟视点在由所述的最小视点序号视点和次小视点序号视点构成的直线上，与所述的最小视点序号视点的距离为所述虚拟视点位置参数F指示的距离L，且在靠近所述的次小视点序号视点的一侧；
2)当所述的虚拟视点合成标识A指示情况(a2)且输入包含最小视点序号视点选择标识E时，合成一个虚拟视点视频序列，用于与所述的推荐摄像机视点的视频序列组成所述的立体视频对Q；所述的虚拟视点视频序列对应的虚拟视点在由所述的最小视点序号视点和次小视点序号视点构成的直线上，与所述的推荐摄像机视点的距离为所述虚拟视点位置参数F指示的距离L，且在靠近所述的非推荐摄像机视点的一侧；
视频序列选择模块，从所述的三维视频序列和合成的虚拟视点视频序列中选出两个视点的视频序列，其输入包括虚拟视点合成标识A和所述的三维视频序列，或者包括虚拟视点合成标识A、最小视点序号视点选择标识E和所述的三维视频序列，当虚拟视点合成标识A指示情况(a2)时，还包括所述虚拟视点视频序列生成模块产生的虚拟视点视频序列，其输出为所述的立体视频对Q，其完成的处理包括：
1)当所述的虚拟视点合成标识A指示情况(a1)时，选择输出所述的三维视频序列中的最小视点序号视频序列和次小视点序号视频序列；
2)当所述的虚拟视点合成标识A指示情况(a2)且所述的最小视点序号视点选择标识E不存在时，选择输出所述的三维视频序列中的最小视点序号视频序列和所述虚拟视点视频序列；
3)当所述的虚拟视点合成标识A指示情况(a2)且所述的最小视点序号视点选择标识E指示情况(e1)时，选择输出所述的三维视频序列中的最小视点序号视频序列和所述虚拟视点视频序列；当所述的虚拟视点合成标识A指示情况(a2)且所述的最小视点序号视点选择标识E指示情况(e2)时，选择输出所述的三维视频序列中的次小视点序号视频序列和所述虚拟视点视频序列。
5.如权利要求4所述的一种立体视频对产生装置，其特征在于还至少包括以下两个模块之一：
左右视点分析模块，其输入包括所述的虚拟视点合成标识A、立体视频对Q和最小视点序号视点为左视标识B，或者包括所述的虚拟视点合成标识A、最小视点序号视点选择标识E、立体视频对Q和最小视点序号视点为左视标识B；所述的最小视点序号视点为左视标识B，用于标识以下两种情况之一：
(b1)最小视点序号视点在次小视点序号视点的左侧；
(b2)最小视点序号视点在次小视点序号视点的右侧；
所述的左右视点分析模块的输出包括一个立体视频对R；
所述的左右视点分析模块完成的处理包括：
1)当所述虚拟视点合成标识A指示情况(a1)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的最小视点序号视频序列和次小视点序列视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的次小视点序号视频序列和最小视点序列视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；
2)当所述虚拟视点合成标识A指示情况(a2)且所述左右视点分析模块的输入中不包括最小视点序号视点选择标识E时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；
3)当所述虚拟视点合成标识A指示情况(a2)且所述最小视点序号视点选择标识E指示情况(e1)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的最小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的虚拟视点视频序列和最小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；
4)当所述虚拟视点合成标识A指示情况(a2)且所述最小视点序号视点选择标识E指示情况(e2)时，若所述最小视点序号视点为左视标识B指示情况(b1)，将所述立体视频对Q中对应的虚拟视点视频序列和次小视点序号视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列，若所述最小视点序号视点为左视标识B指示情况(b2)，将所述立体视频对Q中对应的次小视点序号视频序列和虚拟视点视频序列分别作为所述的立体视频对R的左视点视频序列和右视点视频序列；
图像平移模块，对左右视点图像进行水平平移，其输入为一个立体视频对Q、平移像素数C；其输出为立体视频对S；所述的平移像素数C，用于指示对所述立体视频对Q中左视点视频序列相对于右视点视频序列的图像进行水平平移的像素数C*；所述的图像平移模块的输出为经过平移处理的立体视频对，其完成的处理包括：
1)当C*为正数或零时，将所述的立体视频对Q中左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向左/右平移C*个像素；
2)C*为负数时，将所述的立体视频对Q中左视点视频序列的图像相对于右视点视频序列中同一时刻的图像向右/左平移-C*个像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210125660.3A CN103379354B (zh) | 2012-04-25 | 2012-04-25 | 立体视频对产生方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210125660.3A CN103379354B (zh) | 2012-04-25 | 2012-04-25 | 立体视频对产生方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103379354A CN103379354A (zh) | 2013-10-30 |
| CN103379354B true CN103379354B (zh) | 2015-03-11 |
Family
ID=49463838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210125660.3A Active CN103379354B (zh) | 2012-04-25 | 2012-04-25 | 立体视频对产生方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103379354B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1925626A (zh) * | 2005-08-29 | 2007-03-07 | 佳能株式会社 | 立体显示设备及其控制方法 |
| CN102158733A (zh) * | 2011-01-28 | 2011-08-17 | 华为技术有限公司 | 辅助视频补充信息承载方法、处理方法、装置与系统 |
| CN102307312A (zh) * | 2011-08-31 | 2012-01-04 | 四川虹微技术有限公司 | 一种对dibr技术生成的目标图像进行空洞填充的方法 |
-
2012
- 2012-04-25 CN CN201210125660.3A patent/CN103379354B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1925626A (zh) * | 2005-08-29 | 2007-03-07 | 佳能株式会社 | 立体显示设备及其控制方法 |
| CN102158733A (zh) * | 2011-01-28 | 2011-08-17 | 华为技术有限公司 | 辅助视频补充信息承载方法、处理方法、装置与系统 |
| CN102307312A (zh) * | 2011-08-31 | 2012-01-04 | 四川虹微技术有限公司 | 一种对dibr技术生成的目标图像进行空洞填充的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103379354A (zh) | 2013-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | 3D-TV system with depth-image-based rendering: architectures, techniques and challenges | |
| Zhao et al. | Depth no-synthesis-error model for view synthesis in 3-D video | |
| CN101309412A (zh) | 基于深度图像渲染的多通道视频流编码器和解码器 | |
| CN108886598A (zh) | 全景立体视频系统的压缩方法和装置 | |
| CN102325259A (zh) | 多视点视频中虚拟视点合成方法及装置 | |
| CN104838648B (zh) | 用于创建和重建视频流的装置和方法 | |
| Po et al. | Automatic 2D-to-3D video conversion technique based on depth-from-motion and color segmentation | |
| US10127714B1 (en) | Spherical three-dimensional video rendering for virtual reality | |
| CN104506872B (zh) | 一种平面视频转立体视频的方法及装置 | |
| CN105611270B (zh) | 一种双目视觉自由立体显示系统 | |
| US10033982B2 (en) | Method and device for decoding and encoding supplemental auxiliary information of three-dimensional video sequence | |
| CN102271270A (zh) | 一种双目立体视频拼接方法及拼接装置 | |
| CN111147868A (zh) | 一种自由视点视频导播系统 | |
| Wang et al. | An asymmetric edge adaptive filter for depth generation and hole filling in 3DTV | |
| CN105578172A (zh) | 基于Unity3D引擎的裸眼3D视频显示方法 | |
| CN107493465A (zh) | 一种虚拟多视点视频生成方法 | |
| CN102316354A (zh) | 显像技术中可平行处理的多视角图像合成方法 | |
| Knorr et al. | An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion | |
| CN109345444A (zh) | 深度感知增强的超分辨率立体图像构建方法 | |
| CN103379355B (zh) | 一种立体视频对产生方法及装置 | |
| CN102111637A (zh) | 生成立体视频深度图的方法及装置 | |
| CN103379354B (zh) | 立体视频对产生方法及装置 | |
| CN105163104B (zh) | 一种不产生空洞的中间视图合成方法 | |
| Knorr et al. | From 2D-to stereo-to multi-view video | |
| Tanimoto et al. | Frameworks for FTV coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |