CN103379355B - 一种立体视频对产生方法及装置 - Google Patents
一种立体视频对产生方法及装置 Download PDFInfo
- Publication number
- CN103379355B CN103379355B CN201210125010.9A CN201210125010A CN103379355B CN 103379355 B CN103379355 B CN 103379355B CN 201210125010 A CN201210125010 A CN 201210125010A CN 103379355 B CN103379355 B CN 103379355B
- Authority
- CN
- China
- Prior art keywords
- video sequence
- virtual view
- dimensional video
- frequency
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 27
- 230000015572 biosynthetic process Effects 0.000 claims description 48
- 238000003786 synthesis reaction Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 43
- 230000000007 visual effect Effects 0.000 abstract description 31
- 238000004891 communication Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 20
- 238000001914 filtration Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种应用于多媒体通信领域的立体视频对产生方法，由显示辅助信息对三维视频序列进行处理，得到一个立体视频对；立体视频对在立体显示器D1上显示；显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息和显示端缩放系数S1；摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；虚拟视点位置信息指示一个虚拟视点P1的位置；显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1，所述水平宽度为显示器屏幕实际宽度的近似值；本发明还公开了立体视频对产生装置。本发明改善最终三维立体显示的视觉感受。
Description
技术领域
本发明涉及一种多媒体通信领域，具体涉及一种立体视频对产生方法及装置。
背景技术
三维视频(3D video)序列包括多路(通常为2路)视频序列(对应于纹理信息)、对应的深度(depth)序列(对应于深度信息)，通常也被称为MVD(multi-view video plus depth)格式；每一路视频序列，通常由一个摄像机拍摄获得，所以称为一个摄像机视点视频序列，其对应的视点称为摄像机视点(camera view)。三维视频序列也包含每个视点的摄像机参数等信息。三维视频通过视点合成(view synthesis)技术产生一个虚拟视点视频序列，其对应的视点称为虚拟视点(virtual view)。传统的双目立体视频(stereoscopic video)仅由两个固定视点(即左视点和右视点)的视频序列构成，也称为一个立体视频对(stereos pair)。由双目摄像机获得的立体视频对可能存在两视图像视差过大的问题。观看这样的立体视频对会引起较严重的视觉疲劳，或者说这样的立体视频对并不适合于双目立体观看(stereoscopic viewing)。引入虚拟视点视频序列后，可以利用立体视频对中的一个视频序列和一个合成的虚拟视点视频序列构成一个更适合双目立体观看的立体视频对。对于不同显示器(不同分辨率或不同宽度)，N个像素的视差对应于不同的深度感受。
虚拟视点视频序列通过视点合成(view synthesis)技术产生。视点合成采用基于深度和图像渲染(depth-image-based rendering，简称DIBR)技术，将一个摄像机视点图像的像素通过其对应的深度值和相应的摄像机参数(例如每个视点的焦距、坐标位置等)，投影到另一虚拟视点上，从而生成投影图像；再通过空洞填充(hole filling)、滤波(filtering)、变采样(resampling)等处理产生最终用于显示的虚拟视点视频序列。视点合成还可以基于多个摄像机视点合成一个虚拟视点的图像，即分别将多个摄像机视点的图像投影到该虚拟视点，并把投影图像融合起来，称为视点融合(view merging)，再在融合的图像上进行空洞填充、滤波、变采样等处理，获得用于显示的虚拟视点视频序列。
一个立体视频对包括两个视频序列，即左视点视频序列(用于显示给左眼观看)和右视点视频序列(用于显示给右眼观看)。为了改善立体视频对的立体感觉，通常可以采用水平平移(shifting)立体视频对图像的方法来调节显示器上呈现的视差(parallax)范围。当左视点图像(即左视点视频序列的图像)相对于右视点图像向右平移时，负视差(negative parallax)增大，正视差(positive parallax)减小；当左视图像相对于右视图像向左平移时，负视差(negative parallax)减小，正视差(positive parallax)增大。以左视点图像相对于右视点图像向右平移N个像素为例，通常的方法有，依次将左视点图像中(从左向右)第i列像素拷贝给第i+N/2列，同时将右视点图像第i列像素拷贝给第i-N/2列；或者右视点图像保持不变，左视点图像的第i列的图像拷贝给第i+N列。将左视点图像相对于右视点图像向左平移N个像素与上述方法类似。
发明内容
为克服现有技术的上述缺陷，本发明的目的在于根据显示辅助信息(包含用于显示立体视频对的立体显示器的分辨率和屏幕宽度)，对重建的三维视频序列进行处理，得到一个适合通过目标立体显示器观看的立体视频对，从而改善最终三维立体显示的视觉感受。
本发明第一技术方案是公开一种立体视频对产生方法，由显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述立体视频对在立体显示器D1上显示；
所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息和显示端缩放系数S1；
所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；
所述虚拟视点位置信息指示一个虚拟视点P1的位置；
所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1，所述水平宽度为显示器屏幕实际宽度的近似值；
所述对三维视频序列进行处理，得到一个立体视频对包括：
1)选择所述三维视频序列中所述摄像机视点C的视频序列作为所述立体视频对中的一个视频序列V1；
2)确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2，所述虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/K倍，其中K为一个常数。
作为优选，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对所述立体视频对中两个视频序列的图像进行水平平移的像素数X；
所述“对三维视频序列进行处理，得到一个立体视频对”还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/K倍，即X’XS1/K。
本发明第二技术方案是公开一种立体视频对产生方法，由输入的显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述的立体视频对在立体显示器D1上显示；
所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端缩放系数S1和源端缩放系数S2；
所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；
所述虚拟视点位置信息指示一个虚拟视点P1的位置；
所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；
所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2；
所述对三维视频序列进行处理，得到一个立体视频对包括：
1)选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
2)确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2，所述虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/S2倍。
作为优选，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对所述立体视频对中两个视频序列的图像进行水平平移的像素数X；
所述“对三维视频序列进行处理，得到一个立体视频对”还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/S2倍，即X’XS1/S2。
本发明第三技术方案是公开一种立体视频对产生装置，包括以下两个模块：
摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息，所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；所述摄像机视点视频序列选取模块的输出包括立体视频对中的一个视频序列V1；所述摄像机视点视频序列选取模块完成的处理包括选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息和显示端缩放系数S1；所述虚拟视点位置信息指示一个虚拟视点P1的位置；所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列V2；所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2，所述虚拟视点P2在所述摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/K倍，其中K为一个常数。
作为优选，所述立体视频对产生装置还包括图像平移模块，其输入包括由所述视频序列V1和视频序列V2构成的立体视频对Q1和所述的显示端缩放系数S1，其输出包括一个经过平移处理的立体视频对Q2；所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/K倍，即X’XS1/K。
本发明第四技术方案是公开一种立体视频对产生装置，包括以下两个模块：
摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息，所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；所述摄像机视点视频序列选取模块的输出包括立体视频对中的一个视频序列V1；所述摄像机视点视频序列选取模块完成的处理包括选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息、显示端缩放系数S1和源端缩放系数S2，所述虚拟视点位置信息指示一个虚拟视点P1的位置，所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1，所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2；所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列V2；所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2，所述虚拟视点P2在所述摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/S2倍。
作为优选，所述立体视频对产生装置还包括图像平移模块，其输入包括由所述视频序列V1和视频序列V2构成的立体视频对Q1、显示端缩放系数S1和源端缩放系数S2，其输出包括一个经过平移处理的立体视频对Q2；所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/S2倍，即X’XS1/S2。
有益效果：与现有技术相比，本发明的立体视频对产生方法及装置根据显示设备的参数为其提供一个适合双目立体观看的立体视频对，从而改善最终三维立体显示的视觉感受。
附图说明
结合附图，本发明的其他特点和优点可从下面通过举例来对本发明的原理进行解释的优选实施方式的说明中变得更清楚。
图1为本发明的实施例中立体视频对产生装置的一种结构示意图；
图2为本发明的实施例中立体视频对产生装置的另一结构示意图；
图3为本发明的实施例中立体视频对产生装置的又一结构示意图；
图4为本发明的实施例中立体视频对产生装置的再一结构示意图。
具体实施方式
下面将结合附图对本发明的实施方式进行详细描述：
所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端缩放系数S；
所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；
所述虚拟视点位置信息指示一个虚拟视点P1的位置；
所述显示端缩放系数S1为用于播放立体视频对的立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；所述的水平宽度为显示器屏幕实际宽度的近似值。
所述显示辅助信息还包括源端缩放系数S2或平移像素信息之一，或其两者；
所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2；
所述图像平移信息指示对所述立体视频对中两个视频序列的图像进行水平平移(shifting)的像素数X。
实施例1
本发明的第一实施方式涉及一种立体视频对产生方法。由输入的显示辅助信息，对三维视频序列进行处理，得到一个立体视频对P，用于在立体显示器D1上播放；
所述的显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端缩放系数S1；
所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；
所述虚拟视点位置信息指示一个虚拟视点P1的位置；
所述显示端缩放系数S1为用于播放立体视频对的立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；所述的水平宽度为显示器屏幕实际宽度的近似值。
所述的对三维视频序列进行处理，得到一个立体视频对包括以下处理：
1)选择所述三维视频序列中由所述的摄像机视点位置信息指示的所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
2)确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2；所述的虚拟视点P2在所述摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/K倍，其中K为一个常数。即由P2和C构成的矢量Vec2为由P1和C构成的矢量Vec1的S1/K倍(Vec2＝Vec1S1/K)。K可以为一个固定的显示器D3的水平分辨率Res3与其水平宽度W3的比值，即K＝Res3/W3；其中所述的水平宽度W1和W3为显示器D1和D3的屏幕水平宽度的近似值(近似误差例如小于10％，即W1或W3与D1或D3的真实屏幕水平宽度的差值小于真实屏幕水平宽度的10％)，例如显示器屏幕的实际水平尺寸为1103，其可近似为1100或者1050等。所述的Res3和W3例如Res3＝1920，W3＝1000厘米，或者Res3＝1920，W3＝1100厘米，或者Res3＝1680，W3＝500厘米。
所述的合成虚拟视点P2的虚拟视点视频序列的视点合成处理，可采用基于深度和图像渲染(depth-image-based rendering，简称DIBR)技术，将一个摄像机视点(camera view)图像的像素通过其对应的深度值和相应的摄像机参数(例如每个视点的焦距、坐标位置等)，投影到另一虚拟视点(virtual view)上，从而生成投影图像；再通过空洞填充(hole filling)、滤波(filtering)、变采样(resampling)等处理产生最终用于显示的虚拟视点视频序列。视点合成还可以基于多个摄像机视点合成一个虚拟视点的图像，即分别将三维视频序列中多个摄像机视点的图像投影到该虚拟视点，并把投影图像融合起来，称为视点融合(view merging)，再在融合的图像上进行空洞填充、滤波、变采样等处理，获得用于显示的虚拟视点视频序列。
实施例2
本发明的第二实施方式涉及一种立体视频对产生方法。与实施例1不同的是，所述的显示辅助信息还包括源端缩放系数S2；所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2。源端缩放系数通常由视频内容生成时设定，立体显示器D2可以为一个推荐尺寸的立体显示器，例如对于手机播放的三维视频序列，D2为5英寸屏幕，对家庭娱乐的三维视频序列，D2为47英寸屏幕。其中所述的水平宽度W2为显示器D2的屏幕水平宽度的近似值。
所述的对三维视频序列进行处理，得到一个立体视频对包括以下处理：
1)选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
2)确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2；所述的虚拟视点P2在所述摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/S2倍。
实施例3
本发明的第三实施方式涉及一种立体视频对产生方法。由输入的显示辅助信息，对三维视频序列进行处理，得到一个立体视频对，用于在立体显示器D1上播放；
所述的显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端缩放系数S1、图像平移信息；
所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；
所述虚拟视点位置信息指示一个虚拟视点P1的位置；
所述显示端缩放系数S1为立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；
所述图像平移信息指示对所述立体视频对中两个视频序列的图像进行水平平移(shifting)的像素数X；
所述的对三维视频序列进行处理，得到一个立体视频对包括以下处理：
1)选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
2)确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2；所述的虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/K倍，其中K为一个常数。即由P2和C构成的矢量Vec2为由P1和C构成的矢量Vec1的S1/K倍(Vec2＝Vec1S1/K)。K可以为一个固定的显示器的水平分辨率Res3与其水平宽度W3的比值，即K＝Res3/W3，例如Res3＝1024，W3＝300厘米，或者Res3＝1280，W3＝375厘米。
3)对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/K倍，其中K为一个常数，即X’XS1/K。当X’由X’＝XS1/K计算为非整数时，将X’舍入为整数。X’为正值表示左视点图像(即左视点视频序列的图像)相对于右视点图像向右(或向左)平移时X’个像素；X’为负值表示左视点图像(即左视点视频序列的图像)相对于右视点图像向左(或向右)平移时X’个像素。以左视点图像相对于右视点图像向右平移N(N为正整数)个像素为例，通常的方法有以下三种之一，
1)依次将左视点图像中(从左向右)第i列像素拷贝给左视点图像中第i+N/2列，同时将右视点图像第i列像素拷贝给右视点图像中第i-N/2列；
2)右视点图像保持不变，左视点图像的第i列的图像拷贝给左视点图像中第i+N列；
3)左视点图像保持不变，右视点图像的第i列的图像拷贝给右视点图像中第i-N列。
将左视点图像相对于右视点图像向左平移N个像素与上述方法类似。
实施例4
本发明的第四实施方式涉及一种立体视频对产生方法。与实施例3不同的是，所述的显示辅助信息还包括源端缩放系数S2；所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2。
所述的对三维视频序列进行处理，得到一个立体视频对包括以下处理：
1)选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
2)确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2；所述的虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/S2倍；
3)对所述的立体视频对中两个视频序列的图像进行水平平移，其平移的像素数X’为所述像素数X的S1/S2倍，即X’XS1/S2。当X’由X’＝XS1/S2计算为非整数时，将X’舍入为整数。
实施例5
本发明的第五实施方式涉及一种立体视频对产生装置。图1为立体视频对产生装置一种实施例的结构示意图。该装置包括两个模块：
摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息；所述的摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；所述的摄像机视点视频序列选取模块的输出包括所述摄像机视点C的视频序列，即所述的立体视频对中的一个视频序列V1；所述的摄像机视点视频序列选取模块完成的功能和实施方式与上述立体视频对产生方法中选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1的功能和实施方式相同。
虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息和显示端缩放系数S1；所述的虚拟视点位置信息指示一个虚拟视点P1的位置；所述的显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；所述的虚拟视点视频序列合成模块的输出包括一个虚拟视点视频序列，即所述的立体视频对中的一个视频序列V2；所述的虚拟视点视频序列合成模块完成的功能和实施方式与上述立体视频对产生方法中确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2的功能和实施方式相同；所述的虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/K倍，其中K为一个常数，例如K＝1.92或K＝1。
实施例6
本发明的第六实施方式涉及一种立体视频对产生装置。图2为立体视频对产生装置另一种实施例的结构示意图。该装置与实施例5中所述装置不同在于以下两点：
1)所述虚拟视点视频序列合成模块的输入还包括源端缩放系数S2；所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2；
2)所述虚拟视点视频序列合成模块完成的功能和实施方式与上述立体视频对产生方法中确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2的功能和实施方式相同；所述的虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/S2倍。
实施例7
本发明的第七实施方式涉及一种立体视频对产生装置。图3为立体视频对产生装置又一种实施例的结构示意图。该装置包括以下三个模块：
摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息；所述的摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；所述的摄像机视点视频序列选取模块的输出包括所述摄像机视点C的视频序列，即所述的立体视频对中的一个视频序列V1；所述的摄像机视点视频序列选取模块完成的功能和实施方式与上述立体视频对产生方法中选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1的功能和实施方式相同。
虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息和显示端缩放系数S1；所述的虚拟视点位置信息指示一个虚拟视点P1的位置；所述的显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；所述的虚拟视点视频序列合成模块的输出包括一个虚拟视点视频序列，即所述的立体视频对中的一个视频序列V2；所述的虚拟视点视频序列合成模块完成的功能和实施方式与上述立体视频对产生方法中确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2的功能和实施方式相同；所述的虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/K倍，其中K为一个常数。
图像平移模块，其输入包括由所述的视频序列V1和视频序列V2构成的立体视频对Q1和显示端缩放系数S1，其输出包括一个经过平移处理的立体视频对Q2；所述的图像平移模块完成的功能和实施方式与上述立体视频对产生方法中对立体视频对中两个视频序列的图像进行水平平移且平移的像素数X’为所述像素数X的S1/K倍的功能和实施方式相同，其中K为一个常数，X为整数(即有X’＝XS1/K)。当X’由X’＝XS1/K计算为非整数时，将X’舍入为整数。
实施例8
本发明的第八实施方式涉及一种立体视频对产生装置。图4为立体视频对产生装置再一种实施例的结构示意图。该装置与实施例7中所述装置不同之处在于以下四点：
1)所述虚拟视点视频序列合成模块的输入还包括源端缩放系数S2；所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2；
2)所述虚拟视点视频序列合成模块完成的功能和实施方式与上述立体视频对产生方法中确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列的功能和实施方式相同；所述的虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/S2倍；
3)所述图像平移模块的输入还包括所述的源端缩放系数S2；
4)所述图像平移模块完成的功能和实施方式与上述立体视频对产生方法中对立体视频对中两个视频序列的图像进行水平平移且平移的像素数X’为所述像素数X的S1/S2倍(即有X’＝XS1/S2)的功能和实施方式相同，其中当X’由X’＝XS1/K计算为非整数时，将X’舍入为整数。
所述的立体视频对产生装置可以由多种方式实现，例如：
方法一：以电子计算机为硬件附加与所述立体视频对产生方法功能相同的软件程序来实现。
方法二：以单片机为硬件附加与所述立体视频对产生方法功能相同的软件程序来实现。
方法三：以数字信号处理器为硬件附加与立体视频对产生方法功能相同的软件程序来实现。
方法四：设计与所述立体视频对产生方法功能相同的电路来实现。
实现所述的立体视频对产生装置的方法还可以有其它的方法，不仅限于上述四种。
虽然结合附图描述了本发明的实施方式，但是本领域普通技术人员可以在所附权利要求的范围内作出各种变形或修改。
Claims (8)
1.一种立体视频对产生方法，其特征在于，由显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述立体视频对在立体显示器D1上显示；
所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息和显示端缩放系数S1；
所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；
所述虚拟视点位置信息指示一个虚拟视点P1的位置；
所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1，所述水平宽度为显示器屏幕实际宽度的近似值；
所述对三维视频序列进行处理，得到一个立体视频对包括：
1)选择所述三维视频序列中所述摄像机视点C的视频序列作为所述立体视频对中的一个视频序列V1；
2)确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2，所述虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/K倍，其中K为一个固定显示器D3的水平分辨率Res3与其水平宽度W3的比值，即K＝Res3/W3；其中所述的水平宽度W3为显示器D3的屏幕水平宽度的近似值。
2.如权利要求1所述的立体视频对产生方法，其特征在于，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对所述立体视频对中两个视频序列的图像进行水平平移的像素数X；
所述“对三维视频序列进行处理，得到一个立体视频对”还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/K倍，即X’＝XS1/K。
3.一种立体视频对产生方法，其特征在于，由输入的显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述的立体视频对在立体显示器D1上显示；
所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端缩放系数S1和源端缩放系数S2；
所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；
所述虚拟视点位置信息指示一个虚拟视点P1的位置；
所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；
所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2；
所述对三维视频序列进行处理，得到一个立体视频对包括：
1)选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
2)确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2，所述虚拟视点P2在摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/S2倍。
4.如权利要求3所述的立体视频对产生方法，其特征在于，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对所述立体视频对中两个视频序列的图像进行水平平移的像素数X；
所述“对三维视频序列进行处理，得到一个立体视频对”还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/S2倍，即X’＝XS1/S2。
5.一种立体视频对产生装置，其特征在于包括以下两个模块：
摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息，所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；所述摄像机视点视频序列选取模块的输出包括立体视频对中的一个视频序列V1；所述摄像机视点视频序列选取模块完成的处理包括选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息和显示端缩放系数S1；所述虚拟视点位置信息指示一个虚拟视点P1的位置；所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1；所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列V2；所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2，所述虚拟视点P2在所述摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/K倍，其中K为一个固定显示器D3的水平分辨率Res3与其水平宽度W3的比值，即K＝Res3/W3；其中所述的水平宽度W3为显示器D3的屏幕水平宽度的近似值。
6.如权利要求5所述的一种立体视频对产生装置，其特征在于还包括图像平移模块，其输入包括由所述视频序列V1和视频序列V2构成的立体视频对Q1和所述的显示端缩放系数S1，其输出包括一个经过平移处理的立体视频对Q2；所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/K倍，即X’＝XS1/K。
7.一种立体视频对产生装置，其特征在于包括以下两个模块：
摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息，所述摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；所述摄像机视点视频序列选取模块的输出包括立体视频对中的一个视频序列V1；所述摄像机视点视频序列选取模块完成的处理包括选择所述三维视频序列中所述视点C的视频序列作为所述立体视频对中的一个视频序列V1；
虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息、显示端缩放系数S1和源端缩放系数S2，所述虚拟视点位置信息指示一个虚拟视点P1的位置，所述显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值，即S1＝Res1/W1，所述源端缩放系数S2为一个立体显示器D2的水平分辨率Res2与水平宽度W2的比值，即S2＝Res2/W2；所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列V2；所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点P2，合成虚拟视点P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列V2，所述虚拟视点P2在所述摄像机视点C和虚拟视点P1的连线上，且与所述摄像机视点C的距离为所述摄像机视点C和虚拟视点P1之间距离的S1/S2倍。
8.如权利要求7所述的一种立体视频对产生装置，其特征在于还包括图像平移模块，其输入包括由所述视频序列V1和视频序列V2构成的立体视频对Q1、显示端缩放系数S1和源端缩放系数S2，其输出包括一个经过平移处理的立体视频对Q2；所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数X’为所述像素数X的S1/S2倍，即X’＝XS1/S2。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210125010.9A CN103379355B (zh) | 2012-04-25 | 2012-04-25 | 一种立体视频对产生方法及装置 |
| US14/397,123 US9888222B2 (en) | 2012-04-25 | 2013-04-24 | Method and device for generating stereoscopic video pair |
| EP13780677.4A EP2843948B1 (en) | 2012-04-25 | 2013-04-24 | Method and device for generating stereoscopic video pair |
| PCT/CN2013/000466 WO2013159568A1 (zh) | 2012-04-25 | 2013-04-24 | 一种立体视频对产生方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210125010.9A CN103379355B (zh) | 2012-04-25 | 2012-04-25 | 一种立体视频对产生方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103379355A CN103379355A (zh) | 2013-10-30 |
| CN103379355B true CN103379355B (zh) | 2015-10-28 |
Family
ID=49463839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210125010.9A Active CN103379355B (zh) | 2012-04-25 | 2012-04-25 | 一种立体视频对产生方法及装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9888222B2 (zh) |
| EP (1) | EP2843948B1 (zh) |
| CN (1) | CN103379355B (zh) |
| WO (1) | WO2013159568A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105282321A (zh) * | 2015-08-28 | 2016-01-27 | 上海健保科技有限公司 | 一种应用软件用户界面与显示设备的适配方法 |
| GB2571306A (en) | 2018-02-23 | 2019-08-28 | Sony Interactive Entertainment Europe Ltd | Video recording and playback systems and methods |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6476850B1 (en) * | 1998-10-09 | 2002-11-05 | Kenneth Erbey | Apparatus for the generation of a stereoscopic display |
| CN102056003A (zh) * | 2009-11-04 | 2011-05-11 | 三星电子株式会社 | 使用主动亚像素渲染的高密度多视点图像显示系统及方法 |
| CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
| US8106924B2 (en) * | 2008-07-31 | 2012-01-31 | Stmicroelectronics S.R.L. | Method and system for video rendering, computer program product therefor |
| JP4793451B2 (ja) * | 2009-01-21 | 2011-10-12 | ソニー株式会社 | 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム |
| ES2578022T3 (es) * | 2009-02-17 | 2016-07-20 | Koninklijke Philips N.V. | Combinación de datos de imágenes 3D y gráficos |
| CN101742347B (zh) * | 2010-01-04 | 2013-01-23 | 中国电信股份有限公司 | 实现立体显示的方法、显示装置及显示系统 |
| JP2011151676A (ja) * | 2010-01-22 | 2011-08-04 | Panasonic Electric Works Co Ltd | 映像表示システム |
| GB2479784B (en) * | 2010-04-23 | 2012-11-07 | Nds Ltd | Image scaling |
| JP5449535B2 (ja) * | 2010-04-28 | 2014-03-19 | 富士フイルム株式会社 | 立体撮像装置及びその制御方法 |
| EP2395764B1 (en) * | 2010-06-14 | 2016-02-17 | Nintendo Co., Ltd. | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
| CN102263977B (zh) * | 2011-08-01 | 2013-06-12 | 清华大学 | 一种用于移动终端的立体视频获取的方法和装置 |
-
2012
- 2012-04-25 CN CN201210125010.9A patent/CN103379355B/zh active Active
-
2013
- 2013-04-24 WO PCT/CN2013/000466 patent/WO2013159568A1/zh active Application Filing
- 2013-04-24 US US14/397,123 patent/US9888222B2/en active Active
- 2013-04-24 EP EP13780677.4A patent/EP2843948B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6476850B1 (en) * | 1998-10-09 | 2002-11-05 | Kenneth Erbey | Apparatus for the generation of a stereoscopic display |
| CN102056003A (zh) * | 2009-11-04 | 2011-05-11 | 三星电子株式会社 | 使用主动亚像素渲染的高密度多视点图像显示系统及方法 |
| CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2843948A1 (en) | 2015-03-04 |
| US20150334364A1 (en) | 2015-11-19 |
| CN103379355A (zh) | 2013-10-30 |
| EP2843948A4 (en) | 2016-03-09 |
| WO2013159568A1 (zh) | 2013-10-31 |
| US9888222B2 (en) | 2018-02-06 |
| EP2843948B1 (en) | 2019-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1942902B (zh) | 用于2.5维图像再现的重影虚像的削减 | |
| WO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
| CN102325259A (zh) | 多视点视频中虚拟视点合成方法及装置 | |
| KR20110090958A (ko) | 이미지 속성들에 대한 오클루젼 데이터의 생성 | |
| JP2013534742A (ja) | デプスマップ情報を利用した立体映像変換方法及び装置 | |
| CN101309412A (zh) | 基于深度图像渲染的多通道视频流编码器和解码器 | |
| Po et al. | Automatic 2D-to-3D video conversion technique based on depth-from-motion and color segmentation | |
| WO2010052637A1 (en) | Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal | |
| CN104041027A (zh) | 用于三维显示的显示处理器 | |
| CN105723705A (zh) | 用于自动立体多视图显示器的图像的生成 | |
| JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
| CN105578172A (zh) | 基于Unity3D引擎的裸眼3D视频显示方法 | |
| CN102316354A (zh) | 显像技术中可平行处理的多视角图像合成方法 | |
| CN103379355B (zh) | 一种立体视频对产生方法及装置 | |
| Knorr et al. | An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion | |
| CN102843571B (zh) | 多视角立体显示器影像合成方法 | |
| Tanimoto et al. | Frameworks for FTV coding | |
| Knorr et al. | From 2D-to stereo-to multi-view video | |
| KR101920113B1 (ko) | 임의시점 영상생성 방법 및 시스템 | |
| Kim et al. | Depth scaling of multiview images for automultiscopic 3D monitors | |
| CN102231841A (zh) | 基于双视点立体数据裸眼立体显示电视及实现方法 | |
| Kuo et al. | Stereoview to multiview conversion architecture for auto-stereoscopic 3D displays | |
| KR20140022300A (ko) | 다시점 영상 생성 방법 및 장치 | |
| CN103379354B (zh) | 立体视频对产生方法及装置 | |
| Knorr et al. | Super-resolution stereo-and multi-view synthesis from monocular video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |