CN102970552B - 视频处理装置和视频处理方法 - Google Patents
视频处理装置和视频处理方法 Download PDFInfo
- Publication number
- CN102970552B CN102970552B CN201110428685.6A CN201110428685A CN102970552B CN 102970552 B CN102970552 B CN 102970552B CN 201110428685 A CN201110428685 A CN 201110428685A CN 102970552 B CN102970552 B CN 102970552B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- polarization conversion
- conversion pattern
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
- G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
本发明公开一种视频处理装置和视频处理方法。所述视频处理装置用以根据多视角视频流来产生偏振视频流,包括移动信息检测器以及偏振转换器。所述移动信息检测器通过处理所述多视角视频流来检测所述多视角视频流的移动信息。所述偏振转换器耦接于所述移动信息检测器,且根据所述移动信息来将所述多视角视频流转换为所述偏振视频流。本发明所公开的视频处理装置和视频处理方法,基于多视角视频流的移动信息来将多视角视频流转换为偏振视频流,能够改善立体影像或三维影像的播放品质。
Description
技术领域
本发明有关于将多视角视频流(multi-view video stream)转换为偏振视频流(polarized video stream),特别是有关于一种根据多视角视频流(例如,载有左眼图像与右眼图像的立体/三维视频流)与从所述多视角视频流所取得的移动信息来产生偏振视频流的装置与方法。
背景技术
随着科技的进步,使用者所追求的不再只是高画质影像,而是具立体感且更真实感的影像显示。目前立体影像显示的技术主要可分为两种,即,一种需要视频输出装置一并搭配眼镜(例如红蓝眼镜、偏光眼镜或快门眼镜)使用,而另一种则仅需要视频输出装置而无需搭配任何眼镜。无论是采用哪一种技术,立体影像显示的主要原理就是让左眼与右眼分别看到不同的影像画面,进而使大脑将两眼所分别看到的不同的影像画面视为立体影像。
快门眼镜被使用者广泛地用在观赏通过影像输出装置来呈现的立体图像。快门眼镜包括两片快门镜片,并且通过适当地控制快门镜片在开启状态与关闭状态之间切换,来允许使用者的左眼看到左眼图像、使用者的右眼看到右眼图像。然而,由于快门眼镜需要安装控制器来控制快门眼镜的状态以及需要电池模组来供应电源给控制器与快门眼镜,因此快门眼镜的成本不低。
由于基于偏振的立体影像显示技术具有较低的制造成本,故可以被采用。举例来说,为了将立体影像播放在使用者所观看的面板上,一种基于偏振的方法是使用相位延迟薄膜(pattern retarder,PR)型或是微相位差膜(micro retarder)型的面板,因此,原本的一个立体视频流(其包括左眼图像与右眼图像)应被转换为一个偏振视频流,以被适当地播放在相位延迟薄膜型/微相位差膜型的面板上来呈现立体图像给使用者。传统的方法是提取左眼图像中一半的扫描线与右眼图像中一半的扫描线,并且通过结合所提取的扫描线来产生偏振视频帧(polarized video frame)。然而,通过此偏振视频流所驱动的相位延迟薄膜型/微相位差膜型的面板上所播放出来的立体图像的解析度(resolution)会减少为通过原本的立体视频流所驱动的面板上所播放出来的立体图像的解析度的一半。
为了提高偏振立体影像显示的解析度,可以在时域(temporal)上采用较快的帧速率(frame rate),也就是说,在立体视频流所包括的左眼帧与右眼帧的原本帧周期(例如,1/60秒)中,偏振视频流包括不只一个帧。用来在时域上达到较快的帧速率的现有技术是通过汇集一对左眼图像与右眼图像的偶扫描线来产生一帧,并且通过汇集同一对左眼图像与右眼图像的奇扫描线来产生另一帧。然而,由于固定的扫描线选取顺序,现有技术只对在特定方向上具有移动(motion)的帧会有好的播放品质,而对于在其他方向上具有移动的帧或是不具有移动的静态帧,采用较快的帧速率的偏振影像显示会产生画面闪烁(flicker)的问题并且具有不好的播放品质。
发明内容
由此,本发明的目的为提供一种根据多视角视频流(例如,载有左眼图像与右眼图像的立体/三维视频流)与从所述多视角视频流所取得的移动信息来产生偏振视频流的装置与方法,以解决上述问题。
一种视频处理装置的范例实施方式,用以根据多视角视频流来产生偏振视频流,包括:移动信息检测器以及偏振转换器。所述移动信息检测器通过处理所述多视角视频流来检测所述多视角视频流的移动信息。所述偏振转换器耦接于所述移动信息检测器,且根据所述移动信息来将所述多视角视频流转换为所述偏振视频流。
一种视频处理方法的范例实施方式,用以根据多视角视频流来产生偏振视频流,包括:通过处理所述多视角视频流来检测所述多视角视频流的移动信息;以及根据所述移动信息来将所述多视角视频流转换为所述偏振视频流。
本发明所公开的视频处理装置和视频处理方法,基于多视角视频流的移动信息来将多视角视频流转换为偏振视频流,能够改善立体影像或三维影像的播放品质。
对于已经阅读后续由各附图及内容所显示的较佳实施方式的本领域的技术人员来说,本发明的各目的是明显的。
附图说明
图1为本发明视频处理装置的第一实施例的方块示意图。
图2为当移动信息指示左眼图像与右眼图像为静态图像时,在一种偏振转换模式下所产生的处理后的视频帧的示意图。
图3为当移动信息指示左眼图像与右眼图像不是静态图像时,在另一种偏振转换模式下所产生的处理后的视频帧的示意图。
图4为当移动信息指示左眼图像与右眼图像不是静态图像时,在又一种偏振转换模式下所产生的处理后的视频帧的示意图。
图5为根据各自的权重系数来混合多个候选内容的偏振转换操作范例的示意图。
图6为本发明视频处理装置的第二实施例的方块示意图。
图7为本发明视频处理装置的第三实施例的方块示意图。
图8为本发明视频处理装置的第四实施例的方块示意图。
图9为根据多视角视频流来产生偏振视频流的视频处理方法的流程图。
具体实施方式
在权利要求书及说明书中使用了某些词汇来指称特定的元件。所属领域中具有通常知识者应可理解,硬件制造商可能会用不同的名词来称呼同样的元件。本权利要求书及说明书并不以名称的差异来作为区分元件的方式,而是以元件在功能上的差异来作为区分的准则。在权利要求书及说明书中所提及的「包括」为开放式的用语,故应解释成「包括但不限定于」。另外,「耦接」一词在此包括任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置,则代表所述第一装置可直接电气连接于所述第二装置,或通过其他装置或连接手段间接地电气连接至所述第二装置。
如图1所示,图1为本发明视频处理装置的第一实施例的方块示意图。视频处理装置100用以根据多视角视频流(例如,立体/三维视频流)S1来产生偏振视频流S2。偏振视频流S2可提供给用来播放垂直次要取样帧(verticallysub-sampled frame)的偏光型面板(polarizer type panel)、用来播放水平次要取样帧(horizontally sub-sampled frame)的屏障型面板(barrier type panel)或者用来播放垂直与水平次要取样帧的屏障/柱状型面板(barrier/lenticular type panel)。在本实施例中,视频处理装置100包括(但不局限于)移动信息检测器102以及偏振转换器104。移动信息检测器102与偏振转换器104均可存取(access)储存/缓冲装置,例如动态随机存取存储器(dynamic random accesses memory,DRAM)101,用来暂时储存待处理的数据以及处理后的数据。移动信息检测器102通过处理多视角视频流S1来检测多视角视频流S1的移动信息INF。偏振转换器104耦接于移动信息检测器102,且根据移动信息INF来将多视角视频流S1转换为偏振视频流S2。由于移动信息INF会针对包括在多视角视频流S1中的每一个原本的视频帧的部分影像内容或者全部影像内容来提供移动状态(motion status),因此偏振转换器104可以参考移动信息INF来启动适当的偏振转换模式以设定包括于偏振视频流S2中的处理后的视频帧。由于可以有一种以上的偏振转换模式被采用,因此没有移动和/或在不同方向上具有移动的不同的视频帧的播放品质便会有所提升。更明确地来说,现有技术所面临到的上述的画面闪烁问题可得以避免或减轻,进而使得偏振立体影像/三维影像的播放品质获得改善。进一步的说明将详述如下。
为了方便解说,在下列实施例中的偏振视频流S2提供给用来播放垂直次要取样帧的偏光型面板,因此,由偏振转换操作所产生的处理后的视频帧是基于多视角视频流S1所传送的原本的视频帧中所提取出来的奇数线与偶数线的结合(例如,多个像素行(pixel row)的结合)。然而,此仅作为说明用,并非作为本发明的限制条件,举例来说,当偏振转换器104被用来产生偏振视频流S2至屏障型面板或屏障/光栅型面板时,由偏振转换操作所产生的处理后的视频帧是基于多视角视频流S1所传送的原本的视频帧中所提取出来的奇数线与偶数线的结合(例如,多个像素列(pixel column)的结合,或者多个像素行与多个像素列的结合)。简言之,只要是从多视角视频流S1所取得的移动信息有被参考来控制用以产生偏振视频流S2的偏振转换操作,均符合本发明的精神。
在第一设计范例中,移动信息检测器102通过检测原本的视频帧是否为静态图像/图片,来产生多视角视频流S1的原本的视频帧的移动信息INF,也就是说,移动信息检测器102只会检查原本的视频帧中是否包括移动物体(movingobject),并不会确切辨识移动物体的移动方向。对于偏振转换器104而言,其可通过使用分别响应移动信息INF所指示的不同移动状态所设定的不同偏振转换模式,来将多视角视频流S1转换为偏振视频流S2。更明确地来说,当移动信息INF指示原本的视频帧(例如,一对左眼图像与右眼图像)为静态图像时,偏振转换器104便在第一偏振转换模式下将多视角视频流S1的原本的视频帧转换为偏振视频流S2的处理后的视频帧;以及当移动信息INF指示原本的视频帧(例如,一对左眼图像与右眼图像)不是静态图像,其表示原本的视频帧中包括移动物体时,偏振转换器104便在第二偏振转换模式下将多视角视频流S1的原本的视频帧转换为偏振视频流S2的处理后的视频帧。要注意的是,当操作于不同偏振转换模式下时,偏振转换器104会进行不同的偏振转换。由偏振转换器104所进行的不同的偏振转换的范例说明如下。
图2为当移动信息INF指示左眼图像IMG_L与右眼图像IMG_R为静态图像时,在一种偏振转换模式下所产生的处理后的视频帧IMG的示意图。当移动信息INF指示原本的视频帧(例如,具有扫描线L1、L2、...、L1079以及L1080包括于其中的左眼图像IMG_L,以及具有扫描线R1、R2、...、R1079以及R1080包括于其中的右眼图像IMG_R)为静态图像时,偏振转换器104会采用图2中的偏振转换操作以产生偏振视频流S2的处理后的视频帧。举例来说,传统的偏振转换方法提取左眼图像IMG_L中一半的扫描线(例如,奇扫描线),提取右眼图像IMG_R中一半的扫描线(例如,偶扫描线),并且通过结合所提取的扫描线来产生处理后的视频帧IMG。要注意的是,由偏振转换器104在所述偏振转换模式下所产生的处理后的视频帧的帧速率相同于通过多视角视频流S1来传送的左眼图像与右眼图像的帧速率。当没有使用更快的帧速率来提升偏振立体显示(polarized stereo display)的解析度时,前述的画面闪烁的问题便可得以避免。换句话说,不具有移动的处理后的视频帧在偏光型面板上播放时会有好的播放品质。
要注意的是,包括在左眼图像IMG_L/右眼图像IMG_R中的扫描线的条数仅作为范例说明用,并非作为本发明的限制条件。
图3为当移动信息INF指示左眼图像IMG_L与右眼图像IMG_R不是静态图像时,在另一种偏振转换模式下所产生的处理后的视频帧IMG_1与IMG_2的示意图。图4为当移动信息INF指示左眼图像IMG_L与右眼图像IMG_R不是静态图像时,在又一种偏振转换模式下所产生的处理后的视频帧IMG_1’与IMG_2’的示意图。当移动信息INF指示原本的视频帧(例如,左眼图像IMG_L与右眼图像IMG_R)不是静态图像时,偏振转换器104会采用图3或图4所示的偏振转换操作来产生偏振视频流S2的处理后的视频帧IMG_1与IMG_2或IMG_1’与IMG_2’。如图3与图4所示,相较于包括在多视角视频流S1中的左眼图像与右眼图像的帧速率,由偏振转换器104所产生的处理后的视频帧在时域上会具有较快的帧速率。对于图3中的偏振转换操作而言,先通过汇集(gather)一对左眼图像IMG_L与右眼图像IMG_R的偶扫描线来产生处理后的视频帧IMG_1,然后通过汇集同一对左眼图像IMG_L与右眼图像IMG_R的奇扫描线来产生另一处理后的视频帧IMG_2。对于图4中的偏振转换操作而言,先通过汇集一对左眼图像IMG_L与右眼图像IMG_R的奇扫描线来产生处理后的视频帧IMG_1’,然后通过汇集同一对左眼图像IMG_L与右眼图像IMG_R的偶扫描线来产生另一处理后的视频帧IMG_2’。由于处理后的视频帧不是静态图像,所以会具有包括于其中的移动物体,而使用较高的帧速率来播放处理后的视频帧结果将会提高解析度,且相较于使用较低的帧速率来播放处理后的视频帧,会具有更好的播放品质。
更明确地来说,基于实验结果的观察,采用图2中的偏振转换操作的偏振转换器104会操作于使本身为静态图像的视频帧具有最佳播放品质的一种偏振转换模式之下;采用图3中的偏振转换操作的偏振转换器104会操作于使具有朝下移动的视频帧具有最佳播放品质的另一种偏振转换模式之下;以及采用图4中的偏振转换操作的偏振转换器104会操作于使具有朝上移动的视频帧具有最佳播放品质的又一种偏振转换模式之下。根据此观察便发展出第二设计范例,在第二设计范例中,移动信息检测器102通过检测原本的视频帧的全域移动(global motion)来产生多视角视频流S1的原本的视频帧的移动信息INF,也就是说,当多视角视频流S1的原本的视频帧不是静态图像时,移动信息检测器102可辨识出原本的视频帧中所有移动物体所对应的全域移动的方向。举例来说,当多视角视频流S1的原本的视频帧不是静态图像时,移动信息检测器102会检测在垂直方向上所累积的移动(即,垂直方向上的全域移动)以决定出原本的视频帧具有向上或向下方向的全域移动。
当移动信息INF指示原本的视频帧(例如,左眼图像IMG_L与右眼图像IMG_R)为静态图像时,偏振转换器104会操作在第一偏振转换模式之下(例如,采用图2中的偏振转换操作),来将原本的视频帧转换为偏振视频流S2的处理后的视频帧。当移动信息INF指示原本的视频帧(例如,左眼图像IMG_L与右眼图像IMG_R)具有在第一方向上(例如,向下方向)的全域移动时,偏振转换器104会操作在第二偏振转换模式之下(例如,采用图3中的偏振转换操作),来将原本的视频帧转换为处理后的视频帧。当移动信息INF指示原本的视频帧(例如,左眼图像IMG_L与右眼图像IMG_R)具有在第二方向上(例如,向上方向)的全域移动时,偏振转换器104会操作在第三偏振转换模式之下(例如,采用图4中的偏振转换操作),来将原本的视频帧转换为处理后的视频帧。在上述条件均未满足的情况中,偏振转换器104可被设定来持续使用之前所采用的偏振转换操作,也就是说,偏振转换器104目前操作中的偏振转换模式会维持不变。
对于处理后的视频帧为静态图像而言,由于没有采用更快的帧速率来提高解析度,因此,前述的画面闪烁的问题可轻易地得以避免。简单来说,对于偏振立体显示而言,不具有移动的视频帧将会有最佳化的播放品质。对于具有在向上方向或向下方向上的全域移动的视频帧而言,偏振转换模式适应性地根据全域移动的方向来选择,因此,图3中的偏振转换操作由于先选择偶扫描线然后才选择奇扫描线,其能够避免/减缓具有向下移动的视频帧的画面闪烁,播放品质则可相对应地有所提升;相似地,图4中的偏振转换操作由于先选择奇扫描线然后才选择偶扫描线,其能够避免/减缓具有向上移动的视频帧的画面闪烁,播放品质则可相对应地有所提升。
在上述的设计范例中,偏振转换操作在帧级(frame level)中进行,然而,这并不作为本发明的限制条件,举例来说,在第三设计范例中,偏振转换操作被允许在块/像素级(block/pixel level)中进行。实作上,基于所采用的移动信息检测机制,偏振转换操作可以在帧级或块/像素级中进行。
在第三设计范例中,移动信息检测器102通过检测原本的视频帧的移动向量(motion vector),来产生多视角视频流S1的原本的视频帧的移动信息INF,也就是说,移动信息检测器102可决定多视角视频流S1的原本的视频帧中一部分的移动,其中原本的视频帧的一部分可以是一个像素或是一个包括多个像素的块。对于偏振转换器104而言,其根据从多视角视频流S1的原本的视频帧中的一部分的处理所取得的移动信息来决定多个权重系数(weighting factor),以在多个不同偏振转换模式下产生偏振视频流S2的处理后的视频帧中的一部分的多个候选(candidate)内容,且根据所述多个权重系数来混合(blend)所述多个候选内容,以输出处理后的视频帧中的一部分的实际内容。基于块/像素的偏振转换操作说明如下。
如图5所示,图5为根据各自的权重系数来混合多个候选内容的偏振转换操作范例的示意图。在本实施例中,偏振转换模式包括第一偏振转换模式M1、第二偏振转换模式M2以及第三偏振转换模式M3。移动信息INF指示原本的视频帧(例如,左眼图像IMG_L)中的扫描线L1与L2的移动状态。当移动信息ING指示扫描线L1与L2对应于静态图像时,对应至第一偏振转换模式M1的权重系数W1被设定为大于第二偏振转换模式M2与第三偏振转换模式M3所分别对应的权重系数W2与W3。当移动信息INF指示扫描线L1与L2在第一方向上(例如,向上方向)具有大于在第二方向上(例如,向下方向)的移动时,权重系数W2被设定为大于权重系数W1与W3。当移动信息INF指示扫描线L1与L2在所述第二方向上(例如,所述向下方向)具有大于在所述第一方向上(例如,所述向上方向)的移动时,权重系数W3被设定为大于权重系数W1与W2。
此外,当操作在第一偏振转换模式M1下时,偏振转换器104通过输出从位于包括奇扫描线(例如,L1)与偶扫描线(例如,L2)的相邻两扫描线上的像素所取得的像素值的平均值,来产生候选内容;当操作在第二偏振转换模式M2下时,偏振转换器104在输出位于偶扫描线(例如,L2)上像素的像素值之前,输出位于奇扫描线(例如,L1)上像素的像素值来产生另一候选内容;以及当操作在第三偏振转换模式M3下时,偏振转换器104在输出位于奇扫描线(例如,L1)上像素的像素值之前,输出位于偶扫描线(例如,L2)上像素的像素值来产生又一候选内容。
由于权重系数W1~W3是根据欲处理的扫描线L1与L2的实际移动状态来设定,以较快的帧速率来播放处理后的视频帧IMG_11与IMG_12会由于提升的解析度与减缓的画面闪烁效应而具有增强的显示品质。
如图1所示,移动信息检测器102可以是专用于(dedicated to)偏振转换器104的硬件元件,然而,此仅作为范例说明用,并非作为本发明的限制条件,举例来说,可采用硬件共用(hardware sharing)技术来降低硬件的成本。一些设计变化显示于图6~图8中。
图6为本发明视频处理装置的第二实施例的方块示意图。由本图可见,移动信息检测器102整合在移动估计移动补偿(motion estimation motioncompensation,MEMC)帧速率转换器(frame rate converter)602中,也就是说,视频处理装置600中的移动信息检测器102为移动估计移动补偿帧速率转换器602的一部分,并且与偏振转换器104共用,以提供所需的移动信息INF至偏振转换器104。
图7为本发明视频处理装置的第三实施例的方块示意图。由本图可见,移动信息检测器102整合在去交错器(deinterlacer)702中,也就是说,视频处理装置700中的移动信息检测器102为去交错器702的一部分,并且与偏振转换器104共用,以提供所需的移动信息INF至偏振转换器104。
图8为本发明视频处理装置的第四实施例的方块示意图。由本图可见,移动信息检测器102整合在时域降噪电路(temporal noise reduction circuit)802中,也就是说,视频处理装置800中的移动信息检测器102为时域降噪电路802的一部分,并且与偏振转换器104共用,以提供所需的移动信息INF至偏振转换器104。
图9为根据多视角视频流来产生偏振视频流的视频处理方法的流程图。所述视频处理方法可被上述视频处理装置100,600,700,与800中的其一所采用,且可简单总结如下。
步骤900:开始。
步骤902:通过处理多视角视频流来检测所述多视角视频流的移动信息。
步骤904:根据所检测到的移动信息来将所述多视角视频流转换为偏振视频流。基于所采用的移动信息检测机制,偏振转换操作可以在帧级或块/像素级中进行。
步骤906:结束。
步骤902可以被硬件元件(例如移动信息检测器102)来执行,且步骤904可以被另一硬件元件(例如偏振转换器104)来执行。本领域的技术人员可于阅读以上阐述视频处理装置的段落后,轻易了解每一步骤的细节,详细说明及变化可参考前述,为简洁起见,故在此不再赘述。
以上所述仅为本发明的较佳实施方式,凡依本发明权利要求所做的均等变化和修饰,均应属本发明的涵盖范围。
Claims (20)
1.一种视频处理装置,用以根据多视角视频流来产生偏振视频流,其特征在于,包括:
移动信息检测器,用来通过处理所述多视角视频流,来检测所述多视角视频流的移动信息;以及
偏振转换器,耦接于所述移动信息检测器,所述偏振转换器通过使用响应所述移动信息所指示的不同移动状态所分别设定的不同偏振转换模式,来将所述多视角视频流转换为所述偏振视频流。
2.如权利要求1所述的视频处理装置,其特征在于,所述移动信息检测器通过检测所述多视角视频流的原本的视频帧是否为静态图像、检测所述原本的视频帧的全域移动或者检测所述原本的视频帧的移动向量,来产生所述多视角视频流的所述原本的视频帧的移动信息。
3.如权利要求1所述的视频处理装置,其特征在于,所述移动信息检测器整合于移动估计移动补偿帧速率转换器、去交错器或时域降噪电路之中。
4.如权利要求1所述的视频处理装置,其特征在于,当所述多视角视频流的原本的视频帧的移动信息指示所述原本的视频帧为静态图像时,所述偏振转换器操作在第一偏振转换模式下,来将所述原本的视频帧转换为所述偏振视频流的处理后的视频帧;以及当所述原本的视频帧的所述移动信息指示所述原本的视频帧不是静态图像时,所述偏振转换器操作在第二偏振转换模式下,来将所述原本的视频帧转换为所述处理后的视频帧;
其中,所述原本的视频帧包括对应第一视角的第一视频帧以及对应第二视角的第二视频帧;当操作在所述第一偏振转换模式下时,所述偏振转换器提取所述第一视频帧中一半的扫描线和所述第二视频帧中一半的扫描线,并结合所提取的所述扫描线来产生所述处理后的视频帧;当操作在所述第二偏振转换模式下时,所述偏振转换器先汇集所述第一视频帧与所述第二视频帧的偶扫描线或奇扫描线来产生第一处理后的视频帧,再汇集所述第一视频帧与所述第二视频帧的奇扫描线或偶扫描线来产生第二处理后的视频帧。
5.如权利要求4所述的视频处理装置,其特征在于,在所述第二偏振转换模式下所产生的所述处理后的视频帧的帧速率高于在所述第一偏振转换模式下所产生的所述处理后的视频帧的帧速率。
6.如权利要求1所述的视频处理装置,其特征在于,当所述多视角视频流的原本的视频帧的移动信息指示所述原本的视频帧为静态图像时,所述偏振转换器操作在第一偏振转换模式下,来将所述原本的视频帧转换为所述偏振视频流的处理后的视频帧;当所述原本的视频帧的所述移动信息指示所述原本的视频帧具有在第一方向上的全域移动时,所述偏振转换器操作在第二偏振转换模式下,来将所述原本的视频帧转换为所述处理后的视频帧;以及当所述原本的视频帧的所述移动信息指示所述原本的视频帧具有在第二方向上的全域移动时,所述偏振转换器操作在第三偏振转换模式下,来将所述原本的视频帧转换为所述处理后的视频帧;
其中,所述原本的视频帧包括对应第一视角的第一视频帧以及对应第二视角的第二视频帧;当操作在所述第一偏振转换模式下时,所述偏振转换器提取所述第一视频帧中一半的扫描线和所述第二视频帧中一半的扫描线,并结合所提取的所述扫描线来产生所述处理后的视频帧;当操作在所述第二偏振转换模式下时,所述偏振转换器先通过汇集所述第一视频帧与所述第二视频帧的奇数线来产生第一处理后的视频帧,然后通过汇集所述第一视频帧与所述第二视频帧的偶数线来产生第二处理后的视频帧;当操作在所述第三偏振转换模式下时,所述偏振转换器先通过汇集所述第一视频帧与所述第二视频帧的偶数线来产生所述第一处理后的视频帧,然后通过汇集所述第一视频帧与所述第二视频帧的奇数线来产生所述第二处理后的视频帧。
7.如权利要求6所述的视频处理装置,其特征在于,在所述第二偏振转换模式下所产生的所述处理后的视频帧的第二帧速率高于在所述第一偏振转换模式下所产生的所述处理后的视频帧的第一帧速率;以及在所述第三偏振转换模式下所产生的所述处理后的视频帧的第三帧速率高于在所述第一偏振转换模式下所产生的所述处理后的视频帧的所述第一帧速率。
8.如权利要求7所述的视频处理装置,其特征在于,所述第三帧速率等于所述第二帧速率。
9.如权利要求1所述的视频处理装置,其特征在于,所述偏振转换器根据所述多视角视频流的原本的视频帧中一部分的移动信息来决定多个权重系数,在多个不同偏振转换模式下分别产生所述偏振视频流的处理后的视频帧中一部分的多个候选内容,且根据所述多个权重系数来混合所述多个候选内容以输出所述处理后的视频帧中所述部分的实际内容。
10.如权利要求9所述的视频处理装置,其特征在于,所述多个不同偏振转换模式包括第一偏振转换模式、第二偏振转换模式以及第三偏振转换模式;当所述原本的视频帧中所述部分的所述移动信息指示所述原本的视频帧中所述部分为静态图像时,对应于所述第一偏振转换模式的权重系数被设定为大于所述第二偏振转换模式、第三偏振转换模式所分别对应的权重系数;当所述原本的视频帧中所述部分的所述移动信息指示所述原本的视频帧中所述部分在第一方向上的移动大于在第二方向上的移动时,对应于所述第二偏振转换模式的权重系数被设定为大于所述第一偏振转换模式、第三偏振转换模式所分别对应的权重系数;当所述原本的视频帧中所述部分的所述移动信息指示所述原本的视频帧中所述部分在所述第二方向上的移动大于在所述第一方向上的移动时,对应于所述第三偏振转换模式的权重系数被设定为大于所述第一偏振转换模式、第二偏振转换模式所分别对应的权重系数;
其中,当操作在所述第一偏振转换模式下时,所述偏振转换器通过输出从位于包括奇数线与偶数线的相邻两条线上的像素所取得的像素值的平均值来产生候选内容;当操作在所述第二偏振转换模式下时,所述偏振转换器在输出位于所述偶数线上像素的像素值之前,输出位于所述奇数线上像素的像素值来产生另一候选内容;以及当操作在所述第三偏振转换模式下时,所述偏振转换器在输出位于所述奇数线上像素的像素值之前,输出位于所述偶数线上像素的像素值来产生又一候选内容。
11.一种视频处理方法,用以根据多视角视频流来产生偏振视频流,其特征在于,包括:
通过处理所述多视角视频流,来检测所述多视角视频流的移动信息;以及
通过使用响应所述移动信息所指示的不同移动状态所分别设定的不同偏振转换模式,来将所述多视角视频流转换为所述偏振视频流。
12.如权利要求10所述的视频处理方法,其特征在于,检测所述多视角视频流的所述移动信息的步骤包括:
通过检测所述多视角视频流的原本的视频帧是否为静态图像、检测所述原本的视频帧的全域移动或者检测所述原本的视频帧的移动向量,来产生所述多视角视频流的所述原本的视频帧的移动信息。
13.如权利要求10所述的视频处理方法,其特征在于,检测所述多视角视频流的所述移动信息的步骤包括:
进行移动估计移动补偿帧速率转换、去交错操作或者时域噪音消除,来检测所述多视角视频流的所述移动信息。
14.如权利要求10所述的视频处理方法,其特征在于,通过使用不同偏振转换模式来将所述多视角视频流转换为所述偏振视频流的步骤包括:
当所述多视角视频流的原本的视频帧的移动信息指示所述原本的视频帧为静态图像时,在第一偏振转换模式下将所述原本的视频帧转换为所述偏振视频流的处理后的视频帧;以及
当所述原本的视频帧的所述移动信息指示所述原本的视频帧不是静态图像时,在第二偏振转换模式下将所述原本的视频帧转换为所述处理后的视频帧;
其中,所述原本的视频帧包括对应第一视角的第一视频帧以及对应第二视角的第二视频帧;当操作在所述第一偏振转换模式下时,提取所述第一视频帧中一半的扫描线和所述第二视频帧中一半的扫描线,并结合所提取的所述扫描线来产生所述处理后的视频帧;当操作在所述第二偏振转换模式下时,先汇集所述第一视频帧与所述第二视频帧的偶扫描线或奇扫描线来产生第一处理后的视频帧,再汇集所述第一视频帧与所述第二视频帧的奇扫描线或偶扫描线来产生第二处理后的视频帧。
15.如权利要求14所述的视频处理方法,其特征在于,在所述第二偏振转换模式下所产生的所述处理后的视频帧的帧速率高于在所述第一偏振转换模式下所产生的所述处理后的视频帧的帧速率。
16.如权利要求10所述的视频处理方法,其特征在于,通过使用不同偏振转换模式将所述多视角视频流转换为所述偏振视频流的步骤包括:
当所述多视角视频流的原本的视频帧的移动信息指示所述原本的视频帧为静态图像时,在第一偏振转换模式下将所述原本的视频帧转换为所述偏振视频流的处理后的视频帧;
当所述原本的视频帧的所述移动信息指示所述原本的视频帧具有在第一方向上的全域移动时,在第二偏振转换模式下将所述原本的视频帧转换为所述处理后的视频帧;以及
当所述原本的视频帧之所述移动信息指示所述原本的视频帧具有在第二方向上的全域移动时,在第三偏振转换模式下将所述原本的视频帧转换为所述处理后的视频帧;
其中,所述原本的视频帧包括对应第一视角的第一视频帧以及对应第二视角的第二视频帧;当操作在所述第一偏振转换模式下时,提取所述第一视频帧中一半的扫描线和所述第二视频帧中一半的扫描线,并结合所提取的所述扫描线来产生所述处理后的视频帧;当操作在所述第二偏振转换模式下时,先通过汇集所述第一视频帧与所述第二视频帧的奇数线来产生第一处理后的视频帧,然后通过汇集所述第一视频帧与所述第二视频帧的偶数线来产生第二处理后的视频帧;当操作在所述第三偏振转换模式下时,先通过汇集所述第一视频帧与所述第二视频帧的偶数线来产生所述第一处理后的视频帧,然后通过汇集所述第一视频帧与所述第二视频帧的奇数线来产生所述第二处理后的视频帧。
17.如权利要求16所述的视频处理方法,其特征在于,在所述第二偏振转换模式下所产生的所述处理后的视频帧的第二帧速率高于在所述第一偏振转换模式下所产生的所述处理后的视频帧的第一帧速率;以及在所述第三偏振转换模式下所产生的所述处理后的视频帧的第三帧速率高于在所述第一偏振转换模式下所产生的所述处理后的视频帧的所述第一帧速率。
18.如权利要求17所述的视频处理方法,其特征在于,所述第三帧速率等于所述第二帧速率。
19.如权利要求10所述的视频处理方法,其特征在于,将所述多视角视频流转换为所述偏振视频流的步骤包括:
根据所述多视角视频流的原本的视频帧中一部分的移动信息来决定多个权重系数;
在多个不同偏振转换模式下分别产生所述偏振视频流的处理后的视频帧中一部分的多个候选内容;以及
根据所述多个权重系数来混合所述多个候选内容,以输出所述处理后的视频帧中所述部分的实际内容。
20.如权利要求19所述的视频处理方法,其特征在于,所述多个不同偏振转换模式包括第一偏振转换模式、第二偏振转换模式以及第三偏振转换模式;当所述原本的视频帧中所述部分的所述移动信息指示所述原本的视频帧中所述部分为静态图像时,对应于所述第一偏振转换模式的权重系数被设定为大于所述第二偏振转换模式、第三偏振转换模式所分别对应的权重系数;当所述原本的视频帧中所述部分的所述移动信息指示所述原本的视频帧中所述部分在第一方向上的移动大于在第二方向上的移动时,对应于所述第二偏振转换模式的权重系数被设定为大于所述第一偏振转换模式、第三偏振转换模式所分别对应的权重系数;当所述原本的视频帧中所述部分的所述移动信息指示所述原本的视频帧中所述部分在所述第二方向上的移动大于在所述第一方向上的移动时,对应于所述第三偏振转换模式的权重系数被设定为大于所述第一偏振转换模式、第二偏振转换模式所分别对应的权重系数;
其中,在所述第一偏振转换模式下,通过输出从位于包括奇数线与偶数线的相邻两条线上的像素所取得的像素值的平均值来产生候选内容;
在所述第二偏振转换模式下,在输出位于所述偶数线上像素的像素值之前,通过输出位于所述奇数线上像素的像素值来产生另一候选内容;以及
在所述第三偏振转换模式下,在输出位于所述奇数线上像素的像素值之前,通过输出位于所述偶数线上像素的像素值来产生又一候选内容。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/223,320 US8953016B2 (en) | 2011-09-01 | 2011-09-01 | Apparatus and method for generating polarized video stream according to multi-view video stream and motion information derived from multi-view video stream |
| US13/223,320 | 2011-09-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102970552A CN102970552A (zh) | 2013-03-13 |
| CN102970552B true CN102970552B (zh) | 2014-12-10 |
Family
ID=47752837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110428685.6A Expired - Fee Related CN102970552B (zh) | 2011-09-01 | 2011-12-20 | 视频处理装置和视频处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8953016B2 (zh) |
| CN (1) | CN102970552B (zh) |
| TW (1) | TWI481253B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306866A (zh) * | 2015-10-27 | 2016-02-03 | 青岛海信电器股份有限公司 | 帧率转换方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101631256A (zh) * | 2009-08-13 | 2010-01-20 | 浙江大学 | 用于三维电视系统中2d视频到3d视频的转换方法 |
| WO2011102699A2 (ko) * | 2010-02-22 | 2011-08-25 | 엘지전자 주식회사 | 전자 장치 및 입체영상 재생 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7453938B2 (en) * | 2004-02-06 | 2008-11-18 | Apple Inc. | Target bitrate estimator, picture activity and buffer management in rate control for video coder |
| US20080055477A1 (en) * | 2006-08-31 | 2008-03-06 | Dongsheng Wu | Method and System for Motion Compensated Noise Reduction |
| US8250618B2 (en) * | 2006-09-18 | 2012-08-21 | Elemental Technologies, Inc. | Real-time network adaptive digital video encoding/decoding |
| EP2417559A4 (en) * | 2009-04-08 | 2015-06-24 | Stergen Hi Tech Ltd | METHOD AND SYSTEM FOR CREATING THREE-DIMENSIONAL VISUALIZABLE VIDEO FROM A SINGLE VIDEO STREAM |
| HU0900478D0 (en) * | 2009-07-31 | 2009-09-28 | Holografika Hologrameloeallito | Method and apparatus for displaying 3d images |
| KR20120080214A (ko) * | 2009-09-29 | 2012-07-16 | 노키아 코포레이션 | 다이내믹 미디어 파일 스트리밍을 위한 시스템, 방법 및 장치 |
-
2011
- 2011-09-01 US US13/223,320 patent/US8953016B2/en active Active
- 2011-12-01 TW TW100144194A patent/TWI481253B/zh not_active IP Right Cessation
- 2011-12-20 CN CN201110428685.6A patent/CN102970552B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101631256A (zh) * | 2009-08-13 | 2010-01-20 | 浙江大学 | 用于三维电视系统中2d视频到3d视频的转换方法 |
| WO2011102699A2 (ko) * | 2010-02-22 | 2011-08-25 | 엘지전자 주식회사 | 전자 장치 및 입체영상 재생 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130057645A1 (en) | 2013-03-07 |
| TW201312993A (zh) | 2013-03-16 |
| US8953016B2 (en) | 2015-02-10 |
| CN102970552A (zh) | 2013-03-13 |
| TWI481253B (zh) | 2015-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8456505B2 (en) | Method, apparatus, and system for 3D video communication | |
| CN102461185B (zh) | 用于三维视频的自动转换的方法和设备 | |
| US9049336B2 (en) | Auto-detect method for detecting image format and playback method applying the same | |
| TWI428007B (zh) | 視訊處理裝置及方法 | |
| CN102844696B (zh) | 电子装置和再现三维图像的方法 | |
| EP2257076B1 (en) | Video data signal, system and method for controlling shutter glasses | |
| TW201143368A (en) | 3D video format detection | |
| Winkler et al. | Stereo/multiview picture quality: Overview and recent advances | |
| WO2011064913A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP4748251B2 (ja) | 映像変換方法および映像変換装置 | |
| US20120224035A1 (en) | Electronic apparatus and image processing method | |
| TWI481253B (zh) | 視訊處理裝置與視訊處理方法 | |
| JP5700998B2 (ja) | 立体映像表示装置及びその制御方法 | |
| KR101899324B1 (ko) | 3d 입체 영상을 제공하는 디스플레이 장치 및 방법 | |
| JP2011066725A (ja) | 映像信号処理装置、及び、映像信号処理方法 | |
| US8896615B2 (en) | Image processing device, projector, and image processing method | |
| CN102843565B (zh) | 一种2d图像转3d图像的方法 | |
| CN102238395A (zh) | 3d图像格式的运算方法以及采用该方法的3d电视机 | |
| JP2010087720A (ja) | 表示用走査方式を変換する信号処理装置及び方法 | |
| TWI502959B (zh) | 三維動態影像補償方法與裝置 | |
| CN102300107A (zh) | 影像转换装置以及影像信号的转换方法 | |
| JP2011199889A (ja) | 映像信号処理装置、及び、映像信号処理方法 | |
| US20110199456A1 (en) | Apparatus for image reproduction and method therefor | |
| JP5759728B2 (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
| JP2011071662A (ja) | 三次元画像処理装置及び三次元画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220210 Address after: ottawa Patentee after: Xueshan Technology Co.,Ltd. Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No. Patentee before: MEDIATEK Inc. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141210 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |