CN102362503A

CN102362503A - 3d视频处理

Info

Publication number: CN102362503A
Application number: CN2010800131135A
Authority: CN
Inventors: S·洪; S·N·胡利亚卡
Original assignee: ATI Technologies ULC; Advanced Micro Devices Inc
Current assignee: ATI Technologies ULC; Advanced Micro Devices Inc
Priority date: 2009-03-04
Filing date: 2010-03-04
Publication date: 2012-02-22
Also published as: EP3512196B1; US8395709B2; JP2012519431A; EP2404452A4; US9270969B2; EP3512196A1; EP2404452A1; KR20120006498A; US20100225741A1; EP2404452B1; US20130182069A1; WO2010099616A1

Abstract

本发明揭示用于减少3D输入源之移动影像抖动的方法及设备。该3D输入源系分成左、右影像。计算该等左、右影像的移动矢量。执行该等左、右影像的帧率转换以产生移动补偿左、右影像。重新排序该等左、右影像及该等移动补偿左、右影像供显示。替换地，可执行该3D输入源的移动估计及移动补偿，然后该输入影像与该移动补偿影像可分成个别的左、右影像。藉由撷取2D输入源成为左、右3D影像以及执行移动估计与移动补偿，可将该方法及设备设计成可执行2D至3D转换。

Description

3D视频处理

技术领域

本发明大体有关于视讯处理，且更特别的是，有关于用以处理3D视讯的方法及设备。

背景技术

目前3D的内容是基于影片源，其速率为24帧/秒。电视广播有50Hz或60Hz的刷新速率。为了转换电视广播的影片源，需要转换帧率。这通常用帧率转换(FRC)处理来实现。

帧率转换影片源至60Hz刷新速率的方法之一是用2:3的降频(pulldown)，其中系显示第一帧两次以及显示第二帧三次。对于影片源中的每一对帧都重复此事。由于电视的帧率跟影片的不同，在2:3降频期间会有移动影像抖动(motion judder)问题(亦即，观看者可察觉到影像内的移动不平顺)。

遮挡问题(Occlusion problem)

FRC处理的输出为放在相继源帧之间的新(中间)帧。如果有关于背景中被遮挡或隐藏对象的遗失信息，新帧可能会有问题。如果有遗失信息，FRC无法准确地产生中间帧。这被称作遮挡问题。如果中间帧由移动估计(决定移动矢量)及移动补偿(应用该移动矢量以减少移动的效应)产生，亦即，藉由FRC处理，则可能产生一些无关紧要的影像。这个问题在2D影像及3D影像都存在，在此隐藏材料可能在左影像，右影像，或两者。

图1图示遮挡区的例子，图中有5帧-当前帧(N)，两个先前帧(N-2，N-1)，以及两个后续帧(N+1，N+2)。在正常的FRC下，遮挡区显示没有良好的匹配移动矢量。如果在均匀的区域有移动矢量场间断点，这可能导致潜在的遮挡区，因为间断点会造成无法估计正确的移动矢量。藉由比较帧N-2与N-1、帧N-1与N+1之间的移动矢量，无法检测由遮挡所致的移动矢量间断点。为了能够正确地处理遮挡区，将需要5个以上的连续数据帧，这导致解决方案更复杂。

因此，在转换影片源时有必要减少抖动，特别是3D影片源。也有需要处理3D源的遮挡问题。

发明内容

抖动问题的处理可藉由将3D影像分成左影像及右影像两个分量，对于该等个别影像执行FRC，然后重新排序该等影像供显示。该分离及FRC处理可颠倒，因为对于3D影像可执行FRC，以及可将原始及移动补偿影像分成左、右影像两个分量。

处理3D源之遮挡问题的方法之一是利用像差信息(左影像与右影像的差异)来帮忙产生隐藏信息。

附图说明

由以下举例说明及结合附图的详细描述可更加了解本发明。

图1举例图示遮挡区；

图2图示用以执行3D输入源之FRC的方法流程图；

图3举例图示图2之方法的应用；

图4图示用以执行3D输入源之FRC的另一方法流程图；

图5举例图示图4之方法的应用；

图6图示用以执行2D至3D转换的方法流程图；

图7举例图示图6之方法的应用；

图8图示用以执行2D至3D转换的另一方法流程图；

图9举例图示图8之方法的应用；

图10的方块图图示经组态成可执行图2、图4、图6及图8之方法中之任一的设备；

图11图示3D影像如何协助处理遮挡问题；

图12举例图示观看者看3D影像时左眼、右眼的像差；

图13图示如何利用像差可得到3D影像的背景信息；以及

图14图示用以处理遮挡问题的方法流程图。

具体实施方式

减少抖动问题的方法之一是经由适当地应用FRC。这可藉由在FRC处理期间利用移动估计及移动补偿来达成。以3D输入源而言，对于3D视讯帧的左影像及右影像都需要做移动估计及移动补偿。在处理期间的某一时刻需要分开左影像及右影像；分离可在FRC之前(如图2及图3所示)或FRC之后(如图4及图5所示)发生。

应注意，这两个方法的计算复杂度大约相同。以3D影像而言，左影像、右影像的大小各为全帧的一半。处理(例如，执行FRC)尺寸较小的影像比较容易，以及图示于图2的方法可能比图4的方法还快完成。

分离，然后FRC

图2图示用以执行3D输入源之FRC的方法200流程图。3D帧分成左影像与右影像(步骤202)。计算左影像(步骤204)与右影像(步骤206)的移动矢量。应注意，计算左影像及右影像之移动矢量的步骤(步骤204及206)可颠倒。

更应注意，对于左影像或者是右影像，可以只计算一个移动矢量，以及该移动矢量可应用于另一影像。此一可能性的背后理由是在大部份的情形下(约有百分之95的时间)，左影像、右影像的移动矢量很相似。各自移动矢量(如果分开计算的话)之间的轻微差异应该没有影响。如果左影像及右影像的移动矢量实质不同，则像差会不同以及应该分开计算移动矢量。藉由只计算一个移动矢量，可降低硬件的复杂度；判断是否只计算一个移动矢量可基于现有的硬件以及这与实作有关。

要注意的一个例外情形是在影像中的对象只接近一只眼睛的时候。在靠近观看者的距离处，影像之间会有大像差，而且移动矢量也会有大差异。这是因为左影像及右影像有与其关连的不同移动，由于对象在不同的方向运动以及与每只眼睛有不同的距离。

然后，执行左影像(步骤208)及右影像(步骤210)的FRC。FRC的执行(步骤208及210)也可颠倒，只要移动矢量的决定是在执行FRC之前。在已对左影像及右影像两者执行FRC之后，重新排序经转换的影像供显示(步骤212)。

图3举例图示图2之方法的应用。3D帧300分成左影像302与右影像304。计算左影像302的移动矢量(MV₁)310以及用来决定移动补偿影像(L2)320。计算右影像304的移动矢量(MV₂)312以及用来决定移动补偿影像(R2)322。然后重新排序原始影像302、304及移动补偿影像320、322供显示。

FRC，然后分离

图4图示用以执行3D输入源之FRC的另一方法400流程图。计算3D影像的移动矢量(步骤402)以及执行该3D影像的FRC(步骤404)。将原始3D影像及移动补偿影像两者都分成左、右影像(步骤406)。然后，重新排序所有的影像供显示(步骤408)。

图5举例图示方法400的应用。3D帧500包括左影像502与右影像504。执行该3D帧500的FRC以产生移动补偿帧510，其系包括移动补偿左影像(L2)512与移动补偿右影像(R2)514。然后，原始3D影像500及移动补偿3D影像510各自分成左、右影像502，504，512，514以及重新排序个别的影像供显示。

2D至3D撷取(extraction)，然后FRC

图6图示用以执行2D至3D转换的方法600流程图。撷取2D影像成为3D影像，其系包括左影像与右影像(步骤602)。计算左影像(步骤604)及右影像(步骤606)的移动矢量。应注意，计算左影像及右影像的移动矢量(步骤604及606)可颠倒。更应注意，对于左影像或者是右影像，可以只计算一个移动矢量，以及该移动矢量可应用于另一影像。

然后，执行左影像(步骤608)与右影像(步骤610)的FRC。FRC的执行(步骤608及610)也可颠倒，只要移动矢量的决定是在执行FRC之前。在已执行左影像及右影像两者的FRC之后，重新排序经转换的影像供显示(步骤612)。

图7举例图示图6之方法的应用。撷取两个2D影像702、704成为有左、右影像710、712、720、722的3D影像。然后，执行该等左、右影像的FRC以产生移动补偿影像L1*714、R1*716、L2*724、及R2*726。重新排序原始影像710、712、720、722及移动补偿影像714、716、724、726供显示。

FRC，然后2D至3D撷取

图8图示用以执行2D至3D转换的另一方法800流程图。计算2D影像的移动矢量(步骤802)以及对于该2D影像执行FRC(步骤804)。撷取原始2D影像及移动补偿2D影像成为各自的3D影像，其系包括左影像与右影像(步骤806)。

图9举例图示图8之方法的应用。执行两个2D影像902、904的FRC以产生移动补偿影像1*910与2*912。原始2D影像902、904及移动补偿2D影像910、912经受3D撷取成为各自的左、右影像以产生左、右影像920-934。

经组态成可执行该等方法的设备

图10的方块图图示经组态成可执行方法200、400、600、或800中之任一的设备1000。尽管设备1000图示成能够执行方法200、400、600或800中之任一，藉由移除不被使用的组件，可将设备1000特别组态成只执行该等方法中之一个。

设备1000包含2D至3D影像撷取装置1002、移动矢量计算装置1004、3D影像分离装置1006、帧率转换装置1008、以及影像重新排序装置1010。

在执行方法200时，设备1000的操作如下。提供3D输入1020给3D影像分离装置1006，其系将3D输入1020分成左、右影像。用移动矢量计算装置1004计算左、右影像的移动矢量。帧率转换装置1008使用算出移动矢量执行左、右影像的FRC以产生移动补偿影像。传送左、右影像及移动补偿影像给影像重新排序装置1010，在此重新排序影像供显示以及成为输出1022。

在执行方法400时，设备1000的操作如下。提供3D输入1030给移动矢量计算装置1004，其系计算3D输入1030的移动矢量。帧率转换装置1008使用算出移动矢量执行3D输入1030的FRC以产生移动补偿3D影像。传送3D输入1030及移动补偿3D影像给3D输入1030分离装置1006，其系由3D影像产生左、右影像以及由移动补偿3D影像产生左、右影像。传送原始左、右影像及移动补偿左、右影像给影像重新排序装置1010，在此重新排序影像供显示以及成为输出1022。

在执行方法600时，设备1000的操作如下。提供2D输入1040给2D至3D影像撷取装置1002，其系撷取2D输入1040成为左、右3D影像。移动矢量计算装置1004计算左、右影像的移动矢量。帧率转换装置1008使用算出移动矢量执行左、右影像的FRC以产生移动补偿左、右影像。传送左、右影像及移动补偿左、右影像给影像重新排序装置1010，在此重新排序影像供显示以及成为输出1022。

在执行方法800时，设备1000的操作如下。提供2D输入1050给移动矢量计算装置1004，其系计算2D输入1050的移动矢量。帧率转换装置1008使用算出移动矢量执行2D输入1050的FRC以产生移动补偿影像。传送2D输入1050及移动补偿影像给2D至3D影像撷取装置1002，其系撷取2D输入1050及移动补偿影像成为左、右3D影像以及产生输出1052。

处理遮挡问题

在FRC期间利用左影像及右影像两者可处理3D影像的遮挡问题。这两个影像含有因内含于2D影像之左影像及右影像的信息不同而遗失的信息(也被称作像差信息)。

图11图示3D影像如何协助处理遮挡问题。观看者的左眼是在X轴上的第一座标d₁，以及观看者的右眼是在X轴上的第二座标d₂处。左、右眼相对于平面z₁有视角θ。相较于前景(平面z₁)的影像，藉由改变角度θ或左或右眼的位置(d₁或d₂)，可得到更多背景(平面z₂)中之影像的信息。3D影像(在平面z₂上)的附加信息可用来处理遮挡问题。

通常区块匹配法(block matching)的移动估计可被表示为，例如，观看者左、右眼(d₁、d₂)间之平均绝对差(MAD)的最小化计算。

MAD (d_{1}, d_{2}) = \frac{1}{N_{1} N_{2}} Σ [s (n_{1}, n_{2}, k) - s (n_{1} + d_{1}, n_{2} + d_{2}, k + 1)]

方程式(1)

{[d_{1}, d_{2}]}^{T} = \arg \min_{(d_{1}, d_{2})} MAD (d_{1}, d_{2})

方程式(2)

在此B表示用于一组候选移动矢量(d₁、d₂)的N₁xN₂个区块，以及讯号s为在帧k中的像素(n₁、n₂)处(在图11以帧Z₁图示)。T为移动矢量d₁、d₂的转置(transpose)。

图12举例图示观看者看3D影像时左眼、右眼的像差。在时刻t，观看者至少可看到部份区块A 1202、区块B 1204及区块C 1206。基于区块C 1206在区块A 1202、区块B 1204之间的相对定位，观看者用左眼可看到比右眼还多的区块C 1206。

在时刻t+1，区块B 1204已移到右边，以及观看者用右眼可看到较多的区块C 1206。在理想情况下，当由时刻t至时刻t+1的移动矢量与像差可比较时，角度D可定义成：

θ \approx 2 \tan^{- 1} (\frac{d^{*}}{z})

方程式(3)

d^*＝d^*(v) 方程式(4)

Disparity \approx \frac{2 d}{z}

方程式(5)

在此v为移动矢量，d为像差矢量，以及d^*为观看者左眼视线、观看者右眼视线之间的距离。

图13图示如何利用像差可得到3D影像的背景信息。影像中之隐盖部份(区块C 1206)的处理方式与正常FRC处理的遮挡处理类似。在帧N-1，有遮挡区1302。由图12的实施例继续，遮挡区1302为区块C1206在时刻t时隐藏的数量。在当前帧N，有遮挡区1304(区块C 1206在时刻t+1时隐藏的数量)。使用正常FRC处理基于帧N-1及N+1来计算移动矢量。基于像差信息来修正移动矢量(经由移动矢量转换的像差)。然后，基于修正过的移动矢量来执行移动补偿。

图14图示用以处理遮挡问题的方法1400流程图。提供立体串流(3D视讯串流的左、右影像)(步骤1402)。对于收到的串流做像差分析(步骤1404)。基于像差分析的结果来估计移动矢量(步骤1406)，以及利用该移动矢量来做移动补偿(步骤1408)。

然后，执行2D串流的FRC(步骤1410)。此步骤包括个别执行左影像及右影像(每个2D串流)的FRC。2D FRC也可用于有3D输入但是只显示2D的情形，因此，FRC输出需为2D串流。

本发明可实作成能确实收录于含有指令集之电脑可读取存储媒体的电脑程序供处理器或通用电脑执行；以及方法步骤的执行可用处理器以操作输入数据及产生输出数据的方式来执行由指令组成的程序。例如，适当的处理器包括通用及专用处理器。通常处理器会由只读存储器(ROM)、随机存取存储器(RAM)及/或存储装置收到指令及数据。适合用来收录电脑程序指令及数据的存储装置包括所有形式的非挥发性记忆体，例如包括半导体记忆装置，磁性媒体，例如内部硬盘及可换磁盘，磁光媒体，以及光学媒体，例如CD-ROM光盘与数字视盘(DVD)。此外，尽管可实作该等示范具体实施例成为电脑软件，替换地可用硬体组件实施该等示范具体实施例内的功能中之一部份或全部，例如特殊应用积体电路(ASIC)、场效可程序规化闸阵列(FPGA)、或其它硬件，或硬体组件与软体组件的一些组合。

尽管已图示及描述本发明的特定具体实施例，然而熟谙此艺者仍可做出许多修改及变体而不脱离本发明的范畴。以上描述用来图解说明而非以任何方式来限定本发明。

Claims

1.一种用于减少3D输入源之移动影像抖动的方法，其系包含下列步骤：

将该3D输入源分成左、右影像；

计算该左影像及该右影像中之每一的移动矢量；

执行该左影像及该右影像的帧率转换以产生移动补偿左、右影像；以及

重新排序该等左、右影像及该等移动补偿左、右影像供显示。

2.一种用于减少3D输入源之移动影像抖动的方法，其系包含下列步骤：

计算该3D输入源的移动矢量；

执行该3D输入源的帧率转换以产生移动补偿3D影像；

将该3D输入源分成个别的左、右输入影像以及将该移动补偿3D影像分成个别的移动补偿左、右影像；以及

重新排序该等左、右输入影像及该等移动补偿左、右影像供显示。

3.一种经组态成可减少3D输入源之移动影像抖动的设备，其系包含：

经组态成可将一3D影像分成一左影像及一右影像的一3D影像分离装置；

经组态成可计算一移动矢量的一移动矢量计算装置；

一帧率转换装置，其系经组态成基于一输入影像与该算出移动矢量可产生一移动补偿影像；以及

一影像重新排序装置，其系经组态成可重新排序分开的输入影像与分开的移动补偿影像供显示。

4.如权利要求3所述的设备，其中该移动矢量计算装置更被组态成可在分开的左、右影像上操作以及可计算该等左、右影像的移动矢量。

5.如权利要求4所述的设备，其中该帧率转换装置更被组态成可在该等分开的左、右影像上操作。

6.如权利要求3所述的设备，其中该移动矢量计算装置更被组态成可在一3D影像上操作以及可计算该3D影像的移动矢量。

7.如权利要求6所述的设备，其中该帧率转换装置更被组态成可在该3D影像上操作。

8.一种用于执行2D至3D转换的方法，其系包含下列步骤：

撷取一2D输入源成为左、右3D影像；

计算该等左、右3D影像的移动矢量；

执行该左3D影像及该右3D影像的帧率转换以产生移动补偿左、右3D影像；以及

重新排序该等左、右3D影像及该等移动补偿左、右3D影像供显示。

9.一种经组态成可执行2D至3D转换的设备，其系包含：

一2D至3D影像撷取装置，其系经组态成可撷取一2D输入源成为左、右3D影像；

一移动矢量计算装置，其系经组态成可计算该等左、右3D影像的移动矢量；

一帧率转换装置，其系经组态成基于该等左、右3D输入影像及该等算出移动矢量可产生移动补偿左、右3D影像；以及

一影像重新排序装置，其系经组态成可重新排序该等左、右3D输入影像及该等移动补偿左、右3D影像供显示。

10.一种用以执行2D至3D转换的方法，其系包含下列步骤：

计算一2D输入源的移动矢量；

执行该2D输入源的帧率转换以产生一移动补偿2D影像；以及

撷取该2D输入源及该移动补偿2D影像成为左、右3D影像。

11.一种经组态成可执行2D至3D转换的设备，其系包含：

经组态成可计算一移动矢量的一移动矢量计算装置；

一帧率转换装置，其系经组态成基于一输入影像及该算出移动矢量可产生一移动补偿影像；以及

一2D至3D影像撷取装置，其系经组态成可撷取一2D输入源成为左、右3D影像。

12.如权利要求11所述的设备，其中该移动矢量计算装置更被组态成可在一2D输入源上操作。

13.如权利要求12所述的设备，其中该2D至3D影像撷取装置更被组态成可撷取该2D输入源及该移动补偿2D影像成为左、右3D影像。