CN107094260A - 导出视差矢量和运动矢量的方法和装置 - Google Patents
导出视差矢量和运动矢量的方法和装置 Download PDFInfo
- Publication number
- CN107094260A CN107094260A CN201610089664.9A CN201610089664A CN107094260A CN 107094260 A CN107094260 A CN 107094260A CN 201610089664 A CN201610089664 A CN 201610089664A CN 107094260 A CN107094260 A CN 107094260A
- Authority
- CN
- China
- Prior art keywords
- processing unit
- target
- pixel
- ref
- current processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种应用于通信领域的视差矢量和运动矢量导出方法，在编码三维视频序列中目标视点的当前处理单元时，利用当前处理单元的位置坐标、目标视点和参考视点摄像机坐标系之间的旋转平移关系以及摄像机内部参数，为当前处理单元导出更为准确的视差矢量和运动矢量。本发明还公开了一种视差矢量和运动矢量导出装置。本发明可以提高三维视频序列的编码效率。
Description
技术领域
本发明专利属于通信技术领域，具体涉及一种摄像机非一维平行排列时的视差矢量和运动矢量导出方法和装置。
背景技术
视频信号本质上是一个在空间及时间上排列的三维信号，同一个时刻采集的在空域分布的像素样本构成了一幅图像，不同时刻采集的图像按照时间顺序排列构成了视频序列。通常在视频序列中，空域和时域上临近的像素都具有较强的相关性。二维视频编码技术正是充分的利用了图像空域和时域的相关性来达到压缩的目的。
三维视频序列相比于二维视频序列的最大不同在于，三维视频序列不仅包含空间和时间域的信号，还增加了视点域的图像。在不同位置采集的视频序列被当作不同视点的视频序列，多个视点的视频序列构成了三维视频序列。于是，为了利用图像在视点域的相关性，三维视频编码技术中增加了利用视点间图像相关性的编码工具。在大多数视频序列中，时域相邻图像内容非常相似，其背景画面变化极小，所以在高效的二维视频编码技术里，常用的预测技术是运动补偿预测技术。为了较小传输运动矢量的代价，利用同一个物体的运动趋势一致，来利用空间或者时间相邻的像素的运动矢量间的相关性对运动矢量进行进一步的预测。针对三维视频序列，不同视点间的图像，其实描述的是同一个场景的物体。只是拍摄角度和位置不同，因此在三维视频序列，相邻视点像素的运动矢量也存在极强的相关性。
如何利用三维视频序列不同视点图像之间的视点间相关性与视点的排列有关。一维平行排布的摄像机采集到的三维视频序列中，任意两个视点间对应像素的视点间位置对应关系可以用公式1表示：
其中，utarget,vtarget是目标视点V1中像素点的坐标位置
uref,vref是参考视点V2中像素点的坐标位置
fx是参考视点的摄像机的焦距
ov1,ov2分别是目标视点V1和参考视点V2的摄像机光轴与图像成像面交点 的图像横坐标
zref是参考视点V2中像素点对应的深度值
x是参考视点和目标视点的水平位置的差值
如公式1所示，一维平行排布的三维视频的序列，目标视点和参考点的对应像素点的图像坐标位置关系可以表示为一个水平的偏移量，这个偏移量与目标视点和参考视点的水平距离，摄像机参数以及像素点对应的深度值有关，与像素点所在的坐标位置无关。目标视点中具有相同深度的像素点，可以通过相同的偏移量找到在参考视点中的对应像素位置。
任意排列的摄像机采集得到的三维视频序列中，任意两个视点间对应像素的视点间位置关系如公式2所示：
其中，utarget,vtarget是目标视点V1中像素点的坐标位置
uref,vref是参考视点V2中像素点的坐标位置
是目标视点V1的摄像机内参矩阵
是参考视点V2的摄像机内参矩阵
表示的是参考视点V2处的摄像机坐标与目标视点V1处的摄像机坐标的旋转平移关系
zref是参考视点V2中像素点对应的深度值
ztarget是目标视点V1中像素点对应的深度值
从公式2可以看出，任意摄像机排列的三维视频序列，目标视点中的像素点与参考视点中对应像素点坐标位置关系除了与摄像机参数以及深度有关，还与像素点的坐 标位置有关。任意摄像机排列时，目标视点中具有相同深度的像素点，它们与参考视点中对应像素点的位置关系不能利用相同的偏移量表示。
上述提到的像素的视点间对应关系可以用在三维视频编码中利用视点间相关性的编码工具中。其中视差矢量导出方法和视点间运动矢量导出方法是利用视点间相关性的编码工具的基础。基于一维平行排布的视差矢量导出方法，基于的假设是，当处理单元中像素的深度相等时，处理单元中的所有像素点可以共用一个偏移量，来找到它们在参考视点中的对应像素点的坐标，这个偏移量的计算方法如公式1所示，仅与目标视点和参考视点的间隔，两个视点位置的摄像机参数以及处理单元的深度有关，与处理单元在图像中的位置无关，于是，一维平行排布的视差矢量导出方法可以描述为，利用处理单元的深度以及处理单元所在的目标视点与参考视点的空间位置关系以及摄像机参数，导出一个处理单元的视差矢量，这个视差矢量的物理含义是，可以表示这个处理单元中每个像素的坐标位置与它在参考视点中对应像素点坐标位置的偏移。一维平行排布的运动矢量导出方法，基于的假设是：当目标视点中两个像素对应的深度值相等，那么这两个像素点与它们在参考视点中对应的像素点的坐标偏移相等；物体在空间运动多为平行于摄像机平面的平动，所以目标视点中当前图像的像素点与该像素点在目标视点中时域参考图像中的对应像素点的深度相等。基于上述假设，一维平行排布的运动矢量导出方法可以描述为，确定当前处理单元在参考视点中的对应单元的运动矢量，将当前处理单元的运动矢量直接赋值为对应单元的运动矢量。
对非一维平行排布的三维视频序列，如公式2所示，当前处理单元的深度相等时，处理单元中不同位置的像素的偏移量不相等。所以一维平行排布的视差矢量导出方法不适用于非一维平行排布的三维视频序列。同理，因为当相机是非一维平行排布，所以无法认为空间中物体在两个不同时刻的运动轨迹平行于所有的摄像机，所以目标视点的像素的运动矢量与参考视点对应像素的运动矢量并不一致。
发明内容
为了解决上述技术问题，本发明提出了一种摄像机非一维平行排列时的视差矢量和运动矢量导出方法和装置。
本发明的第一目的是提供一种视差矢量导出方法，其包括：
(1)为目标视点中的当前处理单元A确定一个深度值ZA-target；
(2)为所述当前处理单元A确定一个代表像素点M以及M的图像坐标位置 PM-target；
(3)利用所述深度值ZA-target，以及所述坐标位置PM-target确定所述代表像素点M在参考视点中对应的像素点F的图像坐标位置PF-ref；所述坐标位置PF-ref的计算方法是利用所述参考视点和目标视点的摄像机参数，根据坐标变换公式将所述坐标位置PM-target进行投影得到所述坐标位置PF-ref；
(4)所述像素点F的图像坐标位置PF-ref减去所述像素点M的图像坐标位置PM-target得到所述像素点M的视差矢量DV；
(5)将所述像素点M的视差矢量DV作为所述当前处理单元A的所有像素点的视差矢量。
本发明的第二目的是提供一种运动矢量导出方法，其包括：
(1)为目标视点中的当前处理单元A确定一个深度值ZA-target；
(2)为所述当前处理单元A确定一个代表像素点M以及M的图像坐标位置PM-target；
(3)利用所述深度值ZA-target，以及所述坐标位置PM-target确定所述代表像素点M在参考视点中对应的像素点F的图像坐标位置PF-ref；所述坐标位置PF-ref的计算方法是利用所述参考视点和目标视点的摄像机参数，根据坐标变换公式将所述坐标位置PM-target进行投影得到所述坐标位置PF-ref；
(4)取得所述参考视点中对应的像素点F的坐标位置PF-ref所在块的运动矢量MVref；
(5)利用所述运动矢量MVref,确定参考视点中所述对应的投影点的时域对应点G坐标位置
PG-ref-temp；
(6)确定所述时域对应点G位置PG-ref-temp的深度ZG-ref-temporal，将参考视点中所述PF-ref位置像素对应的深度信息ZF-ref赋值给所述深度ZG-ref-temp，或将所述PG-ref-temp位置像素对应的深度信息Zref-temp赋值给所述深度ZG-ref-temp；
(7)利用所述深度Zref-temporal以及所述参考视点中投影的时域对应点坐标Pref-temp得到目标视点中当前处理单元时域参考图像中时域对应点像素位置Ptarget-temp，
(8)将所述目标视点中的时域对应点坐标位置Ptarget-temp减去所述当前处理单元A的代表像素点的坐标位置Ptarget得到当前处理单元A的代表像素点的运动矢量MVtarget；
(9)将当前处理单元A的代表像素点的运动矢量MVtarget作为当前处理单元的运动矢量MV。
本发明的第三目的是提供一种视差矢量导出装置，其包括：
(1)深度确定模块，用于目标视点中当前处理单元A，将当前处理单元A的代表深度值Ztarget赋值为空间相邻块的深度值Zspatio，或赋值为常数Z0,或是赋值为时域相邻块的深度Ztemporal。
(2)代表位置确定模块，用于确定目标视点中当前处理单元A的代表像素点的坐标位置Ptarget。
(3)投影点确定模块，用于根据当前处理单元A的深度值Ztarget以及当前处理单元A的代表位置Ptarget，确定当前处理单元A的代表像素点在参考视点中对应的投影点的坐标位置Pref
(4)视差矢量赋值模块，用于目标视点的当前处理单元A所述参考视点中对应的投影点的坐标位置Pref减去所述当前处理单元A的代表像素点的坐标位置Ptarget得到当前处理单元的视差矢量DV
本发明的第四目的是提供一种运动矢量导出装置，其包括：
(1)深度确定模块，用于目标视点中当前处理单元A，将当前处理单元A的代表深度值Ztarget赋值为空间相邻块的深度值Zspatio，或赋值为常数Z0,或是赋值为时域相邻块的深度Ztemporal。
(2)代表位置确定模块，用于确定目标视点中当前处理单元A的代表像素点的坐标位置Ptarget。
(3)投影点确定模块，用于根据当前处理单元A的深度值Ztarget以及当前处理单元A的代表位置Ptarget，确定当前处理单元A的代表像素点在参考视点中对应的投影点的坐标位置Pre
(4)运动矢量获取模块，用于取得所述参考视点中对应的投影点的坐标位置Pref所在块的运动矢量MVref.
(5)时域对应点确定模块，用于参考视点中投影点，利用投影点所在块的运动矢量MVref,确定参考视点中投影点的时域对应点坐标位置Pref-temp。
(6)时域对应点深度确定模块，用于参考视点中，投影点的时域对应点，将投影点深度Zref-temp赋值为参考视点中所述Pref位置像素对应的深度信息Zref，或赋值为所述Pref-temp位置像素对应的深度信息Zref-temp。
(7)运动矢量赋值模块，用于目标视点当前处理单元A，利用参考视点中时域对 应点的深度Zref-temporal以及所述坐标为中心和Pref-temp得到目标视点中当前处理单元时域参考图像中时域对应点像素位置Ptarget-temp，将当前处理单元A的运动矢量MV赋值为目标视点中的时域对应点坐标位置Ptarget-temp与当前处理单元A的代表像素点的坐标位置Ptarget的差值。
本发明的有益效果在于，与现有技术相比，本发明的视差矢量和运动矢量导出方法和装置是利用摄像机坐标系的旋转和平移关系以及目标视点、参考视点位置摄像机参数来提供更为准确的视点间对应关系，从而提高非一维平行排布的三维视频序列的编码效率
附图说明
结合附图，本发明的其他特点和优点可从下面通过举例来对本发明的原理进行解释的优选实施方式的说明中变得更清楚。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例中利用当前处理单元的空间相邻块的对应深度导出当前处理单元的视差矢量的示意图；
图2是本发明实施例中利用坐标变换进行当前处理单元运动矢量导出的示意图；
图3是本发明实施例中视差矢量导出装置示意图；
图4是本发明实施例中运动矢量导出装置示意图。
具体实施方式
为表述简单，以下实施例中的处理单元可以有不同的大小和形状，例如：WxH矩形，也可以WxW方形，可以是1x1单像素，也可以有其它特殊形状，例如三角形、六边形等等。每个处理单元只包括一种图像分量(例如：R或G或B，Y或U或V)、也可以包括所有图像分量。
以下实施例中，我们均定义视差矢量DV有水平和竖直分量，表示为DVx和DVy；均定义运动矢量MV有水平和竖直分量，表示为MVx和MVy。
以下实施例中，我们均定义目标视点和参考视点的摄像机参数包括摄像机内参矩阵和外参矩阵，外参矩阵中包括旋转矩阵和平移向量；目标视点的摄像机参数中外参矩阵描述的是目标视点的摄像机坐标系相对于参考视点摄像机坐标系的旋转平移关 系，而参考视点的摄像机参数中外参矩阵描述的是参考视点的摄像机坐标系相对于目标视点摄像机坐标系的旋转平移关系。
将参考视点摄像机参数中内参矩阵表示为将参考视点的外参矩阵表示为其中R3x3,ref表示参考视点摄像机参数中的旋转矩阵，t3x1,ref表示参考视点摄像机参数中的平移向量；将目标视点摄像机参数中内参矩阵表示为将目标视点的外参矩阵表示为其中R3x3,target表示目标视点摄像机参数中的旋转矩阵，t3x1,target表示目标视点摄像机参数中的平移向量。
实施例1
本发明的第一实施方式涉及一种视差矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个当前处理单元为U,导出步骤为：
(1)取目标视点Vtarget当前时刻纹理图像对应的深度图像中与当前处理单元U相同位置、相同大小的一个深度块DB,取深度块DB的平均深度Zmean作为处理单元U的深度值Ztarget或取深度块DB左上角像素位置的深度值Zleft-up作为处理单元U的深度值Ztarget，或取深度块DB右上角像素位置的深度值Zright-up作为处理单元U的深度值Ztarget，或取深度块DB左下角像素位置的深度值Zleft-down作为处理单元U的深度值Ztarget，或取深度块DB右下角像素位置的深度值Zright-down作为处理单元U的深度值Ztarget，或取深度块DB中心像素位置的深度值Zcenter作为处理单元U的深度值Ztarget；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标 (xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)将得到的图像位置坐标(xc,yc)减去处理单元U的图像坐标(xU,yU)，得到处理单元U所有像素的视差矢量DVU，视差矢量DVU有两个分量，分别是DVUx和DVUy，由DVUx＝xc-xU和DVUy＝yc-yU得到。
实施例2
本发明的第二实施方式涉及一种运动矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)取目标视点Vtarget当前时刻纹理图像对应的深度图像中与当前处理单元U相同位置、相同大小的一个深度块DB,取深度块DB的平均深度Zmean作为处理单元U的深度值Ztarget或取深度块DB左上角像素位置的深度值Zleft-up作为处理单元U的深度值Ztarget，或取深度块DB右上角像素位置的深度值Zright-up作为处理单元U的深度值Ztarget，或取深度块DB左下角像素位置的深度值Zleft-down作为处理单元U的深度值Ztarget，或取深度块DB右下角像素位置的深度值Zright-down作为处理单元U的深度值Ztarget，或取深度块DB中心像素位置的深度值Zcenter作为处理单元U的深度值Ztarget；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U 的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)取图像坐标位置(xc,yc)所在的块的运动矢量MVref；
(5)利用运动矢量MVref和坐标(xc,yc)计算参考视点Vref中对应点的时域对应点d的坐标(xd,yd)，其中xd和yd分别由xd＝xc+MVrefx，yd＝yc+MVrefy得到；
(6)取得参考视点Vref中时域参考图像对应的深度图像，将该深度图像像素坐标位置为(xd,yd)的对应深度值作为时域对应点d的深度值zd；
(7)利用上述方法得到的时域对应点d的坐标(xd,yd)和对应的深度zd，以及目标视点和参考视点的摄像机参数，利用公式4计算出在目标视点中，时域参考图像的对应点e的图像坐标为(xe,ye)；
(8)根据目标视点中处理单元U的时域参考图像中的对应点e的坐标位置(xe,ye)以及处理单元U的坐标(xU,yU)，计算得到处理单元U的运动矢量MVU，其中MVUx＝xe-xU，MVUy＝ye-yU；
实施例3
本发明的第三实施方式涉及一种视差矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个当前处理单元为U,导出步骤为：
(1)确定一个处理单元U的空间相邻块，空间相邻块可以是以下块中的一个块：当前处理单元的左边块、上边块、左上块、右上块、右边块、下边块、左下块、右下块；当前处理单元的左上角像素的左边紧邻像素所在的块、当前处理单元的左下角像素的左边紧邻像素所在的块、当前处理单元的右上角像素的右边紧邻像素所在的块、当前处理单元的右下角像素的右边紧邻像素所在的块、当前处理单元的最左列像素的中点像素的左边紧邻像素所在的块、当前处理单元的最上行像素的中点像素的上边紧邻像素所在的块、当前处理单元的最下行像素的中间像素的下边紧邻像素所在的块、当前处理单元的最右列像素的中间像素的右边紧邻像素所在的块；获得所述空间相邻块的视差矢量DV以及代表所述空间相邻块的位置坐标A的坐标为(xA,yA)，视差矢量DV包含DVx和DVy,分别代表目标视点中的像素在参考视点Vref图像中的水平和竖直的位置偏移量，xA和yA分别表示处理单元U的空间相邻块在所述目标视点Vtarget中图像的水平和竖直位置坐标。取空间相邻块的左上角像素的图像坐标(xleft-up,yleft-up)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右上角像素的图像坐标(xright-up,yright-up)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的左下角像素的图像坐标(xleft-down,yleft-down)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右下角像素的图像坐标(xright-down,yright-down)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的中间像素的图像坐标(xcenter,ycenter)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右边缘中点像素的图像坐标(xright-center,yright-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的上边缘中点像素的图像坐标(xup-center,yup-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为空间相邻块的图像坐标(xA,yA)；根据空间相邻块的位置坐标(xA,yA)以及空间相邻块视差矢量DV计算得到空间相邻块在参考视点中对应点的位置坐标为(xB,yB)，其中xB＝xA+DVx，yB＝yA+DVy。利用参考视点Vref中纹理图像对应的深度图像获得位置(xB,yB)处像素的深度值Zref；利用得到的位置坐标(xB,yB)以及深度值Zref，利用目标视点的摄像机参数以及参考视点的摄像机参数，根据公式5计算得到目标视点图像中当前处理单元U的空间相邻块所对应的深度信息Ztarget。
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)将得到的图像位置坐标(xc,yc)减去处理单元U的图像坐标(xU,yU)，得到处理单元U所有像素的视差矢量DVU，视差矢量DVU有两个分量，分别是DVUx和DVUy，由DVUx＝xc-xU和DVUy＝yc-yU得到。
实施例4
本发明的第四实施方式涉及一种运动矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)确定一个处理单元U的空间相邻块，空间相邻块可以是以下块中的一个块：当前处理单元的左边块、上边块、左上块、右上块、右边块、下边块、左下块、右下块；当前处理单元的左上角像素的左边紧邻像素所在的块、当前处理单元的左下角像素的左边紧邻像素所在的块、当前处理单元的右上角像素的 右边紧邻像素所在的块、当前处理单元的右下角像素的右边紧邻像素所在的块、当前处理单元的最左列像素的中点像素的左边紧邻像素所在的块、当前处理单元的最上行像素的中点像素的上边紧邻像素所在的块、当前处理单元的最下行像素的中间像素的下边紧邻像素所在的块、当前处理单元的最右列像素的中间像素的右边紧邻像素所在的块；获得所述空间相邻块的视差矢量DV以及代表所述空间相邻块的位置坐标A的坐标为(xA,yA)，视差矢量DV包含DVx和DVy,分别代表目标视点中的像素在参考视点Vref图像中的水平和竖直的位置偏移量，xA和yA分别表示处理单元U的空间相邻块在所述目标视点Vtarget中图像的水平和竖直位置坐标。取空间相邻块的左上角像素的图像坐标(xleft-up,yleft-up)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右上角像素的图像坐标(xright-up,yright-up)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的左下角像素的图像坐标(xleft-down,yleft-down)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右下角像素的图像坐标(xright-down,yright-down)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的中间像素的图像坐标(xcenter,ycenter)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右边缘中点像素的图像坐标(xright-center,yright-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的上边缘中点像素的图像坐标(xup-center,yup-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为空间相邻块的图像坐标(xA,yA)；根据空间相邻块的位置坐标(xA,yA)以及空间相邻块视差矢量DV计算得到空间相邻块在参考视点中对应点的位置坐标为(xB,yB)，其中xB＝xA+DVx，yB＝yA+DVy。利用参考视点Vref中纹理图像对应的深度图像获得位置(xB,yB)处像素的深度值Zref；利用得到的位置坐标(xB,yB)以及深度值Zref，利用目标视点的摄像机参数以及参考视点的摄像机参数，根据公式5计算得到目标视点图像中当前处理单元U的空间相邻块所对应的深度信息Ztarget。
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标 (xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)取图像坐标位置(xc,yc)所在的块的运动矢量MVref；
(5)利用运动矢量MVref和坐标(xc,yc)计算参考视点Vref中对应点的时域对应点d的坐标(xd,yd)，其中xd和yd分别由xd＝xc+MVrefx，yd＝yc+MVrefy得到；
(6)取得参考视点Vref中时域参考图像对应的深度图像，将该深度图像像素坐标位置为(xd,yd)的对应深度值作为时域对应点d的深度值zd；
(7)利用上述方法得到的时域对应点d的坐标(xd,yd)和对应的深度zd，以及目标视点和参考视点的摄像机参数，利用公式4计算出在目标视点中，时域参考图像的对应点e的图像坐标为(xe,ye)；
(8)根据目标视点中处理单元U的时域参考图像中的对应点e的坐标位置(xe,ye)以及处理单元U的坐标(xU,yU)，计算得到处理单元U的运动矢量MVU，其中MVUx＝xe-xU，MVUy＝ye-yU；
实施例5
本发明的第五实施方式涉及一种视差矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)目标视点图像中当前处理单元U的空间相邻块所对应的深度信息Ztarget赋为一个常数，如Ztarget＝100；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U 的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)将得到的图像位置坐标(xc,yc)减去处理单元U的图像坐标(xU,yU)，得到处理单元U所有像素的视差矢量DVU，视差矢量DVU有两个分量，分别是DVUx和DVUy，其中，DVUx＝xc-xU，DVUy＝yc-yU。
实施例6
本发明的第六实施方式涉及一种运动矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)目标视点图像中当前处理单元U的空间相邻块所对应的深度信息Ztarget赋为一个常数，如Ztarget＝100；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元 U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)取图像坐标位置(xc,yc)所在的块的运动矢量MVref；
(5)利用运动矢量MVref和坐标(xc,yc)计算参考视点Vref中对应点的时域对应点d的坐标(xd,yd)，其中xd和yd分别由xd＝xc+MVrefx，yd＝yc+MVrefy得到；
(6)取得参考视点Vref中时域参考图像对应的深度图像，将该深度图像像素坐标位置为(xd,yd)的对应深度值作为时域对应点d的深度值zd；
(7)利用上述方法得到的时域对应点d的坐标(xd,yd)和对应的深度zd，以及目标视点和参考视点的摄像机参数，利用公式4计算出在目标视点中，时域参考图像的对应点e的图像坐标为(xe,ye)；
(8)根据目标视点中处理单元U的时域参考图像中的对应点e的坐标位置(xe,ye)以及处理单元U的坐标(xU,yU)，计算得到处理单元U的运动矢量MVU，其中MVUx＝xe-xU，MVUy＝ye-yU；
实施例7
本发明的第七实施方式涉及一种视差矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)取目标视点Vtarget与当前时刻相邻的时刻的纹理图像对应的深度图像中与当前处理单元U相同位置、相同大小的一个深度块DB,取深度块DB的平均深度Zmean作为处理单元U的深度值Ztarget或取深度块DB左上角像素位置的深度值Zleft-up作为处理单元U的深度值Ztarget，或取深度块DB右上角像素位置的深度值Zright-up作为处理单元U的深度值Ztarget，或取深度块DB左下角像素位置的深度值Zleft-down作为处理单元U的深度值Ztarget，或取深度块DB右下角像素位置的深度值Zright-down作为处理单元U的深度值Ztarget，或取深度块DB中心像素位置的深度值Zcenter作为处理单元U的深度值Ztarget；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U 的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)将得到的图像位置坐标(xc,yc)减去处理单元U的图像坐标(xU,yU)，得到处理单元U所有像素的视差矢量DVU，视差矢量DVU有两个分量，分别是DVUx和DVUy，其中，DVUx＝xc-xU，DVUy＝yc-yU。
实施例8
本发明的第八实施方式涉及一种运动矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)取目标视点Vtarget与当前时刻相邻的时刻的纹理图像对应的深度图像中与当前处理单元U相同位置、相同大小的一个深度块DB,取深度块DB的平均深度Zmean作为处理单元U的深度值Ztarget或取深度块DB左上角像素位置的深度值Zleft-up作为处理单元U的深度值Ztarget，或取深度块DB右上角像素位置的深度值Zright-up作为处理单元U的深度值Ztarget，或取深度块DB左下角像素位置的深度值Zleft-down作为处理单元U的深度值Ztarget，或取深度块DB右下角像素位置的深度值Zright-down作为处理单元U的深度值Ztarget，或取深度块DB中心像素位置的深度值Zcenter作为处理单元U的深度值Ztarget；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标 (xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)取图像坐标位置(xc,yc)所在的块的运动矢量MVref；
(5)利用运动矢量MVref和坐标(xc,yc)计算参考视点Vref中对应点的时域对应点d的坐标(xd,yd)，其中xd和yd分别由xd＝xc+MVrefx，yd＝yc+MVrefy得到；
(6)取得参考视点Vref中时域参考图像对应的深度图像，将该深度图像像素坐标位置为(xd,yd)的对应深度值作为时域对应点d的深度值zd；
(7)利用上述方法得到的时域对应点d的坐标(xd,yd)和对应的深度zd，以及目标视点和参考视点的摄像机参数，利用公式4计算出在目标视点中，时域参考图像的对应点e的图像坐标为(xe,ye)；
(8)根据目标视点中处理单元U的时域参考图像中的对应点e的坐标位置(xe,ye)以及处理单元U的坐标(xU,yU)，计算得到处理单元U的运动矢量MVU，其中MVUx＝xe-xU，MVUy＝ye-yU；
实施例9
本发明的第九实施方式涉及一种运动矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)取目标视点Vtarget与当前时刻相邻的时刻的纹理图像对应的深度图像中与当前处理单元U相同位置、相同大小的一个深度块DB,取深度块DB的平均深度Zmean作为处理单元U的深度值Ztarget或取深度块DB左上角像素位置的深度值Zleft-up作为处理单元U的深度值Ztarget，或取深度块DB右上角像素位置的深度值Zright-up作为处理单元U的深度值Ztarget，或取深度块DB左下角 像素位置的深度值Zleft-down作为处理单元U的深度值Ztarget，或取深度块DB右下角像素位置的深度值Zright-down作为处理单元U的深度值Ztarget，或取深度块DB中心像素位置的深度值Zcenter作为处理单元U的深度值Ztarget；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)取图像坐标位置(xc,yc)所在的块的运动矢量MVref；
(5)利用运动矢量MVref和坐标(xc,yc)计算参考视点Vref中对应点的时域对应点d的坐标(xd,yd)，其中xd和yd分别由xd＝xc+MVrefx，yd＝yc+MVrefy得到；
(6)取得参考视点Vref中当前时刻图像对应的深度图像，将该深度图像像素坐标位置为(xc,yc)的对应深度值作为时域对应点d的深度值zd；
(7)利用上述方法得到的时域对应点d的坐标(xd,yd)和对应的深度zd，以及目标视点和参考视点的摄像机参数，利用公式4计算出在目标视点中，时域参考图像的对应点e的图像坐标为(xe,ye)；
(8)根据目标视点中处理单元U的时域参考图像中的对应点e的坐标位置(xe,ye)以及处理单元U的坐标(xU,yU)，计算得到处理单元U的运动矢量MVU，其中MVUx＝xe-xU，MVUy＝ye-yU；
实施例10
本发明的第十实施方式涉及一种运动矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)确定一个处理单元U的空间相邻块，空间相邻块可以是以下块中的一个块：当前处理单元的左边块、上边块、左上块、右上块、右边块、下边块、左下块、右下块；当前处理单元的左上角像素的左边紧邻像素所在的块、当前处理单元的左下角像素的左边紧邻像素所在的块、当前处理单元的右上角像素的右边紧邻像素所在的块、当前处理单元的右下角像素的右边紧邻像素所在的块、当前处理单元的最左列像素的中点像素的左边紧邻像素所在的块、当前处理单元的最上行像素的中点像素的上边紧邻像素所在的块、当前处理单元的最下行像素的中间像素的下边紧邻像素所在的块、当前处理单元的最右列像素的中间像素的右边紧邻像素所在的块；获得所述空间相邻块的视差矢量DV以及代表所述空间相邻块的位置坐标A的坐标为(xA,yA)，视差矢量DV包含DVx和DVy,分别代表目标视点中的像素在参考视点Vref图像中的水平和竖直的位置偏移量，xA和yA分别表示处理单元U的空间相邻块在所述目标视点Vtarget中图像的水平和竖直位置坐标。取空间相邻块的左上角像素的图像坐标(xleft-up,yleft-up)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右上角像素的图像坐标(xright-up,yright-up)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的左下角像素的图像坐标(xleft-down,yleft-down)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右下角像素的图像坐标(xright-down,yright-down)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的中间像素的图像坐标(xcenter,ycenter)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的右边缘中点像素的图像坐标(xright-center,yright-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的上边缘中点像素的图像坐标(xup-center,yup-center)作为空间相邻块的图像坐标(xA,yA)，或取空间相邻块的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为空间相邻块的图像坐标(xA,yA)；根据空间相邻块的位置坐标(xA,yA)以及空间相邻块视差矢量DV计算得到空间相邻块在参考视点中对应点的位置坐标为(xB,yB)，其中xB＝xA+DVx，yB＝yA+DVy。利用参考视点Vref中纹理图像对应的深度图像获得位置(xB,yB)处像素的深度值Zref；利用得到的位 置坐标(xB,yB)以及深度值Zref，利用目标视点的摄像机参数以及参考视点的摄像机参数，根据公式5计算得到目标视点图像中当前处理单元U的空间相邻块所对应的深度信息Ztarget。
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)取图像坐标位置(xc,yc)所在的块的运动矢量MVref；
(5)利用运动矢量MVref和坐标(xc,yc)计算参考视点Vref中对应点的时域对应点d的坐标(xd,yd)，其中xd和yd分别由xd＝xc+MVrefx，yd＝yc+MVrefy得到；
(6)取得参考视点Vref中当前时刻图像对应的深度图像，将该深度图像像素坐标位置为(xc,yc)的对应深度值作为时域对应点d的深度值zd；
(7)利用上述方法得到的时域对应点d的坐标(xd,yd)和对应的深度zd，以及目标视点和参考视点的摄像机参数，利用公式4计算出在目标视点中，时域参考图像的对应点e的图像坐标为(xe,ye)；
(8)根据目标视点中处理单元U的时域参考图像中的对应点e的坐标位置(xe,ye)以及处理单元U的坐标(xU,yU)，计算得到处理单元U的运动矢量MVU，其中MVUx＝xe-xU，MVUy＝ye-yU；
实施例11
本发明的第十一实施方式涉及一种运动矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)目标视点图像中当前处理单元U的空间相邻块所对应的深度信息Ztarget赋为一个常数，如Ztarget＝100；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)取图像坐标位置(xc,yc)所在的块的运动矢量MVref；
(5)利用运动矢量MVref和坐标(xc,yc)计算参考视点Vref中对应点的时域对应点d的坐标(xd,yd)，其中xd和yd分别由xd＝xc+MVrefx，yd＝yc+MVrefy得到；
(6)取得参考视点Vref中当前时刻图像对应的深度图像，将该深度图像像素坐标位置为(xc,yc)的对应深度值作为时域对应点d的深度值zd；
(7)利用上述方法得到的时域对应点d的坐标(xd,yd)和对应的深度zd，以及目标视点和参考视点的摄像机参数，利用公式4计算出在目标视点中，时域参考图像的对应点e的图像坐标为(xe,ye)；
(8)根据目标视点中处理单元U的时域参考图像中的对应点e的坐标位置(xe,ye)以及处理单元U的坐标(xU,yU)，计算得到处理单元U的运动矢量MVU，其 中MVUx＝xe-xU，MVUy＝ye-yU；
实施例12
本发明的第十二实施方式涉及一种运动矢量导出方法，记目标视点Vtarget当前时刻纹理图像中的一个处理单元为U,导出步骤为：
(1)取目标视点Vtarget与当前时刻的纹理图像对应的深度图像中与当前处理单元U相同位置、相同大小的一个深度块DB,取深度块DB的平均深度Zmean作为处理单元U的深度值Ztarget或取深度块DB左上角像素位置的深度值Zleft-up作为处理单元U的深度值Ztarget，或取深度块DB右上角像素位置的深度值Zright-up作为处理单元U的深度值Ztarget，或取深度块DB左下角像素位置的深度值Zleft-down作为处理单元U的深度值Ztarget，或取深度块DB右下角像素位置的深度值Zright-down作为处理单元U的深度值Ztarget，或取深度块DB中心像素位置的深度值Zcenter作为处理单元U的深度值Ztarget；
(2)取当前处理单元U的左上角像素的图像坐标(xleft-up,yleft-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右上角像素的图像坐标(xright-up,yright-up)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左下角像素的图像坐标(xleft-down,yleft-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右下角像素的图像坐标(xright-down,yright-down)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的中间像素的图像坐标(xcenter,ycenter)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的左边缘中点像素的图像坐标(xleft-center,yleft-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的右边缘中点像素的图像坐标(xright-center,yright-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的上边缘中点像素的图像坐标(xup-center,yup-center)作为处理单元U的图像坐标(xU,yU)，或取当前处理单元U的下边缘中点像素的图像坐标(xdown-center,ydown-center)作为处理单元U的图像坐标(xU,yU)；
(3)利用上述方法得到的(xU,yU)和深度Ztarget，以及目标视点和参考视点的摄像机参数，根据公式3计算获得当前处理单元U在参考视点Vref中的视点间对应像素点的图像坐标位置(xc,yc)；
(4)取图像坐标位置(xc,yc)所在的块的运动矢量MVref；
(5)利用运动矢量MVref和坐标(xc,yc)计算参考视点Vref中对应点的时域对应点d的坐标(xd,yd)，其中xd和yd分别由xd＝xc+MVrefx，yd＝yc+MVrefy得到；
(6)取得参考视点Vref中当前时刻图像对应的深度图像，将该深度图像像素坐标位置为(xc,yc)的对应深度值作为时域对应点d的深度值zd；
(7)利用上述方法得到的时域对应点d的坐标(xd,yd)和对应的深度zd，以及目标视点和参考视点的摄像机参数，利用公式4计算出在目标视点中，时域参考图像的对应点e的图像坐标为(xe,ye)；
(8)根据目标视点中处理单元U的时域参考图像中的对应点e的坐标位置(xe,ye)以及处理单元U的坐标(xU,yU)，计算得到处理单元U的运动矢量MVU，其中MVUx＝xe-xU，MVUy＝ye-yU；
实施例13
本发明的第十三实施方式涉及一种视差矢量导出装置，图3是视差矢量导出装置实施例的示意图，该装置包括以下几个模块：
(1)深度确定模块，用于目标视点中当前处理单元A，将当前处理单元A的代表深度值Ztarget赋值为空间相邻块的深度值Zspatio，或赋值为常数Z0,或是赋值为时域相邻块的深度Ztemporal。
(2)代表位置确定模块，用于确定目标视点中当前处理单元A的代表像素点的坐标位置Ptarget。
(3)投影点确定模块，用于根据当前处理单元A的深度值Ztarget以及当前处理单元A的代表位置Ptarget，确定当前处理单元A的代表像素点在参考视点中对应的投影点的坐标位置Pref
(4)视差矢量赋值模块，用于目标视点的当前处理单元A所述参考视点中对应的投影点的坐标位置Pref减去所述当前处理单元A的代表像素点的坐标位置Ptarget得到当前处理单元的视差矢量DV。
实施例14
本发明的第十四实施方式涉及一种运动矢量导出装置，图4是运动矢量导出装置实施例的示意图，该装置包括以下几个模块：
(1)深度确定模块，用于目标视点中当前处理单元A，将当前处理单元A的代表深度值Ztarget赋值为空间相邻块的深度值Zspatio，或赋值为常数Z0,或是赋值为时域相邻块的深度Ztemporal。
(2)代表位置确定模块，用于确定目标视点中当前处理单元A的代表像素点的坐标位置Ptarget。
(3)投影点确定模块，用于根据当前处理单元A的深度值Ztarget以及当前处理单元A的代表位置Ptarget，确定当前处理单元A的代表像素点在参考视点中对应的投影点的坐标位置Pref
(4)运动矢量确定模块，取得所述参考视点中对应的投影点的坐标位置Pref所在块的运动矢量MVref.
(5)时域对应点确定模块，用于参考视点中投影点，利用投影点所在块的运动矢量MVref,确定参考视点中投影点的时域对应点坐标位置Pref-temp。
(6)时域对应点深度确定模块，用于参考视点中，投影点的时域对应点，将投影点深度Zref-temp赋值为参考视点中所述Pref位置像素对应的深度信息Zref，或赋值为所述Pref-temp位置像素对应的深度信息Zref-temp。
(7)运动矢量赋值模块，用于目标视点当前处理单元A，利用参考视点中时域对应点的深度Zref-temporal以及所述坐标为中心和Pref-temp得到目标视点中当前处理单元时域参考图像中时域对应点像素位置Ptarget-temp，将当前处理单元A的运动矢量MV赋值为目标视点中的时域对应点坐标位置Ptarget-temp与当前处理单元A的代表像素点的坐标位置Ptarget的差值。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种视差矢量导出方法，其特征在于，包括：
(1)为目标视点中的当前处理单元A确定一个深度值ZA-target；
(2)为所述当前处理单元A确定一个代表像素点M以及M的图像坐标位置PM-target；
(3)利用所述深度值ZA-target，以及所述坐标位置PM-target确定所述代表像素点M在参考视点中对应的像素点F的图像坐标位置PF-ref；所述坐标位置PF-ref的计算方法是利用所述参考视点和目标视点的摄像机参数，根据坐标变换公式将所述坐标位置PM-target进行投影得到所述坐标位置PF-ref；
(4)所述像素点F的图像坐标位置PF-ref减去所述像素点M的图像坐标位置PM-target得到所述像素点M的视差矢量DV；
(5)将所述像素点M的视差矢量DV作为所述当前处理单元A的所有像素点的视差矢量。
2.一种运动矢量导出方法，其特征在于，包括：
(1)为目标视点中的当前处理单元A确定一个深度值ZA-target；
(2)为所述当前处理单元A确定一个代表像素点M以及M的图像坐标位置PM-target；
(3)利用所述深度值ZA-target，以及所述坐标位置PM-target确定所述代表像素点M在参考视点中对应的像素点F的图像坐标位置PF-ref；所述坐标位置PF-ref的计算方法是利用所述参考视点和目标视点的摄像机参数，根据坐标变换公式将所述坐标位置PM-target进行投影得到所述坐标位置PF-ref；
(4)取得所述参考视点中对应的像素点F的坐标位置PF-ref所在块的运动矢量MVref；
(5)利用所述运动矢量MVref,确定参考视点中所述对应的投影点的时域对应点G坐标位置PG-ref-temp；
(6)确定所述时域对应点G位置PG-ref-temp的深度ZG-ref-temporal，将参考视点中所述PF-ref位置像素对应的深度信息ZF-ref赋值给所述深度ZG-ref-temp，或将所述PG-ref-temp位置像素对应的深度信息Zref-temp赋值给所述深度ZG-ref-temp；
(7)利用所述深度ZG-ref-temporal以及所述参考视点中投影的时域对应点坐标PG-ref-temp得到目标视点中当前处理单元时域参考图像中时域对应点像素位置Ptarget-temp；
(8)将所述目标视点中的时域对应点坐标位置Ptarget-temp减去所述当前处理单元A的代表像素点的坐标位置PM-target得到当前处理单元A的代表像素点的运动矢量MVtarget；
(9)将当前处理单元A的代表像素点的运动矢量MVtarget作为当前处理单元的运动矢量MV。
3.一种视差矢量导出装置，其特征在于，包括：
(1)深度确定模块，用于目标视点中当前处理单元A，将当前处理单元A的代表深度值Ztarget赋值为空间相邻块的深度值Zspatio，或赋值为常数Z0,或是赋值为时域相邻块的深度Ztemporal；
(2)代表位置确定模块，用于确定目标视点中当前处理单元A的代表像素点的坐标位置Ptarget；
(3)投影点确定模块，用于根据当前处理单元A的深度值Ztarget以及当前处理单元A的代表位置Ptarget，确定当前处理单元A的代表像素点在参考视点中对应的投影点的坐标位置Pref；
(4)视差矢量赋值模块，用于目标视点的当前处理单元A所述参考视点中对应的投影点的坐标位置Pref减去所述当前处理单元A的代表像素点的坐标位置Ptarget得到当前处理单元的视差矢量DV。
4.一种运动矢量导出装置，其特征在于，包括：
(1)深度确定模块，用于目标视点中当前处理单元A，将当前处理单元A的代表深度值Ztarget赋值为空间相邻块的深度值Zspatio，或赋值为常数Z0,或是赋值为时域相邻块的深度Ztemporal；
(2)代表位置确定模块，用于确定目标视点中当前处理单元A的代表像素点的坐标位置Ptarget；
(3)投影点确定模块，用于根据当前处理单元A的深度值Ztarget以及当前处理单元A的代表位置Ptarget，确定当前处理单元A的代表像素点在参考视点中对应的投影点的坐标位置Pref；
(4)运动矢量获取模块，用于取得所述参考视点中对应的投影点的坐标位置Pref所在块的运动矢量MVref；
(5)时域对应点确定模块，用于参考视点中投影点，利用投影点所在块的运动矢量MVref,确定参考视点中投影点的时域对应点坐标位置Pref-temp；
(6)时域对应点深度确定模块，用于参考视点中，投影点的时域对应点，将投影点深度Zref-temp赋值为参考视点中所述Pref位置像素对应的深度信息Zref，或赋值为所述Pref-temp位置像素对应的深度信息Zref-temp；
(7)运动矢量赋值模块，用于目标视点当前处理单元A，利用参考视点中时域对应点的深度Zref-temporal以及所述坐标为中心和Pref-temp得到目标视点中当前处理单元时域参考图像中时域对应点像素位置Ptarget-temp，将当前处理单元A的运动矢量MV赋值为目标视点中的时域对应点坐标位置Ptarget-temp与当前处理单元A的代表像素点的坐标位置Ptarget的差值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610089664.9A CN107094260A (zh) | 2016-02-17 | 2016-02-17 | 导出视差矢量和运动矢量的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610089664.9A CN107094260A (zh) | 2016-02-17 | 2016-02-17 | 导出视差矢量和运动矢量的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107094260A true CN107094260A (zh) | 2017-08-25 |
Family
ID=59649192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610089664.9A Pending CN107094260A (zh) | 2016-02-17 | 2016-02-17 | 导出视差矢量和运动矢量的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107094260A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111263144A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 一种运动信息确定方法及其设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101483770A (zh) * | 2008-01-08 | 2009-07-15 | 华为技术有限公司 | 一种编解码方法及装置 |
| CN101822067A (zh) * | 2007-07-26 | 2010-09-01 | 皇家飞利浦电子股份有限公司 | 深度相关信息传播方法和设备 |
| CN102223554A (zh) * | 2011-06-09 | 2011-10-19 | 清华大学 | 平面图像序列的深度图序列生成方法及装置 |
| CN102903096A (zh) * | 2012-07-04 | 2013-01-30 | 北京航空航天大学 | 一种基于单目视频的对象深度提取方法 |
| CN104247432A (zh) * | 2011-11-11 | 2014-12-24 | 弗兰霍菲尔运输应用研究公司 | 使用深度图估计和更新的高效多视点编码 |
| WO2015006984A1 (en) * | 2013-07-19 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Reference view selection for 3d video coding |
| CN105069751A (zh) * | 2015-07-17 | 2015-11-18 | 江西欧酷智能科技有限公司 | 一种深度图像缺失数据的插值方法 |
-
2016
- 2016-02-17 CN CN201610089664.9A patent/CN107094260A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101822067A (zh) * | 2007-07-26 | 2010-09-01 | 皇家飞利浦电子股份有限公司 | 深度相关信息传播方法和设备 |
| CN101483770A (zh) * | 2008-01-08 | 2009-07-15 | 华为技术有限公司 | 一种编解码方法及装置 |
| CN102223554A (zh) * | 2011-06-09 | 2011-10-19 | 清华大学 | 平面图像序列的深度图序列生成方法及装置 |
| CN104247432A (zh) * | 2011-11-11 | 2014-12-24 | 弗兰霍菲尔运输应用研究公司 | 使用深度图估计和更新的高效多视点编码 |
| CN102903096A (zh) * | 2012-07-04 | 2013-01-30 | 北京航空航天大学 | 一种基于单目视频的对象深度提取方法 |
| WO2015006984A1 (en) * | 2013-07-19 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Reference view selection for 3d video coding |
| CN105069751A (zh) * | 2015-07-17 | 2015-11-18 | 江西欧酷智能科技有限公司 | 一种深度图像缺失数据的插值方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111263144A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 一种运动信息确定方法及其设备 |
| CN111263144B (zh) * | 2018-11-30 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 一种运动信息确定方法及其设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104756491B (zh) | 基于组合的深度提示从单视场图像生成深度图 | |
| Casser et al. | Depth prediction without the sensors: Leveraging structure for unsupervised learning from monocular videos | |
| KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| Zhang et al. | Light-field depth estimation via epipolar plane image analysis and locally linear embedding | |
| CN103824318B (zh) | 一种多摄像头阵列的深度感知方法 | |
| CN105225230B (zh) | 一种识别前景目标对象的方法及装置 | |
| McIntosh et al. | Matching straight lines | |
| CN103430210B (zh) | 信息处理系统、信息处理装置、拍摄装置、以及信息处理方法 | |
| Mulligan et al. | Trinocular stereo: A real-time algorithm and its evaluation | |
| CN109360235A (zh) | 一种基于光场数据的混合深度估计方法 | |
| CN109997170A (zh) | 用于从视图中获得距离信息的设备和方法 | |
| CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
| CN103345736A (zh) | 一种虚拟视点绘制方法 | |
| CN104867113B (zh) | 图像透视畸变校正的方法及系统 | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| CN104270624B (zh) | 一种分区域的3d视频映射方法 | |
| CN105282400B (zh) | 一种基于几何插值的高效视频稳定方法 | |
| Islam et al. | Stereo vision-based 3D positioning and tracking | |
| KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
| Nozick | Multiple view image rectification | |
| JP6285686B2 (ja) | 視差画像生成装置 | |
| Fan et al. | Vivid-DIBR based 2D–3D image conversion system for 3D display | |
| KR101103511B1 (ko) | 평면 영상을 입체 영상으로 변환하는 방법 | |
| CN107094260A (zh) | 导出视差矢量和运动矢量的方法和装置 | |
| GB2585197A (en) | Method and system for obtaining depth data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170825 |
|
| WD01 | Invention patent application deemed withdrawn after publication |