CN102223554A - 平面图像序列的深度图序列生成方法及装置 - Google Patents

平面图像序列的深度图序列生成方法及装置 Download PDF

Info

Publication number
CN102223554A
CN102223554A CN2011101543637A CN201110154363A CN102223554A CN 102223554 A CN102223554 A CN 102223554A CN 2011101543637 A CN2011101543637 A CN 2011101543637A CN 201110154363 A CN201110154363 A CN 201110154363A CN 102223554 A CN102223554 A CN 102223554A
Authority
CN
China
Prior art keywords
image
depth
sequence
pixel
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101543637A
Other languages
English (en)
Other versions
CN102223554B (zh
Inventor
戴琼海
李振尧
曹汛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN 201110154363 priority Critical patent/CN102223554B/zh
Publication of CN102223554A publication Critical patent/CN102223554A/zh
Application granted granted Critical
Publication of CN102223554B publication Critical patent/CN102223554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提出一种平面图像序列的深度图序列生成方法及装置，该方法包括以下步骤：A：选择第一图像和第二图像；B：获得第一图像的第一深度图像和第二图像的第二深度图像；C：获取平面图像序列的第一运动估计结果集合和第二运动估计结果集合；D：根据第一运动估计结果集合和第二运动估计结果集合确定图像序列的每一相邻两帧图像之间的匹配点集；和E：根据第一深度图像或第二深度图像、以及匹配点集得到深度图序列。根据本发明的深度图序列生成方法，可以大大降低深度图序列生成的工作量和成本，而且深度图序列的精度高，进而达到提高立体视频合成效果的目的。该装置结构简单，易于实现。

Description

平面图像序列的深度图序列生成方法及装置
技术领域
本发明属于多媒体图像处理技术领域，特别涉及一种平面图像序列转立体图像序列的深度图序列生成方法及装置。
背景技术
在日常生活中，人们能够感受到立体视觉。这是因为人类的眼睛是双向并排，两眼瞳孔有着几厘米左右的间距，使得左眼和右眼看到的影像有着些许差异，这个差异被称作视差。通过影像在两眼间形成的视差，大脑就能够判断物体的远近并产生立体视觉。为了能在显示设备上重现这样的立体视觉，需要设法重现视差，让双眼接收到不同的影像。在这个基础上，立体显示设备正在逐渐推广。
但是，一个阻碍立体显示设备推广的关键问题是立体视频的缺乏。如果只有立体显示终端而缺乏对应的立体视频片源，那么立体显示终端就很难得到推广普及，这会限制立体显示技术的发展，也会阻碍立体视频的拍摄制作，从而延缓立体显示取代传统平面显示的进程。
解决立体视频片源缺乏问题有两个途径。第一个途径是直接采用立体摄像机拍摄视频。这种方法需要一套专业的立体视频拍摄设备和完整的生产流水线，成本高昂，这是很多企业难以承受的。此外，立体摄像机对校准有着严格的要求，对拍摄环境及摄像机的运动也有一定的限制，这些都在很大程度上限制了直接采用立体摄像机拍摄视频这种方式的普及。第二个途径是利用现有平面视频的丰富资源，然后在后期制作时将平面视频转换为立体视频。这种方法的成本比直接用立体摄像机拍摄低很多，而且可以将现有的任何一组平面视频转换为对应的立体视频。考虑到现有平面视频的大量资源，如能将其转换为立体视频，不仅可以获得更好的观赏体验，还可以推进以立体电视、立体影院为代表的立体显示技术的推广普及。
平面视频转换为立体视频的关键在于怎样得到平面视频中物体的深度值。深度是物体距离观察者位置的直观描述，一般用8位二进制数表示，对应十进制数的范围是0-255。其中，深度值越大表示物体越接近观察者，深度值为0则表示当前物体是背景。
由于平面视频中深度信息的缺乏，直接计算深度图像难度很大。目前获取平面图像序列深度的一般方法是通过人机交互，利用图形分割算法，人工的给图像中的物体赋予深度值。然而，通过人工赋值的方法获得每一帧图像的深度，工作量较大，成本较高。
发明内容
本发明旨在至少解决上述技术问题之一。
为此，本发明的一个目的在于提出一种平面图像序列的深度图序列生成方法，该方法可以大大降低深度图序列生成的工作量和成本，而且深度图序列的精度高，进而达到提高立体视频合成效果的目的。
本发明的另一目的在于提出一种平面图像序列的深度图序列生成装置，该装置结构简单，成本低。
为了实现上述目的，本发明第一方面实施例的平面图像序列的深度图序列生成方法，包括以下步骤：A：从所述平面图像序列中选择第一图像和第二图像；B：分别获得所述第一图像的第一深度图像和所述第二图像的第二深度图像；C：分别从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，及从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合；D：根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集；以及E：根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。
根据本发明实施例的平面图像序列的深度图序列生成方法，只需通过图像分割算法或是深度相机采集等办法在少数关键帧上，如第一图像和第二图像上进行深度赋值，得到少量关键帧(第一图像和第二图像)的深度图像(第一深度图像和第二深度图像)，接着该方法将关键帧的深度值通过匹配点集逐一扩展给全部非关键帧(位于第一图像和第二图像之间的图像序列)，进而得到完整的深度图像序列。这样，不仅可以大大降低平面图像序列转立体视频序列的深度图序列生成的工作量和成本，而且通过该方法得到的深度图序列的精度高，进而提高立体视频的合成效果。
另外，根据本发明的平面图像序列的深度图序列生成方法还可以具有如下附加的技术特征：
在本发明的一个实施例中，分别从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。
根据本发明的一个实施例，所述步骤C进一步包括：C1：在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列；C2：从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计，以得到所述第一运动估计结果集合；和C3：从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计，以得到所述第二运动估计结果集合。
根据本发明的一个实施例，所述步骤D进一步包括：D1：获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合；D2：根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标；D3：根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量；D4：根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标；D5：判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点；和D6：重复执行步骤D2至D5直至确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点，以得到所述匹配点集。
在本发明的一个实施例中，所述步骤E进一步包括：E1：根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值；E2：以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点；和E3：根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。
根据本发明的一个实施例，根据所述第一深度图像和所述匹配点集得到第一深度图序列以及根据所述第二深度图像和所述匹配点集得到第二深度图序列。
根据本发明的一个实施例，通过公式对所述第一深度图像序列和所述第二深度图像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下：
D F = F - K 1 K 2 - K 1 × D 2 + K 2 - F K 2 - K 1 × D 1 ,
其中，K1为所述第二图像，K2为所述第一图像，F为位于所述第一图像和所述第二图像之间的图像序列的任意一帧图像，D1为所述第一深度图序列中的图像F的深度图像，D2为所述第二深度图序列中的图像F的深度图像。DF为图像F对应的所述深度图像。
根据本发明的一个实施例，所述步骤D5中如果判断所述第三坐标未处于所述第一坐标的预设邻域内，则通过基于运动矢量的双边滤波方式对相应图形上错误匹配点进行深度赋值，所述基于运动矢量的双边滤波公式如下：
d u t + 1 = Σ j f ij w ju ( t , t + 1 ) d j t Σ j f ij w ju ( t , t + 1 ) ,
其中，根据第二运动矢量，确定第t+1帧中第u个像素点在第t帧中的对应点是第i个像素点，fij为第i个像素点与其邻域内第j个像素点间的空间权重，为第t帧中第j个像素点与第t+1帧中第u个像素点间的颜色权重，
Figure BDA0000067249170000034
为已知的第t帧中的第j个像素点的深度值，
Figure BDA0000067249170000035
为待计算的第t+1帧中第u个像素点的深度值，
其中，fij的计算公式如下：
Figure BDA0000067249170000036
Figure BDA0000067249170000037
的计算公式如下：
w ju ( t , t + 1 ) = 2 - α ( | r j t - r u t + 1 | + | g j t - g u t + 1 | + | b j t - b u t + 1 | ) ,
其中，(xi，yi)为第i个像素点的坐标，(xj，yj)为第j个像素点的坐标，p为表征空间权重的输入参数，Δ为表征空间窗口尺寸的输入参数，
Figure BDA0000067249170000042
为第t帧中第j个像素的RGB三通道颜色值，为第t+1帧中第u个像素的RGB三通道颜色值，α为表征颜色权重的输入参数。
在本发明的一个实施例中，还包括：对所述深度图序列的每一深度图进行运动补偿。
本发明第二方面实施例的平面图像序列的深度图序列生成装置，包括：选择模块，所述选择模块用于从所述平面图像序列中选择第一图像和第二图像；深度获取模块，所述深度获取模块用于获得所述第一图像的第一深度图像和所述第二图像的第二深度图像；运动估计模块，所述运动估计模块用于从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合；匹配点获取模块，所述匹配点获取模块用于根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集；和深度图生成模块，所述深度图生成模块用于根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。
根据本发明实施例的平面图像序列的深度图序列生成装置，只需通过图像分割算法或是深度相机采集等办法在少数关键帧上，如第一图像和第二图像上进行深度赋值，得到少量关键帧(第一图像和第二图像)的深度图像(第一深度图像和第二深度图像)，接着该方法将关键帧的深度值通过匹配点集逐一扩展给全部非关键帧(位于第一图像和第二图像之间的图像序列)，进而得到完整的深度图像序列。这样，不仅可以大大降低平面图像序列转立体视频序列的深度图序列生成的工作量和成本，而且通过该方法得到的深度图序列的精度高，进而提高立体视频的合成效果。另外，该装置结构简单，易于实现。
另外，根据本发明的平面图像序列的深度图序列生成装置还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述深度获取模块用于从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。
根据本发明的一个实施例，所述运动估计模块用于在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列，接着从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计，以得到所述第一运动估计结果集合，然后从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计，以得到所述第二运动估计结果集合。
根据本发明的一个实施例，所述匹配点获取模块用于获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合，接着根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标，并根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量，然后根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标，判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点。
在本发明的一个实施例中，所述深度图生成模块用于根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值，以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点，然后根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。
根据本发明的一个实施例，根据所述第一深度图像和所述匹配点集得到第一深度图序列以及根据所述第二深度图像和所述匹配点集得到第二深度图序列。
根据本发明的一个实施例，通过公式对所述第一深度图像序列和所述第二深度图像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下：
D F = F - K 1 K 2 - K 1 × D 2 + K 2 - F K 2 - K 1 × D 1 ,
其中，K1为所述第二图像，K2为所述第一图像，F为位于所述第一图像和所述第二图像之间的图像序列的任意一帧图像，D1为所述第一深度图序列中的图像F的深度图像，D2为所述第二深度图序列中的图像F的深度图像。DF为图像F对应的所述深度图像。
根据本发明的一个实施例，所述匹配点获取模块还用于在判断所述第三坐标未处于所述第一坐标的预设邻域内时，通过基于运动矢量的双边滤波方式对相应图形上错误匹配点进行深度赋值，所述基于运动矢量的双边滤波公式如下：
d u t + 1 = Σ j f ij w ju ( t , t + 1 ) d j t Σ j f ij w ju ( t , t + 1 ) ,
其中，根据第二运动矢量，确定第t+1帧中第u个像素点在第t帧中的对应点是第i个像素点，fij为第i个像素点与其邻域内第j个像素点间的空间权重，
Figure BDA0000067249170000053
为第t帧中第j个像素点与第t+1帧中第u个像素点间的颜色权重，
Figure BDA0000067249170000054
为已知的第t帧中的第j个像素点的深度值，
Figure BDA0000067249170000055
为待计算的第t+1帧中第u个像素点的深度值，
其中，fij的计算公式如下：
Figure BDA0000067249170000056
Figure BDA0000067249170000061
的计算公式如下：
w ju ( t , t + 1 ) = 2 - α ( | r j t - r u t + 1 | + | g j t - g u t + 1 | + | b j t - b u t + 1 | ) ,
其中，(xi，yi)为第i个像素点的坐标，(xj，yj)为第j个像素点的坐标，p为表征空间权重的输入参数，Δ为表征空间窗口尺寸的输入参数，
Figure BDA0000067249170000063
为第t帧中第j个像素的RGB三通道颜色值，
Figure BDA0000067249170000064
为第t+1帧中第u个像素的RGB三通道颜色值，α为表征颜色权重的输入参数。
在本发明的一个实施例中，还包括：运动补偿模块，所述运动补偿模块用于对所述深度图生成模块所确定的深度图序列的每一深度图进行运动补偿。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的平面图像序列的深度图序列生成方法的流程图；
图2为本发明一个实施例的多视角采集的环形摄像阵列排布的示意图；
图3为第一图像和第二图像之间一个图像通过本发明实施例的方法得到的深度图；
图4为第一图像和第二图像之间另一图像通过本发明实施例的方法得到的深度图；
图5为第一图像和第二图像之间再一图像通过本发明实施例的方法得到的深度图；
图6为第一图像和第二图像之间一个图像通过本发明另一实施例的方法得到的深度图；
图7为第一图像和第二图像之间一个图像通过本发明再一实施例的方法得到的深度图；和
图8为本发明实施例的平面图像序列的深度图序列生成装置的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以下结合附图1-7首先描述根据本发明实施例的平面图像序列的深度图序列生成方法。
如图1所示，为本发明实施例的平面图像序列的深度图序列生成方法的流程图。根据本发明实施例的平面图像序列的深度图序列生成方法，包括以下步骤：
步骤S101，从所述平面图像序列中选择第一图像(关键帧图像)和第二图像(另一关键帧图像)。例如，选择该平面图像序列中的第300帧作为第一图像，选择第400帧作为第二图像。
步骤S102，分别获得所述第一图像的第一深度图像和所述第二图像的第二深度图像。
可以利用人机交互，并通过图像分割算法对第一图像和第二图像中的每个像素点进行深度赋值，或者也可通过深度相机直接采集，最终分别得到第一图像和第二图像的第一深度图像和第二深度图像。
步骤S103，从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，以及从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合。
以第一图像为第300帧，第二图像为第400帧为例进行说明，一般认为帧数越大，该帧图像的采集时间越靠后，因此，可以从第300帧图像开始依次进行每相邻两帧图像之间的前向运动估计，如第300帧和低301帧之间得到运动估计结果，第301和第302帧、第302和第303帧，以此类推，这样，由全部的运动估计结果组成一个运动估计结果集合(第一运动估计结果集合)。第二运动估计结果集合的产生过程类似于第一运动估计结果集合的产生过程，为了减少冗余，不做赘述。
在本发明的一个实施例中，如根据自适应块匹配算法计算得到第一和第二运动估计结果集合。
步骤S104，根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集。
以第一图像采集时间早于第二图像采集时间为例，从第一运动估计结果集合中选择从第一帧图像到第二帧图像的图像序列的运动估计结果集合，然后根据该运动估计结果集合可以确定每相邻两帧图像中前一帧图像的像素点坐标在当前一帧图像中的坐标位置，然后从第二运动估计结果集合中选择从第二帧图像到第一帧图像的图像序列的运动估计结果集合，接着根据该运动估计结果集合可以确定每相邻两帧图像中当前一帧图像的像素点坐标在当前一帧图像中的坐标位置。这样，对通过两种方式得到的坐标位置进行判断，可以最终确定若干个匹配良好的匹配点对，并得到匹配点集。
步骤S105，根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。
根据匹配点集，从第一图像开始，将第一图像的第一深度图像的每个像素点的深度值赋给与第一图像相邻的图像的相应像素点的深度值，以此类推，得到深度图序列。当然，也可以第二图像为起始图像，其深度赋值过程类似于以第一图像为起始图像的复制方法，为了减少冗余，不做赘述。
根据本发明实施例的平面图像序列的深度图序列生成方法，只需通过图像分割算法或是深度相机采集等办法在少数关键帧上，如第一图像和第二图像上进行深度赋值，得到少量关键帧(第一图像和第二图像)的深度图像(第一深度图像和第二深度图像)，接着该方法将关键帧的深度值通过匹配点集逐一扩展给全部非关键帧(位于第一图像和第二图像之间的图像序列)，进而得到完整的深度图像序列。这样，不仅可以大大降低平面图像序列转立体视频序列的深度图序列生成的工作量和成本，而且通过该方法得到的深度图序列的精度高，进而提高立体视频的合成效果。
具体而言，步骤S101的实现可采用如下方式：
如图2和图3所示，其中，图2为本发明实施例的第一图像(左侧)和第一深度图像(右侧)，图2为本发明实施例的第二图像(左侧)和第二深度图像(右侧)。在本发明的一个实施例中，从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。例如第一图像为平面图像序列的第300帧图像，第二图像为第400帧图像。通常地，认为在图像序列中，帧数小的图像其采集时间先于帧数大的图像的采集时间。
根据本发明的一个实施例，步骤S103的具体实现方式如下：
步骤S1031：在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列。作为一个具体的例子，如选择该平面图像序列中的第300帧到第400帧之间的图像序列作为该部分平面图像序列。
步骤S1031：从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计，以得到所述第一运动估计结果集合。由于第一时刻早于第二时刻，可知，从第一图像开始依次地再该部分平面图像序列中进行前向运动估计。这样，可以确定该部分图像序列的第一运动估计结果集合(前向运动估计结果集合)。在该第一运动估计结果集合中，包括若干个运动结果，每一个运动结果可以确定相邻两帧图像中前一帧图像在当前帧图像中的匹配块。
步骤S1031：从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计，以得到所述第二运动估计结果集合。同前向运动估计类似地，作为一个具体的示例，可以确定部分图像序列的后向运动估计结果集合，每一个运动结果可以确定相邻两帧图像中当前帧图像在前一帧图像中的匹配块。
步骤S104具体实现方式包括如下步骤：
步骤S1041：获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合。第一运动矢量集合包括多个运动矢量，且每相邻两帧图像的匹配块之间确定一个运动矢量。该运动矢量表示相邻两帧图像的前一帧图像的匹配块到当前帧图像对应匹配块的距离。第二运动矢量集合同样包括多个运动矢量，且每相邻两帧图像的匹配块之间确定一个运动矢量。该运动矢量表示相邻两帧图像的当前帧图像的匹配块到前一帧图像对应匹配块的距离。
步骤S1042：根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标。
也就是说，根据第一运动矢量集合中的每一个运动矢量，可以由每个运动矢量判断出该运动矢量是由哪两帧图像得到的，这样，对于当前的一个运动矢量，可以知道对应的前一帧图像的任意一个像素点的坐标在当前帧中匹配点的坐标值。
例如：对于前一帧上的任意一点，根据该点坐标和对应运动矢量，通过公式可以求出它在当前帧中匹配点的坐标。该公式如下：
U＝X+Vfx，
V＝Y+Vfy
其中，X为前一帧中像素点的水平方向坐标，Y为前一帧中像素点的垂直方向坐标，Vfx为像素点的第一运动矢量的水平方向分量，Vfy为像素点的第一运动矢量的垂直方向分量，U为当前帧中匹配点的水平方向坐标，V为当前帧中匹配点的垂直方向坐标。
步骤S1043：根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量。
通过第一运动矢量可以确定是由哪两帧相邻图像确定的，进而根据该两帧相邻图像可以在第二运动矢量集合中确定对应的第二运动矢量。
步骤S1044：根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标。
也就是说，根据第二运动矢量集合中的每一个运动矢量，可以由每个运动矢量判断出该运动矢量是由哪两帧图像得到的，这样，对于当前的一个运动矢量，可以知道对应的当前帧图像的任意一个像素点的坐标在前一帧中匹配点的坐标值。
例如：对于当前帧上一个像素点的第二坐标(U，V)，根据该点坐标和对应运动矢量，通过公式可以求出它在前一帧中匹配点的坐标。该公式如下：
M＝U+Vbx，
N＝V+Vby
其中，U为当前帧中像素点的水平方向坐标，V为当前帧中像素点的垂直方向坐标，Vbx为像素点的第二运动矢量的水平方向分量，Vby为像素点的第二运动矢量的垂直方向分量，M为前一帧中匹配点的水平方向坐标，N为前一帧中匹配点的垂直方向坐标。
步骤S1045：判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点。
在本发明的一个具体例子中，判断在前一帧中第三坐标(M，N)是否落在第一坐标(X，Y)的邻域内，若在邻域内，则认为第三坐标(M，N)和第二坐标形(U，V)形成了一对良好匹配。
步骤S1046：重复执行步骤S1042至步骤S1045直至确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点，以得到所述匹配点集。
步骤S105具体包括如下步骤：
步骤S1051：根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值。根据第一深度图像和第二深度图像分别获得第一图像和第二图像上每一个像素点的深度值。
步骤S1052：以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点。
在本发明的一个实施例中，以第一图像作为起始图像，这样，可以在当前图像的前一帧图像上的每一像素点确定该当前帧图像上的匹配点。
在本发明的另一实施例中，以第二图像作为起始图像，这样，可以在当前图像上的每一像素点确定该当前帧图像的前一帧图像上的匹配点。
步骤S1053：根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。
根据步骤S1052中得到的匹配点，可以将当前帧图像的每一像素点的深度值赋给前一阵图像上对应匹配点的深度值，或者将前一阵图像的每个响度点的深度值赋给当前帧图像上对应匹配点的深度值。
根据上述实施例，优选地，还可以同时根据第一深度图像和匹配点集得到第一深度图序列以及根据第二深度图像和匹配点集得到第二深度图序列。
也就是说，在步骤S1025中，可以根据第一图像和第二图像确定两种深度图序列。
接着，通过公式对该第一深度图像序列和该第二深度图像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下：
D F = F - K 1 K 2 - K 1 × D 2 + K 2 - F K 2 - K 1 × D 1 ,
其中，K1为所述第二图像，K2为所述第一图像，F为位于所述第一图像和所述第二图像之间的图像序列的任意一帧图像，D1为所述第一深度图序列中的图像F的深度图像，D2为所述第二深度图序列中的图像F的深度图像。DF为图像F对应的所述深度图像。这样，可以双向扩展，得到的深度图序列中每一深度图的深度值更为精确，进而增加三维图像的显示效果。
优选地，在本发明的一些示例中，在步骤S1045中，如果判断第三坐标(M，N)未处于所述第一坐标(X，Y)的邻域内，则通过基于运动矢量的双边滤波方式对相应图形上错误匹配点进行深度赋值，所述基于运动矢量的双边滤波公式如下：
d u t + 1 = Σ j f ij w ju ( t , t + 1 ) d j t Σ j f ij w ju ( t , t + 1 ) ,
其中，根据第二运动矢量，确定第t+1帧中第u个像素点在第t帧中的对应点是第i个像素点，fij为第i个像素点与其邻域内第j个像素点间的空间权重，
Figure BDA0000067249170000112
为第t帧中第j个像素点与第t+1帧中第u个像素点间的颜色权重，
Figure BDA0000067249170000113
为已知的第t帧中的第j个像素点的深度值，
Figure BDA0000067249170000114
为待计算的第t+1帧中第u个像素点的深度值。fij和
Figure BDA0000067249170000115
的计算公式如下：
Figure BDA0000067249170000116
w ju ( t , t + 1 ) = 2 - α ( | r j t - r u t + 1 | + | g j t - g u t + 1 | + | b j t - b u t + 1 | ) ,
其中，(xi，yi)为第i个像素点的坐标，(xj，yj)为第j个像素点的坐标，p为表征空间权重的输入参数，Δ为表征空间窗口尺寸的输入参数，
Figure BDA0000067249170000118
为第t帧中第j个像素的RGB三通道颜色值，
Figure BDA0000067249170000119
为第t+1帧中第u个像素的RGB三通道颜色值，α为表征颜色权重的输入参数。
可选地，通过上述实施例确定深度图序列以后，还可对该深度图序列的每一深度图进行运动补偿。
具体地，对于每一个深度图，可运用基于RGBD颜色和深度空间自适应块匹配的运动补偿算法，该算法的代价函数如下：
DifD = Σ j = 0 m Σ i = 0 n | D p ( X p + i , Y p + j ) - D c ( X c + i , Y c + j ) | ,
SAD＝DifR+DifG+DifB+DepthWeight×DifD，
其中，DifD为当前帧和前一帧中对应块的深度通道绝对误差和，m和n分别为块的高度和长度，(Xc，Yc)为当前帧中块的左上角起始位置坐标，(Xp，Yp)为前一帧中对应块的左上角起始位置坐标，Dp(X，Y)和Dc(X，Y)分别表示前一帧和当前帧中点(X，Y)的深度值；SAD表示颜色通道与深度通道的绝对误差和，DifR，DifG，DifB分别表示整个块中R、G、B三个颜色通道的绝对误差和，定义与DifD相似；DepthWeight表示深度通道绝对误差和的权重系数，为输入参数。
如图4-7所示，为第一图像和第二图像之间图像序列通过本发明实施例的方法得到的深度图序列。其中，作为一个具体的示例，图4为第320帧图像(左侧)和其深度图(右侧)，图5为第340帧图和其深度图，图6为第360帧图像和其深度图以及图7为第380帧图像和其深度图。
根据本发明实施例的平面图像序列的深度图序列生成方法，可以大大降低深度图序列生成的工作量和成本，而且深度图序列的精度高，进而达到提高立体视频合成效果的目的。
以下结合附图8描述根据本发明实施例的平面图像序列的深度图序列生成装置。
如图8所示，根据本发明实施例的平面图像序列的深度图序列生成装置800包括选择模块810、深度获取模块820、运动估计模块830、匹配点获取模块840和深度图生成模块850。
其中，选择模块810用于从所述平面图像序列中选择第一图像和第二图像。深度获取模块820用于获得所述第一图像的第一深度图像和所述第二图像的第二深度图像。运动估计模块830用于从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合。匹配点获取模块840用于根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集。深度图生成模块850用于根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。
根据本发明实施例的平面图像序列的深度图序列生成装置，只需通过图像分割算法或是深度相机采集等办法在少数关键帧上，如第一图像和第二图像上进行深度赋值，得到少量关键帧(第一图像和第二图像)的深度图像(第一深度图像和第二深度图像)，接着该方法将关键帧的深度值通过匹配点集逐一扩展给全部非关键帧(位于第一图像和第二图像之间的图像序列)，进而得到完整的深度图像序列。这样，不仅可以大大降低平面图像序列转立体视频序列的深度图序列生成的工作量和成本，而且通过该方法得到的深度图序列的精度高，进而提高立体视频的合成效果。另外，该装置结构简单，易于实现。
在本发明的一个实施例中，选择模块810从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。例如第一图像为平面图像序列的第300帧图像，第二图像为第400帧图像。通常地，认为在图像序列中，帧数小的图像其采集时间先于帧数大的图像的采集时间。
根据本发明的一个实施例，运动估计模块830用于在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列。作为一个具体的例子，如选择该平面图像序列中的第300帧到第400帧之间的图像序列作为该部分平面图像序列，接着从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计，以得到所述第一运动估计结果集合。由于第一时刻早于第二时刻，可知，从第一图像开始依次地在该部分平面图像序列中进行前向运动估计。这样，可以确定该部分图像序列的第一运动估计结果集合(前向运动估计结果集合)。在该第一运动估计结果集合中，包括若干个运动结果，每一个运动结果可以确定相邻两帧图像中前一帧图像在当前帧图像中的匹配块，然后从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计，以得到所述第二运动估计结果集合。同前向运动估计类似地，作为一个具体的示例，可以确定部分图像序列的后向运动估计结果集合，每一个运动结果可以确定相邻两帧图像中当前帧图像在前一帧图像中的匹配块。
在本发明的一个实施例中，匹配点获取模块840用于获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合。第一运动矢量集合包括多个运动矢量，且每相邻两帧图像的匹配块之间确定一个运动矢量。该运动矢量表示相邻两帧图像的前一帧图像的匹配块到当前帧图像对应匹配块的距离。第二运动矢量集合同样包括多个运动矢量，且每相邻两帧图像的匹配块之间确定一个运动矢量。该运动矢量表示相邻两帧图像的当前帧图像的匹配块到前一帧图像对应匹配块的距离，然后根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标。
也就是说，根据第一运动矢量集合中的每一个运动矢量，可以由每个运动矢量判断出该运动矢量是由哪两帧图像得到的，这样，对于当前的一个运动矢量，可以知道对应的前一帧图像的任意一个像素点的坐标在当前帧中匹配点的坐标值。
例如：对于前一帧上的任意一点，根据该点坐标和对应运动矢量，通过公式可以求出它在当前帧中匹配点的坐标。该公式如下：
U＝X+Vfx，
V＝Y+Vfy
其中，X为前一帧中像素点的水平方向坐标，Y为前一帧中像素点的垂直方向坐标，Vfx为像素点的第一运动矢量的水平方向分量，Vfy为像素点的第一运动矢量的垂直方向分量，U为当前帧中匹配点的水平方向坐标，V为当前帧中匹配点的垂直方向坐标。
并根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量。
通过第一运动矢量可以确定是由哪两帧相邻图像确定的，进而根据该两帧相邻图像可以在第二运动矢量集合中确定对应的第二运动矢量。
根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标。
也就是说，根据第二运动矢量集合中的每一个运动矢量，可以由每个运动矢量判断出该运动矢量是由哪两帧图像得到的，这样，对于当前的一个运动矢量，可以知道对应的当前帧图像的任意一个像素点的坐标在前一帧中匹配点的坐标值。
例如：对于当前帧上一个像素点的第二坐标(U，V)，根据该点坐标和对应运动矢量，通过公式可以求出它在前一帧中匹配点的坐标。该公式如下：
M＝U+Vbx，
N＝V+Vby
其中，U为当前帧中像素点的水平方向坐标，V为当前帧中像素点的垂直方向坐标，Vbx为像素点的第二运动矢量的水平方向分量，Vby为像素点的第二运动矢量的垂直方向分量，M为前一帧中匹配点的水平方向坐标，N为前一帧中匹配点的垂直方向坐标。
然后判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点。
在本发明的一个具体例子中，判断在前一帧中第三坐标(M，N)是否落在第一坐标(X，Y)的邻域内，若在邻域内，则认为第三坐标(M，N)和第二坐标形(U，V)形成了一对良好匹配。
在本发明的一个实施例中，深度图生成模块850用于根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值。根据第一深度图像和第二深度图像分别获得第一图像和第二图像上每一个像素点的深度值，以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点。
在本发明的一个实施例中，以第一图像作为起始图像，这样，可以在当前图像的前一帧图像上的每一像素点确定该当前帧图像上的匹配点。
在本发明的另一实施例中，以第二图像作为起始图像，这样，可以在当前图像上的每一像素点确定该当前帧图像的前一帧图像上的匹配点。
最后根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。
深度图生成模块850可以将当前帧图像的每一像素点的深度值赋给前一阵图像上对应匹配点的深度值，或者将前一阵图像的每个响度点的深度值赋给当前帧图像上对应匹配点的深度值。
根据上述实施例，优选地，深度图生成模块850还可以同时根据第一深度图像和匹配点集得到第一深度图序列以及根据第二深度图像和匹配点集得到第二深度图序列。
也就是说，可以根据第一图像和第二图像确定两种深度图序列。
接着，通过公式对该第一深度图像序列和该第二深度图像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下：
D F = F - K 1 K 2 - K 1 × D 2 + K 2 - F K 2 - K 1 × D 1 ,
其中，K1为所述第二图像，K2为所述第一图像，F为位于所述第一图像和所述第二图像之间的图像序列的任意一帧图像，D1为所述第一深度图序列中的图像F的深度图像，D2为所述第二深度图序列中的图像F的深度图像。DF为图像F对应的所述深度图像。这样，可以双向扩展，得到的深度图序列中每一深度图的深度值更为精确，进而增加三维图像的显示效果。
优选地，在本发明的一些示例中，在匹配点获取模块840中，如果判断第三坐标(M，N)未处于所述第一坐标(X，Y)的邻域内，则通过基于运动矢量的双边滤波方式对相应图形上错误匹配点进行深度赋值，所述基于运动矢量的双边滤波公式如下：
d u t + 1 = Σ j f ij w ju ( t , t + 1 ) d j t Σ j f ij w ju ( t , t + 1 ) ,
其中，根据第二运动矢量，确定第t+1帧中第u个像素点在第t帧中的对应点是第i个像素点，fij为第i个像素点与其邻域内第j个像素点间的空间权重，为第t帧中第j个像素点与第t+1帧中第u个像素点间的颜色权重，
Figure BDA0000067249170000153
为已知的第t帧中的第j个像素点的深度值，
Figure BDA0000067249170000154
为待计算的第t+1帧中第u个像素点的深度值。fij和
Figure BDA0000067249170000155
的计算公式如下：
Figure BDA0000067249170000156
w ju ( t , t + 1 ) = 2 - α ( | r j t - r u t + 1 | + | g j t - g u t + 1 | + | b j t - b u t + 1 | ) ,
其中，(xi，yi)为第i个像素点的坐标，(xj，yj)为第j个像素点的坐标，p为表征空间权重的输入参数，Δ为表征空间窗口尺寸的输入参数，
Figure BDA0000067249170000158
为第t帧中第j个像素的RGB三通道颜色值，
Figure BDA0000067249170000159
为第t+1帧中第u个像素的RGB三通道颜色值，α为表征颜色权重的输入参数。
可选地，通过上述实施例确定深度图序列以后，还可对该深度图序列的每一深度图进行运动补偿。
具体地，对于每一个深度图，可运用基于RGBD颜色和深度空间自适应块匹配的运动补偿算法，该算法的代价函数如下：
DifD = Σ j = 0 m Σ i = 0 n | D p ( X p + i , Y p + j ) - D c ( X c + i , Y c + j ) | ,
SAD＝DifR+DifG+DifB+DepthWeight×DifD，
其中，DifD为当前帧和前一帧中对应块的深度通道绝对误差和，m和n分别为块的高度和长度，(Xc，Yc)为当前帧中块的左上角起始位置坐标，(Xp，Yp)为前一帧中对应块的左上角起始位置坐标，Dp(X，Y)和Dc(X，Y)分别表示前一帧和当前帧中点(X，Y)的深度值；SAD表示颜色通道与深度通道的绝对误差和，DifR，DifG，DifB分别表示整个块中R、G、B三个颜色通道的绝对误差和，定义与DifD相似；DepthWeight表示深度通道绝对误差和的权重系数，为输入参数。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (18)

1.一种平面图像序列的深度图序列生成方法，其特征在于，包括以下步骤：
A：从所述平面图像序列中选择第一图像和第二图像；
B：分别获得所述第一图像的第一深度图像和所述第二图像的第二深度图像；
C：分别从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，及从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合；
D：根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集；以及
E：根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。
2.根据权利要求1所述的深度图序列生成方法，其特征在于，分别从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。
3.根据权利要求2所述的深度图序列生成方法，其特征在于，所述步骤C进一步包括：
C1：在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列；
C2：从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计，以得到所述第一运动估计结果集合；和
C3：从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计，以得到所述第二运动估计结果集合。
4.根据权利要求2所述的深度图序列生成方法，其特征在于，所述步骤D进一步包括：
D1：获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合；
D2：根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标；
D3：根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量；
D4：根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标；
D5：判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点；和
D6：重复执行步骤D2至D5直至确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点，以得到所述匹配点集。
5.根据权利要求1所述的深度图序列生成方法，其特征在于，所述步骤E进一步包括：
E1：根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值；
E2：以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点；和
E3：根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。
6.根据权利要求5所述的深度图序列生成方法，其特征在于，根据所述第一深度图像和所述匹配点集得到第一深度图序列以及根据所述第二深度图像和所述匹配点集得到第二深度图序列。
7.根据权利要求6所述的深度图序列生成方法，其特征在于，通过公式对所述第一深度图像序列和所述第二深度图像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下：
D F = F - K 1 K 2 - K 1 × D 2 + K 2 - F K 2 - K 1 × D 1 ,
其中，K1为所述第二图像，K2为所述第一图像，F为位于所述第一图像和所述第二图像之间的图像序列的任意一帧图像，D1为所述第一深度图序列中的图像F的深度图像，D2为所述第二深度图序列中的图像F的深度图像。DF为图像F对应的所述深度图像。
8.根据权利要求4所述的深度图序列生成方法，其特征在于，所述步骤D5中如果判断所述第三坐标未处于所述第一坐标的预设邻域内，则通过基于运动矢量的双边滤波方式对相应图形上错误匹配点进行深度赋值，所述基于运动矢量的双边滤波公式如下：
d u t + 1 = Σ j f ij w ju ( t , t + 1 ) d j t Σ j f ij w ju ( t , t + 1 ) ,
其中，根据第二运动矢量，确定第t+1帧中第u个像素点在第t帧中的对应点是第i个像素点，fij为第i个像素点与其邻域内第j个像素点间的空间权重，为第t帧中第j个像素点与第t+1帧中第u个像素点间的颜色权重，
Figure FDA0000067249160000024
为已知的第t帧中的第j个像素点的深度值，
Figure FDA0000067249160000025
为待计算的第t+1帧中第u个像素点的深度值，
其中，fij的计算公式如下：
Figure FDA0000067249160000026
Figure FDA0000067249160000027
的计算公式如下：
w ju ( t , t + 1 ) = 2 - α ( | r j t - r u t + 1 | + | g j t - g u t + 1 | + | b j t - b u t + 1 | ) ,
其中，(xi，yi)为第i个像素点的坐标，(xj，yj)为第j个像素点的坐标，p为表征空间权重的输入参数，Δ为表征空间窗口尺寸的输入参数，
Figure FDA0000067249160000032
为第t帧中第j个像素的RGB三通道颜色值，
Figure FDA0000067249160000033
为第t+1帧中第u个像素的RGB三通道颜色值，α为表征颜色权重的输入参数。
9.根据权利要求1-8任一项所述的深度图序列生成方法，其特征在于，还包括：对所述深度图序列的每一深度图进行运动补偿。
10.一种平面图像序列的深度图序列生成装置，其特征在于，包括：
选择模块，所述选择模块用于从所述平面图像序列中选择第一图像和第二图像；
深度获取模块，所述深度获取模块用于获得所述第一图像的第一深度图像和所述第二图像的第二深度图像；
运动估计模块，所述运动估计模块用于从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，及从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合；
匹配点获取模块，所述匹配点获取模块用于根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集；和
深度图生成模块，所述深度图生成模块用于根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。
11.根据权利要求10所述的深度图序列生成装置，其特征在于，所述深度获取模块用于从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。
12.根据权利要求11所述的深度图序列生成装置，其特征在于，所述运动估计模块用于在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列，接着从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计，以得到所述第一运动估计结果集合，然后从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计，以得到所述第二运动估计结果集合。
13.根据权利要求11所述的深度图序列生成装置，其特征在于，所述匹配点获取模块用于获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合，接着根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标，并根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量，然后根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标，判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点。
14.根据权利要求10所述的深度图序列生成装置，其特征在于，所述深度图生成模块用于根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值，以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点，然后根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。
15.根据权利要求14所述的深度图序列生成装置，其特征在于，根据所述第一深度图像和所述匹配点集得到第一深度图序列以及根据所述第二深度图像和所述匹配点集得到第二深度图序列。
16.根据权利要求15所述的深度图序列生成方法，其特征在于，通过公式对所述第一深度图像序列和所述第二深度图像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下：
D F = F - K 1 K 2 - K 1 × D 2 + K 2 - F K 2 - K 1 × D 1 ,
其中，K1为所述第二图像，K2为所述第一图像，F为位于所述第一图像和所述第二图像之间的图像序列的任意一帧图像，D1为所述第一深度图序列中的图像F的深度图像，D2为所述第二深度图序列中的图像F的深度图像。DF为图像F对应的所述深度图像。
17.根据权利要求13所述的深度图序列生成装置，其特征在于，所述匹配点获取模块还用于在判断所述第三坐标未处于所述第一坐标的预设邻域内时，通过基于运动矢量的双边滤波方式对相应图形上错误匹配点进行深度赋值，所述基于运动矢量的双边滤波公式如下：
d u t + 1 = Σ j f ij w ju ( t , t + 1 ) d j t Σ j f ij w ju ( t , t + 1 ) ,
其中，根据第二运动矢量，确定第t+1帧中第u个像素点在第t帧中的对应点是第i个像素点，fij为第i个像素点与其邻域内第j个像素点间的空间权重，
Figure FDA0000067249160000043
为第t帧中第j个像素点与第t+1帧中第u个像素点间的颜色权重，
Figure FDA0000067249160000044
为已知的第t帧中的第j个像素点的深度值，为待计算的第t+1帧中第u个像素点的深度值，
其中，fij的计算公式如下：
Figure FDA0000067249160000046
Figure FDA0000067249160000047
的计算公式如下：
w ju ( t , t + 1 ) = 2 - α ( | r j t - r u t + 1 | + | g j t - g u t + 1 | + | b j t - b u t + 1 | ) ,
其中，(xi，yi)为第i个像素点的坐标，(xj，yj)为第j个像素点的坐标，p为表征空间权重的输入参数，Δ为表征空间窗口尺寸的输入参数，
Figure FDA0000067249160000052
为第t帧中第j个像素的RGB三通道颜色值，
Figure FDA0000067249160000053
为第t+1帧中第u个像素的RGB三通道颜色值，α为表征颜色权重的输入参数。
18.根据权利要求10-17任一项所述的深度图序列生成装置，其特征在于，还包括：
运动补偿模块，所述运动补偿模块用于对所述深度图生成模块所确定的深度图序列的每一深度图进行运动补偿。
CN 201110154363 2011-06-09 2011-06-09 平面图像序列的深度图序列生成方法及装置 Active CN102223554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110154363 CN102223554B (zh) 2011-06-09 2011-06-09 平面图像序列的深度图序列生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110154363 CN102223554B (zh) 2011-06-09 2011-06-09 平面图像序列的深度图序列生成方法及装置

Publications (2)

Publication Number Publication Date
CN102223554A true CN102223554A (zh) 2011-10-19
CN102223554B CN102223554B (zh) 2013-04-03

Family

ID=44779959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110154363 Active CN102223554B (zh) 2011-06-09 2011-06-09 平面图像序列的深度图序列生成方法及装置

Country Status (1)

Country Link
CN (1) CN102223554B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724531A (zh) * 2012-06-05 2012-10-10 上海易维视科技有限公司 一种二维视频转三维视频的方法及系统
CN103177440A (zh) * 2012-12-20 2013-06-26 香港应用科技研究院有限公司 生成图像深度图的系统和方法
CN103945211A (zh) * 2014-03-13 2014-07-23 华中科技大学 一种通过单视角彩色图像序列生成深度图序列的方法
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
CN106454316A (zh) * 2016-10-27 2017-02-22 李露青 增填图像的方法和装置
CN107094260A (zh) * 2016-02-17 2017-08-25 浙江大学 导出视差矢量和运动矢量的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1128679A1 (en) * 2000-02-21 2001-08-29 Soft4D Co., Ltd. Method and apparatus for generating stereoscopic image using MPEG data
US6466208B1 (en) * 1999-12-20 2002-10-15 Silicon Integrated Systems Corporation Apparatus and method for adjusting 3D stereo video transformation
CN101483788A (zh) * 2009-01-20 2009-07-15 清华大学 一种平面视频转立体视频的方法和装置
CN101516040A (zh) * 2008-02-20 2009-08-26 深圳华为通信技术有限公司 视频匹配方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466208B1 (en) * 1999-12-20 2002-10-15 Silicon Integrated Systems Corporation Apparatus and method for adjusting 3D stereo video transformation
EP1128679A1 (en) * 2000-02-21 2001-08-29 Soft4D Co., Ltd. Method and apparatus for generating stereoscopic image using MPEG data
CN101516040A (zh) * 2008-02-20 2009-08-26 深圳华为通信技术有限公司 视频匹配方法、装置及系统
CN101483788A (zh) * 2009-01-20 2009-07-15 清华大学 一种平面视频转立体视频的方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724531A (zh) * 2012-06-05 2012-10-10 上海易维视科技有限公司 一种二维视频转三维视频的方法及系统
CN103177440A (zh) * 2012-12-20 2013-06-26 香港应用科技研究院有限公司 生成图像深度图的系统和方法
CN103177440B (zh) * 2012-12-20 2015-09-16 香港应用科技研究院有限公司 生成图像深度图的系统和方法
CN103945211A (zh) * 2014-03-13 2014-07-23 华中科技大学 一种通过单视角彩色图像序列生成深度图序列的方法
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
CN105894492B (zh) * 2015-01-06 2019-03-01 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
CN107094260A (zh) * 2016-02-17 2017-08-25 浙江大学 导出视差矢量和运动矢量的方法和装置
CN106454316A (zh) * 2016-10-27 2017-02-22 李露青 增填图像的方法和装置
CN106454316B (zh) * 2016-10-27 2019-01-04 李露青 增填图像的方法和装置

Also Published As

Publication number Publication date
CN102223554B (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN102223554B (zh) 平面图像序列的深度图序列生成方法及装置
CN103238337B (zh) 立体图像获取系统及方法
US9544576B2 (en) 3D photo creation system and method
CN102254348B (zh) 一种基于自适应视差估计的虚拟视点绘制方法
US20170244949A1 (en) 3d system including a marker mode
CN103238341B (zh) 图像处理装置、图像处理方法
CN102124749B (zh) 立体图像显示装置
CN101822067A (zh) 深度相关信息传播方法和设备
US9319674B2 (en) Three-dimensional image display device and driving method thereof
CN102263985B (zh) 一种立体投影设备的质量评价方法、装置及系统
CN102098528A (zh) 一种平面图像的立体转换方法及装置
CN102158725B (zh) 一种生成立体图像的方法和系统
CN102547350B (zh) 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
TW201528776A (zh) 顯示器與其控制方法
CN102368826A (zh) 双视点视频到多视点视频的实时自适应生成方法
CN102256143A (zh) 视频处理装置及方法
Kim et al. Depth adjustment for stereoscopic image using visual fatigue prediction and depth-based view synthesis
JP2012079251A (ja) 画像処理装置及び画像処理システム
CN101662695B (zh) 一种获取虚拟视图的方法和装置
JP2013073598A (ja) 画像処理装置、画像処理方法、及びプログラム
US20110242294A1 (en) Stereoscopic image display device and method of deriving motion vector
US9082210B2 (en) Method and apparatus for adjusting image depth
US10122987B2 (en) 3D system including additional 2D to 3D conversion
US10277879B2 (en) 3D system including rendering with eye displacement
CN102307310B (zh) 影像深度估计方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant