CN102724529B - 虚拟视点视频序列的生成方法及生成装置 - Google Patents
虚拟视点视频序列的生成方法及生成装置 Download PDFInfo
- Publication number
- CN102724529B CN102724529B CN201210170063.2A CN201210170063A CN102724529B CN 102724529 B CN102724529 B CN 102724529B CN 201210170063 A CN201210170063 A CN 201210170063A CN 102724529 B CN102724529 B CN 102724529B
- Authority
- CN
- China
- Prior art keywords
- virtual view
- cromogram
- original viewpoint
- module
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000011156 evaluation Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000009966 trimming Methods 0.000 claims description 9
- 238000012856 packing Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 abstract 2
- 238000013508 migration Methods 0.000 abstract 1
- 230000005012 migration Effects 0.000 abstract 1
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013441 quality evaluation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提出一种虚拟视点视频序列的生成方法及装置，该方法包括以下步骤：输入若干个原始视点的视频序列及其深度图序列；记录各个原始视点与虚拟视点的相对位置；对原始视点的深度图进行深度值排序；根据排序结果对原始视点的彩色图进行迁移和空洞填充处理，得到虚拟视点初始彩色图；利用原始视点深度图的边缘信息和虚拟视点初始彩色图的边缘信息计算边缘评价值；若边缘评价值大于预定阈值则进行修正，得到的虚拟视点平滑彩色图；将各个原始视点对应的虚拟视点平滑彩色图合成为一张最终彩色图，并进一步得到虚拟视点视频序列。本发明的方法可以在提供任意数目原始视点视频序列的情况下，以较高效率生成失真较小的虚拟视点视频序列。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种虚拟视点视频序列的生成方法及生成装置。
背景技术
自由视点视频序列处理是立体视频处理技术中非常关键的组成部分，并且拥有非常广泛的应用，可应用于立体视频欣赏、自由视点多角度观赏、虚拟现实以及立体游戏等场景，在提高传统平面视频视觉体验的基础上，也能够给观众提供更多的信息。
对于自由视点视频序列显示而言，如果所有的角度都采用摄像机采集的方式，能够保证良好的视频质量，但是会产生很大的计算量。因此，在采集视频的基础上，通过立体视频生成的方式，在保证视频质量的基础上也提高了计算速度——这也是生成虚拟视点的意义所在。
传统的自由视点视频序列绘制的过程中，通过原视频和深度图，然后进行像素偏移、空洞填充和错误修复等步骤，能够得到虚拟视点的视频。但是这种方式对于虚拟视点中的空洞像素没有很好的处理方法，一般常用的空洞填充方法有插值、滤波等，他们往往都会在虚拟视点中出现或多或少的不自然感，减少这种失真一直是学者们努力的方向。
发明内容
本发明旨在至少解决上述技术问题之一。
为此，本发明的一个目的在于提出一种失真较少、效率较高的虚拟视点视频序列的生成方法。本发明的另一目的在于提出一种失真较少、效率较高的虚拟视点视频序列的生成装置。
为了实现上述目的，根据本发明第一方面的虚拟视点视频序列的生成方法包括步骤：A．输入N个原始视点的时长为T的视频序列和对应的深度图序列，其中N为正整数，T为正数；B．获取t时刻的第n个原始视点彩色图Pn,O和对应的深度图Dn，O，以及所述第n个原始视点与所述虚拟视点的相对位置，其中t∈(0,T]，n∈(0,N]且n为整数；C．对所述第n个原始视点深度图Dn,O中各个像素按深度值大小进行排序，得到排序结果；D．根据所述排序结果，对所述第n个原始视点彩色图Pn,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P′n,O，并对未偏移的像素进行标记；E．对所述第n个原始视点偏移彩色图P′n,O进行空洞填充处理，得到与所述第n个原始视点对应的所述虚拟视点的第n个初始彩色图P′n,V；F．提取所述虚拟视点的第n个初始彩色图P′n,V的边缘信息，记为Iv，n，同时提取所述第n个原始视点的深度图Dn,O的边缘信息，记为Id，n；G．根据所述Iv，n和Id，n，计算所述虚拟视点的第n个初始彩色图P′n,V的边缘评价值，将所述边缘评价值与预定阈值作比较，若所述边缘评价值大于所述预定阈值，则对所述虚拟视点的第n个初始彩色图P′n,V进行边缘修正，直到若所述边缘评价值小于阈值为止，得到虚拟视点的第n个平滑彩色图Pn,V；H．重复步骤B-G，得到t时刻下所述N个原始视点对应的所述虚拟视点的N个平滑彩色图Pn，V，并将所述N个平滑彩色图Pn,V合成为一个t时刻的虚拟视点最终彩色图Pv；以及I．重复步骤H，以得到各个时刻的所述虚拟视点最终彩色图Pv并最终得到所述虚拟视点视频序列。
在本发明的方法的一个实施例中，所述第n个原始视点与所述虚拟视点的相对位置包括所述第n个原始视点在所述虚拟视点的相对左右位置，和所述第n个原始视点与所述虚拟视点的平行距离。
在本发明的方法的一个实施例中，所述排序的方法为快速排序法。
在本发明的方法的一个实施例中，对所述第n个原始视点彩色图Pn,O依次进行像素偏移的步骤包括按照下述公式计算偏移距离d：d=±α（Zdepth-ZPP），其中±表示所述第n个原始视点与所述虚拟视点的相对位置，α为正系数，Zdepth为第n个原始视点彩色图中像素的深度值，ZPP为零视差平面深度值。
在本发明的方法的一个实施例中，所述空洞填充处理包括：搜寻未偏移像素相邻位置的第一个偏移像素，通过差值或滤波的方式得到所述未偏移像素的值。
在本发明的方法的一个实施例中，所述边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。
在本发明的方法的一个实施例中，所述步骤G中，所述第n个虚拟视点初始彩色图P′n,V的边缘评价值的计算公式为：其中为边缘评价值，E是所述第n个原始视点深度图Dn,O边缘信息的像素集合，Iv，n是所述虚拟视点的第n个初始彩色图P′n,V的边缘信息，Id，n是第n个原始视点深度图Dn，O的边缘信息，I（x，y）的计算公式为：当对应像素（x,y）边缘信息存在时，I（x，y）＝1，否则I（x，y）＝0。
在本发明的方法的一个实施例中，所述边缘修正包括：在所述第n个虚拟视点初始彩色图P′n,V的边缘信息Iv，n中，找到与第n个原始视点深度图Dn,O的边缘信息Id，n不一致的位置，在所述不一致位置附近寻找第n个原始视点深度图Dn,O的边缘，然后进行替换和滤波处理。
在本发明的方法的一个实施例中，将所述虚拟视点的N个平滑彩色图Pn，V合成为一个虚拟视点最终彩色图Pv的合成公式为：PV＝∑αn·Pn，V,其中Pn,V为所述步骤G求得的第n个原始视点对应的第n个虚拟视点平滑彩色图，αn为权重乘系数，计算公式为其中vn是Pn,V中最大深度像素到所述虚拟视点的偏移距离。
根据本发明实施例的的虚拟视点视频序列的生成方法，具有如下优点：
1.可以较好的绘制虚拟视点视频序列，同时不增加过多的计算量；
2.它并不限于原始视点的数量，只需要提供原始视点相对于虚拟视点的位置即可；
3.使用了反馈控制的方式进行边缘质量评价，通过评价反馈可得到边缘清晰平滑的虚拟视点视频序列，失真较小。
为了实现上述目的，根据本发明第二方面的虚拟视点视频序列的生成装置包括：输入模块，用于将N个原始视点的时长为T的视频序列和对应的深度图序列读入内存中，并获取所述N个原始视点与所述虚拟视点的相对位置；排序模块，用于从所述内存中提取t时刻的第n个原始视点深度图Dn,O中各个像素按深度值大小进行排序，得到排序结果，其中t∈(0,T]，n∈(0,N]且n为整数；像素偏移模块，用于根据所述排序结果，对所述第n个原始视点彩色图Pn,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P′n,O；标记模块，用于对所述像素偏移过程中未偏移的像素进行标记；空洞填充模块，用于对所述第n个原始视点偏移彩色图P′n,O进行空洞填充处理，得到与所述第n个原始视点对应的虚拟视点的第n个初始彩色图P′n,V；原始视点边缘提取模块，用于提取所述虚拟视点的第n个初始彩色图P′n,V的边缘信息，记为Iv，n；虚拟视点边缘提取模块，用于提取所述第n个原始视点深度图Dn,O的边缘信息，记为Id，n；边缘评价模块，用于根据所述Iv，n和所述Id，n，计算所述虚拟视点的第n个初始彩色图P′n,V的边缘评价值；预定阈值比较模块，用于将所述边缘评价值与预定阈值作比较，若所述边缘评价值小于或等于所述预定阈值，则将虚拟视点的第n个初始彩色图P′n，V输出给虚拟图像合成模块，若所述边缘评价值大于所述阈值，则将虚拟视点的第n个初始彩色图P′n,V输出给边缘修正模块；所述边缘修正模块，用于对所述虚拟视点的第n个初始彩色图P′n,V并进行边缘修正，并将所述边缘修正后的虚拟视点的第n个平滑彩色图Pn,V返回至所述边缘评价模块，重复所述计算边缘评价值和所述预定阈值比较的操作，直到所述边缘评价值小于或等于所述预定阈值为止；所述虚拟图像合成模块，用于将t时刻下的所述虚拟视点的N个平滑彩色图Pn，V，合成为一个t时刻的虚拟视点最终彩色图Pv；以及虚拟视点视频序列输出模块，用于将各个时刻下的虚拟视点最终彩色图Pv整合成所述虚拟视点视频序列对外输出。
在本发明的装置的一个实施例中，所述输入模块中，所述第n个原始视点与所述虚拟视点的相对位置包括：所述第n个原始视点在所述虚拟视点的相对左右位置，和所述第n个原始视点与所述虚拟视点的平行距离。
在本发明的装置的一个实施例中，所述排序模块中，所述排序的方法为快速排序法。
在本发明的装置的一个实施例中，所述像素偏移模块中，对所述第n个原始视点彩色图Pn,O依次进行像素偏移的步骤包括按照下述公式计算偏移距离d：d=±α（Zdepth-ZPP），其中±表示所述第n个原始视点与所述虚拟视点的相对位置，α为正系数，Zdepth为第n个原始视点彩色图中像素的深度值，ZPP为零视差平面深度值。
在本发明的装置的一个实施例中，所述空洞填充模块中，所述空洞填充处理包括：搜寻未偏移像素相邻位置的第一个偏移像素，通过差值或滤波的方式得到所述未偏移像素的值。
在本发明的装置的一个实施例中，所述原始视点边缘提取模块和所述虚拟视点边缘提取模块中，所述边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。
在本发明的装置的一个实施例中，所述边缘评价模块中，所述第n个虚拟视点初始彩色图P′n,V的边缘评价值的计算公式为：其中为边缘评价值，E是所述第n个原始视点深度图Dn，O边缘信息的像素集合，Iv，n是所述虚拟视点的第n个初始彩色图P′n,V的边缘信息，Id，n是第n个原始视点深度图Dn,O的边缘信息，I（x，y）的计算公式为：当对应像素（x,y）边缘信息存在时，I（x，y）＝1，否则I（x，y）＝0。
在本发明的装置的一个实施例中，所述边缘修正模块中，所述边缘修正包括：在所述第n个虚拟视点初始彩色图P′n,V的边缘信息Iv，n中，找到与第n个原始视点深度图Dn,O的边缘信息Id，n不一致的位置，在所述不一致位置附近寻找第n个原始视点深度图Dn,O的边缘，然后进行替换和滤波处理。
在本发明的装置的一个实施例中，所述虚拟图像合成模块中，将所述虚拟视点的N个平滑彩色图Pn,V合成为一个虚拟视点最终彩色图Pv的合成公式为：PV＝∑αn·Pn，V,其中Pn,V为所述步骤G求得的第n个原始视点对应的第n个虚拟视点平滑彩色图，αn为权重乘系数，计算公式为其中vn是Pn,V中最大深度像素到所述虚拟视点的偏移距离。
根据本发明实施例的的虚拟视点视频序列的装置，具有如下优点：
1.可以绘制出质量较好的虚拟视点视频序列，同时计算量并不巨大；
2.并不限于原始视点的数量，只需要提供原始视点相对于虚拟视点的位置即可；
3.使用了反馈控制的方式进行边缘质量评价，通过评价反馈可得到边缘清晰平滑的虚拟视点视频序列序列，失真较小。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
图1为根据本发明一个实施例的虚拟视点视频序列的生成方法的流程图；以及
图2为根据本发明一个实施例的虚拟视点视频序列的生成装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
为使本领域技术人员更好地理解本发明，现将全文中出现的符号进行解释。
原始视点的数目记为N个，原始视点的序号记为n；视频序列的时长记为T，其中的各个时刻记为t；彩色图记为P（picture），深度图记为D（Depth）；与原始视点相关的记为O（original），与初始虚拟视点相关的记为V′（virtual′），与虚拟视点相关的记为V（virtual）；边缘点集合记为E（edge），边缘值信息记为I（information）。
下面参考附图描述根据本发明实施例的虚拟视点视频序列的生成方法及生成装置。
图1为根据本发明一个实施例的虚拟视点视频序列的生成方法的流程图。如图1所示，虚拟视点视频序列的生成方法包括步骤：
步骤S101．输入N个原始视点的时长为T的视频序列和对应的深度图序列，其中N为正整数，T为正数。
需要说明的是，本发明的方法不限于原始视点的数目，其数目可以为任意个。
步骤S102．获取t时刻的第n个原始视点彩色图Pn,O和对应的深度图Dn，O，以及第n个原始视点与虚拟视点的相对位置，其中t∈(0,T]，n∈(0,N]且n为整数。
在本发明的一个实施例中，第n个原始视点与虚拟视点的相对位置包括第n个原始视点在虚拟视点的相对左右位置，和第n个原始视点与虚拟视点的平行距离。
步骤S103．对第n个原始视点深度图Dn,O中各个像素按深度值大小进行排序，得到排序结果。
在本发明的一个实施例中，排序的方法为快速排序法。具体地，对Dn，O内部的各个像素进行快速排序，将排序结果保存在新的内存空间中备用，并在排序的同时记录原深度像素位置在排序后的新位置变换。例如，排序前位置为1、2、3、4的四个像素的深度值分别为15、4、63、12，则深度值进行快速排序后为4、12、15、63，对应像素的新位置为2、4、1、3。
步骤S104．根据排序结果，对第n个原始视点彩色图Pn,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P′n,O，并对未偏移的像素进行标记。
具体地，各个像素偏移时，根据排序结果从小到大依次偏移，深度值小的像素先偏移，深度值大的像素后偏移，可以有效避免像素偏移的遮盖现象。
在本发明的一个实施例中，对第n个原始视点彩色图Pn,O依次进行像素偏移的步骤包括按照下述公式计算偏移距离d：d=±α（Zdepth-ZPP），其中±表示第n个原始视点与虚拟视点的相对左右位置，一般设置左-右+，α为正系数，一般取值0-1，Zdepth为第n个原始视点彩色图中像素的深度值，ZPP为零视差平面深度值。
步骤S105．对第n个原始视点偏移彩色图P′n,O进行空洞填充处理，得到与第n个原始视点对应的虚拟视点的第n个初始彩色图P′n，V。具体地，由于步骤S104中的像素偏移并不是一个线性变换，因此会出现值域上的空洞，故需要采取空洞填充处理。
在本发明的一个实施例中，空洞填充处理包括：搜寻未偏移像素相邻位置的第一个偏移像素，通过差值或滤波的方式得到未偏移像素的值。
步骤S106．提取虚拟视点的第n个初始彩色图P′n,V的边缘信息，记为Iv，n，同时提取第n个原始视点的深度图Dn,O的边缘信息，记为Id，n。
在本发明的一个实施例中，边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。
步骤S107．根据Iv，n和Id，n，计算虚拟视点的第n个初始彩色图P′n,V的边缘评价值，将边缘评价值与预定阈值作比较，若边缘评价值大于预定阈值，则对虚拟视点的第n个初始彩色图P′n,V进行边缘修正，直到若边缘评价值小于阈值为止，得到虚拟视点的第n个平滑彩色图Pn，V。
具体地，利用步骤S106中得到的边缘信息计算边缘评价值，并进行阈值评价反馈。如果评价值小于指定的阈值，进入下一步；否则，对边缘进行修正，找到影响函数最大的边缘像素进行修正，重新计算评价函数值并循环进行本步骤只到满足阈值要求，再将该图像作为虚拟视点的第n个平滑彩色图Pn，V输出。
在本发明的一个实施例中，第n个虚拟视点初始彩色图P′n,V的边缘评价值的计算公式为：其中为边缘评价值，E是第n个原始视点深度图Dn,O边缘信息的像素集合，Iv，n是虚拟视点的第n个初始彩色图P′n,V的边缘信息，Id，n是第n个原始视点深度图Dn,O的边缘信息，I（x，y）的计算公式为：当对应像素（x,y）边缘信息存在时，I（x，y）＝1，否则I（x，y）＝0。
在本发明的一个实施例中，边缘修正包括：在第n个虚拟视点初始彩色图P′n,V的边缘信息Iv,n中，找到与第n个原始视点深度图Dn,O的边缘信息Id,n不一致的位置，在该不一致位置附近寻找第n个原始视点深度图Dn，O的边缘，然后进行替换和滤波处理。
步骤S108．重复步骤S102-步骤S107，得到t时刻下N个原始视点对应的虚拟视点的N个平滑彩色图Pn，V，并将N个平滑彩色图Pn,V合成为一个t时刻的虚拟视点最终彩色图Pv。
在本发明的一个实施例中，将虚拟视点的N个平滑彩色图Pn，V合成为一个虚拟视点最终彩色图Pv的合成公式为：PV＝∑αn·Pn，V,其中Pn,V为步骤G求得的第n个原始视点对应的第n个虚拟视点平滑彩色图，αn为权重乘系数，计算公式为其中vn是Pn,V中最大深度像素到虚拟视点的偏移距离。
步骤S109．重复步骤S108，以得到各个时刻的虚拟视点最终彩色图Pv并最终得到虚拟视点视频序列。
根据本发明实施例的的虚拟视点视频序列的生成方法，具有如下优点：
1.可以较好的绘制虚拟视点视频序列，同时不增加过多的计算量；
2.它并不限于原始视点的数量，只需要提供原始视点相对于虚拟视点的位置即可；
3.使用了反馈控制的方式进行边缘质量评价，通过评价反馈可得到边缘清晰平滑的虚拟视点视频序列，失真较小。
图2为根据本发明一个实施例的虚拟视点视频序列的生成装置的结构框图。如图2所示，本发明的虚拟视点视频序列的生成装置包括：输入模块100、排序模块200、像素偏移模块300、标记模块400、空洞填充模块500、原始视点边缘提取模块600、虚拟视点边缘提取模块700、边缘评价模块800、预定阈值比较模块900、边缘修正模块1000、虚拟图像合成模块1100、以及虚拟视点视频序列输出模块1200。其中：
输入模块100用于将N个原始视点的时长为T的视频序列和对应的深度图序列读入内存中，并获取N个原始视点与虚拟视点的相对位置。需要说明的是，本发明的方法不限于原始视点的数目，其数目可以为任意个。在本发明的一个实施例中，在输入模块100中，第n个原始视点与虚拟视点的相对位置包括第n个原始视点在虚拟视点的相对左右位置，和第n个原始视点与虚拟视点的平行距离。
排序模块200用于从内存中提取t时刻的第n个原始视点深度图Dn,O中各个像素按深度值大小进行排序，得到排序结果，其中t∈(0,T]，n∈(0,N]且n为整数。在本发明的一个实施例中，在排序模块200中，排序的方法为快速排序法。具体地，对Dn,O内部的各个像素进行快速排序，将排序结果保存在新的内存空间中备用，并在排序的同时记录原深度像素位置在排序后的新位置变换。例如，排序前位置为1、2、3、4的四个像素的深度值分别为15、4、63、12，则深度值进行快速排序后为4、12、15、63，对应像素的新位置为2、4、1、3。
像素偏移模块300用于根据排序结果，对第n个原始视点彩色图Pn,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P′n，O。具体地，各个像素偏移时，根据排序结果从小到大依次偏移，深度值小的像素先偏移，深度值大的像素后偏移，可以有效避免像素偏移的遮盖现象。在本发明的一个实施例中，在像素偏移模块300中，对第n个原始视点彩色图Pn,O依次进行像素偏移的步骤包括按照下述公式计算偏移距离d：d=±α（Zdepth-ZPP），其中±表示第n个原始视点与虚拟视点的相对左右位置，一般设置左-右+，α为正系数，一般取值0-1，Zdepth为第n个原始视点彩色图中像素的深度值，ZPP为零视差平面深度值。
标记模块400用于对像素偏移过程中未偏移的像素进行标记。具体地，由于像素偏移模块300中的像素偏移并不是一个线性变换，因此会出现值域上的空洞，故需要进行标记，以便后面采取空洞填充处理。
空洞填充模块500用于对第n个原始视点偏移彩色图P′n,O进行空洞填充处理，得到与第n个原始视点对应的虚拟视点的第n个初始彩色图P′n，V。在本发明的一个实施例中，在空洞填充模块500中，空洞填充处理包括：搜寻未偏移像素相邻位置的第一个偏移像素，通过差值或滤波的方式得到未偏移像素的值。
原始视点边缘提取模块600用于提取虚拟视点的第n个初始彩色图P′n,V的边缘信息，记为Iv，n。在本发明的一个实施例中，在原始视点边缘提取模块600中，边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。
虚拟视点边缘提取模块700用于提取第n个原始视点深度图Dn,O的边缘信息，记为Id,n。在本发明的一个实施例中，在虚拟视点边缘提取模块700中，边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。
边缘评价模块800用于根据Iv，n和Id,n，计算虚拟视点的第n个初始彩色图P′n,V的边缘评价值。在本发明的一个实施例中，在边缘评价模块800中，第n个虚拟视点初始彩色图P′n,V的边缘评价值的计算公式为：其中为边缘评价值，E是第n个原始视点深度图Dn,O边缘信息的像素集合，Iv,n是虚拟视点的第n个初始彩色图P′n,V的边缘信息，Id，n是第n个原始视点深度图Dn,O的边缘信息，I（x，y）的计算公式为：当对应像素（x,y）边缘信息存在时，I（x，y）＝1，否则I（x，y）＝0。
预定阈值比较模块900用于将边缘评价值与预定阈值作比较。具体地，若边缘评价值小于或等于预定阈值，则将虚拟视点的第n个初始彩色图P′n,V输出给虚拟图像合成模块，若边缘评价值大于阈值，则将虚拟视点的第n个初始彩色图P′n,V输出给边缘修正模块1000。
边缘修正模块1000用于对虚拟视点的第n个初始彩色图P′n,V并进行边缘修正，并将边缘修正后的虚拟视点的第n个平滑彩色图Pn,V返回至边缘评价模块，重复计算边缘评价值和预定阈值比较的操作，直到边缘评价值小于或等于预定阈值为止。在本发明的一个实施例中，在边缘修正模块1000中，边缘修正包括：在第n个虚拟视点初始彩色图P′n,V的边缘信息Iv，n中，找到与第n个原始视点深度图Dn,O的边缘信息Id，n不一致的位置，在不一致位置附近寻找第n个原始视点深度图Dn,O的边缘，然后进行替换和滤波处理。
虚拟图像合成模块1100用于将t时刻下的虚拟视点的N个平滑彩色图Pn，V，合成为一个t时刻的虚拟视点最终彩色图Pv。在本发明的一个实施例中，在虚拟图像合成模块1100中，将虚拟视点的N个平滑彩色图Pn,V合成为一个虚拟视点最终彩色图Pv的合成公式为：PV＝∑αn·Pn，V,其中Pn,V为步骤G求得的第n个原始视点对应的第n个虚拟视点平滑彩色图，αn为权重乘系数，计算公式为其中vn是Pn,V中最大深度像素到虚拟视点的偏移距离。
虚拟视点视频序列输出模块1200用于将各个时刻下的虚拟视点最终彩色图Pv整合成虚拟视点视频序列对外输出。
根据本发明实施例的的虚拟视点视频序列的装置，具有如下优点：
1.可以绘制出质量较好的虚拟视点视频序列，同时计算量并不巨大；
2.并不限于原始视点的数量，只需要提供原始视点相对于虚拟视点的位置即可；
3.使用了反馈控制的方式进行边缘质量评价，通过评价反馈可得到边缘清晰平滑的虚拟视点视频序列序列，失真较小。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
Claims (12)
1.一种虚拟视点视频序列的生成方法，其特征在于，包括以下步骤：
A.输入N个原始视点的时长为T的视频序列和对应的深度图序列，其中N为正整数，T为正数；
B.获取t时刻的第n个原始视点彩色图Pn,O和对应的深度图Dn,O，以及所述第n个原始视点与所述虚拟视点的相对位置，其中t∈(0,T]，n∈(0,N]且n为整数；
C.对所述第n个原始视点深度图Dn,O中各个像素按深度值大小进行排序，得到排序结果；
D.根据所述排序结果，对所述第n个原始视点彩色图Pn,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P'n,O，并对未偏移的像素进行标记；
E.对所述第n个原始视点偏移彩色图P'n,O进行空洞填充处理，得到与所述第n个原始视点对应的所述虚拟视点的第n个初始彩色图P'n,V；
F.提取所述虚拟视点的第n个初始彩色图P'n,V的边缘信息，记为Iv,n，同时提取所述第n个原始视点的深度图Dn,O的边缘信息，记为Id,n；
G.根据所述Iv,n和Id,n，计算所述虚拟视点的第n个初始彩色图P'n,V的边缘评价值，将所述边缘评价值与预定阈值作比较，若所述边缘评价值大于所述预定阈值，则对所述虚拟视点的第n个初始彩色图P'n,V进行边缘修正，直到若所述边缘评价值小于阈值为止，得到虚拟视点的第n个平滑彩色图Pn,V；
H.重复步骤B-G，得到t时刻下所述N个原始视点对应的所述虚拟视点的N个平滑彩色图Pn,V，并将所述N个平滑彩色图Pn,V合成为一个t时刻的虚拟视点最终彩色图Pv；以及
I.重复步骤H，以得到各个时刻的所述虚拟视点最终彩色图Pv并最终得到所述虚拟视点视频序列，
其中，对所述第n个原始视点彩色图Pn,O依次进行像素偏移的步骤包括按照下述公式计算偏移距离d：d＝±α(Zdepth-ZPP)，其中±表示所述第n个原始视点与所述虚拟视点的相对位置，α为正系数，Zdepth为第n个原始视点彩色图中像素的深度值，ZPP为零视差平面深度值，
其中，所述步骤G中，所述第n个虚拟视点初始彩色图P'n,V的边缘评价值的计算公式为：其中为边缘评价值，E是所述第n个原始视点深度图Dn,O边缘信息的像素集合，Iv,n是所述虚拟视点的第n个初始彩色图P'n,V的边缘信息，Id,n是第n个原始视点深度图Dn,O的边缘信息，I(x,y)的计算公式为：当对应像素(x,y)边缘信息存在时，I(x,y)=1，否则I(x,y)=0，
其中，将所述虚拟视点的N个平滑彩色图Pn,V合成为一个虚拟视点最终彩色图Pv的合成公式为：PV=∑αn·Pn,V,其中Pn,V为所述步骤G求得的第n个原始视点对应的第n个虚拟视点平滑彩色图，αn为权重乘系数，计算公式为其中νn是Pn,V中最大深度像素到所述虚拟视点的偏移距离。
2.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述第n个原始视点与所述虚拟视点的相对位置包括所述第n个原始视点在所述虚拟视点的相对左右位置，和所述第n个原始视点与所述虚拟视点的平行距离。
3.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述排序的方法为快速排序法。
4.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述空洞填充处理包括：搜寻未偏移像素相邻位置的第一个偏移像素，通过差值或滤波的方式得到所述未偏移像素的值。
5.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。
6.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述边缘修正包括：在所述第n个虚拟视点初始彩色图P'n,V的边缘信息Iv,n中，找到与第n个原始视点深度图Dn,O的边缘信息Id,n不一致的位置，在所述不一致位置附近寻找第n个原始视点深度图Dn,O的边缘，然后进行替换和滤波处理。
7.一种虚拟视点视频序列的生成装置，其特征在于，包括：
输入模块，用于将N个原始视点的时长为T的视频序列和对应的深度图序列读入内存中，并获取所述N个原始视点与所述虚拟视点的相对位置；
排序模块，用于从所述内存中提取t时刻的第n个原始视点深度图Dn,O中各个像素按深度值大小进行排序，得到排序结果，其中t∈(0,T]，n∈(0,N]且n为整数；
像素偏移模块，用于根据所述排序结果，对所述第n个原始视点彩色图Pn,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P'n,O；
标记模块，用于对所述像素偏移过程中未偏移的像素进行标记；
空洞填充模块，用于对所述第n个原始视点偏移彩色图P'n,O进行空洞填充处理，得到与所述第n个原始视点对应的虚拟视点的第n个初始彩色图P'n,V；
原始视点边缘提取模块，用于提取所述虚拟视点的第n个初始彩色图P'n,V的边缘信息，记为Iv,n；
虚拟视点边缘提取模块，用于提取所述第n个原始视点深度图Dn,O的边缘信息，记为Id,n；
边缘评价模块，用于根据所述Iv,n和所述Id,n，计算所述虚拟视点的第n个初始彩色图P'n,V的边缘评价值；
预定阈值比较模块，用于将所述边缘评价值与预定阈值作比较，若所述边缘评价值小于或等于所述预定阈值，则将虚拟视点的第n个初始彩色图P'n,V输出给虚拟图像合成模块，若所述边缘评价值大于所述阈值，则将虚拟视点的第n个初始彩色图P'n,V输出给边缘修正模块；
所述边缘修正模块，用于对所述虚拟视点的第n个初始彩色图P'n,V并进行边缘修正，并将所述边缘修正后的虚拟视点的第n个平滑彩色图Pn,V返回至所述边缘评价模块，重复所述计算边缘评价值和所述预定阈值比较的操作，直到所述边缘评价值小于或等于所述预定阈值为止；
所述虚拟图像合成模块，用于将t时刻下的所述虚拟视点的N个平滑彩色图Pn,V，合成为一个t时刻的虚拟视点最终彩色图Pv；以及
虚拟视点视频序列输出模块，用于将各个时刻下的虚拟视点最终彩色图Pv整合成所述虚拟视点视频序列对外输出，
其中，所述像素偏移模块中，对所述第n个原始视点彩色图Pn,O依次进行像素偏移的步骤包括按照下述公式计算偏移距离d：d＝±α(Zdepth-ZPP)，其中±表示所述第n个原始视点与所述虚拟视点的相对位置，α为正系数，Zdepth为第n个原始视点彩色图中像素的深度值，ZPP为零视差平面深度值，
其中，所述边缘评价模块中，所述第n个虚拟视点初始彩色图P'n,V的边缘评价值的计算公式为：其中为边缘评价值，E是所述第n个原始视点深度图Dn,O边缘信息的像素集合，Iv,n是所述虚拟视点的第n个初始彩色图P'n,V的边缘信息，Iv,n是第n个原始视点深度图Dn,O的边缘信息，I(x,y)的计算公式为：当对应像素(x,y)边缘信息存在时，I(x,y)=1，否则I(x,y)=0，
其中，所述虚拟图像合成模块中，将所述虚拟视点的N个平滑彩色图Pn,V合成为一个虚拟视点最终彩色图Pv的合成公式为：PV=∑αn·Pn,V,其中Pn,V为所述步骤G求得的第n个原始视点对应的第n个虚拟视点平滑彩色图，αn为权重乘系数，计算公式为其中νn是Pn,V中最大深度像素到所述虚拟视点的偏移距离。
8.根据权利要求7所述的虚拟视点视频序列的生成装置，其特征在于：所述输入模块中，所述第n个原始视点与所述虚拟视点的相对位置包括：所述第n个原始视点在所述虚拟视点的相对左右位置，和所述第n个原始视点与所述虚拟视点的平行距离。
9.根据权利要求7所述的虚拟视点视频序列的生成装置，其特征在于：所述排序模块中，所述排序的方法为快速排序法。
10.根据权利要求7所述的虚拟视点视频序列的生成装置，其特征在于：所述空洞填充模块中，所述空洞填充处理包括：搜寻未偏移像素相邻位置的第一个偏移像素，通过差值或滤波的方式得到所述未偏移像素的值。
11.根据权利要求7所述的虚拟视点视频序列的生成装置，其特征在于：所述原始视点边缘提取模块和所述虚拟视点边缘提取模块中，所述边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。
12.根据权利要求8所述的虚拟视点视频序列的生成装置，其特征在于：所述边缘修正模块中，所述边缘修正包括：在所述第n个虚拟视点初始彩色图P'n,V的边缘信息Iv,n中，找到与第n个原始视点深度图Dn,O的边缘信息Id,n不一致的位置，在所述不一致位置附近寻找第n个原始视点深度图Dn,O的边缘，然后进行替换和滤波处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210170063.2A CN102724529B (zh) | 2012-05-28 | 2012-05-28 | 虚拟视点视频序列的生成方法及生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210170063.2A CN102724529B (zh) | 2012-05-28 | 2012-05-28 | 虚拟视点视频序列的生成方法及生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102724529A CN102724529A (zh) | 2012-10-10 |
| CN102724529B true CN102724529B (zh) | 2014-08-06 |
Family
ID=46950173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210170063.2A Expired - Fee Related CN102724529B (zh) | 2012-05-28 | 2012-05-28 | 虚拟视点视频序列的生成方法及生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102724529B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITTO20130784A1 (it) | 2013-09-30 | 2015-03-31 | Sisvel Technology Srl | Method and device for edge shape enforcement for visual enhancement of depth image based rendering |
| CN103647960B (zh) * | 2013-12-24 | 2016-01-20 | 北京邮电大学 | 一种合成三维图像的方法 |
| TWI558167B (zh) * | 2014-12-30 | 2016-11-11 | 友達光電股份有限公司 | 立體影像顯示系統與顯示方法 |
| CN104902257B (zh) * | 2015-05-29 | 2016-08-31 | 冠捷显示科技（厦门）有限公司 | 一种快速多视角影像合成方法 |
| CN106060511B (zh) * | 2016-06-17 | 2018-11-16 | 浙江工商大学 | 基于深度图的立体视频补全方法及系统 |
| CN106791773B (zh) * | 2016-12-30 | 2018-06-01 | 浙江工业大学 | 一种基于深度图像的新视点合成方法 |
| CN109714587A (zh) * | 2017-10-25 | 2019-05-03 | 杭州海康威视数字技术股份有限公司 | 一种多视点图像产生方法、装置、电子设备及存储介质 |
| CN112738534B (zh) * | 2019-10-28 | 2023-06-23 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、服务器和存储介质 |
| CN111970503B (zh) * | 2020-08-24 | 2023-08-22 | 腾讯科技（深圳）有限公司 | 二维图像的三维化方法、装置、设备及计算机可读存储介质 |
| CN115176459A (zh) * | 2021-01-25 | 2022-10-11 | 京东方科技集团股份有限公司 | 虚拟视点合成方法、电子设备和计算机可读介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102034265A (zh) * | 2010-11-24 | 2011-04-27 | 清华大学 | 一种三维视图获取方法 |
| CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100793076B1 (ko) * | 2005-12-08 | 2008-01-10 | 한국전자통신연구원 | 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 |
-
2012
- 2012-05-28 CN CN201210170063.2A patent/CN102724529B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102034265A (zh) * | 2010-11-24 | 2011-04-27 | 清华大学 | 一种三维视图获取方法 |
| CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102724529A (zh) | 2012-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102724529B (zh) | 虚拟视点视频序列的生成方法及生成装置 | |
| CN100355272C (zh) | 一种交互式多视点视频系统中虚拟视点的合成方法 | |
| CN101902657B (zh) | 一种基于深度图分层的虚拟多视点图像的生成方法 | |
| Cao et al. | Semi-automatic 2D-to-3D conversion using disparity propagation | |
| EP2595116A1 (en) | Method for generating depth maps for converting moving 2d images to 3d | |
| CN102609950B (zh) | 一种二维视频深度图的生成方法 | |
| CN101287142A (zh) | 基于双向跟踪和特征点修正的平面视频转立体视频的方法 | |
| CN103702103B (zh) | 基于双目相机的光栅立体印刷图像合成方法 | |
| CN103606151A (zh) | 基于影像点云的大范围虚拟地理场景自动构建方法 | |
| CN102098528A (zh) | 一种平面图像的立体转换方法及装置 | |
| CN103581650A (zh) | 双目3d视频转多目3d视频的方法 | |
| CN103514625A (zh) | 基于多视角自适应特征配准的三维重建方法 | |
| CN106341676A (zh) | 基于超像素的深度图像预处理和深度空洞填充方法 | |
| CN103248909A (zh) | 平面视频转化为立体视频的方法及系统 | |
| WO2012117706A1 (ja) | 映像処理装置、映像処理方法、プログラム | |
| CN113223070A (zh) | 一种深度图像增强处理方法及装置 | |
| CN102724531A (zh) | 一种二维视频转三维视频的方法及系统 | |
| CN104270624B (zh) | 一种分区域的3d视频映射方法 | |
| CN106028020B (zh) | 一种基于多方向预测的虚拟视角图像空洞填补方法 | |
| CN101662695B (zh) | 一种获取虚拟视图的方法和装置 | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| Schmeing et al. | Depth image based rendering | |
| CN103826114A (zh) | 一种立体显示方法及自由立体显示装置 | |
| CN107767411A (zh) | 一种基于样图的纹理合成方法 | |
| CN112634127B (zh) | 一种无监督立体图像重定向方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140806 |