CN112258617A - 一种物体边缘修正优化的相机新视点图像生成方法和系统 - Google Patents

一种物体边缘修正优化的相机新视点图像生成方法和系统 Download PDF

Info

Publication number
CN112258617A
CN112258617A CN202011413283.4A CN202011413283A CN112258617A CN 112258617 A CN112258617 A CN 112258617A CN 202011413283 A CN202011413283 A CN 202011413283A CN 112258617 A CN112258617 A CN 112258617A
Authority
CN
China
Prior art keywords
depth value
camera
sampling
offset
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011413283.4A
Other languages
English (en)
Other versions
CN112258617B (zh
Inventor
王西颖
傅锡豪
过洁
郭延文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Qiyuan Technology Co ltd
Original Assignee
Nanjing IQIYI Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing IQIYI Intelligent Technology Co Ltd filed Critical Nanjing IQIYI Intelligent Technology Co Ltd
Priority to CN202011413283.4A priority Critical patent/CN112258617B/zh
Publication of CN112258617A publication Critical patent/CN112258617A/zh
Application granted granted Critical
Publication of CN112258617B publication Critical patent/CN112258617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例公开了一种物体边缘修正优化的相机新视点图像生成方法和系统，包括：根据第一纹理坐标计算上一时刻相机位置的第二纹理坐标；根据两步迭代视差映射法得到深度值和目标纹理坐标，并采样生成相机平移新视点下的初步图像；用临近点采样法对图像遮挡与边缘处修正，检测当前采样是否位于物体边界，通过多次采样取平均值对深度值进行修正；判断是否出现采样错误，在出现时对深度值进行修正得到第二修正深度值；计算偏移量和修正后的目标纹理坐标，重新进行采样以生成相机平移新视点下的修正图像。本发明的技术方案不依赖高性能计算设备，可以使用图形管线中的像素着色器快速实现，并且生成的图像可以保证一定的时域连续性。

Description

一种物体边缘修正优化的相机新视点图像生成方法和系统
技术领域
本发明涉及图形渲染与图像生成技术领域，尤其涉及一种物体边缘修正优化的相机新视点图像生成方法和系统。
背景技术
随着科技的发展，新视点图像生成随之成为了目前计算机视觉领域的重要研究问题之一。该问题旨在提供一张或多张同一场景的图像，生成该场景在某个视点下的图像。近年来，随着大规模深度学习的发展，各种大规模神经网络也被用于新视点图像生成领域。借助高性能GPU的通用并行计算能力与神经网络的表示能力，目前使用单图片或多图片新视点图像生成已经可以达到非常好的效果。
然而，就目前的常见的新视点图像生成领域问题主要有两种：
一是大部分的算法的实现依赖于高性能CPU或通用并行计算能力强大的GPU，不适用于一般的实时渲染场景（尤其是低性能的移动平台）。考虑到该问题在VR实时渲染应用等领域的应用前景，因此如何设计高效的适用于图形管线的新视点图像生成算法是一个值得研究的问题。
二是由于视点移动，导致原本被物体挡住的背景在新视点下变得可见的部分在生成的图像中自动使用了背景的纹理进行了填充。但仔细观察常常会发现，填补的纹理处有细线状的错误，这主要由于在物体边界处深度缓冲的不连续性和浮点数计算误差导致的，使得原本应该采样到物体上的深度值，结果却采样到了后面背景的深度值或是两者的线性插值结果。
综上所述，当前现有技术仍旧缺少一种高效准确的相机新视点图像生成方法。
发明内容
有鉴于此，本发明实施例提出一种物体边缘修正优化的相机新视点图像生成方法和系统。
本发明的一实施例提出一种物体边缘修正优化的相机新视点图像生成方法，包括：
获取相机与图像参数信息，并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标，其中，所述相机与图像参数信息包括颜色缓冲；
根据两步迭代的视差映射方法得到深度值和目标纹理坐标，并根据所述目标纹理坐标对上一帧的所述颜色缓冲进行采样生成相机平移新视点下的初步图像；
采用临近点采样的方法对所述初步图像的遮挡与边缘处进行修正，检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对所述深度值进行修正得到第一修正深度值；
判断在所述物体边缘处是否出现采样错误，并在出现采样错误的情况下对所述第一修正深度值进行修正得到第二修正深度值；
利用所述第二修正深度值计算偏移量和对应修正后的目标纹理坐标，根据修正后目标纹理坐标重新进行采样以生成相机平移新视点下的修正图像。
进一步地，在上述的一种物体边缘修正优化的相机新视点图像生成方法中，所述相机与图像参数信息还包括深度缓冲、相机由当前时刻至下一时刻的平移量、相机前裁剪面的长度、相机前裁剪面的高度和前裁剪面到相机的距离，其中，所述平移量包括x轴平移量、y轴平移量和z轴平移量。
进一步地，在上述的一种物体边缘修正优化的相机新视点图像生成方法中，所述“根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标”包括：
根据所述x轴平移量、y轴平移量、相机前裁剪面的长度和相机前裁剪面的高度计算第一坐标平移量；
根据所述z轴平移量、前裁剪面到相机的距离和所述第一纹理坐标计算第二坐标平移量；
将所述第一坐标平移量、第二坐标平移量和所述第一纹理坐标进行加和得到上一时刻相机位置下的所述第二纹理坐标。
进一步地，在上述的一种物体边缘修正优化的相机新视点图像生成方法中，所述深度值包括第一近似深度值和第二近似深度值，所述“根据两步迭代的视差映射方法得到深度值和目标纹理坐标”包括：
对当前时刻相机位置下，世界坐标顶点在上一时刻相机的前裁面上的投影处的深度值进行采样得到所述第一近似深度值；
利用相似三角形关系，根据所述第一近似深度值计算第一近似偏移量和第二近似偏移量；
利用所述第一近似偏移量和第二近似偏移量对采样点的纹理坐标进行偏移得到第一近似目标纹理坐标；
对所述第一近似目标纹理坐标处的深度值进行采样得到所述第二近似深度值；
利用相似三角形关系，根据所述第二近似深度值计算所述第一偏移量新值和第二偏移量新值；
利用所述第一偏移量新值和第二偏移量新值对所述第一近似目标纹理坐标进行偏移得到所述目标纹理坐标。
进一步地，在上述的一种物体边缘修正优化的相机新视点图像生成方法中，所述“采用临近点采样的方法对所述初步图像的遮挡与边缘处进行修正”包括：
将采样点纹理坐标与纹理贴图的长和宽对应相乘得到所述采样点纹理坐标对应的像素坐标；
寻找距离所述像素坐标距离最近的像素颜色值作为采样点的颜色值以对所述初步图像进行修正。
进一步地，在上述的一种物体边缘修正优化的相机新视点图像生成方法中，所述“检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对所述深度值进行修正得到第一修正深度值”包括：
设定第一扰动参数和第一误差参数；
利用所述第一扰动参数对采样点的纹理坐标添加扰动，并对添加扰动后的深度值进行采样得到第一扰动深度值；
判断所述第二近似深度值与所述第一扰动深度值之差是否大于所述第一误差参数；
若大于，则通过对所述第一近似目标纹理坐标进行多次随机偏移后取平均值得到所述第一修正深度值。
进一步地，在上述的一种物体边缘修正优化的相机新视点图像生成方法中，所述“判断在所述物体边缘处是否出现采样错误，并在出现采样错误的情况下对深度值进行修正得到第二修正深度值”包括：
设置第二扰动参数和第二误差参数；
利用所述第二扰动参数对采样点的纹理坐标添加扰动，并对添加扰动后的深度值进行采样得到第二扰动深度值；
判断所述第二近似深度值与所述第二扰动深度值之差，以及所述第一近似深度值与所述第二扰动深度值之差是否均大于所述第二误差参数；
若大于，则认定出现采样错误，并根据所述第二扰动深度值对深度值进行修正得到第二修正深度值。
进一步地，在上述的一种物体边缘修正优化的相机新视点图像生成方法中，所述“利用所述第二修正深度值计算偏移量和对应修正后的目标纹理坐标，根据修正后目标纹理坐标重新进行采样以生成相机平移新视点下的修正图像”包括：
利用所述第二修正深度值计算第一最终偏移量和第二最终偏移量；
根据所述第一最终偏移量和第二最终偏移量计算修正后的目标纹理坐标，并根据修正后的目标纹理坐标采样前一帧的颜色缓冲，并写入缓冲区得到所述相机平移新视点下的修正图像。
进一步地，在上述的一种物体边缘修正优化的相机新视点图像生成方法中，所述第二扰动参数为0.5。
本发明的另一实施例提出一种物体边缘修正优化的相机新视点图像生成系统，包括：
第一计算单元，用于获取相机与图像参数信息，并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标，其中，所述相机与图像参数信息包括颜色缓冲；
第二计算单元，用于根据两步迭代的视差映射方法得到深度值和目标纹理坐标，并根据所述目标纹理坐标对上一帧的所述颜色缓冲进行采样生成相机平移新视点下的初步图像；
第一修正单元，用于采用临近点采样的方法对所述初步图像的遮挡与边缘处进行修正，检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对所述深度值进行修正得到第一修正深度值；
第二修正单元，用于判断在所述物体边缘处是否出现采样错误，并在出现采样错误的情况下对深度值进行修正得到第二修正深度值；
图像生成单元，用于利用所述第二修正深度值计算偏移量和对应修正后的目标纹理坐标，根据修正后目标纹理坐标重新进行采样以生成相机平移新视点下的修正图像。
本发明的又一实施例提出一种终端，包括：处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述一种物体边缘修正优化的相机新视点图像生成方法。
本发明的再一实施例提出一种计算机可读存储介质，其存储有计算机程序，在所述计算机程序被执行时，实施上述一种物体边缘修正优化的相机新视点图像生成方法。
本发明实施例提出的方法作为一个图像后处理方法，从每一个纹理坐标出发，计算出变换到前一帧对应点的纹理坐标偏移量。通过世界坐标的几何关系，把偏移量计算转化成估计纹理坐标对应点在前一帧的深度值。通过改进的视差映射方法进行深度值估计，并且考虑了边缘处深度采样与该算法在物体边缘处深度估计不准确的问题，提出了高效的检测和改进方法。相对于现有技术而言，采用本发明实施例的方法仅通过两次迭代即可生成相机平移新视点下的图像，且可通过图形管线中的像素着色器快速实现，并且针对背景纹理填充错误的问题，通过相关的检测方法进行判断和修正，可以快速地生成没有空洞的新视点图像，并且保证时域的连续性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例提供的一种物体边缘修正优化的相机新视点图像生成方法的第一流程示意图；
图2a示出了本发明实施例提供的新视点位置下前一帧渲染的视锥体俯视图；
图2b示出了本发明实施例提供的另一新视点位置下前一帧渲染的视锥体俯视图；
图3示出了本发明实施例提供的步骤S101的第二流程示意图；
图4示出了本发明实施例提供的步骤S102的第三流程示意图；
图5示出了本发明实施例提供的步骤S103的第四流程示意图；
图6示出了本发明实施例提供的步骤S103的第五流程示意图；
图7示出了本发明实施例提供的步骤S104的第六流程示意图；
图8示出了本发明实施例提供的步骤S105的第七流程示意图；
图9示出了本发明实施例提供的一种物体边缘修正优化的相机新视点图像生成系统结构示意图。
主要元件符号说明：
10-第一计算单元；20-第二计算单元；30-第一修正单元；40-第二修正单元；50-图像生成单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
本实施例提出的一种物体边缘修正优化的相机新视点图像生成方法，可以有效解决目前新视点画面生成算法不适用于实时渲染应用的问题，生成的新视点图像中原本被遮挡的部分会自动被背景纹理填充，且填充效果在大部分情况下均可以保证时域连续，提高了用户体验度。
参照图1，一种物体边缘修正优化的相机新视点图像生成方法包括：
步骤S101，获取相机与图像参数信息，并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标，其中，相机与图像参数信息包括颜色缓冲、深度缓冲、相机由当前时刻至下一时刻的平移量、相机前裁剪面的长度、相机前裁剪面的高度和前裁剪面到相机的距离，其中，平移量包括x轴平移量、y轴平移量和z轴平移量。对于后处理着色器的每一个纹理坐标，通过空间中的三角形相似关系得到将其变换到前一帧对应纹理的偏移量的计算公式，该计算公式依赖于该纹理坐标对应的顶点在前一帧中的深度值。
步骤S102，根据两步迭代的视差映射方法得到深度值和目标纹理坐标，并根据目标纹理坐标对上一帧的颜色缓冲进行采样生成相机平移新视点下的初步图像；
具体地，深度值为采样得到的近似深度值，通过两步迭代视差映射法计算得到近似偏移量和偏移量新值，并根据偏移量新值计算得到目标纹理坐标；其中，近似深度值包括第一近似深度值和第二近似深度值，近似偏移量包括第一近似偏移量和第二近似偏移量，偏移量新值包括第一偏移量新值和第二偏移量新值。偏移量的计算依赖于深度值。由于C点在前一帧的深度值d c 无法直接得到，因此本发明实施例提供了基于两步迭代的视察映射法来估计C点在前一帧的深度值d c 。
步骤S103，采用临近点采样的方法对初步图像的遮挡与边缘处进行修正，检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对深度值进行修正得到第一修正深度值；
步骤S104，判断在物体边缘处是否出现采样错误，并在出现采样错误的情况下对深度值进行修正得到第二修正深度值；
步骤S105，利用第二修正深度值计算偏移量和对应修正后的目标纹理坐标，根据修正后目标纹理坐标重新进行采样以生成相机平移新视点下的修正图像。
下面先对步骤S101与步骤S102所生成的初步图像方法进行详细阐述。
本发明实施例假设给定场景中相机在某个时刻渲染的颜色缓冲
Figure 123532DEST_PATH_IMAGE001
和深度缓冲
Figure 853721DEST_PATH_IMAGE002
（前一帧渲染结果），以及该相机从该时刻到下一个时刻（需要生成的当前帧）的平移量
Figure 164617DEST_PATH_IMAGE003
，假设相机的前裁剪面的长度和高度分别为Lx和Ly，前裁剪面到相机的距离为near。图2a和图2b显示的是前一帧渲染的视锥体的俯视图，其中C点为当前帧视线看到的世界坐标的顶点，B为其对应的在前一帧的纹理坐标（即B为C点在前一帧的纹理坐标）。考虑在一个后处理像素着色器中，对于每个纹理坐标uv，目标是找到顶点C在前一帧对应的纹理坐标B点。记uv在前裁剪面处对应的世界坐标为
Figure 356564DEST_PATH_IMAGE004
，该坐标映射到其在上一时刻的相机位置下对应的纹理坐标为uv 0，其对应图1中的点F（B点和F点分别对应上一时刻相机位置和当前时刻相机位置下，世界空间下的C点在上一时刻相机的前裁剪面上的投影）。
参照图3，步骤S101包括如下子步骤：
步骤S201，根据x轴平移量、y轴平移量、相机前裁剪面的长度和相机前裁剪面的高度计算第一坐标平移量；
步骤S202，根据z轴平移量、前裁剪面到相机的距离和第一纹理坐标计算第二坐标平移量；
步骤S203，将第一坐标平移量、第二坐标平移量和第一纹理坐标进行加和得到上一时刻相机位置下的第二纹理坐标。
具体地，C点在上一时刻的相机位置下对应的第二纹理坐标uv 0主要由第一坐标平移量、第二坐标平移量和第一纹理坐标构成，公式(1)中，等式右侧的三部分多项式的含义分别为第一纹理坐标、第一坐标平移量和第二坐标平移量。
Figure 718406DEST_PATH_IMAGE005
（1）
其中，
Figure 337606DEST_PATH_IMAGE006
为第二纹理坐标，
Figure 401377DEST_PATH_IMAGE007
为第一纹理坐标，
Figure 144818DEST_PATH_IMAGE008
为x轴平移量，
Figure 141593DEST_PATH_IMAGE009
为y轴平移量，
Figure 682427DEST_PATH_IMAGE010
为z轴平移量，
Figure 233494DEST_PATH_IMAGE011
为相机前裁剪面的长度，
Figure 501664DEST_PATH_IMAGE012
为相机前裁剪面的高度，
Figure 572519DEST_PATH_IMAGE013
为前裁剪面到相机的距离。需要说明的是，对于一张二维纹理贴图而言，使用u和v分别代表贴图上任意一个点坐标(u,v)的两个分量，为了简便，一般把(u,v)记为uv，所以说上述公式中的“u”为第一纹理坐标的一个分量，上述公式中的“v”为第一纹理坐标的另一个分量。
另外需要说明的是，本申请实施例涉及公式中的“:=”为赋值号，“:=”是赋值语句的标志；上述公式中的“:=”是表达了
Figure 799101DEST_PATH_IMAGE014
通过右侧的各个变量赋值得到的；当然本实施例中的“:=”也可以理解为“=”特此说明；同理本实施例中出现的其他“:=”不再解释。
为了从F点得到B点，需要计算两部分偏移量：（1）先计算从F点到A点的第一近似偏移量（或第一偏移量新值、第一最终偏移量）；（2）再计算从A点到B点的第二近似偏移量（或第二偏移量新值、第二最终偏移量）；这里，本发明实施例所提及的近似偏移量、偏移量新值和最终偏移量（统称偏移量）均是根据上述计算思路进行计算。两部分的计算利用到了简单的相似三角形关系，分别由如下公式计算：
Figure 588197DEST_PATH_IMAGE015
（2）
Figure 660058DEST_PATH_IMAGE016
（3）
上述的两个公式中d c 指的是C点在前一帧的深度值。如果d c 已知，则可得到FA（即从F点到A点偏移量，后续实际计算过程中使用F点到A点的第一偏移量新值、第一最终偏移量进行计算）和AB（即从A点到B点偏移量，后续实际计算过程中使用的是A点到B点的第二偏移量新值、第二最终偏移量进行计算），进而可以得到目标纹理坐标B。
根据上述思路，下面将详细阐述目标纹理坐标B的计算方法。
参照图4，对目标纹理坐标的计算依赖于偏移量，对偏移量的计算依赖于深度值。采样F点处的深度值，作为d c 的近似，但这种简单的近似并不够准确，因此考虑以下改进的方法。在步骤S102中 “根据两步迭代的视差映射方法得到深度值和目标纹理坐标”包括如下子步骤：
步骤S301，对当前时刻相机位置下，世界坐标顶点在上一时刻相机的前裁面上的投影处的深度值进行采样得到第一近似深度值d 0；
具体地，采样F点处的深度值，记为
Figure 834687DEST_PATH_IMAGE017
。
步骤S302，利用相似三角形关系，根据第一近似深度值计算第一近似偏移量和第二近似偏移量；
具体地，用d 0作为d c的近似，代入公式(4)和(5)中，计算出第一近似偏移量和第二近似偏移量，分别记为FA”和AB”。第一近似偏移量FA’’和第二近似偏移量AB’’的表达式如下：
Figure 979973DEST_PATH_IMAGE018
（4）
Figure 240053DEST_PATH_IMAGE019
（5）
其中，
Figure 115606DEST_PATH_IMAGE020
为所述第一近似深度值，
Figure 161053DEST_PATH_IMAGE021
为第一近似偏移量，
Figure 729438DEST_PATH_IMAGE022
为第二近似偏移量。
步骤S303，利用第一近似偏移量和第二近似偏移量对采样点的纹理坐标进行偏移得到第一近似目标纹理坐标；
具体地，得到了近似偏移量之后便可以利用近似偏移量对纹理坐标F进行偏移来得到目标纹理坐标的近似值B’，即第一近似目标纹理坐标。计算公式如下：
Figure 476814DEST_PATH_IMAGE023
（6）
其中，
Figure 641210DEST_PATH_IMAGE024
为第一近似目标纹理坐标，
Figure 790432DEST_PATH_IMAGE025
为当前时刻相机位置下，世界坐标顶点在上一时刻相机的前裁面上的投影处纹理坐标；
Figure 529718DEST_PATH_IMAGE026
为第一近似偏移量，
Figure 515122DEST_PATH_IMAGE027
为第二近似偏移量。
步骤S304，对第一近似目标纹理坐标B’处的深度值进行采样得到第二近似深度值；
具体地，在B’处进行深度值采样，得到
Figure 732477DEST_PATH_IMAGE028
，使用d 1作为d c的近似值，即第二近似深度值。
步骤S305，利用相似三角形关系，根据第二近似深度值计算第一偏移量新值FA’和第二偏移量新值AB’；
步骤S306，利用第一偏移量新值和第二偏移量新值对第一近似目标纹理坐标进行偏移得到目标纹理坐标。
具体地，上述的迭代方法即得到了d c的一个近似值d 1。使用该近似的深度值带入公式(2)(3)中计算，便可以得到第一偏移量新值FA’和第二偏移量新值AB’（第一偏移量新值和第二偏移量新值是根据近似偏移量经过计算得到的新值），故可以通过对F点进行偏移计算纹理坐标B的近似：
Figure 749587DEST_PATH_IMAGE029
（7）
至此求解目标纹理坐标B的操作流程结束，使用该纹理坐标对上一帧的颜色缓冲
Figure 659774DEST_PATH_IMAGE030
进行采样，便生成了最终的新视点的图像，即初步图像；上述公式7中的FA’指的是第一偏移量新值，AB’指的是第二偏移量新值。
如果直接使用近似值d 1来计算偏移量对纹理坐标uv 0进行偏移后采样，由于视点移动，导致原本被物体挡住的背景在新视点下变得可见的部分，在生成的图像中自动使用背景的纹理进行填充。原因是使用了该方法的深度矫正步骤，当物体和背景物体的深度差异足够大时，偏移后纹理坐标会落在背景上，最终显示出来的效果是本该是空洞的地方被背景填充了。然而仔细观察可以发现，填补的纹理处有细线状的错误。产生这样的错误采样是由于在物体边界处深度缓冲的不连续性和浮点数计算误差导致的，使得原本应该采样到物体上的深度值，结果却采样到了后面背景的深度值或是两者的线性插值结果。为了解决这个问题，本发明实施例一方面需要使用临近点采样代替纹理采样常用的双线性采样，防止得到插值后的深度结果，另一方面需要检测当前采样到了物体边界并且使用多次采样取平均值的方式，来得到d c的更为准确的深度估计。
下面对步骤S103至步骤S105对初步图像的修正优化方法进行详细阐述。
参照图5，步骤S103中 “采用临近点采样的方法对初步图像的遮挡与边缘处进行修正”包括如下子步骤：
步骤S401，将采样点纹理坐标与纹理贴图的长和宽对应相乘得到采样点纹理坐标对应的像素坐标；
步骤S402，寻找距离像素坐标距离最近的像素颜色值作为采样点的颜色值以对初步图像进行修正。
具体地，使用纹理坐标
Figure 381743DEST_PATH_IMAGE031
，通常在一张纹理贴图上采样会使用双线性采样方法，即将纹理坐标乘以纹理贴图的长宽（分量对应相乘），得到纹理坐标对应的贴图上的像素坐标(m,n)。由于纹理坐标(a,b)的分量为浮点数，因此计算后得到的像素坐标(m,n)仍然是浮点数，而纹理中的像素使用整数来索引，因此该像素坐标(m,n)会落在四个像素中。利用这四个像素的坐标与(m,n)对像素颜色进行双线性插值即可以得到纹理坐标(a,b)采样的纹理颜色值。而如果采用临近点采样的方式，则是找到与像素坐标(m,n)距离最接近的贴图上的像素颜色值作为采样的颜色值。
参照图6，步骤S103中“检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对深度值进行修正得到第一修正深度值”包括如下子步骤：
步骤S501，设定第一扰动参数和第一误差参数；
具体地，选取一个数值较小的第一扰动参数
Figure 153521DEST_PATH_IMAGE032
（通常选取为0.1-0.2），来对纹理坐标进行微小扰动。
步骤S502，利用第一扰动参数对采样点的纹理坐标添加扰动，并对添加扰动后的深度值进行采样得到第一扰动深度值；具体地，采样如下深度：
Figure 11755DEST_PATH_IMAGE033
，在上述步骤S502中，FA’指的是第一偏移量新值，AB’指的是第二偏移量新值。
步骤S503，判断第二近似深度值与第一扰动深度值之差是否大于第一误差参数；
若大于，则执行步骤S504，通过对第一近似目标纹理坐标进行多次随机偏移后取平均值得到第一修正深度值。
具体地，如果d 1- d 2大于第一误差参数成立，则说明恰好采样到了边缘处，此时修正深度值
Figure 92844DEST_PATH_IMAGE034
；这里的采样算法采用对纹理坐标B’进行k次随机偏移后采样取平均的方法。
需要说明的是，上述处理步骤中部分介绍的改进视差映射是为了得到更加准确的深度估计，但是该步骤不一定保证采样的深度值d 1是d 0改进，能出现两次采样的深度值d 1与d 0均大于C点在前一帧的深度值d c的情况。这种情况下可能导致在边缘处根据d 0计算出的偏移量过大，且利用改进的深度值d 1计算偏移量也过大，结果会导致最终偏移后的纹理坐标原本应该采样到物体上却采样到了背景纹理上，最终表现出来是物体的边缘处缺失，问题会造成时域的不连续而引起画面闪烁，影响用户体验。
为了解决这个问题，同样需要检测该情况并对深度值进行修正。
参照图7，本发明实施例步骤S104包括如下子步骤：
步骤S601，设置第二扰动参数和第二误差参数；
具体地，第二扰动参数η可设置为0.5。
步骤S602，利用第二扰动参数对采样点的纹理坐标添加扰动，并对添加扰动后的深度值进行采样得到第二扰动深度值；具体地，对深度值进行采样：
Figure 52841DEST_PATH_IMAGE035
，在上述步骤中，FA’指的是第一偏移量新值，AB’指的是第二偏移量新值。
步骤S603，判断第二近似深度值与第二扰动深度值之差，以及第一近似深度值与第二扰动深度值之差是否均大于第二误差参数；
若大于，则执行步骤S604，则认定出现采样错误，并根据第二扰动深度值对深度值进行修正得到第二修正深度值。
具体地，如果满足d 1- d 3大于第二误差参数，且d 0- d 3大于第二误差参数，则判定出现该情况，进行深度修正
Figure 877577DEST_PATH_IMAGE036
。
之后，使用最终得到的估计深度值计算偏移量，并得到目标的纹理坐标偏移量，以此得到前一帧对应纹理的纹理坐标并进行采样，得到目标颜色值并写入缓冲区。
参照图8，步骤S105包括：
步骤S701，利用第二修正深度值计算第一最终偏移量FA和第二最终偏移量AB；
步骤S702，根据第一最终偏移量和第二最终偏移量计算修正后的目标纹理坐标，并根据修正后的目标纹理坐标采样前一帧的颜色缓冲，并写入缓冲区得到相机平移新视点下的修正图像。
具体地，前述步骤结束后得到了一个最终的d c的近似深度d 1。最后使用该深度值，利用公式(2)(3)计算出第一最终偏移量和第二最终偏移量，然后利用公式(7)即可以得到修正后的目标纹理坐标；用此纹理坐标采样前一帧的颜色缓冲
Figure 606630DEST_PATH_IMAGE037
，写入缓冲区，最终即得到生成的新视点下的图像。
本发明实施例提出的方法作为一个图像后处理方法，从每一个纹理坐标出发，计算出变换到前一帧对应点的纹理坐标偏移量。通过世界坐标的几何关系，把偏移量计算转化成估计纹理坐标对应点在前一帧的深度值。通过改进的视差映射方法进行深度值估计，并且考虑了边缘处深度采样与该算法在物体边缘处深度估计不准确的问题，提出了高效的检测和改进方法。相对于现有技术而言，采用本发明实施例的方法仅通过两次迭代即可生成相机平移新视点下的图像，且可通过图形管线中的像素着色器快速实现，并且针对背景纹理填充错误的问题，通过相关的检测方法进行判断和修正，可以快速地生成没有空洞的新视点图像，并且保证时域的连续性。
实施例2：
参照图9，一种物体边缘修正优化的相机新视点图像生成系统包括：
第一计算单元10，用于获取相机与图像参数信息，并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标，其中，相机与图像参数信息包括颜色缓冲；
第二计算单元20，用于根据两步迭代的视差映射方法得到深度值和目标纹理坐标，并根据目标纹理坐标对上一帧的颜色缓冲进行采样生成相机平移新视点下的初步图像；
第一修正单元30，用于采用临近点采样的方法对初步图像的遮挡与边缘处进行修正，检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对所述深度值进行修正得到第一修正深度值；
第二修正单元40，用于判断在物体边缘处是否出现采样错误，并在出现采样错误的情况下对深度值进行修正得到第二修正深度值；
图像生成单元50，用于利用所述第二修正深度值计算偏移量和对应修正后的目标纹理坐标，根据修正后目标纹理坐标重新进行采样以生成相机平移新视点下的修正图像。
可以理解，上述的一种物体边缘修正优化的相机新视点图像生成系统对应于实施例1的一种物体边缘修正优化的相机新视点图像生成方法。实施例1中的任何可选项也适用于本实施例，这里不再详述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种物体边缘修正优化的相机新视点图像生成方法，其特征在于，包括：
获取相机与图像参数信息，并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标，其中，所述相机与图像参数信息包括颜色缓冲；
根据两步迭代的视差映射方法得到深度值和目标纹理坐标，并根据所述目标纹理坐标对上一帧的所述颜色缓冲进行采样生成相机平移新视点下的初步图像；
采用临近点采样的方法对所述初步图像的遮挡与边缘处进行修正，检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对所述深度值进行修正得到第一修正深度值；
判断在所述物体边缘处是否出现采样错误，并在出现采样错误的情况下对所述第一修正深度值进行修正得到第二修正深度值；
利用所述第二修正深度值计算偏移量和对应修正后的目标纹理坐标，根据修正后目标纹理坐标重新进行采样以生成相机平移新视点下的修正图像。
2.根据权利要求1所述的物体边缘修正优化的相机新视点图像生成方法，其特征在于，所述相机与图像参数信息还包括深度缓冲、相机由当前时刻至下一时刻的平移量、相机前裁剪面的长度、相机前裁剪面的高度和前裁剪面到相机的距离，其中，所述平移量包括x轴平移量、y轴平移量和z轴平移量。
3.根据权利要求2所述的物体边缘修正优化的相机新视点图像生成方法，其特征在于，所述“根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标”包括：
根据所述x轴平移量、y轴平移量、相机前裁剪面的长度和相机前裁剪面的高度计算第一坐标平移量；
根据所述z轴平移量、前裁剪面到相机的距离和所述第一纹理坐标计算第二坐标平移量；
将所述第一坐标平移量、第二坐标平移量和所述第一纹理坐标进行加和得到上一时刻相机位置下的所述第二纹理坐标。
4.根据权利要求2所述的物体边缘修正优化的相机新视点图像生成方法，其特征在于，所述“根据两步迭代的视差映射方法得到深度值和目标纹理坐标”包括：
对当前时刻相机位置下，世界坐标顶点在上一时刻相机前裁面上的投影处的深度值进行采样得到所述第一近似深度值；
利用相似三角形关系，根据所述第一近似深度值计算第一近似偏移量和第二近似偏移量；
利用所述第一近似偏移量和第二近似偏移量对采样点的纹理坐标进行偏移得到第一近似目标纹理坐标；
对所述第一近似目标纹理坐标处的深度值进行采样得到所述第二近似深度值；
利用相似三角形关系，根据所述第二近似深度值计算所述第一偏移量新值和第二偏移量新值；
利用所述第一偏移量新值和第二偏移量新值对所述第一近似目标纹理坐标进行偏移得到所述目标纹理坐标。
5.根据权利要求2所述的物体边缘修正优化的相机新视点图像生成方法，其特征在于，所述“采用临近点采样的方法对所述初步图像的遮挡与边缘处进行修正”包括：
将采样点纹理坐标与纹理贴图的长和宽对应相乘得到所述采样点纹理坐标对应的像素坐标；
寻找距离所述像素坐标距离最近的像素颜色值作为采样点的颜色值以对所述初步图像进行修正。
6.根据权利要求4所述的物体边缘修正优化的相机新视点图像生成方法，其特征在于，所述“检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对所述深度值进行修正得到第一修正深度值”包括：
设定第一扰动参数和第一误差参数；
利用所述第一扰动参数对采样点的纹理坐标添加扰动，并对添加扰动后的深度值进行采样得到第一扰动深度值；
判断所述第二近似深度值与所述第一扰动深度值之差是否大于所述第一误差参数；
若大于，则通过对所述第一近似目标纹理坐标进行多次随机偏移后取平均值得到所述第一修正深度值。
7.根据权利要求4所述的物体边缘修正优化的相机新视点图像生成方法，其特征在于，所述“判断在所述物体边缘处是否出现采样错误，并在出现采样错误的情况下对深度值进行修正得到第二修正深度值”包括：
设置第二扰动参数和第二误差参数；
利用所述第二扰动参数对采样点的纹理坐标添加扰动，并对添加扰动后的深度值进行采样得到第二扰动深度值；
判断所述第二近似深度值与所述第二扰动深度值之差，以及所述第一近似深度值与所述第二扰动深度值之差是否均大于所述第二误差参数；
若大于，则认定出现采样错误，并根据所述第二扰动深度值对深度值进行修正得到第二修正深度值。
8.根据权利要求1所述的物体边缘修正优化的相机新视点图像生成方法，其特征在于，所述“利用所述第二修正深度值计算偏移量和对应修正后的目标纹理坐标，根据修正后目标纹理坐标重新进行采样以生成相机平移新视点下的修正图像”包括：
利用所述第二修正深度值计算第一最终偏移量和第二最终偏移量；
根据所述第一最终偏移量和第二最终偏移量计算修正后的目标纹理坐标，并根据修正后的目标纹理坐标采样前一帧的颜色缓冲，并写入缓冲区得到所述相机平移新视点下的修正图像。
9.根据权利要求7所述的物体边缘修正优化的相机新视点图像生成方法，其特征在于，所述第二扰动参数为0.5。
10.一种物体边缘修正优化的相机新视点图像生成系统，其特征在于，包括：
第一计算单元，用于获取相机与图像参数信息，并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标，其中，所述相机与图像参数信息包括颜色缓冲；
第二计算单元，用于根据两步迭代的视差映射方法得到深度值和目标纹理坐标，并根据所述目标纹理坐标对上一帧的所述颜色缓冲进行采样生成相机平移新视点下的初步图像；
第一修正单元，用于采用临近点采样的方法对所述初步图像的遮挡与边缘处进行修正，检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对所述深度值进行修正得到第一修正深度值；
第二修正单元，用于判断在所述物体边缘处是否出现采样错误，并在出现采样错误的情况下对深度值进行修正得到第二修正深度值；
图像生成单元，用于利用所述第二修正深度值计算偏移量和对应修正后的目标纹理坐标，根据修正后目标纹理坐标重新进行采样以生成相机平移新视点下的修正图像。
CN202011413283.4A 2020-12-07 2020-12-07 一种物体边缘修正优化的相机新视点图像生成方法和系统 Active CN112258617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011413283.4A CN112258617B (zh) 2020-12-07 2020-12-07 一种物体边缘修正优化的相机新视点图像生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011413283.4A CN112258617B (zh) 2020-12-07 2020-12-07 一种物体边缘修正优化的相机新视点图像生成方法和系统

Publications (2)

Publication Number Publication Date
CN112258617A true CN112258617A (zh) 2021-01-22
CN112258617B CN112258617B (zh) 2021-03-16

Family

ID=74225753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011413283.4A Active CN112258617B (zh) 2020-12-07 2020-12-07 一种物体边缘修正优化的相机新视点图像生成方法和系统

Country Status (1)

Country Link
CN (1) CN112258617B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750711A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法
US9549164B2 (en) * 2012-09-28 2017-01-17 JVC Kenwood Corporation Image processing apparatus and method, and related computer program
US10089740B2 (en) * 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
CN111369660A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种三维模型的无接缝纹理映射方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750711A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法
US9549164B2 (en) * 2012-09-28 2017-01-17 JVC Kenwood Corporation Image processing apparatus and method, and related computer program
US10089740B2 (en) * 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
CN111369660A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种三维模型的无接缝纹理映射方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIMING LI等: "POST INSERTED OBJECT CALIBRATION FOR STEREO VIDEO RECTIFICATION", 《ICIP2015》 *
牟琦等: "采用曲率扩散和边缘重建的深度图像空洞修复", 《西安科技大学学报》 *

Also Published As

Publication number Publication date
CN112258617B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
WO2018127007A1 (zh) 深度图获取方法及系统
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
TWI536318B (zh) 深度測量之品質提升
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
JP2004005596A (ja) 変化するサーチ経路及びオクルージョンモデリングでの複数ビューの３ｄ復元用方法及びシステム
GB2567530A (en) Virtual reality parallax correction
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
KR20100083498A (ko) 이미지 복원 장치 및 방법
JP5476264B2 (ja) カメラトラッキング装置およびそのプログラム
CN106408596A (zh) 基于边缘的局部立体匹配方法
JP2022509329A (ja) 点群融合方法及び装置、電子機器、コンピュータ記憶媒体並びにプログラム
JP2011141710A (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
JP2007053621A (ja) 画像生成装置
JP2011039801A (ja) 画像処理装置および画像処理方法
JP2010205095A (ja) ３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体
CN112258617B (zh) 一种物体边缘修正优化的相机新视点图像生成方法和系统
EP3616399B1 (en) Apparatus and method for processing a depth map
CN112203074B (zh) 一种基于两步迭代的相机平移新视点图像生成方法和系统
JP5820716B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置
JP5252642B2 (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
CN116468632A (zh) 一种基于自适应特征保持的网格去噪方法及装置
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
US9077963B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
CN110363723B (zh) 改进图像边界效果的图像处理方法及装置
KR100388587B1 (ko) 정점 데이터에 오프셋값을 가산하여 폴리곤을 묘화하는3차원 그래픽스 묘화 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210038

Patentee after: Nanjing Qiyuan Technology Co.,Ltd.

Address before: Room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210038

Patentee before: Nanjing iqiyi Intelligent Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder