CN112203074B - 一种基于两步迭代的相机平移新视点图像生成方法和系统 - Google Patents

一种基于两步迭代的相机平移新视点图像生成方法和系统 Download PDF

Info

Publication number
CN112203074B
CN112203074B CN202011413272.6A CN202011413272A CN112203074B CN 112203074 B CN112203074 B CN 112203074B CN 202011413272 A CN202011413272 A CN 202011413272A CN 112203074 B CN112203074 B CN 112203074B
Authority
CN
China
Prior art keywords
camera
approximate
offset
new
texture coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011413272.6A
Other languages
English (en)
Other versions
CN112203074A (zh
Inventor
王西颖
傅锡豪
过洁
郭延文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Qiyuan Technology Co.,Ltd.
Original Assignee
Nanjing Iqiyi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Iqiyi Intelligent Technology Co Ltd filed Critical Nanjing Iqiyi Intelligent Technology Co Ltd
Priority to CN202011413272.6A priority Critical patent/CN112203074B/zh
Publication of CN112203074A publication Critical patent/CN112203074A/zh
Application granted granted Critical
Publication of CN112203074B publication Critical patent/CN112203074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例公开了一种基于两步迭代的相机平移新视点图像生成方法和系统,该方法包括:获取相机与图像参数信息,并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标,其中,相机与图像参数信息包括颜色缓冲;采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据偏移量新值计算得到目标纹理坐标;根据目标纹理坐标,对上一帧的颜色缓冲进行采样以生成相机平移新视点下的图像。相对于现有技术而言,本发明的技术方案仅通过两次迭代即可生成相机平移新视点下的图像,且可通过图形管线中的像素着色器快速实现,具有成本低、简单易行的优点。

Description

一种基于两步迭代的相机平移新视点图像生成方法和系统
技术领域
本发明涉及图形渲染与图像生成技术领域,尤其涉及一种基于两步迭代的相机平移新视点图像生成方法和系统。
背景技术
随着科技的发展,头戴式VR设备逐步走近人们的生活,新视点图像生成随之成为了目前计算机视觉领域的重要研究问题之一。该问题旨在提供一张或多张同一场景的图像,生成该场景在某个视点下的图像。近年来,随着大规模深度学习的发展,各种大规模神经网络也被用于新视点图像生成领域。借助高性能GPU的通用并行计算能力与神经网络的表示能力,目前使用单图片或多图片新视点图像生成已经可以达到非常好的效果。
尽管该问题目前在计算机视觉领域已有大量研究成果,但是大部分的算法的实现依赖于高性能CPU或通用并行计算能力强大的GPU,不适用于一般的实时渲染场景(尤其是低性能的移动平台)。考虑到该问题在VR实时渲染应用等领域的应用前景,因此如何设计高效的适用于图形管线的新视点图像生成算法是一个值得研究的问题。
综上所述,当前现有技术存在新视点画面生成方法不适用于实时渲染应用的问题,且对计算机的性能要求较高,在低性能的计算设备上缺乏适用性。
发明内容
有鉴于此,本发明实施例提出一种基于两步迭代的相机平移新视点图像生成方法和系统。
本发明的一实施例提出的一种基于两步迭代的相机平移新视点图像生成方法,包括:
获取相机与图像参数信息,并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标,其中,所述相机与图像参数信息包括颜色缓冲;
采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据所述偏移量新值计算得到目标纹理坐标;
根据所述目标纹理坐标,对上一帧的所述颜色缓冲进行采样以生成相机平移新视点下的图像。
进一步地,在上述的一种基于两步迭代的相机平移新视点图像生成方法中,所述相机与图像参数信息还包括深度缓冲、相机由当前时刻至下一时刻的平移量、相机前裁剪面的长度、相机前裁剪面的高度和前裁剪面到相机的距离,其中,所述平移量包括x轴平移量、y轴平移量和z轴平移量。
进一步地,在上述的一种基于两步迭代的相机平移新视点图像生成方法中,所述“根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标”包括:
根据所述x轴平移量、y轴平移量、相机前裁剪面的长度和相机前裁剪面的高度计算第一坐标平移量;
根据所述z轴平移量、前裁剪面到相机的距离和所述第一纹理坐标计算第二坐标平移量;
将所述第一坐标平移量、第二坐标平移量和所述第一纹理坐标进行加和得到上一时刻相机位置下的所述第二纹理坐标。
进一步地,在上述的一种基于两步迭代的相机平移新视点图像生成方法中,所述近似深度值包括第一近似深度值和第二近似深度值,所述近似偏移量包括第一近似偏移量和第二近似偏移量,所述“采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据所述偏移量新值计算得到目标纹理坐标”包括:
对当前时刻相机位置下,世界坐标顶点在上一时刻相机的前裁面上的投影处的深度值进行采样得到第一近似深度值;
利用相似三角形关系,根据所述第一近似深度值计算所述第一近似偏移量和第二近似偏移量;
利用所述第一近似偏移量和第二近似偏移量对采样点的纹理坐标进行偏移得到第一近似目标纹理坐标;
对所述第一近似目标纹理坐标处的深度值进行采样得到第二近似深度值;
利用所述第二近似深度值进行迭代求解得到所述目标纹理坐标。
进一步地,在上述的一种基于两步迭代的相机平移新视点图像生成方法中,所述偏移量新值包括第一偏移量新值和第二偏移量新值,所述“利用所述第二近似深度值进行迭代求解得到所述目标纹理坐标”包括:
利用相似三角形关系,根据所述第二近似深度值计算所述第一偏移量新值和第二偏移量新值;
利用所述第一偏移量新值和第二偏移量新值对所述第一近似目标纹理坐标进行偏移得到所述目标纹理坐标。
进一步地,在上述的一种基于两步迭代的相机平移新视点图像生成方法中,根据下式计算所述第二纹理坐标:
Figure GDA0002917155670000041
其中,uv0为所述第二纹理坐标,uv为所述第一纹理坐标,Δx为所述x轴平移量,Δy为所述y轴平移量,Δz为所述z轴平移量,Lx为所述相机前裁剪面的长度,Ly为所述相机前裁剪面的高度,near为前裁剪面到相机的距离;上述公式中的“:=”称为赋值号,“:=”是赋值语句的标志;上述公式中的“:=”是表达了uv0通过右侧的各个变量赋值得到的。当然本实施例中的“:=”也可以理解为“=”特此说明;同理本实施例中出现的其他“:=”不再解释。
需要说明的是,对于一张二维纹理贴图而言,使用u和v分别代表贴图上任意一个点坐标(u,v)的两个分量,为了简便,一般把(u,v)记为uv,所以说上述公式中的“u”为第一纹理坐标的一个分量,上述公式中的“v”为第一纹理坐标的另一个分量。
进一步地,在上述的一种基于两步迭代的相机平移新视点图像生成方法中,根据下式计算所述第一近似偏移量:
Figure GDA0002917155670000042
其中,dc′为所述第一近似深度值,FA′为第一近似偏移量,同样FA′是通过右侧的各个变量赋值得到的;Δz为所述z轴平移量,near为前裁剪面到相机的距离。
进一步地,在上述的一种基于两步迭代的相机平移新视点图像生成方法中,根据下式计算所述第二近似偏移量:
Figure GDA0002917155670000043
其中,AB′为第二近似偏移量,同样AB′是通过右侧的各个变量赋值得到的;Δx为所述x轴平移量,Δy为所述y轴平移量,dc′为所述第一近似深度值,near为前裁剪面到相机的距离。
进一步地,在上述的一种基于两步迭代的相机平移新视点图像生成方法中,根据下式计算所述第一近似目标纹理坐标:
B′:=F-FA′-AB′
其中,B′为所述第一近似目标纹理坐标,F当前时刻相机位置下,世界坐标顶点在上一时刻相机的前裁面上的投影处纹理坐标,FA′为第一近似偏移量,AB′为第二近似偏移量,同样B′是一种变量,其通过公式右侧的F、FA′、AB′赋值得到。
本发明的另一实施例提出一种基于两步迭代的相机平移新视点图像生成系统,包括:
第一计算单元,用于获取相机与图像参数信息,并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标,其中,所述相机与图像参数信息包括颜色缓冲;
第二计算单元,用于采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据所述偏移量新值计算得到目标纹理坐标;
图像生成单元,用于根据所述目标纹理坐标对上一帧的所述颜色缓冲进行采样以生成相机平移新视点下的图像。
本发明的又一实施例提出一种终端,包括:处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施上述方法。
本发明的再一实施例提出一种计算机可读存储介质,其存储有计算机程序,在所述计算机程序被执行时,实施上述的一种基于两步迭代的相机平移新视点图像生成方法。
本发明实施例提出的方法首先根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标,采样得到近似深度值,并通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据偏移量新值计算得到目标纹理坐标。相对于现有技术中按照设定的步长不断步进而产生的大量迭代步骤,采用本发明实施例的方法仅通过两次迭代即可生成相机平移新视点下的图像,且可通过图形管线中的像素着色器快速实现,具有成本低、简单易行的优点。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1a示出了本发明实施例提供的新视点位置下前一帧渲染的视锥体俯视图;
图1b示出了本发明实施例提供的另一新视点位置下前一帧渲染的视锥体俯视图;
图2示出了本发明实施例提供的一种基于两步迭代的相机平移新视点图像生成方法第一流程图;
图3示出了本发明实施例提供的步骤S101的第二方法流程图;
图4示出了本发明实施例提供的步骤S102的第三方法流程图;
图5示出了本发明实施例提供的步骤S305的第四方法流程图;
图6示出了本发明实施例一种基于两步迭代的相机平移新视点图像生成系统结构示意图。
主要元件符号说明:
10-第一计算单元;20-第二计算单元;30-图像生成单元。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1
本实施例提出一种基于两步迭代的相机平移新视点图像生成方法,可以有效解决目前新视点画面生成算法不适用于实时渲染应用的问题,通过图形管线中的像素着色器即可快速实现,具有成本低、简单易行的优点。
本发明实施例假设给定场景中相机在某个时刻渲染的颜色缓冲Color0和深度缓冲Depth0(前一帧渲染结果),以及该相机从该时刻到下一个时刻(需要生成的当前帧)的平移量(Δx,Δy,Δz),假设相机的前裁剪面的长度和高度分别为Lx和Ly,前裁剪面到相机的距离为near。图1(a)(b)中显示的是前一帧渲染的视锥体的俯视图,其中C点为当前帧视线看到的世界坐标的顶点,B为其对应的在前一帧的纹理坐标(即B为C点在前一帧的纹理坐标)。考虑在一个后处理像素着色器中,对于每个纹理坐标uv,目标是找到顶点C在前一帧对应的纹理坐标B点。记uv在前裁剪面处对应的世界坐标为(x,y,z),该坐标映射到其在上一时刻的相机位置下对应的纹理坐标为uv0,其对应图1a中的点F(B点和F点分别对应上一时刻相机位置和当前时刻相机位置下,世界空间下的C点在上一时刻相机的前裁剪面上的投影)。
参照图2,下面将对本发明实施例提供的一种基于两步迭代的相机平移新视点图像生成方法进行详细阐述,其具体包括:
步骤S101,获取相机与图像参数信息,并根据后处理着色器的第一纹理坐标uv计算上一时刻相机位置下的第二纹理坐标uv0,其中,相机与图像参数信息包括颜色缓冲;
具体地,相机与图像参数信息还包括深度缓冲、相机由当前时刻至下一时刻的平移量、相机前裁剪面的长度、相机前裁剪面的高度和前裁剪面到相机的距离,其中,平移量包括x轴平移量、y轴平移量和z轴平移量。对于后处理着色器的每一个纹理坐标,通过空间中的三角形相似关系得到将其变换到前一帧对应纹理的偏移量的计算公式,该计算公式依赖于该纹理坐标对应的顶点在前一帧中的深度值。
步骤S102,采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据偏移量新值计算得到目标纹理坐标;其中,近似深度值包括第一近似深度值和第二近似深度值,近似偏移量包括第一近似偏移量和第二近似偏移量,偏移量新值包括第一偏移量新值和第二偏移量新值;
具体地,偏移量的计算依赖于深度值。本发明实施例提供了基于两步迭代的视察映射法来估计C点在前一帧的深度值dc。由于C点在前一帧的深度值dc无法直接得到,因此考虑使用视差映射方法的原理进行估计。
步骤S103,根据目标纹理坐标,对上一帧的颜色缓冲进行采样以生成相机平移新视点下的图像。
参照图3,步骤S101包括如下子步骤:
步骤S201,根据x轴平移量、y轴平移量、相机前裁剪面的长度和相机前裁剪面的高度计算第一坐标平移量;
步骤S202,根据z轴平移量、前裁剪面到相机的距离和第一纹理坐标计算第二坐标平移量;
步骤S203,将第一坐标平移量、第二坐标平移量和第一纹理坐标进行加和得到上一时刻相机位置下的第二纹理坐标。
具体地,C点在上一时刻的相机位置下对应的第二纹理坐标uv0主要由第一坐标平移量、第二坐标平移量和第一纹理坐标构成。公式(1)中,等式右侧三部分多项式的含义分别为第一纹理坐标、第一坐标平移量和第二坐标平移量。
Figure GDA0002917155670000091
其中,uv0为第二纹理坐标,uv为第一纹理坐标,Δx为x轴平移量,Δy为y轴平移量,Δz为z轴平移量,Lx为相机前裁剪面的长度,Ly为相机前裁剪面的高度,near为前裁剪面到相机的距离。
另外需要说明的是,本申请实施例涉及公式中的“:=”为赋值号,“:=”是赋值语句的标志;上述公式中的“:=”是表达了uv0通过右侧的各个变量赋值得到的;当然本实施例中的“:=”也可以理解为“=”特此说明;同理本实施例中出现的其他“:=”不再解释。
需要说明的是,对于一张二维纹理贴图而言,使用u和v分别代表贴图上任意一个点坐标(u,v)的两个分量,为了简便,一般把(u,v)记为uv,所以说上述公式中的“u”为第一纹理坐标的一个分量,上述公式中的“v”为第一纹理坐标的另一个分量。
为了从F点得到B点,需要计算两部分偏移量:(1)先计算从F点到A点的第一近似偏移量(或第一偏移量新值);(2)再计算从A点到B点的第二近似偏移量(或第二偏移量新值),这里,本发明实施例所提及的近似偏移量和偏移量新值(统称偏移量)均是根据上述计算思路进行计算。两部分的计算利用到了简单的相似三角形关系,分别由如下公式计算:
Figure GDA0002917155670000101
Figure GDA0002917155670000102
上述的两个公式中dc指的是C点在前一帧的深度值。如果dc已知,则可以得到F点到A点的偏移量和A点到B点偏移量,进而可以得到目标纹理坐标B。(即从F点到A点偏移量,后续实际计算过程中使用F点到A点的第一偏移量新值(或第一近似偏移量)进行计算)和AB(即从A点到B点偏移量,后续实际计算过程中使用的是A点到B点的第二偏移量新值(或第二近似偏移量)进行计算);上述公式2可套用第一偏移量新值(或第一近似偏移量),上述公式3可套用第二偏移量新值(或第二近似偏移量)实施计算。
根据上述思路,下面将详细阐述目标纹理坐标B的计算方法。参照图4,对目标纹理坐标的计算依赖于偏移量,对偏移量的计算依赖于深度值。采样F点处的深度值,作为dc的近似。这种简单的近似并不够准确,因此考虑以下改进的方法,步骤S102包括如下子步骤:
步骤S301,对当前时刻相机位置下,世界坐标顶点在上一时刻相机的前裁面上的投影处的深度值进行采样得到第一近似深度值d0
具体地,采样F点处的深度值,记为d0:=Depth0.sample(uv0)。
上述公式的等式右侧Depth0.sample(uv0)参数需要整体视为:对纹理坐标(即第二纹理坐标uv0)的采样深度值。
步骤S302,利用相似三角形关系,根据第一近似深度值计算第一近似偏移量和第二近似偏移量;
具体地,用d0作为dc的近似,代入公式(4)和(5)中,计算出第一近似偏移量和第二近似偏移量,分别记为FA’和AB’。第一近似偏移量和所述第二近似偏移量的表达式如下:
Figure GDA0002917155670000111
Figure GDA0002917155670000112
其中,dc′为所述第一近似深度值,FA′为第一近似偏移量,AB′为第二近似偏移量。
步骤S303,利用第一近似偏移量和第二近似偏移量对采样点的纹理坐标进行偏移得到第一近似目标纹理坐标;
具体地,得到了偏移量之后便可以利用偏移量对纹理坐标F进行偏移来得到目标纹理坐标B的近似值B’,即第一近似目标纹理坐标。计算公式如下:
B′:=F-FA′-AB′ (6)
其中,B′为第一近似目标纹理坐标,F为当前时刻相机位置下,世界坐标顶点在上一时刻相机的前裁面上的投影处纹理坐标。
步骤S304,对第一近似目标纹理坐标B’处的深度值进行采样得到第二近似深度值;
具体地,在B’处进行深度值采样,得到d1:=Depth0.sample(B′),使用d1作为dc的近似值,即第二近似深度值。上述公式的等式右侧Depth0.sample(B′)参数需要整体视为:对纹理坐标(即第一近似目标纹理坐标B’)的采样深度值。
步骤S305,利用第二近似深度值进行迭代求解得到目标纹理坐标。
具体地,参照图5,步骤S305包括如下子步骤:
步骤S401,利用相似三角形关系,根据第二近似深度值计算第一偏移量新值FA和第二偏移量新值AB;
步骤S402,利用第一偏移量新值和第二偏移量新值对第一近似目标纹理坐标进行偏移得到目标纹理坐标。
具体地,上述的两步迭代方法即得到了dc的一个近似值d1。使用该近似的深度值带入公式(2)(3)中计算,便可以得到第一偏移量新值FA和第二偏移量新值AB(第一偏移量新值和第二偏移量新值是根据近似偏移量经过计算得到的新值),故可以通过对F点进行偏移计算纹理坐标B的近似:
B:=F-FA-AB (7)
至此求解目标纹理坐标B的操作流程结束,使用该纹理坐标对上一帧的颜色缓冲Color0进行采样,便生成了最终的新视点的图像。
本实施例提出的方法首先根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标,采样得到近似深度值,并通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据偏移量新值计算得到目标纹理坐标。相对于现有技术中按照设定的步长不断步进而产生的大量迭代步骤,采用本发明实施例的方法仅通过两次迭代即可生成相机平移新视点下的图像,相比于现有技术依赖高性能CPU或其他通用并行计算平台所产生的不适用于图形渲染管线的问题,本实施例方法可以在图形渲染管线中的像素着色器上实现,保证了该方法的高效率,即使在移动端设备上的计算开销也可以保证在10ms以内,具有成本低、简单易行的优点。
实施例2
请参照图6,基于上述实施例1的一种基于两步迭代的相机平移新视点图像生成系统,包括:
第一计算单元10,用于获取相机与图像参数信息,并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标,其中,相机与图像参数信息包括颜色缓冲;
第二计算单元20,用于采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据偏移量新值计算得到目标纹理坐标;
图像生成单元30,用于根据目标纹理坐标对上一帧的所述颜色缓冲进行采样以生成相机平移新视点下的图像。
可以理解,上述的一种基于两步迭代的相机平移新视点图像生成系统对应于实施例1的一种基于两步迭代的相机平移新视点图像生成方法。实施例1中的任何可选项也适用于本实施例,这里不再详述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于两步迭代的相机平移新视点图像生成方法,其特征在于,包括:
获取相机与图像参数信息,并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标,其中,所述相机与图像参数信息包括颜色缓冲;
采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据所述偏移量新值计算得到目标纹理坐标;
根据所述目标纹理坐标,对上一帧的所述颜色缓冲进行采样以生成相机平移新视点下的图像。
2.根据权利要求1所述的基于两步迭代的相机平移新视点图像生成方法,其特征在于,所述相机与图像参数信息还包括深度缓冲、相机由当前时刻至下一时刻的平移量、相机前裁剪面的长度、相机前裁剪面的高度和前裁剪面到相机的距离,其中,所述平移量包括x轴平移量、y轴平移量和z轴平移量。
3.根据权利要求2所述的基于两步迭代的相机平移新视点图像生成方法,其特征在于,所述“根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标”包括:
根据所述x轴平移量、y轴平移量、相机前裁剪面的长度和相机前裁剪面的高度计算第一坐标平移量;
根据所述z轴平移量、前裁剪面到相机的距离和所述第一纹理坐标计算第二坐标平移量;
将所述第一坐标平移量、第二坐标平移量和所述第一纹理坐标进行加和得到上一时刻相机位置下的所述第二纹理坐标。
4.根据权利要求2所述的基于两步迭代的相机平移新视点图像生成方法,其特征在于,所述近似深度值包括第一近似深度值和第二近似深度值,所述近似偏移量包括第一近似偏移量和第二近似偏移量,所述“采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据所述偏移量新值计算得到目标纹理坐标”包括:
对当前时刻相机位置下,世界坐标顶点在上一时刻相机的前裁面上的投影处的深度值进行采样得到第一近似深度值;
利用相似三角形关系,根据所述第一近似深度值计算所述第一近似偏移量和第二近似偏移量;
利用所述第一近似偏移量和第二近似偏移量对采样点的纹理坐标进行偏移得到第一近似目标纹理坐标;
对所述第一近似目标纹理坐标处的深度值进行采样得到第二近似深度值;
利用所述第二近似深度值进行迭代求解得到所述目标纹理坐标。
5.根据权利要求4所述的基于两步迭代的相机平移新视点图像生成方法,其特征在于,所述偏移量新值包括第一偏移量新值和第二偏移量新值,所述“利用所述第二近似深度值进行迭代求解得到所述目标纹理坐标”包括:
利用相似三角形关系,根据所述第二近似深度值计算所述第一偏移量新值和第二偏移量新值;
利用所述第一偏移量新值和第二偏移量新值对所述第一近似目标纹理坐标进行偏移得到所述目标纹理坐标。
6.根据权利要求5所述的基于两步迭代的相机平移新视点图像生成方法,其特征在于,根据下式计算所述第二纹理坐标:
Figure FDA0002917155660000021
其中,uv0为所述第二纹理坐标,uv为所述第一纹理坐标,Δx为所述x轴平移量,Δy为所述y轴平移量,Δz为所述z轴平移量,Lx为所述相机前裁剪面的长度,Ly为所述相机前裁剪面的高度,near为前裁剪面到相机的距离;u为所述第一纹理坐标的一个分量,v为所述第一纹理坐标的另一个分量。
7.根据权利要求6所述的基于两步迭代的相机平移新视点图像生成方法,其特征在于,根据下式计算所述第一近似偏移量:
Figure FDA0002917155660000031
其中,dc′为所述第一近似深度值,FA′为第一近似偏移量,Δz为所述z轴平移量,near为前裁剪面到相机的距离。
8.根据权利要求7所述的基于两步迭代的相机平移新视点图像生成方法,其特征在于,根据下式计算所述第二近似偏移量:
Figure FDA0002917155660000032
其中,AB′为第二近似偏移量,Δx为所述x轴平移量,Δy为所述y轴平移量,dc′为所述第一近似深度值,near为前裁剪面到相机的距离。
9.根据权利要求8所述的基于两步迭代的相机平移新视点图像生成方法,其特征在于,根据下式计算所述第一近似目标纹理坐标:
B′:=F-FA′-AB′
其中,B′为所述第一近似目标纹理坐标,F为当前时刻相机位置下,世界坐标顶点在上一时刻相机的前裁面上的投影处纹理坐标,FA′为第一近似偏移量,AB′为第二近似偏移量。
10.一种基于两步迭代的相机平移新视点图像生成系统,其特征在于,包括:
第一计算单元,用于获取相机与图像参数信息,并根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标,其中,所述相机与图像参数信息包括颜色缓冲;
第二计算单元,用于采样得到近似深度值,通过两步迭代视差映射法计算得到近似偏移量和偏移量新值,并根据所述偏移量新值计算得到目标纹理坐标;
图像生成单元,用于根据所述目标纹理坐标对上一帧的所述颜色缓冲进行采样以生成相机平移新视点下的图像。
CN202011413272.6A 2020-12-07 2020-12-07 一种基于两步迭代的相机平移新视点图像生成方法和系统 Active CN112203074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011413272.6A CN112203074B (zh) 2020-12-07 2020-12-07 一种基于两步迭代的相机平移新视点图像生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011413272.6A CN112203074B (zh) 2020-12-07 2020-12-07 一种基于两步迭代的相机平移新视点图像生成方法和系统

Publications (2)

Publication Number Publication Date
CN112203074A CN112203074A (zh) 2021-01-08
CN112203074B true CN112203074B (zh) 2021-03-02

Family

ID=74033736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011413272.6A Active CN112203074B (zh) 2020-12-07 2020-12-07 一种基于两步迭代的相机平移新视点图像生成方法和系统

Country Status (1)

Country Link
CN (1) CN112203074B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436307B (zh) * 2021-08-27 2021-11-16 速度时空信息科技股份有限公司 基于osgEarth影像数据到UE4场景的映射算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270624A (zh) * 2014-10-08 2015-01-07 太原科技大学 一种分区域的3d视频映射方法
CN106791770A (zh) * 2016-12-20 2017-05-31 南阳师范学院 一种适用于dibr预处理过程的深度图融合方法
CN108234985A (zh) * 2018-03-21 2018-06-29 南阳师范学院 用于反向深度图渲染处理的维度变换空间下的滤波方法
US10353073B1 (en) * 2019-01-11 2019-07-16 Nurulize, Inc. Point cloud colorization system with real-time 3D visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270624A (zh) * 2014-10-08 2015-01-07 太原科技大学 一种分区域的3d视频映射方法
CN106791770A (zh) * 2016-12-20 2017-05-31 南阳师范学院 一种适用于dibr预处理过程的深度图融合方法
CN108234985A (zh) * 2018-03-21 2018-06-29 南阳师范学院 用于反向深度图渲染处理的维度变换空间下的滤波方法
US10353073B1 (en) * 2019-01-11 2019-07-16 Nurulize, Inc. Point cloud colorization system with real-time 3D visualization

Also Published As

Publication number Publication date
CN112203074A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
CN112233215B (zh) 轮廓渲染方法、装置、设备及存储介质
JP2022542548A (ja) 修正されたシェイプフロムシェーディング(sfs)スキームを使用した三角形3次元メッシュの形状改善
CN114511662A (zh) 渲染图像的方法、装置、电子设备及存储介质
EP3971839A1 (en) Illumination rendering method and apparatus, storage medium, and electronic apparatus
US11508098B2 (en) Cross-device supervisory computer vision system
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
JP2023552538A (ja) 画像処理方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
CN112203074B (zh) 一种基于两步迭代的相机平移新视点图像生成方法和系统
CN113766117B (zh) 一种视频去抖动方法和装置
Arican et al. Dense disparity estimation from omnidirectional images
US10417789B2 (en) Motion blur using cached texture space blur
CN115272575B (zh) 图像生成方法及装置、存储介质和电子设备
CN113496506A (zh) 图像处理方法、装置、设备及存储介质
CN113643343B (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
US20180158194A1 (en) Determining Optical Flow
CN112258617B (zh) 一种物体边缘修正优化的相机新视点图像生成方法和系统
CN107451540B (zh) 一种可压缩的3d识别方法
US20130002645A1 (en) Systems and methods for multimedia conversion
CN115100360B (zh) 图像生成方法及装置、存储介质和电子设备
CN116112716B (zh) 基于单指令流多数据流的虚拟人直播方法、装置及系统
CN116188668B (zh) 一种基于ios平台的阴影渲染的方法、介质及电子设备
CN110741415B (zh) 用于基于法线的纹理混合的来自深度图的平滑法线
JP2018084997A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210038

Patentee after: Nanjing Qiyuan Technology Co.,Ltd.

Address before: Room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210038

Patentee before: Nanjing iqiyi Intelligent Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder