CN107240147A - 图像渲染方法及系统 - Google Patents

图像渲染方法及系统 Download PDF

Info

Publication number
CN107240147A
CN107240147A CN201710386631.5A CN201710386631A CN107240147A CN 107240147 A CN107240147 A CN 107240147A CN 201710386631 A CN201710386631 A CN 201710386631A CN 107240147 A CN107240147 A CN 107240147A
Authority
CN
China
Prior art keywords
key frame
frame
image
key
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710386631.5A
Other languages
English (en)
Other versions
CN107240147B (zh
Inventor
徐枫
罗必成
雍俊海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710386631.5A priority Critical patent/CN107240147B/zh
Publication of CN107240147A publication Critical patent/CN107240147A/zh
Application granted granted Critical
Publication of CN107240147B publication Critical patent/CN107240147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/08—Gnomonic or central projection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像渲染方法及系统，包括：获取步骤，获取待渲染图像的图像帧，其中，所述图像帧包括多个关键帧和多个参考帧，一个关键帧对应多个参考帧，所述关键帧为具体的场景光学信息，参考帧为关键帧的深度信息；处理步骤，根据所述多个关键帧和多个参考帧得到两种运动场，其中，所述两种运动场包括：所述关键帧与参考帧之间的运动场，不同关键帧之间的运动场；渲染步骤，根据多个处理后的关键帧渲染得到渲染图像。本发明通过利用两种不同尺度的运动场，实现了360°全景图渲染效果。

Description

图像渲染方法及系统
技术领域
本发明涉及计算机多媒体技术领域，特别涉及一种图像渲染方法及系统。
背景技术
随着头戴式显示器技术的快速发展，虚拟现实(VR)技术变得日益成熟。虽然近些年 头戴式显示器设备越来越多地问世，但是虚拟现实的内容还是极大地受到了技术瓶颈的限制。 为了实现更加具有真实感的真实场景VR内容，需要大量人工的繁杂的三维场景重建工作。
目前来说，生成真实场景的VR内容的主要办法是全景图和双目立体全景图。全景图的 生成是通过拼贴多张普通照相机所拍摄到的图片的方法来实现的。但是由于全景图的固有图 片属性，它不具备场景的深度信息。也就是说，全景图仅是利用了头戴式显示器的一种二维 图像浏览功能。双目立体全景图虽然提供了两个眼睛不同的渲染内容，但是仅仅只是一种立 体视觉。所以它所能提供的只是在一个水平面上的圆上运动的正确渲染效果。
一种在任意位置上进行完美的三维视觉的渲染的办法就是将整个场景的几何信息给完 整地重建出来。这样的话，任意视角的图像就可以通过简单的照相机投影变换来进行渲染。 这种办法是目前头戴式显示器渲染虚拟场景的主流手段。但是目前的三维重建技术主要致力 于从多视角的图像当中重建出某个三维物体。这些物体大多体型较小，且拍摄视角可以自由 确定。当试图重建一个360°的外周场景时，场景的体积大小和拍摄视角的局限使得这个方法 变得不再可行。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种图像渲染方法。该图像渲染方法通过利用两种不 同尺度的运动场：关键帧与参考帧的运动场和关键帧与关键帧的运动场，来实现大范围的真 实场景的渲染。关键帧与参考帧的运动场实现了关键帧周围视角的鲁棒估计，而关键帧与关 键帧的运动场保证了高质量的平滑关键帧切换，实现了360°全景图渲染效果。
本发明的另一个目的在于提出一种图像渲染系统。
为了实现上述目的，本发明的一方面公开了一种图像渲染方法，包括：获取步骤，获取 待渲染图像的图像帧，其中，所述图像帧包括多个关键帧和多个参考帧，一个关键帧对应多 个参考帧，所述关键帧为具体的场景光学信息，参考帧为关键帧的深度信息；处理步骤，根 据所述多个关键帧和多个参考帧得到两种运动场，其中，所述两种运动场包括：所述关键帧 与参考帧之间的运动场，不同关键帧之间的运动场；渲染步骤，根据多个处理后的关键帧渲 染得到渲染图像。
根据本发明的图像渲染方法，通过利用两种不同尺度的运动场：关键帧与参考帧的运动 场和关键帧与关键帧的运动场，来实现大范围的真实场景的渲染。关键帧与参考帧的运动场 实现了关键帧周围视角的鲁棒估计，而关键帧与关键帧的运动场保证了高质量的平滑关键帧 切换，实现了360°全景图渲染效果。
另外，根据本发明上述实施例的图像渲染方法还可以具有如下附加的技术特征：
进一步地，获取待渲染图像的关键帧的方法包括：建立一个固定半径的采样球，相隔固 定的经度和纬度，在球面上进行朝向与球面法向方向相同，进行采样以获取关键帧。
进一步地，获取待渲染图像的参考帧的方法包括：在所述关键帧的周围划分一个固定半 径的采样球，在采样球上相隔固定的角度，在球面上进行朝向与球面法向方向相同，进行采 样以获取参考帧。
进一步地，得到关键帧与参考帧之间的运动场的方法为：通过计算关键帧与参考帧之间 的光流得到关键帧与参考帧之间的运动场。
进一步地，所述渲染步骤具体包括：确定待渲染图像的最邻近关键帧；获取最邻近关键 帧与其他关键帧之间的方向与距离差异；根据方向与距离差异对关键帧进行渲染；基于光流 混合，获取渲染图像。
本发明的另一方面公开了一种图像渲染系统，包括：获取模块，用于获取待渲染图像的 图像帧，其中，所述图像帧包括多个关键帧和多个参考帧，一个关键帧对应多个参考帧，所 述关键帧为具体的场景光学信息，参考帧为关键帧的深度信息；处理模块，用于根据所述多 个关键帧和多个参考帧得到两种运动场，其中，所述两种运动场包括：所述关键帧与参考帧 之间的运动场，不同关键帧之间的运动场；渲染模块，用于根据多个处理后的关键帧渲染得 到渲染图像。
根据本发明的图像渲染系统，通过利用两种不同尺度的运动场：关键帧与参考帧的运动 场和关键帧与关键帧的运动场，来实现大范围的真实场景的渲染。关键帧与参考帧的运动场 实现了关键帧周围视角的鲁棒估计，而关键帧与关键帧的运动场保证了高质量的平滑关键帧 切换，实现了360°全景图渲染效果。
另外，根据本发明上述实施例的图像渲染系统还可以具有如下附加的技术特征：
进一步地，获取待渲染图像的关键帧的方法包括：建立一个固定半径的采样球，相隔固 定的经度和纬度，在球面上进行朝向与球面法向方向相同，进行采样以获取关键帧。
进一步地，获取待渲染图像的参考帧的方法包括：所述关键帧的周围划分一个固定半径 的采样球，在采样球上相隔固定的角度，在球面上进行朝向与球面法向方向相同，进行采样 以获取参考帧。
进一步地，得到关键帧与参考帧之间的运动场的方法为：通过计算关键帧与参考帧之间 的光流得到关键帧与参考帧之间的运动场。
进一步地，所述渲染模块具体包括：确定待渲染图像的最邻近的关键帧；获取最邻近关 键帧与其他关键帧之间的方向与距离差异；根据方向与距离差异对关键帧进行渲染；基于光 流混合，获取渲染图像。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和 容易理解，其中：
图1是根据本发明一个实施例的图像渲染方法的流程图；
图2是根据本发明一个实施例的图像渲染方法的示意图；
图3是根据本发明一个实施例的关键帧与参考帧关系的示意图；
图4是根据本发明一个实施例的获取帧内运动场的示意图；
图5是根据本发明一个实施例的渲染步骤的流程图；
图6是根据本发明一个实施例的光流混合方法渲染示意图；
图7是根据本发明一个实施例的立体双目全景图和本方法在Oculus DK2上渲染得到的 结果图；
图8是根据本发明一个实施例的图像渲染系统的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或 类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的 实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的图像渲染方法及系统。
图1是根据本发明一个实施例的图像渲染方法的流程图。
如图1所示，根据本发明一个实施例的图像渲染方法，包括：
S10：获取步骤，获取待渲染图像的图像帧，其中，图像帧包括多个关键帧和多个参考 帧，一个关键帧对应多个参考帧，关键帧为具体的场景光学信息，参考帧为关键帧的深度信 息。
获取待渲染图像的关键帧的方法包括：建立一个固定半径的采样球，相隔固定的经度和 纬度，在球面上进行朝向与球面法向方向相同，进行采样以获取关键帧。
结合图2所示，假定，采集某个特定视角的图像，则，图2(a)以这个特定视角建立一个固定半径的采样球，相隔固定的经度和纬度，在球面上进行朝向与球面法向方向相同，进行拍照采样，即获取了关键帧11、12、13。
获取待渲染图像的参考帧的方法包括：在关键帧的周围划分一个固定半径的采样球，在 采样球上相隔固定的角度，在球面上进行朝向与球面法向方向相同，进行采样以获取参考帧。
结合图3所示，图3(a)中对某个特定视角进行采样，采集特定视角图像的多个关键帧，以关键帧11为例，图3(b)中在关键帧11的周围划分一个固定半径的采样球，在在采 样球上相隔固定的角度，在球面上进行朝向与球面法向方向相同进行拍照采样，进行采样以获取参考帧11.1～11.6，这6个关键帧。图3(c)为关键帧11以及对应的关键帧11的6个 参考帧11.1～11.6的图像。
S20：处理步骤，根据多个关键帧和多个参考帧得到两种运动场，其中，两种运动场包 括：第一个为关键帧与参考帧之间的运动场，也可说成帧内运动场。第二个为不同关键帧之 间的运动场，也可以说成帧间运动场。
其中，帧内运动场用来表示隐式的深度信息，外周场景的显式深度信息的获取往往受限 于场景的开阔程度，所以利用多张参照帧表示的隐式信息更加适合表达外周场景；帧间运动 场用来确保切换关键帧时候的平滑过渡，消除图像的渲染瑕疵，提高渲染速度。
结合图2所示，在图2(c)中，(1)为关键帧11具体的场景光学信息，(2)为关键帧 与参考帧之间的运动场。以此类推，关键帧12的上侧为关键帧12具体的场景光学信息，下 侧为关键帧12与其参考帧之间的运动场，关键帧13的上侧为关键帧13具体的场景光学信 息，下侧为关键帧13与其参考帧之间的运动场。(3)为关键帧11和关键帧12之间的运动 场，(4)为关键帧12和关键帧13之间的运动场。
具体的，得到关键帧与参考帧之间的运动场的方法为：通过计算关键帧与参考帧之间的 光流得到关键帧与参考帧之间的运动场。
结合图4所示，具体包括：将关键帧划分为多个等大小的图像块(例如8×8像素大小)， 记图像块为P，图像块中的像素为p；
分别计算关键帧与其对应的若干参照帧之间的光流，设光流为F＝{f1,f2,…,f6}，其中 fi(p)指的是像素p在光流fi中对应的运动向量；结合图4所示，(a)为6张参考帧，(b)为参考帧与关键帧计算得到的光流{f1,f2,…,f6}。
定义描述图像块的运动和图像库中像素的运动差异的能量函数为：
Ef(i)＝∑P(fi(P)-∑p∈Pwpfi(p))，
其中所有像素的都是相同权重的。
定义相邻近图像块的运动差异的能量函数为：
其中，N(P)指的是P领域附近的其他图像块，d(P1,P2)表示的P1中心位置到P2中心位置的欧 式距离，SSD(P1,P2)指的是这两个图像块的像素颜色的方差和。
定义图像块上若干个运动向量的对称性的能量函数为：
将上述三种能量函数线性组合到一起，求解如下所示的表达式：
arg minfαsEs+∑iαcEc(i)+∑iEf(i)，
其中αs和αc是相应能量函数的权重。通过求解上述表达式，可以确定图像块对应的若干个运 动向量，其中，对于每个关键帧中的每个图像都对应一条拟合出的曲线。具体结合图4(c) 所示，为经过能量函数优化求解之后，得到相应的每个图像块对应的运动向量。
将这若干个运动向量的终点作为曲线拟合的输入，得到一条穿过所有运动向量终点的曲 线。具体，结合图4(d)所示，为对于关键帧中的每个图像块，最后计算得到一个穿过运 动向量重点的拟合曲线，即为帧间运动场。
S30：渲染步骤，根据多个处理后的关键帧渲染得到渲染图像。
结合图5所示，渲染步骤具体包括：
S31：确定待渲染图像的最邻近关键帧。
对于待渲染图像为某个特定视角的图像，其中采集这个特定视角的多个关键帧后，在多 个关键帧中确定一个与这个特定视角的图像最邻近的关键帧。
S32：获取最邻近关键帧与其他关键帧之间的方向与距离差异。
S33：根据方向与距离差异对关键帧进行渲染。
S34：基于光流混合，获取渲染图像。
对于步骤S34具体进行基于光流的混合的方法包括以下步骤：以关键帧为K个为例，
建立最邻近关键帧所渲染出来的新视角图像与其他k-1个关键帧所渲染出来的新视角图 像的系数匹配；
将这k-1个稀疏匹配对应成图像空间当中的k-1个向量，获得这k-1个向量的凸包(包 含k个顶点)；
在这个凸包当中，根据k个关键帧各自的权重，计算得到一个凸包的重心位置；
得到重心位置到凸包各个定点的向量，即为最终渲染出来的帧与各个新视角图像的匹配；
基于这k个匹配，找到新视角图像上的像素并进行加权平均，得到最终混合出的新视角 图像。
作为一个示例，如图6所示，首先某个特定视下的场景，定位到最邻近的2个关键帧。 (a)关键帧 与帧间运动场fk。对于这两个关键帧，都计算出该视角与关键帧对应视 角的方向和距离差异。利用这两个参数进行新视角的渲染，(b)这两个关键帧渲染出的两个 新视角图像 以及他们之间的光流fb。并对这两个关键帧渲染出的两个新视角图像进 行基于光流的混合。(c)最终经过基于光流的混合以后得到的新视角图像It。
本发明可以用于头戴式显示器渲染的系统，实现了360°真实场景在头戴式显示器上的实 时渲染。与传统全景图和双目立体全景图相比，本发明能够渲染出更加具有真实感的带有深 度信息的场景。此技术中的图像采样部分需要使用计算机渲染合成的结果(真实场景下的采 样需要一套可计算机控制位置的摄像头采样系统上实现)；渲染部分可以在装配有头戴式显 示器的普通PC机上实现。
结合图7所示，将普通的头戴式显示器显示的画面与应用本发明的头戴式显示器进行了 对比，立体双目全景图和本方法给出来的结果在Oculus DK2上的对比。立体双目全景图为 第一行的结果，本方法为第二行的结果。聚焦图中的21、22、23这三棵书，当左右旋转头 戴式显示器的时候，第二行的21号树与22和23号树之间是原理的关系，然而，第一行的 结果三棵树没有明显变化，所以，利用本方法渲染的图像，是重建了一个360°全景图；而全景图的方法则为损失掉这一部分信息。小的图像示例分别为左边Oculus DK2中渲染结果左眼和右眼的特定部分。
根据本发明的图像渲染方法，通过利用两种不同尺度的运动场：关键帧与参考帧的运动 场和关键帧与关键帧的运动场，来实现大范围的真实场景的渲染。关键帧与参考帧的运动场 实现了关键帧周围视角的鲁棒估计，而关键帧与关键帧的运动场保证了高质量的平滑关键帧 切换，实现了360°全景图渲染效果。
图8是根据本发明一个实施例的图像渲染系统的结构图。
如图8所示，本发明一个实施例的图像渲染系统800，包括：获取模块810、处理模块820、渲染模块830。
其中，获取模块810用于获取待渲染图像的图像帧，其中，图像帧包括多个关键帧和多 个参考帧，一个关键帧对应多个参考帧，关键帧为具体的场景光学信息，参考帧为关键帧的 深度信息。处理模块820用于根据多个关键帧和多个参考帧得到两种运动场，其中，两种运 动场包括：关键帧与参考帧之间的运动场，不同关键帧之间的运动场。渲染模块830用于根 据多个处理后的关键帧渲染得到渲染图像。
根据本发明的图像渲染系统，通过利用两种不同尺度的运动场：关键帧与参考帧的运动 场和关键帧与关键帧的运动场，来实现大范围的真实场景的渲染。关键帧与参考帧的运动场 实现了关键帧周围视角的鲁棒估计，而关键帧与关键帧的运动场保证了高质量的平滑关键帧 切换，实现了360°全景图渲染效果。
在一些实施例中，获取待渲染图像的关键帧的方法包括：建立一个固定半径的采样球， 相隔固定的经度和纬度，在球面上进行朝向与球面法向方向相同，进行采样以获取关键帧。
在一些实施例中，获取待渲染图像的参考帧的方法包括：关键帧的周围划分一个固定半 径的采样球，在采样球上相隔固定的角度，在球面上进行朝向与球面法向方向相同，进行采 样以获取参考帧。
在一些实施例中，得到关键帧与参考帧之间的运动场的方法为：通过计算关键帧与参考 帧之间的光流得到关键帧与参考帧之间的运动场。
在一些实施例中，渲染模块具体包括：确定待渲染图像的最邻近的关键帧；获取最邻近 关键帧与其他关键帧之间的方向与距离差异；根据方向与距离差异对关键帧进行渲染；基于 光流混合，获取渲染图像。
需要说明的是，本发明实施例的图像渲染系统的具体实现方式与本发明实施例的图像渲 染方法的具体实现方式类似，具体请参见图像渲染方法部分的描述，为了减少冗余，此处不 做赘述。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者 隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含 地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等， 除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术 语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连 接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内 部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而 言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含 于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对 的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多 个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可 以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进 行变化、修改、替换和变型。

Claims (10)

1.一种图像渲染方法，其特征在于，包括：
获取步骤，获取待渲染图像的图像帧，其中，所述图像帧包括多个关键帧和多个参考帧，一个关键帧对应多个参考帧，所述关键帧为具体的场景光学信息，参考帧为关键帧的深度信息；
处理步骤，根据所述多个关键帧和多个参考帧得到两种运动场，其中，所述两种运动场包括：所述关键帧与参考帧之间的运动场，不同关键帧之间的运动场；
渲染步骤，根据多个处理后的关键帧渲染得到渲染图像。
2.根据权利要求1所述的图像渲染方法，其特征在于，获取待渲染图像的关键帧的方法包括：
建立一个固定半径的采样球，相隔固定的经度和纬度，在球面上进行朝向与球面法向方向相同，进行采样以获取关键帧。
3.根据权利要求2所述的图像渲染方法，其特征在于，获取待渲染图像的参考帧的方法包括：
在所述关键帧的周围划分一个固定半径的采样球，在采样球上相隔固定的角度，在球面上进行朝向与球面法向方向相同，进行采样以获取参考帧。
4.根据权利要求1所述的图像渲染方法，其特征在于，得到关键帧与参考帧之间的运动场的方法为：通过计算关键帧与参考帧之间的光流得到关键帧与参考帧之间的运动场。
5.根据权利要求1所述的图像渲染方法，其特征在于，所述渲染步骤具体包括：
确定待渲染图像的最邻近关键帧；
获取最邻近关键帧与其他关键帧之间的方向与距离差异；
根据方向与距离差异对关键帧进行渲染；
基于光流混合，获取渲染图像。
6.一种图像渲染系统，其特征在于，包括：
获取模块，用于获取待渲染图像的图像帧，其中，所述图像帧包括多个关键帧和多个参考帧，一个关键帧对应多个参考帧，所述关键帧为具体的场景光学信息，参考帧为关键帧的深度信息；
处理模块，用于根据所述多个关键帧和多个参考帧得到两种运动场，其中，所述两种运动场包括：所述关键帧与参考帧之间的运动场，不同关键帧之间的运动场；
渲染模块，用于根据多个处理后的关键帧渲染得到渲染图像。
7.根据权利要求6所述的图像渲染系统，其特征在于，获取待渲染图像的关键帧的方法包括：
建立一个固定半径的采样球，相隔固定的经度和纬度，在球面上进行朝向与球面法向方向相同，进行采样以获取关键帧。
8.根据权利要求7所述的图像渲染系统，其特征在于，获取待渲染图像的参考帧的方法包括：
所述关键帧的周围划分一个固定半径的采样球，在采样球上相隔固定的角度，在球面上进行朝向与球面法向方向相同，进行采样以获取参考帧。
9.根据权利要求6所述的图像渲染系统，其特征在于，得到关键帧与参考帧之间的运动场的方法为：通过计算关键帧与参考帧之间的光流得到关键帧与参考帧之间的运动场。
10.根据权利要求6所述的图像渲染系统，其特征在于，所述渲染模块具体包括：确定待渲染图像的最邻近的关键帧；获取最邻近关键帧与其他关键帧之间的方向与距离差异；根据方向与距离差异对关键帧进行渲染；基于光流混合，获取渲染图像。
CN201710386631.5A 2017-05-26 2017-05-26 图像渲染方法及系统 Active CN107240147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710386631.5A CN107240147B (zh) 2017-05-26 2017-05-26 图像渲染方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710386631.5A CN107240147B (zh) 2017-05-26 2017-05-26 图像渲染方法及系统

Publications (2)

Publication Number Publication Date
CN107240147A true CN107240147A (zh) 2017-10-10
CN107240147B CN107240147B (zh) 2020-01-14

Family

ID=59985277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710386631.5A Active CN107240147B (zh) 2017-05-26 2017-05-26 图像渲染方法及系统

Country Status (1)

Country Link
CN (1) CN107240147B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166174A (zh) * 2018-08-01 2019-01-08 清华大学 基于多视图草绘的陶瓷原型三维网格模型生成方法及装置
CN109903393A (zh) * 2019-02-22 2019-06-18 清华大学 基于深度学习的新视角场景合成方法和装置
CN109992103A (zh) * 2017-11-21 2019-07-09 辉达公司 在渲染期间利用注视信息调整角度采样率
CN110599962A (zh) * 2019-09-23 2019-12-20 深圳清华大学研究院 不同颜色序列Delta型子像素显示面板的渲染方法
CN110692246A (zh) * 2017-11-20 2020-01-14 谷歌有限责任公司 用于视频代码化中的运动补偿预测的基于运动场的参考帧渲染
CN111640173A (zh) * 2020-05-09 2020-09-08 杭州群核信息技术有限公司 一种基于特定路径的家装漫游动画的云端渲染方法及系统
CN114862725A (zh) * 2022-07-07 2022-08-05 广州光锥元信息科技有限公司 基于光流法实现运动感知模糊特效的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164326A (ja) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体
CN101400001A (zh) * 2008-11-03 2009-04-01 清华大学 一种视频帧深度图的生成方法及系统
CN103413322A (zh) * 2013-07-16 2013-11-27 南京师范大学 序列视频关键帧提取方法
CN104679818A (zh) * 2014-12-25 2015-06-03 安科智慧城市技术（中国）有限公司 一种视频关键帧提取方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164326A (ja) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体
CN101400001A (zh) * 2008-11-03 2009-04-01 清华大学 一种视频帧深度图的生成方法及系统
CN103413322A (zh) * 2013-07-16 2013-11-27 南京师范大学 序列视频关键帧提取方法
CN104679818A (zh) * 2014-12-25 2015-06-03 安科智慧城市技术（中国）有限公司 一种视频关键帧提取方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张聪炫，等: "金字塔光流三维运动估计与深度重建直接方法", 《仪器仪表学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110692246A (zh) * 2017-11-20 2020-01-14 谷歌有限责任公司 用于视频代码化中的运动补偿预测的基于运动场的参考帧渲染
CN110692246B (zh) * 2017-11-20 2023-01-03 谷歌有限责任公司 用于运动补偿预测的方法和装置
CN109992103A (zh) * 2017-11-21 2019-07-09 辉达公司 在渲染期间利用注视信息调整角度采样率
CN109992103B (zh) * 2017-11-21 2022-07-05 辉达公司 用于在渲染期间调整角度采样率的方法、系统和存储介质
CN109166174A (zh) * 2018-08-01 2019-01-08 清华大学 基于多视图草绘的陶瓷原型三维网格模型生成方法及装置
CN109903393A (zh) * 2019-02-22 2019-06-18 清华大学 基于深度学习的新视角场景合成方法和装置
CN109903393B (zh) * 2019-02-22 2021-03-16 清华大学 基于深度学习的新视角场景合成方法和装置
CN110599962A (zh) * 2019-09-23 2019-12-20 深圳清华大学研究院 不同颜色序列Delta型子像素显示面板的渲染方法
CN110599962B (zh) * 2019-09-23 2020-10-23 深圳清华大学研究院 不同颜色序列Delta型子像素显示面板的渲染方法
CN111640173A (zh) * 2020-05-09 2020-09-08 杭州群核信息技术有限公司 一种基于特定路径的家装漫游动画的云端渲染方法及系统
CN111640173B (zh) * 2020-05-09 2023-04-21 杭州群核信息技术有限公司 一种基于特定路径的家装漫游动画的云端渲染方法及系统
CN114862725A (zh) * 2022-07-07 2022-08-05 广州光锥元信息科技有限公司 基于光流法实现运动感知模糊特效的方法及装置

Also Published As

Publication number Publication date
CN107240147B (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN107240147A (zh) 图像渲染方法及系统
CN105704479B (zh) 3d显示系统用的测量人眼瞳距的方法及系统和显示设备
CN107976811B (zh) 一种基于虚拟现实混合的仿真实验室及其仿真方法
Cao et al. Semi-automatic 2D-to-3D conversion using disparity propagation
Lai et al. Real-time panoramic depth maps from omni-directional stereo images for 6 dof videos in virtual reality
CN108227916A (zh) 用于确定沉浸式内容中的兴趣点的方法和设备
US20150187132A1 (en) System and method for three-dimensional visualization of geographical data
JP7386888B2 (ja) 画面上の話者のフューショット合成
US10621777B2 (en) Synthesis of composite images having virtual backgrounds
CN106688231A (zh) 立体图像记录和回放
CN110971678B (zh) 一种基于5g网络的沉浸式可视化校园系统
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
CN109510975B (zh) 一种视频图像的提取方法、设备及系统
CN107005689B (zh) 数字视频渲染
CN108616730A (zh) 一种基于虚拟现实的立体弹幕方法及系统
CN107862718A (zh) 4d全息视频捕捉方法
US20220353486A1 (en) Method and System for Encoding a 3D Scene
US20170104982A1 (en) Presentation of a virtual reality scene from a series of images
CN108564654B (zh) 三维大场景的画面进入方式
US9897806B2 (en) Generation of three-dimensional imagery to supplement existing content
CN103248910A (zh) 三维成像系统及其图像再现方法
CN115423916A (zh) 基于xr技术的沉浸式互动直播构建方法、系统及介质
CN100486140C (zh) 基于因特网的立体视频监视方法及系统
Nocent et al. 3d displays and tracking devices for your browser: A plugin-free approach relying on web standards
Zhang et al. 3D communication system integrating 3D reconstruction and rendering display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant