CN114937140B - 面向大规模场景的图像渲染质量预测与路径规划系统 - Google Patents

面向大规模场景的图像渲染质量预测与路径规划系统 Download PDF

Info

Publication number
CN114937140B
CN114937140B CN202210875075.9A CN202210875075A CN114937140B CN 114937140 B CN114937140 B CN 114937140B CN 202210875075 A CN202210875075 A CN 202210875075A CN 114937140 B CN114937140 B CN 114937140B
Authority
CN
China
Prior art keywords
viewpoint
information
virtual viewpoint
determining
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210875075.9A
Other languages
English (en)
Other versions
CN114937140A (zh
Inventor
黄惠
易子沐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210875075.9A priority Critical patent/CN114937140B/zh
Publication of CN114937140A publication Critical patent/CN114937140A/zh
Application granted granted Critical
Publication of CN114937140B publication Critical patent/CN114937140B/zh
Priority to US18/350,603 priority patent/US20240031550A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种面向大规模场景的图像渲染质量预测与路径规划方法。该方法包括：获取代理模型在虚拟视点的视点范围内的多个表面点；代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体；针对每个表面点，确定表面点对应的多个光度信息之间的光度误差；多个光度信息是表面点分别在多个可见采集视点下的光度信息；可见采集视点是多个采集视点中的、且可见到表面点的采集视点；基于光度误差，确定虚拟视点和可见采集视点针对表面点的观察角度相似度和分辨率相似度；基于多个表面点对应的观察角度相似度和分辨率相似度，确定在虚拟视点下对代理模型的渲染质量信息。采用本方法能够评估虚拟视点。

Description

面向大规模场景的图像渲染质量预测与路径规划系统
技术领域
本申请涉及图像处理技术领域，特别是涉及一种面向大规模场景的图像渲染质量预测与路径规划系统。
背景技术
随着VR头显（虚拟现实头戴式显示设备）与无人机设备的技术发展以及市场普及，越来越多应用提出了对真实场景渲染的需求。基于图像渲染技术以其低成本、高效率的特性，成为了满足这一类需求的最佳技术方案。得益于其较低的输入数据采集门槛与广阔的应用前景，基于图像渲染成为了大多数研究工作的目标，因而得到了广泛的研究。
在图像渲染过程中，往往需要选择在某个虚拟视点下进行渲染。一般情况下，是通过用户对在某个虚拟视点下的渲染结果进行主观评分，从而选择虚拟视点，导致对虚拟视点的评分难以量化。因此，需要对虚拟视点下的渲染质量做一定的预测，从而可以评估出所选择的虚拟视点的好坏。
发明内容
基于此，有必要针对上述技术问题，提供一种能够评估虚拟视点的面向大规模场景的图像渲染质量预测与路径规划系统。
第一方面，本申请提供了一种面向大规模场景的图像渲染质量预测与路径规划方法。所述方法包括：
获取代理模型在虚拟视点的视点范围内的多个表面点；所述代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体；
针对每个所述表面点，确定所述表面点对应的多个光度信息之间的光度误差；所述多个光度信息是所述表面点分别在多个可见采集视点下的光度信息；所述可见采集视点是所述多个采集视点中的、且可见到所述表面点的采集视点；
基于所述光度误差，确定所述虚拟视点和所述可见采集视点针对所述表面点的观察角度相似度和分辨率相似度；
基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息。
在其中一个实施例中，所述光度误差为第一光度误差；所述多个光度信息为多个第一光度信息，所述方法还包括：
确定所述虚拟视点发出的且不与所述代理模型相交的多个第一光线；
针对所述第一光线，确定所述多个采集视点分别发出的、与所述第一光线平行且不与所述代理模型相交的第二光线；
确定多个所述第二光线的多个第二光度信息之间的第二光度误差；所述第二光度信息是在所述第二光线上、且与所述代理模型的背景相交的点的光度信息；
基于所述多个第一光线对应的多个所述第二光度误差，得到所述虚拟视点对应的背景渲染质量；
所述基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息包括：
基于所述背景渲染质量、以及多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定所述虚拟视点对应的渲染质量信息。
在其中一个实施例中，所述基于所述光度误差，确定所述虚拟视点和所述可见采集视点针对所述表面点的观察角度相似度和分辨率相似度包括：
确定所述虚拟视点和所述可见采集视点相对于所述表面点的角度信息；
确定所述虚拟视点和所述可见采集视点相对于所述表面点的距离信息；
基于所述光度误差和所述角度信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的观察角度相似度；
基于所述光度误差和所述距离信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的分辨率相似度。
在其中一个实施例中，所述确定所述虚拟视点和所述可见采集视点相对于所述表面点的角度信息包括：
确定所述虚拟视点和所述表面点之间的虚拟光线；
确定所述可见采集视点和所述表面点之间的采集光线；
将所述虚拟光线和所述采集光线之间的夹角角度值作为所述虚拟视点和所述可见采集视点相对于所述表面点的角度信息。
在其中一个实施例中，所述确定所述虚拟视点和所述可见采集视点相对于所述表面点的距离信息包括：
确定所述虚拟视点和所述表面点之间的虚拟距离；
确定所述可见采集视点和所述表面点之间的采集距离；
基于所述虚拟距离和所述采集距离之间的距离差值和所述采集距离之间的比例值得到所述虚拟视点和所述可见采集视点相对于所述表面点的距离信息。
在其中一个实施例中，所述基于所述光度误差和所述角度信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的观察角度相似度包括：
从多个所述可见采集视点各自对应的所述角度信息中确定最小角度信息；
基于所述光度误差和所述最小角度信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的观察角度相似度；其中，在所述最小角度信息不变的情况下，所述光度误差的大小和所述观察角度相似度的大小负相关。
在其中一个实施例中，所述基于所述光度误差和所述距离信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的分辨率相似度包括：
从多个所述可见采集视点各自对应的所述距离信息中确定最小距离信息；
基于所述最小距离信息和所述光度误差，确定所述虚拟视点和所述可见采集视点相对于所述表面点的分辨率相似度；其中，在所述最小距离信息不变的情况下，所述光度误差的大小与所述分辨率相似度的大小负相关。
在其中一个实施例中，在所述获取代理模型在虚拟视点的视点范围内的多个表面点之前，所述方法还包括：
确定待渲染路径的起点和终点以及渲染质量阈值；
基于所述起点和所述终点之间的多个路径点选取虚拟视点；
在所述基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度确定所述虚拟视点对应的渲染质量之后，所述方法还包括：
若所述渲染质量小于所述渲染质量阈值，则重新选取新的虚拟视点并返回执行所述获取虚拟视点可见的代理模型上的多个表面点以及后续步骤，直至所选择的虚拟视点和所述终点之间的距离满足结束条件。
第二方面，本申请还提供了一种面向大规模场景的图像渲染质量预测与路径规划系统。所述系统包括预测端：
所述预测端，用于获取代理模型在虚拟视点的视点范围内的多个表面点；所述代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体；针对每个所述表面点，确定所述表面点对应的多个光度信息之间的光度误差；所述多个光度信息是所述表面点分别在多个可见采集视点下的光度信息；所述可见采集视点是所述多个采集视点中的、且可见到所述表面点的采集视点；
所述预测端，还用于基于所述光度误差，确定所述虚拟视点和所述可见采集视点针对所述表面点的观察角度相似度和分辨率相似度；
所述预测端，还用于基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述面向大规模场景的图像渲染质量预测与路径规划方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述面向大规模场景的图像渲染质量预测与路径规划方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行上述面向大规模场景的图像渲染质量预测与路径规划方法的步骤。
上述面向大规模场景的图像渲染质量预测与路径规划方法、系统、计算机设备、存储介质和计算机程序产品，通过获取代理模型在虚拟视点的视点范围内的多个表面点；所述代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体。针对每个所述表面点，确定所述表面点对应的多个光度信息之间的光度误差；所述多个光度信息是所述表面点分别在多个可见采集视点下的光度信息；所述可见采集视点是所述多个采集视点中的、且可见到所述表面点的采集视点。可以理解，光度误差可以表征代理模型对应真实物体的表面漫反射程度。基于所述光度误差，确定所述虚拟视点和所述可见采集视点针对所述表面点的观察角度相似度和分辨率相似度。这样，就可以根据漫反射程度来确定观察角度相似度和分辨率相似度，从而提高准确性。基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息。这样，就可以预测出虚拟视点的渲染质量信息，以对虚拟视点进行评估，并提高了评估的准确性。
附图说明
图1为一个实施例中面向大规模场景的图像渲染质量预测与路径规划方法的应用环境图；
图2为一个实施例中面向大规模场景的图像渲染质量预测与路径规划方法的流程示意图；
图3为一个实施例中面向大规模场景的图像渲染质量预测与路径规划方法的原理示意图；
图4为一个实施例中面向大规模场景的图像渲染质量预测与路径规划方法的原理示意图；
图5为一个实施例中面向大规模场景的图像渲染质量预测与路径规划方法的应用示意图；
图6为一个实施例中面向大规模场景的图像渲染质量预测与路径规划方法的效果示意图；
图7为一个实施例中面向大规模场景的图像渲染质量预测与路径规划方法的效果示意图；
图8为一个实施例中面向大规模场景的图像渲染质量预测与路径规划系统的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的面向大规模场景的图像渲染质量预测与路径规划方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与服务器120进行通信。数据存储系统可以存储服务器120需要处理的数据。数据存储系统可以集成在服务器120上，也可以放在云上或其他网络服务器上。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
服务器120可以获取代理模型在虚拟视点的视点范围内的多个表面点；代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体。服务器120针对每个表面点，确定表面点对应的多个光度信息之间的光度误差；多个光度信息是表面点分别在多个可见采集视点下的光度信息；可见采集视点是多个采集视点中的、且可见到表面点的采集视点。服务器120基于光度误差，确定虚拟视点和可见采集视点针对表面点的观察角度相似度和分辨率相似度。服务器120基于多个表面点对应的观察角度相似度和分辨率相似度，确定在虚拟视点下对代理模型的渲染质量信息。服务器120可以将虚拟视点的渲染质量信息发送给终端110，使得终端110基于渲染质量信息评估虚拟视点。
在一个实施例中，终端110也可以由服务器替代，对此不限定。
在一个实施例中，服务器120也可以由终端替代，对此不限定。
在一个实施例中，如图2所示，提供了一种面向大规模场景的图像渲染质量预测与路径规划方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S202，获取代理模型在虚拟视点的视点范围内的多个表面点；代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体。
其中，视点包括位置和朝向，即可以使用位置和朝向来区分不同视点。
具体地，服务器从多个采集视点对真实物体进行图像采集，并根据图像采集结果生成代理模型。服务器确定虚拟视点，并确定代理模型在虚拟视点的视点范围内的多个表面点。
在一个实施例中，服务器可以从虚拟视点发射多个光线，其中，多个光线中具有至少一个光线与代理模型相交，服务器可以将相交的点作为表面点。
S204，针对每个表面点，确定表面点对应的多个光度信息之间的光度误差；多个光度信息是表面点分别在多个可见采集视点下的光度信息；可见采集视点是多个采集视点中的、且可见到表面点的采集视点。
其中，光度信息可以表征表面点所发的光的强度，可以包括颜色上的信息。可以理解，表面点位于漫反射表面时，在不同的可见采集视点下接收到的光度信息相差较小，表面点位于镜面反射表面时，在不同的可见采集视点下接收到的光度信息相差较大。可见采集视点是多个采集视点中的、且可见到表面点的采集视点。
具体地，服务器可以针对每个表面点，确定表面点对应的多个光度信息之间的光度误差。其中，多个光度信息是表面点分别在多个可见采集视点下的光度信息。
在一个实施例中，服务器可以确定两两光度信息之间的第一误差，对得到的多个第一误差进行求平均，得到光度误差。具体地，假设表面点为p，vi为虚拟视点，vj为可见采集视点，Vp为多个可见采集视点的集合，c(vi,p)为虚拟视点下观看表面点p的光度信息，c(vj,p)为可见采集视点下观看表面点p的光度信息， c photo(Vp)为在不同可见采集视点看同一表面点p所接收到的光度信息之间的光度误差，c photo(Vp)的计算公式如下：
Figure 550938DEST_PATH_IMAGE001
其中， Npair=(|Vp⋅(Vp-1)|)/2是能看到p点的可见采集视点对数。当Npair=0即能看到p点的可见采集视点的数量小于2个时， c photo(Vp)会变为0。
在一个实施例中，服务器可以基于光度误差得到表面点p的重建可靠度。其中，光度误差越大，重建可靠度越小，光度误差越小，重建可靠度越大。具体公式可以为：
Figure 692200DEST_PATH_IMAGE002
S206，基于光度误差，确定虚拟视点和可见采集视点针对表面点的观察角度相似度和分辨率相似度。
其中，观察角度相似度是虚拟视点观察表面点的第一观察角度和可见采集视点观察表面点的第二观察角度之间的相似度。分辨率相似度是虚拟视点观察表面点的第一分辨率和可见采集视点观察表面点的第二分辨率之间的相似度。
具体地，服务器基于光度误差，确定虚拟视点和可见采集视点针对表面点的观察角度相似度和分辨率相似度。
在一个实施例中，观察角度相似度是基于虚拟视点和可见采集视点相对于表面点的角度信息和光度误差计算得到的。分辨率相似度是基于虚拟视点和可见采集视点相对于表面点的距离信息和光度误差计算得到的。
在一个实施例中，服务器可以通过虚拟视点和表面点之间的虚拟光线、可见采集视点和表面点之间的采集光线，得到角度信息。
在一个实施例中，服务器可以通过虚拟视点和表面点之间的虚拟距离、可见采集视点和表面点之间的采集距离，得到距离信息。
在一个实施例中，服务器可以从多个可见采集视点各自的角度信息中筛选出最小角度信息，并使得最小角度信息和观察角度相似度负相关。
在一个实施例中，服务器可以从多个可见采集视点各自的距离信息中筛选出最小距离信息，并使得最小距离信息和分辨率相似度负相关。
S208，基于多个表面点对应的观察角度相似度和分辨率相似度，确定在虚拟视点下对代理模型的渲染质量信息。
具体地，服务器基于多个表面点对应的观察角度相似度和分辨率相似度，计算得到在虚拟视点下对代理模型的渲染质量信息。可以理解，由于虚拟视点具有一定的视角范围，所渲染的可以是代理模型的一部分。
在一个实施例中，服务器还可以基于虚拟视点下的背景渲染质量、多个表面点对应的观察角度相似度和分辨率相似度，确定在虚拟视点下对代理模型的渲染质量信息。其中，背景渲染质量用于表征渲染图像中背景的像素的准确性。
在一个实施例中，服务器可以确定待渲染路径的起点和终点以及渲染质量阈值，并基于起点和终点之间的路径点选取虚拟视点，并根据虚拟视点的渲染质量信息，对多个虚拟视点进行筛选，得到渲染路径中的虚拟视点。
上述面向大规模场景的图像渲染质量预测与路径规划方法，通过获取代理模型在虚拟视点的视点范围内的多个表面点；代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体。针对每个表面点，确定表面点对应的多个光度信息之间的光度误差；多个光度信息是表面点分别在多个可见采集视点下的光度信息；可见采集视点是多个采集视点中的、且可见到表面点的采集视点。可以理解，光度误差可以表征代理模型对应真实物体的表面漫反射程度。基于光度误差，确定虚拟视点和可见采集视点针对表面点的观察角度相似度和分辨率相似度。这样，就可以根据漫反射程度来确定观察角度相似度和分辨率相似度，从而提高准确性。基于多个表面点对应的观察角度相似度和分辨率相似度，确定在虚拟视点下对代理模型的渲染质量信息。这样，就可以预测出虚拟视点的渲染质量信息，以对虚拟视点进行评估，并提高了评估的准确性。
在一个实施例中，基于光度误差，确定虚拟视点和可见采集视点针对表面点的观察角度相似度和分辨率相似度包括：确定虚拟视点和可见采集视点相对于表面点的角度信息；确定虚拟视点和可见采集视点相对于表面点的距离信息；基于光度误差和角度信息确定虚拟视点和可见采集视点针对于表面点的观察角度相似度；基于光度误差和距离信息确定虚拟视点和可见采集视点针对于表面点的分辨率相似度。
具体地，服务器确定虚拟视点和可见采集视点相对于表面点的角度信息，并确定虚拟视点和可见采集视点相对于表面点的距离信息。进一步地，服务器基于光度误差和角度信息确定虚拟视点和可见采集视点针对于表面点的观察角度相似度，并基于光度误差和距离信息确定虚拟视点和可见采集视点针对于表面点的分辨率相似度。可以理解，光度误差越大，则表面点可能位于镜面反射表面，对应的，角度信息对观察角度相似度的影响较大，距离信息对分辨率相似度的影响较大。光度误差越小，则表面点可能位于漫反射表面，对应的，角度信息对观察角度相似度的影响较小，距离信息对分辨率相似度的影响较小。
本实施例中，通过角度信息和光度误差来确定观察角度相似度，相比于只使用角度信息来确定观察角度相似度，可以提高观察角度相似度的准确性。通过距离信息和光度误差来确定分辨率相似度，相比于只使用距离信息来确定分辨率相似度，可以提高分辨率相似度的准确性。
在一个实施例中，确定虚拟视点和可见采集视点相对于表面点的角度信息包括：确定虚拟视点和表面点之间的虚拟光线；确定可见采集视点和表面点之间的采集光线；将虚拟光线和采集光线之间的夹角角度值作为虚拟视点和可见采集视点相对于表面点的角度信息。
具体地，服务器确定虚拟视点和表面点之间的虚拟光线，并确定可见采集视点和表面点之间的采集光线。服务器将虚拟光线和采集光线之间的夹角角度值作为虚拟视点和可见采集视点相对于表面点的角度信息。
在一个实施例中，角度信息可以基于可见采集视点与虚拟视点的光心坐标、表面点的坐标计算得到，具体公式如下：
Figure 769877DEST_PATH_IMAGE003
其中， v是可见采集视点，vt是虚拟视点， o与ot分别为可见采集视点与虚拟视点 的光心坐标。可以理解，服务器可以通过坐标确定虚拟光线和采集光线，
Figure 536845DEST_PATH_IMAGE004
度量了p点在v 与vt投影光线间的夹角。
在本实施例中，通过虚拟光线和采集光线来确定角度信息，从而使得角度信息是准确有效的。
在一个实施例中，确定虚拟视点和可见采集视点相对于表面点的距离信息包括：确定虚拟视点和表面点之间的虚拟距离；确定可见采集视点和表面点之间的采集距离；基于虚拟距离和采集距离之间的距离差值和采集距离之间的比例值得到虚拟视点和可见采集视点相对于表面点的距离信息。
具体地，服务器确定虚拟视点和表面点之间的虚拟距离；确定可见采集视点和表面点之间的采集距离。服务器基于虚拟距离和采集距离之间的距离差值和采集距离之间的比例值得到虚拟视点和可见采集视点相对于表面点的距离信息。可以理解，通过比例值来量化距离信息，使得在具有不同的采集距离或虚拟距离时，可以有相同的量化标准。
在一个实施例中，距离信息可以基于可见采集视点与虚拟视点的光心坐标、表面点的坐标计算得到，具体公式如下：
Figure 547527DEST_PATH_IMAGE005
其中， ||o-p||为可见采集视点到表面点的采集距离，||ot-p||为虚拟视点到表 面点的虚拟距离，||o-p||-||ot-p||为虚拟距离和采集距离之间的距离差值。
Figure 827067DEST_PATH_IMAGE006
度量了虚 拟视点和采集视点间的相对距离，从而间接评估渲染结果的分辨率质量。
在本实施例中，通过虚拟距离和采集距离来确定距离信息，从而使得距离信息是准确有效的。
在一个实施例中，基于光度误差和角度信息确定虚拟视点和可见采集视点针对于表面点的观察角度相似度包括：从多个可见采集视点各自对应的角度信息中确定最小角度信息；基于光度误差和最小角度信息确定虚拟视点和可见采集视点针对于表面点的观察角度相似度；其中，在最小角度信息不变的情况下，光度误差的大小和观察角度相似度的大小负相关。
具体地，服务器从多个可见采集视点各自对应的角度信息中确定最小角度信息，并基于光度误差和最小角度信息确定虚拟视点和可见采集视点针对于表面点的观察角度相似度。其中，在最小角度信息不变的情况下，光度误差的大小和观察角度相似度的大小负相关。
在一个实施例中，观察角度相似度hang的计算公式如下：
Figure 923199DEST_PATH_IMAGE007
其中，Vp为多个可见采集视点的集合，
Figure 697120DEST_PATH_IMAGE009
表示从多个可见采集视点各自对应的角度信息中确定的最小角度信息。服务器使用角度的最小差距（不是平均或最大差距）作为基项，主要是由于几何上最相近的光线对于最终渲染结果的贡献最大。被tan函数包裹的光度误差
Figure 562308DEST_PATH_IMAGE011
控制了hang的变化速率，由于物体表面材质越粗糙或者纹理越单一，视点相关性与分辨率变化就越小，就越有可能用角度和分辨率差异较大的可见采集视角来恢复准确的像素颜色。
如图3所示，展示了光度误差
Figure 170007DEST_PATH_IMAGE013
对
Figure 97642DEST_PATH_IMAGE015
的视角朝向敏感度的影响。其中，301和302为代理模型上的表面点，303为可见采集视点（可见采集视点具有多个），304、305、306和307为虚拟视点。从图3中表面点301和表面点302反射的光线的颜色可知，表面点301相较于表面点302，所在的表面更具有镜面效果，即（a）小图的光度误差相比于（b）小图的光度误差更大，因此，（a）小图相比于（b）小图，对视点的角度具有更高的敏感度。在（a）小图中，虚拟视点304和虚拟视点305相比，有不同数量不同分布情况的可见采集视点。由于虚拟视点304相比于虚拟视点305与可见采集视点之间的夹角角度较小，由于光度误差较大，观察角度相似度
Figure 816200DEST_PATH_IMAGE015
的变化速率较大，因此，虚拟视点304对应的观察角度相似度
Figure 801473DEST_PATH_IMAGE015
比虚拟视点305对应的观察角度相似度
Figure 704707DEST_PATH_IMAGE015
更高。在（b）小图中，虚拟视点306和虚拟视点307相比，对应有不同数量不同分布情况的可见采集视点。虽然虚拟视点306相较于虚拟视点307与可见采集视点303之间的夹角角度较小，但由于光度误差较小，观察角度相似度
Figure 244273DEST_PATH_IMAGE015
的变化速率较小，因此，306对应的观察角度相似度
Figure 140423DEST_PATH_IMAGE015
与307虚拟视点对应的观察角度相似度
Figure 980203DEST_PATH_IMAGE015
比较接近。
在本实施例中，在最小角度信息不变的情况下，光度误差的大小和观察角度相似度的大小负相关，这样，提高了观察角度相似度的准确性。
在一个实施例中，基于光度误差和距离信息确定虚拟视点和可见采集视点针对于表面点的分辨率相似度包括：从多个可见采集视点各自对应的距离信息中确定最小距离信息；基于最小距离信息和光度误差，确定虚拟视点和可见采集视点相对于表面点的分辨率相似度；其中，在最小距离信息不变的情况下，光度误差的大小与分辨率相似度的大小负相关。
具体地，服务器从多个可见采集视点各自对应的距离信息中确定最小距离信息，并基于最小距离信息和光度误差，确定虚拟视点和可见采集视点相对于表面点的分辨率相似度。其中，在最小距离信息不变的情况下，光度误差的大小与分辨率相似度的大小负相关。
在一个实施例中，分辨率相似度
Figure 929704DEST_PATH_IMAGE017
的计算公式如下：
Figure 815620DEST_PATH_IMAGE018
Figure 141560DEST_PATH_IMAGE020
表示从多个可见采集视点各自对应的距离信息中确定最小距离信息。服务器使用距离的最小差距（不是平均或最大差距）作为基项，主要是由于几何上最相近的光线对于最终渲染结果的贡献最大。被tan函数包裹的光度误差
Figure 180054DEST_PATH_IMAGE022
控制了
Figure 300457DEST_PATH_IMAGE017
的变化速率。
本实施例中，在最小距离信息不变的情况下，光度误差的大小与分辨率相似度的大小负相关，这样，提高了分辨率相似度的准确性。
在一个实施例中，多个光度信息为多个第一光度信息，光度误差为第一光度误差；方法还包括：确定虚拟视点发出的且不与代理模型相交的多个第一光线；针对第一光线，确定多个采集视点分别发出的、与第一光线平行且不与代理模型相交的第二光线；确定多个第二光线的多个第二光度信息之间的第二光度误差；第二光度信息是在第二光线上、且与代理模型的背景相交的点的光度信息；基于多个第一光线对应的多个第二光度误差，得到虚拟视点对应的背景渲染质量；基于多个表面点对应的观察角度相似度和分辨率相似度，确定在虚拟视点下对代理模型的渲染质量信息包括：基于背景渲染质量、以及多个表面点对应的观察角度相似度和分辨率相似度，确定虚拟视点对应的渲染质量信息。
其中，光线是从视点发出的，用于成像。第一光线是虚拟视点发出的，第二光线是采集视点发出的。第二光度信息是在第二光线上、且与代理模型的背景相交的像素点的光度信息。背景渲染质量表征使用第一光线渲染背景中的像素点的颜色的准确度。
具体地，光度误差为第一光度误差，多个光度信息为多个第一光度信息。服务器确定虚拟视点发出的且不与代理模型相交的多个第一光线。针对第一光线，服务器确定多个采集视点分别发出的、与第一光线平行且不与代理模型相交的第二光线。服务器确定多个第二光线的多个第二光度信息之间的第二光度误差。服务器基于多个第一光线对应的多个第二光度误差，得到虚拟视点对应的背景渲染质量。服务器基于背景渲染质量、以及多个表面点对应的观察角度相似度和分辨率相似度，确定虚拟视点对应的渲染质量信息。
比如，对于从虚拟视点vt发射并且不与代理模型相交的第一光线r，服务器可以从可见采集视点发射与之平行、同样不与代理集合相交的第二光线，将多个第二光线作为背景光线集合Ω(r)。服务器可以基于第二光线对应的光度误差，定义得到背景渲染质量B(r)，具体公式如下：
Figure 345773DEST_PATH_IMAGE023
其中，vi为虚拟视点，vj为采集视点，rj为Ω(r)集合中第二光线，c(vi, ri)为虚拟视点下使用第二光线得到的光度信息，
Figure 334458DEST_PATH_IMAGE025
为采集视点下使用第二光线得到光度信息。用光线对数|Ω(r)|⋅(|Ω(r)|-1)⋅0.5对光度误差进行归一化。对于只有一个第二光线的情况下，可以将β设为0.5，以表示得到的背景渲染质量
Figure 352092DEST_PATH_IMAGE027
并不一定可靠。类似地，当没有第二光线时，将
Figure 814035DEST_PATH_IMAGE027
设为0。
在一个实施例中，服务器可以针对虚拟视点vt，从vt的光学中心朝代理模型投射一条射线r∈R，然后检测r与代理模型是否相交。服务器可以将从vt发射的所有与代理模型相交的光线标记为集合RI，相应的相交点标记为集合P，集合P中的点即为表面点。服务器基于背景渲染质量确定虚拟视点对应的渲染质量信息，对应的预测公式如下：
Figure 81069DEST_PATH_IMAGE028
其中，R(vt)为渲染质量信息，其中F(vt,p)为前景表面点p的评估项，简称前景项，其预测了表面点p的颜色可被恢复的程度；B(r)为背景中像素点的评估项，简称背景项，其估计了光线r对应合成像素颜色的准确度。
在一个实施例中，F(vt,p)公式化为如下形式：
Figure 624177DEST_PATH_IMAGE029
其中，hgeo度量了点p的重建可靠度，hang与
Figure 496318DEST_PATH_IMAGE017
分别度量了可见采集视点与虚拟视点相对于p点的观察角度相似度与分辨率相似度。对于没有任何可见采集视点看到的点p，前景项F(vt,p)的值为0。若可见采集视点的数量小于2个时hgeo会变为1，使得F(vt,p)完全依赖于hang (Vp ,vt)和
Figure 348736DEST_PATH_IMAGE017
(Vp ,vt)。
本实施例中，通过背景渲染质量、观察角度相似度和分辨率度，来确定渲染质量信息，进一步提高了渲染质量信息预测的全面性。
在一个实施例中，在获取代理模型在虚拟视点的视点范围内的多个表面点之前，方法还包括：确定待渲染路径的起点和终点以及渲染质量阈值；基于起点和终点之间的多个路径点选取虚拟视点；在基于多个表面点对应的观察角度相似度和分辨率相似度确定虚拟视点对应的渲染质量之后，方法还包括：若渲染质量小于渲染质量阈值，则重新选取新的虚拟视点并返回执行获取虚拟视点可见的代理模型上的多个表面点以及后续步骤，直至所选择的虚拟视点和终点之间的距离满足结束条件。
具体地，在获取代理模型在虚拟视点的视点范围内的多个表面点之前，服务器确定待渲染路径的起点和终点以及渲染质量阈值；基于起点和终点之间的多个路径点选取虚拟视点。在得到虚拟视点的渲染质量信息之后，服务器对渲染质量信息进行判断，若渲染质量小于渲染质量阈值，则重新选取新的虚拟视点并返回执行获取虚拟视点可见的代理模型上的多个表面点以及后续步骤，直至所选择的虚拟视点和终点之间的距离满足结束条件。可以理解，基于渲染质量阈值生成的路径，使得沿途的虚拟视角的渲染质量都高于渲染质量阈值，从而满足渲染质量要求。
在一个实施例中，服务器可以基于快速探索随机树的路径规划算法，确定起点到终点的路径点，并对路径点确定对应的视角，以根据路径点确定虚拟视点的位置信息，根据视角确定虚拟视点的朝向信息，并使用虚拟视点的渲染质量信息来筛选虚拟视点，从而根据筛选后的虚拟视点进行渲染，得到高质量的视频，提高了渲染路径规划的有效性。
在一个实施例中，在确定路径点对应的视角的过程中，服务器可以将路径点的上一个路径点的偏航角分为多个区域。服务器针对每个区域，采样得到待选偏航角，并筛选出在水平面或以下的俯仰角。服务器基于多个偏航角与俯仰角对应生成多个待选视角。服务器基于一个路径点和多个待选视角对应生成多个待选虚拟视点，服务器可以根据多个待选虚拟视点的渲染质量信息进行筛选，以将虚拟视点所使用的视角作为路径点对应的视角。
具体地，在使用快速探索随机树的路径规划算法的过程中，服务器以起点为根节点，在三维空间中扩展一棵树，其分支会随机伸展以填充空间。为保证沿途所有视点的渲染质量，在树上的每个小段上通过位置与朝向插值的方式采样出虚拟视点，并通过本方法预测出虚拟视点下的渲染质量信息，以确保虚拟视点下捕获的帧满足预定义的最低渲染质量，即相应相机位姿的可渲染性值都高于预设阈值。可以理解，这样的优化后的路径规划算法相比于传统方法所得到的渲染视频的质量是更高的。
具体地，优化后的快速探索随机树的路径规划算法将会不断迭代以下步骤：
l 确定待选路径点wj。在三维场景中不与代理模型相交的空间区域中采样一个点pc，可以理解，该点pc在一定概率下将被替换为终点的路径点wdest的位置。在所有路径点中搜索距离pc的最近的一个路径点wi，从wi的坐标点ci向着pc延伸一个长度为l的路径段eij，得到新的待选路径点wj的坐标cj。其中l为用户指定的值，用于控制路径点的间距。若eij与代理模型相交则舍弃当前cj，并重新采样。
l 对wj的视角朝向进行采样。为了控制wj的采样视角朝向与wi的变化程度，即对视角的稳定性进行约束，服务器可以将视角朝向根据wi的偏航角ϕi均匀地切分成了四个区域，并在每个区域内进行采样，如图4所示。区域范围大小是一个设定的标量值Δϕmax，决定了相邻路径点间的最大偏航角的差异。在每个区域内，随机采样一个角度作为wj的待选偏航角。由于采样的路径点位置普遍处于场景上空，可以在0°到-90°的区间内对俯仰角进行采样，即考虑俯仰角在水平面或以下的视角。由于渲染质量场是五维场，在已知虚拟视点的滚筒角固定为0的条件下，通过组合之前采样得到的偏航角与俯仰角，服务器可以计算得到wj的四个待选朝向，从而形成四个待选视角。之后，服务器可以为每个待选视角计算各自对应的渲染质量信息，并选择渲染质量信息高于渲染质量阈值Rmin的视角。若不存在这样的视角，则重新对路径点wj的位置进行采样。
l 在已知wi与wj的位姿参数的情况下，服务器在路径段eij上对中间虚拟视点的位置与朝向进行插值，形成一条连续的虚拟视点路径。为了保证路径段上的渲染质量满足要求，服务器对ei上的虚拟视点进行采样，并计算这些虚拟视点下的渲染质量。只有所有采样的虚拟视点的渲染质量都大于渲染质量阈值Rmin，wj与eij才会保留下来。对于采样率，可以通过手动调节其大小，来根据自身需求对性能与渲染质量进行平衡。
上述循环将在新路径点wj距离目标点wdest小于预设的长度ldest（经验式地设置为路径段长度l的1.5倍）时终止，并将wj与wdest相连并插值中间虚拟视点。在上述算法执行完毕后，所有路径点与中间虚拟视点将会组成一棵树形结构，其中从根节点到wdest节点的分支就是一条完整的虚拟视点路径，沿着这条路径进行渲染，就能得到满足渲染质量要求的图像。
在本实施例中，在路径点中选择虚拟视点的过程中，通过渲染质量信息来进一步筛选虚拟视点，从而生成渲染质量信息高的多个虚拟视点，以生成渲染路径，从而提高了渲染路径下的渲染质量，保证在规划的渲染路径上进行渲染的视频结果具有最少的视觉瑕疵与最高的分辨率。
在一个实施例中，综合上述各实施例，如图5所示，展示了通过渲染质量引导的路径规划的原理示意图。具体地，服务器可以使用优化后的路径规划算法进行路径点位置采样和视角朝向采样，得到包含位置和朝向信息的虚拟视点，并在路径段上对中间虚拟视点的位置与朝向进行插值，形成一条连续的虚拟视点路径。针对这些虚拟视点，服务器进行前景项F(vt,p)评估和背景项
Figure 571907DEST_PATH_IMAGE027
评估，计算得到渲染质量信息，并使用渲染质量信息对虚拟视点进行筛选，根据筛选后的虚拟视点渲染出视频。
图6展示了本申请提出的面向大规模场景的图像渲染质量预测与路径规划方法的定性结果，其中，图6中的数字可以表征渲染质量信息。在三个虚拟场景下各自可视化了一组渲染质量场，并且在渲染质量值特别高（浅色区域）与特别低（暗色区域）的区域各采样了两组虚拟视点。从渲染质量场的分布与采样视点下的渲染结果可以看出，渲染质量高的虚拟视点下渲染的结果完整度较高，且视觉瑕疵较少，而渲染质量低的虚拟视点下的渲染结果则有明显的空洞或较低的纹理分辨率。
图7展示了渲染质量引导的路径规划方法与直线插值方法规划出的路径的对比。服务器为两种导航方法设置了同样的起始与终止路径点，采用同样的虚拟视点插值策略，并将渲染质量阈值Rmin设置为0.9。可以看到虽然渲染质量引导生成的路径长度更长，但是路径沿途的渲染质量都一直保持较高的数值，最终渲染的图像具有较高的真实感；而直线路径只有在刚出发与快抵达终点时渲染质量较高，中间部分的渲染结果存在大量明显的空洞、闪烁、伪影等瑕疵。这一对比结果很好地验证了渲染质量在导航应用中对渲染结果有着显著的影响。图7的最右侧展示了在另外一组采集视点下，本方法规划出的路径，可以看到，当采集视点发生改变时，规划得到的路径也会发生改变。
为了定量评估渲染质量信息R(vt)对渲染质量预测准确度，本发明分别计算了渲染质量信息与PSNR、渲染质量信息与SSIM的斯皮尔曼等级相关系数rs。这一指标能提现两个变量之间的单调关系，rs的数值越高，R与这两种图像质量评价指标相关性越高，表明渲染质量信息可对渲染质量的预测越准确。除了R与PSNR以及R与SSIM的相关性，还计算了两种渲染质量评价指标之间的rs值，以作为对比时的参考。经过实验，渲染质量信息在三个测试场景中都能获得极高的相关度，与PSNR相关度最高分别为93.9%、95.1%、95.7%，与SSIM为84.6%、96.4%、97.3%，均高于PSNR与SSIM之间的相关度，证明本方法在没有参考图像的情况下能得到与需要参考图像的传统重建质量评估指标有相近的质量评估能力。
本申请提出的渲染质量信息预测指标，面向的是视角相关纹理贴图的方法，需要代理模型来进行光线与模型间的相交计算与重投影计算。对于需要其他类型几何知识的基于图像渲染方法，同样可以设计适用于某一特定渲染方法或更通用的渲染质量预测方案。渲染质量信息是一个预测渲染质量的新颖指标，本申请提出的启发式渲染质量只作为一种实现方案，这一概念可应用在其他渲染方法上。
应该理解的是，虽然本申请部分实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的面向大规模场景的图像渲染质量预测与路径规划方法的面向大规模场景的图像渲染质量预测与路径规划系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个面向大规模场景的图像渲染质量预测与路径规划系统实施例中的具体限定可以参见上文中对于面向大规模场景的图像渲染质量预测与路径规划方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种面向大规模场景的图像渲染质量预测与路径规划系统800，包括：预测端802和规划端804，其中：
预测端802，用于获取代理模型在虚拟视点的视点范围内的多个表面点；代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体；针对每个表面点，确定表面点对应的多个光度信息之间的光度误差；多个光度信息是表面点分别在多个可见采集视点下的光度信息；可见采集视点是多个采集视点中的、且可见到表面点的采集视点。
预测端802，还用于基于光度误差，确定虚拟视点和可见采集视点针对表面点的观察角度相似度和分辨率相似度。
预测端802，还用于基于多个表面点对应的观察角度相似度和分辨率相似度，确定在虚拟视点下对代理模型的渲染质量信息。
在一个实施例中，多个光度信息为多个第一光度信息，光度误差为第一光度误差；预测端802还用于确定虚拟视点发出的且不与代理模型相交的多个第一光线；针对第一光线，确定多个采集视点分别发出的、与第一光线平行且不与代理模型相交的第二光线；确定多个第二光线的多个第二光度信息之间的第二光度误差；第二光度信息是在第二光线上、且与代理模型的背景相交的点的光度信息；基于多个第一光线对应的多个第二光度误差，得到虚拟视点对应的背景渲染质量；预测端802还用于基于背景渲染质量、以及多个表面点对应的观察角度相似度和分辨率相似度，确定虚拟视点对应的渲染质量信息。
在一个实施例中，预测端802还用于确定虚拟视点和可见采集视点相对于表面点的角度信息；确定虚拟视点和可见采集视点相对于表面点的距离信息；基于光度误差和角度信息确定虚拟视点和可见采集视点针对于表面点的观察角度相似度；基于光度误差和距离信息确定虚拟视点和可见采集视点针对于表面点的分辨率相似度。
在一个实施例中，预测端802还用于确定虚拟视点和表面点之间的虚拟光线；确定可见采集视点和表面点之间的采集光线；将虚拟光线和采集光线之间的夹角角度值作为虚拟视点和可见采集视点相对于表面点的角度信息。
在一个实施例中，预测端802还用于确定虚拟视点和表面点之间的虚拟距离；确定可见采集视点和表面点之间的采集距离；基于虚拟距离和采集距离之间的距离差值和采集距离之间的比例值得到虚拟视点和可见采集视点相对于表面点的距离信息。
在一个实施例中，预测端802还用于从多个可见采集视点各自对应的角度信息中确定最小角度信息；基于光度误差和最小角度信息确定虚拟视点和可见采集视点针对于表面点的观察角度相似度；其中，在最小角度信息不变的情况下，光度误差的大小和观察角度相似度的大小负相关。
在一个实施例中，预测端802还用于从多个可见采集视点各自对应的距离信息中确定最小距离信息；基于最小距离信息和光度误差，确定虚拟视点和可见采集视点相对于表面点的分辨率相似度；其中，在最小距离信息不变的情况下，光度误差的大小与分辨率相似度的大小负相关。
在一个实施例中，在获取代理模型在虚拟视点的视点范围内的多个表面点之前，规划端804还用于确定待渲染路径的起点和终点以及渲染质量阈值；在起点和终点之间的多个路径点中选取虚拟视点；在基于多个表面点对应的观察角度相似度和分辨率相似度确定虚拟视点对应的渲染质量之后，规划端804还用于若渲染质量小于渲染质量阈值，则重新选取新的虚拟视点并返回执行获取虚拟视点可见的代理模型上的多个表面点以及后续步骤，直至所选择的虚拟视点和终点之间的距离满足结束条件。
上述面向大规模场景的图像渲染质量预测与路径规划系统，通过获取代理模型在虚拟视点的视点范围内的多个表面点；代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体。针对每个表面点，确定表面点对应的多个光度信息之间的光度误差；多个光度信息是表面点分别在多个可见采集视点下的光度信息；可见采集视点是多个采集视点中的、且可见到表面点的采集视点。可以理解，光度误差可以表征代理模型对应真实物体的表面漫反射程度。基于光度误差，确定虚拟视点和可见采集视点针对表面点的观察角度相似度和分辨率相似度。这样，就可以根据漫反射程度来确定观察角度相似度和分辨率相似度，从而提高准确性。基于多个表面点对应的观察角度相似度和分辨率相似度，确定在虚拟视点下对代理模型的渲染质量信息。这样，就可以预测出虚拟视点的渲染质量信息，以对虚拟视点进行评估，并提高了评估的准确性。
关于上述面向大规模场景的图像渲染质量预测与路径规划系统的具体限定可以参见上文中对于上述面向大规模场景的图像渲染质量预测与路径规划方法的限定，在此不再赘述。上述面向大规模场景的图像渲染质量预测与路径规划系统中的的各个设备可全部或部分通过软件、硬件及其组合来实现。上述各设备可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个设备对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面向大规模场景的图像渲染质量预测与路径规划方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种面向大规模场景的图像渲染质量预测与路径规划方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种面向大规模场景的图像渲染质量预测与路径规划方法，其特征在于，所述方法包括：
获取代理模型在虚拟视点的视点范围内的多个表面点；所述代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体；
针对每个所述表面点，确定所述表面点对应的多个光度信息之间的光度误差；所述多个光度信息是所述表面点分别在多个可见采集视点下的光度信息；所述可见采集视点是所述多个采集视点中的、且可见到所述表面点的采集视点；
基于所述光度误差，确定所述虚拟视点和所述可见采集视点针对所述表面点的观察角度相似度和分辨率相似度；
基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述光度误差，确定所述虚拟视点和所述可见采集视点针对所述表面点的观察角度相似度和分辨率相似度包括：
确定所述虚拟视点和所述可见采集视点相对于所述表面点的角度信息；
确定所述虚拟视点和所述可见采集视点相对于所述表面点的距离信息；
基于所述光度误差和所述角度信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的观察角度相似度；
基于所述光度误差和所述距离信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的分辨率相似度。
3.根据权利要求2所述的方法，其特征在于，所述确定所述虚拟视点和所述可见采集视点相对于所述表面点的角度信息包括：
确定所述虚拟视点和所述表面点之间的虚拟光线；
确定所述可见采集视点和所述表面点之间的采集光线；
将所述虚拟光线和所述采集光线之间的夹角角度值作为所述虚拟视点和所述可见采集视点相对于所述表面点的角度信息。
4.根据权利要求2所述的方法，其特征在于，所述确定所述虚拟视点和所述可见采集视点相对于所述表面点的距离信息包括：
确定所述虚拟视点和所述表面点之间的虚拟距离；
确定所述可见采集视点和所述表面点之间的采集距离；
基于所述虚拟距离和所述采集距离之间的距离差值和所述采集距离之间的比例值得到所述虚拟视点和所述可见采集视点相对于所述表面点的距离信息。
5.根据权利要求2所述的方法，其特征在于，所述基于所述光度误差和所述角度信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的观察角度相似度包括：
从多个所述可见采集视点各自对应的所述角度信息中确定最小角度信息；
基于所述光度误差和所述最小角度信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的观察角度相似度；其中，在所述最小角度信息不变的情况下，所述光度误差的大小和所述观察角度相似度的大小负相关。
6.根据权利要求2所述的方法，其特征在于，所述基于所述光度误差和所述距离信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的分辨率相似度包括：
从多个所述可见采集视点各自对应的所述距离信息中确定最小距离信息；
基于所述最小距离信息和所述光度误差，确定所述虚拟视点和所述可见采集视点相对于所述表面点的分辨率相似度；其中，在所述最小距离信息不变的情况下，所述光度误差的大小与所述分辨率相似度的大小负相关。
7.根据权利要求1所述的方法，其特征在于，所述多个光度信息为多个第一光度信息，所述光度误差为第一光度误差；所述方法还包括：
确定所述虚拟视点发出的且不与所述代理模型相交的多个第一光线；
针对所述第一光线，确定所述多个采集视点分别发出的、与所述第一光线平行且不与所述代理模型相交的第二光线；
确定多个所述第二光线的多个第二光度信息之间的第二光度误差；所述第二光度信息是在所述第二光线上、且与所述代理模型的背景相交的点的光度信息；
基于所述多个第一光线对应的多个所述第二光度误差，得到所述虚拟视点对应的背景渲染质量；
所述基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息包括：
基于所述背景渲染质量、以及多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定所述虚拟视点对应的渲染质量信息。
8.根据权利要求1至7任一项所述的方法，其特征在于，在所述获取代理模型在虚拟视点的视点范围内的多个表面点之前，所述方法还包括：
确定待渲染路径的起点和终点以及渲染质量阈值；
基于所述起点和所述终点之间的多个路径点选取虚拟视点；
在所述基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息之后，所述方法还包括：
若所述渲染质量信息小于所述渲染质量阈值，则重新选取新的虚拟视点并返回执行所述获取代理模型在虚拟视点的视点范围内的多个表面点以及后续步骤，直至所选择的虚拟视点和所述终点之间的距离满足结束条件。
9.一种面向大规模场景的图像渲染质量预测与路径规划系统，其特征在于，所述系统包括预测端：
所述预测端，用于获取代理模型在虚拟视点的视点范围内的多个表面点；所述代理模型是从多个采集视点对真实物体进行图像采集得到的虚拟物体；针对每个所述表面点，确定所述表面点对应的多个光度信息之间的光度误差；所述多个光度信息是所述表面点分别在多个可见采集视点下的光度信息；所述可见采集视点是所述多个采集视点中的、且可见到所述表面点的采集视点；
所述预测端，还用于基于所述光度误差，确定所述虚拟视点和所述可见采集视点针对所述表面点的观察角度相似度和分辨率相似度；
所述预测端，还用于基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息。
10.根据权利要求9所述的系统，其特征在于，所述预测端还用于确定所述虚拟视点和所述可见采集视点相对于所述表面点的角度信息；确定所述虚拟视点和所述可见采集视点相对于所述表面点的距离信息；基于所述光度误差和所述角度信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的观察角度相似度；基于所述光度误差和所述距离信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的分辨率相似度。
11.根据权利要求10所述的系统，其特征在于，所述预测端还用于确定所述虚拟视点和所述表面点之间的虚拟光线；确定所述可见采集视点和所述表面点之间的采集光线；将所述虚拟光线和所述采集光线之间的夹角角度值作为所述虚拟视点和所述可见采集视点相对于所述表面点的角度信息。
12.根据权利要求10所述的系统，其特征在于，所述预测端还用于确定所述虚拟视点和所述表面点之间的虚拟距离；确定所述可见采集视点和所述表面点之间的采集距离；基于所述虚拟距离和所述采集距离之间的距离差值和所述采集距离之间的比例值得到所述虚拟视点和所述可见采集视点相对于所述表面点的距离信息。
13.根据权利要求10所述的系统，其特征在于，所述预测端还用于从多个所述可见采集视点各自对应的所述角度信息中确定最小角度信息；基于所述光度误差和所述最小角度信息确定所述虚拟视点和所述可见采集视点针对于所述表面点的观察角度相似度；其中，在所述最小角度信息不变的情况下，所述光度误差的大小和所述观察角度相似度的大小负相关。
14.根据权利要求10所述的系统，其特征在于，所述预测端还用于从多个所述可见采集视点各自对应的所述距离信息中确定最小距离信息；基于所述最小距离信息和所述光度误差，确定所述虚拟视点和所述可见采集视点相对于所述表面点的分辨率相似度；其中，在所述最小距离信息不变的情况下，所述光度误差的大小与所述分辨率相似度的大小负相关。
15.根据权利要求9所述的系统，其特征在于，所述多个光度信息为多个第一光度信息，所述光度误差为第一光度误差；所述预测端还用于确定所述虚拟视点发出的且不与所述代理模型相交的多个第一光线；针对所述第一光线，确定所述多个采集视点分别发出的、与所述第一光线平行且不与所述代理模型相交的第二光线；确定多个所述第二光线的多个第二光度信息之间的第二光度误差；所述第二光度信息是在所述第二光线上、且与所述代理模型的背景相交的点的光度信息；基于所述多个第一光线对应的多个所述第二光度误差，得到所述虚拟视点对应的背景渲染质量；预测端还用于基于所述背景渲染质量、以及多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定所述虚拟视点对应的渲染质量信息。
16.根据权利要求9至15任一项所述的系统，其特征在于，在获取代理模型在虚拟视点的视点范围内的多个表面点之前，所述规划端还用于确定待渲染路径的起点和终点以及渲染质量阈值；基于所述起点和所述终点之间的多个路径点选取虚拟视点；在基于多个所述表面点对应的所述观察角度相似度和所述分辨率相似度，确定在所述虚拟视点下对所述代理模型的渲染质量信息之后，所述规划端还用于若所述渲染质量信息小于所述渲染质量阈值，则重新选取新的虚拟视点并返回执行所述获取代理模型在虚拟视点的视点范围内的多个表面点以及后续步骤，直至所选择的虚拟视点和所述终点之间的距离满足结束条件。
17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202210875075.9A 2022-07-25 2022-07-25 面向大规模场景的图像渲染质量预测与路径规划系统 Active CN114937140B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210875075.9A CN114937140B (zh) 2022-07-25 2022-07-25 面向大规模场景的图像渲染质量预测与路径规划系统
US18/350,603 US20240031550A1 (en) 2022-07-25 2023-07-11 System and method of image rendering quality prediction and path planning for large-scale scenes, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210875075.9A CN114937140B (zh) 2022-07-25 2022-07-25 面向大规模场景的图像渲染质量预测与路径规划系统

Publications (2)

Publication Number Publication Date
CN114937140A CN114937140A (zh) 2022-08-23
CN114937140B true CN114937140B (zh) 2022-11-04

Family

ID=82868993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210875075.9A Active CN114937140B (zh) 2022-07-25 2022-07-25 面向大规模场景的图像渲染质量预测与路径规划系统

Country Status (2)

Country Link
US (1) US20240031550A1 (zh)
CN (1) CN114937140B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732579A (zh) * 2015-02-15 2015-06-24 浙江传媒学院 基于光分片的多光源场景渲染方法
CN114067041A (zh) * 2022-01-14 2022-02-18 深圳大学 三维模型的材质生成方法、装置、计算机设备和存储介质
CN114627227A (zh) * 2022-05-18 2022-06-14 深圳元象信息科技有限公司 基于pbr材质的物体重建方法、设备及计算机可读存储介质
WO2022124026A1 (ja) * 2020-12-08 2022-06-16 ソニーグループ株式会社 学習済モデルの生成方法および情報処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5858380B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 仮想視点画像合成方法及び仮想視点画像合成システム
JP6878014B2 (ja) * 2017-01-13 2021-05-26 キヤノン株式会社 画像処理装置及びその方法、プログラム、画像処理システム
EP3352137A1 (en) * 2017-01-24 2018-07-25 Thomson Licensing Method and apparatus for processing a 3d scene
US11310475B2 (en) * 2019-08-05 2022-04-19 City University Of Hong Kong Video quality determination system and method
CN112870707B (zh) * 2021-03-19 2022-11-18 腾讯科技（深圳）有限公司 虚拟场景中的虚拟物体展示方法、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732579A (zh) * 2015-02-15 2015-06-24 浙江传媒学院 基于光分片的多光源场景渲染方法
WO2022124026A1 (ja) * 2020-12-08 2022-06-16 ソニーグループ株式会社 学習済モデルの生成方法および情報処理装置
CN114067041A (zh) * 2022-01-14 2022-02-18 深圳大学 三维模型的材质生成方法、装置、计算机设备和存储介质
CN114627227A (zh) * 2022-05-18 2022-06-14 深圳元象信息科技有限公司 基于pbr材质的物体重建方法、设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NeRF——: Neural Radiance FieldsWithout Known Camera Parameters;ZiruiWang et al;《arXiv》;20200406;第1-17页 *
一种三维数字成像系统的多视点姿态估计方法;丁雅斌等;《光学学报》;20070330;第27卷(第03期);第451-456页 *
大规模虚拟地形数据多线程异步调度算法;任子健等;《计算机与现代化》;20180215(第02期);第88-92页 *

Also Published As

Publication number Publication date
US20240031550A1 (en) 2024-01-25
CN114937140A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
US10368062B2 (en) Panoramic camera systems
US9177381B2 (en) Depth estimate determination, systems and methods
KR102661681B1 (ko) 선호된 포인트들을 식별하고 유지하는 포인트 클라우드들의 병합 방법
US11188739B2 (en) Processing uncertain content in a computer graphics system
US8773424B2 (en) User interfaces for interacting with top-down maps of reconstructed 3-D scences
US8125493B2 (en) Generating a texture from multiple images
JP6334927B2 (ja) 付加情報表示装置および付加情報表示プログラム
Taketomi et al. Real-time and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality
US20220329770A1 (en) Information processing apparatus, video generation method and program
US20210326376A1 (en) Navigating through a set of images
US20210209776A1 (en) Method and device for depth image fusion and computer-readable storage medium
CN113223078A (zh) 标志点的匹配方法、装置、计算机设备和存储介质
CN115439543A (zh) 孔洞位置的确定方法和元宇宙中三维模型的生成方法
KR20130137076A (ko) 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 장치 및 방법
Wientapper et al. Composing the feature map retrieval process for robust and ready-to-use monocular tracking
JP7420815B2 (ja) ３ｄ幾何抽出のために画像の複数から相補的画像を選択するシステムおよび方法
CN114937140B (zh) 面向大规模场景的图像渲染质量预测与路径规划系统
US10742947B2 (en) Display control system, display control device, display control method, and program
CN111259702A (zh) 一种用户兴趣的估计方法及装置
CN111107307A (zh) 基于单应性变换的视频融合方法、系统、终端及介质
CN114998743A (zh) 一种视觉地图点的构建方法、装置、设备及介质
JP2005228150A (ja) 画像照合装置
KR101454692B1 (ko) 객체 추적장치 및 그 방법
Palma et al. Enhanced visualization of detected 3d geometric differences
CN117876669A (zh) 目标检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant