CN112291550A - 自由视点图像生成方法、装置、系统及可读存储介质 - Google Patents

Abstract

本申请公开了一种自由视点图像生成方法、装置、系统及计算机可读存储介质。其中，方法包括根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型。根据三维虚拟模型格式和用户通过人机交互方式选择的待观测虚拟视点数据生成初始虚拟视点图像；将反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，并响应用户基于反馈信息调整扫描参数后的扫描操作直至接收到用户扫描结束指令，利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。本申请不仅可有效提升虚拟现实领域中自由视点图像生成质量，而且自由视点图像制作过程不复杂、简单易于操作。

Description

自由视点图像生成方法、装置、系统及可读存储介质

技术领域

本申请涉及虚拟现实技术领域，特别是涉及一种自由视点图像生成方法、装置、系统及计算机可读存储介质。

背景技术

3D视频可以为用户提供高度沉浸感，FVV(Free Viewpoint Video，自由视点视频)为3D视频的一种扩展，允许用户通过交互方式选择任意角度进行观看，FVV是VR(VirtualReality，虚拟现实)中一种重要的内容呈现形式，可应用于体育直播、远程呈现、网上购物、展览等众多领域。目前VR显示硬件技术形态已经比较稳定，逐渐趋于成熟和普及，但是VR内容的制作及生成仍然需要借助专业设备和复杂的后期处理过程，距离普通用户像手机拍照或录像一样随手可得的VR内容生成方式还有很大差距，实现更简便易得的VR内容生成技术已经成为普及VR应用的关键环节。可以理解的是，传感器只能记录有限固定视点位置的图像，其他任意视点位置的图像需要通过视点综合技术计算得到，也就是自由视点图像生成技术。自由视点图像生成是从有限数量的视点图像中生成任意视点图像的技术，是VR内容生成中的一项重要技术，还可以用于多视图视频压缩等应用场景。在自由视点图像生成方法中，DIBR(Depth Image Based Rendering，基于深度图的渲染)为应用最广的一种，DIBR可以基于2D视频和对应的深度图生成自由视点视频，减少了需要的记录设备数量和数据传输带宽。DIBR方法通常基于几何约束信息实现视点综合，如逐像素的深度图、图像对之间的极限约束等。

但是，DIBR需要对由未知区域产生的空洞的处理，包括被前景遮挡的背景区域、在参考图像中不可见但在目标图像中暴露出来的物体边缘区域。空洞处理一般需要满足的几个条件包括：1)能够符合ground-truth；ground truth为指收集训练集的分类的参数的是否正确的标定参数。主要用于统计模型中验证或推翻某种研究假设，术语也指收集准确客观的数据用于验证的过程。2)当ground-truth无法得到时，要能避免走样或模糊以便看起来自然；3)符合时间一致性以降低相邻帧之间的闪烁。目前已有方法不能同时满足以上几点要求。对于未知区域的恢复，图像修复是一种比较有效的方法，但是当对前景进行采样填补空洞时容易造成“前景膨胀”问题。可见，相关技术中的自由视点图像由于受到上述条件制约生成质量不高，而且制作过程很复杂。

基于此，如何在提升自由视点图像生成质量的同时简单化自由视点图像制作过程，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种自由视点图像生成方法、装置、系统及计算机可读存储介质，不仅可有效提升虚拟现实领域中自由视点图像生成质量，而且自由视点图像制作过程不复杂、简单易于实现。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种自由视点图像生成方法，包括：

根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型；

当接收到用户对虚拟视点的选择指令，根据所述三维虚拟模型的格式和待观测虚拟视点数据生成初始虚拟视点图像；

将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于所述反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令；

利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。

可选的，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先设置在所述三维虚拟模型的重建过程中计算模型重建中间参数，所述模型重建中间参数包括待测目标表面各点法向、当前视图下缺失点的数量和/或所占比例、当前视图区域相机位姿估计时的迭代次数；

获取所述模型重建中间参数和当前视图RGB图像的亮度信息；

将所述模型重建中间参数和所述亮度信息以沉浸式和可交互的方式展示给用户。

可选的，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先设置在所述三维虚拟模型的重建过程中同时生成点云模型、面元模型和网格模型；

将所述三维虚拟模型、所述点云模型、所述面元模型、所述网格模型和所述初始虚拟视点图像以沉浸式和可交互的方式展示给用户。

可选的，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先构建操作建议数据库，所述操作建议数据库包括多条扫描操作建议，每条扫描操作建议根据当前生成三维虚拟模型和标准虚拟模型的各参数的差异、当前生成虚拟视点图像和标准虚拟视点图像的各参数差异共同生成；

获取所述三维虚拟模型和所述初始虚拟视点图像的各参数信息，在所述操作建议数据库匹配相应目标扫描操作建议；

将所述目标扫描操作建议以沉浸式和可交互的方式展示给用户。

可选的，所述根据所述三维虚拟模型的格式和待观测虚拟视点数据生成初始虚拟视点图像包括：

从所述选择指令中读取用户拟观察的虚拟视点位置信息和观察方向，得到虚拟视点位置和位姿数据，作为所述待观测虚拟视点数据；

利用光线投射方法或图像重投影变换方法根据所述三维虚拟模型的格式、所述虚拟视点位置和位姿数据生成初始虚拟视点图像；

其中，所述三维虚拟模型的格式为点云格式或符号距离函数格式或三角网格格式。

本发明实施例另一方面提供了一种自由视点图像生成装置，包括：

三维重建模块，用于根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型；

初始视点图像生成模块，用于当接收到用户对虚拟视点的选择指令，根据所述三维虚拟模型的格式、待观测虚拟视点数据生成初始虚拟视点图像；

扫描操作调整模块，用于将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于所述反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令；

最终视图生成模块，用于利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。

可选的，所述扫描操作调整模块包括：

数据库预构建子模块，用于预先构建操作建议数据库，所述操作建议数据库包括多条扫描操作建议，每条扫描操作建议根据当前生成三维虚拟模型和标准虚拟模型的各参数的差异、当前生成虚拟视点图像和标准虚拟视点图像的各参数差异共同生成；

建议匹配子模块，用于获取所述三维虚拟模型和所述初始虚拟视点图像的各参数信息，在所述操作建议数据库匹配相应目标扫描操作建议；

建议展示子模块，用于将所述目标扫描操作建议以沉浸式和可交互的方式展示给用户。

本发明实施例还提供了一种自由视点图像生成装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述自由视点图像生成方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有自由视点图像生成程序，所述自由视点图像生成程序被处理器执行时实现如前任一项所述自由视点图像生成方法的步骤。

本发明实施例最后还提供了一种自由视点图像生成系统，包括如上所述自由视点图像生成装置、图像采集设备和沉浸式显示设备；

所述图像采集设备为同时提供RGB图像和深度数据的感知设备；所述沉浸式显示设备用于将反馈信息以沉浸式和可交互的方式展示给用户。

本申请提供的技术方案的优点在于，基于已有三维重建模型和用户拟观察的虚拟视点数据生成不进行空洞修复等任何优化的初始虚拟视点图像，通过保证原始扫描数据的高质量实现生成自由视点视图的高质量。在已采集结果的基础上综合出相关信息来评估已采集数据的质量，并针对后续图像采集提供有针对性的优化建议，操作者可以根据反馈的信息决定后续的数据采集策略和路线，在数据采集过程中对采集数据质量进行优化，实现结果实时可见的数据采集过程，使得参考图像采集和视点综合两个过程有机融合，有利于提高生成的自由视点图像质量；基于实时反馈的交互式图像采集方法不断引导操作者图像采集过程，当用户对扫描结果已经满意时，扫描和重建的过程结束，根据得到的扫描结果利用图像优化算法如空洞修复可生成任意虚拟视点的高质量图像，最大程度上保证得到的综合图像完整没有空洞、空洞修复部分细节保持良好、相邻帧没有明显闪烁跳变问题，提升自由视点图像质量，整个自由视点图像制作过程不复杂、简单易于操作。

此外，本发明实施例还针对自由视点图像生成方法提供了相应的实现装置、系统及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、系统及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种自由视点图像生成方法的流程示意图；

图2为本发明实施例提供的自由视点图像生成装置的一种具体实施方式结构图；

图3为本发明实施例提供的自由视点图像生成装置的另一种具体实施方式结构图；

图4为本发明实施例提供的自由视点图像生成装置的一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

需要注意的是，上述应用场景仅是为了便于理解本申请的思想和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种自由视点图像生成方法的流程示意图，本发明实施例可包括以下内容：

S101：根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型。

在本步骤中，RGB图像和深度数据为利用同一图像采集设备采集的，如RGBD传感器，在利用当前已经采集到的RGB图像和深度数据可重建出被扫描场景的三维虚拟模型，三维虚拟模型中生成并维护了每一帧对应于该模型中的局部数据，可向用户展示每一帧单独对整体模型的贡献。重建得到的三维虚拟模型为后续虚拟视点图像综合和反馈信息生成提供数据基础。重建过程可参照常见三维重建方法，此处便不再赘述。三维模型格式包括但不限于点云、符号距离函数及三角网格等。

S102：当接收到用户对虚拟视点的选择指令，根据三维虚拟模型的格式和待观测虚拟视点数据生成初始虚拟视点图像。

用户通过人机交互设备与系统进行交互，在本申请中人机交互设备可为沉浸式显示设备，在S101步骤中生成三维虚拟模型后，用户会通过人机交互方式选择其想要观测的虚拟视点以及观测该虚拟视点的方向，并将这些信息以选择指令的形式发送给系统，系统可从选择指令中读取用户拟观察的虚拟视点位置信息和观察方向，得到虚拟视点位置和位姿数据，作为待观测虚拟视点数据；利用光线投射方法或图像重投影变换方法结合三维虚拟模型的具体格式如点云格式或符号距离函数格式或三角网格格式、虚拟视点位置和位姿数据生成初始虚拟视点图像。虚拟视点图像的生成包括但不限于光线投射、图像重投影变换，当然也可采用现有技术中任何一种常见视点综合方法，这均不影响本申请的实现。和常见虚拟视点图像综合方法不同的是，本步骤只计算基于已有三维重建虚拟模型直接得到的虚拟视点图像，不进行空洞修复等任何优化。这样后续图像反馈结果是由已采集数据直接生成得到的虚拟视点综合图像，且为不经过任何优化手段生成的原始结果，能够真实反映当前已扫描数据的质量。

S103：将基于初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令。

将S101和S102步骤生成的三维虚拟模型和初始虚拟视点图像作为数据基础计算生成能反映当前重建结果质量的各方面信息的反馈信息，反馈信息可包括数值、三维虚拟模型、视点图像等多模式信息，并给出针对性文字操作建议，可在沉浸式显示环境中进行集成显示，为用户提供多视角结果评价依据。本申请将自由视点图像的生成和参考图像的采集两个过程进行分离，通过已采集的数据生成多模式反馈数据即本步骤中的反馈信息，基于反馈信息不断引导用户操作完成图像采集过程，在数据采集过程中对采集数据质量进行优化，提高生成的自由视点图像质量。

其中，反馈信息展示是计算得到的所有数据信息可以沉浸式、可交互的方式展示给用户。这里的沉浸式显示方式包括但不限于虚拟现实头显、增强现实眼镜等。结合显示设备的特点将反馈信息导入，根据具体情况可能需要进行显示程序的开发等辅助性工作。交互方式可以包括但不限于交互手柄、手势、肢体动作、眼动和传统鼠标键盘等手段。可交互的内容包括但不限于切换显示的模型格式、改变显示的视点位置等。根据不同交互内容，可提供下拉菜单界面供用户选择，也可直接对输入交互信息进行响应。基于反馈信息的扫描过程优化是支持用户根据反馈信息进行针对性扫描过程优化的操作。用户可根据反馈信息决定后续进行的操作，包括但不限于对某局部进行强化扫描、调整传感器移动速度、改变传感器姿态、改变扫描位置和对环境光照进行适应性调整等。其中，环境光照的调整包括调整扫描过程中的环境光照和改变环境光照等。系统对用户操作进行实时响应，重复S101-S103直到扫描过程结束。

本步骤利用对已采集的数据进行多维度呈现，指导数据采集过程的优化，通过对采集结果的实时直观展示和交互操作，实现对采集过程有针对性的介入，实现在数据采集过程中即可预览重建的模型和生成的自由视点图像质量，保证最终得到自由视点图像的质量。

S104：利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。

当用户对扫描结果已经满意时，扫描和重建的过程结束，根据得到的结果可生成任意虚拟视点的高质量图像。本步骤在生成自由视点图像时可采用与S102相同的虚拟视图综合方法，不同的是这里要进行图像优化如空洞修复、借助相邻帧进行一致性验证等图像优化过程，图像优化算法例如可为空洞修复方法，从而最大程度上保证得到的综合图像完整没有空洞、空洞修复部分细节保持良好、相邻帧没有明显闪烁跳变等问题。

在本发明实施例提供的技术方案中，基于已有三维重建模型和用户拟观察的虚拟视点数据生成不进行空洞修复等任何优化的初始虚拟视点图像，通过保证原始扫描数据的高质量实现生成虚拟视图的高质量。在已采集结果的基础上综合出相关信息来评估已采集数据的质量，并针对后续图像采集提供有针对性的优化建议，操作者可以根据反馈的信息决定后续的数据采集策略和路线，在数据采集过程中对采集数据质量进行优化，实现结果实时可见的数据采集过程，使得参考图像采集和视点综合两个过程有机融合，有利于提高生成的自由视点图像质量；基于实时反馈的交互式图像采集方法不断引导操作者图像采集过程，当用户对扫描结果已经满意时，扫描和重建的过程结束，根据得到的扫描结果利用图像优化算法如空洞修复可生成任意虚拟视点的高质量图像，最大程度上保证得到的综合图像完整没有空洞、空洞修复部分细节保持良好、相邻帧没有明显闪烁跳变问题，提升自由视点图像质量，整个自由视点图像制作过程不复杂、简单易于操作。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。

在上述实施例中，对于如何执行步骤S103并不做限定，本实施例中给出反馈信息的一种生成及显示方法，本实施例采用沉浸式采集结果实时显示方法，设计了多维度数据反馈模式包含数值、三维模型、图像和文字建议等多模式信息，一方面能够把已得到结果全面的展现给数据采集过程，另一方面给出针对性指导和建议，可以优化后续采集过程，实现实时可见的沉浸式数据采集。可包括如下步骤：

A1：预先设置在三维虚拟模型的重建过程中计算待测目标表面各点法向、当前视图下缺失点的数量和/或所占比例、当前视图区域相机位姿估计时的迭代次数，作为模型重建中间参数；获取模型重建中间参数和当前视图RGB图像的亮度信息；将模型重建中间参数和亮度信息以沉浸式和可交互的方式展示给用户。

其中，数值信息包括但不限于物体表面各点法向、当前视图下缺失点的数量和/或所占比例、当前视图RGB图像的亮度信息包括平均亮度或局部过高/低亮度、当前视图区域相机位姿估计时的迭代次数等。表面各点法向可由S101中相机坐标系下法向经相机位姿矩阵变换得到全局坐标系下法向；当前视图缺失点的数量/比例可在S101的三维虚拟模型融合过程中计算得到；当前视图RGB图像亮度信息可由输入RGB图像直接统计计算得到；当前视图区域相机位姿估计的迭代次数可在S101计算相机位姿过程得到。本实施例将三维虚拟模型重建过程中的中间过程数据进行提取生成数值反馈信息，并采用沉浸式和可交互方式呈现给用户以提供参考，实现在数据采集过程中即可预览重建的模型和生成的自由视点图像质量，并根据反馈信息对数据采集过程进行针对性优化。

A2：预先设置在三维虚拟模型的重建过程中同时生成点云模型、面元模型和网格模型；将三维虚拟模型、点云模型、面元模型、网格模型和初始虚拟视点图像以沉浸式和可交互的方式展示给用户。

其中，在S101生成三维虚拟模型的同时可根据需求同时生成点云模型、面元模型和网格模型等不同格式，供后续在不同格式间切换显示使用。模型需要维护每一帧对应于整体模型中的局部信息，用于展示每一帧对整体模型的贡献部分。S102步骤中生成的初始虚拟自由视点图像实际是模型在指定虚拟视点下观测得到的图像。将三维虚拟模型和视点图像生成反馈信息并采用沉浸式和可交互方式呈现给用户以提供参考，实现在数据采集过程中即可预览重建的模型和生成的自由视点图像质量，可使用户根据反馈信息对数据采集过程进行针对性优化，保障后续生成视点图像的高质量。

A3：预先构建操作建议数据库，操作建议数据库包括多条扫描操作建议，每条扫描操作建议根据当前生成三维虚拟模型和标准虚拟模型的各参数的差异、当前生成虚拟视点图像和标准虚拟视点图像的各参数差异共同生成；获取三维虚拟模型和初始虚拟视点图像的各参数信息，在操作建议数据库匹配相应目标扫描操作建议；将目标扫描操作建议以沉浸式和可交互的方式展示给用户。

其中，扫描操作建议可由以上各信息即A1和A2步骤中计算得到的所有数据综合得到，用于指导后续扫描过程。例如当重建模型某部分缺失/空洞较多时，可建议对该区域进行重新扫描；当某部分对应的RGB图像亮度较高时说明该部分可能对应高光区域，可变换角度进行扫描；当相机位姿估计迭代次数较多时说明该区域重建误差可能比较大，可以更近的距离进行扫描或加强该区域扫描密度。

本实施例利用沉浸式显示设备实现沉浸式可交互数据展示方式，可解决现有技术中采集数据结果展示不直观的问题，向用户展示直观的结果反馈和沉浸式可交互的数据采集过程。把已得到结果包含数值、三维模型、图像和文字建议等多模式反馈信息全面地展现给数据采集过程，还能给出针对性指导和建议，优化后续采集过程，有效提高自由视点图像的质量。

本发明实施例还针对自由视点图像生成方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的自由视点图像生成装置进行介绍，下文描述的自由视点图像生成装置与上文描述的自由视点图像生成方法可相互对应参照。

基于功能模块的角度，参见图2，图2为本发明实施例提供的自由视点图像生成装置在一种具体实施方式下的结构图，该装置可包括：

三维重建模块201，用于根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型。

初始视点图像生成模块202，用于当接收到用户对虚拟视点的选择指令，根据三维虚拟模型的格式、待观测虚拟视点数据生成初始虚拟视点图像。

扫描操作调整模块203，用于将基于初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令。

最终视图生成模块204，用于利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。

可选的，在本实施例的一些实施方式中，所述扫描操作调整模块203可以包括数值信息展示子模块，所述数值信息展示子模块用于预先设置在三维虚拟模型的重建过程中计算模型重建中间参数，模型重建中间参数包括待测目标表面各点法向、当前视图下缺失点的数量和/或所占比例、当前视图区域相机位姿估计时的迭代次数；获取模型重建中间参数和当前视图RGB图像的亮度信息；将模型重建中间参数和亮度信息以沉浸式和可交互的方式展示给用户。

作为本实施例的另外一种可选的实施方式，所述扫描操作调整模块203例如可以包括图展示子模块，图展示子模块用于预先设置在三维虚拟模型的重建过程中同时生成点云模型、面元模型和网格模型；将三维虚拟模型、点云模型、面元模型、网格模型和初始虚拟视点图像以沉浸式和可交互的方式展示给用户。

作为本实施例的其他可选的实施方式，所述扫描操作调整模块203例如可以包括：

数据库预构建子模块，用于预先构建操作建议数据库，操作建议数据库包括多条扫描操作建议，每条扫描操作建议根据当前生成三维虚拟模型和标准虚拟模型的各参数的差异、当前生成虚拟视点图像和标准虚拟视点图像的各参数差异共同生成；

建议匹配子模块，用于获取三维虚拟模型和初始虚拟视点图像的各参数信息，在操作建议数据库匹配相应目标扫描操作建议；

建议展示子模块，用于将目标扫描操作建议以沉浸式和可交互的方式展示给用户。

可选的，在本实施例的另一些实施方式中，所述初始视点图像生成模块202例如还可以包括：

数据读取子模块，用于从选择指令中读取用户拟观察的虚拟视点位置信息和观察方向，得到虚拟视点位置和位姿数据，作为待观测虚拟视点数据；

视图生成子模块，用于利用光线投射方法或图像重投影变换方法根据三维虚拟模型的格式、虚拟视点位置和位姿数据生成初始虚拟视点图像；三维虚拟模型的格式为点云格式或符号距离函数格式或三角网格格式。

本发明实施例所述自由视点图像生成装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例不仅可有效提升虚拟现实领域中自由视点图像生成质量，而且自由视点图像制作过程不复杂、简单易于操作。

上文中提到的自由视点图像生成装置是从功能模块的角度描述，进一步的，本申请还提供一种自由视点图像生成装置，是从硬件角度描述。图3为本申请实施例提供的另一种自由视点图像生成装置的结构图。如图3所示，该装置包括存储器30，用于存储计算机程序；处理器31，用于执行计算机程序时实现如上述任一实施例提到的自由视点图像生成方法的步骤。

其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序301，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的自由视点图像生成方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统302和数据303等，存储方式可以是短暂存储或者永久存储。其中，操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于自由视点图像生成结果对应的数据等。

在一些实施例中，自由视点图像生成装置还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。

本领域技术人员可以理解，图3中示出的结构并不构成对自由视点图像生成装置的限定，可以包括比图示更多或更少的组件，例如还可包括传感器37。

本发明实施例所述自由视点图像生成装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例由上可知，本发明实施例不仅可有效提升虚拟现实领域中自由视点图像生成质量，而且自由视点图像制作过程不复杂、简单易于操作。

可以理解的是，如果上述实施例中的自由视点图像生成方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有自由视点图像生成程序，所述自由视点图像生成程序被处理器执行时如上任意一实施例所述自由视点图像生成方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例由上可知，本发明实施例不仅可有效提升虚拟现实领域中自由视点图像生成质量，而且自由视点图像制作过程不复杂、简单易于操作。

本发明实施例还提供了一种自由视点图像生成系统，参见图4，自由视点图像生成系统可包括如上任意一个实施例所述自由视点图像生成装置41、图像采集设备42和沉浸式显示设备43。

图像采集设备42可为同时提供RGB图像和深度数据的感知设备。图像采集设备42例如可为RGBD传感器，除Kinect外，常见的RGBD相机还有Intel RealSense、PrimesenseCarmine、Google Tango、LiDAR激光雷达组件。沉浸式显示设备43用于将反馈信息以沉浸式和可交互的方式展示给用户。沉浸式显示设备43包括但不限于虚拟现实头显、增强现实眼镜等。结合显示设备的特点将反馈信息导入，根据具体情况可能需要进行显示程序的开发等辅助性工作。交互方式可以包括但不限于交互手柄、手势、肢体动作、眼动和传统鼠标键盘等手段。

本发明实施例所述自由视点图像生成系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例由上可知，本发明实施例不仅可有效提升虚拟现实领域中自由视点图像生成质量，而且自由视点图像制作过程不复杂、简单易于操作。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种自由视点图像生成方法、装置、系统及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种自由视点图像生成方法，其特征在于，包括：

根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型；

当接收到用户对虚拟视点的选择指令，根据所述三维虚拟模型的格式和待观测虚拟视点数据生成初始虚拟视点图像；

将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于所述反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令；

利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。

2.根据权利要求1所述的自由视点图像生成方法，其特征在于，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先设置在所述三维虚拟模型的重建过程中计算模型重建中间参数，所述模型重建中间参数包括待测目标表面各点法向、当前视图下缺失点的数量和/或所占比例、当前视图区域相机位姿估计时的迭代次数；

获取所述模型重建中间参数和当前视图RGB图像的亮度信息；

将所述模型重建中间参数和所述亮度信息以沉浸式和可交互的方式展示给用户。

3.根据权利要求2所述的自由视点图像生成方法，其特征在于，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先设置在所述三维虚拟模型的重建过程中同时生成点云模型、面元模型和网格模型；

将所述三维虚拟模型、所述点云模型、所述面元模型、所述网格模型和所述初始虚拟视点图像以沉浸式和可交互的方式展示给用户。

4.根据权利要求1至3任意一项所述的自由视点图像生成方法，其特征在于，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先构建操作建议数据库，所述操作建议数据库包括多条扫描操作建议，每条扫描操作建议根据当前生成的三维虚拟模型和标准虚拟模型的各参数的差异、当前生成的虚拟视点图像和标准虚拟视点图像的各参数的差异共同生成；

获取所述三维虚拟模型和所述初始虚拟视点图像的各参数信息，在所述操作建议数据库中匹配相应目标扫描操作建议；

将所述目标扫描操作建议以沉浸式和可交互的方式展示给用户。

5.根据权利要求4所述的自由视点图像生成方法，其特征在于，所述根据所述三维虚拟模型的格式和待观测虚拟视点数据生成初始虚拟视点图像包括：

从所述选择指令中读取用户拟观察的虚拟视点位置信息和观察方向，得到虚拟视点位置和位姿数据，作为所述待观测虚拟视点数据；

利用光线投射方法或图像重投影变换方法，根据所述三维虚拟模型的格式、所述虚拟视点位置和所述位姿数据生成所述初始虚拟视点图像；

其中，所述三维虚拟模型的格式为点云格式或符号距离函数格式或三角网格格式。

6.一种自由视点图像生成装置，其特征在于，包括：

三维重建模块，用于根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型；

初始视点图像生成模块，用于当接收到用户对虚拟视点的选择指令，根据所述三维虚拟模型的格式、待观测虚拟视点数据生成初始虚拟视点图像；

扫描操作调整模块，用于将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于所述反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令；

最终视图生成模块，用于利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。

7.根据权利要求6所述的自由视点图像生成装置，其特征在于，所述扫描操作调整模块包括：

数据库预构建子模块，用于预先构建操作建议数据库，所述操作建议数据库包括多条扫描操作建议，每条扫描操作建议根据当前生成三维虚拟模型和标准虚拟模型的各参数的差异、当前生成虚拟视点图像和标准虚拟视点图像的各参数差异共同生成；

建议匹配子模块，用于获取所述三维虚拟模型和所述初始虚拟视点图像的各参数信息，在所述操作建议数据库匹配相应目标扫描操作建议；

建议展示子模块，用于将所述目标扫描操作建议以沉浸式和可交互的方式展示给用户。

8.一种自由视点图像生成装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述自由视点图像生成方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有自由视点图像生成程序，所述自由视点图像生成程序被处理器执行时实现如权利要求1至5任一项所述自由视点图像生成方法的步骤。

10.一种自由视点图像生成系统，其特征在于，包括如权利要求8所述自由视点图像生成装置、图像采集设备和沉浸式显示设备；

所述图像采集设备为同时提供RGB图像和深度数据的感知设备；所述沉浸式显示设备用于将反馈信息以沉浸式和可交互的方式展示给用户。

Images