CN117788699A - 基于单目视频的高质量眼部动态重建方法及系统 - Google Patents

Abstract

本发明公开了基于单目视频的高质量眼部动态重建方法及系统，该方法，包括获取基于眼球旋转的单目视频数据；将单目视频数据输入至训练好的动态神经SDF场，以查询得到SDF体素网格；通过预设的面绘制算法以基于SDF体素网格将SDF场转换为眼部网格模型；利用眼部网格模型输出得到对应眼球旋转的眼部几何结果。本发明能够仅凭低成本的单目视频输入重建出眼部的动态几何，并能够根据眼睛的视线方向驱动眼部几何进行相应的形变，在降低采集成本的同时满足了动态重建需求。

Description

基于单目视频的高质量眼部动态重建方法及系统

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，特别是涉及基于单目视频的高质量眼部动态重建方法及系统。

背景技术

数字孪生影响着人们的生活和工作方式，人脸的数字化在其中起到了十分重要的作用。眼睛作为人脸最重要的器官之一，它的高质量重建直接影响数字人的真实感与用户的交互体验。随着数字化需求的不断增长，各应用终端也对数字化对象的动态性提出了更高的要求。眼部重建是数字人的重要问题，在虚拟现实、增强现实、数字孪生等领域有诸多应用。例如，高质量的眼部重建可以增强数字人的真实感，提升用户的沉浸体验。另外，高质量重建还对医疗领域的数字化存档、量化分析具有重要意义，能够提高医疗资源的利用率。目前眼部重建按采集成本可分为高成本方法和低成本方法。高成本方法往往通过多相机搭建相机阵列，配合可控的光照设备，对人脸眼部进行扫描级的重建。该类方法具有静态重建质量高的优点，但难以拓展到动态重建上。低成本方法通常基于参数化的可变形模型，利用图像信息拟合模型参数，得到对应的重建结果。该类方法具有重建速度快的优点，往往能达到实时的重建效率，但其重建的精细程度受模型精度的制约，难以表示眼部细节。然而，目前的眼部重建要么依赖高成本的采集设备，要么只能实现低精度的重建，低成本采集下的高质量眼部重建成为了亟待解决的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出了一种基于单目视频的高质量眼部动态重建方法，解决采集成本与重建质量之间的矛盾，该方法能够仅凭低成本的单目视频输入重建出眼部的动态几何，并能够根据眼睛的视线方向驱动眼部几何进行相应的形变。在降低采集成本的同时满足了动态重建需求。

本发明的另一个目的在于提出一种基于单目视频的高质量眼部动态重建系统。

为达上述目的，本发明一方面提出一种基于单目视频的高质量眼部动态重建方法，包括：

获取基于眼球旋转的单目视频数据；

将所述单目视频数据输入至训练好的动态神经SDF场，以查询得到SDF体素网格；

通过预设的面绘制算法以基于所述SDF体素网格将SDF场转换为眼部网格模型；

利用所述眼部网格模型输出得到对应眼球旋转的眼部几何结果。

本发明实施例的基于单目视频的高质量眼部动态重建方法还可以具有以下附加技术特征：

在本发明的一个实施例中，在将所述单目视频数据输入至训练好的动态神经SDF场之前，所述方法，还包括训练所述动态神经SDF场，包括：

获取单目视频数据样本；

利用所述单目视频数据样本构建训练数据集；

利用所述训练数据集训练动态神经SDF场以得到训练好的动态神经SDF场。

在本发明的一个实施例中，利用所述训练数据集训练动态神经SDF场以得到训练好的动态神经SDF场，包括：

获取所述单目视频数据样本的多帧样本图像；

利用SFM三维重建的离线算法计算得到所述多帧样本图像的相机位姿；

提取所述多帧样本图像中眼部区域的图像特征点，以基于所述图像特征点计算得到眼球相关信息；

基于所述眼球相关信息、所述相机位姿和多帧样本图像的序列训练动态神经SDF场得到训练好的动态神经SDF场。

在本发明的一个实施例中，提取所述多帧样本图像中眼部区域的图像特征点，以基于所述图像特征点计算得到眼球相关信息，包括：

利用预设的人脸特征点检测算法提取所述多帧样本图像中眼部区域的图像特征点；

对所述图像特征点与眼球生理学模型进行关系构建以得到构建的关系信息；

基于所述关系信息以通过约束眼球生理学模型的投影点与图像特征点在二维图像空间对齐，求解得到眼球相关信息；其中，所述眼球相关信息，包括眼球位置、眼球大小以及各帧眼球旋转信息。

在本发明的一个实施例中，基于所述眼球相关信息、所述相机位姿和多帧样本图像的序列训练动态神经SDF场得到训练好的动态神经SDF场，包括：

提取多帧样本图像序列；

将所述多帧样本图像序列、所述眼球位置、眼球大小以及各帧眼球旋转信息输入至动态神经SDF场，以约束动态神经SDF场的图像渲染和眼球眼皮碰撞得到相关约束结果；

基于所述关约束结果得到由眼球旋转信息控制的动态神经SDF场，以基于由眼球旋转信息控制的动态神经SDF场得到训练好的动态神经SDF场。

为达上述目的，本发明另一方面提出一种基于单目视频的高质量眼部动态重建系统，包括：

单目数据获取模块，用于获取基于眼球旋转的单目视频数据；

体素网格查询模块，用于将所述单目视频数据输入至训练好的动态神经SDF场，以查询得到SDF体素网格；

网格模型转换模块，用于通过预设的面绘制算法以基于所述SDF体素网格将SDF场转换为眼部网格模型；

几何结果输出模块，用于利用所述眼部网格模型输出得到对应眼球旋转的眼部几何结果。

本发明实施例的基于单目视频的高质量眼部动态重建方法和系统，能够仅凭低成本的单目视频输入重建出眼部的动态几何，并能够根据眼睛的视线方向驱动眼部几何进行相应的形变。在降低采集成本的同时满足了动态重建需求。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的基于单目视频的高质量眼部动态重建方法的流程图；

图2是根据本发明实施例的基于单目视频的高质量眼部动态重建的训练示意图；

图3是根据本发明实施例的基于单目视频的高质量眼部动态重建的测试示意图；

图4是根据本发明实施例的基于单目视频的高质量眼部动态重建系统的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的基于单目视频的高质量眼部动态重建方法和系统。

图1是本发明实施例的基于单目视频的高质量眼部动态重建方法的流程图。

如图1所示，该方法包括但不限于以下步骤：

S1，获取基于眼球旋转的单目视频数据；

S2，将单目视频数据输入至训练好的动态神经SDF场，以查询得到SDF体素网格；

S3，通过预设的面绘制算法以基于SDF体素网格将SDF场转换为眼部网格模型；

S4，利用眼部网格模型输出得到对应眼球旋转的眼部几何结果。

可以理解的是，本发明目的是以单目视频为输入(其中，视频内容为多拍摄视角的人眼多方向转动的彩色视频)，利用动态神经SDF场实现高质量的眼部动态重建。完成重建后，可以指定眼睛的视线方向，生成对应的眼部几何形状。

首先，本发明在进行高质量的眼部动态重建之前，需要进行神经网络的训练，以利用训练的神经网络进行重建。

具体地，获取用于训练的单目视频数据样本，利用单目视频数据样本构建训练数据集，利用训练数据集训练动态神经SDF场以得到训练好的动态神经SDF场。

在本发明的一个实施例中，采集单目视频作为输入。被采集人保持头部静止自然地转动眼球，采集设备(如手机等)围绕被采集人的眼球进行多视角拍摄。全程约15-20秒，尽可能从更多的视角拍摄不同视线的眼球。

进一步地，利用采集的样本构建训练数据集以训练动态神经SDF场，如图2所示。

具体地，训练动态神经SDF场，可以包括获取目视频数据样本的多帧样本图像，利用SFM三维重建的离线算法计算得到多帧样本图像的相机位姿；提取多帧样本图像中眼部区域的图像特征点，以基于图像特征点计算得到眼球相关信息；基于眼球相关信息、相机位姿和多帧样本图像的序列训练动态神经SDF场得到训练好的动态神经SDF场。

在本发明的一个实施例中，利用SFM方法获得单目视频的相机运动轨迹。通过已有的SFM方法，输入单目视频，输出每帧图像的相机位姿(相对于世界坐标的旋转和平移)，SFM方法为基于各种收集到的无序图片进行三维重建的离线算法。

在本发明的一个实施例中，提取视频数据中眼部区域的图像特征点，求解眼球位置及各帧眼球旋转。通过已有的人脸特征点检测算法，提取眼部区域的图像特征点，并将特征点与眼球生理学模型建立对应关系。通过约束眼球模型的投影点与特征点在二维图像空间对齐，求解得到眼球位置、眼球大小以及各帧眼球旋转。

优选地，本发明利用单目视频中的多视线信息和眼球的生理学先验，确定眼球的大小及其三维位置。单视线的图像信息存在歧义，无法确定眼球位置。利用多视线的图像信息可以消除眼球位置和视线方向的歧义，从而求解眼球的三维位置。

在本发明的一个实施例中，输入视频图像序列、眼球的三维位置和大小、各帧的相机位姿、各帧的眼球旋转至SDF场，以约束神经SDF场通过体渲染得到的渲染结果与输入图像一致的同时约束眼皮与眼球符合物理碰撞规律，得到可由眼球旋转控制的神经SDF场。由此得到训练好的动态神经SDF场。

优选地，本发明利用眼球和眼皮的物理碰撞关系，进一步优化眼部的几何形状。基于单目视频的深度信息量有限，直接优化容易导致眼皮凹陷等问题。通过眼球和眼皮的物理碰撞关系，可以避免因单目视频信息量不足导致的几何形状不准等问题。

进一步地，如图3所示，具体地使用过程可以为：输入眼球旋转，通过训练好的神经SDF场，查询得到SDF体素网格。通过marching cubes算法，将SDF场转换为网格模型，即可得到对应眼球旋转的眼部几何结果。

优选地，本发明利用眼球旋转生成形变编码，以控制眼皮的变形。由于眼皮的变形非常复杂，人工设计变形模式具有较高的难度和成本。本发明利用眼球旋转和眼皮变形间的联系，通过眼球旋转控制眼皮变形，成功将复杂的运动转化为简单的参数，大大提高了后续应用的便利性。

本发明具有以下优点：优点不依赖复杂的采集设备，采集成本低；重建质量高且能够重建眼部运动(即动态重建)；能够利用眼球旋转控制眼皮变形，具有较高的应用价值。

本发明实施例的基于单目视频的高质量眼部动态重建方法，能够仅凭低成本的单目视频输入重建出眼部的动态几何，并能够根据眼睛的视线方向驱动眼部几何进行相应的形变。在降低采集成本的同时满足了动态重建需求，利用动态神经SDF场实现高质量的眼部动态重建。

为了实现上述实施例，如图4所示，本实施例中还提供了基于单目视频的高质量眼部动态重建系统10，该系统10包括，单目数据获取模块100、体素网格查询模块200、网格模型转换模块300和几何结果输出模块400；

单目数据获取模块100，用于获取基于眼球旋转的单目视频数据；

体素网格查询模块200，用于将单目视频数据输入至训练好的动态神经SDF场，以查询得到SDF体素网格；

网格模型转换模块300，用于通过预设的面绘制算法以基于SDF体素网格将SDF场转换为眼部网格模型；

几何结果输出模块400，用于利用眼部网格模型输出得到对应眼球旋转的眼部几何结果。

进一步地，在体素网格查询模块300之前，还包括模型训练模块，包括：

样本获取单元，用于获取单目视频数据样本；

数据构建单元，用于利用所述单目视频数据样本构建训练数据集；

动态训练单元，用于利用所述训练数据集训练动态神经SDF场以得到训练好的动态神经SDF场。

进一步地，动态训练单元，包括：

样本图像获取子单元，用于获取所述单目视频数据样本的多帧样本图像；

相机位姿计算子单元，用于利用SFM三维重建的离线算法计算得到所述多帧样本图像的相机位姿；

眼球信息计算子单元，用于提取所述多帧样本图像中眼部区域的图像特征点，以基于所述图像特征点计算得到眼球相关信息；

神经场动态训练子单元，用于基于所述眼球相关信息、所述相机位姿和多帧样本图像的序列训练动态神经SDF场得到训练好的动态神经SDF场。

进一步地，眼球信息计算子单元，还用于：

利用预设的人脸特征点检测算法提取所述多帧样本图像中眼部区域的图像特征点；

对所述图像特征点与眼球生理学模型进行关系构建以得到构建的关系信息；

基于所述关系信息以通过约束眼球生理学模型的投影点与图像特征点在二维图像空间对齐，求解得到眼球相关信息；其中，所述眼球相关信息，包括眼球位置、眼球大小以及各帧眼球旋转信息。

进一步地，神经场动态训练子单元，还用于：

提取多帧样本图像序列；

将所述多帧样本图像序列、所述眼球位置、眼球大小以及各帧眼球旋转信息输入至动态神经SDF场，以约束动态神经SDF场的图像渲染和眼球眼皮碰撞得到相关约束结果；

基于所述关约束结果得到由眼球旋转信息控制的动态神经SDF场，以基于由眼球旋转信息控制的动态神经SDF场得到训练好的动态神经SDF场。

本发明实施例的基于单目视频的高质量眼部动态重建系统，能够仅凭低成本的单目视频输入重建出眼部的动态几何，并能够根据眼睛的视线方向驱动眼部几何进行相应的形变。在降低采集成本的同时满足了动态重建需求，利用动态神经SDF场实现高质量的眼部动态重建。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims (10)

1.一种基于单目视频的高质量眼部动态重建方法，其特征在于，所述方法包括以下步骤：

获取基于眼球旋转的单目视频数据；

将所述单目视频数据输入至训练好的动态神经SDF场，以查询得到SDF体素网格；

通过预设的面绘制算法以基于所述SDF体素网格将SDF场转换为眼部网格模型；

利用所述眼部网格模型输出得到对应眼球旋转的眼部几何结果。

2.根据权利要求1所述的方法，其特征在于，在将所述单目视频数据输入至训练好的动态神经SDF场之前，所述方法，还包括训练所述动态神经SDF场，包括：

获取单目视频数据样本；

利用所述单目视频数据样本构建训练数据集；

利用所述训练数据集训练动态神经SDF场以得到训练好的动态神经SDF场。

3.根据权利要求2所述的方法，其特征在于，利用所述训练数据集训练动态神经SDF场以得到训练好的动态神经SDF场，包括：

获取所述单目视频数据样本的多帧样本图像；

利用SFM三维重建的离线算法计算得到所述多帧样本图像的相机位姿；

提取所述多帧样本图像中眼部区域的图像特征点，以基于所述图像特征点计算得到眼球相关信息；

基于所述眼球相关信息、所述相机位姿和多帧样本图像的序列训练动态神经SDF场得到训练好的动态神经SDF场。

4.根据权利要求3所述的方法，其特征在于，提取所述多帧样本图像中眼部区域的图像特征点，以基于所述图像特征点计算得到眼球相关信息，包括：

利用预设的人脸特征点检测算法提取所述多帧样本图像中眼部区域的图像特征点；

对所述图像特征点与眼球生理学模型进行关系构建以得到构建的关系信息；

基于所述关系信息以通过约束眼球生理学模型的投影点与图像特征点在二维图像空间对齐，求解得到眼球相关信息；其中，所述眼球相关信息，包括眼球位置、眼球大小以及各帧眼球旋转信息。

5.根据权利要求4所述的方法，其特征在于，基于所述眼球相关信息、所述相机位姿和多帧样本图像的序列训练动态神经SDF场得到训练好的动态神经SDF场，包括：

提取多帧样本图像序列；

将所述多帧样本图像序列、所述眼球位置、眼球大小以及各帧眼球旋转信息输入至动态神经SDF场，以约束动态神经SDF场的图像渲染和眼球眼皮碰撞得到相关约束结果；

基于所述关约束结果得到由眼球旋转信息控制的动态神经SDF场，以基于由眼球旋转信息控制的动态神经SDF场得到训练好的动态神经SDF场。

6.一种基于单目视频的高质量眼部动态重建系统，其特征在于，包括：

单目数据获取模块，用于获取基于眼球旋转的单目视频数据；

体素网格查询模块，用于将所述单目视频数据输入至训练好的动态神经SDF场，以查询得到SDF体素网格；

网格模型转换模块，用于通过预设的面绘制算法以基于所述SDF体素网格将SDF场转换为眼部网格模型；

几何结果输出模块，用于利用所述眼部网格模型输出得到对应眼球旋转的眼部几何结果。

7.根据权利要求6所述的系统，其特征在于，在体素网格查询模块之前，还包括模型训练模块，包括：

样本获取单元，用于获取单目视频数据样本；

数据构建单元，用于利用所述单目视频数据样本构建训练数据集；

动态训练单元，用于利用所述训练数据集训练动态神经SDF场以得到训练好的动态神经SDF场。

8.根据权利要求7所述的系统，其特征在于，动态训练单元，包括：

样本图像获取子单元，用于获取所述单目视频数据样本的多帧样本图像；

相机位姿计算子单元，用于利用SFM三维重建的离线算法计算得到所述多帧样本图像的相机位姿；

眼球信息计算子单元，用于提取所述多帧样本图像中眼部区域的图像特征点，以基于所述图像特征点计算得到眼球相关信息；

神经场动态训练子单元，用于基于所述眼球相关信息、所述相机位姿和多帧样本图像的序列训练动态神经SDF场得到训练好的动态神经SDF场。

9.根据权利要求8所述的系统，其特征在于，所述眼球信息计算子单元，还用于：

利用预设的人脸特征点检测算法提取所述多帧样本图像中眼部区域的图像特征点；

对所述图像特征点与眼球生理学模型进行关系构建以得到构建的关系信息；

基于所述关系信息以通过约束眼球生理学模型的投影点与图像特征点在二维图像空间对齐，求解得到眼球相关信息；其中，所述眼球相关信息，包括眼球位置、眼球大小以及各帧眼球旋转信息。

10.根据权利要求9所述的系统，其特征在于，所述神经场动态训练子单元，还用于：

提取多帧样本图像序列；

将所述多帧样本图像序列、所述眼球位置、眼球大小以及各帧眼球旋转信息输入至动态神经SDF场，以约束动态神经SDF场的图像渲染和眼球眼皮碰撞得到相关约束结果；

基于所述关约束结果得到由眼球旋转信息控制的动态神经SDF场，以基于由眼球旋转信息控制的动态神经SDF场得到训练好的动态神经SDF场。