CN112669448A

CN112669448A - 基于三维重建技术的虚拟数据集开发方法、系统及存储介质

Info

Publication number: CN112669448A
Application number: CN202011617797.1A
Authority: CN
Inventors: 刘芳; 郑伟诗; 邝嘉健; 关杰鸿; 张青
Original assignee: Sun Yat Sen University
Current assignee: Sun Yat Sen University
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2021-04-16
Anticipated expiration: 2040-12-30
Also published as: CN112669448B

Abstract

本发明公开了一种基于三维重建技术的虚拟数据集开发方法、系统及存储介质，所述方法包括以下步骤：批量建模人物模型；重建三维真实场景模型；构建虚拟数据集。本发明主要目的在于克服真实数据集的隐私问题以及采集周期长，成本高等问题，提供一种基于三维重建技术的虚拟数据集开发方法、系统及存储介质，通过开发一种结合人物建模技术以及三维场景重建技术的虚拟场景仿真平台，实现重建三维真实场景模型，批量建模人物模型和批量生成大量视角、空间位置、姿态、性别、肤色、年龄、着装风格各异的行人图像。

Description

基于三维重建技术的虚拟数据集开发方法、系统及存储介质

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于三维重建技术的虚拟数据集开发方法、系统及存储介质。

背景技术

图像处理领域的研究需要大量的图像数据集，其中的行人重识别领域需要大量的行人图像数据集来支撑进行研究。目前的行人图像数据集为真实行人图像数据集，包括Market1501、DukeMTMC-reID、MSMT17、SYSU-MM01等，其中Market1501采集于夏季国内校园，行人多短袖，色彩较鲜明，DukeMTMC-reID采集于冬季国外校园，行人多厚重冬装，色彩相对暗沉。但是由于真实行人数据集会涉及到隐私问题(如行人图像中会包含行人的面部信息，衣着信息等)，导致很多真实数据集下架不可用，阻碍行人重识别的研究。

真实行人数据集的采集首先需要拍摄设备的购买以及租赁，拍摄环境的准备，招聘志愿者参与数据集的拍摄，以及采集的行人图像的处理工作。除了真实行人的隐私问题，采集真实行人数据集尚存在很多问题。一个规模较大的行人数据集的采集需要大量的志愿者作为行人参与到数据集的拍摄，耗费了大量的人力。为了得到高质量的行人图像，需要购买昂贵的拍摄设备，成本较高。同时为了得到不同场景和不同光照条件等下的行人图像，需要拍摄环境的准备。真实行人数据集的采集工作至少需要两到三个月的拍摄周期，同时还需要大量的人力、物力成本。

发明内容

本发明的主要目的在于克服真实数据集的隐私问题以及采集周期长，成本高等问题，提供一种基于三维重建技术的虚拟数据集开发方法、系统及存储介质，通过开发一种结合人物建模技术以及三维场景重建技术的虚拟场景仿真平台，实现重建三维真实场景模型，批量建模人物模型和批量生成大量视角、空间位置、姿态、性别、肤色、年龄、着装风格各异的行人图像。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于三维重建技术的虚拟数据集开发方法，包括以下步骤：

批量建模人物模型，所述人物模型包括肤色、身高、体重、性别及着装；

重建三维真实场景模型，利用无人机拍摄采集真实场景多视角全覆盖RGB图像，从多张多视角2D图像中推算3D信息，实现三维真实场景模型的重建；

构建虚拟数据集，基于人物模型和三维真实场景模型进行虚拟场景仿真平台仿真，在场景中的不同位置标定摄像机，采集不同摄像机角度，同一行人不同角度、不同动作的图像，得到虚拟数据集。

优选的，所述批量建模人物模型的过程具体为：

通过分析轻量型人物建模软件，调整人物的肤色、身高、体重、性别以及衣物，快速进行人物建模，实现自动批量建模；

所述自动批量建模过程中，设定产生男性模型和女性模型的可能性相等，肤色设置为亚洲肤色，年龄平均分布在[18,60]之间，体重均匀分布在系统设置的体重范围内，身高的分布遵循高斯分布N(μ,σ)，根据性别选取人物模型对应的发型和衣物；

为人物模型添加人物骨架动画，并按照动作的划分切分动画，所述人物骨架动画包括跑、跳或走的动作。

优选的，所述重建三维真实场景模型的过程具体为：

对无人机检测系统的摄像头进行标定，确定世界坐标系中某一点与像素坐标系中该点的坐标对应关系；

利用无人机检测系统对现实场景进行环绕拍摄，获得多视角全覆盖RGB图像；

利用三维重建算法从所述多视角全覆盖RGB图像中提取并匹配特征点，恢复图像方位信息，根据射影几何计算特征点的空间三维坐标，实现三维真实场景模型的重建。

优选的，所述实现三维真实场景模型的重建的过程具体为：

使用尺度不变特征变换法提取任意两张图像中的特征点并进行匹配，确定图像之间的位置关系，计算图像方位信息；

使用光束平差法恢复特征点的空间三维坐标；

通过插值算法加密特征点组成的点云；

将所述点云网格化，生成并贴上纹理，得到三维真实场景模型。

优选的，构建虚拟数据集的过程具体为：

模拟真实场景中摄像机的位置，在重建的三维真实场景模型中添加摄像机；

实时加载人物模型；

切换仿真过程中摄像机观察视角；

设计人物模型状态转换机，并实现人物动作的切换；

改变人物模型在场景中的位置和角度，实现人物模型的移动及旋转，用于收集同一摄像机视角下同一行人不同角度的图像；

人物模型图像的采集，具体为：将每个摄像机视角的图像保存在一个单独的文件夹中，根据预先设置的时间间隔保存当前摄像机视角下的图像到对应文件夹中。

优选的，所述实时加载人物模型的过程具体为：

将所有的人物模型存储在Resources文件夹中，依次调用每一个人物模型，设置每个人物模型在场景中显示的时间，显示时间结束后调用下一个人物模型。

优选的，所述切换仿真过程中摄像机观察视角过程具体为：

根据真实场景中监控摄像头的位置或真实数据集的拍摄角度在三维真实场景模型中添加多个摄像机，通过键盘的控制实现摄像机视角的切换。

优选的，所述设计人物模型状态转换机，并实现人物动作的切换具体为：

为人物模型设计不同的状态，包括人物的动作；为人物模型添加状态机控制器以及状态控制参数，实现人物模型状态的切换；所述状态控制参数用于表示从一种状态切换到另一种状态的条件。

本发明另一方面提供了一种基于三维重建技术的虚拟数据集开发系统，应用于所述的基于三维重建技术的虚拟数据集开发方法，包括批量建模模块、重建场景模块以及构建虚拟数据集模块；

所述批量建模模块用于批量建模人物模型，通过分析轻量型人物建模软件，所述人物模型包括肤色、身高、体重、性别及着装；

所述重建场景模块用于重建三维真实场景模型，利用无人机拍摄采集真实场景多视角全覆盖RGB图像，从多张多视角2D图像中推算3D信息，实现三维真实场景模型的重建；

所述构建虚拟数据集模块用于构建虚拟数据集，基于人物模型和三维真实场景模型进行虚拟场景仿真平台仿真，在场景中的不同位置标定摄像机，采集不同摄像机角度，同一行人不同角度、不同动作的图像，得到虚拟数据集。

本发明的又一方面提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于三维重建技术的虚拟数据集开发方法。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用批量建模人物模型的技术方案，可以得到规模远大于真实行人数据集的虚拟行人数据集。

(2)本发明通过重建三维真实场景模型，可为行人重识别研究提供更多的背景知识。

(3)本发明开发的虚拟场景仿真平台中可以自定义场景中的光照、光源等条件，得到不同光照下的行人图像，同时可以通过设计行人图像采集算法收集行人在场景中不同位置、不同角度、不同动作的行人图像。

附图说明

图1是本发明实施例所述的基于三维重建技术的虚拟数据集开发方法的流程框架图；

图2是本发明实施例所述的虚拟人物模型示意图；其中，图2(a)为女性人物模型示意图，图2(b)为男性人物模型示意图；

图3是本发明实施例所述重建的三维真实场景模型示意图；其中，图3(a)为学校道路一侧的三维重建模型示意图，图3(b)为废弃住宅的三维重建模型示意图；

图4(a)-图4(d)是本发明实施例同一行人的不同角度、不同动作的四张虚拟行人图片；

图5是本发明实施例所述一种基于三维重建技术的虚拟数据集开发系统的结构示意图；

图6是本发明实施例所述存储介质的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

本实施例提供了一种基于三维重建技术的虚拟数据集开发方法，首先通过虚拟人物模型建模模块批量建模大量的不同性别、不同体重、不同身高以及不同着装的人物模型，并为人物模型添加人物骨架动画(如跑动、跳跃、行走等动作)，并按照动作的划分切分动画。同时本发明通过场景三维重建模块利用无人机拍摄的多角度全覆盖变角度的图像中提取并匹配特征点，恢复图像方位信息，根据射影几何计算特征点的空间三维坐标，重建三维场景。最后，将人物模型和三维场景模型输入行人图片采集模块，通过模拟现实场景中摄像机的位置在重建的三维场景模型中添加摄像机，并设计算法实现摄像机的切换收集不同摄像机视角下的行人图片，并设计人物模型状态转换机实现人物动作的切换以及设计算法实现人物模型的移动旋转和图片的收集，得到多视角多角度多动作的虚拟行人图片数据集。通过开发一种结合人物建模技术以及三维场景重建技术的虚拟场景仿真平台，实现重建三维真实场景模型，批量建模人物模型和批量生成大量视角、空间位置，姿态，性别，肤色、年龄、着装风格各异的行人图像。

如图1所示，本实施例基于三维重建技术的虚拟数据集开发方法具体包括下述步骤：

S1、批量建模人物模型：通过分析轻量型人物建模软件，设计算法实现自动批量建模不同肤色、不同身高、不同体重以及不同性别的人物模型；

本实施例中选用makehuman软件，makehuman可以通过面板手动调整人物的肤色、身高、体重、性别以及衣物等快速进行人物建模；并且通过分析makehuman的源代码以及导出的人物模型文件信息，设计算法通过调用makehuman中调整人物肤色、身高、体重、性别以及衣物的接口，调整人物的肤色、身高、体重、性别以及衣物，快速进行人物建模，并实现自动批量建模。

虚拟人物模型的效果如图2所示，其中，图2(a)为女性人物模型示意图，图2(b)为男性人物模型示意图；

更为具体地：

S1.1、在批量建模过程中，设定产生男性模型和女性模型的可能性相等，肤色设置为亚洲肤色，年龄平均分布在[18,60]之间，体重均匀分布在系统可允许的体重范围内，身高的分布遵循高斯分布N(μ,σ)(在本实施例中，男性模型的平均值和方差分别为170cm和5cm，女性模型的平均值和方差分别为160cm和5cm)，根据性别随机选取一些人物模型，及对应的发型和鞋子，如建模一个年龄为20岁，身高163，体重45kg的长发女性模型；当然也可以构建一个男性模型，如年龄30岁，身高180，体重75kg的短发男性模型；该模型可以根据实际的需要进行合理的选取。

S1.2、为人物模型添加人物骨架动画，如跑、跳、走等动作，并按照动作的划分切分动画。

S2、重建三维真实场景模型：利用无人机拍摄采集真实场景多视角全覆盖RGB图像，从多张多角度2D图像中推算3D信息，实现三维真实场景模型的重建；

重建的三维真实场景模型的效果如图3所示，其中，图3(a)为学校道路一侧的三维重建模型示意图，图3(b)为废弃住宅的三维重建模型示意图；

更为具体地：

S2.1、对无人机检测系统的摄像头进行标定；对摄像头进行标定是摄影测量和计算机视觉中不可缺少的一步，通过对摄像头进行标定用于确定世界坐标系中某一点与像素坐标系中该点的坐标对应关系；

S2.2、利用无人机检测系统对真实场景进行环绕拍摄，获得多视角全覆盖RGB图像；

S2.3、算法重建，利用三维重建算法从多张所述多视角全覆盖RGB图像中提取并匹配特征点，恢复图像方位信息，根据射影几何计算特征点的空间三维坐标，实现三维真实场景模型的重建；

更进一步地，步骤S2.3具体为：

使用SIFT(scale-invariant feature transform，尺度不变特征变换)法提取任意两张图像中的特征点并进行匹配，确定图像之间的位置关系；提取特征点并计算图像方位信息后，使用光束平差法恢复特征点的空间三维坐标；由于特征点组成的点云密度稀疏，通过一定的插值算法加密点云；将点云网格化，生成并贴上纹理，得到三维真实场景模型。

S3、构建虚拟数据集：基于人物模型和三维真实场景模型进行虚拟场景仿真平台仿真，在场景中的不同位置标定摄像机，采集不同摄像机角度，同一行人不同角度、不同动作的图像，得到虚拟数据集；

采集的虚拟行人图像的效果如图4(a)、图4(b)、图4(c)和图4(d)所示；

更为具体地：

S3.1、模拟现实场景中摄像机的位置，在重建的三维真实场景模型中添加摄像机；

S3.2、设计算法实现依次加载人物模型，具体为：

将所有的人物模型存储在Resources文件夹中，依次调用每一个人物模型，设置每个人物模型在场景中显示的时间，显示时间结束后调用下一个人物模型；

S3.3、设计算法实现摄像机的切换，以实现仿真过程中摄像机观察视角的切换，具体为：

根据现实场景中监控摄像头的位置或真实数据集的拍摄角度在三维真实场景模型中添加多个摄像机，通过键盘的控制实现摄像机视角的切换，如数字1键切换为1号摄像机视角下，数字2键切换到2号视角下等，默认情况下为1号摄像机视角下采集图像；

S3.4、设计人物模型状态转换机，并设计算法实现人物动作的切换，如行走切换为跑动，跑动切换到跳跃等，具体为：

为人物模型设计不同的状态，如跑动，走路、跳跃等；为人物模型添加状态机控制器以及状态控制参数即从一种状态切换到另一种状态的条件(在本实施例中，采用bool型参数，如设置run2walk控制参数，run2walk＝true时从跑动切换为走路状态，run2walk＝false时不切换)以实现人物模型状态的切换。

S3.5、设计算法实现人物模型的移动，旋转，以实现收集同一摄像机视角下同一行人不同角度的图像，具体为：

通过改变人物模型在场景中的位置和角度，实现人物模型在场景中的移动以及旋转。

S3.6、设计算法实现人物模型图像的采集，如每隔一秒采集行人图像，具体为：

每个摄像机视角的图像保存在一个单独的文件夹中，每隔1秒保存当前摄像机视角下的图像到对应文件夹中。

如图5所示，在另一个实施例中，提供了一种基于三维重建技术的虚拟数据集开发系统，包括批量建模模块、重建场景模块以及构建虚拟数据集模块；

所述批量建模模块用于批量建模人物模型，通过分析轻量型人物建模软件，设计算法实现自动批量建模不同肤色、不同身高、不同体重以及不同性别的人物模型；

在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的基于三维重建技术的虚拟数据集开发方法。

如图6所示，在本申请的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述实施例的基于三维重建技术的虚拟数据集开发方法，具体为：

S1、批量建模人物模型，通过分析轻量型人物建模软件，设计算法实现自动批量建模不同肤色、不同身高、不同体重以及不同性别的人物模型；

S2、重建三维真实场景模型，利用无人机拍摄采集真实场景多视角全覆盖RGB图像，从多张多视角2D图像中推算3D信息，实现三维真实场景模型的重建；

S3、构建虚拟数据集，基于人物模型和三维真实场景模型进行虚拟场景仿真平台仿真，在场景中的不同位置标定摄像机，采集不同摄像机角度，同一行人不同角度、不同动作的图像，得到虚拟数据集。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于三维重建技术的虚拟数据集开发方法，其特征在于，包括以下步骤：

2.根据权利要求1所述结合基于三维重建技术的虚拟数据集开发方法，其特征在于，所述批量建模人物模型的过程具体为：

3.根据权利要求1所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，所述重建三维真实场景模型的过程具体为：

4.根据权利要求3所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，所述实现三维真实场景模型的重建的过程具体为：

使用光束平差法恢复特征点的空间三维坐标；

通过插值算法加密特征点组成的点云；

5.根据权利要求1所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，构建虚拟数据集的过程具体为：

实时加载人物模型；

切换仿真过程中摄像机观察视角；

设计人物模型状态转换机，并实现人物动作的切换；

6.根据权利要求5所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，所述实时加载人物模型的过程具体为：

7.根据权利要求5所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，所述切换仿真过程中摄像机观察视角过程具体为：

8.根据权利要求5所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，所述设计人物模型状态转换机，并实现人物动作的切换具体为：

9.一种基于三维重建技术的虚拟数据集开发系统，其特征在于，应用于权利要求1-8中任一项所述的基于三维重建技术的虚拟数据集开发方法，包括批量建模模块、重建场景模块以及构建虚拟数据集模块；

10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-8任一项所述的基于三维重建技术的虚拟数据集开发方法。