CN111161398B

CN111161398B - 一种图像生成方法、装置、设备及存储介质

Info

Publication number: CN111161398B
Application number: CN201911243092.5A
Authority: CN
Inventors: 寿如阳; 郭晋文; 王磊
Original assignee: Suzhou Zhijia Technology Co Ltd
Current assignee: Suzhou Zhijia Technology Co Ltd
Priority date: 2019-12-06
Filing date: 2019-12-06
Publication date: 2023-04-21
Anticipated expiration: 2039-12-06
Also published as: CN111161398A

Abstract

本说明书实施例提供一种图像生成方法、装置、设备及存储介质。所述方法包括：根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；基于给定视点对所述带纹理的三维点云数据进行投影，得到投影图像；对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据。基于上述方法，将图像数据与三维点云数据进行结合来生成带纹理的三维点云数据，利用所述三维点云数据投影得到投影图像，并实现了对投影生成的投影图像的补全，减少了图像生成的计算量，优化了图像展示的效果，从而能够方便准确地构建三维场景并获取图像。

Description

一种图像生成方法、装置、设备及存储介质

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种图像生成方法、装置、设备及存储介质。

背景技术

三维场景重建(3D Scene Reconstruction)一直以来都是学术界和工业界相当热门的话题。在虚拟现实、数字娱乐、工业制造、地图和定位以及自动驾驶仿真领域，三维场景重建具有较好的应用性。基于所建立的三维场景能够实现对应视角的图像展示，进而也具有较高的利用价值。目前建立三维场景的方法中，通过双目时差的方式来建立三维场景局限于双目时差估计的准确性，会使得生成的图像缺少较多细节；而利用三维点云构建场景之后进行渲染的方式计算量较大，过程复杂，较难直接应用于实际场景中。因此，目前亟需一种能够方便准确地构建三维场景并生成图像的方法。

发明内容

本说明书实施例的目的是提供一种图像生成方法、装置、设备及存储介质，以解决如何方便准确地构建三维场景并生成图像的问题。

为了解决上述问题，本说明书实施例所提出的一种图像生成方法、装置、设备及存储介质是这样实现的：

一种图像生成方法，包括：

根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；

基于给定视点对所述带纹理的三维点云数据进行投影，得到投影图像；

对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据。

一种图像生成装置，包括：

三维点云数据生成模块，用于根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；

投影模块，用于基于给定视点对所述带纹理的三维点云数据进行投影，得到投影图像；

图像补全模块，用于对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据。

一种图像生成设备，所述设备包括存储器和处理器；

所述存储器用于存储计算机指令；

所述处理器，用于执行所述计算机指令以实现以下步骤：根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；基于给定视点对所述带纹理的三维点云数据进行投影，得到投影图像；对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据。

一种存储介质，其上存储有计算机程序指令，所述计算机程序指令在被执行时实现所述图像生成方法。

由以上本说明书实施例提供的技术方案可见，本说明书实施例中的图像生成方法能够在特定场景中基于三维点云数据和图像数据生成带纹理的三维点云数据，并在给定视点下对所述带纹理的三维点云数据进行投影，并能够对投影图像进行补全从而获取在给定视点下对应于所述特定场景的图像数据。上述方法的实施例减少了图像生成所需的计算量，优化了图像展示的效果，使得能够方便准确地构建对应于特定场景的三维模型并获取对应于所述特定场景的任意视角的图像。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例一种图像生成方法的流程图；

图2为本说明书实施例一种图像生成装置的模块图；

图3为本说明书实施例一种计算机设备的结构图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

如图1所示，为本说明书一种图像生成方法的实施例，所述方法的执行主体为计算机设备。所述计算机设备可以为服务器、工控机、PC机、一体机等，所述计算机设备也可以为自动驾驶载具上的计算模块。所述图像生成方法的具体步骤如下：

S110：根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据。

三维点云数据为利用红外探测仪或激光探测仪等仪器测量得到的物体表面的位置数据，通常表示在某一空间坐标系下物体表面的位置数据。通过三维点云数据能够获取物体在空间中的分布情况。由于红外探测仪或激光探测仪等三维点云数据采集设备能够发射红外线或激光等探测射线，所述探测射线在接触到物体后，会基于物体表面的特性进行反射，相应的探测射线接收装置基于接收到的探测射线，能够确定物体表面各个位置对应于三维点云数据采集设备的距离和表面特性。

在实际应用的过程中，利用三维点云数据所记录的可能不止一个物体，而是包含多个物体的场景，为了全面地获取场景的外部特征信息，往往需要从多个角度分别获取对应于所述特定场景的三维点云数据，从而能够确定该场景所对应的三维空间模型。利用一个具体的示例进行说明，当所针对的特定场景为道路时，仅仅从一个方向进行三维点云数据采集可能无法获取所面对的车辆后方的车辆。因此，在构建特定场景对应的空间模型时，需要获取对应于该场景的至少一组三维点云数据。

直接采集到的三维点云数据不包含物体表面各点的颜色信息，若利用所述三维点云数据生成对应于特定场景的图像，所生成的图像只能对特定场景中的物体进行展示，但场景中的物体并不具备相应的色彩信息，用户在查看所述图像时并不能获取较好的观察效果。

因此，在采集三维点云数据的同时，还可以采集对应于所述特定场景的图像数据。

所述图像数据，可以为利用照相机、摄像机等设备，获取对应于所拍摄场景在对应的拍摄视角的二维图像。所述图像数据可以与所述三维点云数据相对应，在所获取的三维点云数据为至少一组时，所对应的图像数据也为至少一组。

在一个实施方式中，为了保证所述图像数据和三维点云数据之间存在对应关系，在采集所述图像数据和三维点云数据时，可以设置分别用于采集所述图像数据和三维点云数据的设备在同一观察点和同一角度进行采集，从而使得所述图像数据和所述三维点云数据能够直接对应。

通过上述实施方式进行采集，能够保障对应于特定场景的图像数据和三维点云数据的完全对应，但在所述特定场景中存在运动物体的情况下，上述实施方式中所采集得到的图像数据和三维点云数据必然存在时间先后关系，从而使得两者并不能完全匹配，上述实施方式应用于静态场景中的效果较好。

因此，为了保证在动态场景中实现对于图像数据和三维点云数据的结合，在另一个实施方式中，可以设置三维点云数据采集设备和图像数据采集设备之间的位置固定，并同时利用所述三维点云数据采集设备和图像数据采集设备进行数据的采集。在后续过程中将三维点云数据和图像数据进行结合时考虑所述三维点云数据采集设备和所述图像数据采集设备之间的相对位置信息。

带纹理的三维点云数据为利用针对特定场景的将所述三维点云数据和图像数据结合后所得到的数据。所述带纹理的三维点云数据所对应的场景模型与利用三维点云数据构建的场景模型在空间位置上相同。所述带纹理的三维点云数据中各个数据点具有相应的纹理信息，使得对所述带纹理的三维点云数据进行投影后所得到的图像也能够包含相应的纹理信息。

在一个实施方式中，构建所述带纹理的三维点云数据可以向将所述三维点云数据中的各个点云数据点与对应的图像数据中的图像像素点的纹理信息进行结合，从而得到带纹理的三维点云数据。

纹理用于表示图像数据中各个像素点的特征信息。所述特征信息包括色彩空间，所述色彩空间包括但不限于RGB、CMYK、lab等。将图像数据中的色彩空间信息与对应的三维点云数据进行结合，使得三维点云数据也能包含相应的色彩空间信息，使得利用三维点云数据生成的图像也能够包含色彩等特征信息。

带纹理的三维点云数据在包含原有的三维点云数据的场景中的物体表面的位置信息的同时，还包含有物体表面的颜色、亮度等特征信息。通过所述带纹理的三维点云数据，能够获取具有颜色、亮度等特征信息的图像，从而具有较好的展示效果。

将图像数据包含的特征信息赋予三维点云数据之前，需要先确定图像数据和三维点云数据的对应关系。由于图像数据中的各个像素点可能包含有不同的特征信息，且图像数据中的像素点与三维点云数据中的点存在对应关系，可以先基于图像数据和三维点云数据在采集过程中的位置关系，将三维点云数据中的点与图像数据中的像素点依次进行匹配，从而实现三维点云数据与图像数据的纹理信息进行结合。

具体的，三维点云数据中包括点云数据点，图像数据中包含图像像素点，将三维点云数据中的各个点云数据点映射至对应的图像像素点后，可以将所述图像像素点的颜色空间参数赋予所述点云数据点，完成纹理信息的结合后，可以得到带纹理的三维点云数据。

利用一个具体的示例进行说明，在某一给定场景中，设置图像序列为I＝{I_k},k∈1…N，式中，I_k为图像序列中的图像数据，k为图像数据的数量。设置三维点云数据序列为C＝{C_k＝{p_k,i＝(x_k,i,y_k,i,z_k,i)}},k∈1…N,i∈1…|C_k|，式中，C_k为三维点云数据，p_k,i为三维点云数据C_k中的点，x_k,i,y_k,i,z_k,i分别为对应于点p_k,i在x轴、y轴、z轴的坐标，N为三维点云数据序列中三维点云数据的组数，|C_k|为三维点云数据中点的数量。

设三维点云坐标系到图像空间坐标系的变换为M、图像投影变换为P，C_k到I_k的投影关系计算表达为

式中，p_k,i为三维点云数据中的点，

为将点p_k,i投影到图像数据I_k上的像素点q_k,i后所对应的点。之后再将像素点q_k,i的特征信息赋予点p_k,i。依照上式，将三维点云数据中的点依次投影至图像数据中对应的像素点处，并将图像数据中的像素点的特征信息与投影的点进行结合，将结合后的点所构成的集合作为带纹理的三维点云数据。

利用一个具体的示例进行说明，基于上述示例，获取到纹理三维点云数据之后，利用包含三维坐标信息的纹理三维点云数据构建带纹理的三维点云数据，从而得到带纹理的三维点云数据

k∈1…N，

式中，

为带纹理的三维点云数据，

为带纹理的三维点云数据中的点，x_k,i,y_k,i,z_k,i分别为对应于点

在x轴、y轴、z轴的坐标，c_k,i为对应于点

的纹理信息，N为带纹理的三维点云数据的组数，

为带纹理的三维点云数据

中点的数量。

在采集三维点云数据时，为了保证所构建的场景的完整度，往往需要从不同的方位多个采集多组三维点云数据。由于设备、场地等因素的限制，这些三维点云数据往往无法做到在同一时间进行采集。在这种情况下，若场景中存在运动的物体，则不同组的三维点云数据在构建场景时，所构建的运动物体往往会在场景中拖出一条模糊的轨迹。若直接利用所述带纹理的三维点云数据进行投影，则投影得到的图像中会包含所述运动物体对应的全部三维点云数据，从而造成影像错误。因此，在利用所述带纹理的三维点云数据进行投影之前，需要先对场景中动态物体所对应的带纹理的三维点云数据进行处理。

在一个实施方式中，可以首先区分出该场景中的动态物体，在所述带纹理的三维点云数据中分离出所述动态物体对应的带纹理的动态点云数据。所述动态物体一般情况下为近似刚体，则所述动态物体在不同组的动态点云数据中仅仅存在一个刚体变换。可以通过迭代对应于所述动态物体的最近点，将对应的带纹理的动态点云数据转换至以原点为中心且轴对齐的包围盒中，从而能够求解得到对应于各个观察时刻的变换点云数据。

利用一个具体的示例进行说明，根据上述步骤S120获取到带纹理的三维点云数据

之后，在所述纹理三维点云数据之中分离出带纹理的动态点云数据

k∈1…N，其中，

为带纹理的三维点云数据

中动态物体的数量，N为带纹理的三维点云数据的组数，以及除所述带纹理的动态点云数据之外的带纹理的静态点云数据

将对应于同一个物体m的带纹理的动态点云数据

归到一个集合

由于在集合

中的数据可以看作是同一个物体在不同时刻做出相应的位移之后所采集到的三维点云数据，因此，可以认为是不同组的三维点云数据中的带纹理的动态点云数据之间存在一个刚体变换，可以通过迭代最近点(Iterative Closest Point，ICP)等方法求解这个刚体变换。将

都变换到以预设原点为中心、轴对齐的包围盒，并计算这个变换的矩阵，得到

并有

通过上述变换，消除了物体的运动所带来的对于坐标系变换的影响，可以看做是静态物体，得到合并后的动态物体所对应的动态点云数据

在构建带纹理的三维点云数据时，基于观察时刻t，可以根据上述数据合集求出对应的T_t,d，并进一步求出对应的数据集合

利用静态点云数据

构建对应的带纹理的静态点云数据S^*后，将所述带纹理的静态三维点云数据与带纹理的动态点云数据进行结合，得到带纹理的三维点云数据

S120：基于给定视点对所述带纹理的三维点云数据进行投影，得到投影图像。

给定视点是在获取所述投影图像所利用的信息。所述给定视点包括视点位置和视点方向，视点位置包括视点的空间坐标，视点方向包括获取图像时的朝向。所述给点视点可以与之前采集图像数据时的视点不同

视点即为用户需要查看图像的观察位置，例如，当所述带纹理的三维点云数据对应为一辆汽车时，用户需要查看该汽车左前方对应的图像时，所述视点可以位于该汽车的左前方。

视点方向即为在视点处观察特定场景时的朝向。根据所述视点位置和视点方向可以确定投影面，从而使得带纹理的三维点云数据投影至投影面时能够将所述三维点云数据中的三维点云数据点与投影面上的像素相对应，进而获取投影图像。

利用一个具体的示例进行说明，设三维点云坐标系到图像空间坐标系的变换为M^*、图像投影变换为P^*，则将带纹理的三维点云数据变换至对应的投影面上可以表示为

式中，

即为点云C^*的点

投影到目标生成图像I^*的位置，对应到I^*的某个像素

将带纹理的三维点云数据中的点

的特征信息赋予

从而实现了将带纹理的三维点云数据投影至投影面得到投影图像。

S130：对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据。

由于三维点云数据是用于确定场景中物体的分布情况的数据，在对应的场景中，物体的分布可能并不均匀，从而造成了三维点云数据中存在一些“空洞”。在这种情况下，将所述带纹理的三维点云数据投影至投影面上得到投影图像后，所述投影图像中可能会因为会出现一些较为细小的“空隙”，即投影面上的像素点并不完全对应有三维点云数据。为了获取更好的观察效果，需要对所述投影图像进行补齐，从而得到在给定视点下对应于所述特定场景的图像数据。

在一个实施方式中，可以利用图像补全模型对所述投影图像进行图像补全。所述图像补全模型能够基于图像本身，对图像中的空缺部分进行补充，使图像能够获取完整的展示效果。因此，将所述投影图像输入所述图像补全模型之后，能够利用所述图像补全模型对投影图像中由于三维点云数据稀疏或缺失所造成的孔隙进行补充，从而得到较好的展示效果。

图像补全模型用于对图像中缺失的部分进行补充。所述图像补全模型可以包括卷积神经网络模型。利用所述图像补全模型能够在无监督学习的情况下实现对于自然图像的理解和生成。在所述图像补全模型是为了对图像中的孔隙进行补充的情况下，基于所述投影图像与所述拍摄图像之间的差别，所述图像补全模型能够掌握对投影图像进行补充的规律。在训练样本充足的情况下，能够较好地提高对图像进行补全的效果。

在一个实施方式中，所述图像补全模型可以根据以下方式获取：获取投影图像和拍摄图像；所述拍摄图像基于对应于所述投影图像的观察信息拍摄得到；根据所述投影图像和所述拍摄图像对预先构建的图像补全模型进行训练。

拍摄图像是根据所述给定视点拍摄得到的图像。例如，在所述给定视点表明了对应于投影图像的给定视点的空间位置和垂直于投影面的拍摄方向的情况下，所述拍摄图像即为在所述给定视点的位置按照给定视点拍摄得到的图像。

在获取到所述给定视点之后，利用照相机、拍照手机、摄像机等设备，能够基于所述给定视点对图像进行拍摄，从而得到拍摄图像。完成拍摄后，所述计算机设备能够从拍摄的设备中获取相应的拍摄图像。

基于所述给定视点拍摄得到的拍摄图像能够与投影图像相互对应。在一般情况下，投影图像中与三维点云数据存在对应关系的像素点与拍摄图像中的对应的像素点的纹理信息相同。

利用一个具体的示例进行说明，假设拍摄图像和投影图像所针对的场景均为一栋房子。则投影图像中所展示的房子中可能因为存在一些开口区域无法利用三维点云数据确定，从而导致展示的图像中房子缺失了一些像素，而在拍摄图像中图像较为清晰且完整。但在所述拍摄图像和投影图像中，所展示的房子的图像是完全对应的。因此，可以根据包含有完整图像内容的拍摄图像对所述投影图像进行补齐。

在获取到所述投影图像和对应的拍摄图像之后，能够对这两种图像进行标注，并利用标注后的图像对所述图像补全模型进行训练。训练过程可以利用一个具体的示例进行说明，设训练用的数据集

i∈1…N，式中，d_i为数据中的单组数据，N为数据的组数，

为投影图像，

为拍摄图像，则训练模型可以表示为

其中，

为图像补全模型。训练后的模型能够基于图像中的缺失部分进行相应的补充，从而取得较好的图像展示效果。

因此，基于上述方法训练得到图像补全模型之后，能够利用所述图像补全模型对所述投影图像进行补全，获得展示效果较好的图像数据。

基于以上方法实施例和场景示例的介绍，可以看出，所述图像生成方法在构建带纹理的三维点云数据时，将对应的图像数据中的纹理信息赋予至对应的三维点云数据中，使得构建得到的带纹理的三维点云数据中的各个点包含有相应的纹理信息，从而使得将带纹理的三维点云数据投影至对应的投影面后所得到的图像也能具有相应的特征信息，例如，可以具有相应的色彩信息。此外，对于场景中的运动物体也能够分离并进行单独构建，从而能够在不同的时刻获取对应的图像信息。对于投影后的图像数据，进一步地利用图像补全模型对所述投影图像进行补全，使得补全后的图像数据更为完整。因此，利用上述图像生成方法，能够在利用三维点云数据构建场景模型之后，通过模型能够方便快捷地获取到展示效果较好的图像，从而获取较好的图像生成效果。

如图2所示，为本说明书一种图像生成装置的模块图。所述装置设置于所述计算机设备，所述装置具体包括：

三维点云数据生成模块210，用于根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；

投影模块220，用于基于给定视点对所述带纹理的三维点云数据进行投影，得到投影图像；

图像补全模块230，用于对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据。带纹理的三维点云数据带纹理的三维点云数据

如图3所示，为本说明书一种计算机设备的结构图。所述计算机设备可以包括存储器和处理器。

在本实施例中，所述存储器可以按任何适当的方式实现。例如，所述存储器可以为只读存储器、机械硬盘、固态硬盘、或U盘等。所述存储器可以用于存储计算机指令。

在本实施例中，所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述处理器可以执行所述计算机指令实现以下步骤：根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；基于给定视点对所述带纹理的三维点云数据进行投影，得到投影图像；对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据带纹理的三维点云数据带纹理的三维点云数据。

本说明书还提供计算机存储介质的一个实施例。所述计算机存储介质包括但不限于随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard Disk Drive,HDD)、存储卡(Memory Card)等等。所述计算机存储介质存储有计算机程序指令。在所述计算机程序指令被执行时实现：本说明书图1所对应实施例的程序指令或模块。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims

1.一种图像生成方法，其特征在于，包括：

根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；所述三维点云数据和所述图像数据对应有采集时刻；所述根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据，包括：基于所述采集时刻，根据特定场景的图像数据和相应的三维点云数据，生成匹配于观察时刻的带纹理的三维点云数据；所述基于所述采集时刻，根据特定场景的图像数据和相应的三维点云数据，生成匹配于观察时刻的带纹理的三维点云数据，包括：根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；获取所述带纹理的三维点云数据中的带纹理的动态点云数据；基于所述带纹理的动态点云数据，利用刚体变换求解对应于观察时刻的变换点云数据；将所述变换点云数据与除带纹理的动态点云数据之外的带纹理的三维点云数据进行结合，得到匹配与观察时刻的带纹理的三维点云数据；所述图像数据和对应的三维点云数据在同一观察点和同一角度采集；

2.如权利要求1所述的方法，其特征在于，所述纹理包括色彩空间信息；所述根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据，包括：

将所述图像数据包含的色彩空间信息与相应的三维点云数据结合，生成具有色彩空间信息的三维点云数据。

3.如权利要求1所述的方法，其特征在于，所述三维点云数据包括点云数据点，所述图像数据包括图像像素点；所述图像像素点对应有纹理信息；所述根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据，包括：

将所述图像数据中图像像素点的纹理信息赋予所述三维点云数据中的点云数据点，得到带纹理的三维点云数据。

4.如权利要求3所述的方法，其特征在于，所述将所述图像数据中图像像素点的纹理信息赋予所述三维点云数据中的点云数据点，得到带纹理的三维点云数据之前，还包括：

将所述三维点云数据投影至所述图像数据对应的投影面；投影后的点云数据点在所述图像数据中存在对应的图像像素点。

5.如权利要求1所述的方法，其特征在于，所述三维点云数据对应有点云观察参数，所述图像数据对应有图像观察参数；所述根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据，包括：

基于所述点云观察参数和所述图像观察参数之间的差别，根据特定场景的图像数据和对应的三维点云数据，生成带纹理的三维点云数据。

6.如权利要求1所述的方法，其特征在于，所述给定视点包括视点位置、视点方向。

7.如权利要求1所述的方法，其特征在于，所述对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据，包括：

利用图像补全模型对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据；所述图像补全模型基于以下方式获取：获取投影图像和拍摄图像，所述拍摄图像在所述给定视点下对所述特定场景拍摄得到；根据所述投影图像和所述拍摄图像对预先构建的图像补全模型进行训练。

8.一种图像生成装置，其特征在于，包括：

三维点云数据生成模块，用于根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；所述三维点云数据和所述图像数据对应有采集时刻；所述根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据，包括：基于所述采集时刻，根据特定场景的图像数据和相应的三维点云数据，生成匹配于观察时刻的带纹理的三维点云数据；所述基于所述采集时刻，根据特定场景的图像数据和相应的三维点云数据，生成匹配于观察时刻的带纹理的三维点云数据，包括：根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；获取所述带纹理的三维点云数据中的带纹理的动态点云数据；基于所述带纹理的动态点云数据，利用刚体变换求解对应于观察时刻的变换点云数据；将所述变换点云数据与除带纹理的动态点云数据之外的带纹理的三维点云数据进行结合，得到匹配与观察时刻的带纹理的三维点云数据；所述图像数据和对应的三维点云数据在同一观察点和同一角度采集；

9.一种图像生成设备，其特征在于，所述设备包括存储器和处理器；

所述存储器用于存储计算机指令；

所述处理器，用于执行所述计算机指令以实现以下步骤：根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；所述三维点云数据和所述图像数据对应有采集时刻；所述根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据，包括：基于所述采集时刻，根据特定场景的图像数据和相应的三维点云数据，生成匹配于观察时刻的带纹理的三维点云数据；所述基于所述采集时刻，根据特定场景的图像数据和相应的三维点云数据，生成匹配于观察时刻的带纹理的三维点云数据，包括：根据特定场景的图像数据和相应的三维点云数据，生成带纹理的三维点云数据；获取所述带纹理的三维点云数据中的带纹理的动态点云数据；基于所述带纹理的动态点云数据，利用刚体变换求解对应于观察时刻的变换点云数据；将所述变换点云数据与除带纹理的动态点云数据之外的带纹理的三维点云数据进行结合，得到匹配与观察时刻的带纹理的三维点云数据；所述图像数据和对应的三维点云数据在同一观察点和同一角度采集；基于给定视点对所述带纹理的三维点云数据进行投影，得到投影图像；对所述投影图像进行图像补全，得到在给定视点下对应于所述特定场景的图像数据。

10.一种存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被执行时实现如权利要求1-7任一项所述的方法步骤。