CN116664774A - 一种三维仿真图像生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种三维仿真图像生成方法、装置、电子设备及存储介质，电子设备可以获取目标对象模型的二维仿真图像；根据相机模型对应的拍摄范围以及位置关系，确定二维仿真图像中的物理盲区；在物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；采用三维图像生成算法，对生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。由于实际对目标对象进行拍摄得到的二维图像中存在物理盲区，物理盲区部分的匹配效果较差，进而导致在物理盲区处产生物理盲区噪声。因此，电子设备可以确定二维仿真图像中的物理盲区，在物理盲区生成物理盲区噪声，可以提高三维仿真图像的仿真效果。

Description

一种三维仿真图像生成方法、装置、电子设备及存储介质

技术领域

本申请涉及图像仿真技术领域，特别是涉及一种三维仿真图像生成方法、装置、电子设备及存储介质。

背景技术

图像仿真技术是一种使用项目模型将特定于某一具体层次的不确定性转化为它们对目标的影响的技术，其应用非常广泛，例如，可以应用于三维重建、导航与定位、机器人仿真以及驾驶仿真等场景。通过仿真可以在项目开发和项目评估等阶段极大提升工作效率，仿真效果与仿真图像真实度密切相关，仿真图像越逼真，得到的仿真效果更真实，能更有效地指导项目开发与评估。

目前三维图像即深度图像的仿真广泛应用于各种业务场景，其仿真方式为：通过三维仿真引擎，根据目标对象模型与相机模型之间的距离，计算三维图像中的像素点的像素值，进而生成三维仿真图像，并在生成的三维仿真图像中添加随机噪声。

在上述仿真方式中，生成的三维仿真图像基本与理想状态下得到的图像相同，三维仿真图像的仿真效果较差。

发明内容

本申请实施例的目的在于提供一种三维仿真图像生成方法、装置、电子设备及存储介质，以提高三维仿真图像的仿真效果。具体技术方案如下：

第一方面，本申请实施例提供了一种三维仿真图像生成方法，所述方法包括：

获取目标对象模型的二维仿真图像，其中，所述二维仿真图像为基于相机模型和所述目标对象模型之间的位置关系以及光学成像原理生成的；

根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区；

在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；

采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。

可选的，所述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤，包括：

根据所述相机模型的位姿和所述相机模型的相机内部参数，确定所述相机模型的拍摄范围；

根据所述目标对象模型的位姿、所述目标对象模型的尺寸以及所述拍摄范围，确定所述目标对象模型对应的被遮挡区域；

基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区。

可选的，所述基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区的步骤，包括：

将所述被遮挡区域按照光学成像原理进行映射，得到所述被遮挡区域在所述二维仿真图像中对应的盲区；

根据所述二维仿真图像的分辨率和所述三维图像生成算法的精度，确定所述二维仿真图像中所述盲区与非盲区的界线所占的像素区域，作为所述二维仿真图像中的物理盲区。

可选的，所述在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像的步骤，包括：

按照预设像素值调整方式，调整所述物理盲区包括的像素点的像素值，得到生成后的二维仿真图像。

可选的，在所述采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像的步骤之后，所述方法还包括：

在所述三维仿真图像中，除所述物理盲区以及算法盲区之外的区域，生成随机噪声，其中，所述算法盲区为采用三维图像生成算法进行三维图像生成处理时，由所述三维图像生成算法的精度限制所造成所述三维仿真图像中的噪声区域。

可选的，在所述在所述物理盲区生成物理盲区噪声的步骤之后，所述方法还包括：

在所述二维仿真图像中，除所述物理盲区之外的区域，生成随机噪声。

可选的，在所述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤之前，所述方法还包括：

确定所述二维仿真图像中的感兴趣区域；

所述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤，包括：

根据所述相机模型对应的拍摄范围以及所述位置关系，在所述二维仿真图像中的感兴趣区域中确定物理盲区。

第二方面，本申请实施例提供了一种三维仿真图像生成装置，所述装置包括：

二维仿真图像获取模块，用于获取目标对象模型的二维仿真图像，其中，所述二维仿真图像为基于相机模型和所述目标对象模型之间的位置关系以及光学成像原理生成的；

物理盲区确定模块，用于根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区；

噪声生成模块，用于在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；

三维仿真图像生成模块，用于采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。

可选的，所述物理盲区确定模块，包括：

拍摄范围确定子模块，用于根据所述相机模型的位姿和所述相机模型的相机内部参数，确定所述相机模型的拍摄范围；

被遮挡区域确定子模块，用于根据所述目标对象模型的位姿、所述目标对象模型的尺寸以及所述拍摄范围，确定所述目标对象模型对应的被遮挡区域；

第一物理盲区确定子模块，用于基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区；

所述第一物理盲区确定子模块，包括：

盲区确定单元，用于将所述被遮挡区域按照光学成像原理进行映射，得到所述被遮挡区域在所述二维仿真图像中对应的盲区；

物理盲区确定单元，用于根据所述二维仿真图像的分辨率和所述三维图像生成算法的精度，确定所述二维仿真图像中所述盲区与非盲区的界线所占的像素区域，作为所述二维仿真图像中的物理盲区；

所述噪声生成模块，包括：

像素值调整子模块，用于按照预设像素值调整方式，调整所述物理盲区包括的像素点的像素值，得到生成后的二维仿真图像；

所述装置还包括：

第一随机噪声生成模块，用于在所述三维仿真图像中，除所述物理盲区以及算法盲区之外的区域，生成随机噪声，其中，所述算法盲区为采用三维图像生成算法进行三维图像生成处理时，由所述三维图像生成算法的精度限制所造成所述三维仿真图像中的噪声区域；

所述装置还包括：

第二随机噪声生成模块，用于在所述二维仿真图像中，除所述物理盲区之外的区域，生成随机噪声；

所述装置还包括：

感兴趣区域确定模块，用于确定所述二维仿真图像中的感兴趣区域；

所述物理盲区确定模块，包括：

第二物理盲区确定子模块，用于根据所述相机模型对应的拍摄范围以及所述位置关系，在所述二维仿真图像中的感兴趣区域中确定物理盲区。

第三方面，本申请实施例提供了一种电子设备，包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法。

本申请实施例有益效果：

本申请实施例提供的方案中，电子设备可以获取目标对象模型的二维仿真图像，其中，二维仿真图像为基于相机模型和目标对象模型之间的位置关系以及光学成像原理生成的；根据相机模型对应的拍摄范围以及位置关系，确定二维仿真图像中的物理盲区；在物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；采用三维图像生成算法，对生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。由于实际对目标对象进行拍摄得到的二维图像中存在物理盲区，该物理盲区将导致后续生成三维图像的过程中，对物理盲区部分的匹配效果较差，进而导致在物理盲区处产生物理盲区噪声。因此，电子设备可以确定二维仿真图像中的物理盲区，在物理盲区生成物理盲区噪声。由于三维图像生成算法具有精度限制，因此采用该算法对二维仿真图像进行处理，得到的三维仿真图像中包含由算法精度造成的噪声。这样，可以提高三维仿真图像的仿真效果。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的一种三维仿真图像生成方法的流程图；

图2为基于图1所示实施例的物理盲区的一种示意图；

图3为图1所示实施例中步骤S102的一种具体流程图；

图4为图3所示实施例中步骤S303的一种具体流程图；

图5为基于图1所示实施例的算法盲区的一种示意图；

图6为基于图1所示实施例的三维仿真图像中物理盲区噪声、算法盲区噪声以及随机噪声的一种示意图；

图7为基于图1所示实施例的三维仿真图像生成方式的一种流程图；

图8为本申请实施例提供的一种三维仿真图像生成装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

为了提高三维仿真图像的仿真效果，本申请实施例提供了一种三维仿真图像生成方法、装置、电子设备及、计算机可读存储介质以及计算机程序产品。下面首先对本申请实施例所提供的一种三维仿真图像生成方法进行介绍。

本申请实施例所提供的一种三维仿真图像生成方法可以应用于任意需要对图像进行仿真的电子设备，例如，可以为图像处理设备、图像仿真设备等，在此不做具体限定。为了描述清楚，后续称为电子设备。

如图1所示，一种三维仿真图像生成方法，所述方法包括：

S101，获取目标对象模型的二维仿真图像；

其中，所述二维仿真图像为基于相机模型和所述目标对象模型之间的位置关系以及光学成像原理生成的；

S102，根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区；

S103，在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；

S104，采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。

可见，在本申请实施例中，电子设备可以获取目标对象模型的二维仿真图像，其中，二维仿真图像为基于相机模型和目标对象模型之间的位置关系以及光学成像原理生成的；根据相机模型对应的拍摄范围以及位置关系，确定二维仿真图像中的物理盲区；在物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；采用三维图像生成算法，对生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。由于实际对目标对象进行拍摄得到的二维图像中存在物理盲区，该物理盲区将导致后续生成三维图像的过程中，对物理盲区部分的匹配效果较差，进而导致在物理盲区处产生物理盲区噪声。因此，电子设备可以确定二维仿真图像中的物理盲区，在物理盲区生成物理盲区噪声。由于三维图像生成算法具有精度限制，因此采用该算法对二维仿真图像进行处理，得到的三维仿真图像中包含由算法精度造成的噪声。这样，可以提高三维仿真图像的仿真效果。

在上述步骤S101中，电子设备可以获取目标对象模型的二维仿真图像。其中，二维仿真图像可以基于相机模型和目标对象模型之间的位置关系以及光学成像原理生成。需要说明的是，上述二维仿真图像是通过图像仿真生成的，并非对目标对象进行实际拍摄得到的。

上述生成二维仿真图像的过程中，相机模型可以为多目相机、线激光相机、ToF(Time of flight，飞行时间)相机以及结构光相机中的一种，在此不做具体限定。

由于实际对目标对象进行拍摄得到的二维图像中存在物理盲区，该物理盲区将导致后续生成三维图像的过程中，对物理盲区部分的匹配效果较差，进而导致在物理盲区处产生物理盲区噪声。

然而，步骤S101中生成的是理想状态下的二维仿真图像，该二维仿真图像不包含任何噪声。因此为了确定需要生成物理盲区噪声的区域，电子设备可以根据相机模型对应的拍摄范围以及相机模型与目标对象模型之间的位置关系，确定二维仿真图像中的物理盲区，即执行步骤S102。

作为一种实施方式，相机模型为双目相机。在实际拍摄过程中，双目相机中的左相机和右相机可以从不同角度分别对目标对象进行拍摄，得到两张二维图像，进而根据双目相机对应的三维图像生成算法，对两张二维图像进行匹配，生成三维图像。

但是，由于左相机和右相机之间存在视差，其中一个相机可以拍摄到而另一个相机拍摄不到的区域容易形成物理盲区。在该物理盲区处，由于左相机和右相机拍摄的二维图像中对应的有效信息较少，因此在生成三维图像的过程中，物理盲区处的匹配效果较差，在物理盲区处容易生成物理盲区噪声。

作为另一种实施方式，相机模型为线激光相机。线激光相机基于三角测量原理，通过相机中的图像传感器捕获激光发生器投射在目标对象表面的激光线信息，进而构建目标对象表面轮廓信息，生成三维图像。

但是，在目标对象的表面存在较多凹凸起伏的情况下，部分区域反射的激光线可能无法被相机接收到，该部分区域即物理盲区。由于相机无法获取物理盲区反射的激光线，进而无法计算物理盲区的深度，因此在生成三维图像的过程中，物理盲区处容易产生物理盲区噪声。

例如，物理盲区的示意图可以如图2所示，由相机模型201放射出的虚线所覆盖的范围表示相机模型201对应的拍摄范围，根据该拍摄范围以及相机模型201与目标对象模型202之间的位置关系，可以确定出目标对象模型202所处的平面中的虚线所覆盖的部分与未被虚线所覆盖的部分之间的界限为物理盲区。

由于三维仿真图像是基于二维仿真图像生成的，因此二维仿真图像中的物理盲区同样为三维仿真图像的物理盲区。为了提高二维仿真图像的真实度，进而提高三维仿真图像的真实度，在确定二维仿真图像中的物理盲区后，电子设备可以在物理盲区生成物理盲区噪声，进而得到生成后的二维仿真图像，即执行步骤S103。

承接上一个例子，在确定出目标对象模型202所处的平面中的虚线所覆盖的部分与未被虚线所覆盖的部分之间的界限为物理盲区后，电子设备可以在该物理盲区生成物理盲区噪声，进而得到生成后的二维仿真图像。

由于三维仿真图像是通过对二维仿真图像进行处理得到的，因此电子设备可以采用三维图像生成算法，对生成后的二维仿真图像进行三维图像生成处理，进而得到三维仿真图像，即执行步骤S104。

作为一种实施方式，上述三维图像生成算法可以与三维相机内部的用于生成三维图像的算法相同。这样，可以使得生成的三维仿真图像中包含由于三维图像生成算法的精度限制所造成的噪声，提高三维仿真图像的真实度。

可见，由于实际对目标对象进行拍摄得到的二维图像中存在物理盲区，该物理盲区将导致后续生成三维图像的过程中，对物理盲区部分的匹配效果较差，进而导致在物理盲区处产生物理盲区噪声。因此，电子设备可以确定二维仿真图像中的物理盲区，在物理盲区生成物理盲区噪声。由于三维图像生成算法具有精度限制，因此采用该算法对二维仿真图像进行处理，得到的三维仿真图像中包含由算法精度造成的噪声。这样，可以提高三维仿真图像的仿真效果。

作为本申请实施例的一种实施方式，如图3所示，上述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤，可以包括：

S301，根据所述相机模型的位姿和所述相机模型的相机内部参数，确定所述相机模型的拍摄范围；

由于物理盲区为相机模型的拍摄范围中被目标对象模型遮挡的部分，因此为了确定二维仿真图像中的物理盲区，电子设备可以根据相机模型的位姿和相机模型的相机内部参数，确定相机模型的拍摄范围。

其中，相机内部参数可以包括相机模型的焦距、像素的物理大小以及图像中心与原点相差的像素点数量中的至少一种，在此不做具体限定。

例如，如图2所示，相机模型201的位姿可以包括相机模型201所处的空间位置以及镜头朝向，相机模型201的内参可以包括焦距，电子设备可以根据相机模型201的位子和相机内部参数确定相机模型201的拍摄范围，该拍摄范围即图2中由相机模型201所放射出的虚线所覆盖的区域。

S302，根据所述目标对象模型的位姿、所述目标对象模型的尺寸以及所述拍摄范围，确定所述目标对象模型对应的被遮挡区域；

由于物理盲区可以根据被遮挡区域确定，被遮挡区域为相机模型的拍摄范围中被目标对象模型所遮挡的部分，因此电子设备可以根据目标对象模型的位姿和尺寸以及相机模型的拍摄范围，确定目标对象模型对应的被遮挡区域。

承接步骤S301中的例子，电子设备可以根据目标对象模型202的位姿和尺寸，确定目标对象模型202所占据的空间位置，进而根据目标对象模型202所占据的空间位置以及相机模型201的拍摄范围，确定出目标对象模型202的被遮挡区域。该被遮挡区域为图2中相机模型201的拍摄范围未覆盖到的空间区域。

S303，基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区。

由于被遮挡区域为在三维空间中确定的，而物理盲区为二维仿真图像中的，因此电子设备可以根据光学成像原理以及被遮挡区域，确定二维仿真图像中的物理盲区。

可见，在本申请实施例中，由于物理盲区为相机模型的拍摄范围中被目标对象模型遮挡的部分，并且物理盲区可以根据被遮挡区域确定，因此电子设备可以根据目标对象模型的位姿和尺寸以及相机模型的拍摄范围，确定目标对象模型对应的被遮挡区域。由于被遮挡区域为在三维空间中确定的，而物理盲区为二维仿真图像中的，因此电子设备可以根据光学成像原理以及被遮挡区域，确定二维仿真图像中的物理盲区。这样，可以提高确定二维仿真图像中的物理盲区的准确度。

作为本申请实施例的一种实施方式，如图4所示，上述基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区的步骤，可以包括：

S401，将所述被遮挡区域按照光学成像原理进行映射，得到所述被遮挡区域在所述二维仿真图像中对应的盲区；

由于被遮挡区域为在三维空间中确定的，而物理盲区是在二维仿真图像中的，因此为了在二维仿真图像中确定被遮挡区域对应的区域，电子设备可以将被遮挡区域按照光学成像原理进行映射，得到被遮挡区域在二维仿真图像中对应的盲区。

例如，如图2所示，被遮挡区域为图2中相机模型201的拍摄范围未覆盖到的空间区域，将被遮挡区域根据光学成像原理进行映射，得到该被遮挡区域在二维仿真图像中对应的盲区为目标对象模型202所处平面中虚线所覆盖的部分。

S402，根据所述二维仿真图像的分辨率和所述三维图像生成算法的精度，确定所述二维仿真图像中所述盲区与非盲区的界线所占的像素区域，作为所述二维仿真图像中的物理盲区。

盲区与非盲区的界线所占的像素区域通常极小，例如可以为1个像素。由于三维图像生成算法具有精度限制，因此可能无法正确处理二维仿真图像中上述界线的区域，将在上述界线的区域产生物理盲区噪声。

因此为了确定出需要生成物理盲区噪声的区域，电子设备可以根据二维仿真图像的分辨率和三维图像生成算法的精度，确定二维仿真图像中盲区与非盲区的界线所占的像素区域，作为二维仿真图像中的物理盲区。

例如，如图2所示，电子设备可以将目标对象模型202所处平面中，虚线覆盖区域与未被虚线覆盖区域之间的界线确定为二维仿真图像中的物理盲区。

可见，本申请实施例中，电子设备可以将被遮挡区域按照光学成像原理进行映射，得到被遮挡区域在二维仿真图像中对应的盲区。由于三维图像生成算法具有精度限制，因此可能无法正确处理二维仿真图像中上述界线的区域，将在上述界线的区域产生物理盲区噪声。因此电子设备可以根据二维仿真图像的分辨率和三维图像生成算法的精度，确定二维仿真图像中盲区与非盲区的界线所占的像素区域，作为二维仿真图像中的物理盲区。这样，可以提高确定物理盲区的准确度。

作为本申请实施例的一种实施方式，上述在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像的步骤，可以包括：

按照预设像素值调整方式，调整所述物理盲区包括的像素点的像素值，得到生成后的二维仿真图像。

由于物理盲区噪声在二维仿真图像中的表现方式为像素点的像素值变化，因此为了在物理盲区生成物理盲区噪声，电子设备可以按照预设像素值调整方式，调整物理盲区包括的像素点的像素值，得到生成后的二维仿真图像。

作为一种实施方式，上述预设像素值调整方式为将像素值的三个分量均调整为0。这样，电子设备可以将物理盲区包括的像素点的颜色调整为黑色，进而得到生成后的二维仿真图像。

作为另一种实施方式，上述预设像素值调整方式为将像素值的三个分量均调整为255。这样，电子设备可以将物理盲区包括的像素点的颜色调整为白色，进而得到生成后的二维仿真图像。

作为另一种实施方式，上述预设像素值调整方式为将像素值调整为与二维仿真图像中图像背景的像素值相同。这样，电子设备可以将物理盲区包括的像素点的颜色调整为二维仿真图像中图像背景的颜色，进而得到生成后的二维仿真图像。

可见，本申请实施例中，由于物理盲区噪声在二维仿真图像中的表现方式为像素点的像素值变化，因此为了在物理盲区生成物理盲区噪声，电子设备可以按照预设像素值调整方式，调整物理盲区包括的像素点的像素值，得到生成后的二维仿真图像。这样，可以提高二维仿真图像的真实度，进而提高三维仿真图像的仿真效果。

作为本申请实施例的一种实施方式，在上述采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像的步骤之后，上述方法还可以包括：

在所述三维仿真图像中，除所述物理盲区以及算法盲区之外的区域，生成随机噪声，其中，所述算法盲区为采用三维图像生成算法进行三维图像生成处理时，由所述三维图像生成算法的精度限制所造成所述三维仿真图像中的噪声区域。

由于通过三维相机进行实际拍摄得到的三维图像中通常存在随机噪声，因此为了进一步提高三维仿真图像的仿真效果，电子设备可以在得到三维仿真图像后，在三维仿真图像中，除物理盲区以及算法盲区之外的区域，生成随机噪声。

由于三维图像生成算法具有能力集，能力集即精度限制，该三维图像生成算法的精度限制导致电子设备在采用该三维图像生成算法对二维仿真图像进行处理时，存在处理效果不佳的区域，即算法盲区，例如高度变化较大的区域。

例如，算法盲区的示意图可以如图5所示，目标对象模型502为盒体，电子设备可以根据相机模型501与目标对象模型502之间的位置关系以及光学成像原理，确定目标对象模型502的二维仿真图像。由于目标对象模型502中的第一底边503和第二底边504位于盒体拐角处，该处占用的像素个数较少，包含的图像特征较少，导致三维图像生成算法无法准确计算该处的深度值，因此第一底边503和第二底边504为算法盲区。

又例如，三维仿真图像中物理盲区噪声、算法盲区噪声以及随机噪声的示意图可以如图6所示。该三维仿真图像为盒体底部放置三个工件，由于工件附近存在被遮挡区域，进而导致工件附近存在物理盲区，因此三维仿真图像中工件附近的物理盲区存在物理盲区噪声601。

由于盒体侧边部分的高度变化较大，导致在盒体侧边部分出现算法盲区，因此三维仿真图像中算法盲区存在算法盲区噪声602。在上述物理盲区和算法盲区之外的区域，三维仿真图像中还存在随机噪声603。

作为一种实施方式，电子设备采用不同相机模型对应的三维图像生成算法进行三维图像生成处理时，由不同三维图像生成算法的精度限制所造成三维仿真图像中的噪声区域的大小不同。

例如，电子设备分别采用多目相机对应的三维图像生成算法、线激光相机对应的三维图像生成算法以及结构光相机对应的三维图像生成算法进行三维图像生成处理时，由上述多目相机对应的三维图像生成算法的精度限制、线激光相机对应的三维图像生成算法的精度限制以及结构光相机对应的三维图像生成算法的精度限制所造成的三维仿真图像中的噪声区域的像素点个数可以分别为1个、3个和5个。

作为另一种实施方式，电子设备可以在得到三维仿真图像后，确定三维仿真图像中的感兴趣区域，在感兴趣区域中除物理盲区以及算法盲区之外的区域，生成随机噪声。这样，电子设备可以仅对感兴趣区域内部生成随机噪声，而不会在感兴趣区域外生成随机噪声，可以有针对性地在感兴趣区域生成随机噪声，进一步提高三维仿真图像的仿真效果。

可见，本申请实施例中，电子设备可以在得到三维仿真图像后，在三维仿真图像中，除物理盲区以及算法盲区之外的区域，生成随机噪声。由于通过三维相机进行实际拍摄得到的三维图像中通常存在随机噪声，因此在三维仿真图像中生成随机噪声，可以进一步提高三维仿真图像的仿真效果。

作为本申请实施例的一种实施方式，在上述在所述物理盲区生成物理盲区噪声的步骤之后，上述方法还可以包括：

在所述二维仿真图像中，除所述物理盲区之外的区域，生成随机噪声。

由于三维仿真图像为根据二维仿真图像生成的，因此可以在二维仿真图像中除物理盲区之外的区域生成随机噪声，这样，根据包含随机噪声的二维仿真图像生成的三维仿真图像中也包含随机噪声。

例如，如果相机模型为三目相机，电子设备可以获取三目相机中每个相机对应的二维仿真图像。针对每个二维仿真图像生成物理盲区噪声，进而在每个二维仿真图像中除物理盲区之外的区域生成随机噪声。

作为一种实施方式，电子设备可以在物理盲区生成物理盲区噪声后，确定二维仿真图像中的感兴趣区域，在感兴趣区域中除物理盲区之外的区域，生成随机噪声。这样，电子设备可以仅对感兴趣区域内部生成随机噪声，而不会在感兴趣区域外生成随机噪声，可以有针对性地在感兴趣区域生成随机噪声，由于根据包含随机噪声的二维仿真图像生成的三维仿真图像中也包含随机噪声，因此可以进一步提高三维仿真图像的仿真效果。

可见，本申请实施例中，电子设备可以在二维仿真图像中，除物理盲区之外的区域，生成随机噪声。由于三维仿真图像为根据二维仿真图像生成的，因此可以在二维仿真图像中除物理盲区之外的区域生成随机噪声，这样，根据包含随机噪声的二维仿真图像生成的三维仿真图像中也包含随机噪声，可以进一步提高三维仿真图像的仿真效果。

作为本申请实施例的一种实施方式，在上述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤之前，上述方法还可以包括：

确定所述二维仿真图像中的感兴趣区域；

为了限制生成物理盲区噪声的区域，电子设备可以确定二维仿真图像中的感兴趣区域，进而在感兴趣区域内确定物理盲区。例如，如果二维仿真图像中的目标为一个立方体，那么电子设备可以确定二维仿真图像中的感兴趣区域，感兴趣区域可以包括立方体。

上述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤，可以包括：

根据所述相机模型对应的拍摄范围以及所述位置关系，在所述二维仿真图像中的感兴趣区域中确定物理盲区。

在确定感兴趣区域后，电子设备可以根据相机模型对应的拍摄范围以及相机模型与目标对象模型之间的位置关系，在二维仿真图像中的感兴趣区域中确定物理盲区。承接上一个例子，在电子设备确定感兴趣区域后，可以在感兴趣区域中确定出立方体附近的物理盲区。

作为一种实施方式，电子设备生成三维仿真图像的一种流程图可以如图7所示。具体可以包括以下步骤：

S701，绘制感兴趣区域；

电子设备可以获取二维仿真图像，并在该二维仿真图像中绘制感兴趣区域。其中，二维仿真图像为基于相机模型和目标对象模型之间的位置关系和光学成像原理生成的。

S702，计算物理盲区；

在确定感兴趣区域后，电子设备可以根据相机模型对应的拍摄范围以及相机模型与目标对象模型之间的位置关系，在该感兴趣区域内计算物理盲区。

S703，生成物理盲区噪声；

电子设备可以按照预设像素值调整方式，调整物理盲区包括的像素点的像素值，得到生成后的二维仿真图像。

S704，生成成像算法能力集噪声；

电子设备可以采用成像算法，对生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。其中，成像算法能力集即成像算法精度限制，由于采用具有精度限制的成像算法对二维仿真图像进行处理，因此得到的三维仿真图像中包含成像算法能力集噪声。

S705，生成其他区域随机噪声。

在得到三维仿真图像后，电子设备可以在感兴趣区域中除物理盲区以及成像算法盲区以外的区域，生成随机噪声。其中，感兴趣区域中除物理盲区以及成像算法盲区以外的区域即其他区域。成像算法盲区为在采用成像算法进行三维图像生成处理时，由成像算法的精度限制所造成三维仿真图像中的噪声区域。

可见，本申请实施例中，电子设备可以确定二维仿真图像中的感兴趣区域，进而在感兴趣区域内确定物理盲区。这样，可以限制生成物理盲区噪声的区域，可以准确地确定出物理盲区。

相应于上述三维仿真图像生成方法，本申请实施例还提供了一种三维仿真图像生成装置，下面对本申请实施例所提供的三维仿真图像生成装置进行介绍。

如图8所示，一种三维仿真图像生成装置，所述装置包括：

二维仿真图像获取模块801，用于获取目标对象模型的二维仿真图像，其中，所述二维仿真图像为基于相机模型和所述目标对象模型之间的位置关系以及光学成像原理生成的；

物理盲区确定模块802，用于根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区；

噪声生成模块803，用于在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；

三维仿真图像生成模块804，用于采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。

可见，在本申请实施例中，电子设备可以获取目标对象模型的二维仿真图像，其中，二维仿真图像为基于相机模型和目标对象模型之间的位置关系以及光学成像原理生成的；根据相机模型对应的拍摄范围以及位置关系，确定二维仿真图像中的物理盲区；在物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；采用三维图像生成算法，对生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。由于实际对目标对象进行拍摄得到的二维图像中存在物理盲区，该物理盲区将导致后续生成三维图像的过程中，对物理盲区部分的匹配效果较差，进而导致在物理盲区处产生物理盲区噪声。因此，电子设备可以确定二维仿真图像中的物理盲区，在物理盲区生成物理盲区噪声。由于三维图像生成算法具有精度限制，因此采用该算法对二维仿真图像进行处理，得到的三维仿真图像中包含由算法精度造成的噪声。这样，可以提高三维仿真图像的仿真效果。

作为本申请实施例的一种实施方式，上述物理盲区确定模块802，可以包括：

拍摄范围确定子模块，用于根据所述相机模型的位姿和所述相机模型的相机内部参数，确定所述相机模型的拍摄范围；

被遮挡区域确定子模块，用于根据所述目标对象模型的位姿、所述目标对象模型的尺寸以及所述拍摄范围，确定所述目标对象模型对应的被遮挡区域；

第一物理盲区确定子模块，用于基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区。

作为本申请实施例的一种实施方式，上述第一物理盲区确定子模块，可以包括：

盲区确定单元，用于将所述被遮挡区域按照光学成像原理进行映射，得到所述被遮挡区域在所述二维仿真图像中对应的盲区；

物理盲区确定单元，用于根据所述二维仿真图像的分辨率和所述三维图像生成算法的精度，确定所述二维仿真图像中所述盲区与非盲区的界线所占的像素区域，作为所述二维仿真图像中的物理盲区。

作为本申请实施例的一种实施方式，上述噪声生成模块803，可以包括：

像素值调整子模块，用于按照预设像素值调整方式，调整所述物理盲区包括的像素点的像素值，得到生成后的二维仿真图像。

作为本申请实施例的一种实施方式，上述装置还可以包括：

第一随机噪声生成模块，用于在所述三维仿真图像中，除所述物理盲区以及算法盲区之外的区域，生成随机噪声，其中，所述算法盲区为采用三维图像生成算法进行三维图像生成处理时，由所述三维图像生成算法的精度限制所造成所述三维仿真图像中的噪声区域。

作为本申请实施例的一种实施方式，上述装置还可以包括：

第二随机噪声生成模块，用于在所述二维仿真图像中，除所述物理盲区之外的区域，生成随机噪声。

作为本申请实施例的一种实施方式，上述装置还可以包括：

感兴趣区域确定模块，用于确定所述二维仿真图像中的感兴趣区域；

所述物理盲区确定模块，包括：

第二物理盲区确定子模块，用于根据所述相机模型对应的拍摄范围以及所述位置关系，在所述二维仿真图像中的感兴趣区域中确定物理盲区。

本申请实施例还提供了一种电子设备，如图9所示，包括：

存储器901，用于存放计算机程序；

处理器902，用于执行存储器901上所存放的程序时，实现上述任一实施例所述的三维仿真图像生成方法步骤。

并且上述电子设备还可以包括通信总线和/或通信接口，处理器902、通信接口、存储器901通过通信总线完成相互间的通信。

可见，在本申请实施例中，电子设备可以获取目标对象模型的二维仿真图像，其中，二维仿真图像为基于相机模型和目标对象模型之间的位置关系以及光学成像原理生成的；根据相机模型对应的拍摄范围以及位置关系，确定二维仿真图像中的物理盲区；在物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；采用三维图像生成算法，对生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。由于实际对目标对象进行拍摄得到的二维图像中存在物理盲区，该物理盲区将导致后续生成三维图像的过程中，对物理盲区部分的匹配效果较差，进而导致在物理盲区处产生物理盲区噪声。因此，电子设备可以确定二维仿真图像中的物理盲区，在物理盲区生成物理盲区噪声。由于三维图像生成算法具有精度限制，因此采用该算法对二维仿真图像进行处理，得到的三维仿真图像中包含由算法精度造成的噪声。这样，可以提高三维仿真图像的仿真效果。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一三维仿真图像生成方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一三维仿真图像生成方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (11)

1.一种三维仿真图像生成方法，其特征在于，所述方法包括：

获取目标对象模型的二维仿真图像，其中，所述二维仿真图像为基于相机模型和所述目标对象模型之间的位置关系以及光学成像原理生成的；

根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区；

在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；

采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤，包括：

根据所述相机模型的位姿和所述相机模型的相机内部参数，确定所述相机模型的拍摄范围；

根据所述目标对象模型的位姿、所述目标对象模型的尺寸以及所述拍摄范围，确定所述目标对象模型对应的被遮挡区域；

基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区。

3.根据权利要求2所述的方法，其特征在于，所述基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区的步骤，包括：

将所述被遮挡区域按照光学成像原理进行映射，得到所述被遮挡区域在所述二维仿真图像中对应的盲区；

根据所述二维仿真图像的分辨率和所述三维图像生成算法的精度，确定所述二维仿真图像中所述盲区与非盲区的界线所占的像素区域，作为所述二维仿真图像中的物理盲区。

4.根据权利要求1所述的方法，其特征在于，所述在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像的步骤，包括：

按照预设像素值调整方式，调整所述物理盲区包括的像素点的像素值，得到生成后的二维仿真图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，在所述采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像的步骤之后，所述方法还包括：

在所述三维仿真图像中，除所述物理盲区以及算法盲区之外的区域，生成随机噪声，其中，所述算法盲区为采用三维图像生成算法进行三维图像生成处理时，由所述三维图像生成算法的精度限制所造成所述三维仿真图像中的噪声区域。

6.根据权利要求1-4任一项所述的方法，其特征在于，在所述在所述物理盲区生成物理盲区噪声的步骤之后，所述方法还包括：

在所述二维仿真图像中，除所述物理盲区之外的区域，生成随机噪声。

7.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤之前，所述方法还包括：

确定所述二维仿真图像中的感兴趣区域；

所述根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区的步骤，包括：

根据所述相机模型对应的拍摄范围以及所述位置关系，在所述二维仿真图像中的感兴趣区域中确定物理盲区。

8.一种三维仿真图像生成装置，其特征在于，所述装置包括：

二维仿真图像获取模块，用于获取目标对象模型的二维仿真图像，其中，所述二维仿真图像为基于相机模型和所述目标对象模型之间的位置关系以及光学成像原理生成的；

物理盲区确定模块，用于根据所述相机模型对应的拍摄范围以及所述位置关系，确定所述二维仿真图像中的物理盲区；

噪声生成模块，用于在所述物理盲区生成物理盲区噪声，得到生成后的二维仿真图像；

三维仿真图像生成模块，用于采用三维图像生成算法，对所述生成后的二维仿真图像进行三维图像生成处理，得到三维仿真图像。

9.根据权利要求8所述的装置，其特征在于，所述物理盲区确定模块，包括：

拍摄范围确定子模块，用于根据所述相机模型的位姿和所述相机模型的相机内部参数，确定所述相机模型的拍摄范围；

被遮挡区域确定子模块，用于根据所述目标对象模型的位姿、所述目标对象模型的尺寸以及所述拍摄范围，确定所述目标对象模型对应的被遮挡区域；

第一物理盲区确定子模块，用于基于光学成像原理以及所述被遮挡区域，确定所述二维仿真图像中的物理盲区；

所述第一物理盲区确定子模块，包括：

盲区确定单元，用于将所述被遮挡区域按照光学成像原理进行映射，得到所述被遮挡区域在所述二维仿真图像中对应的盲区；

物理盲区确定单元，用于根据所述二维仿真图像的分辨率和所述三维图像生成算法的精度，确定所述二维仿真图像中所述盲区与非盲区的界线所占的像素区域，作为所述二维仿真图像中的物理盲区；

所述噪声生成模块，包括：

像素值调整子模块，用于按照预设像素值调整方式，调整所述物理盲区包括的像素点的像素值，得到生成后的二维仿真图像；

所述装置还包括：

第一随机噪声生成模块，用于在所述三维仿真图像中，除所述物理盲区以及算法盲区之外的区域，生成随机噪声，其中，所述算法盲区为采用三维图像生成算法进行三维图像生成处理时，由所述三维图像生成算法的精度限制所造成所述三维仿真图像中的噪声区域；

所述装置还包括：

第二随机噪声生成模块，用于在所述二维仿真图像中，除所述物理盲区之外的区域，生成随机噪声；

所述装置还包括：

感兴趣区域确定模块，用于确定所述二维仿真图像中的感兴趣区域；

所述物理盲区确定模块，包括：

第二物理盲区确定子模块，用于根据所述相机模型对应的拍摄范围以及所述位置关系，在所述二维仿真图像中的感兴趣区域中确定物理盲区。

10.一种电子设备，其特征在于，包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法。