CN115761152B - 普通光源下图像处理及三维重建方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种普通光源下图像处理及三维重建方法和装置。所述方法包括：获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像；将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素；根据前景像素融合得到的前景图像块的图像块面积，以及各个前景图像块之间的距离，对前景图像块进行过滤处理，得到前景图像块中的目标图像块；根据预设的饰品款码映射关系，对目标图像块的饰品特征信息进行款码映射处理，得到目标饰品对应的饰品款码信息；根据目标图像块对应的三维体网格的有向表面距离和饰品款码信息，对三维体网格进行网格重建，得到目标饰品的三维重建模型。采用本方法能够提高饰品的三维重建精度。

Description

普通光源下图像处理及三维重建方法、装置和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种普通光源下图像处理及三维重建方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

珠宝饰品由于其稀缺性和设计精密，使得珠宝饰品的三维重建技术较为复杂，珠宝饰品表面的高反射、高折射和高色散等特点，也大大增加了珠宝饰品的三维重建难度。

传统技术中，常使用三原色灯光或其他复杂灯光作为珠宝首饰的拍摄灯光，以降低珠宝饰品表面的高反射、高折射的影响，但是，这也使得拍摄得到的饰品图像中无法正确呈现出珠宝饰品的原有颜色，导致珠宝饰品的三维重建的精度降低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高珠宝饰品三维重建精度的普通光源下图像处理及三维重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种普通光源下图像处理及三维重建方法。所述方法包括：

获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像；

将所述饰品图像输入至训练完成的像素识别模型，得到所述饰品图像中识别为前景类型的前景像素；所述训练完成的像素识别模型通过样本饰品图像和所述样本饰品图像的特征图训练得到；

根据所述前景像素融合得到的前景图像块的图像块面积，以及各个所述前景图像块之间的距离，对所述前景图像块进行过滤处理，得到所述前景图像块中的目标图像块；

根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息；

获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型。

在其中一个实施例中，根据所述前景像素融合得到的前景图像块的图像块面积，以及各个所述前景图像块之间的距离，对所述前景图像块进行过滤处理，得到所述前景图像块中的目标图像块，包括：

对所述前景像素进行融合处理，得到所述前景像素对应的多个前景图像块；

获取各个所述前景图像块的图像块面积，并对所述图像块面积小于预设面积阈值的前景图像块添加面积异常标记；

确定各个所述前景图像块之间的距离，并对所述距离大于预设距离阈值的前景图像块添加距离异常标记；

对所述前景图像块中同时携带有所述面积异常标记和所述距离异常标记的异常图像块进行删除，得到所述前景图像块中的目标图像块。

在其中一个实施例中，训练完成的像素识别模型通过下述方式训练得到：

将所述样本饰品图像输入至待训练的像素识别模型中，得到所述样本饰品图像对应的预测特征图；

根据所述预测特征图与所述样本饰品图像对应的特征图之间的差异，得到所述待训练的像素识别模型的损失函数；

根据所述损失函数，对所述待训练的像素识别模型进行迭代训练，得到所述训练完成的像素识别模型。

在其中一个实施例中，在将所述样本饰品图像输入至待训练的像素识别模型中，得到所述样本饰品图像对应的预测特征图之前，还包括：

对所述样本饰品图像进行多边形标注处理，得到所述样本饰品图像中的饰品多边形框；

对所述饰品多边形框中的每个像素进行特征标记处理，得到所述样本饰品图像对应的特征图。

在其中一个实施例中，获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型，包括：

对所述目标图像块进行三维构建，得到所述目标图像块对应的三维体网格；

对所述三维体网格进行三维平均采样，得到所述三维体网格中的三维采样点；

将所述三维采样点输入至训练完成的密度预测模型，得到所述三维采样点对应的密度信息；

根据所述密度信息确定所述三维采样点的有向表面距离，并根据所述有向表面距离，对所述三维体网格进行表面网格重建，得到所述目标饰品的候选三维重建模型；

对所述候选三维重建模型和所述饰品款码信息进行绑定处理，得到所述目标饰品的三维重建模型。

在其中一个实施例中，获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像，包括：

将所述目标饰品对应的图像拍摄指令发送至所述环绕微距拍摄设备；所述图像拍摄指令用于指示所述环绕微距拍摄设备的驱动电路根据所述图像拍摄指令中携带的焦段信息，对所述目标饰品进行环绕微距拍摄；

接收所述环绕微距拍摄设备基于所述图像拍摄指令返回的所述目标饰品的饰品图像。

在其中一个实施例中，将所述饰品图像输入至训练完成的像素识别模型，得到所述饰品图像中识别为前景类型的前景像素，包括：

对所述饰品图像进行反射检测处理，得到所述饰品图像的反射检测结果；

根据所述反射检测结果，对所述饰品图像进行亮度调整处理和对比度调整处理，得到处理后饰品图像；

将所述处理后饰品图像输入至所述训练完成的像素识别模型，得到所述处理后饰品图像中识别为前景类型的前景像素。

在其中一个实施例中，所述饰品特征信息包括饰品类型信息，宝石镶嵌信息，金属材质信息和表面工艺信息中的至少一种；

根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息，包括：

将所述目标图像块，输入至预先训练的饰品类型分类模型，得到所述目标图像块的饰品类型信息；

将所述目标图像块，输入至预先训练的宝石镶嵌识别模型，得到所述目标图像块的宝石镶嵌信息；

将所述目标图像块，输入至预先训练的金属材质分类模型，得到所述目标图像块的金属材质信息；

将所述目标图像块，输入至预先训练的工艺语义识别模型，得到所述目标图像块的表面工艺信息；

根据预设的饰品款码映射关系，对所述饰品类型信息、所述宝石镶嵌信息、所述金属材质信息和所述表面工艺信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息。

在其中一个实施例中，根据预设的饰品款码映射关系，对所述饰品类型信息、所述宝石镶嵌信息、所述金属材质信息和所述表面工艺信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息，包括：

根据所述饰品类型信息与所述饰品款码映射关系，确定所述目标饰品的饰品类型款码信息；

根据所述宝石镶嵌信息与所述饰品款码映射关系，确定所述目标饰品的宝石镶嵌款码信息；

根据所述金属材质信息与所述饰品款码映射关系，确定所述目标饰品的金属材质款码信息；

根据所述表面工艺信息与所述饰品款码映射关系，确定所述目标饰品的表面工艺款码信息；

对所述饰品类型款码信息、所述宝石镶嵌款码信息、所述金属材质款码信息和所述表面工艺款码信息进行融合处理，得到所述目标饰品对应的饰品款码信息。

第二方面，本申请还提供了一种普通光源下图像处理及三维重建装置。所述装置包括：

图像获取模块，用于获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像；

像素识别模块，用于将所述饰品图像输入至训练完成的像素识别模型，得到所述饰品图像中识别为前景类型的前景像素；所述训练完成的像素识别模型通过样本饰品图像和所述样本饰品图像的特征图训练得到；

图像块过滤模块，用于根据所述前景像素融合得到的前景图像块的图像块面积，以及各个所述前景图像块之间的距离，对所述前景图像块进行过滤处理，得到所述前景图像块中的目标图像块；

款码获取模块，用于根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息；

三维重建模块，用于获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像；

将所述饰品图像输入至训练完成的像素识别模型，得到所述饰品图像中识别为前景类型的前景像素；所述训练完成的像素识别模型通过样本饰品图像和所述样本饰品图像的特征图训练得到；

根据所述前景像素融合得到的前景图像块的图像块面积，以及各个所述前景图像块之间的距离，对所述前景图像块进行过滤处理，得到所述前景图像块中的目标图像块；

根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息；

获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像；

将所述饰品图像输入至训练完成的像素识别模型，得到所述饰品图像中识别为前景类型的前景像素；所述训练完成的像素识别模型通过样本饰品图像和所述样本饰品图像的特征图训练得到；

根据所述前景像素融合得到的前景图像块的图像块面积，以及各个所述前景图像块之间的距离，对所述前景图像块进行过滤处理，得到所述前景图像块中的目标图像块；

根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息；

获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像；

将所述饰品图像输入至训练完成的像素识别模型，得到所述饰品图像中识别为前景类型的前景像素；所述训练完成的像素识别模型通过样本饰品图像和所述样本饰品图像的特征图训练得到；

根据所述前景像素融合得到的前景图像块的图像块面积，以及各个所述前景图像块之间的距离，对所述前景图像块进行过滤处理，得到所述前景图像块中的目标图像块；

根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息；

获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型。

上述普通光源下图像处理及三维重建方法、装置、计算机设备、存储介质和计算机程序产品，通过环绕微距拍摄设备对目标饰品进行环绕微距拍摄，能够获取到目标饰品多角度、清晰的饰品图像，解决了传统技术中因饰品尺寸较小而导致拍摄得到的饰品图像的分辨率较低的问题；通过将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素，实现了饰品图像中前景像素和背景像素的合理区分；进而根据前景像素融合得到的前景图像块的图像块面积，以及各个前景图像块之间的距离，对前景图像块进行过滤处理，得到前景图像块中的目标图像块，能够过滤掉前景图像块中具有噪声干扰的异常图像块，以提高获取到的目标图像块的质量，从而提高了珠宝饰品的三维重建精度；根据预设的饰品款码映射关系，对目标图像块的饰品特征信息进行款码映射处理，得到目标饰品对应的饰品款码信息，实现了三维重建模型的数字化描述；获取目标图像块对应的三维体网格，并根据三维体网格的有向表面距离和饰品款码信息，对三维体网格进行网格重建，得到目标饰品的三维重建模型，而无需进行图像的特征点匹配，不仅避免了珠宝饰品表面的反射作用对特征点匹配的影响，还大大提升了珠宝饰品的三维重建精度，此外，还能够将饰品款码信息与构建得到的三维重建模型关联起来，以便通过饰品款码信息快速获取到各个饰品对应的三维重建模型，能够方便对三维重建模型的日常使用。

附图说明

图1为一个实施例中普通光源下图像处理及三维重建方法的应用环境图；

图2为一个实施例中普通光源下图像处理及三维重建方法的流程示意图；

图3为一个实施例中获取前景图像块中的目标图像块步骤的流程示意图；

图4为另一个实施例中普通光源下图像处理及三维重建方法的流程示意图；

图5为一个实施例中普通光源下图像处理及三维重建装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的普通光源下图像处理及三维重建方法，可以应用于如图1所示的应用环境中。其中，终端101通过网络与环绕微距拍摄设备102进行通信。数据存储系统可以存储终端101需要处理的数据。数据存储系统可以集成在终端101上，也可以放在云上或其他网络服务器上。终端101获取环绕微距拍摄设备102对目标饰品进行环绕微距拍摄得到的饰品图像；将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素；训练完成的像素识别模型通过样本饰品图像和样本饰品图像的特征图训练得到；根据前景像素融合得到的前景图像块的图像块面积，以及各个前景图像块之间的距离，对前景图像块进行过滤处理，得到前景图像块中的目标图像块；根据预设的饰品款码映射关系，对目标图像块的饰品特征信息进行款码映射处理，得到目标饰品对应的饰品款码信息；获取目标图像块对应的三维体网格，并根据三维体网格的有向表面距离和饰品款码信息，对三维体网格进行网格重建，得到目标饰品的三维重建模型。其中，终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。环绕微距拍摄设备102可以用现有的具备微距拍摄能力、精确焦距控制能力和环绕拍摄能力的拍摄装置来实现。

在一个实施例中，如图2所示，提供了一种普通光源下图像处理及三维重建方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤S201，获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像。

需要说明的是，本实施例中拍摄目标饰品时部署普通光源即可，无需额外部署三原色的单色灯、多色灯等复杂光源。

其中，目标饰品是指需要进行三维重建的珠宝饰品。饰品图像是指通过环绕微距拍摄设备对目标饰品进行微距拍摄得到的图像。

具体地，环绕微距拍摄设备包括置物架，可以将需要拍摄的目标饰品放置在环绕微距拍摄设备的置物架上，终端生成目标饰品对应的图像拍摄指令，并将图像拍摄指令发送至环绕微距拍摄设备，环绕微距拍摄设备接收图像拍摄指令并对目标饰品进行环绕微距拍摄，可以是通过驱动电路控制环绕微距拍摄设备将拍摄焦距调整为微距拍摄对应的焦距，同时，环绕微距拍摄设备的驱动电路控制驱动电机，通过驱动电机控制旋转支架带动摄像头对目标饰品进行拍摄，则环绕微距拍摄设备得到目标饰品的多个饰品图像；环绕微距拍摄设备将目标饰品的多个饰品图像返回至终端。

步骤S202，将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素；训练完成的像素识别模型通过样本饰品图像和样本饰品图像的特征图训练得到。

其中，像素识别模型是指用于预测饰品图像中每个像素属于前景像素的概率的模型。前景像素是指靠近镜头位置的目标饰品的像素。背景像素是指目标饰品的拍摄背景的像素。样本饰品图像是指用于训练待训练的像素识别模型的样本数据集；例如，样本饰品图像可以是对珠宝饰品拍摄得到的图像样本，还可以是从网络或数据集平台上获取的珠宝饰品的图像数据集。

具体地，终端将饰品图像输入至训练完成的像素识别模型，通过训练完成的像素识别模型输出饰品图像的预测特征图，预测特征图的各个像素中包含有该像素的预测前景概率。其中预测前景概率用于表示该位置上的像素属于前景类型（即饰品或珠宝）的概率。终端还可以对饰品图像的预测特征图的分辨率进行双线性插值处理，得到插值后特征图，其中插值后特征图的分辨率尺寸与饰品图像的分辨率尺寸相同。

终端根据插值后特征图中各个像素（为便于与饰品图像中各个像素区分，可以将插值后特征图中各个像素称为特征像素）的预测前景概率，判断饰品图像中各个像素的像素类型。具体地，在特征像素的预测前景概率大于第一概率阈值的情况下，终端将饰品图像中与该特征像素对应的像素分类为前景类型；在特征像素的预测前景概率小于第二概率阈值的情况下，终端将饰品图像中与该特征像素对应的像素分类为背景类型；在特征像素的预测前景概率大于第二概率阈值，且该预测前景概率小于第一概率阈值的情况下，终端可以将该特征像素和该特征像素在插值后特征图中的周围9*9的像素区域，共计十个像素输入预先训练的像素验证模型中，得到该特征像素的验证概率；在该验证概率小于第三概率阈值的情况下，将饰品图像中与该特征像素对应的像素分类为背景类型，反之，将饰品图像中与该特征像素对应的像素分类为前景类型；进而终端得到饰品图像中分类为前景类型的前景像素。可以理解的是，预先训练的像素验证模型的输入仅为十个特征像素，比训练完成的像素识别模型的输入（例如饰品图像）更少，所以该预先训练的像素验证模型的模型结构可以比训练完成的像素识别模型的模型结构更小，例如，该预先训练的像素验证模型可以是小型的神经网络。另外，通过预先训练的像素验证模型对局部的像素区域进行验证，而非将整个饰品图像输入预先训练的像素验证模型中进行验证，能够有效节省普通光源下图像处理及三维重建方法的运算量，从而提高了珠宝饰品的图像处理效率。

在实际应用中，第一概率阈值可以设置为0.7，第二概率阈值可以设置为0.3，第三概率阈值可以设置为0.5。

步骤S203，根据前景像素融合得到的前景图像块的图像块面积，以及各个前景图像块之间的距离，对前景图像块进行过滤处理，得到前景图像块中的目标图像块。

其中，图像块面积是指描述图像块的尺寸的数据。

具体地，终端对上述步骤S202中获取到的前景像素进行融合处理，得到多个前景图像块；然后根据各个前景图像块的图像块面积，以及各个前景图像块之间的距离，确定出前景图像块中的噪声图像；终端对前景图像块中的噪声图像块进行过滤删除，得到前景图像块中的目标图像块。

步骤S204，根据预设的饰品款码映射关系，对目标图像块的饰品特征信息进行款码映射处理，得到目标饰品对应的饰品款码信息。

其中，饰品款码映射关系用于指示饰品特征信息与饰品款码信息之间的映射关系。饰品款码信息是指用于表示饰品款式的唯一标识号码；饰品款码信息可以通过英文字母或者阿拉伯数字或者二者进行组合得到。

具体地，在上述步骤S203中获取到目标饰品的多个目标图像块之后，先对各个目标图像块分别进行特征提取处理，得到各个目标图像块的饰品特征信息；然后根据预设的饰品款码映射关系，将各个目标图像块的饰品特征信息转换为候选款码信息，然后对各个目标图像块的候选款码信息进行融合处理，得到目标饰品对应的饰品款码信息。可以理解的是，由于各个目标图像块均是属于同一件目标饰品的，所以需要将各个目标图像块的候选款码信息融合为一个饰品款码信息。

步骤S205，获取目标图像块对应的三维体网格，并根据三维体网格的有向表面距离，对三维体网格进行网格重建和饰品款码信息，得到目标饰品的三维重建模型。

其中，三维体网格是指通过体网格进行三维表示的三维模型。例如，三维体网格可以是Voxel或者grid形式的体网格，但是三维体网格不是mesh形式的体网格。三维重建模型是指针对目标饰品建立的三维体网格形式的模型。

具体地，终端构建得到目标图像块对应的三维体网格；对三维体网格进行采样，得到三维体网格的多个采样点；根据各个采样点的有向表面距离，对三维体网格进行网格重建，例如，可以是根据各个采样点的有向表面距离和饰品款码信息，对三维体网格进行等值面提取重建，则终端得到目标饰品的三维重建模型；其中，目标饰品的三维重建模型携带有目标饰品的饰品款码信息。

举例说明，为保障目标饰品的三维重建模型的可靠性，可以在目标饰品的三维重建模型的表面增加饰品款码信息的显示，从而防止第三方对目标饰品的三维重建模型的恶意窃取，还能通过饰品款码信息的数字化描述快速了解到当前三维重建模型对应的目标饰品的多方面特征信息。当然，在追求目标饰品的三维重建准确度的情况下，也可以将目标饰品的饰品款码信息存储在容器或者数据库中，并建立三维重建模型与饰品款码信息之间的映射关系。

上述普通光源下图像处理及三维重建方法中，通过环绕微距拍摄设备对目标饰品进行环绕微距拍摄，能够获取到目标饰品多角度、清晰的饰品图像，解决了传统技术中因饰品尺寸较小而导致拍摄得到的饰品图像的分辨率较低的问题；通过将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素，实现了饰品图像中前景像素和背景像素的合理区分；进而根据前景像素融合得到的前景图像块的图像块面积，以及各个前景图像块之间的距离，对前景图像块进行过滤处理，得到前景图像块中的目标图像块，能够过滤掉前景图像块中具有噪声干扰的异常图像块，以提高获取到的目标图像块的质量，从而提高了珠宝饰品的三维重建精度；根据预设的饰品款码映射关系，对目标图像块的饰品特征信息进行款码映射处理，得到目标饰品对应的饰品款码信息，实现了三维重建模型的数字化描述；获取目标图像块对应的三维体网格，并根据三维体网格的有向表面距离和饰品款码信息，对三维体网格进行网格重建，得到目标饰品的三维重建模型，而无需进行图像的特征点匹配，不仅避免了珠宝饰品表面的反射作用对特征点匹配的影响，还大大提升了珠宝饰品的三维重建精度，此外，还能够将饰品款码信息与构建得到的三维重建模型关联起来，以便通过饰品款码信息快速获取到各个饰品对应的三维重建模型，能够方便对三维重建模型的日常使用。

在一个实施例中，如图3所示，上述步骤S203，根据前景像素融合得到的前景图像块的图像块面积，以及各个前景图像块之间的距离，对前景图像块进行过滤处理，得到前景图像块中的目标图像块，包括：

步骤S301，对前景像素进行融合处理，得到前景像素对应的多个前景图像块。

具体地，终端可以是根据前景像素的像素特征，对前景像素进行聚类，得到多个前景图像块。终端还可以是根据前景像素的坐标位置，对坐标位置距离较近的前景像素进行连接，得到多个前景图像块。

步骤S302，获取各个前景图像块的图像块面积，并对图像块面积小于预设面积阈值的前景图像块添加面积异常标记。

具体地，终端在上述步骤S301中获取到多个前景图像块之后，还可以计算出各个前景图像块的图像块面积，然后分别判断各个前景图像块的图像块面积与预设面积阈值之间的大小关系；在前景图像块的图像块面积大于预设面积阈值的情况下，对该前景图像块不作处理；在前景图像块的图像块面积小于预设面积阈值的情况下，对该前景图像块添加面积异常标记。

步骤S303，确定各个前景图像块之间的距离，并对距离大于预设距离阈值的前景图像块添加距离异常标记。

可以理解的是，上述步骤S302和上述步骤S303可以同时执行，也可以按照先后顺序依次执行（先后顺序不限）。

具体地，终端在上述步骤S301中获取到多个前景图像块之后，还可以计算出各个前景图像块与其他前景图像块之间的平均距离，然后分别判断各个前景图像块的平均距离与预设距离阈值之间的大小关系；在前景图像块的平均距离大于预设距离阈值的情况下，对该前景图像块不作处理；在前景图像块的平均距离小于预设距离阈值的情况下，对该前景图像块添加距离异常标记。

步骤S304，对前景图像块中同时携带有面积异常标记和距离异常标记的异常图像块进行删除，得到前景图像块中的目标图像块。

具体地，终端从所有的前景图像块中，筛选出同时携带有面积异常标记和距离异常标记的前景图像块，作为异常图像块，确认该异常图像块为错误识别；然后对该异常图像块进行删除处理，将前景图像块中剩下的图像块作为目标图像块。

本实施例中，通过对前景像素进行融合得到多个前景图像块；然后根据前景图像块的图像块面积，以及各个前景图像块之间的距离，确定出前景图像块中同时携带有面积异常标记和距离异常标记的异常图像块，通过对前景图像块中的异常图像块进行过滤，得到目标图像块，并利用与目标饰品关联度更大的目标图像块进行三维重建，大大减少了三维重建过程中的背景噪声，从而有效的提高了目标饰品的三维重建精度。

在一个实施例中，训练完成的像素识别模型通过下述方式训练得到：将样本饰品图像输入至待训练的像素识别模型中，得到样本饰品图像对应的预测特征图；根据预测特征图与样本饰品图像对应的特征图之间的差异，得到待训练的像素识别模型的损失函数；根据损失函数，对待训练的像素识别模型进行迭代训练，得到训练完成的像素识别模型。

其中，预测特征图是指像素识别模型预测得到的特征图；预测特征图中的每个像素中包含有该像素的预测前景概率（在0至1之间），该预测前景概率用于表示该位置上的像素属于前景类型（即珠宝）的概率。

具体地，终端获取样本饰品图像，样本饰品图像对应的特征图，以及待训练的像素识别模型；然后对样本饰品图像进行比例划分，将划分后占比较多的那份样本饰品图像输入至像素识别模型中进行像素类别预测处理，得到样本饰品图像中各个像素的预测前景概率，并通过各个像素的预测前景概率，得到样本饰品图像对应的预测特征图。终端根据预测特征图与样本饰品图像对应的特征图之间的差异，得到待训练的像素识别模型的损失函数，可以是根据预测特征图与样本饰品图像对应的特征图之间的差异，计算得到待训练的像素识别模型的交叉熵损失；进而终端可以根据交叉熵损失，对待训练的像素识别模型的模型参数进行梯度更新，得到训练完成的像素识别模型。

进一步地，终端可以训练得到多个训练完成的像素识别模型。将划分后占比较少的那份样本饰品图像分别输入至各个训练完成的像素识别模型中，得到各个训练完成的像素识别模型输出的样本饰品图像对应的预测特征图；根据预测特征图与样本饰品图像对应的特征图之间的差异，得到各个训练完成的像素识别模型的准确度；将准确度最高的训练完成的像素识别模型，作为上述步骤S202中的训练完成的像素识别模型来执行后续的普通光源下图像处理及三维重建步骤。

在实际应用中，终端可以将样本饰品图像输入至待训练的像素识别模型中，待训练的像素识别模型会输出一张与原来的样本饰品图像的图像尺寸相同的预测特征图（例如，原来的样本饰品图像是4*5的尺寸，则其对应的预测特征图也是4*5的尺寸）。

在本实施例中，通过将样本饰品图像输入至待训练的像素识别模型中，得到样本饰品图像对应的预测特征图；根据预测特征图与样本饰品图像对应的特征图之间的差异，得到待训练的像素识别模型的损失函数；然后根据损失函数，对待训练的像素识别模型进行迭代训练，得到训练完成的像素识别模型，实现了像素识别模型的高效训练，通过训练完成的像素识别模型对饰品图像进行预测，还提高了获取前景像素的准确率。

在一个实施例中，在将样本饰品图像输入至待训练的像素识别模型中，得到样本饰品图像对应的预测特征图之前，还包括：对样本饰品图像进行多边形标注处理，得到样本饰品图像中的饰品多边形框；对饰品多边形框中的每个像素进行特征标记处理，得到样本饰品图像对应的特征图。

其中，饰品多边形框是指使用多边形框标注出样本饰品图像中的珠宝饰品。

具体地，终端根据样本饰品图像中饰品的边缘轮廓，对样本饰品图像进行多边形标注处理，得到样本饰品图像中的饰品多边形框。终端对饰品多边形框中的每个像素添加前景类型的特征标记，对样本饰品图像中除饰品多边形框内以外的像素添加背景类型的特征标记，进而根据样本饰品图像中每个像素的特征标记，得到样本饰品图像对应的特征图。

在实际应用中，终端可以以像素为单位，标记样本饰品图像中每一个像素是否属于珠宝，得到一张与原来的样本饰品图像的图像尺寸相同的特征图（例如，原来的样本饰品图像是7*6的尺寸，则其对应的特征图也是7*6的尺寸）。其中，特征图上的每个像素中包含有该像素的特征标记（0或1），该特征标记用于表示该位置的像素是属于背景类型还是前景类型。

在本实施例中，通过对样本饰品图像进行多边形标注处理，得到样本饰品图像中的饰品多边形框；然后对饰品多边形框中的每个像素进行特征标记处理，得到样本饰品图像对应的特征图，实现了对特征图的准确标记，有助于提升训练得到的训练完成的像素识别模型的模型性能，从而提高了获取到的前景像素的准确率。

在一个实施例中，上述步骤S205，获取目标图像块对应的三维体网格，并根据三维体网格的有向表面距离和饰品款码信息，对三维体网格进行网格重建，得到目标饰品的三维重建模型，具体包括如下内容：对目标图像块进行三维构建，得到目标图像块对应的三维体网格；对三维体网格进行三维平均采样，得到三维体网格中的三维采样点；将三维采样点输入至训练完成的密度预测模型，得到三维采样点对应的密度信息；根据密度信息确定三维采样点的有向表面距离，并根据有向表面距离，对三维体网格进行表面网格重建，得到目标饰品的候选三维重建模型；对候选三维重建模型和饰品款码信息进行绑定处理，得到目标饰品的三维重建模型。

其中，密度预测模型是指能够预测三维点的密度值的模型。密度预测模型可以通过隐式预测网络实现。

具体地，终端对目标图像块中各像素进行三维映射，得到目标图像块对应的多个三维映射点。通过对目标图像块进行三维构建得到三维体网格，可以是将目标图像块对应的多个三维映射点分配至目标图像块对应的单位体网格中，然后对单位体网格中不包含像素的部分进行过滤，进而终端得到目标图像块对应的三维体网格。终端对三维体网格的每个维度依次进行平均采样，得到三维体网格中的多个三维采样点；然后将三维采样点输入至训练完成的密度预测模型，得到三维采样点对应的密度信息。终端获取预设密度阈值，根据密度信息与预设密度阈值之间的差值，得到三维采样点对应的有向表面距离；根据有向表面距离，对三维体网格进行表面网格重建，得到目标饰品的候选三维重建模型；进而终端对候选三维重建模型和饰品款码信息进行绑定处理，可以是根据饰品款码信息，对候选三维重建模型进行模型更新，得到模型表面携带有饰品款码信息的三维重建模型；还可以是对候选三维重建模型和饰品款码信息进行键值对处理，则终端得到与饰品款码信息之间具有映射关系的目标饰品的三维重建模型；当然还可以结合上述两种方式对候选三维重建模型和饰品款码信息进行绑定处理，也就是既在三维重建模型的表面增加饰品款码信息的显示，也建立三维重建模型与饰品款码信息之间的映射关系。

在本实施例中，通过对目标图像块进行三维构建，得到目标图像块对应的三维体网格；对三维体网格进行三维平均采样，得到三维体网格中的三维采样点；将三维采样点输入至训练完成的密度预测模型，得到三维采样点对应的密度信息；根据密度信息确定三维采样点的有向表面距离，并根据有向表面距离，对三维体网格进行表面网格重建，得到目标饰品的候选三维重建模型；最后对候选三维重建模型和所述饰品款码信息进行绑定处理，得到目标饰品的三维重建模型，实现了目标饰品的三维重建，通过密度信息来确定有向表面距离，避免了目标饰品表面的反射作用对特征点匹配的影响，从而大大提升了珠宝饰品的三维重建精度。

在一个实施例中，上述步骤S201，获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像，具体包括如下内容：将目标饰品对应的图像拍摄指令发送至环绕微距拍摄设备；图像拍摄指令用于指示环绕微距拍摄设备的驱动电路根据图像拍摄指令中携带的焦段信息，对目标饰品进行环绕微距拍摄；接收环绕微距拍摄设备基于图像拍摄指令返回的目标饰品的饰品图像。

其中，驱动电路是环绕微距拍摄设备和终端之间的连通电路。驱动电路通过电路向环绕微距拍摄设备发送信号，以控制环绕微距拍摄设备的各个部件执行动作。

具体地，终端获取目标饰品的拍摄参数，拍摄参数包括但不限于是拍摄的光圈、焦段、距离、经度和纬度；终端根据拍摄参数生成图像拍摄指令，并将图像拍摄指令通过驱动电路发送至环绕微距拍摄设备。环绕微距拍摄设备接收图像拍摄指令，驱动电路根据图像拍摄指令中携带的焦段信息、距离和光圈等拍摄参数，对环绕微距拍摄设备的焦点、焦距进行调整，控制环绕微距拍摄设备的光圈进行转动以调整光圈，驱动电路还可以控制驱动电机，使驱动电路根据图像拍摄指令中携带的经度和纬度，控制旋转支架带动摄像头围绕置物台进行360°环绕转动，从而获得多角度下的多个饰品图像。最后，环绕微距拍摄设备将拍摄得到的所有饰品图像发送至终端。

进一步地，终端在接收到环绕微距拍摄设备返回的多个饰品图像后，还可以对各个饰品图像进行分辨率检测，得到各个饰品图像的分辨率；确定分辨率低于预设分辨率阈值的饰品图像的数量；在该数量满足预设数量条件的情况下，对上述拍摄参数进行更新，并根据更新后的拍摄参数再次生成图像拍摄指令，将该图像拍摄指令再次发送至环绕微距拍摄设备，以获取新的多个饰品图像，从而有效的确保了终端获取到的饰品图像的图像质量。

在本实施例中，通过将目标饰品对应的图像拍摄指令发送至环绕微距拍摄设备，以通过图像拍摄指令指示环绕微距拍摄设备的驱动电路根据图像拍摄指令中携带的焦段信息，对目标饰品进行环绕微距拍摄；然后接收环绕微距拍摄设备基于图像拍摄指令返回的目标饰品的饰品图像，解决了传统技术中因饰品尺寸较小而导致拍摄得到的饰品图像的分辨率较低的问题，从而有效的提升了获取到的饰品图像的图像质量。

在一个实施例中，上述步骤S202，将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素，具体包括如下内容：对饰品图像进行反射检测处理，得到饰品图像的反射检测结果；根据反射检测结果，对饰品图像进行亮度调整处理和对比度调整处理，得到处理后饰品图像；将处理后饰品图像输入至训练完成的像素识别模型，得到处理后饰品图像中识别为前景类型的前景像素。

其中，反射检测结果是指描述饰品图像中存在反射作用的像素的数量是否异常的信息。例如，饰品图像中只有极少数的像素存在反光，则反射检测结果可以是正常。再例如，饰品图像中接近半数的像素存在反光，则反射检测结果可以是异常。

由于珠宝饰品的表面通常具有反射作用，导致拍摄得到的饰品图像中因光的反射而导致成像不清晰或者成像残缺，因此，可以对饰品图像进行预处理。具体地，终端根据饰品图像中各像素的亮度值，判断各个像素的亮度值是否超过预设亮度阈值；在像素的亮度值超过预设亮度阈值的情况下，将该像素输入至反射预测模型中，得到该像素的反射预测结果；根据像素的反射预测结果，确定饰品图像的反射检测结果。在饰品图像的反射检测结果为异常的情况下，对饰品图像中各个像素依次进行亮度调整处理和对比度调整处理，得到处理后饰品图像。将处理后饰品图像输入至训练完成的像素识别模型，以提升模型识别的准确度，则终端得到处理后饰品图像中识别为前景类型的前景像素。

在本实施例中，通过对饰品图像进行反射检测处理，得到饰品图像的反射检测结果；根据反射检测结果，对饰品图像进行亮度调整处理和对比度调整处理，得到处理后饰品图像，解决了饰品图像中的反射现象易干扰像素识别模型的准确识别的问题；将处理后饰品图像输入至训练完成的像素识别模型，得到处理后饰品图像中识别为前景类型的前景像素，提升了像素识别模型的识别准确度，从而大大提高了通过目标图像构建得到的三维重建模型的准确度。

在一个实施例中，饰品特征信息包括饰品类型信息，宝石镶嵌信息，金属材质信息和表面工艺信息中的至少一种。

上述步骤S204，根据预设的饰品款码映射关系，对目标图像块的饰品特征信息进行款码映射处理，得到目标饰品对应的饰品款码信息，具体包括如下内容：将目标图像块，输入至预先训练的饰品类型分类模型，得到目标图像块的饰品类型信息；将目标图像块，输入至预先训练的宝石镶嵌识别模型，得到目标图像块的宝石镶嵌信息；将目标图像块，输入至预先训练的金属材质分类模型，得到目标图像块的金属材质信息；将目标图像块，输入至预先训练的工艺语义识别模型，得到目标图像块的表面工艺信息；根据预设的饰品款码映射关系，对饰品类型信息、宝石镶嵌信息、金属材质信息和表面工艺信息进行款码映射处理，得到目标饰品对应的饰品款码信息。

其中，饰品类型信息用于描述目标饰品的饰品类型；例如，饰品类型信息包括但不限于是戒指、吊坠、手镯和手链等。宝石镶嵌信息用于描述目标饰品的镶嵌方式；例如宝石镶嵌信息包括但不限于是爪镶、包镶、壁镶等。金属材质信息用于描述目标饰品所使用的金属材质；例如金属材质信息包括但不限于是金、银。表面工艺信息用于描述目标饰品所采用的表面工艺；例如表面工艺信息包括但不限于是光面、拉丝、磨砂和推砂。

具体地，终端将目标饰品的各个目标图像块，输入至预先训练的饰品类型分类模型，得到目标图像块的饰品类型信息，可以是将M张目标图像块依次输入到预先训练的卷积神经网络结构的饰品特征提取模型中。针对每一张目标图像块，预先训练的饰品特征提取模型会输出一个长度为512的特征向量。将M张目标图像块的特征向量进行平均处理，得到该目标饰品的平均特征向量；将平均特征向量和M张目标图像块，输入到预先训练的饰品类型分类模型中，将饰品类型的数量标记为N1，则预先训练的饰品类型分类模型输出M个长度为N1的饰品类型向量，其中长度为N1的饰品类型向量中每一个元素表示目标图像块属于对应饰品类型的概率，且所有元素的概率之和为1；则终端将各个饰品类型向量中概率最高对应的饰品类型，作为各个目标图像块的饰品类型信息。

终端将目标图像块，输入至预先训练的宝石镶嵌识别模型，得到目标图像块的宝石镶嵌信息，可以是将M张目标图像块，分别输入到预先训练的宝石镶嵌识别模型中，将宝石（例如钻石）的镶嵌方式的数量标记为N2，针对每一张目标图像块，预先训练的饰品类型分类模型输出一个或多个检测框，其中，每一个检测框均携带有四个能够表征检测框位置的坐标信息（例如顶点坐标信息），以及一个长度为N2的镶嵌方式向量，其中长度为N2的镶嵌方式向量中每一个元素表示宝石的镶嵌属于对应镶嵌方式的概率，且所有元素的概率之和为1；则终端将镶嵌方式向量中概率最高对应的镶嵌方式，作为该检测框对应的镶嵌方式信息，结合目标图像块的一个或多个检测框的镶嵌方式信息，得到目标图像块的宝石镶嵌信息。

终端将目标图像块，输入至预先训练的金属材质分类模型，得到目标图像块的金属材质信息；可以是将M张目标图像块依次输入到预先训练的金属材质分类模型中，将饰品的金属材质的类型总数量标记为N3，则预先训练的金属材质分类模型输出M个长度为N3的金属材质向量，其中长度为N3的金属材质向量中每一个元素表示目标图像块的金属材质属于对应金属材质类型的概率，且所有元素的概率之和为1；则终端将金属材质向量中概率最高对应的金属材质类型，作为目标图像块的金属材质信息。

终端将目标图像块，输入至预先训练的工艺语义识别模型，得到目标图像块的表面工艺信息；可以是将M张目标图像块依次输入到预先训练的工艺语义识别模型中，将饰品的表面工艺的类型总数量标记为N4，则预先训练的工艺语义识别模型输出M个长度为N4的表面工艺向量，其中长度为N4的表面工艺向量中每一个元素表示目标图像块的表面工艺属于对应表面工艺类型的概率，且所有元素的概率之和为1；则终端将表面工艺向量中概率最高对应的表面工艺类型，作为目标图像块的表面工艺信息。

终端根据预设的饰品款码映射关系，对各个目标图像块的饰品类型信息、宝石镶嵌信息、金属材质信息和表面工艺信息进行款码映射处理，得到各个目标图像块的候选款码信息；对各个目标图像块的候选款码信息进行融合，得到目标饰品对应的饰品款码信息。

在本实施例中，通过预先训练的饰品类型分类模型、预先训练的宝石镶嵌识别模型、预先训练的金属材质分类模型和预先训练的工艺语义识别模型，来处理得到目标图像块的饰品类型信息、宝石镶嵌信息、金属材质信息和表面工艺信息，提高两人将这些饰品特征信息转换为目标图像块的饰品款码信息，进而将多个目标图像块的饰品款码信息融合为目标饰品的饰品款码信息，实现了三维重建模型的数字化描述。

在一个实施例中，根据预设的饰品款码映射关系，对饰品类型信息、宝石镶嵌信息、金属材质信息和表面工艺信息进行款码映射处理，得到目标饰品对应的饰品款码信息，具体包括如下内容：根据饰品类型信息与饰品款码映射关系，确定目标饰品的饰品类型款码信息；根据宝石镶嵌信息与饰品款码映射关系，确定目标饰品的宝石镶嵌款码信息；根据金属材质信息与饰品款码映射关系，确定目标饰品的金属材质款码信息；根据表面工艺信息与饰品款码映射关系，确定目标饰品的表面工艺款码信息；对饰品类型款码信息、宝石镶嵌款码信息、金属材质款码信息和表面工艺款码信息进行融合处理，得到目标饰品对应的饰品款码信息。

其中，饰品款码映射关系为饰品特征信息与饰品款码信息之间的映射关系。

具体地，终端按照饰品款码映射关系，将目标饰品的各个目标图像块的饰品类型信息转换为饰品类型款码信息，将目标图像块的宝石镶嵌信息转换为宝石镶嵌款码信息，将目标图像块的金属材质信息转换为金属材质款码信息，将目标图像块的表面工艺信息转换为表面工艺款码信息；将目标图像块的饰品类型款码信息、宝石镶嵌款码信息、金属材质款码信息和表面工艺款码信息融合为候选款码信息；进而终端对所有目标图像块的候选款码信息进行融合，得到目标饰品对应的饰品款码信息。此外，还可以生成目标饰品的标识信息，并建立标识信息与饰品款码信息之间的联系，以便根据目标饰品的标识信息快速查询到饰品款码信息。

举例说明，假设戒指对应的款码为0001，爪镶钻石对应的款码为0010，金对应的款码为0100，光面对应的款码为1000。若识别到目标饰品的饰品类型信息为戒指，宝石镶嵌信息为爪镶钻石，金属材质信息为金，表面工艺信息为光面，则该目标饰品的饰品款码信息为0001-0010-0100-1000。

在本实施例中，根据饰品款码映射关系，将目标图像块的饰品类型信息、宝石镶嵌信息、金属材质信息和表面工艺信息均转换为对应的饰品类型款码信息、宝石镶嵌款码信息、金属材质款码信息和表面工艺款码信息；进而将饰品类型款码信息、宝石镶嵌款码信息、金属材质款码信息和表面工艺款码信息进行融合处理，得到目标饰品对应的饰品款码信息，能够将目标饰品的不同角度的目标图像块的饰品特征信息转换为对应的款码信息，再将款码信息融合为一个，提高了融合得到的饰品款码信息可靠性。

在一个实施例中，如图4所示，提供了另一种普通光源下图像处理及三维重建方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤S401，将目标饰品对应的图像拍摄指令发送至环绕微距拍摄设备；图像拍摄指令用于指示环绕微距拍摄设备的驱动电路根据图像拍摄指令中携带的焦段信息，对目标饰品进行环绕微距拍摄。

步骤S402，接收环绕微距拍摄设备基于图像拍摄指令返回的目标饰品的饰品图像。

步骤S403，将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素；对前景像素进行融合处理，得到前景像素对应的多个前景图像块。

步骤S404，获取各个前景图像块的图像块面积，并对图像块面积小于预设面积阈值的前景图像块添加面积异常标记；确定各个前景图像块之间的距离，并对距离大于预设距离阈值的前景图像块添加距离异常标记。

步骤S405，对前景图像块中同时携带有面积异常标记和距离异常标记的异常图像块进行删除，得到前景图像块中的目标图像块。

步骤S406，将目标图像块，输入至预先训练的饰品类型分类模型，得到目标图像块的饰品类型信息；将目标图像块，输入至预先训练的宝石镶嵌识别模型，得到目标图像块的宝石镶嵌信息。

步骤S407，将目标图像块，输入至预先训练的金属材质分类模型，得到目标图像块的金属材质信息；将目标图像块，输入至预先训练的工艺语义识别模型，得到目标图像块的表面工艺信息。

步骤S408，根据饰品类型信息与饰品款码映射关系，确定目标饰品的饰品类型款码信息；根据宝石镶嵌信息与饰品款码映射关系，确定目标饰品的宝石镶嵌款码信息。

步骤S409，根据金属材质信息与饰品款码映射关系，确定目标饰品的金属材质款码信息；根据表面工艺信息与饰品款码映射关系，确定目标饰品的表面工艺款码信息。

步骤S410，对饰品类型款码信息、宝石镶嵌款码信息、金属材质款码信息和表面工艺款码信息进行融合处理，得到目标饰品对应的饰品款码信息。

步骤S411，对目标图像块进行三维构建，得到目标图像块对应的三维体网格；对三维体网格进行三维平均采样，得到三维体网格中的三维采样点；将三维采样点输入至训练完成的密度预测模型，得到三维采样点对应的密度信息。

步骤S412，根据密度信息确定三维采样点的有向表面距离，并根据有向表面距离，对三维体网格进行表面网格重建，得到目标饰品的候选三维重建模型；对候选三维重建模型和饰品款码信息进行绑定处理，得到目标饰品的三维重建模型。

上述普通光源下图像处理及三维重建方法，能够实现以下有益效果：通过环绕微距拍摄设备对目标饰品进行环绕微距拍摄，能够获取到目标饰品多角度、清晰的饰品图像，解决了传统技术中因饰品尺寸较小而导致拍摄得到的饰品图像的分辨率较低的问题；通过将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素，实现了饰品图像中前景像素和背景像素的合理区分；进而根据前景像素融合得到的前景图像块的图像块面积，以及各个前景图像块之间的距离，对前景图像块进行过滤处理，得到前景图像块中的目标图像块，能够过滤掉前景图像块中异常的噪声图像块，以提高获取到的目标图像块的质量，从而提高了珠宝饰品的三维重建精度；获取目标图像块对应的三维体网格，并根据三维体网格的有向表面距离，对三维体网格进行网格重建，得到目标饰品的三维重建模型，而无需进行图像的特征点匹配，不仅避免了珠宝饰品表面的反射作用对特征点匹配的影响，还大大提升了珠宝饰品的三维重建精度。

为了更清晰阐明本公开实施例提供的普通光源下图像处理及三维重建方法，以下以一个具体的实施例对上述普通光源下图像处理及三维重建方法进行具体说明。提供了又一种普通光源下图像处理及三维重建方法，可以应用于图1中的终端，具体包括如下内容：

（1）获取珠宝首饰图像：将珠宝首饰摆放在背景统一的环绕微距拍摄设备的置物架上，使用环绕微距拍摄设备，在稳定的外部光线条件下，在固定距离处，对首饰进行环绕微距拍摄，得到该珠宝首饰的饰品图像。

（2）珠宝初步识别提取：将饰品图像输入至训练完成的像素识别模型，得到饰品图像的预测特征图，预测特征图的各个特征像素中包含有该特征像素的预测前景概率。

（3）提高预测特征图分辨率：对饰品图像的预测特征图的分辨率进行双线性插值处理，得到插值后特征图，以使插值后特征图的分辨率尺寸与饰品图像的分辨率尺寸相同。当插值后特征图中的特征像素的预测前景概率小于0.3时，将饰品图像中与该特征像素对应的像素分类为背景类型。当插值后特征图中的特征像素的预测前景概率大于0.7时，将饰品图像中与该特征像素对应的像素分类为前景类型。当插值后特征图中的特征像素的预测前景概率大于0.3且该预测前景概率小于0.7时，将该特征像素以及该特征像素插值后特征图中的周围9*9的像素区域，共计十个像素输入预先训练的像素验证模型中，得到该特征像素的验证概率；在该验证概率小于0.5的情况下，将饰品图像中与该特征像素对应的像素分类为背景类型，反之，将饰品图像中与该特征像素对应的像素分类为前景类型。因此，终端得到饰品图像中所有被分类为前景类型的前景像素。

（4）识别结果后处理：对前景像素进行合并处理和过滤处理，得到目标图像块，具体包括：

a）筛选前景及背景：将前景像素进行连接合并，得到前景图像块。

b）过滤异常的前景图像块：当前景图像块的面积小于预设面积阈值，并且该前景图像块与其他前景块之间的平均距离大于预设距离阈值时，确认该前景图像块为误识别的异常图像块，将该异常图像块进行过滤处理，得到目标图像块。

（5）饰品款码信息确定：对目标图像块进行识别，根据目标图像块中的首饰类型、首饰上是否镶嵌有钻石及钻石种类、首饰的金属材质、首饰的表面工艺，确定目标图像块的饰品类型信息、宝石镶嵌信息、金属材质信息和表面工艺信息。然后根据饰品款码映射关系，将饰品类型信息、宝石镶嵌信息、金属材质信息和表面工艺信息，映射为对应的饰品类型款码信息、宝石镶嵌款码信息、金属材质款码信息和表面工艺款码信息；对饰品类型款码信息、宝石镶嵌款码信息、金属材质款码信息和表面工艺款码信息进行融合处理，得到珠宝首饰对应的饰品款码信息。

（6）三维重建：获取目标图像块对应的三维体网格，并根据三维体网格的有向表面距离，对三维体网格进行网格重建，得到珠宝首饰的候选三维重建模型；对候选三维重建模型和该珠宝首饰的饰品款码信息进行绑定，得到该珠宝首饰的三维重建模型。

在本实施例中，不仅解决了传统技术中因饰品尺寸较小而导致拍摄得到的饰品图像的分辨率较低的问题，有效的提升了获取到的饰品图像的图像质量，还解决了饰品图像中的反射现象易干扰像素识别模型的准确识别的问题；能够过滤掉前景图像块中具有噪声干扰的异常图像块，以提高获取到的目标图像块的质量，从而提高了珠宝饰品的三维重建精度，还能通过饰品款码信息对珠宝饰品的三维重建模型进行数字化信息关联，提高了三维重建模型的使用便利性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的普通光源下图像处理及三维重建方法的普通光源下图像处理及三维重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个普通光源下图像处理及三维重建装置实施例中的具体限定可以参见上文中对于普通光源下图像处理及三维重建方法的限定，在此不再赘述。

在一个实施例中，如图5所示，提供了一种普通光源下图像处理及三维重建装置500，包括：图像获取模块501、像素识别模块502、图像块过滤模块503、款码获取模块504和三维重建模块505，其中：

图像获取模块501，用于获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像。

像素识别模块502，用于将饰品图像输入至训练完成的像素识别模型，得到饰品图像中识别为前景类型的前景像素；训练完成的像素识别模型通过样本饰品图像和样本饰品图像的特征图训练得到。

图像块过滤模块503，用于根据前景像素融合得到的前景图像块的图像块面积，以及各个前景图像块之间的距离，对前景图像块进行过滤处理，得到前景图像块中的目标图像块。

款码获取模块504，用于根据预设的饰品款码映射关系，对目标图像块的饰品特征信息进行款码映射处理，得到目标饰品对应的饰品款码信息。

三维重建模块505，用于获取目标图像块对应的三维体网格，并根据三维体网格的有向表面距离和饰品款码信息，对三维体网格进行网格重建，得到目标饰品的三维重建模型。

在一个实施例中，图像块过滤模块503，还用于对前景像素进行融合处理，得到前景像素对应的多个前景图像块；获取各个前景图像块的图像块面积，并对图像块面积小于预设面积阈值的前景图像块添加面积异常标记；确定各个前景图像块之间的距离，并对距离大于预设距离阈值的前景图像块添加距离异常标记；对前景图像块中同时携带有面积异常标记和距离异常标记的异常图像块进行删除，得到前景图像块中的目标图像块。

在一个实施例中，普通光源下图像处理及三维重建装置500还包括模型训练模块，用于将样本饰品图像输入至待训练的像素识别模型中，得到样本饰品图像对应的预测特征图；根据预测特征图与样本饰品图像对应的特征图之间的差异，得到待训练的像素识别模型的损失函数；根据损失函数，对待训练的像素识别模型进行迭代训练，得到训练完成的像素识别模型。

在一个实施例中，普通光源下图像处理及三维重建装置500还包括特征图获取模块，用于对样本饰品图像进行多边形标注处理，得到样本饰品图像中的饰品多边形框；对饰品多边形框中的每个像素进行特征标记处理，得到样本饰品图像对应的特征图。

在一个实施例中，三维重建模块504，还用于对目标图像块进行三维构建，得到目标图像块对应的三维体网格；对三维体网格进行三维平均采样，得到三维体网格中的三维采样点；将三维采样点输入至训练完成的密度预测模型，得到三维采样点对应的密度信息；根据密度信息确定三维采样点的有向表面距离，并根据有向表面距离，对三维体网格进行表面网格重建，得到目标饰品的候选三维重建模型；对候选三维重建模型和饰品款码信息进行绑定处理，得到目标饰品的三维重建模型。

在一个实施例中，图像获取模块501，还用于将目标饰品对应的图像拍摄指令发送至环绕微距拍摄设备；图像拍摄指令用于指示环绕微距拍摄设备的驱动电路根据图像拍摄指令中携带的焦段信息，对目标饰品进行环绕微距拍摄；接收环绕微距拍摄设备基于图像拍摄指令返回的目标饰品的饰品图像。

在一个实施例中，像素识别模块502，还用于对饰品图像进行反射检测处理，得到饰品图像的反射检测结果；根据反射检测结果，对饰品图像进行亮度调整处理和对比度调整处理，得到处理后饰品图像；将处理后饰品图像输入至训练完成的像素识别模型，得到处理后饰品图像中识别为前景类型的前景像素。

在一个实施例中，饰品特征信息包括饰品类型信息，宝石镶嵌信息，金属材质信息和表面工艺信息中的至少一种；款码获取模块504，还用于将目标图像块，输入至预先训练的饰品类型分类模型，得到目标图像块的饰品类型信息；将目标图像块，输入至预先训练的宝石镶嵌识别模型，得到目标图像块的宝石镶嵌信息；将目标图像块，输入至预先训练的金属材质分类模型，得到目标图像块的金属材质信息；将目标图像块，输入至预先训练的工艺语义识别模型，得到目标图像块的表面工艺信息；根据预设的饰品款码映射关系，对饰品类型信息、宝石镶嵌信息、金属材质信息和表面工艺信息进行款码映射处理，得到目标饰品对应的饰品款码信息。

在一个实施例中，普通光源下图像处理及三维重建装置500还包括款码映射模块，用于根据饰品类型信息与饰品款码映射关系，确定目标饰品的饰品类型款码信息；根据宝石镶嵌信息与饰品款码映射关系，确定目标饰品的宝石镶嵌款码信息；根据金属材质信息与饰品款码映射关系，确定目标饰品的金属材质款码信息；根据表面工艺信息与饰品款码映射关系，确定目标饰品的表面工艺款码信息；对饰品类型款码信息、宝石镶嵌款码信息、金属材质款码信息和表面工艺款码信息进行融合处理，得到目标饰品对应的饰品款码信息。

上述普通光源下图像处理及三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种普通光源下图像处理及三维重建方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种普通光源下图像处理及三维重建方法，其特征在于，所述方法包括：

获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像；

对所述饰品图像中亮度值超过预设亮度阈值的像素进行反射检测处理，得到所述超过预设亮度阈值的像素的反射预测结果，并根据所述超过预设亮度阈值的像素的反射预测结果，确定所述饰品图像的反射预测结果；根据所述饰品图像的反射预测结果，对所述饰品图像进行亮度调整处理和对比度调整处理，得到处理后饰品图像；

将所述处理后饰品图像输入至训练完成的像素识别模型，得到所述处理后饰品图像中识别为前景类型的前景像素；所述训练完成的像素识别模型通过样本饰品图像和所述样本饰品图像的特征图训练得到；

对所述前景像素进行融合处理，得到所述前景像素对应的多个前景图像块；

获取各个所述前景图像块的图像块面积，并对所述图像块面积小于预设面积阈值的前景图像块添加面积异常标记；

确定各个所述前景图像块之间的距离，并对所述距离大于预设距离阈值的前景图像块添加距离异常标记；

对所述前景图像块中同时携带有所述面积异常标记和所述距离异常标记的异常图像块进行删除，得到所述前景图像块中的目标图像块；

根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息；

获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型。

2.根据权利要求1所述的方法，其特征在于，所述训练完成的像素识别模型通过下述方式训练得到：

将所述样本饰品图像输入至待训练的像素识别模型中，得到所述样本饰品图像对应的预测特征图；

根据所述预测特征图与所述样本饰品图像对应的特征图之间的差异，得到所述待训练的像素识别模型的损失函数；

根据所述损失函数，对所述待训练的像素识别模型进行迭代训练，得到所述训练完成的像素识别模型。

3.根据权利要求2所述的方法，其特征在于，在将所述样本饰品图像输入至待训练的像素识别模型中，得到所述样本饰品图像对应的预测特征图之前，还包括：

对所述样本饰品图像进行多边形标注处理，得到所述样本饰品图像中的饰品多边形框；

对所述饰品多边形框中的每个像素进行特征标记处理，得到所述样本饰品图像对应的特征图。

4.根据权利要求1所述的方法，其特征在于，所述获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型，包括：

对所述目标图像块进行三维构建，得到所述目标图像块对应的三维体网格；

对所述三维体网格进行三维平均采样，得到所述三维体网格中的三维采样点；

将所述三维采样点输入至训练完成的密度预测模型，得到所述三维采样点对应的密度信息；

根据所述密度信息确定所述三维采样点的有向表面距离，并根据所述有向表面距离，对所述三维体网格进行表面网格重建，得到所述目标饰品的候选三维重建模型；

对所述候选三维重建模型和所述饰品款码信息进行绑定处理，得到所述目标饰品的三维重建模型。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像，包括：

将所述目标饰品对应的图像拍摄指令发送至所述环绕微距拍摄设备；所述图像拍摄指令用于指示所述环绕微距拍摄设备的驱动电路根据所述图像拍摄指令中携带的焦段信息，对所述目标饰品进行环绕微距拍摄；

接收所述环绕微距拍摄设备基于所述图像拍摄指令返回的所述目标饰品的饰品图像。

6.根据权利要求1所述的方法，其特征在于，所述饰品特征信息包括饰品类型信息，宝石镶嵌信息，金属材质信息和表面工艺信息中的至少一种；

所述根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息，包括：

将所述目标图像块，输入至预先训练的饰品类型分类模型，得到所述目标图像块的饰品类型信息；

将所述目标图像块，输入至预先训练的宝石镶嵌识别模型，得到所述目标图像块的宝石镶嵌信息；

将所述目标图像块，输入至预先训练的金属材质分类模型，得到所述目标图像块的金属材质信息；

将所述目标图像块，输入至预先训练的工艺语义识别模型，得到所述目标图像块的表面工艺信息；

根据预设的饰品款码映射关系，对所述饰品类型信息、所述宝石镶嵌信息、所述金属材质信息和所述表面工艺信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息。

7.根据权利要求6所述的方法，其特征在于，所述根据预设的饰品款码映射关系，对所述饰品类型信息、所述宝石镶嵌信息、所述金属材质信息和所述表面工艺信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息，包括：

根据所述饰品类型信息与所述饰品款码映射关系，确定所述目标饰品的饰品类型款码信息；

根据所述宝石镶嵌信息与所述饰品款码映射关系，确定所述目标饰品的宝石镶嵌款码信息；

根据所述金属材质信息与所述饰品款码映射关系，确定所述目标饰品的金属材质款码信息；

根据所述表面工艺信息与所述饰品款码映射关系，确定所述目标饰品的表面工艺款码信息；

对所述饰品类型款码信息、所述宝石镶嵌款码信息、所述金属材质款码信息和所述表面工艺款码信息进行融合处理，得到所述目标饰品对应的饰品款码信息。

8.一种普通光源下图像处理及三维重建装置，其特征在于，所述装置包括：

图像获取模块，用于获取环绕微距拍摄设备对目标饰品进行环绕微距拍摄得到的饰品图像；

像素识别模块，用于对所述饰品图像中亮度值超过预设亮度阈值的像素进行反射检测处理，得到所述超过预设亮度阈值的像素的反射预测结果，并根据所述超过预设亮度阈值的像素的反射预测结果，确定所述饰品图像的反射预测结果；根据所述饰品图像的反射预测结果，对所述饰品图像进行亮度调整处理和对比度调整处理，得到处理后饰品图像；

像素识别模块，还用于将所述处理后饰品图像输入至训练完成的像素识别模型，得到所述处理后饰品图像中识别为前景类型的前景像素；所述训练完成的像素识别模型通过样本饰品图像和所述样本饰品图像的特征图训练得到；

图像块过滤模块，用于对所述前景像素进行融合处理，得到所述前景像素对应的多个前景图像块；获取各个所述前景图像块的图像块面积，并对所述图像块面积小于预设面积阈值的前景图像块添加面积异常标记；确定各个所述前景图像块之间的距离，并对所述距离大于预设距离阈值的前景图像块添加距离异常标记；对所述前景图像块中同时携带有所述面积异常标记和所述距离异常标记的异常图像块进行删除，得到所述前景图像块中的目标图像块；

款码获取模块，用于根据预设的饰品款码映射关系，对所述目标图像块的饰品特征信息进行款码映射处理，得到所述目标饰品对应的饰品款码信息；

三维重建模块，用于获取所述目标图像块对应的三维体网格，并根据所述三维体网格的有向表面距离和所述饰品款码信息，对所述三维体网格进行网格重建，得到所述目标饰品的三维重建模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images