CN111161388A - 零售商品货架图像的生成方法、系统、设备和存储介质 - Google Patents

Abstract

本公开涉及图像处理技术领域，特别涉及一种用于模型训练的零售商品货架图像的生成方法。本公开提供的用于模型训练的零售商品货架图像的生成方法中，通过制作模拟实际场景中商品和货架视觉状态的三维合成图像，从而替代了传统的人工拍摄图片来获取用于训练的图像数据的方式，大大提高了模型训练图像数据的制作时间。并且由于在制作合成图像时，可以在三维图像制作软件的环境下，单独制作商品模型和货架模型，并且可以利用现有三维图像制作软件中的脚本编写功能，实现多种摆放样式的商品模型摆放至货架模型中，进而实现商品种类和摆放方式的多样化，使得最终得到的零售商品货架图像效果可以更加接近采用拍照设备实际拍摄的图像效果。

Description

零售商品货架图像的生成方法、系统、设备和存储介质

技术领域

本公开涉及图像处理技术领域，特别涉及一种用于模型训练的零售商品货架图像的生成方法、系统、设备和存储介质。

背景技术

机器学习是一门多领域交叉学科。它是专门用来研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。

在机器学习中，常常会采用大量的图像数据进行图像检测、识别训练。而在获取这些图像数据时，通常是采用相机等拍摄设备进行拍摄而得到，并通过不断累加拍摄的图像，而使图像数据满足所需要的数量级。

发明内容

本公开的一方面提供了一种用于模型训练的零售商品货架图像的生成方法。所述零售商品货架图像的生成方法包括如下步骤：

制作模拟实际场景中商品和货架视觉状态的三维合成图像；

获取所述合成图像中的预定位置的商品模型的高度和宽度的数据信息；

利用获取的所述数据信息形成边界框，并围在所述合成图像中的对应商品模型上，以得到带有所述数据信息和所述边界框的零售商品货架图像。

在一实施例中，所述实际场景中商品和货架视觉状态至少包括光线角度、商品和货架上的反射图案

在一实施例中，所述货架是超市中用于摆放商品的摆放架或用于冷藏饮料的立式冰柜。

在一实施例中，所述制作模拟实际场景中商品和货架视觉状态的合成图像的步骤包括：

构建目标商品和货架的三维模型，分别得到商品模型和货架模型；

随机选取不同种类和数量的所述商品模型，并将选取的所述商品模型随机摆放至所述货架模型中；

利用预先制作的包装图案和背景图案对所述货架模型和所述货架模型中的所述商品模型进行渲染，以得到合成图像，其中所述合成图像符合现实场景中商品和货架的视觉状态。

在一实施例中，所述获取合成图像中的预定位置的商品模型的高度和宽度的数据信息的步骤包括：

对所述合成图像中商品模型占用的区域、货架模型与背景图案占用的区域利用不同颜色进行替代，以得到商品模型与货架模型和背景图案之间、商品模型与商品模型之间能够通过颜色进行区分的分割图像；

获取所述分割图像中预定位置的所述商品模型的高度和宽度的数据信息。

在一实施例中，所述获取分割图像中预定位置的商品模型的高度和宽度的数据信息的步骤包括：

在所述分割图像上建立直角坐标系；

获取预定位置的所述商品模型按照其颜色所占用的Y轴方向最大值和最小值、X轴方向最大值和最小值，以得到预定位置的所述商品模型的高度和宽度数据信息；其中，

Y轴方向最大值和最小值之差为对应所述商品模型的高度数据信息，X轴方向最大值和最小值为对应所述商品模型的宽度数据信息。

在一实施例中，所述获取预定位置的商品模型按照其颜色所占用的Y轴方向最大值和最小值、X轴方向最大值和最小值，以得到预定位置的商品模型的高度和宽度数据信息的步骤包括：

对所述分割图像中预定位置的商品模型进行像素扫描；

对比扫描的像素的颜色值与预定位置预先分配的颜色值；

将Y轴方向上颜色值两次发生变化时的坐标值作为Y轴方向的最大值和最小值，将X轴方向上颜色值两次发生变化时的坐标值作为X轴方向的最大值和最小值。

本公开的另一方面是提供了一种用于模型训练的零售商品货架图像的生成系统。所述用于模型训练的零售商品货架图像的生成系统用于实现如前所述的用于模型训练的零售商品货架图像的生成方法的步骤。所述系统包括：

图像制作模块，用于制作模拟实际场景中商品和货架视觉状态的三维合成图像；

数据获取模块，用于获取所述合成图像中的预定位置的商品模型的高度和宽度的数据信息；

图像生成模块，用于利用获取的所述数据信息形成边界框，并围在所述合成图像中的对应商品上，以得到带有所述数据信息和所述边界框的零售商品货架图像。

本公开的再一方面还提供了一种用于模型训练的零售商品货架图像的生成设备。所述设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如本公开前一方面所述的用于模型训练的零售商品货架图像的生成方法的步骤。

本公开的最后一方面则是提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的用于模型训练的零售商品货架图像的生成方法的步骤。

在本公开提供的用于模型训练的零售商品货架图像的生成方法、系统、设备和存储介质中，通过制作模拟实际场景中商品和货架视觉状态的三维合成图像，从而替代了传统的人工拍摄图片来获取用于训练的图像数据的方式，大大提高了模型训练图像数据的制作时间。并且由于在制作合成图像时，可以在三维图像制作软件的环境下，单独制作商品模型和货架模型，并且可以利用现有三维图像制作软件中的脚本编写功能，实现多种摆放样式的商品模型摆放至货架模型中，进而实现商品种类和摆放方式的多样化，使得最终得到的零售商品货架图像效果可以更加接近采用拍照设备实际拍摄的图像效果。

另一方面，本公开还通过将光线角度、商品和货架上的反射图案等内容添加至合成图像中，从而使得合成图像能够更加接近实际拍摄的图像。

最后，本公开还利用颜色替代的方式得到用颜色可以区分单个商品，以及商品与货架的分割图像，继而可以采用像素扫描、颜色值比较的方式确定每个商品占用的区域范围，快速确定预定商品占用的区域边界，以给预定位置的商品加上边界框。

附图说明

附图示例性地示出了实施例并且构成说明书地一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于示例的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1是本公开一实施例所展示的用于模型训练的零售商品货架图像的生成方法的步骤流程图；

图2是本公开一实施例提供的制作合成图像的步骤流程图；

图3是本公开一实施例提供的优选的获取商品模型高度和宽度数据信息的步骤流程图；

图4是本公开一实施例提供的优选的商品模型的高度和宽度数据信息的获取方案的步骤流程图；

图5是本公开一实施例提供的利用颜色值变化的方式来获取商品模型高度和宽度数据信息的步骤流程图；

图6是本公开一实施例提供的用于模型训练的零售商品货架图像的生成系统模块连接示意图；

图7是本公开一实施例提供的用于模型训练的零售商品货架图像的生成设备的结构示意图；

图8是本公开一实施例提供的计算机可读存储介质的结构示意图。

具体实施方式

通过上述说明可知，在机器学习中，常常会采用大量的图像进行图像检测和识别训练。而在获取这些用于模型训练的图像时，传统的方式是利用具备拍摄功能的相机等设备对目标物体进行逐张拍摄，并且需不断地拍摄，以在累积得到足够数量的图像后，才能用于机器学习中的模型训练过程。

显然，利用传统的图像获取方式，往往需要耗费较长时间，投入较多的人力物力才能获得包含足够数量图像的图像训练数据集。

近年来，模型训练的快速发展，得益于用来训练的图像数据的增多。但是，人们为了获取足够数量的图像数据也投入了较高的成本。并且这些数据往往会随着时间的延长而丧失其作用。为了模型训练，人们又不得不重新获取新的、符合预定要求的图像数据。尤其在零售领域，商品包装、商品摆放位置等等信息的变化周期非常短，因而图像数据的获取也会越发频繁，期间投入的人力物力也会不断增大。

为了降低用于模型训练的图像数据的获取成本，发明人进行了大量的创造性劳动，提出了一种用于模型训练的零售商品货架图像的生成方法。本领域技术人员容易理解，本公开所指的零售商品货架图像是指货架上摆放有零售商品的图像，这种图像在零售领域经常被用来训练一些模型，以使这些模型可以检测、识别摆放在货架上的零售商品。而且，零售商品货架图像中的货架可以是超市中使用的、供消费者购物的商品摆放架，也可以是用来冷藏饮料的立式冰柜。通过用于模型训练的零售商品货架图像的生成方法，可以利用计算机自动产生需要的图像数据，减少在获取数据时的人力物力投入，还能够及时跟进商品图案的变化状态。

以下结合附图和具体实施例对本公开提出的用于模型训练的零售商品货架图像的生成方法、系统、设备及存储介质作进一步详细说明。根据权利要求书和下面说明，本公开的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本公开实施例的目的。

应当理解的内容是，说明书中的用辞仅用于描述特定的实施例，并不旨在限定本公开。说明书使用的所有术语(包括技术术语和科学术语)除非另有定义，均具有本领域技术人员通常理解的含义。为简明和/或清楚起见，公知的功能或结构不再详细说明。

关于用于模型训练的零售货架图像的生成方法的示例说明

请参阅图1，其展示了本公开一实施例中的用于模型训练的零售商品货架图像的生成方法的步骤流程图。

需要说明的是，为更加清楚的说明本公开所涉及的方案，本公开以立式冰柜作为货架，以可以被摆放在立式冰柜中的饮料(例如瓶装可乐、罐装可乐等)作为零售商品。

在这个实施例的步骤S001中，制作模拟实际场景中商品和货架视觉状态的三维合成图像(本公开中的一些地方将其简述为“合成图像”)。

本公开所要模拟的就是当饮料被摆放在立式冰柜中时，利用相机在不同的角度(存在光线、反射图案的不同)、商品摆放位置不同、商品摆放数量不同、商品摆放种类不同的条件下所拍摄到的图像。

另外，本公开涉及的三维合成图像可以采用三维图像制作软件(例如Blender(斑斓)、3Dmax、MAYA、AUTOCAD等)制作而成，这些软件可以单独制作构成三维合成图像中的单个物体的模型，例如单独制作商品模型(例如瓶装饮料模型和罐装饮料模型)，还可以单独制作货架模型(例如冰柜模型)。在利用三维图像制作软件制作完成商品模型和货架模型时，可以继续在三维图像制作软件的环境下将商品模型按照预定的摆放要求摆放至货架模型中，并且还可以在三维图像制作软件中调整光线效果、调整商品模型和货架模型的摆放位置、数量、种类、尺寸大小，以及朝向等变量，以使制作的三维合成图像接近实际场景中的视觉状态。当然，还可以利用三维图像制作软件的渲染能力将商品的图案、图像的背景图案呈现在三维合成图像中。也因此，当商品的种类或包装图案发生变化时，可以仅仅利用三维图像制作软件重新制作对应的模型和包装图案便可以使制作的三维合成图像与实际的商品对应，而不必再像传统的训练图像获取方式那样，每当商品的种类或包装图案发生变化时，就需要重新拍摄一组图像。

为了使制作的三维合成图像更加逼近真实的视觉状态，在合成三维合成图像时需要考虑图像呈现出的光线角度，以及商品和货架上所发射的图案内容等。容易理解，真实拍摄的零售商品货架图像可以存在较多的变化，例如相机拍摄的角度变化、商品和货架上的反射的图案变化、商品数量的变化、商品种类的变化，以及商品摆放位置的变化等等。基于此，当制作的三维合成图像利用三维图像绘制软件来调整图像中的商品数量、光线角度、商品种类、商品摆放位置时同样可以实现上述的变化效果，能够与真实拍摄的图像的变化相对应。

在步骤S002中，获取所述合成图像中的预定位置的商品模型的高度和宽度的数据信息。

对于步骤S002来说，由前文可知，合成图像通常由三维图像制作软件制作而成，因此可以利用三维图像制作软件容易得到合成图像中商品模型的高度和宽度的数据信息。

在步骤S003中，利用获取的所述数据信息形成边界框，并围在所述合成图像中的对应商品模型上，以得到带有所述数据信息和所述边界框的零售商品货架图像。显然这里的边界框的宽对应商品模型的宽，边界框的高对应商品模型的高。并且，由于不同的商品模型，其高度和宽度可能会存在差异，因此不同高度或宽度的商品模型匹配由不同高度或宽度的边界框。类比采用人工拍照获取的图像，在用于模型训练前，还需要人工对其进行标注，以在图像中的目标物体上标记出标记框，并保留标记框的位置、大小等数据作为模型训练用的数据信息。因此，在步骤S003中在形成边界框，并将边界框围在对应的商品上时，可以将这些标记框的数据予以保留，与带有边界框的零售商品货架图像一同用于模型训练。

通过上述步骤的说明可知，本公开提供的用于模型训练的零售商品货架图像的生成方法中不再依靠传统的人工拍摄方式获取，而是可以利用三维图像制作软件制作带有商品和货架的三维合成图像，进而再在图像上对预定位置的商品(目标物体)添加上边界框的方式得到用于模型训练的零售商品货架图像。由于制作三维合成图像时可以添加符合实际要求的多种变化效果，因此利用本公开提供的方法还能够及时做出调整，以适应变化的商品样式。

在本公开的一实施例中，还说明了关于“进一步制作合成图像”的优选实施方案。在图2中，展示了该实施例提供的制作合成图像的步骤流程图。

在这个实施例的步骤S101中，构建目标商品和货架的三维模型，分别得到商品模型和货架模型。

在步骤S102中，随机选取不同种类和数量的所述商品模型，并将选取的所述商品模型随机摆放至所述货架模型中。

在步骤S103中，利用预先制作的包装图案和背景图案对所述货架模型和所述货架模型中的所述商品模型进行渲染，以得到合成图像，其中所述合成图像符合现实场景中商品和货架的视觉状态。

容易理解，由于将包装图案、背景、商品模型、货架模型等组成合成图像的内容均单独制作，所以当实际商品发生变化时，可以对包装图案和/或背景和/或商品模型和/或货架模型做出适当调整，以及时跟进商品的变化需求。

另外，还可以借助三维图像绘制软件的脚本编辑功能，编辑可以重复上述过程的脚本，以实现能够利用计算机不断随机生成合成图像，满足模型训练对图像的数量要求，提高训练精度。

在本公开的一实施例中，还进一步说明了关于“获取商品模型的高度和宽度的数据信息”的优选方案。在图3中，展示了优选的获取商品模型高度和宽度数据信息的步骤流程图。

在步骤S201中，对所述合成图像中商品模型占用的区域、货架模型与背景图案占用的区域利用不同颜色进行替代，以得到商品模型与货架模型和背景图案之间、商品模型与商品模型之间能够通过颜色进行区分的分割图像。

在步骤S202中，获取所述分割图像中预定位置的所述商品模型的高度和宽度的数据信息。

通过颜色替代，能够将每件商品所占用的范围采用同一种颜色进行覆盖，基于此可明确得到每个商品的边界范围，有利于利用颜色的变化获取每个商品模型占用范围的宽度和高度等数据信息。

为了进一步说明如何获取预定位置的商品模型的高度和宽度数据信息，本公开还提供了一种更具体的数据信息获取方案，请参考图4，图4展示了优选的商品模型的高度和宽度数据信息的获取方案的步骤流程图。

步骤S211中，在所述分割图像上建立直角坐标系；

步骤S212中，获取预定位置的所述商品模型按照其颜色所占用的Y轴方向最大值和最小值、X轴方向最大值和最小值，以得到预定位置的所述商品模型的高度和宽度数据信息；其中，

Y轴方向最大值和最小值之差为对应所述商品模型的高度数据信息，X轴方向最大值和最小值为对应所述商品模型的宽度数据信息。

可见，本公开通过在分割图像上建立坐标系，并依靠坐标值的大小，进而获取商品模型的高度和宽度数据信息，提高了获取的数据信息的精确度。

还有，本公开的一实施例中，还公开了在直角坐标系统里利用颜色值的变化来获取商品模型的高度和宽度数据信息的方法。如图5所示，图5展示了利用颜色值变化的方式来获取商品模型高度和宽度数据信息的步骤流程图。

在步骤S221中，对所述分割图像中预定位置的商品模型进行像素扫描；

在步骤S222中，对比扫描的像素的颜色值与预定位置预先分配的颜色值；

在步骤S223中，将Y轴方向上颜色值两次发生变化时的坐标值作为Y轴方向的最大值和最小值，将X轴方向上颜色值两次发生变化时的坐标值作为X轴方向的最大值和最小值。

基于上述的公开内容可知，本公开提供的用于模型训练的零售商品货架图像的生成方法中，首先通过制作模拟实际场景中商品和货架视觉状态的三维合成图像，从而替代了传统的人工拍摄图片来获取用于训练的图像数据的方式，大大提高了模型训练图像数据集的制作时间。并且由于在制作合成图像时，可以在三维图像制作软件的环境下，单独制作商品模型和货架模型，并且可以利用现有三维图像制作软件中的脚本编写功能，实现多种摆放样式的商品模型摆放至货架模型中，进而实现商品种类和摆放方式的多样化，使得最终得到的零售商品货架图像效果可以更加接近采用拍照设备实际拍摄的图像效果。

关于用于模型训练的零售商品货架图像的生成系统的示例说明

本公开的一实施例中还提供了一种用于模型训练的零售商品货架图像的生成系统。在图6中，展示了本公开一实施例提供的用于模型训练的零售商品货架图像的生成系统模块连接示意图。该系统能够实现本公开中说明的零售商品货架图像的生成方法。为了实现本公开说明的零售商品货架图像的生成方法，该系统包括：

图像制作模块501，用于制作模拟实际场景中商品和货架视觉状态的三维合成图像；

数据获取模块502，用于获取所述合成图像中的预定位置的商品模型的高度和宽度的数据信息；

图像生成模块503，用于利用获取的所述数据信息形成边界框，并围在所述合成图像中的对应商品上，以得到带有所述数据信息和所述边界框的零售商品货架图像。

关于用于模型训练的零售商品货架图像的生成设备的示例说明

本公开的一实施例中还提供了一种用于模型训练的零售商品货架图像的生成设备。所述设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现本公开中说明的零售商品货架图像的生成方法的步骤。

本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图7是本公开一实施例提供的用于模型训练的零售商品货架图像的生成设备的结构示意图。下面参照图7来详细描述根据本实施例中的实施方式实施的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本公开任何实施例的功能和使用范围带来任何限制。

如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本实施例中上述图像拼接方法部分中描述的根据本实施例中的实施步骤。例如，处理单元610可以执行如图1、图2、图3、图4和图5中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(RAM)和/或高速缓存存储单元，可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图7中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

关于可读存储介质的示例说明

本公开的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述公开中用于模型训练的零售商品货架图像的生成方法的步骤。尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本公开说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本公开中图像生成方法部分中描述的根据本公开各种实施例中实施方式的步骤。

如上说明之内容，该实施例提供的计算机可读存储介质中存储的计算机程序被执行时，通过随机选取商品模型和货架模型，并将选取的商品模型随机放置在货架模型中，以此来获取足够数量的三维合成图像，并利用像素扫描、颜色值比较的方式获取商品模型的高度和宽度数据信息，最终利用获得的数据信息在三维合成图像中的商品模型中添加上边界框，得到用于模型训练的零售商品货架图像。。

图8是本公开一实施例提供的计算机可读存储介质的结构示意图。如图8所示，其中描述了根据本公开的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本公开中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，在本公开提供的用于模型训练的零售商品货架图像的生成方法、系统、设备和存储介质中，通过制作模拟实际场景中商品和货架视觉状态的三维合成图像，从而替代了传统的人工拍摄图片来获取用于训练的图像数据的方式，大大提高了模型训练图像数据的制作时间。并且由于在制作合成图像时，可以在三维图像制作软件的环境下，单独制作商品模型和货架模型，并且可以利用现有三维图像制作软件中的脚本编写功能，实现多种摆放样式的商品模型摆放至货架模型中，进而实现商品种类和摆放方式的多样化，使得最终得到的零售商品货架图像效果可以更加接近采用拍照设备实际拍摄的图像效果。

另一方面，本公开还通过将光线角度、商品和货架上的反射图案等内容添加至合成图像中，从而使得合成图像能够更加接近实际拍摄的图像。

最后，本公开还利用颜色替代的方式得到用颜色可以区分单个商品，以及商品与货架的分割图像，继而可以采用像素扫描、颜色值比较的方式确定每个商品占用的区域范围，快速确定预定商品占用的区域边界，以给预定位置的商品加上边界框。

上述描述仅是对本公开较佳实施例的描述，并非对本公开范围的任何限定，本公开领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种用于模型训练的零售商品货架图像的生成方法，其特征在于，包括如下步骤：

制作模拟实际场景中商品和货架视觉状态的三维合成图像；

获取所述合成图像中预定位置的商品模型的高度和宽度的数据信息；

利用获取的所述数据信息形成边界框，并围在所述合成图像中的对应商品模型上，以得到带有所述数据信息和所述边界框的零售商品货架图像。

2.如权利要求1所述的用于模型训练的零售商品货架图像的生成方法，其特征在于，所述实际场景中商品和货架视觉状态至少包括光线角度、商品和货架上的反射图案。

3.如权利要求1所述的用于模型训练的零售商品货架图像的生成方法，其特征在于，所述货架是超市中用于摆放商品的摆放架或用于冷藏饮料的立式冰柜。

4.如权利要求1所述的用于模型训练的零售商品货架图像的生成方法，其特征在于，所述制作模拟实际场景中商品和货架视觉状态的合成图像的步骤包括：

构建目标商品和货架的三维模型，分别得到商品模型和货架模型；

随机选取不同种类和数量的所述商品模型，并将选取的所述商品模型随机摆放至所述货架模型中；

利用预先制作的包装图案和背景图案对所述货架模型和所述货架模型中的所述商品模型进行渲染，以得到合成图像，其中所述合成图像符合现实场景中商品和货架的视觉状态。

5.如权利要求1所述的用于模型训练的零售商品货架图像的生成方法，其特征在于，所述获取合成图像中的预定位置的商品模型的高度和宽度的数据信息的步骤包括：

对所述合成图像中商品模型占用的区域、货架模型与背景图案占用的区域利用不同颜色进行替代，以得到商品模型与货架模型和背景图案之间、商品模型与商品模型之间能够通过颜色进行区分的分割图像；

获取所述分割图像中预定位置的所述商品模型的高度和宽度的数据信息。

6.如权利要求5所述的用于模型训练的零售商品货架图像的生成方法，其特征在于，所述获取分割图像中预定位置的商品模型的高度和宽度的数据信息的步骤包括：

在所述分割图像上建立直角坐标系；

获取预定位置的所述商品模型按照其颜色所占用的Y轴方向最大值和最小值、X轴方向最大值和最小值，以得到预定位置的所述商品模型的高度和宽度数据信息；其中，

Y轴方向最大值和最小值之差为对应所述商品模型的高度数据信息，X轴方向最大值和最小值为对应所述商品模型的宽度数据信息。

7.如权利要求6所述的用于模型训练的零售商品货架图像的生成方法，其特征在于，所述获取预定位置的商品模型按照其颜色所占用的Y轴方向最大值和最小值、X轴方向最大值和最小值，以得到预定位置的商品模型的高度和宽度数据信息的步骤包括：

对所述分割图像中预定位置的商品模型进行像素扫描；

对比扫描的像素的颜色值与预定位置预先分配的颜色值；

将Y轴方向上颜色值两次发生变化时的坐标值作为Y轴方向的最大值和最小值，将X轴方向上颜色值两次发生变化时的坐标值作为X轴方向的最大值和最小值。

8.一种用于模型训练的零售商品货架图像的生成系统，用于实现权利要求1至7中任一项所述的用于模型训练的零售商品货架图像的生成方法的步骤，其特征在于，所述系统包括：

图像制作模块，用于制作模拟实际场景中商品和货架视觉状态的三维合成图像；

数据获取模块，用于获取所述合成图像中的预定位置的商品模型的高度和宽度的数据信息；

图像生成模块，用于利用获取的所述数据信息形成边界框，并围在所述合成图像中的对应商品上，以得到带有所述数据信息和所述边界框的零售商品货架图像。

9.一种用于模型训练的零售商品货架图像的生成设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7中任一项所述的用于模型训练的零售商品货架图像的生成方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的用于模型训练的零售商品货架图像的生成方法的步骤。

Images