CN112381924A - 一种基于三维建模获取仿真货品陈列信息的方法及系统 - Google Patents

Abstract

本发明公开了一种基于三维建模获取仿真货品陈列信息的方法及系统，涉及计算机仿真技术领域。其中方法包括以下步骤：获取SKU实物照片；对所述SKU实物照片进行抠图处理；生成SKU三维模型；构建三维货品陈列场景；根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型；输出所述陈列模型的二维图像。建立仿真三维货架，并基于该仿真三维货架导出照片，能够快速获取大量有效商品照片，避免了照片多样性不足、照片质量不好、照片数量不够等问题的产生，本发明还可以用于模拟尚未大规模铺货的SKU，在建模之后模拟不同的铺货场景，以提升其在不同场景中的检出率。

Description

一种基于三维建模获取仿真货品陈列信息的方法及系统

技术领域

本发明涉及计算机仿真技术领域，尤其涉及一种基于三维建模获取仿真货品陈列信息的方法及系统。

背景技术

随着人工智能在快销行业越来越流行，图像识别技术，语音识别等技术在快速增长。快销行业的发展跟销售能力自动化结合越来越深，无论是业务人员的费用结算，管理人员对销售的判断和分析，还是经销商对未来库存和进货的预算，商品识别带来的结果都会直接影响到他们的最终收益，因此在快销的AI中，图像识别的过程越来越重要，消耗的图片量也越来越多。在以商品数量数不胜数的快消行业中，标注人员的标注能力远远跟不上行业的快速变化需求。

以农夫山泉为例，农夫山泉大规模普及某件新品时，往往不能迅速铺货到各种终端，比如各种便利店，大小超市，小卖铺等，且由于各种复杂场景，在未取得大量的图片时，模型的识别效果往往不如意，这样会影响部分顶部企业对新货效率数据的获得，进而影响对市场的迅速决策。以青岛啤酒为例，一个青岛啤酒项目既要关心本品陈列的位置和销量信息，又要关心竞品陈列对本品销售和占比的影响，本品和竞品的标注量既跟类别数量相关(往往上百类)，又跟图片的数量相关，往往1000张图片只能覆盖其中本品和竞品数量的40％～50％，而在这样的一个项目需要的图片量可能要上万，这对商品识别是一个严峻的挑战，如何快速获取大量有效照片成为迫切需要解决的问题。

发明内容

本发明目的在于，提供一种基于三维建模获取仿真货品陈列信息的方法及系统，建立仿真三维货架，并基于该仿真三维货架导出照片，以快速获取大量有效商品照片。

为实现上述目的，本发明实施例提供一种基于三维建模获取仿真货品陈列信息的方法，包括：

构建三维SKU模型；

构建三维货品陈列场景；

根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型；

输出所述陈列模型的二维图像。

优选地，还包括构建工具管理后台，用于管理所述SKU模型和所述货品陈列场景。

具体地，所述构建三维SKU模型，包括：

获取SKU实物照片；

对所述SKU实物照片进行抠图处理；

生成SKU三维模型。

优选地，所述陈列场景包括陈列组合和灯光组合。

具体地，所述根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型，包括：

将所述SKU模型放在所述货品陈列场景的指定位置；

生成三维货品陈列模型。

具体地，所述输出所述陈列模型的二维图像，包括：

依据所述陈列模型不断调整三维视图，得到不同的拍摄角度、拍摄位置；

在不同的拍摄角度、拍摄位置进行虚拟拍摄，导出二维图像。

具体地，所述输出所述陈列模型的二维图像，包括：

依据所述陈列模型不断调整灯光组合的灯光效果，得到不同的光线效果；

在不同的光线效果下进行虚拟拍摄，导出二维图像。

本发明实施例还提供一种基于三维建模获取仿真货品陈列信息的系统，包括：

SKU建模模块，用于构建三维SKU模型；

场景建模模块，用于构建三维货品陈列场景；

陈列模型创建模块，根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型；

拍摄模块，输出所述陈列模型的二维图像。

优选地，还包括：管理模块，用于构建工具管理后台以管理所述SKU模型和所述货品陈列场景。

优选地，所述拍摄模块还包括调整模块，用于依据所述陈列模型不断调整三维视图和灯光组合的灯光效果，得到不同的拍摄角度、拍摄位置、光线效果；

在不同的拍摄角度、拍摄位置、光线效果进行虚拟拍摄，导出二维图像。

本发明的实施例，具有如下有益效果：

本发明提供了一种基于三维建模获取仿真货品陈列信息的方法及系统，其中方法包括以下步骤：构建三维SKU模型；构建三维货品陈列场景；根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型；输出所述陈列模型的二维图像。避免了照片多样性不足(人工现场采集照片，采集人员在一个相对单一的场景中拍摄)、照片质量不好(人工现场采集照片，拍摄可能存在许多不稳定的因素，比如场所的光线阴暗或者过曝，走廊过窄造成拍摄的商品角度倾斜，仰拍或者斜拍造成商品logo无法辨认，相机的质量不好或者抖动造成照片模糊等)、照片数量不够(人工现场采集照片，由于需要耗费大量人力成本，采集人员可能在巡店的过程中逗留的时间不长，商品的数量过多且摆放分散，造成很多业务员无法拍摄足够多的照片提供给算法工程师做下一步的训练，所以给AI项目带来不少的挑战)等问题的产生。此外，本发明还可以用于模拟尚未大规模铺货的SKU，在建模之后模拟不同的铺货场景，以提升其在不同场景中的检出率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的一种基于三维建模获取仿真货品陈列信息的方法的流程示意图；

图2是本发明某一实施例提供的一种基于三维建模获取仿真货品陈列信息的方法中对SKU模型存放文件的命名规则示意图；

图3是本发明某一实施例提供的一种基于三维建模获取仿真货品陈列信息的方法中场景建模结构示意图；

图4是本发明某一实施例提供的一种基于三维建模获取仿真货品陈列信息的系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

SKU(Stock Keeping Unit)表示商品的最小销售单元，作为最小销售单元的一款商品拥有不同颜色，代表不同的SKU，例：一件衣服，有红色、白色、蓝色，则SKU编码也不相同，在本申请文件中用SKU指代一款最小销售单元的商品。

请参阅图1。

本发明实施例提供一种基于三维建模获取仿真货品陈列信息的方法，包括：

步骤S01，构建三维SKU模型；

步骤S02，构建三维货品陈列场景；

步骤S03，根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型；

步骤S04，输出所述陈列模型的二维图像。

在一示例中，步骤S01，构建三维SKU模型，包括：

步骤S011，获取SKU实物照片；

步骤S012，对所述SKU实物照片进行抠图处理；

步骤S013，生成SKU三维模型。

在一具体实施方式中，通过对二维图片进行抠图生成三维模型，具体过程为：在3Dmax或者Maya等专业建模软件中进行三模型构建，由于自动标注程序由第三方提供，unity长度单位设置为厘米，故需要3DMAX或Maya单位也是厘米。在做模型的时候以实物为基准，先抠出模型的大体2D图，通过轴对称的方式生成3D模型，模型的坐标轴尽量都重置轴，SKU类模型必须重置轴。(坐标轴在模型底部)否则SKU摆放会穿插到货架里，这样可以使得SKU可以更真实的摆放在货架上。X轴代表模型左右移动，Y轴代表模型上下移动，Z轴代表模型前后移动。例如有些SKU只需要正反两面旋转，这样SKU正面或反面必须是Z轴(因为这种类型的SKU只需要正反随机切换)。需要注意的是，任何模型都需遵循三维坐标轴XYZ来建模。X轴代表模型左右移动，Y轴代表模型上下移动，Z轴代表模型前后移动，Shelf坐标要全部归零。

在一示例中，步骤S03，根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型，包括：

将所述SKU模型放在所述货品陈列场景的指定位置；

生成三维货品陈列模型。

在一示例中，步骤S04，输出所述陈列模型的二维图像，包括：

步骤S041，依据所述陈列模型不断调整三维视图，得到不同的拍摄角度、拍摄位置；

步骤S042，在不同的拍摄角度、拍摄位置进行虚拟拍摄，导出二维图像。

在一示例中，步骤S04，所述输出所述陈列模型的二维图像，包括：

步骤S043，依据所述陈列模型不断调整灯光组合的灯光效果，得到不同的光线效果；

步骤S044，在不同的光线效果下进行虚拟拍摄，导出二维图像。

在一具体实施方式中，构建三维SKU模型，其三维模型需要满足模型面数合理、中模布线程度、适当倒角和不要出现多边面，这部分主要是根据实物拍照和贴图做成，实物可以从超市或者便利店买到，然后用手机拍摄实物，画出抠出实际图片，做一个相对面数不高的模型，把UV按照规则贴好，然后导出成为unityPacket格式。三维建模中UV是立体模型的“皮肤”，UV纹理贴图坐标的简称(它和空间模型的X，Y，Z轴是类似的)，定义了图片上每个点的位置的信息。这些点与3D模型是相互联系的，以决定表面纹理贴图的位置。UV就是将图像上每一个点精确对应到模型物体的表面。在点与点之间的间隙位置由软件进行图像光滑插值处理。

在一具体实施方式中，在构建三维SKU模型的过程中，同时对SKU模型进行标注，以方便管理。现有技术中对SKU进行标注是一件很繁琐的事情，在标注完成后需要标注人员重新对自己标注好的图片进行检查和排错，这部分工作量也相当大。在排查过程中经常会发现名称错误，商品漏标，商品框错标等问题，修复这些问题等同于再重新进行标注。而直接对仿真的SKU模型进行标注，则会简单便捷很多，也不容易出现商品识别错误的误差。对SKU模型进行标注，包括标注商品名称、大小尺寸、容量、颜色、规格等，以便于进行分类管理。

在一示例中，还包括，步骤S05，构建工具管理后台，用于管理所述SKU模型和所述货品陈列场景。陈列场景包括陈列组合和灯光组合。

在一具体实施方式中，创建货架模型，结合上述具体实施方式中SKU的建模过程，Z轴方向就是摆放SKU的方向，对单个货架模型进行合并，SKU会沿着X轴方向一排自动摆放，需要摆放哪个方向，Z轴就在哪里，圈出部分适合摆放SKU，不注意的话，将来不管在unity里面的货架添加--@SKUPlaceholder@--，SKU会摆放错乱。

在一具体实施方式中，每个三维SKU模型都单独存放在一个assetbundle文件中，三维SKU模型的assetbundle文件的名称命名规则为id+“.ab”。SKU包含根目录和包围盒(如图2所示)，所述根目录是SKU主体，只包含一个mesh，所述包围盒用于表示SKU的大小，拍照时如果SKU需要前后调换位置，大小包围盒名字命名为“--@PlaceholderCube@--”，如果需要360度旋转包围盒名字命名为“--@PlaceholderCylinder@--”。

请参阅图3，图3为某示例中Unity内结构示意图，

每个陈列场景都单独存放在一个assetbundle文件中，货品陈列场景的assetbundle文件的名称命名规则：id。陈列场景包括陈列组合和灯光组合。其中Supermarket表示一个陈列场景，陈列场景中包括陈列组合集合(ShowCaseGroups)和灯光组合集合(LightGroups)，陈列组合集合中包括至少一个陈列组合(ShowCaseGroup)，灯光组合集合中包括至少一个灯光组合(LightGroup)。所有的陈列组合包含在名字为“ShowCaseGroups”的gameobject里面。每种陈列组合包含在名字为“ShowCaseGroup”的gameobject里面。每种陈列组合包含一个“--@CameraPlaceholder@--”长方体信息保存在transform中，其中transform的position代表摄像头的位置，rotation代表摄像头的初始方向，scale代表摄像头的运动范围。每种陈列组合包含一个“--@CameraLookAtPos@--”，代表摄像头看向陈列的朝向。每种陈列里面可以包含一个或者多个“--@SKUPlaceholder@--”长方体用于表示SKU可以摆放的位置，长方体信息保存在transform中。其中transform的position代表SKU放置的位置信息，scale代表SKU可以放置的范围大小。每种陈列包含一个“Shelf”用来存放所有在该陈列下面存放的SKU。

在一个具体实施方式中，作为示例，通过unity打包工具Xassets构建资源管理框架。实现工具管理后台的构建的过程包括：步骤(1)，将Xasset3.0.unitypackage导入unity2018.3.6f1版本。步骤(2)，在Resources文件夹下新建Prefab文件夹，同时建立SceneAB文件夹用来放置要打包的场景的prefab。建立SKUAB文件夹用来放置要打包的SKU的prefab。步骤(3)，找到Rules，按图设置好要打包的路径。步骤(4)，设置好后，空白处右键点击build-manifest。步骤(5)，然后再点击build-assetbundles。步骤(6)，然后再点击build-Copy Assetbundles，将打包好的assetbundle包保存在StreamingAssets文件夹中。

请参阅图4。

本发明实施例还提供一种基于三维建模获取仿真货品陈列信息的系统，包括：

SKU建模模块1，用于构建三维SKU模型；

场景建模模块2，用于构建三维货品陈列场景；

陈列模型创建模块3，根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型；

拍摄模块4，输出所述陈列模型的二维图像。

优选地，还包括：管理模块5，用于构建工具管理后台以管理所述SKU模型和所述货品陈列场景。

优选地，所述拍摄模块4还包括调整模块41，用于依据所述陈列模型不断调整三维视图和灯光组合的灯光效果，得到不同的拍摄角度、拍摄位置、光线效果；在不同的拍摄角度、拍摄位置、光线效果进行虚拟拍摄，导出二维图像。

在一具体实施方式中，对构建完成的陈列模型进行拍摄(输出所述陈列模型的二维图像)前，可以提前设置所需图片的数量，系统自行调整三维视图和灯光组合的灯光效果，得到不同的拍摄角度、拍摄位置、光线效果；在不同的拍摄角度、拍摄位置、光线效果进行虚拟拍摄，得到图片，在获取的图片数量达到设置值时，停止拍摄，并保存，统一整理。产生这些仿真图片能克服拍照和标注的人为问题，3D仿真可以人为的制作出有效的场景，且可以改变灯光，改变拍摄角度，改变拍摄场景(货架或者冰柜)，改变拍摄的物品，且每个物品(SKU)可以随机摆放。在拍摄完毕后还能立即生成mask标注，避免人为标注出现错误记录或漏记等问题。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于三维建模获取仿真货品陈列信息的方法，其特征在于，包括：

构建三维SKU模型；

构建三维货品陈列场景；

根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型；

输出所述陈列模型的二维图像。

2.根据权利要求1所述的基于三维建模获取仿真货品陈列信息的方法，其特征在于，还包括构建工具管理后台，用于管理所述SKU模型和所述货品陈列场景。

3.根据权利要求1所述的基于三维建模获取仿真货品陈列信息的方法，其特征在于，所述构建三维SKU模型，包括：

获取SKU实物照片；

对所述SKU实物照片进行抠图处理；

生成SKU三维模型。

4.根据权利要求1所述的基于三维建模获取仿真货品陈列信息的方法，其特征在于，所述陈列场景包括陈列组合和灯光组合。

5.根据权利要求1所述的基于三维建模获取仿真货品陈列信息的方法，其特征在于，所述根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型，包括：

将所述SKU模型放在所述货品陈列场景的指定位置；

生成三维货品陈列模型。

6.根据权利要求1所述的基于三维建模获取仿真货品陈列信息的方法，其特征在于，所述输出所述陈列模型的二维图像，包括：

依据所述陈列模型不断调整三维视图，得到不同的拍摄角度、拍摄位置；

在不同的拍摄角度、拍摄位置进行虚拟拍摄，导出二维图像。

7.根据权利要求1所述的基于三维建模获取仿真货品陈列信息的方法，其特征在于，所述输出所述陈列模型的二维图像，包括：

依据所述陈列模型不断调整灯光组合的灯光效果，得到不同的光线效果；

在不同的光线效果下进行虚拟拍摄，导出二维图像。

8.一种基于三维建模获取仿真货品陈列信息的系统，其特征在于，包括：

SKU建模模块，用于构建三维SKU模型；

场景建模模块，用于构建三维货品陈列场景；

陈列模型创建模块，根据所述SKU模型和所述货品陈列场景，构建三维货品陈列模型；

拍摄模块，输出所述陈列模型的二维图像。

9.根据权利要求8所述的基于三维建模获取仿真货品陈列信息的系统，其特征在于，还包括：

管理模块，用于构建工具管理后台以管理所述SKU模型和所述货品陈列场景。

10.根据权利要求8所述的基于三维建模获取仿真货品陈列信息的系统，其特征在于，所述拍摄模块还包括调整模块，用于依据所述陈列模型不断调整三维视图和灯光组合的灯光效果，得到不同的拍摄角度、拍摄位置、光线效果；

在不同的拍摄角度、拍摄位置、光线效果进行虚拟拍摄，导出二维图像。

Images