CN112149348A - 一种基于无人货柜场景的仿真空间模型训练数据生成方法 - Google Patents

一种基于无人货柜场景的仿真空间模型训练数据生成方法 Download PDF

Info

Publication number
CN112149348A
CN112149348A CN202010986973.2A CN202010986973A CN112149348A CN 112149348 A CN112149348 A CN 112149348A CN 202010986973 A CN202010986973 A CN 202010986973A CN 112149348 A CN112149348 A CN 112149348A
Authority
CN
China
Prior art keywords
scene
model
article
simulation
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010986973.2A
Other languages
English (en)
Inventor
程杨武
邓博洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Missfresh Ecommerce Co Ltd
Original Assignee
Beijing Missfresh Ecommerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Missfresh Ecommerce Co Ltd filed Critical Beijing Missfresh Ecommerce Co Ltd
Priority to CN202010986973.2A priority Critical patent/CN112149348A/zh
Publication of CN112149348A publication Critical patent/CN112149348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于无人货柜场景的仿真空间模型训练数据生成方法。所述方法包括搭建场景；对物品进行建模，并将建模后的物品放置于场景中，得到仿真空间模型；调整仿真空间模型的扰动因素，生成仿真空间模型的训练数据。以此方式，对于智能柜场景训练人工智能模型的数据自动化生成提供了完整的可行的解决方案，减少人工成本，大大加快采集标注的时间；模型对于学习的品类拥有比采用人工采集更高的识别率，模型的识别能力更强；采用模拟数据代替真实数据在真实场景取得95％以上的商业级精度，模拟数据更精准，更贴近于真实数据。

Description

一种基于无人货柜场景的仿真空间模型训练数据生成方法
技术领域
本发明的实施例一般涉及人工智能和三维建模领域，并且更具体地，涉及基于无人货柜场景的仿真空间模型训练数据生成方法。
背景技术
采用人工智能技术实现智能柜自动准确识别商品，需要训练检测模型，检测模型负责对商品进行识别，训练检测模型需要成千上万的数据驱动。为了获得用于训练模型的数据，常常需要大量的人力进行采集标注，近年逐渐出现了用计算机自动生成的模拟数据代替虚拟数据的趋势，比如采用游戏引擎模拟相似的场景，采用3D软件建模模仿真实物体，为了在节约人力成本的同时，大大提高数据生成效率，也有助于提高数据精度。但是计算机自动生成的模拟数据面临以下问题：
1、模拟数据和真实数据存在布景偏差，比如模拟场景和真实复杂的场景中布置和物品摆放很难完全一致，很难保证训练后的检测模型对于各种各样的实际场景都有很高的识别率；
2、模拟数据和真实数据存在真实度偏差，模拟场景和模型往往不够真实，因为建立高仿真模型具有较高的专业性和较大的工作量，很多情况模拟的场景和模型的真实度较差；
3、模拟数据用于训练没有通用的方案设计模拟数据的生成方式。
目前采用模拟数据代替真实数据在真实场景取得的精度大部分都在70％-90％之间，无法准确的替代真实数据使用。
发明内容
根据本发明的实施例，提供了一种基于无人货柜场景的仿真空间模型训练数据生成方案。
在本发明的第一方面，提供了一种基于无人货柜场景的仿真空间模型训练数据生成方法。该方法包括：
搭建场景，所述场景包括仿真场景或图片场景，所述仿真场景包括通过渲染搭建的柜内外模拟场景，所述图片场景包括通过图像采集设备采集到的柜内外真实场景；
对物品进行建模，并将建模后的物品放置于所述场景中，得到仿真空间模型；所述物品包括目标商品，且每一目标商品的展示部分不小于展示阈值；
调整仿真空间模型的扰动因素，生成仿真空间模型的训练数据。
进一步地，所述物品还包括遮挡物和/或非目标商品，所述遮挡物用于对所述目标商品的展示部分进行遮挡。
进一步地，所述仿真空间模型包括：
背景层，用于加载所述场景；
商品层，用于加载所述目标商品；
前景层，用于加载所述遮挡物和/或非目标商品。
进一步地，还包括：
设置所述商品层中所述目标商品之间的第一遮挡关系最大值，使所述商品层中的目标商品被遮挡的部分不超过所述第一遮挡关系最大值；
设置所述前景层中所述遮挡物与目标商品的第二遮挡关系最大值，使所述前景层中的目标商品被遮挡的部分不超过所述第二遮挡关系最大值。
进一步地，所述对物品进行建模，包括：
计算物品表面的反光率，将反光率小于预设反光率阈值的物品作为第一类物品，反光率不小于预设反光率阈值的物品作为第二类物品，对物品进行分类；
对所述第一类物品进行扫描建模，得到第一模型；
对所述第二类物品进行主动建模，得到第二模型；
所述扫描建模，包括：
获取所述第一类物品的多角度旋转视频；
根据视频对所述第一类物品进行稀疏建模，得到稀疏点云；
对所述稀疏点云进行稠密化，得到稠密点云；
对所述稠密点云进行模型化和贴图，得到具有纹理的初步第一模型；
对所述初步第一模型进行去噪处理，得到第一模型；
所述主动建模，包括：
获取所述第二类物品的若干表面图片，所述表面图片的分辨率高于预设的分辨率最低值；
根据获取到的第二类物品的表面图片进行建模，得到M0模型，所述M0模型与所述第二类物品具有一致的形状特征；
对所述M0模型添加色彩纹理信息，得到M1模型，所述M1模型与所述第二类物品具有一致的形状和色彩特征；
对所述M1模型调整材质属性，得到第二模型，所述第二模型与所述第二类物品具有一致的形状、色彩特征和材质属性。
进一步地，所述调整仿真空间模型的扰动因素，包括：
对所述图像采集设备的采集角度进行调整，和/或
对所述柜内外模拟场景进行切换，和/或
对所述柜内外真实场景进行切换，和/或
对光照强度进行调整，和/或
对光源位置进行调整，和/或
对色温进行调整，和/或
对物品进行增减，和/或
对物品进行替换，和/或
对物品的放置位置进行调整，和/或
对物品的放置姿态进行调整，和/或
对物品的遮挡关系进行调整。
进一步地，识别所述仿真空间模型中的物品，提取并建立物品的坐标信息和标签信息之间的映射关系。
在本发明的第二方面，提供了一种基于无人货柜场景的仿真空间模型训练数据生成装置。该装置包括：
场景搭建模块，用于搭建场景，所述场景包括仿真场景或图片场景，所述仿真场景包括通过渲染搭建的柜内外模拟场景，所述图片场景包括通过图像采集设备采集到的柜内外真实场景；
建模模块，用于对物品进行建模，并将建模后的物品放置于所述场景中，得到仿真空间模型；所述物品包括目标商品，且每一目标商品的展示部分不小于展示阈值；
调整模块，用于调整仿真空间模型的扰动因素，生成仿真空间模型的训练数据。
在本发明的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本发明的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
本发明对于智能柜场景训练人工智能模型的数据自动化生成提供了完整的可行的解决方案，减少人工成本，大大加快采集标注的时间；模型对于学习的品类拥有比采用人工采集更高的识别率，模型的识别能力更强；采用模拟数据代替真实数据在真实场景取得95％以上的商业级精度，模拟数据更精准，更贴近于真实数据。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本发明的基于无人货柜场景的仿真空间模型训练数据生成方法的流程图；
图2示出了根据本发明的实施例的仿真空间模型示意图；
图3示出了根据本发明的实施例的遮挡物示意图；
图4示出了根据本发明的实施例的前景层中遮挡物对目标商品的遮挡关系示意图；
图5示出了根据本发明的实施例的对所述仿真空间模型中的物品进行人工标注示意图；
图6示出了本发明的基于无人货柜场景的仿真空间模型训练数据生成装置的方框图；
图7示出了能够实施本发明的实施例的示例性电子设备的方框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本发明中，对于智能柜场景训练人工智能模型的数据自动化生成提供了完整的可行的解决方案，减少人工成本，大大加快采集标注的时间；模型对于学习的品类拥有比采用人工采集更高的识别率，模型的识别能力更强；采用模拟数据代替真实数据在真实场景取得95％以上的商业级精度，模拟数据更精准，更贴近于真实数据。
图1示出了本发明实施例的基于无人货柜场景的仿真空间模型训练数据生成方法的流程图。
该方法包括：
S101、搭建场景。
所述场景包括仿真场景或图片场景；其中，所述仿真场景包括通过渲染搭建的柜内外模拟场景。采用现有的渲染引擎，例如Unity3D,Unreal,Frostbite4等，搭建仿真室内场景和仿真室外场景。所述图片场景包括通过图像采集设备采集到的柜内外真实场景，包括拍摄的室内和室外场景图片。所述图片场景除了包含室内和室外场景图片外，还包含除了训练目标商品之外的其他商品作为背景的情形。所述场景也可以仅为背景图片。
作为本发明的一种实施例，室内场景可以是室内办公场景，例如，办公桌、茶水间、会议室、大厅等多种布景；也可以是室内居家场景，例如厨房、餐厅、客厅、卧室等布景；还可以是柜内场景，所述柜内场景由智能柜模型构成。室外场景可以是室外道路场景，例如马路、人行道、沿街商铺、行人等布景。
将室外场景作为仿真环境的一部分，可以有效增加模型的泛化能力，使识别更准确。
S102、对物品进行建模，并将建模后的物品放置于所述场景中，得到仿真空间模型；所述物品包括目标商品，且每一目标商品的展示部分不小于展示阈值。设置每个商品的展示阈值，例如1/4，即每个目标商品的展示部分至少占目标商品能够展示的面积的1/4。设置目标商品的展示阈值，可以保证训练数据的展示面积不小于预设的展示阈值，提高了训练数据的实用性和可用性。
作为本发明的一种实施例，所述物品还包括遮挡物和/或非目标商品；
所述遮挡物，用于对所述目标商品的展示部分进行遮挡。
所述对物品进行建模，包括：
S102-1、计算物品表面的反光率，将反光率小于预设反光率阈值的物品作为第一类物品，例如，盒装牛奶；反光率不小于预设反光率阈值的物品作为第二类物品，例如瓶装饮料；对物品进行分类。
计算物品表面的反光率，根据反射率光电测定法，向被测物品投射单色光，反射的光线会产生光电流，光电流和物品反射率成正比。
作为本发明的一种实施例，采用反射率测试仪器，比如杭州远方光电信息股份有限公司生成的BBMS-2000空间散射特性测试系统，使用反射率测试仪器测量物体反射率。
作为本发明的另一种实施例，可以从预设数据库中获取到物品表面的反光率。
S102-2、对所述第一类物品进行扫描建模，具体包括：
1、搭建摄影环境，所述摄影环境的光线保证柔和、明亮；将工作台置于摄影环境中，用于放置第一类物品；所述工作台无反光，且能够自动旋转并带动放置物品一起旋转。将摄像设备置于摄影环境中，为拍摄做准备。摄像设备，例如鱼眼摄像机。
2、将目标商品，即第一类物品放置在工作台的自动转盘(turn table)上，启动后，第一类物品与自动转盘一起旋转。对摄像设备进行畸变校正，然后采用摄像设备分别不同俯仰角度采集第一类物品的视频。
作为本发明的一种实施例，摄像设备进行多角度采集视频可以以平视目标商品、45度俯视商品、75度俯视商品拍摄3个角度的视频，每个角度目标商品旋转3-5周，完成视频的采集。
3、根据采集到的商品视频，对目标商品进行三维建模。
作为本发明的一种实施例，所述三维建模过程，具体包括：
首先，通过稀疏建模，得到稀疏点云，具体为：
(1)从视频中提取若干关键帧；
(2)对关键帧进行特征提取，特征包含特征点和特征描述子；
(3)对提取的特征进行特征匹配，匹配目标商品在不同关键帧中的相同区域；
(4)采用目标点追踪算法估计每张关键帧对应的摄像设备位置；
(5)采用多视角三角定位法确定关键帧中目标商品特征点对应的三维空间坐标；
(6)采用光束法平差算法减少之前的估计偏差，使关键帧图片中目标商品上各个点的坐标达到最优三维估计。
其次，对稀疏点云进行稠密化，得到稠密点云；
再次，对稠密点云进行模型化和贴图，得到具有纹理的初步第一模型；
最后，对初步第一模型进行去噪处理，得到最终模型。
S102-3、对所述第二类物品进行主动建模，具体包括：
1、搭建拍摄环境，所述拍摄环境的光线保证柔和、明亮；将工作台置于拍摄环境中，用于放置第二类物品；所述工作台无反光，且能够自动旋转并带动放置物品一起旋转。将拍摄设备置于拍摄环境中，为拍摄做准备。
2、将第二类物品放置在工作台的自动转盘(turn table)上，启动后，第二类物品与自动转盘一起旋转。采集所述第二类物品的多个角度的表面图片。并且预设一个分辨率的最低限值，要求所述表面图片的分辨率高于预设的分辨率最低限值，例如4K图片。
作为本发明的一种实施例，每个15度拍摄一张第二类物品的侧面图片和一张45度俯视图片，并且拍摄第二类物品的俯视图和仰视图，即顶部图片和底部图片。
3、根据获取到的第二类物品的表面图片，采用建模软件进行建模，得到M0模型，所述M0模型与所述第二类物品具有一致的形状特征，但不包含色彩纹理信息和材质信息。
4、通过纹理着色软件，例如ZBrush，对所述M0模型添加色彩纹理信息，得到M1模型；所述M1模型在M0模型的基础上增加了色彩纹理信息，得到和第二类物品的色彩高度一致的模型。
5、通过材质调整软件，例如Substance Painter，在所述M1模型基础上对所述M1模型的材质属性进行调整，得到第二模型，所述第二模型与所述第二类物品具有一致的形状、色彩特征和材质属性。所述一致可以认为是看起来一致。所述材质属性，例如反光率、金属度、透明度等。
通过对第一类物品和第二类物品的建模，使每种商品的各部分材质都尽量符合商品本身的真实材质。
进一步地，将建模后的物品放置于所述场景中，得到仿真空间模型。
如图2所示，对建模完成的商品进行任意组合，放置在搭建的场景中。所述仿真空间模型包括三层，分别为背景层、商品层和前景层。
所述背景层，用于加载所述场景，离虚拟摄像机位置最远，负责提高训练模型的泛化能力。在所述背景层中可以包含从透明玻璃透出显示的室内或室外场景，可以有效增加模型的泛化能力，使识别更准确。
所述商品层，用于加载所述目标商品，学习的多种目标商品组合而成，离虚拟摄像机的距离和真实商用场景相似，但是会比真实商用场景布置的范围更大，比如远近程度差别更大，负责提供模型学习的目标商品。
设置所述商品层中所述目标商品之间的第一遮挡关系最大值，使所述商品层中的目标商品被遮挡的部分不超过所述第一遮挡关系最大值。
作为本发明的一种实施例，所述第一遮挡关系可以设置为1/2，即商品层中的目标商品之间的遮挡最大不超过目标商品能够显示出来面积的一半。也可以将所述第一遮挡关系设置为1/3或1/4，根据具体情况而定。
所述前景层，用于加载所述遮挡物和/或非目标商品，包含和目标商品类似的其他非目标商品及与目标商品存在遮挡关系的遮挡物，负责提高训练模型对被这趟的商品的识别能力和对相似商品的区分能力。如图3所示，箭头所指为遮挡物。
设置所述前景层中所述遮挡物与目标商品的第二遮挡关系最大值，使所述前景层中的目标商品被遮挡的部分不超过所述第二遮挡关系最大值。
作为本发明的一种实施例，如图4所示，所述前景层中的第二遮挡关系可以设置为1/2，即前景层中的遮挡物对所述目标商品的遮挡最大不超过目标商品能够显示出来面积的一半。也可以将所述第二遮挡关系设置为1/3或1/4，根据具体情况而定。
设置目标商品的最低显示面积，可以保证训练数据的实用性和可用性。
另外，如果当商品置于背景层中，即商品只作为背景，不作为能够挑选标注的商品，则不受上述遮挡关系限制，例如可以将此类作为背景的商品遮挡4/5或全部遮挡等。
在得到仿真空间模型后，还包括：
如图5所示，采用标注软件，例如LabelImg，标注所述仿真空间模型中的物品，将拍摄的图像中的物品框选出来，得到物品的坐标信息以及物品对应的标签信息；建立物品的坐标信息和标签信息之间的映射关系，保存到文档中。通过提取坐标信息和标签信息，对真实柜内场景的数据进行微调，且只对少量物品进行标注，降低了标注量。
S103、通过调整仿真空间模型的扰动因素，生成仿真空间模型的训练数据。
对于搭建好的仿真空间模型增加扰动因素，扩大收集的图片的变化范围。
在一些实施例中，所述调整仿真空间模型的扰动因素，包括：
对所述图像采集设备的采集角度进行调整，和/或
对所述柜内外模拟场景进行切换，和/或
对所述柜内外真实场景进行切换，和/或
对光照强度进行调整，和/或
对光源位置进行调整，和/或
对色温进行调整，和/或
对物品进行增减，和/或
对物品进行替换，和/或
对物品的放置位置进行调整，和/或
对物品的放置姿态进行调整，和/或
对物品的遮挡关系进行调整。
在本发明的实施例中，所述对图像采集设备的采集角度进行调整，例如调整虚拟摄像机或鱼眼摄像机的拍摄角度，将角度调整了15度。
在本发明的实施例中，对所述柜内外模拟场景进行切换，例如用办公室模拟场景替换当前的柜外场景。
在本发明的实施例中，对所述柜内外真实场景进行切换，例如真实智能柜柜内场景图片替换当前柜内场景。
在本发明的实施例中，对光照强度进行调整，例如将光照强度由200lx调整为300lx。
在本发明的实施例中，对光源位置进行调整，例如将当前光源位置向左平移10个单位距离。
在本发明的实施例中，对色温进行调整，例如将当前色温由3300k调整为2800k。
在本发明的实施例中，对色温进行调整，例如当前仿真空间模型中存在4个物品，增加2个物品，使所述仿真空间模型中的物品数量达到6个。
在本发明的实施例中，对物品进行替换，例如，将当前仿真空间模型中的哇哈哈饮料瓶替换为旺仔牛奶瓶。
在本发明的实施例中，对物品的放置位置进行调整，例如当前仿真空间模型中的4个物品中的两个在近处，两个在远处，调整远处其中一个物品的位置，使4个物品中三个在近处，一个在远处。
在本发明的实施例中，在本发明的实施例中，例如将当前处于直立状态的一个饮料瓶放倒。
在本发明的实施例中，对物品的遮挡关系进行调整，例如用一个遮挡物将仿真空间模型中不存在遮挡关系的目标商品进行遮挡，或将两个互相遮挡的目标商品的遮挡关系由1/3调整为1/4。
通过上述调整扰动因素的过程，能够得到在不同扰动因素或扰动因素组合下的海量数据，生成训练数据集。
在本实施例中，因为实际商用场景获取的图片是jpeg压缩格式，所以对于模拟数据生成的图片大部分会转换到jpeg格式，少部分采用png等其他格式，帮助模型学习到更好的特征。
根据本发明的实施例，对于智能柜场景训练人工智能模型的数据自动化生成提供了完整的可行的解决方案，减少人工成本，大大加快采集标注的时间；模型对于学习的品类拥有比采用人工采集更高的识别率，模型的识别能力更强；采用模拟数据代替真实数据在真实场景取得95％以上的商业级精度，模拟数据更精准，更贴近于真实数据。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
如图6所示，装置600包括：
场景搭建模块210，用于搭建场景，所述场景包括仿真场景或图片场景，所述仿真场景包括通过渲染搭建的柜内外模拟场景，所述图片场景包括通过图像采集设备采集到的柜内外真实场景。
建模模块220，用于对物品进行建模，并将建模后的物品放置于所述场景中，得到仿真空间模型；所述物品包括目标商品，且每一目标商品的展示部分不小于展示阈值。
所述物品还包括遮挡物和/或非目标商品，所述遮挡物用于对所述目标商品的展示部分进行遮挡。
所述仿真空间模型包括：
背景层，用于加载所述场景；
商品层，用于加载所述目标商品；
前景层，用于加载所述遮挡物和/或非目标商品。
所述建模模块220，包括：
分类模块221，用于计算物品表面的反光率，将反光率小于预设反光率阈值的物品作为第一类物品，反光率不小于预设反光率阈值的物品作为第二类物品，对物品进行分类；
第一建模模块222，用于对所述第一类物品进行扫描建模，得到第一模型。
所述第一建模模块222还包括：
第一获取模块，用于获取所述第一类物品的多角度旋转视频；
稀疏建模模块，用于根据视频对所述第一类物品进行稀疏建模，得到稀疏点云；
稠密化模块，用于对所述稀疏点云进行稠密化，得到稠密点云；
模块化模块，用于对所述稠密点云进行模型化和贴图，得到具有纹理的初步第一模型；
去噪模块，用于对所述初步第一模型进行去噪处理，得到第一模型。
第二建模模块223，用于对所述第二类物品进行主动建模，得到第二模型；
所述第二建模模块223，还包括：
第二获取模块，用于获取所述第二类物品的若干表面图片，所述表面图片的分辨率高于预设的分辨率最低值；
M0建模模块，用于根据获取到的第二类物品的表面图片进行建模，得到M0模型，所述M0模型与所述第二类物品具有一致的形状特征；
M1建模模块，用于对所述M0模型添加色彩纹理信息，得到M1模型，所述M1模型与所述第二类物品具有一致的形状和色彩特征；
第二模型建模模块，用于对所述M1模型调整材质属性，得到第二模型，所述第二模型与所述第二类物品具有一致的形状、色彩特征和材质属性。
所述建模模块220，还包括：
第一设置模块224，用于设置所述商品层中所述目标商品之间的第一遮挡关系最大值，使所述商品层中的目标商品被遮挡的部分不超过所述第一遮挡关系最大值；
第二设置模块225，用于设置所述前景层中所述遮挡物与目标商品的第二遮挡关系最大值，使所述前景层中的目标商品被遮挡的部分不超过所述第二遮挡关系最大值。
人工标注模块226，用于识别所述仿真空间模型中的物品，提取并建立物品的坐标信息和标签信息之间的映射关系。
调整模块230，用于调整仿真空间模型的扰动因素，生成仿真空间模型的训练数据。
所述调整模块230包括：
角度调整模块，用于对所述图像采集设备的采集角度进行调整；
模拟场景切换模块，用于对所述柜内外模拟场景进行切换；
真实场景切换模块，用于对所述柜内外真实场景进行切换；
光照强度调整模块，用于对光照强度进行调整；
光源位置调整模块，用于对光源位置进行调整；
色温调整模块，用于对色温进行调整；
物品增减模块，用于对物品进行增减；
物品替换模块，用于对物品进行替换；
位置调整模块，用于对物品的放置位置进行调整；
姿态调整模块，用于对物品的放置姿态进行调整；
遮挡关系调整模块，用于对物品的遮挡关系进行调整。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图7所示，电子设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
电子设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元执行上文所描述的各个方法和处理，例如方法S101～S103。例如，在一些实施例中，方法S101～S103可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S101～S103的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S101～S103。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种基于无人货柜场景的仿真空间模型训练数据生成方法，其特征在于，包括：
搭建场景，所述场景包括仿真场景或图片场景，所述仿真场景包括通过渲染搭建的柜内外模拟场景，所述图片场景包括通过图像采集设备采集到的柜内外真实场景；
对物品进行建模，并将建模后的物品放置于所述场景中，得到仿真空间模型；所述物品包括目标商品，且每一目标商品的展示部分不小于展示阈值；
调整仿真空间模型的扰动因素，生成仿真空间模型的训练数据。
2.根据权利要求1所述的方法，其特征在于，所述物品还包括遮挡物和/或非目标商品，所述遮挡物用于对所述目标商品的展示部分进行遮挡。
3.根据权利要求2所述的方法，其特征在于，所述仿真空间模型包括：
背景层，用于加载所述场景；
商品层，用于加载所述目标商品；
前景层，用于加载所述遮挡物和/或非目标商品。
4.根据权利要求3所述的方法，其特征在于，还包括：
设置所述商品层中所述目标商品之间的第一遮挡关系最大值，使所述商品层中的目标商品被遮挡的部分不超过所述第一遮挡关系最大值；
设置所述前景层中所述遮挡物与目标商品的第二遮挡关系最大值，使所述前景层中的目标商品被遮挡的部分不超过所述第二遮挡关系最大值。
5.根据权利要求1所述的方法，其特征在于，所述对物品进行建模，包括：
计算物品表面的反光率，将反光率小于预设反光率阈值的物品作为第一类物品，反光率不小于预设反光率阈值的物品作为第二类物品，对物品进行分类；
对所述第一类物品进行扫描建模，得到第一模型；
对所述第二类物品进行主动建模，得到第二模型；
所述扫描建模，包括：
获取所述第一类物品的多角度旋转视频；
根据视频对所述第一类物品进行稀疏建模，得到稀疏点云；
对所述稀疏点云进行稠密化，得到稠密点云；
对所述稠密点云进行模型化和贴图，得到具有纹理的初步第一模型；
对所述初步第一模型进行去噪处理，得到第一模型；
所述主动建模，包括：
获取所述第二类物品的若干表面图片，所述表面图片的分辨率高于预设的分辨率最低值；
根据获取到的第二类物品的表面图片进行建模，得到M0模型，所述M0模型与所述第二类物品具有一致的形状特征；
对所述M0模型添加色彩纹理信息，得到M1模型，所述M1模型与所述第二类物品具有一致的形状和色彩特征；
对所述M1模型调整材质属性，得到第二模型，所述第二模型与所述第二类物品具有一致的形状、色彩特征和材质属性。
6.根据权利要求1所述的方法，其特征在于，所述调整仿真空间模型的扰动因素，包括：
对所述图像采集设备的采集角度进行调整，和/或
对所述柜内外模拟场景进行切换，和/或
对所述柜内外真实场景进行切换，和/或
对光照强度进行调整，和/或
对光源位置进行调整，和/或
对色温进行调整，和/或
对物品进行增减，和/或
对物品进行替换，和/或
对物品的放置位置进行调整，和/或
对物品的放置姿态进行调整，和/或
对物品的遮挡关系进行调整。
7.根据权利要求1所述的方法，其特征在于，识别所述仿真空间模型中的物品，提取并建立物品的坐标信息和标签信息之间的映射关系。
8.一种基于无人货柜场景的仿真空间模型训练数据生成装置，其特征在于，包括：
场景搭建模块，用于搭建场景，所述场景包括仿真场景或图片场景，所述仿真场景包括通过渲染搭建的柜内外模拟场景，所述图片场景包括通过图像采集设备采集到的柜内外真实场景；
建模模块，用于对物品进行建模，并将建模后的物品放置于所述场景中，得到仿真空间模型；所述物品包括目标商品，且每一目标商品的展示部分不小于展示阈值；
调整模块，用于调整仿真空间模型的扰动因素，生成仿真空间模型的训练数据。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
CN202010986973.2A 2020-09-18 2020-09-18 一种基于无人货柜场景的仿真空间模型训练数据生成方法 Pending CN112149348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010986973.2A CN112149348A (zh) 2020-09-18 2020-09-18 一种基于无人货柜场景的仿真空间模型训练数据生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010986973.2A CN112149348A (zh) 2020-09-18 2020-09-18 一种基于无人货柜场景的仿真空间模型训练数据生成方法

Publications (1)

Publication Number Publication Date
CN112149348A true CN112149348A (zh) 2020-12-29

Family

ID=73892366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010986973.2A Pending CN112149348A (zh) 2020-09-18 2020-09-18 一种基于无人货柜场景的仿真空间模型训练数据生成方法

Country Status (1)

Country Link
CN (1) CN112149348A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111800A (zh) * 2021-04-19 2021-07-13 北京每日优鲜电子商务有限公司 无人货柜商品上架判断方法、设备和存储介质
CN113298945A (zh) * 2021-06-08 2021-08-24 上海宝冶工程技术有限公司 集装箱装箱方案的计算方法
CN113984058A (zh) * 2021-10-19 2022-01-28 河南浩宇空间数据科技有限责任公司 一种无信标支撑的密闭空间应急逃生导航系统
CN118262161A (zh) * 2024-03-28 2024-06-28 西南交通大学 骨料基因的数字图像生成方法、装置及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050052015A (ko) * 2003-11-28 2005-06-02 한국전자통신연구원 물체의 반사율 획득 시스템 및 물체 표현 방법
US20070018996A1 (en) * 2005-07-25 2007-01-25 Microsoft Corporation Real-time rendering of partially translucent objects
WO2014170757A2 (en) * 2013-04-14 2014-10-23 Morato Pablo Garcia 3d rendering for training computer vision recognition
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN108109194A (zh) * 2017-12-29 2018-06-01 广东工业大学 虚拟现实场景中镭射纸效果的实现方法及系统
CN108846897A (zh) * 2018-07-03 2018-11-20 百度在线网络技术（北京）有限公司 三维模型表面材质模拟方法、装置、存储介质及电子设备
CN109118573A (zh) * 2018-07-02 2019-01-01 景致三维（江苏）股份有限公司 辅助光矩阵阵列三维重建系统中图像建模方法
CN110428388A (zh) * 2019-07-11 2019-11-08 阿里巴巴集团控股有限公司 一种图像数据生成方法及装置
CN110766782A (zh) * 2019-09-05 2020-02-07 同济大学 基于多无人机视觉协同的大型施工场景实时重构方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050052015A (ko) * 2003-11-28 2005-06-02 한국전자통신연구원 물체의 반사율 획득 시스템 및 물체 표현 방법
US20070018996A1 (en) * 2005-07-25 2007-01-25 Microsoft Corporation Real-time rendering of partially translucent objects
WO2014170757A2 (en) * 2013-04-14 2014-10-23 Morato Pablo Garcia 3d rendering for training computer vision recognition
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN108109194A (zh) * 2017-12-29 2018-06-01 广东工业大学 虚拟现实场景中镭射纸效果的实现方法及系统
CN109118573A (zh) * 2018-07-02 2019-01-01 景致三维（江苏）股份有限公司 辅助光矩阵阵列三维重建系统中图像建模方法
CN108846897A (zh) * 2018-07-03 2018-11-20 百度在线网络技术（北京）有限公司 三维模型表面材质模拟方法、装置、存储介质及电子设备
CN110428388A (zh) * 2019-07-11 2019-11-08 阿里巴巴集团控股有限公司 一种图像数据生成方法及装置
CN110766782A (zh) * 2019-09-05 2020-02-07 同济大学 基于多无人机视觉协同的大型施工场景实时重构方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111800A (zh) * 2021-04-19 2021-07-13 北京每日优鲜电子商务有限公司 无人货柜商品上架判断方法、设备和存储介质
CN113298945A (zh) * 2021-06-08 2021-08-24 上海宝冶工程技术有限公司 集装箱装箱方案的计算方法
CN113984058A (zh) * 2021-10-19 2022-01-28 河南浩宇空间数据科技有限责任公司 一种无信标支撑的密闭空间应急逃生导航系统
CN118262161A (zh) * 2024-03-28 2024-06-28 西南交通大学 骨料基因的数字图像生成方法、装置及介质
CN118262161B (zh) * 2024-03-28 2024-10-18 西南交通大学 骨料基因的数字图像生成方法、装置及介质

Similar Documents

Publication Publication Date Title
Zhou et al. Canny-vo: Visual odometry with rgb-d cameras based on geometric 3-d–2-d edge alignment
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
CN112149348A (zh) 一种基于无人货柜场景的仿真空间模型训练数据生成方法
US10977818B2 (en) Machine learning based model localization system
CN108895981B (zh) 一种三维测量方法、装置、服务器和存储介质
CN108269266A (zh) 使用马尔可夫随机场优化来产生分割图像
US7421125B1 (en) Image analysis, editing and search techniques
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
JPWO2020179065A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20190065823A1 (en) Separation of objects in images from three-dimensional cameras
CN106952402A (zh) 一种数据处理方法及装置
CN108701376A (zh) 三维图像的基于识别的对象分割
EP3499414A1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
CN113689578B (zh) 一种人体数据集生成方法及装置
US11354885B1 (en) Image data and simulated illumination maps
WO2020211427A1 (zh) 基于扫描点云数据的分割与识别方法、系统及存储介质
US11281888B2 (en) Separation of objects in images from three-dimensional cameras
Pound et al. A patch-based approach to 3D plant shoot phenotyping
CN111160261A (zh) 用于自动售货柜的样本图像标注方法、装置及存储介质
CN114298151A (zh) 一种基于点云数据与图像数据融合的3d目标检测方法
CN113947770B (zh) 一种识别物体放置于智能箱柜不同区域的方法
Stets et al. Scene reassembly after multimodal digitization and pipeline evaluation using photorealistic rendering
Wei et al. Simulating shadow interactions for outdoor augmented reality with RGBD data
CN107452003A (zh) 一种含有深度信息的图像分割的方法及装置
CN112433641B (zh) 一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination