CN115412652B - 用于无人售货机的图像数据采集装置和方法 - Google Patents

Abstract

本发明公开了一种用于无人售货机的图像数据采集装置和方法，该装置包括拍摄装置、移动装置和控制处理器，控制处理器控制拍摄装置和移动装置实现商品摆放和拿取的自动化过程，并采用自动标注和人工标注相结合的方式进行图像信息标注，本发明提供的技术方案提高了用于无人售货机的图像数据库的采集效率，增强了目标检测模型的识别率。

Description

用于无人售货机的图像数据采集装置和方法

技术领域

本发明涉及图像采集技术领域，尤其涉及一种用于无人售货机的图像数据采集装置和方法。

背景技术

传统无人零售柜通常需要消费者遵循传统的操作购买流程在交互屏选择指定类别商品、下单，然后从指定区域取货，而且一次只能选择一个商品。当用户想要购买多个商品时，需要重复操作多次。新一代无人售货机通过计算机视觉技术改善了消费者购物体验，比如用户只需要“打开柜门”->“挑选商品”->“关柜结算”三步即可完成。然而，应用于无人零售柜的计算机视觉技术依赖于强大的数据库，通常数据采集流程为：(1)人工放置或取出商品；(2)摄像头拍摄商品种类、数量变化前后的两张无人柜内商品货架俯视图；(3)人工对拍摄图片进行商品种类和数量的标注。由此可见，传统数据采集过程耗费大量重复的人工劳动，效率低，耗时长，增加了新一代无人售货机的人力和时间成本，严重影响售货机的数据更新。

现有技术中，中国专利CN202011097770.4公开了一种用于AI商品识别训练的数据采集方法，该方法建立购物场景数据库、商品模型数据库和模型人数据库，通过在场景数据库中对商品模型进行组合得到训练数据集，以解决采集训练数据集的过程复杂、成本高和效率低的问题。

中国专利CN201910427990.X公开了一种无人售货柜快速上新方法，该方法包括通过数据合成的方式构造新商品和原有商品的融合数据，使用库存的标注数据训练神经网络，获得识别检测模型。

由此可见，现有技术一般采用合成数据对识别模型进行训练，这种方法虽然可以节省人工成本，但由合成数据训练的目标检测模型识别率较低。

发明内容

为了克服上述缺陷，本发明提供了一种用于无人售货机的图像数据采集装置，通过自动装置模拟无人售货机商品摆放和取用的真实过程，实现快速高效的图像数据采集，本发明实际要解决的问题是传统采集方法的效率低和人工成本高的问题。

为了实现上述目的，本发明采用以下技术方案：

一种用于无人售货机的图像数据采集装置，该装置包括拍摄装置、移动装置和控制处理器。所述拍摄装置用于构成拍摄场景，并对拍摄场景中的拍摄物进行拍摄。所述移动装置，与拍摄装置连接，用于将拍摄物移进拍摄场景或将拍摄物从拍摄场景移出，使拍摄场景中的拍摄物位置摆放满足预设条件。所述控制处理器，用于根据预先设定的顺序控制移动装置移动拍摄物使拍摄场景内的拍摄物位置摆放满足所述预设条件。用于控制拍摄装置对满足所述预设条件的拍摄物进行拍摄，获取第一图像。所述控制处理器采用图像数据标注方法对所述第一图像进行标注。

其中，所述预设条件为多个拍摄物在拍摄场景中的不同组合。

进一步地，所述移动装置包括底座、传动部和支撑部。所述支撑部直接固定在底座上或经过其他连接部件固定在底座上，所述传动部固定在底座和支撑部上。所述传动部包括驱动电机、螺纹杆、定向杆和传动支架。所述定向杆固定在底座和支撑部，沿所述定向杆方向定义一个轴线方向，螺纹杆沿轴线方向设置，螺纹杆一端与驱动电机连接，螺纹杆另一端与支撑部固定连接。传动支架与螺纹杆螺纹连接，传动支架与定向杆滑动连接，拍摄物固定在传动支架上。

进一步地，所述传动部为若干个，每一个传动部固定一个拍摄物。

具体地，拍摄装置包括摄像头，拍摄架和场景板。所述摄像头设置于拍摄架上，所述场景板用于构建拍摄场景，所述场景板包括至少一块第一场景板，所述第一场景板与所述移动装置连接，所述第一场景板设置开口，用于拍摄物通过。

优选地，所述开口上覆盖薄片。

优选地，所述薄片通过设置在所述第一场景板板面内的水平转轴与所述第一场景板连接，所述薄片能以水平转轴为轴相对于第一场景板向拍摄场景内转动翻开。

优选地，当所述第一场景板板面水平，所述薄片相对于所述第一场景板翻开的最大角度不超过90度。

优选地，所述摄像头设置于所述拍摄场景顶部，用于采集所述拍摄场景内的拍摄物的俯视图像。

优选地，所述拍摄装置还包括光源，所述光源受所述控制处理器控制。

本发明还公开了一种图像数据标注方法，该方法应用于所述的图像数据采集装置，其步骤包括：

人工标注一部分所述第一图像的每个商品的边界框，生成训练集。训练单类别目标检测模型，用于检测第一图像中每个商品的边界框。使用训练好的单类别目标检测模型，对第一图像进行边界框标注，生成第二图像。根据所述图像数据采集装置预先设定的摆放顺序和第二图像中每个商品的位置信息，确定第二图像中每个商品的名称。利用二分类算法将第二图像中每个商品的边界框信息和商品名称信息合成标注文件。

由上可知，本发明提供的技术方案有益效果是：

1)通过控制模拟商品的摆放和拿取，并自动控制图像采集，节省了大量重复的人工劳动，降低了时间成本，提高了商品图像的采集效率；

2)自动标注和人工标注相结合，提高图像数据标注效率和准确率。

附图说明

图1为本发明实施例图像数据采集装置结构示意图；

图2为本发明实施例的传送部和支撑部结构示意图；

图3为本发明实施例图像数据采集装置部分结构的爆炸示意图；

图4为本发明实施例控制处理器的控制流程图；

图5为本发明实施例中驱动电机的电路图；

图6为本发明实施例图像数据采集装置模块连接图；

图7为使用本发明实施例获取的第二图像(左)和无人售货机拍摄的第二图像(右)。

图中各标号表示：

1、移动装置；2、拍摄装置；21、第一场景板；22、摄像头；23、拍摄架；11、传动部；12、底座；13、支撑部；111、驱动电机；112、螺纹杆；113、定向杆；114、传动支架；115、轴线方向；212、薄片；213、水平转轴。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例对本发明的具体实施方式作进一步详细描述。应该理解，此处所描述的实施例仅用于解释本发明，但不用于限制本发明的范围。

请参阅附图1-附图7，该装置包括拍摄装置2、移动装置1和控制处理器。拍摄装置2用于构成拍摄场景，并对拍摄场景中的拍摄物进行拍摄。移动装置1与拍摄装置2连接，用于将拍摄物移进拍摄场景或将拍摄物从拍摄场景移出，使拍摄场景中的拍摄物位置摆放满足预设条件。控制处理器，用于根据预先设定的顺序控制移动装置1移动拍摄物，使拍摄场景内的拍摄物位置摆放满足预设条件。用于控制拍摄装置2对满足预设条件的拍摄物进行拍摄，获取第一图像。其中，预设条件为多个拍摄物在拍摄场景中的不同组合，控制处理器采用图像数据标注方法对第一图像进行标注。

移动装置1包括底座12、传动部11和支撑部13。支撑部13固定在底座12上，传动部11固定在底座12和支撑部13上，传动部11为若干个，本发明实施例传动部11为八个，每一个传动部11传送一个拍摄物，一共可传送八个拍摄物。传动部11包括驱动电机111、螺纹杆112、定向杆113和传动支架114。定向杆113固定在底座12和支撑部13，定向杆113用以固定拍摄物的移动方向，将该方向定义为轴线方向115，螺纹杆112沿轴线方向115设置，螺纹杆112一端与驱动电机111连接，螺纹杆112另一端与支撑部13固定连接。传动支架114与螺纹杆112螺纹连接，传动支架114与定向杆113滑动连接，拍摄物固定在传动支架114上。当驱动电机111驱动螺纹杆112绕轴线方向115转动时，拍摄物在定向杆113的作用下，随传动支架114沿轴线方向115平移。本发明实施例中，螺纹杆112直径8mm,螺距2mm，导程8mm，有效行程300mm。电机为42BYBH39步进电机，步进电机驱动器为TB6600，电机主控模块为ArduinoMEGA2560R3。

拍摄装置2包括摄像头22，拍摄架23和场景板。摄像头22设置于拍摄架23上，场景板用于构建拍摄场景，场景板包括至少一块第一场景板21。第一场景板21与移动装置1连接，第一场景板21设置开口，用于移动装置1带动拍摄物通过，开口上覆盖薄片212，薄片212相对于第一场景板21可活动。特别地，薄片212通过设置在第一场景板21板面内的水平转轴213与第一场景板21连接，薄片212能以水平转轴213为轴相对于第一场景板21向拍摄场景内转动翻开。本发明实施例中，摄像头22采用G200(1080P)。

在本发明的实施例中，移动装置1设置在拍摄装置2下方，第一场景板21板面水平，当拍摄物经开口上升进入拍摄场景，薄片212受拍摄物作用向上翻开。当拍摄物经开口移出拍摄场景，为了使已翻开的薄片212受重力作用回落与开口盖合，且不需要额外电路进行控制，该实施例中薄片212相对于第一场景板21翻开的最大角度不超过90度。

优选地，摄像头22设置于拍摄场景顶部，用于采集拍摄场景内的拍摄物的俯视图像。优选地，拍摄装置2还包括光源，光源受控制处理器控制。

下面以饮料为拍摄物，具体表述多个拍摄物在图像数据采集装置的控制下，完成图像自动采集的过程。

预先设置一组3×3矩阵的饮料摆放顺序，使传动支架114初始位置设置在移动装置1顶端，使九瓶饮料均摆放在拍摄场景中，其中八瓶饮料固定在移动装置1传动支架114上，对应八个驱动电机111。

控制处理器按预先设定的顺序控制八个驱动电机111工作，将传动部11上的饮料按序移出和移入拍摄场景，并在满足预设条件时调用摄像头22对拍摄场景中的饮料瓶组合进行拍摄，以获取不同的饮料瓶组合图像。在本实施例中，一共将获取2⁸＝128个不同的组合，对应128张第一图像。

在驱动电机111驱动传动部11移位饮料瓶的时候，控制处理器根据初始状态下每瓶饮料的种类和位置信息以及预先设定的摆放顺序，获取每张第一图像中所有饮料的种类和位置信息，生成标注文件，以供后续标注。

具体地，应用于上述的图像数据采集装置的图像数据标注方法，包括：

人工标注一部分第一图像的每个商品的边界框，生成训练集。训练单类别目标检测模型，用于检测第一图像中每个商品的边界框。使用训练好的单类别目标检测模型，对第一图像进行边界框标注，生成第二图像。根据图像数据采集装置预先设定的摆放顺序和第二图像中每个商品的位置信息，确定第二图像中每个商品的名称。利用二分类算法将第二图像中每个商品的边界框信息和商品名称信息合成标注文件，二分类检测算法可以是FCOS，Yolo等通用检测算法。

经过实验平台测试，人工摆放和拿取商品的传统图像采集方法获取128张第一图像耗时约1.5小时，使用本发明实施例的图像数据采集装置拍摄一组128张第一图像数据仅需约15分钟。传统使用人工手动标注128张第一图像耗时约45分钟，采用本发明公开的技术方案，在控制处理器自动标注完成后，仅需要使用人工对识别错误的部分进行校正，校正耗时约5分钟。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种用于无人售货机的图像数据采集装置，其特征在于，该装置包括拍摄装置、移动装置和控制处理器；

所述拍摄装置，用于构成拍摄场景，并对拍摄场景中的拍摄物进行拍摄；

所述移动装置，与拍摄装置连接，用于沿所述移动装置的轴线方向将拍摄物移进拍摄场景或将拍摄物从拍摄场景移出，使拍摄场景中的拍摄物位置摆放满足预设条件，所述移动装置包括若干个传动部，每一个传动部可拆卸地固定一个拍摄物；

所述控制处理器，用于根据预先设定的顺序控制移动装置移动拍摄物使拍摄场景内的拍摄物位置摆放满足所述预设条件；用于控制拍摄装置对满足所述预设条件的拍摄物进行拍摄，获取第一图像；所述控制处理器采用图像数据标注方法对所述第一图像进行标注；

其中，所述预设条件为多个拍摄物在拍摄场景中的不同组合，所述图像数据标注方法包括如下步骤：

人工标注一部分所述第一图像的每个商品的边界框，生成训练集；

训练单类别目标检测模型，用于检测第一图像中每个商品的边界框；

使用训练好的单类别目标检测模型，对第一图像进行边界框标注，生成第二图像；

根据所述图像数据采集装置预先设定的摆放顺序和第二图像中每个商品的位置信息，确定第二图像中每个商品的名称；

利用二分类算法将第二图像中每个商品的边界框信息和商品名称信息合成标注文件。

2.根据权利要求1所述的图像数据采集装置，其特征在于，所述移动装置还包括底座和支撑部；

所述支撑部固定在底座上，所述传动部固定在底座和支撑部上；所述传动部包括驱动电机、螺纹杆、定向杆和传动支架；所述定向杆固定在支撑部上，沿所述定向杆方向定义所述轴线方向，螺纹杆沿所述轴线方向设置，所述螺纹杆一端与所述驱动电机连接，所述螺纹杆另一端与所述支撑部固定连接；传动支架与螺纹杆螺纹连接，传动支架与定向杆滑动连接，拍摄物可拆卸地固定在传动支架上。

3.根据权利要求1或2所述的图像数据采集装置，其特征在于，拍摄装置包括摄像头，拍摄架和场景板；

所述摄像头设置于拍摄架上，所述场景板用于构建拍摄场景，所述场景板包括至少一块第一场景板，所述第一场景板与所述移动装置连接，所述第一场景板设置开口，用于拍摄物通过。

4.根据权利要求3所述的图像数据采集装置，其特征在于，所述开口上覆盖薄片。

5.根据权利要求4所述的图像数据采集装置，其特征在于，所述薄片通过设置在所述第一场景板板面内的水平转轴与所述第一场景板连接，所述薄片能以水平转轴为轴相对于第一场景板向拍摄场景内转动翻开。

6.根据权利要求5所述的图像数据采集装置，其特征在于，当所述第一场景板板面水平时，所述薄片相对于所述第一场景板翻开的最大角度不超过90度。

7.根据权利要求3所述的图像数据采集装置，其特征在于，所述摄像头设置于所述拍摄场景顶部，用于采集所述拍摄场景内的拍摄物的俯视图像。

8.根据权利要求3所述的图像数据采集装置，其特征在于，所述拍摄装置还包括光源，所述光源受所述控制处理器控制。

9.一种图像数据标注方法，其特征在于，该方法应用于权利要求1-8任一项所述的图像数据采集装置，其步骤包括：

人工标注一部分所述第一图像的每个商品的边界框，生成训练集；

训练单类别目标检测模型，用于检测第一图像中每个商品的边界框；

使用训练好的单类别目标检测模型，对第一图像进行边界框标注，生成第二图像；

根据所述图像数据采集装置预先设定的摆放顺序和第二图像中每个商品的位置信息，确定第二图像中每个商品的名称；

利用二分类算法将第二图像中每个商品的边界框信息和商品名称信息合成标注文件。