CN112304409A - 一种基于视频分析多品种物品连续自动识别称重机 - Google Patents

Abstract

本发明公开了一种基于视频分析多品种物品连续自动识别称重机及其程序控制方法，涉及到基于视频的目标检测技术和物联网技术，其主要解决了人工称重物品种类繁多，价格数字难记，操作效率低等问题，通过构建目标检测深度神经网络模型，基于已标注坐标的物品样本图像训练深度神经网络模型，利用重量传感器采集承重托盘上所有品种物品的重量，利用摄像头采集视频连续进行目标检测并跟踪目标坐标位置变化，计算得到每个物品的重量，可以同时查询出多个物品其对应的信息，如单价、厂商、生产日期等，来对多个相应物品信息进行按需处理，从而降低操作人员的工作量，提高称重效率。

Description

一种基于视频分析多品种物品连续自动识别称重机

技术领域：

本发明涉及机器视觉领域，尤其涉及一种基于视频分析多品种物品连续自动识别称重机。

背景技术：

随着电子技术的发展，各种电子称重器在多种应用场景被普遍使用。目前的称重器都需要人工输入物品代码或名称等方式，来实现不同物品的称重。这既要记住物品的名字或代码，又要记住对应的价格，是一件非常困难的事，并且物品和价格还经常变动。另外目前的称重器，一次只能称重一种物品，操作员必须放一件物品到承重托盘，进行称重，从承重托盘拿开物品，再放置另一种物品到承重托盘进行称重。本发明提出了一种基于视频分析多品种物品连续自动识别称重机，来实现多种物品连续自动识别和称重，从而降低操作人员的工作量，提高称重效率。

发明内容：

针对上述问题，本发明要解决的技术问题是提供一种基于视频分析多品种物品连续自动识别称重机及其程序控制方法。

本发明的一种基于视频分析多品种物品连续自动识别称重机，包括触摸显示屏、摄像头、支撑杆、承重托盘和控制器，所述承重托盘上设有支撑杆，所述支撑杆中部通过连接杆连接有摄像头，支撑杆顶端设有触摸显示屏，所述承重托盘边侧还设有打签口、扬声器及USB接口，所述承重托盘内部设有控制器、重量传感器、Flash存储器、SD卡、通信模块、电源模块及价签打印机，所述控制器分别与重量传感器、Flash存储器、SD卡、通信模块、电源模块、价签打印机、触摸显示屏、扬声器、USB接口及摄像头连接。

优选的，所述控制器包括arm处理器及GPU。

优选的，所述通信模块为无线通信模块。

本发明的一种基于视频分析多品种物品连续自动识别称重机的程序控制方法，其特征在于：包括以下步骤：

a.构建目标检测深度神经网络模型，模型必须能够多目标同时识别，并能检测到多目标相应的坐标，包括但不限于RCNN，fast RCNN，faster RCNN，SSD，YOLO等目标检测技术；

b.基于已标注坐标的物品样本图像训练步骤a中的目标检测深度学习模型，使其生成一个目标检测深度神经网络模型；

c.利用重量传感器连续采集承重托盘上所有品种物品的重量，连续记录下称重时间与称重的重量；

d.通过摄像头采集承重托盘上所有品种物品的图像并输入到步骤b中训练好的目标检测深度神经网络中进行检测，连续记录下物品检测时间、所有物品的种类和所有物品的坐标。根据连续视频帧物品种类和物品坐标变化，判断不同视频帧中的称重托盘上物品是否同一个，是否有新的物品放置到承重托盘，是否有承重托盘上的物品被拿走。最后得到每个物品在视频中连续的坐标位置；

e.根据步骤c，d中返回的物品信息，进行按需计算处理所称重所有品种物品的物品的相关信息。计算步骤如下：根据记录下来的称重时间、称重重量和每个物品在视频中对应称重时间的位置坐标，计算得到每个物品的重量。

f.称重和视频分析，步骤c、d保持同步。用户启动称重过程，步骤c、d同时开始。用户结束称重过程，步骤c、d同时结束。根据步骤e中计算得到的每个物品的品种和重量，查询物品单价，打印放入承重托盘每件物品单价、总价和所有物品总价，由价签打印机输出。

本发明有益效果：本发明提出的一种基于视频分析多品种物品连续自动识别称重机及其程序控制方法，实现了多品种物品的连续自动识别和称重，从而降低操作人员的工作量，提高称重效率，且其比传统图像识别方法，速度快，准确率高，可以实现全程自动化识别称重并标价。

附图说明：

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1是自动识别称重器外部结构示意图；

图2是自动识别称重器电子部分结构图；

图3是自动识别称重器称重过程；

图4是目标检测深度神经网络；

图中：1-触摸显示屏；2-摄像头；3-支撑杆；4-承重托盘；5-打签口；6-扬声器；7-连接杆； 8-控制器；9-重量传感器；10-Flash存储器；11-SD卡；12-通信模块；13-价签打印机；14-电源模块。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1-4所示，本实施例的一种基于视频分析多品种物品连续自动识别称重机，包括触摸显示屏1、摄像头2、支撑杆3、承重托盘4和控制器8，所述承重托盘4上设有支撑杆3，所述支撑杆3 中部通过连接杆7连接有摄像头2，支撑杆3顶端设有触摸显示屏1，所述承重托盘4边侧还设有打签口5、扬声器6及USB接口，所述承重托盘4内部设有控制器8、重量传感器9、Flash存储器10、 SD卡11、通信模块12、电源模块14及价签打印机13，所述控制器8分别与重量传感器9、Flash 存储器10、SD卡11、通信模块12、电源模块14、价签打印机13、触摸显示屏1、扬声器6、USB 接口及摄像头2连接。

具体的，图1描述了自动识别称重器外部结构示意图。其中，触摸显示屏1：用来显示物品的信息，并勇于手动触控操作；摄像头2：用来采集托盘上要称重物品的图像；支撑杆3：用来支撑触摸显示屏1和摄像头2；承重托盘4：用来放要称重的物品；打签口5：是票据打印出口；扬声器6：用来播放系统或物品信息。

具体地，图2描述了自动识别称重器电子部分结构图。其中，控制器8：可选用arm处理器加高性能GPU或深度学习专用处理器；重量传感器9：用来测量物品的重量；Flash存储卡10：存储应用程序和物品信息数据；通信模块12：为无线通信模块，用来与收银机或者云端服务器通信，以更新深度学习网络，物品信息数据，远程设置系统参数等；电源模块14：为系统各部件提供电源；SD卡 11：用来存储系统或物品数据，扩展存储；USB接口：用来供电，或者从设备上上传或下载文件；价签打印机13：用来打印物品价钱，信息等。

本发明的一种基于视频分析多品种物品连续自动识别称重机的程序控制方法，其特征在于：包括以下步骤：

a.构建目标检测深度神经网络模型，模型必须能够多目标同时识别，并能检测到多目标相应的坐标，包括但不限于RCNN，fast RCNN，faster RCNN，SSD，YOLO等目标检测技术；

b.基于已标注坐标的物品样本图像训练步骤a中的目标检测深度学习模型，使其生成一个目标检测深度神经网络模型；

c.利用重量传感器连续采集承重托盘上所有品种物品的重量，连续记录下称重时间与称重的重量；

d.通过摄像头采集承重托盘上所有品种物品的图像并输入到步骤b中训练好的目标检测深度神经网络中进行检测，连续记录下物品检测时间、所有物品的种类和所有物品的坐标。根据连续视频帧物品种类和物品坐标变化，判断不同视频帧中的称重托盘上物品是否同一个，是否有新的物品放置到承重托盘，是否有承重托盘上的物品被拿走。最后得到每个物品在视频中连续的坐标位置；

e.根据步骤c，d中返回的物品信息，进行按需计算处理所称重所有品种物品的物品的相关信息。计算步骤如下：根据记录下来的称重时间、称重重量和每个物品在视频中对应称重时间的位置坐标，计算得到每个物品的重量。

f.称重和视频分析，步骤c、d保持同步。用户启动称重过程，步骤c、d同时开始。用户结束称重过程，步骤c、d同时结束。根据步骤e中计算得到的每个物品的品种和重量，查询物品单价，打印放入承重托盘每件物品单价、总价和所有物品总价，由价签打印机输出。

具体地，步骤a中构建目标检测深度神经网络模型，能够多目标同时识别，并能检测到多目标相应的坐标。这个模型可以使用目前较成熟的深度学习模型，如RCNN，fastRCNN，faster RCNN，SSD， YOLO等。可以使用不同的深度学习框架来搭建改目标检测深度学习模型，包括但不限于Caffe、 tensorflow、tensorflow lite、pytorch、ncnn、CNTK、PaddlePaddle等。

具体地，步骤b将事先收集好的物品样本图像，拿来训练步骤a中构建的深度学习模型，使其学习到一个用于多物品检测的深度学习网络。经过这样一番对样本的训练，就会自动生成一个多目标物品检测的神经网络模型，这个模型就包含了物品训练样本的特征，这样就可以利用这些提取的特征，来识别新输入的图片是哪几种物品，以及每一类物品的具体位置。

具体地，步骤c利用重量传感器来采集要称重物品的重量。

具体地，步骤d用摄像头采集要称重物品的图像，并将采集的图像输入到步骤b中训练好的深度学习网络，模型就会识别出输入的图像是哪一类物品，然后查找后台数据库，返回物品信息，如单价，厂商、生产日期等，这些信息是事先存储在后台数据库中的，每一种物品都对应有其自己的信息。

具体地，步骤e根据步骤d中返回的物品信息，进行按需计算处理，如计算总价，在屏幕上显示物品信息等。

具体地，图3描述了自动识别称重器称重过程：步骤S1：自动识别称重器启动后，需要初始化硬件控制设备，如价签打印机，触摸显示屏，存储器，摄像头，称重传感器等部件；步骤S2：重量传感器采集托盘上物品的重量；步骤S3：通过采集的重量来判断托盘上是否有发生重量改变，如果有则执行下一步，如果没有则继续返回采集托盘上物品的重量；步骤S4：用摄像头采集托盘上物品的图像；步骤S5：将采集的物品图片，输入训练好的目标检测神经网络；步骤S6：目标检测神经网络的检测结果，与前一次采集的图片进行比较，判断出承重托盘上发生改变的物品种类，根据每一类物品的位置坐标，判断哪些物品是同一个，哪些物品是新增的，哪些物品是移除的；步骤S7：识别出物品后，通过查询物品信息数据库，计算处理物品信息，如计算物品总价，在触摸显示屏上显示物品的总价格、名字、厂商、生产日期等信息。

具体地，图4描述了一个通用目标检测的深度神经网络模型，结构如图4所示。

Claims (4)

1.一种基于视频分析多品种物品连续自动识别称重机，其特征在于：包括上触摸显示屏、摄像头、支撑杆、承重托盘和控制器，所述承重托盘上设有支撑杆，所述支撑杆中部通过连接杆连接有摄像头，支撑杆顶端设有上触摸显示屏，所述承重托盘边侧还设有打签口、扬声器及USB接口，所述承重托盘内部设有控制器、重量传感器、存储器、存储卡、通信模块、电源模块及价签打印机，所述控制器分别与重量传感器、存储器、存储卡、通信模块、电源模块、价签打印机、触摸显示屏、扬声器、USB接口及相机连接。

2.根据权利要求1所述的一种基于视频分析多品种物品连续自动识别称重机，其特征在于：所述控制器包括arm处理器及GPU。

3.根据权利要求1所述的一种基于视频分析多品种物品连续自动识别称重机，其特征在于：所述通信模块为无线通信模块。

4.一种基于视频分析多品种物品连续自动识别称重机的程序控制方法，其特征在于：包括以下步骤：

a.构建目标检测深度神经网络模型，模型必须能够多目标同时识别，并能检测到多目标相应的坐标，包括但不限于RCNN，fast RCNN，faster RCNN，SSD，YOLO等目标检测技术；

b.基于已标注坐标的物品样本图像训练步骤a中的目标检测深度学习模型，使其生成一个目标检测深度神经网络模型；

c.利用重量传感器连续采集承重托盘上所有品种物品的重量，连续记录下称重时间与称重的重量；

d.通过摄像头采集承重托盘上所有品种物品的图像并输入到步骤b中训练好的目标检测深度神经网络中进行检测，连续记录下物品检测时间、所有物品的种类和所有物品的坐标。根据连续视频帧物品种类和物品坐标变化，判断不同视频帧中的称重托盘上物品是否同一个，是否有新的物品放置到承重托盘，是否有承重托盘上的物品被拿走。最后得到每个物品在视频中连续的坐标位置；

e.根据步骤c，d中返回的物品信息，进行按需计算处理所称重所有品种物品的物品的相关信息。计算步骤如下：根据记录下来的称重时间、称重重量和每个物品在视频中对应称重时间的位置坐标，计算得到每个物品的重量。

f.称重和视频分析，步骤c、d保持同步。用户启动称重过程，步骤c、d同时开始。用户结束称重过程，步骤c、d同时结束。根据步骤e中计算得到的每个物品的品种和重量，查询物品单价，打印放入承重托盘每件物品单价、总价和所有物品总价，由价签打印机输出。

Images