CN108921642A - 一种基于计算机视觉的智能果蔬结算装置及方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的智能果蔬结算装置及方法。该方法包括首先构建果蔬数据集，利用Faster R‑CNN算法，训练果蔬识别模型；其次，摄像头获取果蔬图像，提取图像特征以识别果蔬种类，使用压力传感器返回果蔬重量。最后，终端服务器根据输出果蔬的识别结果及重量等信息并生成结算二维码，并在显示器显示，实现自动结算功能。通过大量真实场景测试，本发明提供的装置及方法对常见果蔬种类能够达到91.27％的平均识别率，单件商品结算时间约5秒，是正常人工结算方式所用时间的1/6。因此，与人工结算方式相比，本发明提供了更加方便、快捷的结算方法。另外，本发明提供的装置及方法还具有鲁棒性良好，自动化程度高，实时性好等优点。

Description

一种基于计算机视觉的智能果蔬结算装置及方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于计算机视觉的智能果蔬结算装置及方法。

背景技术

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。

超市中水果和蔬菜商品的售卖，大多还采用员工手动输入果蔬编码或扫描商品条码的方法，需要大量人力且耗时较长。因此，目前超市果蔬商品人工结算方式效率低，高峰时段易造成排长队问题。

发明内容

本发明的目的是提供一种基于计算机视觉的智能果蔬结算装置及方法，适用于多种果蔬识别，提高结算效率，且鲁棒性良好，自动化程度高，实时程度高。

为实现上述目的，本发明提供了如下方案：

一种基于计算机视觉的智能果蔬结算装置，所述智能果蔬结算装置包括一个用于盛放果蔬的托盘、设置在所述托盘的底部的压力传感器、与所述托盘相连且与所述托盘垂直的支架、安装在所述支架的顶端的摄像头、以及终端服务器和显示屏；

所述压力传感器用于采集放置在所述托盘内的果蔬的重量信息，并将所述重量信息传输至所述终端服务器，且当所述压力传感器采集到的重量值不为零时触发启动所述摄像头；

所述摄像头用于采集放置所述托盘内的果蔬的图像信息，并将所述图像信息传输至所述终端服务器；

所述终端服务器，与所述显示屏连接，用于根据所述图像信息以及预选存储的果蔬识别模型确定所述图像信息对应的果蔬信息，并将所述果蔬信息发送至所述显示屏显示；所述果蔬信息包括果蔬种类以及果蔬单价；

所述终端服务器还用于根据所述重量信息和所述果蔬信息生成结算二维码，并将所述结算二维码发送至所述显示屏显示。

可选的，所述终端服务器内的软件系统是在Linux系统开发获得的；所述终端服务器包括OpenCV开源工具库和qrcode-terminal库；所述终端服务器使用所述OpenCV开源工具库实现图像信息的读取和显示，所述终端服务器使用所述qrcode-terminal库进行结算二维码的显示。

可选的，所述摄像头的观测位置与所述托盘的放置位置之间的夹角为45度至90度。

可选的，所述摄像头为网络免驱摄像头。

可选的，所述终端服务器上设置结算按钮；所述终端服务器还用于获取所述结算按钮触发的结算信号，并根据所述结算信号、所述重量信息以及所述果蔬信息生成结算二维码。

可选的，所述智能果蔬结算装置还包括Arduino开源硬件平台；所述压力传感器通过所述Arduino开源硬件平台与所述终端服务器通信。

可选的，所述压力传感器与所述Arduino开源硬件平台之间、所述Arduino开源硬件平台与所述终端服务器之间、所述摄像头与所述终端服务器之间、所述终端服务器与所述显示屏之间均通过串行通信接口连接。

可选的，所述压力传感器的个数为2个，分别设置在所述托盘的底部的两端处。

可选的，两个所述压力传感器均为压阻式传感器；所述压阻式传感器的上下表面各设有一个应变片，且每个所述应变片内设置2个压力电阻；所述压阻式传感器中所有的所述压力电阻组成全桥式电路。

本发明还提供了一种基于计算机视觉的智能果蔬结算方法，所述智能果蔬结算方法包括：

构建果蔬数据集；所述果蔬数据集为在每张果蔬图像上均标注果蔬种类和果蔬所在位置的图像集；

选取RESNET模型作为特征提取的基础网络，采用Faster R-CNN算法和所述果蔬数据集训练所述RESNET模型，并以损失函数最小化为准则对训练后的RESNET模型进行微调处理，得到果蔬识别模型；

获取放置在托盘内的果蔬的重量信息和图像信息；

将所述图像信息输入到所述果蔬识别模型中，确定所述图像信息对应的果蔬信息；所述果蔬信息包括果蔬种类以及果蔬单价；

根据所述重量信息和所述果蔬信息生成结算二维码。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于计算机视觉的智能果蔬结算装置及方法，该装置包括一个用于盛放果蔬的托盘、设置在托盘的底部的压力传感器、与托盘相连且与托盘垂直的支架、安装在支架的顶端的摄像头、以及终端服务器和显示屏；压力传感器用于采集放置在托盘内的果蔬的重量信息，并将重量信息传输至终端服务器，且当压力传感器采集到的重量值不为零时触发启动摄像头；摄像头用于采集放置托盘内的果蔬的图像信息，并将图像信息传输至终端服务器；终端服务器，与显示屏连接，用于根据图像信息以及预选存储的果蔬识别模型确定图像信息对应的果蔬信息，并将果蔬信息发送至显示屏显示；果蔬信息包括果蔬种类以及果蔬单价；终端服务器还用于根据重量信息和果蔬信息生成结算二维码，并将结算二维码发送至显示屏显示。因此，采用本发明提供的装置及方法，能够实现多种果蔬识别，提高结算效率，且鲁棒性良好，自动化程度高，实时程度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于计算机视觉的智能果蔬结算装置的结构框图；

图2为本发明实施例智能果蔬结算装置的串口通信示意图；

图3为本发明实施例智能果蔬结算装置的界面显示图；

图4为本发明实施例终端服务器的软件流程示意图；

图5为本发明实施例基于计算机视觉的智能果蔬结算方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于计算机视觉的智能果蔬结算装置及方法，适用于多种果蔬识别，提高结算效率，且鲁棒性良好，自动化程度高，实时程度高。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供的智能果蔬结算装置能够检测出水果和蔬菜的种类并返回其重量，生成结算二维码，自动完成结算。

本发明实施例提供的智能果蔬结算装置的整体框图如图1所示，主要由果蔬识别模型配合硬件部分组成。其中，本发明实施例提供的智能果蔬结算装置包括：一个用于盛放果蔬的托盘、设置在所述托盘的底部的压力传感器、与所述托盘相连且与所述托盘垂直的支架、安装在所述支架的顶端的摄像头、以及终端服务器和显示屏；所述摄像头的观测位置与所述托盘的放置位置之间的夹角为45度至90度。所述摄像头的视野完全覆盖整个所述托盘。所述摄像头为网络免驱摄像头，优选为网络摄像头HD-72(1080P)；

所述智能果蔬结算装置还包括Arduino开源硬件平台，优选为Arduino MEGA2560；所述压力传感器通过所述Arduino开源硬件平台与所述终端服务器通信。

所述压力传感器用于采集放置在所述托盘内的果蔬的重量信息，并将所述重量信息通过所述Arduino开源硬件平台传输至所述终端服务器，且当所述压力传感器采集到的重量值为零时触发启动所述摄像头。

所述摄像头用于采集放置所述托盘内的果蔬的图像信息，并将所述图像信息传输至所述终端服务器。

所述终端服务器，与所述显示屏连接，用于根据所述图像信息以及预选存储的果蔬识别模型确定所述图像信息对应的果蔬信息，并将所述果蔬信息发送至所述显示屏显示；所述果蔬信息包括果蔬种类以及果蔬单价。

所述终端服务器还用于根据所述重量信息和所述果蔬信息生成结算二维码，并将所述结算二维码发送至所述显示屏显示。

所述终端服务器上设置结算按钮；所述终端服务器还用于获取所述结算按钮触发的结算信号，并根据所述结算信号、所述重量信息以及所述果蔬信息生成结算二维码。

为了避免使用单个压力传感器时果蔬放置位置与托盘中心位置较远时会产生较大的误差。本发明实施例采用两个压力传感器，分别设置在所述托盘的底部的两端处，所称重量为两个压力传感器返回数值的算术平均。实验证明这样的结构所称果蔬重量较为准确。

两个所述压力传感器均为压阻式传感器；所述压阻式传感器的上下表面各设有一个应变片，且每个所述应变片内设置2个压力电阻；所述压阻式传感器中所有的所述压力电阻组成全桥式电路，检测精度较高；其中压阻式传感器输出的压力信号接适用于高精度电子秤24位A/D转换器HX711，输出重量数字信号至Arduino开源硬件平台。

图2为本发明实施例智能果蔬结算装置的串口通信示意图，如图2所示，所述压力传感器与所述Arduino开源硬件平台之间、所述Arduino开源硬件平台与所述终端服务器之间、所述摄像头与所述终端服务器之间、所述终端服务器与所述显示屏之间均通过串行通信接口连接。其中，所述压力传感器与所述Arduino开源硬件平台之间、所述Arduino开源硬件平台与所述终端服务器之间、所述摄像头与所述终端服务器之间均通过USB接口通信；所述终端服务器与所述显示屏之间通过VGA接口通信。

本发明实施例提供的智能果蔬结算装置具体流程为：结算时，压力传感器返回重量数据至Arduino开源硬件平台并传送到终端服务器，Arduino开源硬件平台将返回的重量数据经过串行通信接口传输至终端服务器。同时，当压力传感器重量数据不为零时，触发启动摄像头，获取托盘上的水果或蔬菜图像。然后，果蔬识别模型对采集到的果蔬图像进行识别，并将识别的果蔬种类返回到终端服务器。最后，当确定购买完毕后，在终端服务器上按下结算按钮，终端服务器生成结算二维码，并将所有信息在显示屏上进行显示。扫描结算二维码，即可自动完成结算。其中，本发明实施例提供的智能果蔬结算装置的界面显示如图3所示。

所述终端服务器的软件系统基于Linux平台下Ubuntu14.04系统开发，使用OpenCV开源工具库(Open Source ComputerVision Library)实现摄像头图像的读取和显示，使用qrcode-terminal库进行结算二维码的显示。

由于摄像头为网络免驱摄像头，所以在软件系统的程序初始化部分，只对串口驱动相关参数进行设置。在Linux环境下，串口的设备文件是/dev/ttyUSB*(*为数字0、1或2)。编写port＝serial.Searal('/dev/ttyUSB1',9600,timeout＝0.5)函数，打开串口，读取重量数据。本发明实施例中串口的相关参数波特率9600，8位数据位，无校验位，1位停止位。使用data_temp＝port.readline()来监听串口，使用weight＝float(data_temp.strip('\n'))接受串口数据，得到重量信息。

果蔬识别模型采用Faster R-CNN算法。Faster R-CNN算法引入了RPN(RegionProposal Network)全卷积网络，使得整个网络模型可以实现端到端的检测任务，而不需要先执行特定的候选框搜索算法，显著提升了模型的检测速度。训练时，使用RESNET模型作为基础网络进行特征提取，之后将候选区域边框映射到该特征图中，获取相应的特征信息。将特征信息所表示的特征向量分别进行Softmax分类与边界框回归，即可预测每个类别的概率得分与预测位置。

卷积神经网络模型的效果及优化的目标是通过损失函数(Loss Function)来定义的，以最小化损失函数为原则，通过定义的损失函数来对训练模型的参数进行微调。

所述终端服务器的软件流程分为果蔬识别模型的离线训练与果蔬在线识别任务，如图4所示，终端服务器通过对串口信息的监听，根据不同的命令执行不同的操作，包括果蔬模型样本训练命令和果蔬种类检测识别命令。由训练命令得到的果蔬识别模型，可对摄像头返回的检测图像进行检测，得到最终的识别结果。其中，检测识别命令用于打开摄像头获取检测图像，对获取到的每一帧图像，利用训练得到的果蔬识别模型进行检测，得到最终的检测结果，并对结果进行显示。OpenCV库提供了相关操作的函数：使用cv2.VideoCapture函数打开摄像头，利用read函数来获得每一帧图像，采用cv2.imshow函数进行检测结果的显示。

为实现上述目的，本发明还提供了一种基于计算机视觉的智能果蔬结算方法。

图5为本发明实施例基于计算机视觉的智能果蔬结算方法的流程示意图，如图5所示，本发明实施例提供的智能果蔬结算方法，具体包括以下几个步骤。

步骤100：构建果蔬数据集；所述果蔬数据集为在每张果蔬图像上均标注果蔬种类和果蔬所在位置的图像集。

步骤200：选取RESNET模型作为特征提取的基础网络，采用Faster R-CNN算法和所述果蔬数据集训练所述RESNET模型，并以损失函数最小化为准则对训练后的RESNET模型进行微调处理，得到果蔬识别模型。

步骤300：获取放置在托盘内的果蔬的重量信息和图像信息。

步骤400：将所述图像信息输入到所述果蔬识别模型中，确定所述图像信息对应的果蔬信息；所述果蔬信息包括果蔬种类以及果蔬单价。

步骤500：根据所述重量信息和所述果蔬信息生成结算二维码。

在本发明实施例中果蔬数据集共有23621张标注图片，包括苹果、香蕉、草莓、菠萝、橙子、柠檬、榴莲、石榴、白菜、西兰花、花椰菜、黄瓜、丝瓜、灯笼椒、玉米共15种果蔬样本。以不同的亮度、姿态和个数呈现。为防止果蔬数据集过拟合，本发明实施例提供的果蔬数据集中图片数量均衡。

本发明实施例提供的果蔬数据集由三部分组成：一部分是对果蔬的各个角度进行视频拍摄，以抽帧的方式得图像，由像素分割得到单个果蔬的前景图像，并采用贴图的方式随机粘贴到背景图上得到大量的样本图像；另一部分是在超市真实场景中拍摄的果蔬图像，这一部分数据的标注以整张图片的内容作为物体的位置信息。为了提高果蔬识别模型的鲁棒性，第三部分数据添加了ImageNet数据集中的部分图像。最后综合所有得到的图片，作为本发明实施例的果蔬数据集。

步骤200具体包括：

1)将果蔬数据集按照6:2:2分成三份分别作为训练集、验证集和测试集。

2)采用RESNET模型作为特征提取的基础网络，利用训练集进行模型的训练。

3)通过损失函数最小化原则对模型进行微调后得到最终的果蔬识别模型。

4)输入测试图像，通过检测网络得到检测果蔬类别及概率得分。

在训练过程中将所有输入的图像按比例缩放并使得图像短边为600像素，保证图像不会发生形变，再经过RESNET模型得到果蔬图像的特征图。最后用于得到分类结果的损失函数采用softmax损失。

为验证本发明提供的装置及方法的有效性，采用准确率(Accuracy)来衡量检测性能。计算公式如下：

其中，TP(Truepositive)表示正样本正确识别率；FP(False positive)表示负样本错误识别率；TN(True)表示正样本错误识别率。各样本检测结果见表1。

表1实验样本检测结果

实验表明，智能果蔬结算装置的果蔬识别模型对于果蔬种类检测识别准确率不低于84.6％，且整个装置的结算响应时间不超过5秒。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于计算机视觉的智能果蔬结算装置，其特征在于，所述智能果蔬结算装置包括一个用于盛放果蔬的托盘、设置在所述托盘的底部的压力传感器、与所述托盘相连且与所述托盘垂直的支架、安装在所述支架的顶端的摄像头、以及终端服务器和显示屏；

所述压力传感器用于采集放置在所述托盘内的果蔬的重量信息，并将所述重量信息传输至所述终端服务器，且当所述压力传感器采集到的重量值不为零时触发启动所述摄像头；

所述摄像头用于采集放置所述托盘内的果蔬的图像信息，并将所述图像信息传输至所述终端服务器；

所述终端服务器，与所述显示屏连接，用于根据所述图像信息以及预选存储的果蔬识别模型确定所述图像信息对应的果蔬信息，并将所述果蔬信息发送至所述显示屏显示；所述果蔬信息包括果蔬种类以及果蔬单价；

所述终端服务器还用于根据所述重量信息和所述果蔬信息生成结算二维码，并将所述结算二维码发送至所述显示屏显示。

2.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述终端服务器内的软件系统是在Linux系统开发获得的；所述终端服务器包括OpenCV开源工具库和qrcode-terminal库；所述终端服务器使用所述OpenCV开源工具库实现图像信息的读取和显示，所述终端服务器使用所述qrcode-terminal库进行结算二维码的显示。

3.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述摄像头的观测位置与所述托盘的放置位置之间的夹角为45度至90度。

4.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述摄像头为网络免驱摄像头。

5.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述终端服务器上设置结算按钮；所述终端服务器还用于获取所述结算按钮触发的结算信号，并根据所述结算信号、所述重量信息以及所述果蔬信息生成结算二维码。

6.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述智能果蔬结算装置还包括Arduino开源硬件平台；所述压力传感器通过所述Arduino开源硬件平台与所述终端服务器通信。

7.根据权利要求6所述的智能果蔬结算装置，其特征在于，所述压力传感器与所述Arduino开源硬件平台之间、所述Arduino开源硬件平台与所述终端服务器之间、所述摄像头与所述终端服务器之间、所述终端服务器与所述显示屏之间均通过串行通信接口连接。

8.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述压力传感器的个数为2个，分别设置在所述托盘的底部的两端处。

9.根据权利要求8所述的智能果蔬结算装置，其特征在于，两个所述压力传感器均为压阻式传感器；所述压阻式传感器的上下表面各设有一个应变片，且每个所述应变片内设置2个压力电阻；所述压阻式传感器中所有的所述压力电阻组成全桥式电路。

10.一种基于计算机视觉的智能果蔬结算方法，其特征在于，所述智能果蔬结算方法包括：

构建果蔬数据集；所述果蔬数据集为在每张果蔬图像上均标注果蔬种类和果蔬所在位置的图像集；

选取RESNET模型作为特征提取的基础网络，采用Faster R-CNN算法和所述果蔬数据集训练所述RESNET模型，并以损失函数最小化为准则对训练后的RESNET模型进行微调处理，得到果蔬识别模型；

获取放置在托盘内的果蔬的重量信息和图像信息；

将所述图像信息输入到所述果蔬识别模型中，确定所述图像信息对应的果蔬信息；所述果蔬信息包括果蔬种类以及果蔬单价；

根据所述重量信息和所述果蔬信息生成结算二维码。