CN111275906A - 基于ssd算法的智能称重水果识别系统 - Google Patents

基于ssd算法的智能称重水果识别系统 Download PDF

Info

Publication number
CN111275906A
CN111275906A CN202010095732.9A CN202010095732A CN111275906A CN 111275906 A CN111275906 A CN 111275906A CN 202010095732 A CN202010095732 A CN 202010095732A CN 111275906 A CN111275906 A CN 111275906A
Authority
CN
China
Prior art keywords
microprocessor
ssd
articles
intelligent
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010095732.9A
Other languages
English (en)
Inventor
谭博文
颜渤汶
郑昆朋
黄柯崴
翟柯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010095732.9A priority Critical patent/CN111275906A/zh
Publication of CN111275906A publication Critical patent/CN111275906A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G07G1/06—Details for indicating with provision for the noting of the money to be paid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明请求保护一种基于SSD算法的智能称重水果识别系统，其包括：重力传感器、摄像头识别装置、微处理器、人机交互信息显示装置，所述微处理器分别与重力传感器、摄像头识别装置、人机交互信息显示装置相连接，智能称重水果识别系统通过摄像头识别装置拍摄购物袋中物品照片，利用微处理器内置的SSD算法模型对拍摄的照片进行机器识别，利用重力传感器检测物品重量，获得物品重量信息并以模拟差分电压信号传送至微处理器，最后微处理器利用物品识别信息与物品重量计算出相应价格。本发明可以提高商品结算速度，改善顾客购物体验，提高超市工作与管理效率，具有广阔的市场前景。

Description

基于SSD算法的智能称重水果识别系统
技术领域
本发明属于称重识别平台的系统，具体为一种通过重力传感系统将重量数据传递给微处理器，同时利用微处理中内置的SSD算法对区域物体进行识别，将获得的重量数据与物体标签进行运算得到价格。
背景技术
当今计算机识别技术以逐渐走向成熟，广泛应用于各类场景。为了提高准确度以及效率科研人员提出了各类算法，其中SSD算法属于one-stage是一种基于深度学习的回归方法，其优势在于运行速度快，能保证一定的实时性而广受人们青睐。
针对目前水果超市商品计价经营模式效率低下人力成本高的问题。(然而由于超市的各类物品繁多，因此若使用SSD算法来进行商品识别，势必需要大量的数据集来保证其识别的准确度，但许多超市无法做到这一点使得SSD算法并不广泛应用于各类大型超市。然而针对于水果超市，商品的种类与数量有了指数比例的下降，并在网上有公开的数据集供我们训练。)
发明内容
本发明旨在解决现有技术中存在的超市运行效率与用户购物便利问题。提出了一种基于SSD算法的智能称重水果识别系统。本发明的技术方案如下：
一种基于SSD算法的智能称重水果识别系统，其包括：重力传感器、摄像头识别装置、微处理器、人机交互信息显示装置，所述微处理器分别与重力传感器、摄像头识别装置、人机交互信息显示装置相连接，智能称重水果识别系统通过摄像头识别装置拍摄购物袋中物品照片，利用微处理器内置的SSD单次检测器算法模型对拍摄的照片进行机器识别，将图像数据作为输入传至微处理内置的SSD模型中，最后得到输出水果的分类，利用重力传感器检测物品重量，获得物品重量信息并以模拟差分电压信号传送至微处理器，最后微处理器利用物品识别信息与物品重量计算出相应价格。
进一步的，所述重力传感器使用单平行梁称重传感器，安装在称重台受力中心，物品重量信息以模拟差分电压信号传送给微处理器，称重台为60cm×40cm的矩形体，外壳材质为铝合金。
进一步的，所述摄像头识别装置的摄像头安装在称重台边沿，摄像头呈45度向下倾斜，摄像头识别装置由微处理器控制，实时将拍摄信息通过连接线传送至微处理器。
进一步的，所述人机交互信息显示装置使用分辨率为480*320的24色串口触摸彩屏，使用者通过触摸屏操作，实现人机交互控制。
进一步的，所述微处理器为基于Linux的单片机系统，该系统内置了SSD算法来进行目标检测与识别，通过搭建MySQL数据库对物品价格进行实时调动，利用I/O口来进行重量数据的接收。
进一步的，所述SSD算法进行目标检测与识别的步骤具体包括：
首先利用外置的摄像头，对水果图像进行采集，紧接着将图像数据传入微处理器的内置SSD模型中，将图像数据裁剪为300X300作为输入，通过VGG-16框架来提取目标特征，再依次通过conv6，conv7，conv8、conv9_2,conv10_2,conv11_2,一系列的feature map，最后通过softmax层，得到各个类别的预测值，并选取预测值最大的类别，返回其名称。
本发明的优点及有益效果如下：
本发明主要创新点在于结合压力传感器与微处理器来实现自动识别计价这一功能，能够极大便利各大零销商，其中，微处理中内置的SSD算法，为一典型的目标检测算法，能够对物品进行检测并识别。目前普遍超市的无人设备为RFID扫描，亦或是分区域的人脸跟踪行为识别，这两种方法虽然能够很好的对超市进行无人化的升级，然而，前一种依然需要顾客来进行操作，后一种成本太高且无法对散装物品进行销售。反观本发明，能够很好的适应散装水果超市，顾客通过自有选购商品，放入设备进行识别后，便可得到对应的价格并利用交互式平台付款，将功能一体化。并且，现在的识别率能够达到97％以上。
根据以上的结构，实现了超市称重的全自动化，节约了人力成本，提高了超市的运行效率，降低了称重人员记错的可能性。
附图说明
图1是是智能称重识别机部分结构示意图。
图2是智能称重识别机部分基本尺寸示意图。
图3是SSD算法结构示意图。
其中，1-交互平台显示屏2-摄像头3-称重台4-RFID阅读器5-主控箱体。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明提供了一种智能称重识别系统，其包括：重力传感器部分，摄像头识别装置部分，微处理器部分，人机交互信息显示部分，除摄像头识别装置部分与重力传感器部分，其他设备部分与电路结构都封装在主控箱体内。
优选的，所述的重力传感器，使用单平行梁称重传感器，安装在称重台受力中心，称重台为60cm×40cm的矩形体(图1-3)，外壳材质为铝合金。
优选的，所述摄像头识别装置，安装在称重台边沿支架上，呈45度向下倾斜(图1-2)，由微处理器控制，实时拍摄物品信息用以物品识别。
结合第一方面，所述人机交互信息显示部分，其主要由尺寸为480*320的24色串口触摸屏构成，安装与智能称重识别机正面(图1-1)，用户通过触屏操作完成人机交互，当物品重量与价格确定后，智能称重识别机将物品重量，价格显示在显示屏中，并弹出指定金额的二维码。
用户将单种物品装入透明塑料袋中，当用户需要对购买物品进行付款时，触碰显示器开始界面，在显示器的提示下，逐一放上选购的物品，重力传感器会将当前的重量信息传递给处理器，并通过摄像头识别装置识别当前物品种类，将该种类的单价从MySQL数据库中提取出来，计算当前物品的价格，重复此操作，直到用户触碰显示器结束界面，显示器会弹出用户对应应付金额的二维码。
如图3，将图像数据裁剪为300X300作为输入，通过VGG-16框架来提取目标特征，再依次通过conv6，conv7，conv8、conv9_2,conv10_2,conv11_2,一系列的feature map，最后通过softmax层，得到各个类别的预测值。该算法的检测速率非常快，得益于去掉了boundingbox proposal以及后续的pixel或feature的resampling步骤。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于SSD算法的智能称重水果识别系统，其特征在于，包括：重力传感器、摄像头识别装置、微处理器、人机交互信息显示装置，所述微处理器分别与重力传感器、摄像头识别装置、人机交互信息显示装置相连接，智能称重水果识别系统通过摄像头识别装置拍摄购物袋中物品照片，利用微处理器内置的SSD单次检测器算法模型对拍摄的照片进行机器识别，将图像数据作为输入传至微处理内置的SSD模型中，最后得到输出水果的分类，利用重力传感器检测物品重量，获得物品重量信息并以模拟差分电压信号传送至微处理器，最后微处理器利用物品识别信息与物品重量计算出相应价格。
2.根据权利要求1所述的基于SSD算法的智能称重水果识别系统，其特征在于，所述重力传感器使用单平行梁称重传感器，安装在称重台受力中心，物品重量信息以模拟差分电压信号传送给微处理器，称重台为60cm×40cm的矩形体，外壳材质为铝合金。
3.根据权利要求1所述的基于SSD算法的智能称重水果识别系统，其特征在于，所述摄像头识别装置的摄像头安装在称重台边沿，摄像头呈45度向下倾斜，摄像头识别装置由微处理器控制，实时将拍摄信息通过连接线传送至微处理器。
4.根据权利要求1所述的基于SSD算法的智能称重水果识别系统，其特征在于，所述人机交互信息显示装置使用分辨率为480*320的24色串口触摸彩屏，使用者通过触摸屏操作，实现人机交互控制。
5.根据权利要求1所述的基于SSD算法的智能称重水果识别系统，其特征在于，所述微处理器为基于Linux的单片机系统，该系统内置了SSD算法来进行目标检测与识别，通过搭建MySQL数据库对物品价格进行实时调动，利用I/O口来进行重量数据的接收。
6.根据权利要求5所述的基于SSD算法的智能称重水果识别系统，其特征在于，所述SSD算法进行目标检测与识别的步骤具体包括：
首先利用外置的摄像头，对水果图像进行采集，紧接着将图像数据传入微处理器的内置SSD模型中，将图像数据裁剪为300X300作为输入，通过VGG-16框架来提取目标特征，再依次通过conv6，conv7，conv8、conv9_2,conv10_2,conv11_2,一系列的feature map，最后通过softmax层，得到各个类别的预测值，并选取预测值最大的类别，返回其名称。
CN202010095732.9A 2020-02-17 2020-02-17 基于ssd算法的智能称重水果识别系统 Pending CN111275906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010095732.9A CN111275906A (zh) 2020-02-17 2020-02-17 基于ssd算法的智能称重水果识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010095732.9A CN111275906A (zh) 2020-02-17 2020-02-17 基于ssd算法的智能称重水果识别系统

Publications (1)

Publication Number Publication Date
CN111275906A true CN111275906A (zh) 2020-06-12

Family

ID=71002776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010095732.9A Pending CN111275906A (zh) 2020-02-17 2020-02-17 基于ssd算法的智能称重水果识别系统

Country Status (1)

Country Link
CN (1) CN111275906A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107084780A (zh) * 2017-05-12 2017-08-22 智锐达仪器科技南通有限公司 一种智能电子秤及相应的称重方法
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN108846401A (zh) * 2018-05-30 2018-11-20 京东方科技集团股份有限公司 商品检测终端、方法、系统以及计算机设备、可读介质
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法
CN109543748A (zh) * 2018-11-19 2019-03-29 中国石油大学(华东) 一种基于多模型融合的水果识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107084780A (zh) * 2017-05-12 2017-08-22 智锐达仪器科技南通有限公司 一种智能电子秤及相应的称重方法
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN108846401A (zh) * 2018-05-30 2018-11-20 京东方科技集团股份有限公司 商品检测终端、方法、系统以及计算机设备、可读介质
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法
CN109543748A (zh) * 2018-11-19 2019-03-29 中国石油大学(华东) 一种基于多模型融合的水果识别方法

Similar Documents

Publication Publication Date Title
CN109214806B (zh) 自助结算方法、装置以及存储介质
TWI681352B (zh) 訂單資訊確定方法和裝置
US10290031B2 (en) Method and system for automated retail checkout using context recognition
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
CN107767590A (zh) 物品自动识别商用条码电子秤及物品自动识别方法
CN109064630B (zh) 无人自动称重计价货柜系统
CN107403332B (zh) 货架取物侦测系统及方法
CN109886169B (zh) 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN110836717A (zh) 一种面向金融服务的果蔬智能识别和计价系统
WO2023280124A1 (zh) 称重处理方法、装置及称重设备
CN110942293A (zh) 物品信息的处理方法、设备、存储介质及系统
CN108197980B (zh) 个性化购物者的肖像生成方法/系统、存储介质及终端
JP3837475B2 (ja) 自動化ショッピングシステム
CN115861986A (zh) 基于超市自助结账系统的非标品智能识别及防损方法
CN212500605U (zh) 一种智能购物车
CN112154488B (zh) 信息处理装置、控制方法和程序
CN111275906A (zh) 基于ssd算法的智能称重水果识别系统
CN110782599A (zh) 用于自助收款的商品识别方法、自助收款装置及系统
CN111311304A (zh) 一种基于视频的智能无人超市管理系统
CN211602126U (zh) 基于rfid与机器视觉的智能称重识别装置
CN115294325A (zh) 一种售货柜商品动态识别系统、方法、介质、设备及终端
CN212391834U (zh) 一种新型无人售货柜
CN112530108B (zh) 一种基于人脸识别和智能感知的自助结账系统及方法
Kaushik et al. Revamping Supermarkets With AI and RSSi
CN113919417A (zh) 一种智能称重方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612