CN115294325A - 一种售货柜商品动态识别系统、方法、介质、设备及终端 - Google Patents

一种售货柜商品动态识别系统、方法、介质、设备及终端 Download PDF

Info

Publication number
CN115294325A
CN115294325A CN202210881055.2A CN202210881055A CN115294325A CN 115294325 A CN115294325 A CN 115294325A CN 202210881055 A CN202210881055 A CN 202210881055A CN 115294325 A CN115294325 A CN 115294325A
Authority
CN
China
Prior art keywords
commodity
identification
intelligent
sales counter
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210881055.2A
Other languages
English (en)
Inventor
秦勃
仲国强
徐海东
荆官正
刘�文
刘翔
帅军
马东洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Easy Touch Technology Co ltd
Ocean University of China
Original Assignee
Qingdao Easy Touch Technology Co ltd
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Easy Touch Technology Co ltd, Ocean University of China filed Critical Qingdao Easy Touch Technology Co ltd
Priority to CN202210881055.2A priority Critical patent/CN115294325A/zh
Publication of CN115294325A publication Critical patent/CN115294325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本发明属于深度学习与智能设备控制技术领域，公开了一种售货柜商品动态识别系统、方法、介质、设备及终端，设计基于商品识别的轻量化目标检测网络模型，对模型进行边缘智能设备端移植部署，基于不同环境复杂度性设计并实现单目/双目售货柜商品动态识别。本发明对轻量化多尺度多目标追踪检测网络进行基于边缘智能设备JestonNano的移植部署，应用TensorRT对商品识别网络模型进行加速，使得商品动态识别系统的检测识别在嵌入式终端完成，使得用户使用智能售货柜时有较好购物体验；在简单化环境与光照场景下，使用单目商品动态识别系统，提高识别速度；在复杂环境与复杂光照场景下，使用目商品动态识别系统，提高识别准确率。

Description

一种售货柜商品动态识别系统、方法、介质、设备及终端
技术领域
本发明属于深度学习与智能设备控制技术领域，尤其涉及一种售货柜商品动态识别系统、方法、介质、设备及终端。
背景技术
当前市面上存在的智能售货柜销售系统分为两种，第一种是通过扫描二维码完成商品交易：用户通过微信或者支付宝扫码选择商品，随后完成支付后商品从售货柜中弹出，用户拿取商品。此类售货系统存在较多缺陷，第一是非开放式的购物形式导致售货柜空间利用率变低，售货柜本身需要安装卡带装置，卡带装置由弹簧传送带和电机组成，每个商品都是放在一个卡槽内部，当进行购买商品时电机带动弹簧转动进行将货物推出，由于要求每个商品都是放置在卡槽内部的，所以导致空间利用率低；第二是售货柜故障率高，卡带装置的售货柜存在卡货现象，卡货现象的出现有时是由于传送带不旋转导致，有时是货物本身是不规则外形导致卡货，当出现卡货现象会导致售货柜需要维修人员前去维修，耗费大量人力；第三是交易时间长，用户每次购买商品时都需要进行扫码，然后挑选商品，然后付款结单，平均每单的交易时间较长，而且大多收售货柜的售卖系统不支持一次多个商品的购买，这导致在人流密集的场所需要进行排队等待购买，用户的体验感较差。
第二种是基于视觉识别技术的售货柜，该类智能售货柜采取开放式的柜门，通过扫码或者刷脸的形式确认用户身份后开门，随后通过识别技术进行商品识别与技术，与后台服务器链接在用户关闭柜门以后完成交易扣费。
第二代智能售货柜分为静态商品识别和动态商品识别两种形式。静态商品识别采用在每一层安置一个摄像头，结合重力传感器在用户进行交易时定位拿取物品所在层并进行目标检测，确定商品拿取种类与数量。该类智能售货柜的最大缺陷是每一层都安装重力传感器和摄像头导致整体柜子的成本大幅提高，不利于柜子大规模部署；基于此问题又出现了智能售货柜的动态商品识别模式，市面上搭载该模式的售货柜减少了摄像头成本，每个柜子设计一个或两个摄像头对用户的商品拿取进行识别分析，成本得到了显著降低。然而该种智能售货柜也存在以下缺陷：第一是交易步骤时间延时长，摄像头拍摄交易视频传给后端服务器进行识别并将结果传给商品结算系统后传回智能柜完成扣费交易显示，基本上当前基于此技术设计的智能售货柜在整个购买流程中会产生10～20秒的延时；第二是此类售货柜搭载的商品识别系统针对于商品目标过小、商品拿取速度过快导致商品虚化、用户一次拿取多个商品等问题的识别准确率较低，导致该系统无法完全脱离人工，需要在后台部署工作人员对交易中的关键帧进行快速查阅，确保不出现较多笔拿取问题，这反过来又提高了人工成本。因此，亟需设计一种新的售货柜商品动态识别系统，以弥补现有售货柜的缺陷。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统的不加视觉识别系统的售货柜装置空间小，利用率低，故障率高；且购物流程复杂，交易时间过长，不能够任意拿取商品和数量，使用体验较差。
(2)现有的部署静态视觉识别系统的售货柜每一层都安装重力传感器和摄像头导致整体柜子的成本大幅提高，不利于柜子大规模部署。
(3)现有的部署动态视觉识别系统的售货柜的交易步骤时间延时长，识别准确率较低，导致该系统无法完全脱离人工，提高了人工成本。
解决以上问题及缺陷的难度为：
(1)解决交易时间过长，交易流程复杂的问题难度分析：需要在保证网络准确率的情况下，依托售货柜有限计算硬件资源，去提高识别的速度和增加多目标识别的准确率，这为模型的构建与模型部署的方式提出了较大的要求。
(2)解决过多装置增设导致的成本较高问题难度分析：静态视觉识别系统每一层都需提供一个重力感应设备和一个摄像头，一般售货柜则需要6个重力传感器和6个摄像头，本发明基于两个摄像头通过角度调整实现智能柜区域全覆盖，并且去掉了所有的重力传感装置，这在减少成本的同时，对模型的精准性产生了较大难度。
(3)识别系统嵌入式部署的问题难度分析：为解决交易时长，本发明提出将网络部署到前端边缘智能设备上，使得视觉识别不需要将视频流通过外网传输到服务器上再计算，在本地完成商品的识别，这对网络的压缩与轻量化和部署产生难题。
(4)单双目商品识别系统的设计难度分析：基于不同的环境复杂度对商品识别系统进行动态的转化，在简单环境下具有更快的速度，在复杂环境下具有更准确的识别率，这对单双目商品识别系统的设计与转化产生较大挑战。
解决以上问题及缺陷的意义为：
(1)在提高商品识别率的基础上，降低了售货柜部署成本，有利于售货柜的大规模商用部署。
(2)针对不同环境进行不同系统的设计与转化，能够让本发明提到的系统更具有环境普适性。
(3)本发明的系统应用能大大提高商品的购买效率，减少等待时间，极大提升用户购物体验。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种售货柜商品动态识别系统、方法、介质、设备及终端，尤其涉及一种基于边缘智能设备的售货柜商品动态识别系统、方法、介质、设备及终端。所述技术方案如下：
本发明是这样实现的，一种售货柜商品动态识别方法，所述售货柜商品动态识别方法包括：
设计基于商品识别的轻量化目标检测网络模型，对模型进行边缘智能设备端移植部署，基于不同环境复杂度性设计并实现单目/双目售货柜商品动态识别。
在一个实施例中，所述售货柜商品动态识别方法包括以下步骤：
步骤一，利用改进的YOLO算法，构建轻量化商品检测识别网络，推理图片中商品的种类数目；对智能售货柜上摄像装置采集到的实时图像进行货物检测识别，并将每张图像的识别结果信息存储在内存中；
步骤二，将步骤一中构建的轻量化检测识别网络转化为ONNX模型；得到ONNX模型后，再使用TensorRT在Jestonnano终端设备上进行加速推理；
步骤三，进行当前售货柜的场景环境采集，得到环境因素，并对部署Jeston Nano的智能柜进行设计；
步骤四，基于边缘智能设备进行商品动态识别系统的部署与工作，包括识别信息触发监听、视频图像获取、商品检测、商品跟踪以及商品售卖判断，并返回系统识别结果。
在一个实施例中，所述步骤一中的每张图像的识别结果信息包括检测到的商品的位置和类别；其中，所述商品的位置包括左上角点、宽和高。
在一个实施例中，所述步骤二中，使用的网络模型训练框架为PyTorch，通过模型训练产生二进制权重文件；利用Pytorch的ONNX转化功能，将模型的权重值与神经网络的流动信息、每一层的输入输出信息及其他辅助信息打包并导出为ONNX格式。
对ONNX文件进行读取，解析模型后进行优化，所述优化方式是层间融合和张量融合即模型层间的横向或纵向合并，从而加快模型的计算速度并以序列化文件形式保存到在边缘智能设备JestonNano上的磁盘中，TensorRT可以对优化后的模型序列化并进行加速推理，监测模型推理运行情况：将Jeston与智能售货柜对接，用户扫脸或扫码后，触发开门信号和视频采集信号，打开摄像头采集视频，随后模拟拿取操作，关闭智能柜门后，查看商品识别的信息输出，并重复多组求得准确率。
在一个实施例中，所述步骤三中的进行当前售货柜的场景环境采集，得到环境因素Fa包括：
Fa＝ν·∑(Ln+Lp+p+C)；
Figure BDA0003764174650000041
其中，Ln表示自然光照变化阈值，LP表示人工光照变换阈值，p为每小时平均人流量的归一化系数，C为售货柜货物种类归一化系数；设定阈值系数ν，Fa≤1时边缘智能设备JestonNano开启单目智能售货柜商品动态识别系统，
Fa＞1时转化启动双目智能售货柜商品动态识别系统。
在一个实施例中，所述部署JestonNano的智能柜包括两个150°广角无畸变网络摄像头，一个智能边缘设备JestonNano，一个LED智能显示屏和Android工控机，一个小型交换机，一个智能柜。
其中，所述广角无畸变网络摄像头，用于进行视频录制，获取25帧/秒的高清视频流，并将视频流传递到智能边缘设备JestonNano中；
所述智能边缘设备JestonNano，用于进行视频切割和图像识别，并将识别情况在LED智能显示屏和Android工控机上进行反馈显示；
所述小型交换机，用于将广角无畸变网络摄像头、智能边缘设备JestonNano、LED智能显示屏和Android工控机进行网络链接，并部署在同一局域网中；
所述智能柜包括柜体、柜架和五层支架。
在一个实施例中，所述步骤四中的基于边缘智能设备进行商品动态识别系统的部署与工作包括：
(1)识别信息触发监听：通过实时监听售货柜开门信息的方式检测算法运算触发；通过扫码或者刷脸基于微信或支付宝绑定个人信息后，Android工控机向智能柜子发射开门电平信号，信号同步触发识别检测算法的运行机制，检测算法执行，拉取摄像头开始进行视频的录制与传输。
(2)视频图像获取：读取前端网络摄像头的实时视频流，并对所述实时视频流进行解析从而得到实时图像。
(3)商品检测：边缘智能设备JestonNano通过局域网获取摄像头传来的视频流并解析后，利用构建的目标检测网络对得到的实时图像进行商品检测识别。
按照间隔2帧抽取一帧关键帧的思路，将关键图像流抓取；对关键图片进行缩放成512*512大小的标准图片，并输送到商品检测网络中，网络依据售卖场景训练的模型对图片组进行检测：按顺序将图片放入到检测网络中，设置阈值三元组PT＜label,num,position＞，并将连续图片的PTi(label,num,position)进行保存，其中label表示图片组中出现的商品类别，num表示图片组中出现的商品数量，position表示图片组中出现商品的位置信息；当出现6张及以上图片的PTi-x(label)一致时，则将PTi中的商品信息确定为检测信息；若未找到6张连续图片具有相同PTi-x(label)时，则通过计算所有识别图片PTi-x(label)相同的数量占比，存在某一个PTi-x(label)占比大于总和50％的情况，则PTi为商品识别检测出的信息，否则判定此次商品检测失败。
(4)商品跟踪：当商品初次出现在视频场景中时，认为用户手拿商品进行购买操作，进行实时跟踪并保存关键证据图像；保存关键证据图像的方法为：当商品初次出现时保存一张证据图像，持续跟踪所述商品，当所述商品的检测框与第一张保存得图像的检测框位置不重叠时保存第二张图像；当所述商品跟踪到消失时，保存消失前的最后一张图像，三张图像作为最后的证据图像组；最后设计了相应的图像组存储队列数据结构。
(5)商品售卖判断：根据单双目商品识别系统对商品售卖判断进行设计。
(6)返回系统识别结果：根据步骤(5)判断的结果将识别结果进行返回，当识别结果返回用户正常取货时，则根据用户购买的货物进行结单扣款；当返回识别的结果不正常时，则将购买流程进行人工审核，人工审核后再进行结单；所述不正常的返回结果包括商品非法放入、商品非法替换和放入未知商品。
在一个实施例中，所述步骤(5)中的根据单双目商品识别系统对商品售卖判断进行设计包括：
①单目商品售卖判断：获取场景环境系数Fa，Fa<1，售货柜进行单目形式的商品识别追踪；单目商品售卖判断仅使用智能柜子中间的摄像头，同时设定售货柜的下边缘线作为商品拿取和放入判定界限；当用户进行开门操作时，Android工控机发送指令开启摄像头，进行录制，并将图片保存在单目动态识别系统图像组存储队列中，将图片队列传入到步骤(3)的商品检测模块，进行商品的种类及数量的检测，当根据步骤(3)的算法描述检测到图片组中含有商品，则将原始图片队列再传入到步骤(4)的商品追踪模块，完成商品的追踪流程；针对用户行为进行分析，以基线将图片划分为两个区域a与b，基线以外为a，基线以内为b，当检测到的商品的中心位置不在同一区域时，说明有商品的拿取或放入行为：若商品追踪显示物品从a到b区域，则判定为放操作；若商品追踪显示物品从b到a区域，则判定为取操作；当三张证据图中的商品中心位置均处于同一区域时无法立即判断出是否有商品的拿取和放入操作，则向前向后追溯相同间隔的图片作为参考；如果追溯过程中出现中心位置不在同一区域内，则进行判断，否则返回无法确定拿取放置行为的信息，进行人工审核。
②双目商品售卖判断：获取场景环境系数Fa，Fa>1，售货柜进行双目形式的商品识别追踪；双目商品售卖判断使用智能柜子中间和右上角的摄像头，并设定售货柜的下边缘线作为商品拿取和放入判定界限；当用户进行开门操作时，Android工控机发送指令开启摄像头，进行录制，并将图片保存在双目动态识别系统图像组存储队列中，将图片队列传入到步骤(3)的商品检测模块，进行商品的种类及数量的检测；双目识别系统运行时在步骤(2)对双路基于FFmpeg进行视频硬解码达到流的时序帧同步，并将同步后的视频流分别存储于双图像组队列中，基于双图像队列进行商品种类和数量的判断：对双图像队列通过步骤(3)的算法查找统计其三元组序列组PT-1＜label1,num1,position1＞和PT-2＜label2,num2,position2＞，当出现6张及以上图片的PT-1(label)与PT-2(label)对应一致时，则将PT-1中的商品信息确定为检测信息；若未找到6张连续图片对应的PTi-(label)相同，则对PT-1与PT-2的序列组所有label进行统计，找到某类PTi-(label)占比大于总数50％且识别成功次数最多的情况为商品检测出的结果，否则判定商品检测失败；
当根据步骤(3)的算法描述检测到图片组中含有商品，则将原始图片队列再传入到步骤(4)的商品追踪模块，完成商品的追踪流程；针对用户行为进行分析，以基线将图片划分为两个区域a与b，基线以外为a，基线以内为b，当检测到的商品的中心位置不在同一区域时，说明有商品的拿取或放入行为：若双图像组都识别为商品追踪显示物品从a到b区域，则判定为放操作；若双图像组均识别为商品追踪显示物品从b到a区域，则判定为取操作；若双图像组的识别区域走向不一致或每组中三张证据图中的商品中心位置均处于同一区域时无法立即判断出是否有商品的拿取和放入操作，则向前向后追溯相同间隔的图片作为参考；如果追溯过程中出现中心位置不在同一区域内且双图像组的识别物品区域走向一致，则进行判断，否则返回无法确定拿取放置行为的信息，进行人工审核。
本发明的另一目的在于提供一种应用所述的售货柜商品动态识别方法的售货柜商品动态识别系统，所述售货柜商品动态识别系统包括：
检测识别网络构建模块，用于利用改进的YOLO算法，构建轻量化商品检测识别网络，推理图片中商品的种类数目；
货物检测识别模块，用于对智能售货柜上摄像装置采集到的实时图像进行货物检测识别，并将每张图像的识别结果信息存储在内存中；
模型转化模块，用于将构建的轻量化商品检测识别网络转化为ONNX模型，并基于Tensor RT将ONNX模型转化为INT 8的模型推理引擎；将推理引擎部署在边缘智能设备Jeston Nano上，检测模型推理运行情况；
场景环境采集模块，用于进行当前售货柜的场景环境采集，得到环境因素；
智能柜设计模块，用于将设计的轻量化商品识别追踪网络部署到边缘智能设备Jeston Nano后，对部署Jeston Nano的智能柜进行设计；
商品动态识别模块，用于基于边缘智能设备进行商品动态识别系统的部署与工作，包括识别信息触发监听、视频图像获取、商品检测、商品跟踪以及商品售卖判断，并返回系统识别结果。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的售货柜商品动态识别方法。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器所述的售货柜商品动态识别方法。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施所述的售货柜商品动态识别系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
本发明公开了一种基于边缘智能设备的售货柜商品动态识别系统的设计与实现方法。更具体地，本发明设计了基于商品识别的轻量化目标检测网络模型，对模型进行边缘智能设备端的移植部署，基于不同环境复杂度性设计并实现了单目/双目售货柜商品动态识别系统。针对现有技术存在的问题，本发明提供了一种基于边缘智能设备的售货柜商品动态识别的系统设计：
1、通过设计轻量化多尺度多目标追踪检测网络对以下3个方面进行改进：(1)小商品目标的识别增强；(2)目标遮挡与多目标识别增强；(3)目标检测网络的压缩与加速。具体来说，基于Ghost Module设计主干特征提取网络，提高网络速度，减小网络规模；基于RFP设计多尺度商品检测模块，提升小目标的特征采集率，提高整体商品识别率；基于Diou_NMS算法设计多目标检测与目标遮挡识别模块，提高对零售商品遮挡与多商品拿取检测的识别准确率。
2、通过对上述网络进行基于边缘智能设备Jeston Nano的移植部署，并应用TensorRT对商品识别网络模型进行加速，使得商品动态识别系统的检测识别在嵌入式终端完成，解决了采集视频或关键帧并传递到后端服务器进行目标检测识别的延迟问题，使得用户使用智能售货柜时有较好购物体验。
3、基于不同的应用场景环境，对智能售货柜设计并部署单目/双目商品动态识别系统：在简单化环境与光照场景下，使用单目商品动态识别系统，提高识别速度；在复杂环境与复杂光照场景下，使用双目商品动态识别系统，提高识别准确率，同时分析与设计单双目商品动态识别系统的流程步骤。
第二，把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
本发明提供了一种基于边缘智能设备的智能售货柜商品动态识别系统的设计方案，相较于其他无人售货柜有空间利用率变高、设备操作简易、售货柜售卖卡货等问题发生概率下降；本发明运行于嵌入式终端设备，所以本设备的AI算法部分采用TensorRTAI推理框架进行加速处理，相较于直接部署或部署在其他边缘智能设备上的商品检测识别网络具有更高的准确率和更快的速度。本发明用户购物流程简单，用户只需要刷脸后即可开启售货柜的门，正常拿走商品即可完成扣款，极大了提高了用户的购物的体验感和售卖的效率。
本发明提供的基于边缘智能设备的智能售货柜商品动态识别系统可应用于智能销售领域，对所有基于智能柜进行无人售货处理的商品都适用，且该方案根据场景环境的复杂程度不同设计了单双目的转换系统，可以动态的匹配当前使用环境，具有高兼容性和高适用性。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
(1)本发明的技术方案转化后的预期收益和商业价值为：本发明可以部署在智能售货柜上，配合智能售货柜、摄像头、交换机、android工控机、显示屏组合协同处理商品的识别，该技术方案部署在智能售货柜上，能够将当前的商品购买速度提高2～3倍，针对用户一次操作多商品购买能提速5倍以上，提高了商品的拿取识别效率。
在商品进货时，随机摆放即可，避免了归类摆放的多余工作和操作，简化进货流程，同时扩大了售货柜的销售空间，在节省人力成本的同时，提高了销售量，对销售行业带来巨大的商业价值。
(2)本发明的技术方案填补了国内外业内技术空白：本发明将商品识别网络和商品追踪算法部署在边缘智能设备中，完成商品的前端识别追踪，这相较于国内外将识别追踪部署于后端服务器，前端摄像头通过网络向后传输视频流的应用方案来讲，是一个创新，填补了商品动态识别系统前端部署，前端处理的技术空白。
(3)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明解决了智能售货柜领域高效率的购买问题和一次多商品购买问题，大大促进了售货柜的使用速度和识别效率；同时商品视频和图片传输基于网络波动影响较大的问题，通过将识别系统部署在前端边缘智能设备上，直接在前端完成识别追踪的方式，进行了解决。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明实施例提供的售货柜商品动态识别方法流程图；
图2是本发明实施例提供的售货柜商品动态识别方法原理图；
图3是本发明实施例提供的智能售货柜外观与摄像头部署设计图；
图4(a)是本发明实施例提供的单目动态识别系统图像组存储队列示意图；
图4(b)是本发明实施例提供的双目动态识别系统图像组存储队列示意图；
图5是本发明实施例提供的售货柜商品动态识别系统结构框图；
图中：1、检测识别网络构建模块；2、货物检测识别模块；3、模型转化模块；4、场景环境采集模块；5、智能柜设计模块；6、商品动态识别模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
一、解释说明实施例：
如图1所示，本发明实施例提供的售货柜商品动态识别方法包括以下步骤：
S101，利用改进的YOLO算法，构建轻量化商品检测识别网络，推理图片中商品的种类数目；对智能售货柜上摄像装置采集到的实时图像进行货物检测识别，并将每张图像的识别结果信息存储在内存中；
S102，将S101中构建的轻量化检测识别网络简转化为ONNX模型；得到ONNX模型后，再使用TensorRT在Jestonnano终端设备上进行加速推理；
S103，进行当前售货柜的场景环境采集，得到环境因素，并对部署JestonNano的智能柜进行设计；
S104，基于边缘智能设备进行商品动态识别系统的部署与工作，包括识别信息触发监听、视频图像获取、商品检测、商品跟踪以及商品售卖判断，并返回系统识别结果。
作为优选实施例，如图2所示，本发明实施例提供的售货柜商品动态识别方法具体包括以下步骤：
步骤1：利用改进的YOLO算法，构建轻量化商品检测识别网络，推理图片中商品的种类数目。对智能售货柜上摄像装置采集得到的实时图像进行货物检测识别，并将每张图像的识别结果信息都存储在内存中，存储的信息包括检测到的商品的位置(左上角点、宽、高)、类别等；
步骤2：将步骤1中构建的轻量化商品检测识别网络转化为ONNX模型，并基于TensorRT将ONNX模型转化为INT 8的模型推理引擎，并将推理引擎部署在边缘智能设备JestonNano上，检测模型推理运行情况。
其中，本发明使用的网络模型训练框架为PyTorch，通过模型训练产生二进制权重文件；利用Pytorch的ONNX转化功能，将模型的权重值与神经网络的流动信息、每一层的输入输出信息及其他辅助信息打包并导出为ONNX格式。对ONNX文件进行读取，解析模型后进行优化，所述优化方式是层间融合和张量融合即模型层间的横向或纵向合并，从而加快模型的计算速度并以序列化文件形式保存到在边缘智能设备JestonNano上的磁盘中，TensorRT可以对优化后的模型序列化并进行加速推理，监测模型推理运行情况：将Jeston与智能售货柜对接，用户扫脸或扫码后，触发开门信号和视频采集信号，打开摄像头采集视频，随后模拟拿取操作，关闭智能柜门后，查看商品识别的信息输出，并重复多组求得准确率。
步骤3：进行当前售货柜步骤的场景环境采集，得到环境因素Fa：
Fa＝ν·∑(Ln+Lp+p+C)
Figure BDA0003764174650000121
其中，Ln表示自然光照变化阈值，LP表示人工光照变换阈值，p为每小时平均人流量的归一化系数，C为售货柜货物种类归一化系数。Fa越大，场景环境越复杂，需要的准确性要求越高，因此这里设定阈值系数ν，Fa≤1时边缘智能设备JestonNano开启单目智能售货柜商品动态识别系统，Fa＞1时转化启动双目智能售货柜商品动态识别系统。
场景环境采集的直接效果：基于Fa有助于智能售货柜在任意场景下进行环境背景的测度，并定量进行智能售货柜的识别模式的转化控制。相对于当前已有的智能售货柜动态商品识别系统而言，本发明能够在不增加辅助识别设备或者成本的情况下，动态的调整识别模式以适应当前的环境，提高商品识别效率。
步骤4：利用步骤1和步骤2将设计的轻量化商品识别追踪网络部署到边缘智能设备JestonNano以后，对部署JestonNano的智能柜进行设计，如图2所示，由以下几部分构成：1)两个150°广角无畸变网络摄像头，2)一个智能边缘设备JestonNano，3)一个LED智能显示屏和Android工控机，4)一个小型交换机，5)一个智能柜(包括柜体，柜架，五层支架等)。1)是用来进行视频录制，获取25帧/秒的高清视频流，并将视频流传递到2)中，在2)中进行视频切割，并进行图像识别，将识别的情况在3)上进行反馈显示，通过4)将1)、2)、3)网络链接，部署在同一个局域网中，便利了相互之间的信号和数据的通信。
步骤5：基于边缘智能设备进行商品动态识别系统的部署与工作；
1)识别信息触发监听：通过实时监听售货柜开门信息的方式来检测算法运算触发。通过扫码或者刷脸基于微信或支付宝绑定个人信息后，Android工控机向智能柜子发射开门电平信号，信号同步触发识别检测算法的运行机制，检测算法执行，拉取摄像头开始进行视频的录制与传输。
2)视频图像获取：读取前端网络摄像头的实时视频流，并对所述实时视频流进行解析从而得到实时图像；智能售货柜外观与摄像头部署设计如图3所示。
3)商品检测：边缘智能设备JestonNano通过局域网获取摄像头传来的视频流并解析后，利用构建的目标检测网络对得到的实时图像进行商品检测识别。首先按照间隔2帧抽取一帧关键帧的思路，将关键图像流抓取；随后对关键图片进行缩放成512*512大小的标准图片，并输送到商品检测网络中，网络依据售卖场景训练的模型对图片组进行检测：按顺序将图片放入到检测网络中，设置阈值三元组PT＜label,num,position＞，并将连续图片的PTi(label,num,position)进行保存，其中label表示图片组中出现的商品类别，num表示图片组中出现的商品数量，position表示图片组中出现商品的位置信息(左上角点、宽、高)，并将连续的PTi保存下来；当出现6张及以上图片的PTi-x(label)一致时，则将PTi中的商品信息确定为检测信息；若未找到6张连续图片具有相同PTi-x(label)时，则通过计算所有识别图片的相同PTi-x(label)，存在某一个PTi-x(label)占比大于总数50％的情况，则PTi为商品识别检测出的信息，否则判定此次商品检测失败；
4)商品跟踪：当商品初次出现在视频场景中时，认为用户手拿商品进行购买操作，进行实时跟踪并保存关键证据图像。保存关键证据图像的具体方法如下：当商品初次出现时保存一张证据图像，持续跟踪该商品当该商品的检测框与第一张保存得图像的检测框位置不重叠(IOU计算为0)时保存第二张图像，当该商品跟踪到消失时，保存消失前的最后一张图像，三张图像作为最后的证据图像组。最后设计了相应的图像组存储队列数据结构，如图4所示。
5)商品售卖判断：根据单双目商品识别系统对商品售卖判断进行了两种设计，分别如下：
①单目商品售卖判断：通过步骤2测得场景环境系数Fa，Fa<1，售货柜进行单目形式的商品识别追踪。单目商品售卖判断只使用智能柜子中间的摄像头，同时设定售货柜的下边缘线作为商品拿取和放入判定界限(基线)。当用户进行开门操作时，Android工控机发送指令开启摄像头，进行录制，并将图片保存在图4(a)所示的队列中，首先将图片队列传入到步骤3)中所示的商品检测模块，进行商品的种类及数量的检测，当根据3)算法描述检测到图片组中含有商品，则将原始图片队列再传入到步骤4)中的商品追踪模块，完成商品的追踪流程。在完成上述两步后，针对用户行为进行分析，以拿取为例，以基线将图片划分为两个区域a与b，基线以外为a，基线以内为b，当检测到的商品的中心位置不在同一区域时，说明有商品的拿取或放入行为：若商品追踪显示物品从a到b区域，则判定为放操作；若商品追踪显示物品从b到a区域，则判定为取操作。当三张证据图中的商品中心位置都处于同一区域时无法立即判断出是否有商品的拿取和放入操作，需要向前向后追溯相同间隔的图片作为参考，如果追溯过程中出现中心位置不在同一区域内，则进行上述判断，否则返回无法确定拿取放置行为的信息，进行人工审核。
②双目商品售卖判断：通过步骤2测得场景环境系数Fa，Fa>1，售货柜进行双目形式的商品识别追踪。双目商品售卖判断使用智能柜子中间和右上角的摄像头，同时设定售货柜的下边缘线作为商品拿取和放入判定界限(基线)。当用户进行开门操作时，Android工控机发送指令开启摄像头，进行录制，并将图片保存在图4(b)所示的队列中，将图片队列传入到步骤3)中所示的商品检测模块，进行商品的种类及数量的检测，与单目不同的是，双目识别系统运行时会在2)对双路基于FFmpeg进行视频硬解码达到流的时序帧同步，并将同步后的视频流分别存储于双图像组队列中，基于双图像队列进行商品种类和数量的判断：对双图像队列通过步骤3)的算法查找统计其三元组序列组PT-1＜label1,num1,position1＞和PT-2＜label2,num2,position2＞，当出现6张及以上图片的PT-1(label)与PT-2(label)对应一致时，则将PT-1中的商品信息确定为检测信息；若未找到6张连续图片对应的PTi-(label)相同，则对PT-1与PT-2的序列组所有label进行统计，找到某类PTi-(label)占比大于总数50％且识别成功次数最多的情况为商品检测出的结果，否则判定商品检测失败。
当根据3)算法描述检测到图片组中含有商品，则将原始图片队列再传入到步骤4)中的商品追踪模块，完成商品的追踪流程。在完成上述两步后，针对用户行为进行分析，以拿取为例，以基线将图片划分为两个区域a与b，基线以外为a，基线以内为b，当检测到的商品的中心位置不在同一区域时，说明有商品的拿取或放入行为：若双图像组都识别为商品追踪显示物品从a到b区域，则判定为放操作；若双图像组都识别为商品追踪显示物品从b到a区域，则判定为取操作。若双图像组的识别区域走向不一致或每组中三张证据图中的商品中心位置都处于同一区域时无法立即判断出是否有商品的拿取和放入操作，需要向前向后追溯相同间隔的图片作为参考，如果追溯过程中出现中心位置不在同一区域内且双图像组的识别物品区域走向一致，则进行判断，否则返回无法确定拿取放置行为的信息，进行人工审核。
6)返回系统识别结果：根据5)判断的结果将识别的结果进行返回，当识别结果返回用户正常取货时则根据用户购买的货物进行结单扣款，当返回识别的结果不正常时(商品非法放入、商品非法替换、放入未知商品等)则将本次购买流程进行人工审核，人工审核后再对该单进行结单。
总体智能售货柜商品动态识别系统的流程设计如图2所示。
替代技术：基于其他自定义的商品检测识别追踪网络，改变摄像头安置位置的情况下，采用其他的边缘智能设备对商品检测追踪识别网络进行前端部署，以达到和本发明相近的效果。
如图5所示，本发明实施例提供的售货柜商品动态识别系统包括：
检测识别网络构建模块1，用于利用改进的YOLO算法，构建轻量化商品检测识别网络，推理图片中商品的种类数目；
货物检测识别模块2，用于对智能售货柜上摄像装置采集到的实时图像进行货物检测识别，并将每张图像的识别结果信息存储在内存中；
模型转化模块3，用于将构建的轻量化商品检测识别网络转化为ONNX模型，并基于Tensor RT将ONNX模型转化为INT 8的模型推理引擎；将推理引擎部署在边缘智能设备Jeston Nano上，检测模型推理运行情况；
场景环境采集模块4，用于进行当前售货柜的场景环境采集，得到环境因素；
智能柜设计模块5，用于将设计的轻量化商品识别追踪网络部署到边缘智能设备Jeston Nano后，对部署Jeston Nano的智能柜进行设计；
商品动态识别模块6，用于基于边缘智能设备进行商品动态识别系统的部署与工作，包括识别信息触发监听、视频图像获取、商品检测、商品跟踪以及商品售卖判断，并返回系统识别结果。
二、应用实施例：
本发明方案在青岛易触科技有限公司正处于部署与测试环节，用以实现饮料的智能零售。应用例中将轻量化商品识别检测与商品追踪网络部署在Jeston Nano边缘智能设备上，并将其与智能售货柜(包括摄像头、触摸显示板、网络交换机)进行内网通信，负责处理识别与追踪可乐、芬达等8种饮料的取放操作，完成对用户购买的产品种类、数量的检测。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
三、实施例相关效果的证据：
仿真实验：基于本发明所描述的基于边缘智能设备的智能售货柜商品动态识别系统，基于实际场景进行仿真模拟：针对光照模拟光照强弱，针对人员流动性设计每分钟拿取数量，将其进行排列组合，形成四种模拟环境，并对售货柜中常见销售的七种饮料进行数据采集和模型训练，七种饮料分别为：可口可乐瓶装、可口可乐罐装、百事可乐瓶装、美年达瓶装、脉动瓶装、维他柠檬茶盒装、芬达罐装。通过仿真模拟，在不同环境下的识别率结果如表1所示。
表1不同环境下的识别率结果
Figure BDA0003764174650000171
Figure BDA0003764174650000181
通过图表可以看出，无论是复杂还是简单的场景下，商品的平均识别率都能达到95％以上，达到了商用的识别准确率。
表2不同环境下商品购买消耗时间
Figure BDA0003764174650000182
根据表2可以看出，从用户打开柜子到拿取显示商品拿取信息的时间平均在4～7秒之间，且光照条件较好的地方，测试购买消耗的时间更短，同时通过表3的数据对比可以清晰的看出，总体购买时间相较当前市面上的智能柜子来讲效率提升速度较快。
表3商品购买效率对比
Figure BDA0003764174650000183
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种售货柜商品动态识别方法，其特征在于，所述售货柜商品动态识别方法包括：
设计基于商品识别的轻量化目标检测网络模型，对模型进行边缘智能设备端移植部署，基于不同环境复杂度性设计并实现单目/双目售货柜商品动态识别。
2.如权利要求1所述售货柜商品动态识别方法，其特征在于，所述售货柜商品动态识别方法包括以下步骤：
步骤一，利用改进的YOLO算法，构建轻量化商品检测识别网络，推理图片中商品的种类数目；对智能售货柜上摄像装置采集到的实时图像进行货物检测识别，并将每张图像的识别结果信息存储在内存中；
步骤二，将步骤一中构建的轻量化检测识别网络转化为ONNX模型；得到ONNX模型后，使用TensorRT在Jeston nano终端设备上进行加速推理；
步骤三，进行当前售货柜的场景环境采集，得到环境因素，并对部署Jeston Nano的智能柜进行设计；
步骤四，基于边缘智能设备进行商品动态识别系统的部署与工作，包括识别信息触发监听、视频图像获取、商品检测、商品跟踪以及商品售卖判断，并返回系统识别结果。
3.如权利要求2所述售货柜商品动态识别方法，其特征在于，所述步骤一中的每张图像的识别结果信息包括检测到的商品的位置和类别；其中，所述商品的位置包括左上角点、宽和高；
所述步骤二中，使用的网络模型训练框架为PyTorch，通过模型训练产生二进制权重文件；利用Pytorch的ONNX转化功能，将模型的权重值与神经网络的流动信息、每一层的输入输出信息及其他辅助信息打包并导出为ONNX格式；
对ONNX文件进行读取，解析模型后进行优化，所述优化方式是层间融合和张量融合即模型层间的横向或纵向合并，从而加快模型的计算速度并以序列化文件形式保存到在边缘智能设备Jeston Nano上的磁盘中，TensorRT可以对优化后的模型序列化并进行加速推理，监测模型推理运行情况：将Jeston与智能售货柜对接，用户扫脸或扫码后，触发开门信号和视频采集信号，打开摄像头采集视频，随后模拟拿取操作，关闭智能柜门后，查看商品识别的信息输出，并重复多组求得准确率。
4.如权利要求2所述售货柜商品动态识别方法，其特征在于，所述步骤三中的进行当前售货柜的场景环境采集，得到环境因素Fa包括：
Fa＝ν·∑(Ln+Lp+p+C)；
Figure FDA0003764174640000021
其中，Ln表示自然光照变化阈值，LP表示人工光照变换阈值，p为每小时平均人流量的归一化系数，C为售货柜货物种类归一化系数；设定阈值系数ν，Fa≤1时边缘智能设备JestonNano开启单目智能售货柜商品动态识别系统，Fa＞1时转化启动双目智能售货柜商品动态识别系统；
所述部署Jeston Nano的智能柜包括两个150°广角无畸变网络摄像头，一个智能边缘设备Jeston Nano，一个LED智能显示屏和Android工控机，一个小型交换机，一个智能柜；
其中，所述广角无畸变网络摄像头，用于进行视频录制，获取25帧/秒的高清视频流，并将视频流传递到智能边缘设备Jeston Nano中；
所述智能边缘设备Jeston Nano，用于进行视频切割和图像识别，并将识别情况在LED智能显示屏和Android工控机上进行反馈显示；
所述小型交换机，用于将广角无畸变网络摄像头、智能边缘设备Jeston Nano、LED智能显示屏和Android工控机进行网络链接，并部署在同一局域网中；
所述智能柜包括柜体、柜架和五层支架。
5.如权利要求2所述售货柜商品动态识别方法，其特征在于，所述步骤四中的基于边缘智能设备进行商品动态识别系统的部署与工作包括：
(1)识别信息触发监听：通过实时监听售货柜开门信息的方式检测算法运算触发；通过扫码或者刷脸基于微信或支付宝绑定个人信息后，Android工控机向智能柜子发射开门电平信号，信号同步触发识别检测算法的运行机制，检测算法执行，拉取摄像头开始进行视频的录制与传输；
(2)视频图像获取：读取前端网络摄像头的实时视频流，并对所述实时视频流进行解析从而得到实时图像；
(3)商品检测：边缘智能设备Jeston Nano通过局域网获取摄像头传来的视频流并解析后，利用构建的目标检测网络对得到的实时图像进行商品检测识别；
按照间隔2帧抽取一帧关键帧的思路，将关键图像流抓取；对关键图片进行裁剪成512*512大小的标准图片，并输送到商品检测网络中，网络依据售卖场景训练的模型对图片组进行检测：按顺序将图片放入到检测网络中，设置阈值三元组PT＜label,num,position＞，并将连续图片的PTi(label,num,position)进行保存，其中label表示图片组中出现的商品类别，num表示图片组中出现的商品数量，position表示图片组中出现商品的位置信息；当出现6张及以上图片的PTi-x(label)一致时，则将PTi中的商品信息确定为检测信息；若未找到6张连续图片具有相同PTi-x(label)时，则通过计算所有识别图片PTi-x(label)相同的数量占比，存在某一个PTi-x(label)占比大于总和50％的情况，则PTi为商品识别检测出的信息，否则判定此次商品检测失败；
(4)商品跟踪：当商品初次出现在视频场景中时，认为用户手拿商品进行购买操作，进行实时跟踪并保存关键证据图像；保存关键证据图像的方法为：当商品初次出现时保存一张证据图像，持续跟踪所述商品，当所述商品的检测框与第一张保存得图像的检测框位置不重叠时保存第二张图像；当所述商品跟踪到消失时，保存消失前的最后一张图像，三张图像作为最后的证据图像组；最后设计了相应的图像组存储队列数据结构；
(5)商品售卖判断：根据单双目商品识别系统对商品售卖判断进行设计；
(6)返回系统识别结果：根据步骤(5)判断的结果将识别结果进行返回，当识别结果返回用户正常取货时，则根据用户购买的货物进行结单扣款；当返回识别的结果不正常时，则将购买流程进行人工审核，人工审核后再进行结单；所述不正常的返回结果包括商品非法放入、商品非法替换和放入未知商品。
6.如权利要求5所述售货柜商品动态识别方法，其特征在于，所述步骤(5)中的根据单双目商品识别系统对商品售卖判断进行设计包括：
①单目商品售卖判断：获取场景环境系数Fa，Fa<1，售货柜进行单目形式的商品识别追踪；单目商品售卖判断仅使用智能柜子中间的摄像头，同时设定售货柜的下边缘线作为商品拿取和放入判定界限；当用户进行开门操作时，Android工控机发送指令开启摄像头，进行录制，并将图片保存在单目动态识别系统图像组存储队列中，将图片队列传入到步骤(3)的商品检测模块，进行商品的种类及数量的检测，当根据步骤(3)的算法描述检测到图片组中含有商品，则将原始图片队列再传入到步骤(4)的商品追踪模块，完成商品的追踪流程；针对用户行为进行分析，以基线将图片划分为两个区域a与b，基线以外为a，基线以内为b，当检测到的商品的中心位置不在同一区域时，说明有商品的拿取或放入行为：若商品追踪显示物品从a到b区域，则判定为放操作；若商品追踪显示物品从b到a区域，则判定为取操作；当三张证据图中的商品中心位置均处于同一区域时无法立即判断出是否有商品的拿取和放入操作，则向前向后追溯相同间隔的图片作为参考；如果追溯过程中出现中心位置不在同一区域内，则进行判断，否则返回无法确定拿取放置行为的信息，进行人工审核；
②双目商品售卖判断：获取场景环境系数Fa，Fa>1，售货柜进行双目形式的商品识别追踪；双目商品售卖判断使用智能柜子中间和右上角的摄像头，并设定售货柜的下边缘线作为商品拿取和放入判定界限；当用户进行开门操作时，Android工控机发送指令开启摄像头，进行录制，并将图片保存在双目动态识别系统图像组存储队列中，将图片队列传入到步骤(3)的商品检测模块，进行商品的种类及数量的检测；双目识别系统运行时在步骤(2)对双路基于FFmpeg进行视频硬解码达到流的时序帧同步，并将同步后的视频流分别存储于双图像组队列中，基于双图像队列进行商品种类和数量的判断：对双图像队列通过步骤(3)的算法查找统计其三元组序列组PT-1＜label1,num1,position1＞和PT-2＜label2,num2,position2＞，当出现6张及以上图片的PT-1(label)与PT-2(label)对应一致时，则将PT-1中的商品信息确定为检测信息；若未找到6张连续图片对应的PTi-(label)相同，则对PT-1与PT-2的序列组所有label进行统计，找到某类PTi-(label)占比大于总数50％且识别成功次数最多的情况为商品检测出的结果，否则判定商品检测失败；
当根据步骤(3)的算法描述检测到图片组中含有商品，则将原始图片队列再传入到步骤(4)的商品追踪模块，完成商品的追踪流程；针对用户行为进行分析，以基线将图片划分为两个区域a与b，基线以外为a，基线以内为b，当检测到的商品的中心位置不在同一区域时，说明有商品的拿取或放入行为：若双图像组都识别为商品追踪显示物品从a到b区域，则判定为放操作；若双图像组均识别为商品追踪显示物品从b到a区域，则判定为取操作；若双图像组的识别区域走向不一致或每组中三张证据图中的商品中心位置均处于同一区域时无法立即判断出是否有商品的拿取和放入操作，则向前向后追溯相同间隔的图片作为参考；如果追溯过程中出现中心位置不在同一区域内且双图像组的识别物品区域走向一致，则进行判断，否则返回无法确定拿取放置行为的信息，进行人工审核。
7.一种应用如权利要求1～6任意一项所述售货柜商品动态识别方法的售货柜商品动态识别系统，其特征在于，所述售货柜商品动态识别系统包括：
检测识别网络构建模块，用于利用改进的YOLO算法，构建轻量化商品检测识别网络，推理图片中商品的种类数目；
货物检测识别模块，用于对智能售货柜上摄像装置采集到的实时图像进行货物检测识别，并将每张图像的识别结果信息存储在内存中；
模型转化模块，用于将构建的轻量化商品检测识别网络转化为ONNX模型，并基于Tensor RT将ONNX模型转化为INT8的模型推理引擎；将推理引擎部署在边缘智能设备Jeston Nano上，检测模型推理运行情况；
场景环境采集模块，用于进行当前售货柜的场景环境采集，得到环境因素；
智能柜设计模块，用于将设计的轻量化商品识别追踪网络部署到边缘智能设备JestonNano后，对部署Jeston Nano的智能柜进行设计；
商品动态识别模块，用于基于边缘智能设备进行商品动态识别系统的部署与工作，包括识别信息触发监听、视频图像获取、商品检测、商品跟踪以及商品售卖判断，并返回系统识别结果。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～6任意一项所述售货柜商品动态识别方法。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1～6任意一项所述售货柜商品动态识别方法。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如权利要求7所述售货柜商品动态识别系统。
CN202210881055.2A 2022-07-26 2022-07-26 一种售货柜商品动态识别系统、方法、介质、设备及终端 Pending CN115294325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210881055.2A CN115294325A (zh) 2022-07-26 2022-07-26 一种售货柜商品动态识别系统、方法、介质、设备及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210881055.2A CN115294325A (zh) 2022-07-26 2022-07-26 一种售货柜商品动态识别系统、方法、介质、设备及终端

Publications (1)

Publication Number Publication Date
CN115294325A true CN115294325A (zh) 2022-11-04

Family

ID=83823554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210881055.2A Pending CN115294325A (zh) 2022-07-26 2022-07-26 一种售货柜商品动态识别系统、方法、介质、设备及终端

Country Status (1)

Country Link
CN (1) CN115294325A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671605A (zh) * 2024-02-01 2024-03-08 江苏源坤电子科技有限公司 一种基于大数据的冷柜摄像头角度控制系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671605A (zh) * 2024-02-01 2024-03-08 江苏源坤电子科技有限公司 一种基于大数据的冷柜摄像头角度控制系统及方法
CN117671605B (zh) * 2024-02-01 2024-05-28 江苏源坤电子科技有限公司 一种基于大数据的冷柜摄像头角度控制系统及方法

Similar Documents

Publication Publication Date Title
US11790433B2 (en) Constructing shopper carts using video surveillance
US20200202163A1 (en) Target positioning system and target positioning method
JP6709320B6 (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備
CN109559457B (zh) 基于神经网络识别商品的收银方法以及自助收银台
CN109508974B (zh) 一种基于特征融合的购物结账系统和方法
CN111415461A (zh) 物品识别方法及系统、电子设备
CN111263224B (zh) 视频处理方法、装置及电子设备
US20210398097A1 (en) Method, a device and a system for checkout
CN111222870B (zh) 结算方法、装置和系统
CN109726759A (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
CN113674037A (zh) 一种基于购物行为的数据采集和推荐方法
CN111881894A (zh) 采集货柜商品售卖信息的方法、系统、设备和存储介质
CN111222389A (zh) 商超货架上商品的分析方法和系统
CN109712324A (zh) 一种自动售货机图像识别方法、售货方法及自动售货设备
CN115311450A (zh) 轻量化商品识别追踪系统、方法、存储介质、设备、终端
CN115063084A (zh) 一种卷烟零售商户库存盘点方法及系统
CN115294325A (zh) 一种售货柜商品动态识别系统、方法、介质、设备及终端
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN111260685B (zh) 视频处理方法、装置及电子设备
CN110866746A (zh) 一种基于人脸识别的订单匹配方法以及计算机设备
CN109858448A (zh) 一种零售场景下的物品识别方法及设备
CN115880676A (zh) 一种基于深度学习的自助售货机商品识别方法
CN111461104A (zh) 视觉识别方法、装置、设备及存储介质
CN110781752A (zh) 一种动态视觉智能柜多品类场景下的物体识别方法
CN114821729B (zh) 商品导购方法、装置、云服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination