CN114882370A - 商品智能识别方法、装置、终端及存储介质 - Google Patents
商品智能识别方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN114882370A CN114882370A CN202210795536.1A CN202210795536A CN114882370A CN 114882370 A CN114882370 A CN 114882370A CN 202210795536 A CN202210795536 A CN 202210795536A CN 114882370 A CN114882370 A CN 114882370A
- Authority
- CN
- China
- Prior art keywords
- commodity
- image
- images
- bar code
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
- G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Nonlinear Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
本申请公开了一种商品智能识别方法、装置、终端及存储介质，方法与图像获取系统相匹配，包括对所获取的多张商品原始图像进行图像过滤处理，得到多张第一处理图像；对第一处理图像逐一进行条形码图像分离处理，得到多张第二处理图像；对多张第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据商品条形码获得相对应的商品信息。本发明所提出的一种商品智能识别方法，利用图像视觉识别算法，配合商超场景中的硬件条件，实现了对商品条形码的高效、准确、智能识别，免除用户购买商品时的额外操作，降低操作错误率，显著地提高了用户体验。
Description
技术领域
本申请涉及一种商品识别方案，具体而言，为一种基于图像视觉识别算法的商品智能识别方法、装置、终端及存储介质，属于人工智能图像识别技术领域。
背景技术
近年来，随着信息化技术的不断发展、各类智能化设备的普及，在商品识别这个细分领域、越来越多样的技术方案均得到了应用。
就商超场景而言，目前市面上常见的、利用购物车的商品识别方案有以下两种：
其一，通过购物车上的扫码装置扫商品条形码。用户购买商品时先将商品扫码后再放入购物车，取出时先拿出再扫码。这种方案在实际应用中最为广泛、操作方式简单、成本低，且无需对超市内的现有商品进行任何改造。
但此方案将原本单一的购买或加购动作拆分成了两步：扫码和放入。这样一方面会增加客户购物时的额外动作及复杂度、影响购物体验；另一方面还会遇到用户购买商品时扫码后未将商品放入购物车或者将商品放入购物车后未扫码等情况，进而给商超造成损失。
其二，利用RFID标签电子标签实现商品识别。RFID电子标签是一种非接触式的自动识别技术，它通过射频信号来识别目标对象并获取相关数据，识别过程无需人工干预，作为条形码的无线版本，RFID电子标签技术具有条形码所不具备的防水、防磁、耐高温、使用寿命长、读取距离大、标签上数据可以加密、存储数据容量更大、存储信息更改自如等优点。此方案要求所有商品上都贴有RFID标签、购物车上安装有RFID读取器。当贴有RFID标签的商品被放置在购物车内时，商品就已被购物车记录下来、读取的商品信息在后台与数据库中的内容进行匹配，然后计算商品的价格，并且将商品价格展示在购物车的液晶触控屏上。当用户完成购物后只需拿出银行卡，在商超内指定地点轻轻一刷，就完成了结算环节，免去了收银人员逐件扫描商品条形码的麻烦。
此方案虽然能够大大节约排队结算支付的时间，但也存在着明显的不足：一方面，RFID电子标签在面对含水量较高的物品、金属物品或是在很高/很低的温度环境下，使用效果都难以保证；又一方面，为了实现商品信息的智能识别，需要在每件商品上增加一个对应的RFID电子标签，当方案被应用在大型的商超中时，给所有商品增加RFID电子标签会带来极大的工作量、增加硬件和人工成本；再一方面，对应地，为了实现RFID电子标签的读取识别，每台购物车内也需要集成有RFID读取器，这样一来无疑进一步增加了购物车的硬件成本。
综上所述，如何提出一种区别于上述现有技术的商品智能识别方案，高效、准确地完成对用户所购买商品的识别，免除用户购买商品时的额外操作，降低操作错误率，提高用户体验，也就成为了本领域内技术人员所共同关注的问题。
发明内容
鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于图像视觉识别算法的商品智能识别方法、装置、终端及存储介质，具体如下：
一种商品智能识别方法，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，方法包括如下步骤：
对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；
对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；
对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息。
优选地，所述的商品智能识别方法，还包括如下步骤：
对所获取的多张商品原始图像进行背景减除处理，结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像，对用户的购物动作进行识别。
优选地，所述对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像，包括如下步骤：
获取来自所述图像获取系统的多张商品原始图像，对所获取的多张商品原始图像进行图像过滤处理，其中，
对于图像中包含有购物车外商品的所述商品原始图像，利用ROI感兴趣区域图像过滤技术进行图像剔除；
对于图像中包含有购物车内商品的所述商品原始图像，利用背景减除算法中的KNN最临近结点算法的帧差法进行图像剔除；
将经过图像过滤处理的图像进行汇总，得到多张第一处理图像。
优选地，所述对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像，包括如下步骤：
对所述第一处理图像逐一进行灰度处理，将所述第一处理图像转换为灰度图；
对所述灰度图使用Scharr算子，得到所述灰度图在水平方向和垂直方向上的梯度值表示，将水平方向的梯度值减去垂直方向上的梯度值，得到高水平梯度和低垂直梯度的图像区域；
执行高斯模糊并将所述图像区域转化为二值化的梯度图像，并使用卷积核Sobel大小为9x9的均值滤波作用于所述梯度图像；
构建掩码并将其应用于所述梯度图像中，并对所述梯度图像进行多次膨胀及腐蚀操作直至所述梯度图像中的噪声低于预设标准；
利用基于阈值的最大类间方差法对所述梯度图像进行分割，检测所分割出的最大轮廓，计算得到该轮廓的最小外界矩形并将其作为第二处理图像。
优选地，所述对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息，包括如下步骤：
若多张所述第二处理图像中没有任意一张清晰展示商品条形码，则
从所述第二处理图像中提取出多张拆分图像，从中位将所述条形码图像再进行一步分割，将分割所得的图像进行组装拟合成为新的条形码图像；
对所述新的条形码图像进行二值化处理，对经过二值化处理后的所述新的条形码按序进行确定ROI感兴趣区域、去噪、去条形码及优化，得到用户所购买商品对应的商品条形码；
对所述商品条形码进行识别，若能够识别并校验通过，则认为所述商品条形码正确，否则认为所述商品条形码错误，跳转回到从所述第二处理图像中提取出多张拆分图像的操作，按序执行后续流程，直至所述商品条形码正确。
一种商品智能识别装置，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，包括：
图像过滤模块，被配置为对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；
条形码图像分离模块，被配置为对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；
多图像条形码纠正拟合模块，被配置为对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息。
优选地，所述的商品智能识别装置，还包括：
用户购物动作识别模块，被配置为对所获取的多张商品原始图像进行背景减除处理，结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像，对用户的购物动作进行识别。
优选地，所述图像过滤模块，包括：
第一图像过滤单元，被配置为获取来自所述图像获取系统的多张商品原始图像，对所获取的多张商品原始图像进行图像过滤处理，其中，
第二图像过滤单元，被配置为对于图像中包含有购物车外商品的所述商品原始图像，利用ROI感兴趣区域图像过滤技术进行图像剔除；
第三图像过滤单元，被配置为对于图像中包含有购物车内商品的所述商品原始图像，利用背景减除算法中的KNN最临近结点算法的帧差法进行图像剔除；
第四图像过滤单元，被配置为将经过图像过滤处理的图像进行汇总，得到多张第一处理图像。
一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前文中所述的商品智能识别方法中的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行所述计算机程序时实现如前文中所述的商品智能识别方法中的步骤。
本发明的优点主要体现在以下几个方面：
本发明所提出的一种商品智能识别方法，利用图像视觉识别算法，配合商超场景中的硬件条件，实现了对商品条形码的高效、准确、智能识别，免除用户购买商品时的额外操作，降低操作错误率，显著地提高了用户体验。
与上述方法相对应的，本发明所提出的一种商品智能识别方法装置、终端及存储介质，以系统化、标准化的处理流程实现了对用户所购买商品上条形码的智能识别，进而为后续的商品结算操作提供了技术支持，硬件方案的适配性和兼容性较高，能够切实地应用于各类线下消费场景中。
本发明还为其他与商品识别相关的技术方案提供了参考，可以以此为依据进行拓展延伸和深入研究，具有十分广阔的应用前景。
以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明实施例中商品智能识别方法的流程示意图；
图2是本发明实施例中商品智能识别装置的架构示意图；
图3是本发明实施例中终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
一般而言，对用户购买商品的准确识别，简单有效的办法是识别商品条形码。条形码技术目前在国内外得到广泛应用，分一维条形码和二维条形码，两者的区别是，后者存储信息量较大些。
条形码的种类包括EAN码、UPC码、Code 39码、ITF 25码以及Codebar码，其包括如下优点：
1、输入速度快：输入速度是键盘输入的5倍
2、可靠性高：键盘输入出错率为三百分之一，光学字符识别出错率为万分之一，而条形码技术错误率低于百万分之一；
3、采集信息量大：传统一维条形码一次可以采集几十位字符信息，二维条形码可携带数千字符的信息，并有一定的自动纠错能力；
4、灵活实用性强：可单独使用，也可和有关识别设备组成一个系统实现自动化的识别。条形码标签易于制作，识别设备操作容易，且设备也相对便宜。
本发明的方案主要是针对一维条形码。商品都有商品条形码，商品条形码中可能包含了商品类别、编号、生产时间、过期时间、重量、价格等数据信息。识别商品条形码的关键在准确获取商品的条形码图片，以及获取到包含商品条形码的图片后从图片提取出条形码数据。
本发明的具体方案如下：
一方面，本发明涉及一种商品智能识别方法，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，这些所述摄像装置安装在购物车车架和车筐上的不同位置、不同角度，360°连续拍摄获取用户购买商品图像，这些摄像装置都对准购物车的购物筐，持续的对购物筐进行拍摄。安装多台摄像装置，是为了从不同角度拍摄购买动作，尽可能清楚的拍摄到商品条形码。
如图1所示，本发明实施例中的方法包括如下步骤：
S1、对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；这一步骤流程如下：
所述摄像装置持续以每秒30张的速度对购物车的车筐照相。摄像装置照出来的照片是一个矩形，但是购物筐在图像中成像是一个梯形或上边缘为圆弧的类似梯形。这样就造成摄像装置照出来的照片中包含购物筐外的图像，购物筐外的图像有可能会含有货架上的商品；同样也有的图像会含有购物筐内用户已购买的商品，对于这两种情况都需要过滤处理掉。因此，
获取来自所述图像获取系统的多张商品原始图像，对所获取的多张商品原始图像进行图像过滤处理。
其中，对于图像中包含购物车外商品的商品原始图像，利用ROI（Region OfInterest，译为感兴趣区域）图像过滤技术进行图像剔除，ROI为购物筐内区域，对于ROI外的区域进行剔除。将图像转换成单通道的灰度值可以用于后面的阈值处理，为了检测轮廓，采用二值化+Hough变换进行处理，需要先对灰度图进行二值化处理，将商品原始图像转换成黑白图像，加亮凸显，便于轮廓检测算法进行检测。阈值处理将图片中的物体区域转换成白色，所有的物体像素都具有相同的亮度值。通过Hough方法从这些白色像素中计算获得购物筐的轮廓。获得购物筐轮廓后，将轮廓外的区域进行剔除。
其中，对于图像中包含有购物车内商品的商品原始图像，利用背景减除算法中的KNN最临近结点算法的帧差法进行图像剔除，购物车上的相机会从用户开始购买商品到购买完成，持续拍照，得到图像P1、P2、P3 ... Pn、Pn+1、Pn+2...，其中Pn之前为购买商品前的静止的背景帧图像，Pn之后为购买商品后购物车内已购买商品的图像，其中，背景减除步骤为：
(1)将图片缩放，加快处理速度；
(2)高斯平滑；
(3)转为灰度值；
(4)二值化处理；
(5)将P1、P2、P3...Pn-1图像使用KNN最临近结点算法的算法进行背景训练；
(6)将Pn+1、Pn+2..图像使用KNN最临近结点算法的算法进行背景减除。
可以通过帧差法来计算像素差从而获取前景对象，但是在大多数情况下，可能没有这样的图像，所以需要从拥有的任何图像中提取背景。当运动物体有阴影时，由于阴影也在移动，情况会变得更加复杂。通过KNN最临近结点算法的背景减除算法能够从视频中分离出运动的物体前景，从而达到目标检测的目的。
最后将经过图像过滤处理的图像进行汇总，这样就能得到多张干净的、仅含有本次用户购买商品的图像，将其作为第一处理图像。
S2、对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；这一步骤流程如下：
为了处理图像中的条形码，需要将条形码从原始图像中分离。利用条形码的自身特点，一般都是矩形形状，而且条形码的条带是黑色的，矩形区域是白色的，条形码的位置是根据条形码黑白线条的连续变化来确定的。
图像分割是将图像分割成具有相同特征的区域的过程。分割的基本特征是单色图像的眩光和彩色图像的颜色分量。此外，边缘和纹理是分割的重要特征。将轮廓面积最大的重标记部件集合定义为条形码所在位置，具体是使用Scharr+Sobel算子方法进行分离处理。
(1)对所述第一处理图像逐一进行灰度处理，将所述第一处理图像转换为灰度图；
(2)对所述灰度图使用Scharr算子，得到所述灰度图在水平方向和垂直方向上的梯度值表示，将水平方向的梯度值减去垂直方向上的梯度值，对结果取绝对值操作，得到高水平梯度和低垂直梯度的图像区域；
(3)执行高斯模糊并将所述图像区域转化为二值化的梯度图像，并使用卷积核Sobel大小为9x9的均值滤波作用于所述梯度图像；
(4)构建掩码并将其应用于所述梯度图像中，并对所述梯度图像进行多次膨胀及腐蚀操作直至所述梯度图像中的噪声低于预设标准；
(5)利用基于阈值的最大类间方差法（Otsu法）对所述梯度图像进行分割，选取(L-1)将灰色层数L分为两个集合C0和C1, Otsu法根据两个集合C0和C1的最大方差计算灰度级k，表达式如下：
其中，
表示灰度级出现概率，
、
分别表示集合C0和C1对应的权重值，
、
分别表示集合C0和C1对应的灰度水平的平均值，
表示梯度图像对应的灰度水平的平均
值。
检测所分割出的最大轮廓，计算得到该轮廓的最小外界矩形并将其作为第二处理图像。
S3、对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息；这一步骤流程如下：
若多张所述第二处理图像中没有任意一张清晰展示商品条形码，则
从所述第二处理图像中提取出多张拆分图像P1、P2、P3...Pn，从中位将所述条形
码图像再进行一步分割为
和
，将分割所得的图像进行组装拟合成为新的条形
码图像
；
对所述新的条形码图像进行二值化处理，对经过二值化处理后的所述新的条形码按序进行
确定ROI感兴趣区域，图形取反，膨胀，得到最大的两个连通域目标，即为两个条形码区域对应的ROI感兴趣区域，
去噪，中值滤波，去除过小的噪声，并让过小的缺陷横向特征更明显，
再次取反，进行开运算，先通过腐蚀操作使用长横条形状内核处理竖码条，再通过膨胀操作让拟合后的条形码部分更突出，
优化不同内核的多次中值滤波，进一步滤去未消除干净的竖条形码，再次膨胀突出条形码部分，最终得到用户所购买商品对应的商品条形码。
对所述商品条形码进行识别，若能够识别并校验通过，则认为所述商品条形码正确，否则认为所述商品条形码错误，跳转回到从所述第二处理图像中提取出多张拆分图像的操作，按序执行后续流程，直至所述商品条形码正确。
本发明实施例所述的商品智能识别方法，还包括如下步骤：
S4、对所获取的多张商品原始图像进行背景减除处理，结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像，对用户的购物动作进行识别；这一步骤流程如下：
用户将商品放入车筐。这个比较容易辨别，以时间维度来分析，减除背景后的图像中从没有商品到有商品，则认为是用户将商品放入车筐。
用户从车筐内拿出商品。可分为以下过程：
(1)商品在车筐中，背景减除后的图片为空；
(2)用户手伸入准备拿商品，背景减除后的图片有手；
(3)用户开始从购物筐拿出商品，背景减除后的图片有手也有商品，商品在购物筐内；
(4)用户继续从购物筐拿出商品，背景减除后的图片有手也有商品，商品从购物筐往上移动；
(5)用户从购物筐拿走了商品，背景减除后的图片为空；
因此，可以认定以时间维度来分析，商品从购物筐内向购物筐上部移动，则认为是移出商品。背景减除是使用KNN最临近结点算法的帧差法减除的。
综上所述，本发明所提出的一种商品智能识别方法，利用图像视觉识别算法，配合商超场景中的硬件条件（购物车），实现了对商品条形码的高效、准确、智能识别，免除用户购买商品时的额外操作，降低操作错误率，显著地提高了用户体验。更进一步的有益效果如下所述：
基于本发明的商品智能识别方法，购物车可以智能识别用户的购买动作和所购买的商品，且方法还能够区分用户是将商品放入购物车、还是从购物车中拿出商品，无需用户自行选择或通过扫码判断。
其一，方法的应用有效地防止了消费者有意或无意地将商品漏放、错放、夹带放入购物车的行为，减少了商超损失和用户投诉；
其二，方法的应用更符合消费者自然的购物习惯，极大地提升了客户体验，显著降低了商品识别过程中的操作错误率，保证了应用效率。
此外，本发明的方法还能够与购物车上的电子秤等设备联动、几者结合使用，这对于商品防损、购物流畅性和用户体验等方面都有着进一步地提升。
另一方面，本发明还涉及一种商品智能识别装置，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，其架构如图2所示，包括：
图像过滤模块，被配置为对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；
条形码图像分离模块，被配置为对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；
多图像条形码纠正拟合模块，被配置为对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息；
用户购物动作识别模块，被配置为对所获取的多张商品原始图像进行背景减除处理，结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像，对用户的购物动作进行识别。
在一种可能的实现方式中，所述图像过滤模块，包括：
第一图像过滤单元，被配置为获取来自所述图像获取系统的多张商品原始图像，对所获取的多张商品原始图像进行图像过滤处理，其中，
第二图像过滤单元，被配置为对于图像中包含有购物车外商品的所述商品原始图像，利用ROI感兴趣区域图像过滤技术进行图像剔除，
第三图像过滤单元，被配置为对于图像中包含有购物车内商品的所述商品原始图像，利用背景减除算法中的KNN最临近结点算法的帧差法进行图像剔除；
第四图像过滤单元，被配置为将经过图像过滤处理的图像进行汇总，得到多张第一处理图像。
在一种可能的实现方式中，所述条形码图像分离模块，包括：
第一图像分离单元，被配置为对所述第一处理图像逐一进行灰度处理，将所述第一处理图像转换为灰度图；
第二图像分离单元，被配置为对所述灰度图使用Scharr算子，得到所述灰度图在水平方向和垂直方向上的梯度值表示，将水平方向的梯度值减去垂直方向上的梯度值，得到高水平梯度和低垂直梯度的图像区域；
第三图像分离单元，被配置为执行高斯模糊并将所述图像区域转化为二值化的梯度图像，并使用卷积核Sobel大小为9x9的均值滤波作用于所述梯度图像；
第四图像分离单元，被配置为构建掩码并将其应用于所述梯度图像中，并对所述梯度图像进行多次膨胀及腐蚀操作直至所述梯度图像中的噪声低于预设标准；
第五图像分离单元，被配置为利用基于阈值的Otsu法对所述梯度图像进行分割，检测所分割出的最大轮廓，计算得到该轮廓的最小外界矩形并将其作为第二处理图像。
在一种可能的实现方式中，所述多图像条形码纠正拟合模块，包括：
第一纠正拟合单元，被配置为若多张所述第二处理图像中没有任意一张清晰展示商品条形码，则
从所述第二处理图像中提取出多张拆分图像，从中位将所述条形码图像再进行一步分割，将分割所得的图像进行组装拟合成为新的条形码图像；
第二纠正拟合单元，被配置为对所述新的条形码图像进行二值化处理，对经过二值化处理后的所述新的条形码按序进行确定ROI感兴趣区域、去噪、去条形码及优化，得到用户所购买商品对应的商品条形码；
第三纠正拟合单元，被配置为对所述商品条形码进行识别，若能够识别并校验通过，则认为所述商品条形码正确，否则认为所述商品条形码错误，跳转回到从所述第二处理图像中提取出多张拆分图像的操作，按序执行后续流程，直至所述商品条形码正确。
又一方面，本发明还涉及一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前文所述的商品智能识别方法中的步骤，例如图1所示的步骤。或者，处理器执行计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图2所示的各模块/单元的功能。
再一方面，本发明还涉及一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行所述计算机程序时实现如前文所述的商品智能识别方法中的步骤。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
与上述方法相对应的，本发明所提出的一种商品智能识别方法装置、终端及存储介质，以系统化、标准化的处理流程实现了对用户所购买商品上条形码的智能识别，进而为后续的商品结算操作提供了技术支持，硬件方案的适配性和兼容性较高，能够切实地应用于各类线下消费场景中。
本发明还为其他与商品识别相关的技术方案提供了参考，可以以此为依据进行拓展延伸和深入研究，具有十分广阔的应用前景。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
最后，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种商品智能识别方法，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，其特征在于，方法包括如下步骤：
对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；
对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；
对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息。
2.根据权利要求1所述的商品智能识别方法，其特征在于，还包括如下步骤：
对所获取的多张商品原始图像进行背景减除处理，结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像，对用户的购物动作进行识别。
3.根据权利要求1所述的商品智能识别方法，其特征在于，所述对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像，包括如下步骤：
获取来自所述图像获取系统的多张商品原始图像，对所获取的多张商品原始图像进行图像过滤处理，其中，
对于图像中包含有购物车外商品的所述商品原始图像，利用ROI感兴趣区域图像过滤技术进行图像剔除；
对于图像中包含有购物车内商品的所述商品原始图像，利用背景减除算法中的KNN最临近结点算法的帧差法进行图像剔除；
将经过图像过滤处理的图像进行汇总，得到多张第一处理图像。
4.根据权利要求3所述的商品智能识别方法，其特征在于，所述对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像，包括如下步骤：
对所述第一处理图像逐一进行灰度处理，将所述第一处理图像转换为灰度图；
对所述灰度图使用Scharr算子，得到所述灰度图在水平方向和垂直方向上的梯度值表示，将水平方向的梯度值减去垂直方向上的梯度值，得到高水平梯度和低垂直梯度的图像区域；
执行高斯模糊并将所述图像区域转化为二值化的梯度图像，并使用卷积核大小为9x9的均值滤波作用于所述梯度图像；
构建掩码并将其应用于所述梯度图像中，并对所述梯度图像进行多次膨胀及腐蚀操作直至所述梯度图像中的噪声低于预设标准；
利用基于阈值的最大类间方差法对所述梯度图像进行分割，检测所分割出的最大轮廓，计算得到该轮廓的最小外界矩形并将其作为第二处理图像。
5.根据权利要求4所述的商品智能识别方法，其特征在于，所述对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息，包括如下步骤：
若多张所述第二处理图像中没有任意一张清晰展示商品条形码，则
从所述第二处理图像中提取出多张拆分图像，从中位将所述条形码图像再进行一步分割，将分割所得的图像进行组装拟合成为新的条形码图像；
对所述新的条形码图像进行二值化处理，对经过二值化处理后的所述新的条形码按序进行确定ROI感兴趣区域、去噪、去条形码及优化，得到用户所购买商品对应的商品条形码；
对所述商品条形码进行识别，若能够识别并校验通过，则认为所述商品条形码正确，否则认为所述商品条形码错误，跳转回到从所述第二处理图像中提取出多张拆分图像的操作，按序执行后续流程，直至所述商品条形码正确。
6.一种商品智能识别装置，与设置于购物车上的图像获取系统相匹配，所述图像获取系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置，其特征在于，包括：
图像过滤模块，被配置为对所获取的多张商品原始图像进行图像过滤处理，其中，所述图像过滤处理包括购物车外商品图像剔除及购物车内商品图像剔除，得到多张第一处理图像；
条形码图像分离模块，被配置为对所述第一处理图像逐一进行条形码图像分离处理，得到包含有用户所购买商品对应的条形码图像的多张第二处理图像；
多图像条形码纠正拟合模块，被配置为对多张所述第二处理图像进行条形码纠正拟合处理，得到用户所购买商品对应的商品条形码，并依据所述商品条形码获得相对应的商品信息。
7.根据权利要求6所述的商品智能识别装置，其特征在于，还包括：
用户购物动作识别模块，被配置为对所获取的多张商品原始图像进行背景减除处理，结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像，对用户的购物动作进行识别。
8.根据权利要求6所述的商品智能识别装置，其特征在于，所述图像过滤模块，包括：
第一图像过滤单元，被配置为获取来自所述图像获取系统的多张商品原始图像，对所获取的多张商品原始图像进行图像过滤处理，其中，
第二图像过滤单元，被配置为对于图像中包含有购物车外商品的所述商品原始图像，利用ROI感兴趣区域图像过滤技术进行图像剔除；
第三图像过滤单元，被配置为对于图像中包含有购物车内商品的所述商品原始图像，利用背景减除算法中的KNN最临近结点算法的帧差法进行图像剔除；
第四图像过滤单元，被配置为将经过图像过滤处理的图像进行汇总，得到多张第一处理图像。
9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一所述的商品智能识别方法中的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行所述计算机程序时实现如权利要求1至5中任一所述的商品智能识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210795536.1A CN114882370A (zh) | 2022-07-07 | 2022-07-07 | 商品智能识别方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210795536.1A CN114882370A (zh) | 2022-07-07 | 2022-07-07 | 商品智能识别方法、装置、终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114882370A true CN114882370A (zh) | 2022-08-09 |
Family
ID=82683410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210795536.1A Pending CN114882370A (zh) | 2022-07-07 | 2022-07-07 | 商品智能识别方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882370A (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682266A (zh) * | 2012-05-17 | 2012-09-19 | 西北工业大学 | 一种基于图像拼接的柱面二维条码识读方法 |
| CN204706039U (zh) * | 2015-05-29 | 2015-10-14 | 杭州晟元芯片技术有限公司 | 一种基于多镜头的条码识别装置 |
| CN105915857A (zh) * | 2016-06-13 | 2016-08-31 | 南京亿猫信息技术有限公司 | 超市购物车监控系统及其监控方法 |
| CN107633192A (zh) * | 2017-08-22 | 2018-01-26 | 电子科技大学 | 一种基于机器视觉的复杂背景下条形码分割与识读方法 |
| CN108960038A (zh) * | 2018-05-04 | 2018-12-07 | 广州图匠数据科技有限公司 | 一种基于图像识别技术的购物手推车及其识别方法 |
| CN108961304A (zh) * | 2017-05-23 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 识别视频中运动前景的方法和确定视频中目标位置的方法 |
| CN109003403A (zh) * | 2018-06-05 | 2018-12-14 | 西安超嗨网络科技有限公司 | 购物车商品称重和计价方法、装置及系统 |
| CN110188724A (zh) * | 2019-06-05 | 2019-08-30 | 中冶赛迪重庆信息技术有限公司 | 基于深度学习的安全帽定位与颜色识别的方法及系统 |
| CN110222547A (zh) * | 2019-04-29 | 2019-09-10 | 北京三快在线科技有限公司 | 条码识别方法及装置 |
| CN110322288A (zh) * | 2019-06-20 | 2019-10-11 | 浙江大华技术股份有限公司 | 基于购物车的购物行为分析方法、装置、系统和存储介质 |
| CN110458100A (zh) * | 2019-08-12 | 2019-11-15 | 南京邮电大学 | 基于目标检测和跟踪的乒乓球落点识别和评分方法及系统 |
| EP3754579A1 (en) * | 2019-06-18 | 2020-12-23 | Toshiba TEC Kabushiki Kaisha | Barcode generation device and barcode generation method |
| CN112183134A (zh) * | 2020-09-02 | 2021-01-05 | 福建（泉州）哈工大工程技术研究院 | 一种快递条码的拼接及校正方法 |
| WO2021025237A1 (ko) * | 2019-08-02 | 2021-02-11 | 주식회사 딥파인 | 쇼핑 카트 및 그의 상품 인식 방법, 이를 이용한 쇼핑 서비스 제공 시스템 및 방법 |
| US20210209575A1 (en) * | 2017-01-04 | 2021-07-08 | Xian Chaohi Net Technology Co., Ltd. | Method and system for identifying goods of intelligent shopping cart |
| CN113525489A (zh) * | 2021-02-24 | 2021-10-22 | 上海汉时信息科技有限公司 | 一种购物装置和商品放置检测方法、检测系统 |
| US20210342806A1 (en) * | 2019-01-16 | 2021-11-04 | Tracxone Ltd. | System and methods for automatic detection of product insertions and product extraction in an open shopping cart |
| CN114529555A (zh) * | 2021-12-31 | 2022-05-24 | 红云红河烟草(集团)有限责任公司 | 一种基于图像识别的烟箱高效进出库检测方法 |
-
2022
- 2022-07-07 CN CN202210795536.1A patent/CN114882370A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682266A (zh) * | 2012-05-17 | 2012-09-19 | 西北工业大学 | 一种基于图像拼接的柱面二维条码识读方法 |
| CN204706039U (zh) * | 2015-05-29 | 2015-10-14 | 杭州晟元芯片技术有限公司 | 一种基于多镜头的条码识别装置 |
| CN105915857A (zh) * | 2016-06-13 | 2016-08-31 | 南京亿猫信息技术有限公司 | 超市购物车监控系统及其监控方法 |
| US20210209575A1 (en) * | 2017-01-04 | 2021-07-08 | Xian Chaohi Net Technology Co., Ltd. | Method and system for identifying goods of intelligent shopping cart |
| CN108961304A (zh) * | 2017-05-23 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 识别视频中运动前景的方法和确定视频中目标位置的方法 |
| CN107633192A (zh) * | 2017-08-22 | 2018-01-26 | 电子科技大学 | 一种基于机器视觉的复杂背景下条形码分割与识读方法 |
| CN108960038A (zh) * | 2018-05-04 | 2018-12-07 | 广州图匠数据科技有限公司 | 一种基于图像识别技术的购物手推车及其识别方法 |
| CN109003403A (zh) * | 2018-06-05 | 2018-12-14 | 西安超嗨网络科技有限公司 | 购物车商品称重和计价方法、装置及系统 |
| US20210342806A1 (en) * | 2019-01-16 | 2021-11-04 | Tracxone Ltd. | System and methods for automatic detection of product insertions and product extraction in an open shopping cart |
| CN110222547A (zh) * | 2019-04-29 | 2019-09-10 | 北京三快在线科技有限公司 | 条码识别方法及装置 |
| CN110188724A (zh) * | 2019-06-05 | 2019-08-30 | 中冶赛迪重庆信息技术有限公司 | 基于深度学习的安全帽定位与颜色识别的方法及系统 |
| EP3754579A1 (en) * | 2019-06-18 | 2020-12-23 | Toshiba TEC Kabushiki Kaisha | Barcode generation device and barcode generation method |
| CN110322288A (zh) * | 2019-06-20 | 2019-10-11 | 浙江大华技术股份有限公司 | 基于购物车的购物行为分析方法、装置、系统和存储介质 |
| WO2021025237A1 (ko) * | 2019-08-02 | 2021-02-11 | 주식회사 딥파인 | 쇼핑 카트 및 그의 상품 인식 방법, 이를 이용한 쇼핑 서비스 제공 시스템 및 방법 |
| CN110458100A (zh) * | 2019-08-12 | 2019-11-15 | 南京邮电大学 | 基于目标检测和跟踪的乒乓球落点识别和评分方法及系统 |
| CN112183134A (zh) * | 2020-09-02 | 2021-01-05 | 福建（泉州）哈工大工程技术研究院 | 一种快递条码的拼接及校正方法 |
| CN113525489A (zh) * | 2021-02-24 | 2021-10-22 | 上海汉时信息科技有限公司 | 一种购物装置和商品放置检测方法、检测系统 |
| CN114529555A (zh) * | 2021-12-31 | 2022-05-24 | 红云红河烟草(集团)有限责任公司 | 一种基于图像识别的烟箱高效进出库检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杜越，: "移动机器人智能监控与应急救援关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3910608B1 (en) | Article identification method and system, and electronic device | |
| US9033238B2 (en) | Methods and arrangements for sensing identification information from objects | |
| EP2415015B1 (en) | Barcode processing | |
| CN101689300B (zh) | 图像分割和增强 | |
| Mosleh et al. | Automatic inpainting scheme for video text detection and removal | |
| US20140153779A1 (en) | Object Segmentation at a Self-Checkout | |
| Lin et al. | Real-time automatic recognition of omnidirectional multiple barcodes and dsp implementation | |
| CN103617420A (zh) | 基于图像特征匹配的商品快速识别方法及系统 | |
| CN108932449B (zh) | 一种基于聚类的条码二值化方法及系统 | |
| US20160125218A1 (en) | Systems, methods and articles for reading highly blurred machine-readable symbols | |
| CN113344012B (zh) | 物品识别方法、装置及设备 | |
| JP2012150552A (ja) | 物体認識処理装置及び物体認識処理方法 | |
| CN107403179B (zh) | 一种物品包装信息的注册方法及装置 | |
| US20120104100A1 (en) | Image-based barcode reader | |
| Puri et al. | Barcode detection using OpenCV-python | |
| CN113469216B (zh) | 零售终端海报识别与完整性判断方法、系统及存储介质 | |
| CN110705620A (zh) | 一种基于翻拍识别的陈列图像检测方法、装置及存储介质 | |
| CN113888425A (zh) | 基于多帧融合的工业质检图像文字匹配方法及系统 | |
| CN114882370A (zh) | 商品智能识别方法、装置、终端及存储介质 | |
| CN111079749A (zh) | 一种带姿态校正的端到端商品价签文字识别方法和系统 | |
| CN110969454A (zh) | 一种基于智能产品画册的化妆品宣传推广系统 | |
| CN112001957B (zh) | 一种基于纹理算法的菜品分类计价方法及其系统 | |
| Merrad et al. | A Real-time Mobile Notification System for Inventory Stock out Detection using SIFT and RANSAC. | |
| CN114037940A (zh) | 目标商品的轨迹生成方法、装置、电子设备及存储介质 | |
| CN113627415A (zh) | 确定目标对象摆放信息的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220809 |