CN102063616A - 一种基于图像特征匹配的商品自动识别系统及方法 - Google Patents

Abstract

本发明实施例公开了一种基于图像特征匹配的商品自动识别系统，用于信息系统领域，用以解决现有条形码技术进行商品特征的标识在商品销售信息系统中的不足，以提供更实时更准确的商品特征识别方案。所述系统包括：图像处理单元，用于实时采集当前商品的图像数据，并处理所述当前商品的图像数据以提取图像特征信息；商品信息系统，用于存储商品的图像特征信息，并根据实时采集到的商品的图像特征信息进行当前商品的图像特征查找和匹配，识别所述当前商品。本发明利用图像处理单元进行商品的图像采集、处理和通信，应用图像识别技术同步对商品价格进行识别，识别速度快、精度高，具有很好的推广应用价值。

Description

一种基于图像特征匹配的商品自动识别系统及方法

技术领域

本发明涉及信息系统领域，尤其涉及一种基于图像特征匹配的商品自动识别系统及方法。

背景技术

在商品信息系统早期，商品价格的识别与录入，往往是通过人工实现。如此的方式，不仅数据量十分庞大，劳动强度大，而且数据误码率较高，同时也失去了实时的意义。对于商品价格的识别，普遍采用的是数字条形码扫描技术：几乎所有的开架式商品包装上都会有条形码即商品代码存在。

条形码(barcode)是将宽度不等的多个黑条和空白，按照一定的编码规则排列，用以表达一组信息的图形标识符。条形码是商品的“户口”或“身份证”，其编码遵循唯一性原则，以保证商品代码在全世界范围内不重复，即一个商品只能有一个代码，或者说一个代码只能标识一种商品，不同商品特征，例如规格、包装、品种、价格、颜色不同的商品只能使用不同的商品代码。超市等商场可以根据这个代码标识将实际的商品价格输入计算机管理系统，而自动结账收银机就根据系统中代码和价格的记录，来将有对应条形码商品的价格读出。

这种采用条形码来识别商品及其价格的方法，它存在的问题是：

(1)条形码数量繁多，经常需要改变，因为商品的基本特征一旦确定，其对应的条形码即确定，但只要商品的一项基本特征发生变化，就必须另外分配一个不同的商品代码。

(2)商品条形码的印刷精度要求较高，当印刷精度不能满足要求时，易造成条形码识读的困难。

(3)商品条形码的标注存在种种不规范。例如不同商品竟用同一条形码；条形码杂乱顾客难以辨认；存在冒牌条形码等等，这些违规条形码可能损害消费者权益。

对于大的商场，售货员手动将商品代码输入商品信息系统中，再由收银员从数据库中根据商品代码调取对应的价格。这样的方式人员成本较高，而且由于手动操作，错误发生的可能性较大，也给消费者带来了不便。

而对于小型零售业，例如箱包店、文具店、精品店等等这样规模的商店，则通过手动计价或者人工打印、粘贴商品价格标签。当商品量大的时候，十分耗时。

发明内容

基于现有商品信息系统对商品信息录入技术的局限性，本发明实施例提供了一种基于图像特征匹配的商品自动识别系统及方法，用以解决现有条形码技术进行商品特征的标识在商品销售信息系统中的不足，以提供更实时更准确的商品特征识别方案。

为了实现前述发明目的，本发明实施例所提供的一种基于图像特征匹配的商品自动识别系统是通过以下技术方案实现的：

一种基于图像特征匹配的商品自动识别系统，包括：

图像处理单元，用于实时采集当前商品的图像数据，并处理所述当前商品的图像数据以提取图像特征信息；

商品信息系统，用于存储商品的图像特征信息，并根据实时采集到的商品的图像特征信息进行当前商品的图像特征查找和匹配，识别所述当前商品。

进一步优选地，所述图像处理单元具体包括以下模块：

图像采集模块，用于采集当前商品的光学图像并将采集到的光学图像转换为模拟或数字图像数据；

控制模块，用于实时存储图像采集单元获得的图像数据并进行图像数据处理以提取图像特征信息。

网络通信模块，用于提供网络通信的功能以将所述图像数据的处理结果传递给所述商品信息系统。

进一步优选地，所述控制模块具体包括：

存储子模块，用于实时存储图像采集单元获得的图像数据；

图像处理子模块，用于进行对所述图像数据的处理；

图像特征提取子模块，用于通过对图像数据处理得到的信息进行融合以进行图像特征提取，输出图像特征信息。

进一步优选地，所述图像数据处理包括图像的定位和搜索、几何边缘的提取、特征向量处理、位图信息处理和灰度直方图处理。

进一步优选地，所述商品信息系统包括：

商品数据库，用于存储商品的图像特征信息；

查找匹配模块，用于根据所述图像处理单元实时采集到的当前商品的图像特征信息，在所述商品数据库里进行图像特征查找和匹配，识别所述当前商品。

进一步优选地，所述商品数据库通过所述图像处理单元预先录入并存储商品的图像特征信息。

进一步优选地，所述商品自动识别系统还包括收银系统，用于根据识别出的商品及其价格信息进行记帐收款。

为了实现前述发明目的，本发明实施例还提供了一种基于图像特征匹配的商品自动识别方法，所述的基于图像特征匹配的商品自动识别方法是通过以下的技术方案实现的：

一种基于前述基于图像特征匹配的商品自动识别系统的商品自动识别方法，包括：

当检测到商品进入检测区时，触发图像处理单元进行实时采集当前商品的图像数据，并处理所述当前商品的图像数据以提取图像特征信息；

根据实时采集到的商品的图像特征信息进行商品的图像特征匹配以识别所述当前商品。

进一步优选地，所述方法还包括：

通过所述图像处理单元预先录入并存储商品的图像特征信息于商品数据库中。

进一步地，所述根据实时采集到的商品的图像特征信息进行商品的图像特征匹配以识别所述当前商品具体包括：

根据实时采集到的商品的图像特征信息，按照KDtree方法在所述商品数据库中进行查找与匹配。

进一步优选地，所述方法还包括：

当图像特征匹配成功率大于或等于预先设置的成功率时，所述实时采集到的商品与商品数据库中的商品成功匹配。

本发明实施例提供的基于图像特征匹配的商品自动识别系统及方法，克服了传统条形码存在的信息容量较小，保密防伪性较差，使用可靠性差等缺点；利用图像处理单元进行商品的图像采集、处理和通信，应用图像识别技术同步对商品价格进行识别，识别速度快、精度高，具有很好的推广应用价值。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1为本发明实施例1基于图像特征匹配的商品自动识别系统的结构示意图；

图2为本发明实施例2另一种基于图像特征匹配的商品自动识别系统的示意图；

图3为本发明实施例3商品信息系统的结构示意图；

图4为本发明实施例5商品自动识别系统图像处理单元的示意图；

图5为本发明实施例5商品自动识别系统控制模块的示意图；

图6为本发明实施例6商品自动识别系统的实现构架示意图；

图7为本发明实施例商品自动识别系统的结构示意图；

图8为本发明实施例7基于图像特征匹配的商品自动识别方法的流程图。

具体实施方式

如图1为本发明实施例1基于图像特征匹配的商品自动识别系统的结构示意图。

一种基于图像特征匹配的商品自动识别系统，包括：

图像处理单元，用于实时采集当前商品的图像数据，并处理所述当前商品的图像数据以提取图像特征信息；

商品信息系统，用于存储商品的图像特征信息，并根据实时采集到的商品的图像特征信息进行当前商品的图像特征查找和匹配，识别所述当前商品。

进一步优选地，所述商品数据库通过所述图像处理单元预先录入并存储商品的图像特征信息，并可以对应存储商品的价格信息。

在本发明实施例1中，所述的图像处理单元可以是一个智能相机，作为一个微小化机器视觉系统，负责对商品图像进行采集和处理，即实时采集进入付账端的商品的图像，通过图像处理和同步图像识别，进行当前商品图像的特征提取，将特征作为输出信号传输至商品信息系统中。

所述的商品信息系统通过网络通讯接口接收图像特征信息，并对采集到的商品特征信息在商品数据库中进行处理比对，由于商品数据库中包含了预先提取的商场的每一商品的特征，将当前商品的图像特征与商品数据库中所有的商品特征进行查找比对，当匹配成功率与预先设置的成功率相当或大于预先设置的成功率时，即当作在商品数据库中找到对应的商品。

如图2所示，进一步优选地，所述商品自动识别系统还包括收银系统，用于根据找出的商品及其价格信息进行记帐收款，商品的价格信息可以存储在POS系统中或商品信息系统中。

本发明实施例2中的商品信息系统还包括一收银系统即POS系统，用于较大型规模的商场中，当匹配成功时，将匹配结果发送至POS系统中。具体的实施条件下，本发明实施例2的POS系统为一个基于Windows平台的POS信息系统，其由电脑主机、内存、硬盘、显示器、打印机、键盘以及网络接口卡构成。根据从商品信息系统得到的匹配结果，获取商品的名称、价格，输入数量，后台POS系统即可计算出该批商品的价格，从而完成顾客的结算。对于较大型商品的结算，商品自动识别系统可以安装于收银系统上方，采用手动触发智能相机，使得智能相机开启并采集商品图像。

对于较小型规模的商品交易，所述商品信息系统和POS可以集成为一体，即商品信息系统包含收银系统，在完成商品图像识别，在商品信息系统里找到当前进入收银端的商品和存储的价格信息时，完成结算。对于小型商品的结算，商品自动识别系统可以嵌入安装于收银系统台面内。收银系统内潜LED照明光源(实际应用中光源个数可以改变)，当前需要结帐的物品进入红外传感器的传感区域时，红外传感器检测到待商品的存在，发送信号指示触发智能相机开启并采集商品图像。

如图3所示，进一步优选地，本发明实施例3的所述商品信息系统包括：

商品数据库，用于存储商品的图像特征信息；

查找匹配模块，用于根据所述图像处理单元实时采集到的当前商品的图像特征信息，在所述商品数据库里进行图像特征查找和匹配，识别所述当前商品。

如图4所示，进一步优选地，本发明实施例4的所述图像处理单元具体包括以下模块：

图像采集模块，用于采集当前商品的光学图像并将采集到的光学图像转换为模拟或数字图像数据；

控制模块，用于实时存储图像采集单元获得的图像数据并进行图像数据处理以提取图像特征信息。

网络通信模块，用于提供网络通信的功能以将所述图像数据的处理结果传递给所述商品信息系统。

具体的实施条件下，所述的图像采集模块为一个由彩色CMOS摄像头构成的图像采集部件，其摄像头部分包含一图像传感器，当需要结帐的商品进入结账端即收银端时，图像传感器感知到商品存在并开始实施采集当前结帐商品图像，通过一个数字接口与控制模块相连接，该数字接口可以是DMA接口。一个由以太网口或WIFI/WIMAX无线网口构成的网络通信模块，主要完成图像处理单元与商品信息系统进行特征信息的通信任务。

如图5所示，进一步优选地，本发明实施例5所述控制模块具体包括：

存储子模块，用于实时存储图像采集单元获得的图像数据；

图像处理子模块，用于进行对所述图像数据的处理；

图像特征提取子模块，用于通过对图像数据处理得到的信息进行融合以进行图像特征提取，输出当前商品的图像特征信息。

一个由图像处理子模块、存储子模块和图像特征提取子模块共同组成的控制模块，对采集到的图像数据进行实时的存储，并通过图像处理、信息融合和同步图像识别实现图像特征提取，输出特征信息；进一步优选地，所述图像处理子模块对图像数据的处理包括图像的定位和搜索、几何边缘的提取、特征向量、位图信息处理和灰度直方图处理。

如图6所示，具体的实施条件下，本发明实施例6所述的控制模块以如下的方式实现：

控制模块采用ARM+DSP双处理器的构架，DSP处理器负责复杂、密集的图像数据运算，ARM负责控制指令与通讯；存储部件由SDRAM和FLASH RAM共同组成，SDRAM采用双向接口类型，且容量满足视频采集量的需要，FLASH RAM存储软件、系统参数和其它固件。由CMOS摄像头采集到的图像经过数字接口，通过DMA方式传送到内存中，每次数据传输完成后，图像特征提取子模块对图像进行特征提取，特征信息通过以太网口或无线网口传送到商品信息系统。

如图7所示，本发明实施例通过以上实施例实现了图像采集模块，图像处理子模块和通信模块的高度集成，通过可靠性设计获得较高的识别率及稳定性，并通过采用KDtree的查找搜索方式，使得图像特征匹配具有实时性，克服了传统条形码存在的信息容量较小，保密防伪性较差，使用可靠性差等缺点；利用图像处理单元如智能相机进行图像采集、处理和通信，应用图像识别技术同步对商品价格进行识别，具有识别速度快、精度高和容易推广应用的优点。

如图8所示，本发明实施例7提供了一种基于图像特征匹配的商品自动识别方法，所述的基于图像特征匹配的商品自动识别方法是通过以下的技术方案实现的：

一种基于前述基于图像特征匹配的商品自动识别系统的商品自动识别方法，包括：

步骤一、当检测到商品进入检测区时，触发图像处理单元进行实时采集当前商品的图像数据，并处理所述当前商品的图像数据以提取图像特征信息；

步骤二、根据实时采集到的商品的图像特征信息进行商品的图像特征匹配以识别所述当前商品。

当商品放置于计价收银区域时，由红外传感器或手动触发图像处理单元例如智能相机，智能相机启动执行图像采集、预处理以及特征提取步骤后存储特征信号，并输出给商品信息系统，商品系统对该图像特征信息进行查找匹配以完成商品识别，最终在POS系统终端上，完成整个交易。

进一步优选地，所述方法还包括：

通过所述图像处理单元预先录入并存储商品的图像特征信息，并对应存储商品的价格信息于商品数据库中：

首先对商品进行图像采集，考虑到匹配的冗余性，一般采用2-3幅不同视角的图像，然后采用图像处理和特征提取方法，对图像特征进行提取并将特征存储在商品信息系统的商品数据库中。

图像处理单元如智能相机首先对图像进行采集，然后利用图像处理子模块对采集到的图像进行图像处理，图像特征提取子模块对图像特征信息进行提取，得到当前图像的特征信息，将处理结果通过以太网传输到商品信息系统中，商品信息系统中的查找匹配模块对特征数据进匹配，得到对应的商品及其价格信息。

进一步优选地，所述方法还包括：

步骤三、当图像特征匹配成功率大于或等于预先设置的成功率时，所述实时采集到的商品与商品数据库中的商品成功匹配。

整个识别和交易过程由六个部分构成：相机触发、图像获取、特征提取、特征匹配、获取商品信息以及完成交易，如下所示：

步骤1，由红外装置检测到商品后，触发智能相机；

步骤2，智能相机采集当前拍摄图像到内存中；

步骤3，智能相机中的图像处理子模块和图像特征提取子模块对当前图像进行特征提取；_

对输入图像进行形状、颜色及图案三部分视觉属性分析，并提取图像surf(Speeded Up Robust Features)特征。

步骤4，商品信息系统的查找匹配模块对根据当前特征信息，按照KDtree方法在商品数据库中进行查找与匹配；

例如在特征匹配上，根据当前特征向量在商品数据库上进行在所有特征向量的搜索最佳匹配过程。实际应用中，商品数据库存储的并非商品图像，而是商品图像进行特征提取后的特征信号，利用多维检索树KDtree(k-dimensional tree)方法进行搜索匹配，得到商品信息。

步骤5，匹配成功率大于或等于90％，认为是成功匹配，从而得到对应得商品及价格信息；

步骤6，收银员根据在POS系统终端机上，根据第5步获得的商品，得到商品名称与价格，完成整个交易。

POS系统通过网络通讯卡与商品信息系统之间进行通讯，或POS系统与商品信息系统设置为一个系统，POS系统与商品数据库通过内置通讯卡进行通讯。根据从商品信息系统得到的匹配结果，获取商品的名称、价格，输入数量，后台POS系统即可计算出该批商品的价格，从而完成顾客的结算。

本发明实施例通过可靠性设计获得较高的识别率及稳定性，并通过采用KDtree的查找搜索方式，使得图像特征匹配具有实时性，克服了传统条形码存在的信息容量较小，保密防伪性较差，使用可靠性差等缺点；利用图像处理单元如智能相机进行图像采集、处理和通信，应用图像识别技术同步对商品价格进行识别，具有识别速度快、精度高和容易推广应用的优点。

本领域技术人员应该认识到，上述的具体实施方式只是示例性的，是为了使本领域技术人员能够更好的理解本专利内容，不应理解为是对本专利保护范围的限制，只要是根据本专利所揭示精神所作的任何等同变更或修饰，均落入本专利保护范围。

Claims (12)

1.一种基于图像特征匹配的商品自动识别系统，其特征在于，所述系统包括：

图像处理单元，用于实时采集当前商品的图像数据，并处理所述当前商品的图像数据以提取图像特征信息；

商品信息系统，用于存储商品的图像特征信息，并根据实时采集到的商品的图像特征信息进行当前商品的图像特征查找和匹配，识别所述当前商品。

2.根据权利要求1所述的基于图像特征匹配的商品自动识别系统，其特征在于，所述图像处理单元包括：

图像采集模块，用于采集当前商品的光学图像并将采集到的光学图像转换为模拟或数字图像数据；

控制模块，用于实时存储图像采集单元获得的图像数据并进行图像数据处理以提取图像特征信息；

网络通信模块，用于提供网络通信的功能以将所述图像数据的处理结果传递给所述商品信息系统。

3.根据权利要求2所述的基于图像特征匹配的商品自动识别系统，其特征在于，所述控制模块包括：

存储子模块，用于实时存储图像采集单元获得的图像数据；

图像处理子模块，用于进行对所述图像数据的处理；

图像特征提取子模块，用于通过对图像数据处理得到的信息进行融合以进行图像特征提取，输出图像特征信息。

4.根据权利要求3所述的基于图像特征匹配的商品自动识别系统，其特征在于，所述图像数据的处理包括图像的定位和搜索、几何边缘的提取、特征向量处理、位图信息处理和灰度直方图处理。

5.根据权利要求1至4任意一项所述的基于图像特征匹配的商品自动识别系统，其特征在于，所述商品信息系统包括：

商品数据库，用于存储商品的图像特征信息；

查找匹配模块，用于根据所述图像处理单元实时采集到的当前商品的图像特征信息，在所述商品数据库里进行图像特征查找和匹配，识别所述当前商品。

6.根据权利要求1至5任意一项所述的基于图像特征匹配的商品自动识别系统，其特征在于，所述商品数据库通过所述图像处理单元预先录入并存储商品的图像特征信息。

7.根据权利要求1至6任意一项所述的基于图像特征匹配的商品自动识别系统，其特征在于，所述商品自动识别系统还包括收银系统，用于根据识别出的商品及其价格信息进行记帐收款。

8.一种基于权利要求1至7所述的基于图像特征匹配的商品自动识别系统的商品自动识别方法，包括：

当检测到商品进入检测区时，触发图像处理单元进行实时采集当前商品的图像数据，并处理所述当前商品的图像数据以提取图像特征信息；

根据实时采集到的商品的图像特征信息进行商品的图像特征匹配以识别所述当前商品。

9.根据权利要求8所述的基于图像特征匹配的商品自动识别方法，其特征在于，所述方法还包括：

通过所述图像处理单元预先录入并存储商品的图像特征信息于商品数据库中。

10.根据权利要求9所述的基于图像特征匹配的商品自动识别方法，其特征在于，所述处理所述当前商品的图像数据包括图像的定位和搜索、几何边缘的提取、特征向量处理、位图信息处理和灰度直方图处理。

11.根据权利要求10所述的基于图像特征匹配的商品自动识别方法，其特征在于，所述根据实时采集到的商品的图像特征信息进行商品的图像特征匹配以识别所述当前商品具体包括：

根据实时采集到的当前商品的图像特征信息，按照KDtree方法在所述商品数据库中进行查找与匹配。

12.根据权利要求11所述的基于图像特征匹配的商品自动识别方法，其特征在于，所述方法还包括：

当图像特征匹配成功率大于或等于预先设置的成功率时，所述实时采集到的商品与商品数据库中的商品成功匹配。

Images