CN103150631B - 基于图像匹配的自动物品管理方法及其系统 - Google Patents

Abstract

本发明提供一种基于图像匹配的自动物品管理方法，包括图像注册步骤和物品检点步骤，图像注册时采集每种物品的图像和位置信息并建立数据库，同一种物品的图像和位置信息通过相同的物品ID关联，对于数据库中的图像，进行特征点检测，并提取点特征，所有的图像点特征形成图像特征库；物品检点步骤通过采集物品的图像与数据库中的图像进行点特征对应的匹配，然后对采集的图像与数据库中的物品图像进行拓扑分析，从而判定物品位置是否正确以及实际物品是否缺失。本发明还提供了一种基于图像匹配的自动物品管理系统。采用本发明进行物品管理，大大降低了物品点检的工作强度，提高了点检效率。

Description

基于图像匹配的自动物品管理方法及其系统

技术领域

本发明涉及物品管理方法及其系统，尤其是涉及一种基于图像匹配的自动物品管理方法及其系统。

背景技术

传统物品管理方法普遍采用人工检点的方式来管理物品，以判断仓库、超市等存储空间中的物品是否放置在正确的位置以及在相应的位置是否放置了相应的物品。当物品比较多时，这种传统的物品管理方法需要耗费大量的人工和时间，工人工作强度大，检点效率较低，而且容易出错。

发明内容

为了解决上述问题，本发明的第一个目的是提供一种工作强度小、检点效率较高的自动物品管理方法，该方法采用图像处理技术，通过自动的方式来判断物品是否放置在正确的位置以及在正确的位置上的物品是否缺失。

为了达到上述目的，本发明提供一种基于图像匹配的自动物品管理方法，其特征在于，包括以下步骤：

图像注册步骤：采集每种物品的至少一张图像和位置信息并建立数据库，同一种物品的图像和位置信息通过相同的物品ID关联，对于数据库中的图像，进行特征点检测，并提取点特征，所有的图像点特征形成图像特征库；

物品检点步骤：

①图像匹配：

使用图像采集设备采集物品的图像，采集的图像包含一个以上的物品；然后对采集的图像进行特征点检测，并提取图像点特征，通过这些点特征与所述图像特征库中的点特征一一对应形成特征点对，将拍摄的图像与数据库中的物品图像进行匹配；

②拓扑分析：

将采集的图像与数据库中的物品图像进行拓扑分析，判断物品放置位置是否正确以及实际物品是否缺失，并将判断结果输出进行显示。

具体地，所述的图像注册步骤还包括：针对每种物品，使用图像采集设备拍摄物品的外观图像，并将拍摄得到的图像存储在数据库中，给这些图像登记 相同的物品ID，对相同物品ID的图像给出在实际环境中的位置信息。

较佳地，进行特征点检测的步骤为通过点检测器抽取图像上的特征点，所述图像点特征为HOG特征。更佳地，所述点检测器为Harris角点检测器或SIFT点检测器。

具体地，所述物品检点步骤中，图像匹配的具体过程还包括：将所采集图像的点特征分别与所述图像特征库中的点特征进行匹配，统计匹配成功的特征点对，并将数据库中含有这些特征点对的物品ID检索出来，根据物品ID统计检索出的每一种物品对应的特征点对数量，对特征点对数量大于一定阈值的物品ID判断为匹配成功。

较佳地，所述阈值为4对。

具体地，所述物品检点步骤中，拓扑分析的具体过程还包括：将采集的图像标记为参考图像，数据库中的物品图像标记为目标图像，利用特征点对，计算目标图像与参考图像之间的映射关系，并根据映射关系将目标图像坐标映射到参考图像上，形成目标图像在参考图像上的拓扑关系，通过拓扑分析判断物品放置位置是否正确以及实际物品是否缺失。

更进一步地，拓扑分析的具体过程还包括：在参考图像上，将对应于目标图像的图像区域定义为匹配图像区域，将没有对应的目标图像的图像区域，定义为不匹配图像区域；对于匹配图像区域，检查其周围的匹配图像区域的拓扑是否等同于数据库中的拓扑，拓扑等同则为实际物品放置位置正确，拓扑不等同则报告实际物品放错位置，并将注册数据库中的位置信息显示出来，进行提示；对于不匹配图像区域，检查其周围的匹配图像区域中对应于正确的物品位置的图像区域，检索数据库中相应的位置信息，数据库中的位置信息存在相关联的图像则报告实际物品缺失。

本发明的第二个目的是提供一种能够基于图像匹配实现对物品的管理，该系统结构简单、操作方便，有效地降低了检点工作强度，提高了检点效率。

为了达到上述目的，本发明提供一种基于图像匹配的自动物品管理系统，其特征在于，包括：

图像采集单元，采集物品的外观图像；

中央处理器单元，与所述图像采集单元相连接，接收所述图像采集单元采集的图像，对图像进行特征点检测并提取图像点特征数据，使上述图像采集设备采集的图像与位置信息通过物品ID建立关联并建立数据库，对拍摄的图像 与数据库中的物品图像进行图像匹配和拓扑分析；

数据存储单元，与所述中央处理器相连接，存储数据库并接受所述中央处理器的数据写入、读取和检索；

显示单元，与所述中央处理器相连接，显示中央处理器的拓扑分析结果。

通过采用上述自动物品管理系统，对物品进行检点时，只需对物品进行拍照，采集物品的外观图像，系统就可以自动将拍摄的图像与数据库中的物品图像进行匹配并通过拓扑分析判断物品的位置是否正确以及实际物品是否缺失。

较佳地，所述中央处理器单元中还设有图像点检测器。更佳地，所述图像点检测器为Harris角点检测器或SIFT点检测器。

相较于现有技术，采用本发明提供的基于图像匹配的自动物品管理方法及其系统，极大降低了物品检点的工作强度，提高了检点效率。

附图说明

图1为本发明基于图像匹配的自动物品管理方法的流程方框示意图。

图2为本发明基于图像匹配的自动物品管理系统的结构示意图。

图3为本发明基于图像匹配的自动物品管理方法进行图像匹配的示意图。

图4为本发明基于图像匹配的自动物品管理方法对图像进行拓扑分析的示意图。

图5为本发明基于图像匹配的自动物品管理方法中定义空间拓扑关系的示意图。

具体实施方式

下面结合附图对本发明优选的实施方式进行详细说明。

请参阅图1及图2，其分别绘示本发明基于图像匹配的自动物品管理方法的流程方框示意图及基于图像匹配的自动物品管理系统的结构示意图。本发明提供一种基于图像匹配的自动物品管理方法，包括图像注册步骤和物品检点步骤。

本发明提供的一种基于图像匹配的自动物品管理系统包括图像采集单元、中央处理器单元、数据存储单元和显示单元。

图像采集单元，采集物品的外观图像。

中央处理器单元，与所述图像采集单元相连接，接收所述图像采集单元采集的图像，对图像进行特征点检测并提取图像点特征数据，使上述图像采集设备采集的图像与位置信息通过物品ID建立关联并建立数据库，对拍摄的图像 与数据库中的物品图像进行图像匹配和拓扑分析。

数据存储单元，与所述中央处理器相连接，存储数据库并接受所述中央处理器的数据写入、读取和检索。

显示单元，与所述中央处理器相连接，显示中央处理器的拓扑分析结果。

所述中央处理器单元中还设有图像点检测器，所述图像点检测器为Harris角点检测器或SIFT点检测器。

本发明具体实施过程如下：

（一）图像注册步骤S01

采集每种物品的至少一张图像和位置信息并建立数据库，同一种物品的图像和位置信息通过相同的物品ID关联，对于数据库中的图像，进行特征点检测，并提取点特征，所有的图像点特征形成图像特征库。针对每种物品，通过图像采集单元拍摄物品的外观图像，并将拍摄得到的图像存储在注册数据库中，给这些图像登记相同的物品ID，对相同物品ID的图像给出在实际环境中的位置信息。如图片100中包含货物A、B、C、D四种货物，数据库中包含以下信息：货物A，ID=A，位置（x₁,y₁,z₁），图片1.jpg；货物B，ID=B，位置（x₂,y₂,z₂），图片2.jpg；货物C，ID=C，位置（x₃,y₃,z₃），图片3.jpg；货物D，ID=D，位置（x₄,y₄,z₄），图片4.jpg。数据库存储在数据存储单元。

进行特征点检测的步骤为通过中央处理器中的点检测器抽取图像上的特征点，所述图像点特征为HOG特征。所述点检测器为Harris角点检测器或SIFT点检测器。本实施例中，我们采用性能比较好的SIFT点特征，中央处理器单元设有SIFT点检测器。一个SIFT点特征为128个浮点数。我们将这个128个浮点数作为一个点的特征保存到数据库中。

（二）物品检点步骤S02

①图像匹配：

使用图像采集单元采集物品的图像，采集的图像包含一个以上的物品；然后对采集的图像抽取特征点特征，并提取图像点特征，通过这些点特征与所述图像特征库中的点特征一一对应形成特征点对，将拍摄的图像与数据库中的物品图像进行匹配。具体地，所述物品检点步骤中，图像匹配的具体过程还包括：将所采集图像的点特征分别与所述图像特征库中的点特征进行匹配，统计匹配成功的特征点对，并将数据库中含有这些特征点对的物品ID检索出来，根据物品ID统计检索出的每一种物品对应的特征点对数量，对特征点对数量大于 一定阈值（4对）的物品ID判断为匹配成功。

用图像采集单元采集的图像会含有一个以上的物品，如图3所示，图像100上有A、B、C三个物品。分别对应数据库中物品ID为A、B、C的三个注册数据。在数据库中，物品A注册了两个点特征PA1：（f1，f2，…，f128）和PA2：（f1，f2，…，f128），物品B注册了1个特征PB1：（f1，f2，…，f128），物品C注册了1个特征PC1：（f1，f2，…，f128）。一般来说，一个物品图像会有若干注册特征点。图像中是用注册过程中相同的点检测算法检测出若干特征点。这些特征点理论上与注册的特征数量和位置相同。然后由于噪声的存在，可能存在多检或者少检的情况。

获得图像的特征点后，也计算点的特征，并将这些点特征逐个同数据库中的点特征进行一一对应匹配。特征匹配就是一个距离计算的过程，如下式所示

$\mathrm{dist}(F1,F2)=\mathrm{sqrt}\left({\mathrm{\Σ}}_{i=1}^N{(f_{1i}-f_{2i})}^2\right)$

这里，F1和F2是特征向量；f是特征向量中某一维的值；N为特征的维数。

如果两个特征点的距离dist(F1,F2)小于一个特定的阈值，则认为这两个点匹配成功。如果图像中的点与数据库中同一个ID的特征点匹配成功的点数大于一定的阈值，则认为图像中存在数据库的物品。

②拓扑分析：

将采集的图像与数据库中的物品图像进行拓扑分析，判断物品放置位置是否正确以及实际物品是否缺失，并将判断结果输出进行显示。

具体地，所述物品检点步骤中，拓扑分析的具体过程还包括：通过中央处理器，将图像采集单元采集的图像标记为参考图像，数据库中的物品图像标记为目标图像，利用特征点对，计算目标图像与参考图像之间的映射关系，并根据映射关系将目标图像坐标映射到参考图像上，形成目标图像在参考图像上的拓扑关系，通过拓扑分析判断物品放置位置是否正确以及实际物品是否缺失。

在参考图像上，将对应于目标图像的图像区域定义为匹配图像区域，将没有对应的目标图像的图像区域，定义为不匹配图像区域；对于匹配图像区域，检查其周围的匹配图像区域的拓扑是否等同于数据库中的拓扑，拓扑等同则为实际物品放置位置正确，拓扑不等同则报告实际物品放错位置，并将注册数据库中的位置信息显示出来，进行提示；对于不匹配图像区域，检查其周围的匹配图像区域中对应于正确的物品位置的图像区域，检索数据库中相应的位置信 息，数据库中的位置信息存在相关联的图像则报告实际物品缺失。

请参阅图4，根据点匹配结果，可以进一步将图像划分为若干图像区域。每个区域对应一个物品的ID。对应每个区域，我们考查区域之间的拓扑关系，通过拓扑关系分析，判断出位置正确的物品和位置错误的物品。如图5所示，我们定义一个物品同周围的物品的空间拓扑关系为8种：左上、正上、右上、正左、正右、左下、正下、右下。对于注册库中的商品，根据注册的位置关系，可以获得8个预定义的空间物品ID。对于图像中的区域，我们依次扫描它对应的空间位置的物品，判断在当前图像中相应的位置正确出现的物品。如果在注册库中出现的物品ID与实际图像中的ID一致，则标记图像中的物品位置正确的计数加1。

如图4所示，区域A有两个区域在注册数据库中，分别为物品B（正右），物品C（右下）。在物品A的正下方没有物品，标记为空。空区域也算作一个正确空间拓扑计数。于是物品A的正确物品的空间拓扑计数为3。同理，物品B和C也为3。假定物品C放错位置，意味着物品C出现在不该出现的位置。则A的空间拓扑计数2（物品B正确，空位置D正确）；同理，物品B为2；C为0。于是判断出C为放错位置的物品。

最终，拓扑分析的结果通过显示单元，如LCD显示器，进行显示以提示检点操作人员。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于图像匹配的自动物品管理方法，其特征在于，包括以下步骤：

图像注册步骤：采集每种物品的至少一张图像和位置信息并建立数据库，同一种物品的图像和位置信息通过相同的物品ID关联，对于数据库中的图像，进行特征点检测，并提取图像点特征，所有的图像点特征形成图像特征库；

所述的图像注册步骤还包括：针对每种物品，使用图像采集设备拍摄物品的外观图像，并将拍摄得到的图像存储在数据库中，给这些图像登记相同的物品ID，对相同物品ID的图像给出在实际环境中的位置信息；

物品检点步骤：

①图像匹配：

使用图像采集设备采集物品的图像，采集的图像包含一个以上的物品；然后对采集的图像进行特征点检测，并提取图像点特征，通过这些图像点特征与所述图像特征库中的图像点特征一一对应形成特征点对，将拍摄的图像与数据库中的物品图像进行匹配；

②拓扑分析：

将采集的图像与数据库中的物品图像进行拓扑分析，判断物品放置位置是否正确以及实际物品是否缺失，并将判断结果输出进行显示；

拓扑分析的具体过程还包括：将采集的图像标记为参考图像，数据库中的物品图像标记为目标图像，利用特征点对，计算目标图像与参考图像之间的映射关系，并根据映射关系将目标图像坐标映射到参考图像上，形成目标图像在参考图像上的拓扑关系，通过拓扑分析判断物品放置位置是否正确以及实际物品是否缺失；在参考图像上，将对应于目标图像的图像区域定义为匹配图像区域，将没有对应的目标图像的图像区域定义为不匹配图像区域；对于匹配图像区域，检查其周围的匹配图像区域的拓扑是否等同于数据库中的拓扑，拓扑等同则为实际物品放置位置正确，拓扑不等同则报告实际物品放错位置，并将注册数据库中的位置信息显示出来，进行提示；对于不匹配图像区域，检查其周围的匹配图像区域中对应于正确的物品位置的图像区域，检索数据库中相应的位置信息，数据库中的位置信息存在相关联的图像则报告实际物品缺失。

2.根据权利要求1所述的一种基于图像匹配的自动物品管理方法，其特征在于，进行特征点检测的步骤为通过点检测器抽取图像上的特征点。

3.根据权利要求2所述的一种基于图像匹配的自动物品管理方法，其特征在于，所述点检测器为Harris角点检测器或SIFT点检测器。

4.根据权利要求1所述的一种基于图像匹配的自动物品管理方法，其特征在于，所述物品检点步骤中，图像匹配的具体过程还包括：将采集的图像的图像点特征分别与所述图像特征库中的图像点特征进行匹配，统计匹配成功的特征点对，并将数据库中含有这些特征点对的物品ID检索出来，根据物品ID统计检索出的每一种物品对应的特征点对数量，对特征点对数量大于一定阈值的物品ID判断为匹配成功。

5.根据权利要求4所述的一种基于图像匹配的自动物品管理方法，其特征在于，所述阈值为4对。

6.一种基于图像匹配的自动物品管理系统，其特征在于，包括：

图像采集单元，采集物品的外观图像；

中央处理器单元，与所述图像采集单元相连接，接收所述图像采集单元采集的图像，对图像进行特征点检测并提取图像点特征数据，使上述图像采集单元采集的图像与位置信息通过物品ID建立关联并建立数据库，对拍摄的图像与数据库中的物品图像进行图像匹配和拓扑分析；针对每种物品，使用图像采集设备拍摄物品的外观图像，并将拍摄得到的图像存储在数据库中，给这些图像登记相同的物品ID，对相同物品ID的图像给出在实际环境中的位置信息；拓扑分析的具体过程还包括：将采集的图像标记为参考图像，数据库中的物品图像标记为目标图像，利用特征点对，计算目标图像与参考图像之间的映射关系，并根据映射关系将目标图像坐标映射到参考图像上，形成目标图像在参考图像上的拓扑关系，通过拓扑分析判断物品放置位置是否正确以及实际物品是否缺失；在参考图像上，将对应于目标图像的图像区域定义为匹配图像区域，将没有对应的目标图像的图像区域定义为不匹配图像区域；对于匹配图像区域，检查其周围的匹配图像区域的拓扑是否等同于数据库中的拓扑，拓扑等同则为实际物品放置位置正确，拓扑不等同则报告实际物品放错位置，并将注册数据库中的位置信息显示出来，进行提示；对于不匹配图像区域，检查其周围的匹配图像区域中对应于正确的物品位置的图像区域，检索数据库中相应的位置信息，数据库中的位置信息存在相关联的图像则报告实际物品缺失；

数据存储单元，与所述中央处理器相连接，存储数据库并接受所述中央处理器的数据写入、读取和检索；

显示单元，与所述中央处理器相连接，显示中央处理器的拓扑分析结果。

7.根据权利要求6所述的一种基于图像匹配的自动物品管理系统，其特征在于，所述中央处理器单元中还设有点检测器，所述点检测器为Harris角点检测器或SIFT点检测器。