CN112100430B - 一种物品溯源方法和装置 - Google Patents

Abstract

本发明公开了一种物品溯源方法和装置，涉及图像识别技术领域。该方法的一具体实施方式包括：对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征；根据所述待比对图像的标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征；对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。该实施方式能够解决溯源信息不正确的技术问题。

Description

一种物品溯源方法和装置

技术领域

本发明涉及图像识别技术领域，尤其涉及一种物品溯源方法和装置。

背景技术

溯源概念最早由1997年欧美为了应对“疯牛病”问题提出，并逐渐建立并完善为一个较为成熟的食品安全管理制度。目前的溯源技术主要有三种：一种是RFID（RadioFrequency Identification）无线射频技术，通过在物品包装或物品内部增加一个带芯片的标识，物品在物流过程中通过感应设备能够自动读取芯片中包含的物品标识，通过更新数据库中的对应标识的物品信息，记录物品的流动情况。该方法优势是速度快，准确度高，安全性好，但是需要专门的感应设备，所以主要应用在工业生产等专业领域。另外一种较为“轻量”方案是使用二维码，将物品的标识以二维码的形式印刷在物品包装上，通过摄像头扫描物品的二维码读取物品标识实现溯源，这种溯源方式多用在面向消费者的场景，如农产品的溯源。

现有技术中至少存在如下问题：

基于二维码的溯源方法伪造溯源信息的难度极低，只需要将假的二维码替换为出厂二维码就可以实现，导致溯源信息不正确，难以确保物品生产信息的可靠性。

发明内容

有鉴于此，本发明实施例提供一种物品溯源方法和装置，以解决溯源信息不正确的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种物品溯源方法，包括：

对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征；

根据所述待比对图像的标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征；

对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征，包括：

对待比对图像进行图像检测，得到所述待比对图像中物品的图像；

对所述物品的图像进行特征点检测，提取出所述物品的各个特征点的纹理特征。

可选地，对待比对图像进行图像检测，得到所述待比对图像中物品的图像，包括：

对待比对图像进行目标检测，采用矩形框在所述待比对图像中定位出物品的位置；

沿着所述矩形框，对所述待比对图像中的物品进行图像裁剪，得到所述物品的矩形框图像；

对所述物品的矩形框图像进行语义分割，以识别出物品区域和非物品区域；

将所述物品的矩形框图像中非物品区域的像素值置为零，从而得到所述物品的图像。

可选地，对待比对图像进行图像检测，得到所述待比对图像中物品的图像，包括：

采用Mask-RCNN对待比对图像进行图像检测，得到所述待比对图像中物品的图像。

可选地，对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度，包括：

对于所述待比对图像中物品的每个特征点，根据特征点的纹理特征，从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点；基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点；

基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，所述入库图像中与所述特征点的距离最近的两个特征点包括第一特征点和第二特征点；

基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点，包括：

计算所述第一特征点与所述特征点的距离为第一距离，计算所述第二特征点与所述特征点的距离为第二距离，将所述第二距离与预设的百分比阈值相乘，得到判定距离；

若所述第一距离小于所述判定，则判定所述特征点在所述入库图像中有匹配特征点；若所述第一距离大于等于所述判定距离，则认为所述特征点在所述入库图像中无匹配特征点。

可选地，基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度，包括：

计算所述待比对图像中的在所述入库图像中有匹配特征点的特征点数量；

将所述特征点数量除以所述待比对图像的物品的特征点总数量，得到所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，对待比对图像进行预处理之前，还包括：

获取物品的生产信息，根据所述物品的生产信息生成标识，将所述标识及其对应的生产信息存储到数据库中；

对所述物品进行图像采集，作为所述物品的入库图像存储到所述数据库中，并与所述标识关联；

对所述入库图像进行特征点检测，以提取所述入库图像中物品的特征点纹理特征，将所述入库图像中物品的特征点纹理特征存储到所述数据库中，并与所述标识关联。

另外，根据本发明实施例的另一个方面，提供了一种物品溯源装置，包括：

提取模块，用于对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征；

获取模块，用于根据所述待比对图像的标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征；

比对模块，用于对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，所述提取模块还用于：

对待比对图像进行图像检测，得到所述待比对图像中物品的图像；

对所述物品的图像进行特征点检测，提取出所述物品的各个特征点的纹理特征。

可选地，所述提取模块还用于：

对待比对图像进行目标检测，采用矩形框在所述待比对图像中定位出物品的位置；

沿着所述矩形框，对所述待比对图像中的物品进行图像裁剪，得到所述物品的矩形框图像；

对所述物品的矩形框图像进行语义分割，以识别出物品区域和非物品区域；

将所述物品的矩形框图像中非物品区域的像素值置为零，从而得到所述物品的图像。

可选地，所述提取模块还用于：

采用Mask-RCNN对待比对图像进行图像检测，得到所述待比对图像中物品的图像。

可选地，所述比对模块还用于：

对于所述待比对图像中物品的每个特征点，根据特征点的纹理特征，从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点；基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点；

基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，所述入库图像中与所述特征点的距离最近的两个特征点包括第一特征点和第二特征点；

所述比对模块还用于：

计算所述第一特征点与所述特征点的距离为第一距离，计算所述第二特征点与所述特征点的距离为第二距离，将所述第二距离与预设的百分比阈值相乘，得到判定距离；

若所述第一距离小于所述判定，则判定所述特征点在所述入库图像中有匹配特征点；若所述第一距离大于等于所述判定距离，则认为所述特征点在所述入库图像中无匹配特征点。

可选地，所述比对模块还用于：

计算所述待比对图像中的在所述入库图像中有匹配特征点的特征点数量；

将所述特征点数量除以所述待比对图像的物品的特征点总数量，得到所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，还包括录入模块，用于：

获取物品的生产信息，根据所述物品的生产信息生成标识，将所述标识及其对应的生产信息存储到数据库中；

对所述物品进行图像采集，作为所述物品的入库图像存储到所述数据库中，并与所述标识关联；

对所述入库图像进行特征点检测，以提取所述入库图像中物品的特征点纹理特征，将所述入库图像中物品的特征点纹理特征存储到所述数据库中，并与所述标识关联。

根据本发明实施例的另一个方面，还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。

根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用对待比对图像中物品的特征点纹理特征与入库图像中物品的特征点纹理特征进行特征点匹配，从而确定待比对图像中的物品与入库图像中的物品的匹配程度的技术手段，所以克服了现有技术中溯源信息不正确的技术问题。本发明实施例在当前的物品溯源方法的基础上引入图像识别技术，在识别物品标识的基础上，增加基于物品纹理识别的二次检验，确保溯源信息的一致性，防止通过替换物品标识来更改物品的生产信息。在本发明的实施例中，只需生产方完成物品信息录入流程，用户即可通过物品图像查询的方法，获取物品的生产信息，判断实际购买的物品的真伪，避免了传统基于物品标识的溯源手段存在的易造假的问题，由此保证了物品生产信息的可靠性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的物品溯源方法的主要流程的示意图；

图2是根据本发明一个可参考实施例的物品溯源方法的主要流程的示意图；

图3是根据本发明另一个可参考实施例的物品溯源方法的主要流程的示意图；

图4是根据本发明再一个可参考实施例的物品溯源方法的主要流程的示意图；

图5是根据本发明实施例的物品溯源装置的主要模块的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的物品溯源方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述物品溯源方法可以包括：

步骤101，对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征。

待比对图像可以是用户终端上传的图像，用户先对物品进行图像采集，然后将采集的图像（即待比对图像），服务端对该图像进行预处理，以提取出该图像中物品的特征点纹理特征，用于与入库图像中物品的特征点纹理特征进行特征点匹配。

物品溯源的目的是检测待比对图像中的物品区域（比如茶饼区域、食品区域、药品区域等），以排除背景区域对特征抽取的干扰，保证获得的特征点的纹理特征来自物品本身。可选地，步骤101可以包括：对待比对图像进行图像检测，得到所述待比对图像中物品的图像；对所述物品的图像进行特征点检测，提取出所述物品的各个特征点的纹理特征。通过图像检测可以先从待比对图像中获取物品的图像，该物品的图像包含物品区域，然后对该物品的图像进行特征点检测，从该图像中提取出该物品的各个特征点的纹理特征；其中，每个特征点的纹理特征为多维度的特征向量。

可选地，对待比对图像进行图像检测，得到所述待比对图像中物品的图像，包括：对待比对图像进行目标检测，采用矩形框在所述待比对图像中定位出物品的位置；沿着所述矩形框，对所述待比对图像中的物品进行图像裁剪，得到所述物品的矩形框图像；对所述物品的矩形框图像进行语义分割，以识别出物品区域和非物品区域；将所述物品的矩形框图像中非物品区域的像素值置为零，从而得到所述物品的图像。在本发明的实施例中，首先通过目标检测定位出物品在待比对图像中的矩形位置（bounding box），然后依据该矩形位置对待比对图像进行裁剪，得到包含有物品的矩形框图像，接着通过语义分割识别出矩形框图像中的物品区域和非物品区域，最后将非物品区域的像素值置为0，最终得到的图像只含有物品本身。这样可以排除背景区域对特征抽取的干扰，保证获得的特征点的纹理特征只来自物品本身。

可选地，可以采用Yolo或者Faster-RCNN等目标检测算法对待比对图像进行目标检测，并采用矩形框在待比对图像中定位出物品的位置。可选地，可以采用FCN等语义分割算法对矩形框图像进行语义分割，以识别出物品区域和非物品区域。可选地，还可以采用将目标检测算法和语义分割算法二合一的算法，这样可以降低系统复杂度，比如Mask-RCNN，该算法可以实现目标检测和语义分割，而且技术较成熟，算法性能较好。

具体地，为了训练Mask-RCNN检测模型，收集了498张物品的图像，对其中的物品进行了人工标注，分别标注了包含有物品的矩形框图像和物品区域。首先使用COCO检测数据集对模型进行预训练，之后使用70%人工标注的图像数据对模型进行微调，最后使用剩下的30%的图像数据对模型进行验证，验证的指标为检测结果的交并比（IoU，Intersectionover Union）阈值为0.5至0.95时，检测结果的mAP值（mean Average Precision），该指标在评价数据上的值为99.5%。

为了对用户拍摄的待比对图像中的物品图像和入库图像中的物品图像进行匹配，需要提取物品上的各个特征点的纹理特征。在本发明的实施例中，使用物品上的特征点以及各个特征点对应的特征向量来表示物品的纹理。可选地，可以采用SIFT、SURF或者ORB等图像特征点检测算法对所述物品的图像进行特征点检测，以提取出物品的各个特征点的纹理特征。现有的图像特征点检测算法有很多，综合特征点检测速度、准确度和特征点匹配的速度，本发明使用ORB算法作为检测特征点、获取特征点纹理特征的方法，该算法能够较为快速的检测物品纹理中的特征点，并以0，1序列的形式表示特征点的特征。因此，ORB算法可以大大降低系统的计算复杂度，在保证性能的同时，具有明显的速度优势。

对于一个裁剪后且去除背景的矩形框图像，为了避免尺寸对特征点检测的干扰，本发明实施例首先将矩形框图像调整为400*400的图像，之后使用ORB算法在调整尺寸之后的图像上检测特征点并获取特征点的纹理特征。为了降低算法复杂度，可以设定特征点的个数不超过1500个。

步骤102，根据所述待比对图像的标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征。

为了对用户拍摄待比对图像中的物品图像和入库图像中的物品图像进行匹配，可以通过待比对图像的标识从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征。可选地，所述待比对图像的标识也就是所述物品的标识，比如二维码等。通常来说，物品的标识可以在物品外包装上采集到，通过该标识可以从数据库中获取物品的生产信息、入库图像、入库图像中物品的特征点纹理特征等所有与该标识关联的信息。

为此，需要预先将这些信息都存储到数据库中，可选地，在步骤101之前，还包括：获取物品的生产信息，根据所述物品的生产信息生成标识，将所述标识及其对应的生产信息存储到数据库中；对所述物品进行图像采集，作为所述物品的入库图像存储到所述数据库中，并与所述标识关联；对所述入库图像进行特征点检测，以提取所述入库图像中物品的特征点纹理特征，将所述入库图像中物品的特征点纹理特征存储到所述数据库中，并与所述标识关联。物品的生产信息录入可以由事先编辑好的自动化程序完成，该程序依据物品的生产厂家、生产日期、物品的生产编号（生产编号必须采集，且与物品一一对应，不重复）、物品的种类、产地、工艺等信息生成包含这些信息的二维码。物品图像采集可以由工业摄像头完成，可以采集物品各个面的图像，并对每个面的图像都进行特征点检测。以茶饼为例，每一个茶饼需要采集正面图像和反面图像。为了能够清晰地获取物品上的纹理信息，采集的图像中物品区域应该清晰且曝光正常，物品区域的像素面积应该大于800*800，而且通过摄像头采集到的图像中应该有且只有一个物品。

采集完信息之后，则需要将这些信息进行入库，主要包含两部分：物品的生产信息入库，物品的图像入库（将包含物品的图像入库和物品的特征点纹理特征）。

对于摄像头采集到的图像，如果采集的图像中含有背景区域，与步骤101类似，也需要先对采集到的图像进行目标检测和语义分割，再进行特征点检测，从而得到入库图像以及入库图像中物品的特征点纹理特征。需要指出的是，所述入库图像可以是目标检测后的图像，也可以是语义分割后的图像，还可以是未经过目标检测和语义分割的图像，本发明实施例对此不作限制，只要入库图像中包含有物品即可。目标检测、语义分割和特征点检测等过程与步骤101类似，不再赘述。

完成物品入库流程之后，数据库中每一个物品至少包含三部分信息。以茶饼为例，数据库中每一个茶饼至少包括：该物品相关的生产信息，裁剪后的入库图像（正反面各一张），物品的特征点纹理特征（正反面各一组）。

步骤103，对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

为了能够准确地确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度，需要对对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行一一比对。可选地，步骤103可以包括：对于所述待比对图像中物品的每个特征点，根据特征点的纹理特征，从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点；基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点；基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。在本发明的实施例中，特征点比对在待比对图像中物品的特征点与入库图像中物品的特征点之间进行：将待比对图像中物品的每个特征点分别与入库图像中物品的特征点进行一一比对，从入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点，然后基于这两个特征点判断所述特征点在入库图像中有无匹配的特征点，最后统计出待比对图像中在入库图像中有匹配的特征点的特征点数量，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，所述入库图像中与所述特征点的距离最近的两个特征点包括第一特征点P1和第二特征点P2。可选地，基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点，包括：计算所述第一特征点与所述特征点的距离为第一距离，计算所述第二特征点与所述特征点的距离为第二距离，将所述第二距离与预设的百分比阈值相乘，得到判定距离；若所述第一距离小于所述判定，则判定所述特征点在所述入库图像中有匹配特征点；若所述第一距离大于等于所述判定距离，则认为所述特征点在所述入库图像中无匹配特征点。首先，选取待比对图像中物品的任意一个特征点P，依据其特征向量，使用KNN（K-NearestNeighbor）算法在入库图像中物品的特征点中找到与特征点P距离最近的两个特征点，设距离较近的特征点为P1，距离较远的特征点为P2。若P1和P的距离小于P2和P距离的百分比阈值（比如60%、68%、75%、80%、85%或者90%等），则认为特征点P1是与特征点P匹配的特征点（即P1为P的匹配特征点），若P1和P的距离大于等于P2和P距离的百分比阈值，则认为特征点P在入库图像上没有匹配的特征点。

可选地，基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度，包括：计算所述待比对图像中的在所述入库图像中有匹配特征点的特征点数量；将所述特征点数量除以所述待比对图像的物品的特征点总数量，得到所述待比对图像中的物品与所述入库图像中的物品的匹配程度。通过上述方式，对待比对图像中物品的每个特征点逐一进行特征匹配，可以统计出在所述入库图像中有匹配特征点的特征点数量，任何将统计出的特征点数量与待比对图像的特征点总数量相除，即为待比对图像中的物品与入库图像中的物品的匹配程度。可以预先设定匹配程度阈值（比如0.01、0.05、0.016、0.3、0.5或者0.8等），若匹配程度大于阈值，则认为匹配成功。

由于在数据库中已将物品标识、生产信息、入库图像和物品的特征点纹理特征都关联在了一起，因此可以通过物品标识进行精确查找，也可以通过生产信息进行模糊查找，并将查找结果都返回至用户终端。

精确查询需要用户扫描物品包装上的标识（比如二维码），然后向服务端发起查询请求，服务端根据标识获取数据库中存储的生产信息、入库图像等返回给用户终端，服务端还会进一步对数据库中存储的入库图像中物品的特征点纹理特征与用户上传的待比对图像中物品的特征点纹理特征进行比对，以确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度，从而实现溯源。

由于用户购买物品之后不一定会妥善保管物品外包装，外包装上的标识也可能在运输途中损坏。针对物品标识缺失的情况，服务端也支持物品的模糊搜索。搜索时用户可以选择性的输入物品的生产日期，生产厂家等可以获取的生产信息，服务端会依据用户提供的信息从数据库中获取所有满足信息的物品的入库图像。对于每个入库图像，比对该入库图像中物品的特征点纹理特征与用户上传的待比对图像中物品的特征点纹理特征，之后通过特征匹配确定距离最近的入库图像，确定待比对图像中的物品与该入库图像中的物品的匹配程度，然后将该物品的生产信息、入库图像和匹配程度等都返回至用户终端，从而实现溯源。

需要指出的是，当用户采用模糊查询时，会依据用户输入的有限信息检索到多个物品的入库图像，对于每一个物品的入库图像，分别与待比对图像进行上述特征点匹配操作，选取匹配程度最高的一张入库图像作为匹配结果，并将对应的物品信息作为查询结果返回给用户。

根据上面所述的各种实施例，可以看出本发明实施例通过对待比对图像中物品的特征点纹理特征与入库图像中物品的特征点纹理特征进行特征点匹配，从而确定待比对图像中的物品与入库图像中的物品的匹配程度的技术手段，解决了现有技术中溯源信息不正确的技术问题。本发明实施例在当前的物品溯源方法的基础上引入图像识别技术，在识别物品标识的基础上，增加基于物品纹理识别的二次检验，确保溯源信息的一致性，防止通过替换物品标识来更改物品的生产信息。在本发明的实施例中，只需生产方完成物品信息录入流程，用户即可通过物品图像查询的方法，获取物品的生产信息，判断实际购买的物品的真伪，避免了传统基于物品标识的溯源手段存在的易造假的问题，由此保证了物品生产信息的可靠性。

图2是根据本发明一个可参考实施例的物品溯源方法的主要流程的示意图。作为本发明的又一个实施例，如图2所示，所述物品溯源方法可以包括：

步骤201，获取物品的生产信息，根据所述物品的生产信息生成标识，将所述标识及其对应的生产信息存储到数据库中。

生产方完成物品的生成之后，需要预先将生产信息录入到数据库中，以后用户可以通过物品标识（比如二维码）查询相关的生产信息。

物品的生产信息录入可以由事先编辑好的自动化程序完成，该程序依据物品的生产厂家、生产日期、物品的生产编号（生产编号必须采集，且与物品一一对应，不重复）、物品的种类、产地、工艺等信息生成包含这些信息的物品标识，物品标识可以粘附与物品外包装上，方便用户扫描。

步骤202，对所述物品进行图像采集，作为所述物品的入库图像存储到所述数据库中，并与所述标识关联。

物品图像采集可以由工业摄像头完成，可以采集物品各个面的图像，然后将这些图像作为入库图像存储到数据库中，并与所述标识关联，方便在用户查询物品信息时，将入库图像也作为查询结果返回至用户。

需要指出的是，如果采集的图像中含有背景区域，则需要先对采集到的图像进行目标检测和语义分割，所述入库图像可以是目标检测后的图像，也可以是语义分割后的图像，本发明实施例对此不作限制，只要入库图像中包含有物品即可。

步骤203，对所述入库图像进行特征点检测，以提取所述入库图像中物品的特征点纹理特征，将所述入库图像中物品的特征点纹理特征存储到所述数据库中，并与所述标识关联。

在完成入库图像的采集后，对所述入库图像进行特征点检测，以提取所述入库图像中物品的特征点纹理特征，使用物品上的特征点以及各个特征点对应的特征向量来表示物品的纹理。

可选地，可以采用SIFT、SURF或者ORB等图像特征点检测算法对所述物品的图像进行特征点检测，以提取出物品的各个特征点的纹理特征。现有的图像特征点检测算法有很多，综合特征点检测速度、准确度和特征点匹配的速度，本发明使用ORB算法作为检测特征点、获取特征点纹理特征的方法，该算法能够较为快速的检测物品纹理中的特征点，并以0，1序列的形式表示特征点的特征。因此，ORB算法可以大大降低系统的计算复杂度，在保证性能的同时，具有明显的速度优势。

步骤204，接收用户上传的待比对图像和物品标识。

当用户需要对购买的物品进行溯源时，通过摄像头采集物品图像，作为待比对图形，并将该图像上传至服务端。

步骤205，对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征。

通过图像检测可以先从待比对图像中获取物品的图像，该物品的图像包含物品区域，然后对该物品的图像进行特征点检测，从该图像中提取出该物品的各个特征点的纹理特征；其中，每个特征点的纹理特征为多维度的特征向量。

具体地，首先通过目标检测定位出物品在待比对图像中的矩形位置（boundingbox），然后依据该矩形位置对待比对图像进行裁剪，得到包含有物品的矩形框图像，接着通过语义分割识别出矩形框图像中的物品区域和非物品区域，最后将非物品区域的像素值置为0，最终得到的图像只含有物品本身。这样可以排除背景区域对特征抽取的干扰，保证获得的特征点的纹理特征只来自物品本身。可选地，可以采用Yolo或者Faster-RCNN等目标检测算法对待比对图像进行目标检测，并采用矩形框在待比对图像中定位出物品的位置。可选地，可以采用FCN等语义分割算法对矩形框图像进行语义分割，以识别出物品区域和非物品区域。可选地，还可以采用将目标检测算法和语义分割算法二合一的算法，这样可以降低系统复杂度，比如Mask-RCNN，该算法可以实现目标检测和语义分割，而且技术较成熟，算法性能较好。

为了对用户拍摄的待比对图像中的物品图像和入库图像中的物品图像进行匹配，需要提取物品上的各个特征点的纹理特征。在本发明的实施例中，使用物品上的特征点以及各个特征点对应的特征向量来表示物品的纹理。该步骤与步骤203类似，不再赘述。

步骤206，根据所述物品标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征。

物品标识也就是待比对图像的标识，物品标识和待比对图像是互相关联的，服务端接收到用户上传的物品标识后，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征。

步骤207，对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

在本发明的实施例中，特征点比对在待比对图像中物品的特征点与入库图像中物品的特征点之间进行：将待比对图像中物品的每个特征点分别与入库图像中物品的特征点进行一一比对，从入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点，然后基于这两个特征点判断所述特征点在入库图像中有无匹配的特征点，最后统计出待比对图像中在入库图像中有匹配的特征点的特征点数量，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

步骤208，将所述待比对图像中的物品与所述入库图像中的物品的匹配程度、所述入库图像返回至用户。

用户接收服务端返回的查询结果，判断实际购买的物品的真伪，避免了传统基于物品标识的溯源手段存在的易造假的问题，由此保证了物品生产信息的可靠性。

另外，在本发明一个可参考实施例中物品溯源方法的具体实施内容，在上面所述物品溯源方法中已经详细说明了，故在此重复内容不再说明。

图3是根据本发明另一个可参考实施例的物品溯源方法的主要流程的示意图。作为本发明的另一个实施例，如图3所示，步骤101可以包括以下步骤：

步骤301，对待比对图像进行目标检测，采用矩形框在所述待比对图像中定位出物品的位置。

可选地，可以采用Yolo或者Faster-RCNN等目标检测算法对待比对图像进行目标检测。

步骤302，沿着所述矩形框，对所述待比对图像中的物品进行图像裁剪，得到所述物品的矩形框图像。

步骤303，对所述物品的矩形框图像进行语义分割，以识别出物品区域和非物品区域。

可选地，可以采用FCN等语义分割算法对矩形框图像进行语义分割，以识别出物品区域和非物品区域。

需要指出的是，还可以采用将目标检测算法和语义分割算法二合一的算法，这样可以降低系统复杂度，比如Mask-RCNN，该算法可以实现目标检测和语义分割，而且技术较成熟，算法性能较好。

步骤304，将所述物品的矩形框图像中非物品区域的像素值置为零，从而得到所述物品的图像。

步骤305，对所述物品的图像进行特征点检测，提取出所述物品的各个特征点的纹理特征。

可选地，可以采用SIFT、SURF或者ORB等图像特征点检测算法对所述物品的图像进行特征点检测，以提取出物品的各个特征点的纹理特征。

另外，在本发明另一个可参考实施例中物品溯源方法的具体实施内容，在上面所述物品溯源方法中已经详细说明了，故在此重复内容不再说明。

图4是根据本发明再一个可参考实施例的物品溯源方法的主要流程的示意图。作为本发明的再一个实施例，如图4所示，所述物品溯源方法可以包括：

步骤401，对于所述待比对图像中物品的每个特征点，根据特征点的纹理特征，从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点。

步骤402，计算所述第一特征点与所述特征点的距离为第一距离，计算所述第二特征点与所述特征点的距离为第二距离，将所述第二距离与预设的百分比阈值相乘，得到判定距离。

步骤403，若所述第一距离小于所述判定，则判定所述特征点在所述入库图像中有匹配特征点；若所述第一距离大于等于所述判定距离，则认为所述特征点在所述入库图像中无匹配特征点。

步骤404，计算所述待比对图像中的在所述入库图像中有匹配特征点的特征点数量。

步骤405，将所述特征点数量除以所述待比对图像的物品的特征点总数量，得到所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

另外，在本发明再一个可参考实施例中物品溯源方法的具体实施内容，在上面所述物品溯源方法中已经详细说明了，故在此重复内容不再说明。

图5是根据本发明实施例的物品溯源装置的主要模块的示意图，如图5所示，所述物品溯源装置500包括提取模块501、获取模块502和比对模块503；其中，提取模块501用于对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征；获取模块502用于根据所述待比对图像的标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征；比对模块503用于对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，所述提取模块501还用于：

对待比对图像进行图像检测，得到所述待比对图像中物品的图像；

对所述物品的图像进行特征点检测，提取出所述物品的各个特征点的纹理特征。

可选地，所述提取模块501还用于：

对待比对图像进行目标检测，采用矩形框在所述待比对图像中定位出物品的位置；

沿着所述矩形框，对所述待比对图像中的物品进行图像裁剪，得到所述物品的矩形框图像；

对所述物品的矩形框图像进行语义分割，以识别出物品区域和非物品区域；

将所述物品的矩形框图像中非物品区域的像素值置为零，从而得到所述物品的图像。

可选地，所述提取模块501还用于：

采用Mask-RCNN对待比对图像进行图像检测，得到所述待比对图像中物品的图像。

可选地，所述比对模块503还用于：

对于所述待比对图像中物品的每个特征点，根据特征点的纹理特征，从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点；基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点；

基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，所述入库图像中与所述特征点的距离最近的两个特征点包括第一特征点和第二特征点；

所述比对模块503还用于：

计算所述第一特征点与所述特征点的距离为第一距离，计算所述第二特征点与所述特征点的距离为第二距离，将所述第二距离与预设的百分比阈值相乘，得到判定距离；

若所述第一距离小于所述判定，则判定所述特征点在所述入库图像中有匹配特征点；若所述第一距离大于等于所述判定距离，则认为所述特征点在所述入库图像中无匹配特征点。

可选地，所述比对模块503还用于：

计算所述待比对图像中的在所述入库图像中有匹配特征点的特征点数量；

将所述特征点数量除以所述待比对图像的物品的特征点总数量，得到所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

可选地，还包括录入模块，用于：

获取物品的生产信息，根据所述物品的生产信息生成标识，将所述标识及其对应的生产信息存储到数据库中；

对所述物品进行图像采集，作为所述物品的入库图像存储到所述数据库中，并与所述标识关联；

对所述入库图像进行特征点检测，以提取所述入库图像中物品的特征点纹理特征，将所述入库图像中物品的特征点纹理特征存储到所述数据库中，并与所述标识关联。

根据上面所述的各种实施例，可以看出本发明实施例通过对待比对图像中物品的特征点纹理特征与入库图像中物品的特征点纹理特征进行特征点匹配，从而确定待比对图像中的物品与入库图像中的物品的匹配程度的技术手段，解决了现有技术中溯源信息不正确的技术问题。本发明实施例在当前的物品溯源方法的基础上引入图像识别技术，在识别物品标识的基础上，增加基于物品纹理识别的二次检验，确保溯源信息的一致性，防止通过替换物品标识来更改物品的生产信息。在本发明的实施例中，只需生产方完成物品信息录入流程，用户即可通过物品图像查询的方法，获取物品的生产信息，判断实际购买的物品的真伪，避免了传统基于物品标识的溯源手段存在的易造假的问题，由此保证了物品生产信息的可靠性。

需要说明的是，在本发明所述物品溯源装置的具体实施内容，在上面所述物品溯源方法中已经详细说明了，故在此重复内容不再说明。

图6示出了可以应用本发明实施例的物品溯源方法或物品溯源装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，可以对接收到的查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，本发明实施例所提供的物品溯源方法一般由服务器605执行，相应地，所述物品溯源装置一般设置在服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元（CPU）701，其可以根据存储在只读存储器（ROM）702中的程序或者从存储部分708加载到随机访问存储器（RAM）703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元（CPU）701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括提取模块、获取模块和比对模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现如下方法：对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征；根据所述待比对图像的标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征；对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

根据本发明实施例的技术方案，因为采用对待比对图像中物品的特征点纹理特征与入库图像中物品的特征点纹理特征进行特征点匹配，从而确定待比对图像中的物品与入库图像中的物品的匹配程度的技术手段，所以克服了现有技术中溯源信息不正确的技术问题。本发明实施例在当前的物品溯源方法的基础上引入图像识别技术，在识别物品标识的基础上，增加基于物品纹理识别的二次检验，确保溯源信息的一致性，防止通过替换物品标识来更改物品的生产信息。在本发明的实施例中，只需生产方完成物品信息录入流程，用户即可通过物品图像查询的方法，获取物品的生产信息，判断实际购买的物品的真伪，避免了传统基于物品标识的溯源手段存在的易造假的问题，由此保证了物品生产信息的可靠性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种物品溯源方法，其特征在于，包括：

对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征；

根据所述待比对图像的标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征；

对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度；

对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征，包括：

对待比对图像进行图像检测，得到所述待比对图像中物品的图像；

对所述物品的图像进行特征点检测，提取出所述物品的各个特征点的纹理特征；

对待比对图像进行图像检测，得到所述待比对图像中物品的图像，包括：

对待比对图像进行目标检测，采用矩形框在所述待比对图像中定位出物品的位置；

沿着所述矩形框，对所述待比对图像中的物品进行图像裁剪，得到所述物品的矩形框图像；

对所述物品的矩形框图像进行语义分割，以识别出物品区域和非物品区域；

将所述物品的矩形框图像中非物品区域的像素值置为零，从而得到所述物品的图像；

对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度，包括：对于所述待比对图像中物品的每个特征点，根据特征点的纹理特征，从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点；基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点；基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

2.根据权利要求1所述的方法，其特征在于，对待比对图像进行图像检测，得到所述待比对图像中物品的图像，包括：

采用Mask-RCNN对待比对图像进行图像检测，得到所述待比对图像中物品的图像。

3.根据权利要求1所述的方法，其特征在于，所述入库图像中与所述特征点的距离最近的两个特征点包括第一特征点和第二特征点；

基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点，包括：

计算所述第一特征点与所述特征点的距离为第一距离，计算所述第二特征点与所述特征点的距离为第二距离，将所述第二距离与预设的百分比阈值相乘，得到判定距离；

若所述第一距离小于所述判定距离，则判定所述特征点在所述入库图像中有匹配特征点；若所述第一距离大于等于所述判定距离，则认为所述特征点在所述入库图像中无匹配特征点。

4.根据权利要求1所述的方法，其特征在于，基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度，包括：

计算所述待比对图像中的在所述入库图像中有匹配特征点的特征点数量；

将所述特征点数量除以所述待比对图像的物品的特征点总数量，得到所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

5.根据权利要求1所述的方法，其特征在于，对待比对图像进行预处理之前，还包括：

获取物品的生产信息，根据所述物品的生产信息生成标识，将所述标识及其对应的生产信息存储到数据库中；

对所述物品进行图像采集，作为所述物品的入库图像存储到所述数据库中，并与所述标识关联；

对所述入库图像进行特征点检测，以提取所述入库图像中物品的特征点纹理特征，将所述入库图像中物品的特征点纹理特征存储到所述数据库中，并与所述标识关联。

6.一种物品溯源装置，其特征在于，包括：

提取模块，用于对待比对图像进行预处理，以提取所述待比对图像中物品的特征点纹理特征；

获取模块，用于根据所述待比对图像的标识，从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征；

比对模块，用于对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度；

所述提取模块还用于：

对待比对图像进行图像检测，得到所述待比对图像中物品的图像；

对所述物品的图像进行特征点检测，提取出所述物品的各个特征点的纹理特征；

所述提取模块还用于：

对待比对图像进行目标检测，采用矩形框在所述待比对图像中定位出物品的位置；

沿着所述矩形框，对所述待比对图像中的物品进行图像裁剪，得到所述物品的矩形框图像；

对所述物品的矩形框图像进行语义分割，以识别出物品区域和非物品区域；

将所述物品的矩形框图像中非物品区域的像素值置为零，从而得到所述物品的图像；

所述比对模块对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配，从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度，包括：对于所述待比对图像中物品的每个特征点，根据特征点的纹理特征，从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点；基于所述入库图像中与所述特征点的距离最近的两个特征点，判断所述特征点在所述入库图像中有无匹配的特征点；基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果，确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images