CN112132593A - 一种基于手机图像比对的物品防伪方法及系统 - Google Patents

Abstract

本发明提出了一种基于手机图像比对的物品防伪方法，包括以下步骤：步骤1：商家对物品进行拍摄，并将物品的照片上传至云服务器；步骤2：客户收到物品后，对所述物品进行拍摄，并将照片上传至云服务器；步骤3：云服务器收到客户拍摄的照片后，将其与商家拍摄的照片进行对比，判别客户收到的物品的真伪；步骤4：云服务器将判别结果下传给商家及客户双方。本发明提供一种对被检测对象自身进行检测的防伪方法。对于某些产品，物体本身具有唯一的特征，本方法可以有效、可靠的实现防伪验证，达到较传统防伪码等更高的安全性。此外，该防伪方法基于现已普及的手机获取并上传图像，因此防伪所需的额外代价小，性价比高。

Description

一种基于手机图像比对的物品防伪方法及系统

技术领域

本发明属于计算机技术领域，涉及一种基于手机图像，通过云通信将客户手机采集到的图像与商家发货端的图像进行对比，进而判别物品真假的一种防伪方法及系统。

背景技术

目前市面大多数生产商使用查询式数码防伪标识、纹理防伪标识、激光标签及基于区块链的防伪溯源解决方案。这四种方案均存在明显缺陷。查询式数码防伪标识，由于数码防伪标识印于产品包装表面，易于被仿制；纹理防伪标识，无法实现防伪标签的自动鉴别，需要进行人工比对；激光标签，由于激光标签印于产品包装表面，同样易于被仿制；基于区块链的防伪溯源解决方案，得益于区块链去中心化、开放性、信息不可篡改以及匿名性等特性，此类解决方案安全性高于前三种方案，但是其实质仍是在产品包装表面印制用于识别的标志。

上述防伪方式均通过在商品上附加标识，借助这些标识辅助防伪识别。防伪识别标签在生产成本及安全性方面存在博弈。高安全性的标签通常需要较高的生产成本，进而增加了产品的售价；反之，低成本的防伪标识易于被仿照，降低了防伪的可靠性。最重要的是这些标签是以附加物的形式贴在包装上，不能有效检测出内容物调包所产生的造假问题。

发明内容

鉴于以上现有技术中存在的缺点，本发明的目的在于提供一种基于被检测物本身的防伪方法，该方法通过手机拍摄被检测物的图像，再通过手机以移动通信方式上传至云服务器，由云服务器对图像进行增强以及比对，再将比对结果推送至手机端。

为实现上述目的及其他相关目的，本发明提供一种基于手机图像比对的物品防伪方法，其特征在于，包括以下步骤：

步骤1：商家对物品进行拍摄，并将物品的照片上传至云服务器；

步骤2：客户收到物品后，对所述物品进行拍摄，并将照片上传至云服务器；

步骤3：云服务器收到客户拍摄的照片后，将其与商家拍摄的照片进行对比，判别客户收到的物品的真伪；

步骤4：云服务器将判别结果下传给商家及客户双方。

本发明中，物品出厂时，对物品做非加密型索引标识。

本发明步骤1中，商家通过嵌入式设备对出厂物品进行拍照并将照片上传到云服务器。

本发明步骤2中，客户收到物品后，进行拍照，通过微信小程序将物品的照片上传至云数据库。

本发明步骤3中，云服务器通过图像增强模块提高客户拍摄照片的影像质量或照片风格的迁移，再将变换后的图像与数据库中存储的商家拍摄的图像做比对。

本发明步骤3中，通过匹配算法对照片进行对比，根据匹配点的数目判别是否属于相同的物品。

基于以上方法，本发明还提出了一种基于手机图像比对的物品防伪系统，其基于物品本身图像，而非二维码信息对物品真伪进行判别，所述系统包括：

商家端，其用于商家对物品进行拍摄，并将照片上传至云服务器；

客户端，其用于客户收到物品后，对所述物品进行拍摄，并将照片上传至云服务器；

云服务器，其用于收到客户拍摄的照片后，将其与商家拍摄的照片进行对比，判别客户收到的物品的真伪，并将判别结果下传给商家及客户双方。

本发明中，云服务器中包括算法模块，所述算法模块包含图像增强以及图像匹配两个子模块；

所述图像增强子模块在系统运行前，基于商家提供的专业相机以及手机捕获的图像样本，采用GAN网络训练图像增强模型；在防伪系统运行过程中，根据所采集到的正样本，即可以匹配上的图像对，以手机型号为分类标准，定期分类优化GAN的生成网络，以达到系统在线学习的目标；待匹配的两幅图像中分别检测出N1和N2个特征点；得到正方向筛选结果和负方向筛选结果，最后两个集合取交集，得到最终的匹配点个数M；如果M/min(N1,N2)>T时，则认为是真物品，否则，则认为是假物品。

本发明定义了一种图片一致性的计算方法，用于对两幅图像的一致性进行判断。假设图像I1中的有效特征点数为N1，图像I2中的有效特征点数为N2，图像对 I1和I2中可以匹配上的特征点数为M。当M/min(N1,N2)>T时，认为图像I1与I2为同一对象的影像，其中T为判决门限。

本发明提供一种对被检测对象自身进行检测的防伪方法。对于某些产品，物体本身具有唯一的特征，本方法可以有效、可靠的实现防伪验证，达到较传统防伪码等更高的安全性。此外，该防伪方法基于现已普及的手机获取并上传图像，因此防伪所需的额外代价小，性价比高。

附图说明

图1是防伪系统组成及数据传输链路示意图。

图2是图像增强的对抗生成网络GAN系统结构图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明，本发明的保护内容不局限于以下实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。实施本发明的过程、条件、方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明提供一套基于云通信架构的防伪系统的构建方法以及其核心比对方法，包括以下步骤：

1.在商家端采用工业相机获取高质量的待检测物的照片，相机的主要特征高于2000*2000的分辨率，相机采用浅压缩对图像进行编码，如bmp格式或质量分数大于80的JPEG压缩。采用微距光学镜头变焦，镜头无明显畸变，固定于支架防止抖动，准确聚焦于被拍摄物表面。相机位于被拍摄物正上方，且用白光光源照射且光照均匀，且用白光光源照射且光照均匀，并将照片通过网络上传至云服务器，并保存在云端数据库中；

2.客户收到待检测物后，使用手机对待检测物进行拍照，并将照片通过网络上传至云服务器；手机拍照时通过数字调焦将被拍摄对象尽可能的占满app生成的对象捕捉框，生成的图像分辨率要求大于1000线，且采用浅压缩方式保存。拍摄是手机与被拍摄物平行，即相机摄像头的光轴与被拍摄物垂直。光照尽可能均匀，在被拍摄物表面不应有明显的其它物体的阴影。采用手动调焦及拍照的方式获取被检测物体的影像的多张影像，并且由用户选择其中一张上传服务器端。

3.云服务器通过图像增强模块提高手机拍摄图片的影像质量，再将增强后的图像与数据库中存储的图像做比对以判别待检测对象的真伪；

4.云服务器将判别结果通过网络下传至商家及客户双方的手机端，并存储在云服务器中供厂商查询。

本发明涉及一种图像的检索方式：

在上述图像比对的过程中，待检测图像需要与云数据库的对应图像做比对，所以在商品出厂时，需要对物品做索引标识。本发明公开了一种将云服务器的入口地址以及该商品的索引号以二维码形式编码形成码图的方法，由于码图不包含防伪所涉及的关键信息，所以可以以最低廉的方式印刷在商品包装上。

本发明涉及一种图像增强的模块：

该模块在系统运行的初期，基于商家提供的工业相机以及手机捕获的图像样本采用GAN网络训练图像增强模型。在防伪系统运行过程中，根据所采集到的正样本，即可以匹配上的图像对，以手机型号为分类标准，分类优化GAN的生成网络，以达到系统在线学习的目标。

实施例

在实施例中，以人参为防伪对象，描述系统的整体实施过程，步骤如下：

1.商家通过嵌入式设备对出厂人参进行拍照并通过flask端口将照片上传到云服务器；

2.客户收到人参后，用手机进行拍照，通过微信小程序上传至云数据库；

3.云端控制台通过在数据库中查找相应图片、调用算法进行相似度比对；

4.云服务器将判定结果同时传递给客户和商家，同时，客户和商家均可查看双方照片，对人参真伪进行再次确认。

所述步骤1中：

(1)嵌入式设备(底层TI板卡)实时显示并发送图片的实现

本实施例使用了TI生产的Beagle Black板卡，板卡上可以烧写并运行linux 嵌入式操作系统，本发明中使用的是linux家族中的debian操作系统。

在板卡初始化摄像头，读取摄像头数据流，并处理摄像机数据流，然后在显示屏上进行实时显示；利用显示屏上实时显示的影像可以有选择地进行鼠标点击操作，来摄取图片；捕捉到图片后，板卡随即会发往云端做进一步处理。

(2)设备软件开发(感知层、传输层技术实现)

本实施例中，先使用v4l2开源库对摄像头数据进行获取，对摄像头的初始化、读取数据流、内存映射以及数据的格式转换都是使用C语言编程实现；将图片的格式转换到适合在显示屏上显示之后，然后用GTK+图片绘制界面开源库来实现将图片绘制在显示屏上；GTK+中有对鼠标点击操作进行捕捉的函数，可以对满意的图片进行拍摄；拍摄之后，底层代码会使用curl命令将代码发送到云端。上述过程分为两个线程，一个负责读取数据，一个负责将摄像机数据绘制在显示屏上。

对摄像头进行调焦时需要借助视频预览，预览使用的摄像机在传输的视频为320*240，；然后云端做防伪识别时需要的图片是高清图片，要求的图片分辨率大于1920*1080。为了解决这一矛盾，在鼠标响应操作中会结束获取摄像头的视频获取的线程，然后重新打开并初始化摄像头，以高分辨率即1920*1080来捕捉图片，然后使用curl命令将捕捉到的图片发送到云端，之后再关闭摄像头，并重新开启视频预览线程。

所述步骤2中：

(1)手机采集端设计

需要一个可供买家检验物品是否保真的工具，微信小程序端为买家提供服务，小程序端界面简洁，操作简单明了，易为客户所接受和使用。

小程序端具备拍照上传功能，出厂前人参包装盒上已贴好二维码，二维码中包含人参编号的信息，买家在小程序端可将收到的物品和包装盒上二维码一同拍照并上传至web端，web端将调用识别算法，同时小程序端可接收web端分析反馈的识别结果并将结果显示于客户页面上。

所述步骤3中：云平台传输层、控制层技术实现

(1)传输

本实施例使用套接字来进行双向的通信，套接字是支持TCP/IP的网络通信的基本操作单元，可以看作是不同主机之间的进程进行双向通信的端点，也就是说通信的两方的一种约定，用套接字中的相关函数来完成通信过程。

套接字参数：

1.通信目的IP地址：47.106.12.20

2.采用TCP协议传输，通信层次：

3.端口号：5000

域名准备：由于微信小程序传输要求限制，合法域名，https协议。因此，将申请好的域名备案，并通过DNS解析到阿里云服务器的ip地址(47.106.12.20)，再为域名加SSL证书。

(2)控制

云端控制台主要用python中的flask模块的5000端口，利用http协议中的GET/POST方法使用route装饰器的methods参数设置，为厂家使用的嵌入式设备和客户使用的微信小程序端提供上传图片的接口,利用request的 image_files属性将图片文件上传至云端指定文件夹。

使用轻量级数据库sqlite存储物品编号、两个待比对图片的路径等信息。控制台程序识别微信小程序端传来图片中二维码所包含的信息，即人参的编号，通过编号搜索数据库，利用flask中的subprocess函数调用算法程序进行比对，将比对结果存回数据库，并同时将比对结果、原厂图片、收货图片返回给微信小程序端以及通过render_template函数使用jinja模板渲染后的厂家后台网站。

(3)算法模块

匹配算法模块主要包含图像增强以及图像匹配两个软件子模块。

1)图像增强子模块

生成器网络(G)和鉴别器网络(D)旨在实现竞争平衡。生成器网络试图增强图像以欺骗鉴别器网络，鉴别器网络试图将增强的图像与理想图像区分开。生成器网络的输入是手机获取的低质量样本灰度图像，生成器网络的输出是增强的灰度图像。增强图像和厂家端采用专业相机获取的同一物品的高质量图像样本被馈送到鉴别器网络中进行判断，并且将代表它们差异的值输出。生成器网络以9×9 内核大小卷积层开始，将图像转换为特征空间。之后是四个残差块，这些残差块由两个3×3内核大小卷积层和批归一化(BN)层组成。最后，使用两个3×3 内核大小卷积层和9×9内核大小卷积层将特征转换回图像。除了最后一个应用了tanh功能，生成器网络中的所有层都跟随有ReLU激活函数。鉴别器网络由四个3×3卷积层组成，每个卷积层之后是实例归一化(IN)层和LeakyReLU激活函数。然后引入两个完整的连接层，以测量理想图像和增强图像之间的距离。第一个完整连接层包含512个神经元，后跟LeakyReLU激活函数，第二个完整连接层仅包含一个神经元。整个网络结构如图2所示。

该模块在系统运行前，基于商家提供的专业相机以及手机捕获的图像样本采用GAN网络训练图像增强模型。在防伪系统运行过程中，根据所采集到的正样本，即可以匹配上的图像对，以手机型号为分类标准，定期分类优化GAN的生成网络，以达到系统在线学习的目标。

2)图像匹配子模块

配准算法主要通过对匹配点的数目计算来判定物品真伪，基于opencv中特征匹配的相关函数。首先通过cv::resize函数选用双线性插值方法将两张物品的图片改为1280*960的标准大小，利用opencv的features2d中所实现的SUFT 算法，进行图像特征点的自动检测。具体实现是采用 SurfFeatureDetector/SiftFeatureDetector类的detect函数检测SIFT特征的关键点，并保存在vector容器中，最后使用drawKeypoints函数绘制出特征点。通过SurfDescriptorExtractor计算特征向量矩阵，SurfDescriptorExtractor 特征向量矩阵，有多少个特征点，特征向量矩阵就有多少行，每行64维，为一个特征点的特征向量。然后运行myBFmatch(Mat descriptors_object,Mat descriptors_scene,vector<KeyPoint>keypoints_object,vector<KeyPoint> keypoints_scene)函数，参数为两张图片的特征向量和特征点信息。假设待匹配的两幅图像中分别检测出N1和N2个特征点。

MyBFmatch函数首先查询图中每个关键点都有一个vector<DMatch>,将每个关键点的最优匹配点，次优匹配点装入容器中。利用 cv::DescriptorMatch::knnMatch函数在descriptors_scene行里面给每一个descriptors_object行找匹配的行，结果行数和descriptors_object相等，在 descriptors_object行里面给每一个descriptors_scene行找匹配的行，结果行数和descriptors_scene相等。利用knnMatch函数，设置k为2，对每个匹配返回两个最近邻描述符，仅当第一个匹配与第二个匹配之间的距离足够小时，才认为这是一个匹配。接下来，以特征点最少的那个图像的特征点个数为剩下来要匹配的个数，利用knn算法对匹配点进行二次筛选，这次筛选分别以两张图片为查询图，另一张图片为训练图，得到正方向筛选结果和负方向筛选结果，最后两个集合取交集，得到最终的匹配点个数M。如果M/min(N1,N2)>T时，则认为是真参，否则，则认为是假参。

以上实施例只是为了说明本发明技术构思及特点，让本领域普通技术人员能够了解本发明内容并据以实施，并不能以此限制本发明保护范围。凡是根据本发明内容的实质所作的等效变化和修饰，都应涵盖在本发明保护范围内。

Claims (8)

1.一种基于手机图像比对的物品防伪方法，其特征在于，包括以下步骤：

步骤1：商家对物品进行拍摄，并将物品的照片上传至云服务器；

步骤2：客户收到物品后，对所述物品进行拍摄，并将照片上传至云服务器；

步骤3：云服务器收到客户拍摄的照片后，将其与商家拍摄的照片进行对比，判别客户收到的物品的真伪；

步骤4：云服务器将判别结果下传给商家及客户双方。

2.如权利要求1所述的基于手机图像比对的物品防伪方法，其特征在于，物品出厂时，对物品做非加密型索引标识。

3.如权利要求1所述的基于手机图像比对的物品防伪方法，其特征在于，步骤1中，商家通过嵌入式设备对出厂物品进行拍照并将照片上传到云服务器。

4.如权利要求1所述的基于手机图像比对的物品防伪方法，其特征在于，步骤2中，客户收到物品后，进行拍照，通过微信小程序将物品的照片上传至云数据库。

5.如权利要求1所述的基于手机图像比对的物品防伪方法，其特征在于，步骤3中，云服务器通过图像增强模块提高客户拍摄照片的影像质量或照片风格的迁移，再将变换后的图像与数据库中存储的商家拍摄的图像做比对。

6.如权利要求1所述的基于手机图像比对的物品防伪方法，其特征在于，步骤3中，通过匹配算法对照片进行对比，根据匹配点的数目判别是否属于相同的物品。

7.一种应用于如权利要求1-6之任一项所述的基于手机图像比对的物品防伪方法的防伪系统，其特征在于，基于物品本身图像，而非二维码信息对物品真伪进行判别，所述系统包括：

商家端，其用于商家对物品进行拍摄，并将照片上传至云服务器；

客户端，其用于客户收到物品后，对所述物品进行拍摄，并将照片上传至云服务器；

云服务器，其用于收到客户拍摄的照片后，将其与商家拍摄的照片进行对比，判别客户收到的物品的真伪，并将判别结果下传给商家及客户双方。

8.如权利要求7所述的防伪系统，其特征在于，云服务器中包括算法模块，所述算法模块包含图像增强以及图像匹配两个子模块；

所述图像增强子模块在系统运行前，基于商家提供的专业相机以及手机捕获的图像样本，采用GAN网络训练图像增强模型；在防伪系统运行过程中，根据所采集到的正样本，即可以匹配上的图像对，以手机型号为分类标准，定期分类优化GAN的生成网络，以达到系统在线学习的目标；待匹配的两幅图像中分别检测出N1和N2个特征点；得到正方向筛选结果和负方向筛选结果，最后两个集合取交集，得到最终的匹配点个数M；如果M/min(N1,N2)>T时，则认为是真物品，否则，则认为是假物品。

Images