CN108898128B - 一种通过照片匹配数字化三维模型的防伪方法及设备 - Google Patents
一种通过照片匹配数字化三维模型的防伪方法及设备 Download PDFInfo
- Publication number
- CN108898128B CN108898128B CN201810760964.4A CN201810760964A CN108898128B CN 108898128 B CN108898128 B CN 108898128B CN 201810760964 A CN201810760964 A CN 201810760964A CN 108898128 B CN108898128 B CN 108898128B
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- digital
- dimensional
- article
- verified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 101100126955 Arabidopsis thaliana KCS2 gene Proteins 0.000 claims description 4
- 241000132023 Bellis perennis Species 0.000 claims description 4
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 abstract description 40
- 239000000047 product Substances 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000000919 ceramic Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种通过照片匹配数字化三维模型的防伪方法及设备，包括以下步骤：扫描获取真品物体的数字化三维模型，存储在数字化三维模型信息资料库中；获取待验证物品的一张或多张照片；在所述数字化三维模型信息资料库中检索得到与所述照片最为匹配的数字化三维模型，并计算其匹配程度；根据所述匹配的精度是否超过一定阈值来判断所述待验证物品是否为真品。本发明的验证过程中不需要专业的防伪设备，只需要带有照相功能且有互联网连接的设备，比如手机。整个操作简单易用，准确性高，稳定性强。
Description
技术领域
本发明属于防伪验证技术领域，具体涉及一种对物品进行拍照，利用该物品二维照片与其数字化三维模型的映射关系，并运用计算机视觉技术进行防伪验证的方法和设备。
背景技术
目前常用的防伪技术是将被保护物品的描述信息、生产日期、生产地、制造商名称及其网址、物品编号等信息存储到条形码或二维码。消费者通过扫码获取物品信息并登录该物品的防伪数据库进行比对。该方法成本低，易于大规模生产，但是条形码、二维码标签图像很容易被不法分子复制，限制了其防伪效果。近期发展起来的电子标签不采用视觉方式，而是用一种电子设备存储物品相关信息。该信息可以通过射频识别(RFID)或近场通讯(NFC)等电子通讯方式传递给识别系统(参考专利CN 104281954 A；CN 107590663 A)。识别系统将获取的物品信息与防伪数据库进行对比验证。这种非接触的数据传输方式能容纳更多的信息，且存储介质因不直观印刷在外表而没有被磨损或被非法分子复制的可能性。然而，电子标签的成本较贵，多用于高端产品的溯源防伪。
虽然上面提及的种种防伪方法在保护消费者和生产厂商权益上起到了一定作用，但是其致命缺陷是防伪信息的存储介质与物品本身是分离的。一般来说，条形码、二维码、电子标签都会被封装到物品的外包装上，防伪数据库也仅记录物品的基本描述信息，这就给了不法分子以可乘之机，常见的仿冒手段是将赝品放入原真品使用过的包装盒内。尽管消费者可读取真品包装盒内的条形码，二维码，电子标签信息，进而查询后台数据库获取商品信息，但消费者利用这些商品信息很难区分高水平的仿冒品与真品。为解决外包装调换问题，厂商可能在包装上做一次开启即作废的装置。但这种做法不但增加了商品成本，而且不利于商品的流通转手，因为商品的一手买家无法向二手甚至多手潜在买家证明其拥有商品的真伪。有人也想到了将商品防伪码用喷码的方式与商品一体连接(参考专利CN104732409 A)，但这种侵入式的办法显然会破坏物体的原始形态，在某些应用比如艺术品的防伪上是不可能实现的。
迅速发展的三维扫描技术通过对实际物体的空间、外形、结构、以及色彩进行扫描以获得物体表面的空间坐标和纹理信息。通过三维扫描获得的数字化三维模型可以将实物的立体信息转换为计算机能直接处理的数字信号，为实物数字化提供了方便快捷的手段。三维扫描过程中，原实物表面的测距取样点可做到小于0.1毫米，每个点的测距误差可以小于0.1毫米。如此高精度的形状信息完全可以被看作是物品难以复制的唯一属性。任何高仿真的物品如果想做到在几百万个取样点做到和原物品的几何误差小于0.1毫米几乎是不可能的。专利(CN 104035988 B)提出了通过了三维扫描仪获取陶瓷工艺品三维模型作为其身份信息，但在该专利描述的实施办法中，“待验证的陶瓷工艺品的三维数据信息可以标注在陶瓷工艺品的外包装上，也可以打印在产品证书上。”说明了该方法虽然将物品的三维数据存在数据库中，但是其查询方法依然依赖物品外包装上的描述信息，没有根本解决物品本身的特征信息与存在于外包装上防伪验证信息物理分离的问题。
发明内容
为了根本解决现有防伪方法中防伪验证信息存在于物品本身之外的物理介质上而容易被复制和篡改的问题，本发明提出一种在防伪数据的采集、存储、查询过程中完全依赖物品自身物理属性、无需依赖存储于证书或包装盒等外部介质上诸如条形码、二维码、电子标签(RFID)等防伪信息的一种全新防伪方法。
根据本发明的一个方面，提供了一种通过照片匹配数字化三维模型的防伪方法，包括：
扫描获取真品物体的数字化三维模型，存储在数字化三维模型信息资料库中；
获取待验证物品的一张或多张照片；
在所述数字化三维模型信息资料库中检索得到与所述照片最为匹配的数字化三维模型，并计算其匹配程度；
根据所述匹配程度是否超过一定阈值来判断所述待验证物品是否为真品。
优选的，所述数字化三维扫描包括对真品物体的外观和/或内部几何构造进行扫描。
优选的，所述方法进一步包括：
建立物品信息库，存储所述真品物体的附属信息，所述附属信息与所述数字化三维模型数据库中存储的真品物体的数字化三维模型一一对应。
优选的，所述方法进一步包括：
计算上述数字化三维模型的特征向量，并存储在特征向量数据库中。
优选的，所述特征向量包括所述数字化三维模型自身的局部特征，包括以下数字化三维模型特征描述符中的至少一种：三维形状光谱描述符，基于概率密度的形状描述符，三维霍夫变化描述符，基于体素的三维傅里叶变换，基于三维射线的球面谐波，三维基于体素的球谐函数，PCA球面谐波变换。
优选的，所述特征向量包括所述数字化三维模型投影到二维平面上所得图像的整体或局部特征，所述图像的特征描述符包括以下的至少一种：SIFT、SURF、BRIEF、ORB、HOG，DAISY，LBP。
优选的，所述特征向量包括：
收集一定数量的数字化三维模型或数字化三维模型的二维图像；
构建深度神经网络形成分类器；
不断迭代，直至确认神经网络收敛到足够能区分目标物体时，从神经网络中选取一定的神经元作为所述信息特征向量。
优选的，在所述检索之前，基于计算机视觉技术对所述照片做前景分割，包括：
采用基于深度学习的实例分割勾勒出前景物体的轮廓；
使用Grabcut的交互式前景分割方法修改前景分割结果。
优选的，所述在数字化三维模型信息资料库中检索得到与所述照片最为匹配的数字化三维模型，并计算其匹配程度，包括如下步骤：
(1)初始化三维姿态，求解旋转矩阵和平移矩阵，以满足所述数字化三维模型和所述前景分割结果的映射关系；
(2)姿态优化，直到用于描述所述数字化三维模型的透视投影图像与所述待验证物品前景分割结果的差异的目标函数值最小；
(3)计算所述数字化三维模型在最优姿态下所得透视投影图像与所述待验证物品前景分割结果的匹配度。
优选的，所述方法进一步包括：
利用基于深度学习的物体识别分类算法判定该待验证物品所属类别；
扫描所述物品信息库以过滤掉不属于上述类别的数字化三维模型；
通过比对特征向量筛选数字化三维模型。
优选的，所述方法进一步包括：
通过可视化过程将所述最为匹配的数字化三维模型呈现；
通过手指触摸屏幕，鼠标或键盘来缩放，旋转，移动该三维模型，多角全方位、高分辨率地观察该待验证物品；
不同颜色的标注叠加在该三维模型上，用于告知细分区域上与待验证物品的相同部分和不同部分。
根据本发明的另一个方面，还提供了一种通过照片匹配数字化三维模型的防伪设备，包括防伪验证服务器，所述防伪验证服务器包括：
数字化三维模型信息资料库，用于存储真品物体的数字化三维模型；
特征向量计算模块，用于计算所述数字化三维模型的特征向量；
特征向量数据库，用于存储所述数字化三维模型的特征向量；
检索验证模块，用于在所述数字化三维模型信息资料库中检索得到与待验证物品照片最为匹配的三维模型，并计算其匹配程度。
优选的，所述防伪验证服务器进一步包括：
物品信息库，用于存储所述真品物体的附属信息，所述附属信息与所述数字化三维模型信息资料库中存储的真品物体的数字化三维模型一一对应。
优选的，所述设备进一步包括验证终端，所述验证终端包括：
拍摄模块，用于拍摄待验证物品的单张或多张照片，并对每张照片做前景分割；前景分割可以在验证终端完成，也可以将照片上传至防伪验证服务器完成前景分割后返回结果至验证终端供使用者通过交互式方法进一步修改完善；
验证接口，用于将所述单张或多张照片及所述前景分隔的结果发送给所述检索验证模块，并接收所述防伪验证服务器输出的所述最为匹配的数字化三维模型及其对应的物品信息；
结果展示模块，通过可视化过程将最匹配的数字化三维模型呈现，通过手指触摸屏幕、鼠标或键盘能够缩放、旋转、移动该三维模型，多角度、全方位、高分辨率地观察该待验证物品；将不同颜色的标注叠加在该数字化三维模型上，以告知细分区域上与待验证物品的相同部分和不同部分。
优选的，所述验证接口是手机接口、互联网接口或终端设备查询接口。
本发明的优点在于：本发明的验证过程中不需要专业的防伪设备，只需要带有照相功能且有互联网连接的设备，比如手机。整个操作简单易用，准确性高，稳定性强。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明的真品生产制造完成后进行三维扫描并录入相关信息的原理示意图；
图2示出了本发明的需要物品防伪认证时的原理示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。
本发明提出一种在防伪数据的采集、存储、查询过程中完全依赖物品自身物理属性，无需依赖存储于证书或包装盒等外部介质上诸如条形码、二维码、电子标签(RFID)等防伪信息的一种全新防伪方法。本发明的方法包括两大过程：(A)物品生产制造完成后进行三维扫描并录入相关信息时；(B)需要物品防伪认证时。以下具体介绍两大过程的具体内容。
(A)物品生产制造过程完成时，如图1所示，执行以下步骤：
A1、每一件物品完成生产制造环节形成成品后，利用高精度三维扫描仪对其扫描获取数字化三维模型。数字化三维模型所指的是任何可以用点云、三角形网格、或其它方式表达物品的形状及其固有属性，包括几何和纹理等信息。数字化三维模型将实物的立体几何信息和表面的色彩纹理信息数字化，忠实完整地反映物品本身的外观和内部信息。每件物品以数字化三维模型这种数字化形式存储到信息资料库中。所述数字化三维模型的精度应达到可以区分手工或工业制造中微小工艺变化产生的扰动。注意，三维扫描不仅局限于对物品外观进行扫描，也可以捕捉物品内部的几何和构造信息，从而形成对物品更完整的描述。
A2、对应于A1中所述物品的其他附属信息，比如商品所属类别、制造者、生产时间、生产地点、价格等信息存储在物品信息库当中。物品属性信息可以利用数据库技术与数字化三维模型信息资料库中存储的数字化三维模型一一对应。
A3、对应A1中所述物品的数字化三维模型，特征向量计算模块对每个数字化三维模型计算出一个简洁的、充分的、有代表性的特征向量用以描述该数字化三维模型并和其他数字化三维模型相区分。特征向量大致分为两种：
(1)三维模型自身的局部特征。常用的人为定义的三维模型特征描述符含有但不限于三维形状光谱描述符(3D SSD)，基于概率密度的形状描述符，三维霍夫变化描述符(C3DHTD)，基于体素的三维傅里叶变换，基于三维射线的球面谐波，三维基于体素的球谐函数，PCA球面谐波变换(SHT)。
(2)数字化三维模型投影到二维平面上所得图像的整体或局部特征。系统通过统计抽样从各个不同的角度将数字化三维模型投影到二维平面上，即一个数字化三维模型由一组在不同视角下的二维图像P1，P2，...PN代表。该图像集合可以全面充分地描述三维模型所表述的几何，色彩和纹理信息。特征向量计算模块对每一个二维图像Pi计算其特征描述符。常用的人为定义二维图像的特征描述符含有但不限于Scale-Invariant FeatureTransform(SIFT)，Speeded-Up Robust Features(SURF)，Binary Robust IndependentElementary Features(BRIEF)，Oriented FAST and Rotated BRIEF(0RB)，Histogram ofOriented Gradients(HOG)，Local binary pattern(LBP)，DAISY等。
数字化三维模型或其投影的二维图像特征除了上述人为直接用数学公式定义的特征描述符外，还可以利用深度学习的方法从大量数据中智能地学到简洁而有信息量的特征。系统首先收集大量的数字化三维模型或图片，然后构建深度神经网络形成分类器。分类器的目的是最大可能地区分不同数字化三维模型或图片。不断迭代后，系统确认神经网络收敛到足够能区分目标物体时，从神经网络中选取一定的神经元作为信息特征描述符。
特征向量数据库中对每一个数字化三维模型会计算一个，或多个任意组合(1)-(3)所述特征向量，并存贮到特征向量数据库中。特征向量数据库通过数据库技术与数字化三维模型信息资料库中存储的三维模型一一对应。
A4、三维模型数据库，物品信息库，以及特征向量数据库均存储于云端的防伪验证服务器中。每次数字化三维模型上传到云端服务器会触发服务器上的特征向量计算模块，计算对该数字化三维模型的特征向量并写入特征向量数据库。
(B)需要物品防伪认证时，如图2所示，执行以下步骤：
R1、物品验证终端通过照相机对该物体拍摄一张或多张照片。验证终端也可以对该物体摄像，然后从所摄视频中抽帧形成多张有关该物体的照片。一个典型的物品验证终端就是手机。
B2、物品验证终端利应用计算机视觉技术把照片中的前景物体从背景物体中分离出来。前景物体指的是照片中突出显著的、一般处于照片中间位置的物体，是终端使用者需要验证的物体。终端系统首先采用基于深度学习的实例分割(instance segmentation)方法，比如Mask-RCNN，自动勾勒出前景物体的轮廓。如有需要，终端使用者可以通过手指触摸屏幕或鼠标点击告知系统哪些应为前景物体的区域被错认为背景，哪些应为背景的区域被错认为前景。基于使用者反馈，系统使用Grabcut的交互式前景分割方法修改前景分割结果。几次迭代后，使用者对前景分割结果满意，将分割结果提交给验证终端。为了增加前景分割的效果，验证终端可以让终端使用者将待验证物品放在对比度较强的背景，比如一张白纸的前面。
B3、物品验证终端的防伪验证接口将一张或多张物品照片及每张照片的前景分割结果传到物品验证服务器。防伪验证接口可以是手机接口，互联网接口或终端设备查询接口。
B4、物品验证服务器上的检索验证模块在数字化三维模型信息资料库搜索与所述上传照片最为匹配的数字化三维模型并计算他们的匹配程度。如果系统需对数字化三维模型信息资料库做大范围扫描检索去匹配所上传的照片。为加快检索速度，检索验证模块首先利用基于深度学习的物体识别分类算法判定该物品所属类别，然后扫描物品信息库过滤掉不属于该类别的数字化三维模型。其次，检索验证模块通过比对特征向量筛选数字化三维模型。
如果防伪验证接口上传的是单张照片，检索验证模块首先计算该照片的特征向量，比如但不限于SIFT，SURF，BRIEF，ORB，HOG，DAISY，LBP，然后在特征向量数据库中检索有类似特征向量的数字化三维模型的投影，进而通过该二维投影追溯到对应的数字化三维模型。
如果防伪验证接口上传的是多张照片，且多张照片之间有连续性和足够的重叠区域。检索验证模块可以使用摄影测量术(photogrammery)进行局部三维重建，然后计算该重建模型的三维特征描述式，并与特征向量数据库中的三维模型局部特征描述式比对筛选三维模型。
利用特征向量比对，系统可筛选掉绝大部分数字化三维模型。剩余的待验证数字化三维模型再通过以下过程进一步精确比对。
B5、经过上述数字化三维模型筛选过程或者防伪终端使用者对待验证物品有先验信息，比如物品作者，制造时间，制造地点或物品编号等，可将数据库中待匹配的模型缩小到一个很小的可以一一比对的范围。以下描述的是一张照片与一个待匹配的数字化三维模型的匹配过程。
数字化三维模型通常采用“点云”(Point cloud)的表达方式，即商品在三维空间中物理存在点(X，Y，Z)的集合。照片为二维像素(u，v)的集合，是三维物体在相机的特定姿态下通过光学镜头在某种投射角度下成的像。同一物品的三维模型(X，Y，Z)与其二维照片(u，v)在数学上有如下的投影关系：
K为相机的内部参数，[R，T]分别为旋转矩阵和平移矩阵，是算法需要估计的参数。照片与数字化三维模型的匹配其实就是寻找一个[RT]能够满足上述的映射关系。确定一个数字化三维模型是否为照片上所拍摄物品的方法如下：
(1)初始化三维姿态
三维姿态估计(pose estimation)是求解从三维物体到二维图像变换的问题，即估计旋转矩阵和平移矩阵。姿态初始化可以通过定位物体上的特征点(1andmarkdetection)来获得。特征点检查可以使用上面提到的SIFT，SURF，ORB等图像局部特征描述符，也可以使用深度学习方法找到照片上的关键部位。其工作原理与目前流行的人脸识别方法相近。在一种该方法的实现当中，我们收集大约5000张茶壶照片，对其上28个关键点进行标注，然后训练深度神经网络以达到自动识别壶身，壶盖，壶把等关键部位的目的。
当足够多的(X，Y，Z)到(u，v)的关键点映射存在时，系统采用Perspective-n-point and RANSAC(PnP RANSAC)方法求解上述线性投影方程，可以粗略估计出旋转矩阵和平移矩阵。
除了利用物体表面关键点的信息，系统还可使用深度学习方法预测物品的三维边界框，然后利用二维照片边界框和数字化三维模型边界框上的8个顶点之间的映射关系，求解出旋转矩阵和平移矩阵。
(2)姿态优化
给定(1)中的初始姿态，算法将数字化三维模型做透视投影(perspectiveprojection)形成一个二维图像A。同时，上传到服务器的照片配合前景分割的结果可以得到待验证物品的轮廓图像B。一个目标函数用于描述A和B的差异。目标函数可以表达成几何、纹理等各种特征的加权函数。简单的例子包括，轮廓图像A和B的像素重合度，像素之间的欧氏距离、颜色分布直方图等。优化算法(比如梯度下降法gradient descent)不断迭代调整姿态估计最小化目标函数来减少A和B之间的差异。这个过程迭代进行直到满足终止条件。比如，迭代误差小于某给定阈值或者迭代次数已达最大。
(3)计算照片与数字化三维模型的相似度。
我们可以直接将第(2)步中最优的目标函数值作为两个模型的相似度。另外，我们也可以计算形状相似度，颜色分布相似度，特征描述式吻合度等来作为模型之间的相似度。
B6、物品验证服务器上的输出模块将匹配结果返回给物品验证终端。如果匹配精度超过一定阈值，系统认定该物品有足够高的置信度为真品，输出模块会将最为匹配的数字化三维模型及其对应的物品信息也返回给物品验证终端。
B7、验证终端的验证结果展示模块将出具验证报告。报告包括待验证物品是否存在于真品的数字化三维模型信息资料库中。如果结果为是，结果展示模块通过可视化过程将最匹配的数字化三维模型呈现在物品验证防伪终端，终端使用者可以通过手指触摸屏幕，鼠标或键盘来缩放，旋转，移动该三维模型，多角度、全方位、高分辨率地观察该物品。同时，不同颜色的标注叠加在该数字化三维模型上用于告知细分区域上与待验证实物的相同部分和不同部分。
综上所述，本发明的验证过程中不需要专业的防伪设备，只需要带有照相功能且有互联网连接的设备，比如手机。整个操作简单易用，准确性高，稳定性强。
应用本发明的发明构思的防伪方法，可以有很多种实现方法，以下具体描述其中2种：
实施例1
S1、商品完成制造出厂时经三维扫描仪扫描获取数字化三维模型。该模型通过互联网上传或本地连接存储到防伪数据库中。同时防伪系统生成一个该商品数字化三维模型的检索号，放到商品的包装盒内或粘贴到商品的包装表面，也可在消费者购买商品后修改成仅为自己所知的检索密码。
S2、在需要防伪验证时，手机屏幕首先提示输入三维模型检索号，然后对商品进行拍照。照片可以是一张，也可以是不同角度的多张照片。手机也可以不断变换位置对商品拍一段小视频。照片或视频上传到防伪服务器。
S3、防伪服务器收到验证请求后，通过检索号检索出对应的数字化三维模型。
S4、防伪服务器优化求解一个投影角度，使得原商品的数字化三维模型在该投影角度下与上传照片中的商品轮廓有最大的一致程度。通过吻合区域的大小和位置，系统判定该商品是否和出厂时完全一样。
S5、防伪服务器将验证结果返回到手机。
实施例2
S1、商品完成制造出厂时经三维扫描仪扫描获取数字化三维模型。该模型通过互联网上传或本地连接存储到防伪数据库中。
S2、在需要防伪验证时，手机对商品进行拍照。照片可以是一张，也可以是不同角度的多张照片。手机也可以不断变换位置对商品拍一段小视频。照片或视频上传到防伪服务器。
S3、防伪服务器收到验证请求后，先利用人工智能方法识别出商品种类，通过匹配物品的特殊特征缩小数字化三维模型的查询范围。
S4、对每一个数字化三维模型，执行实施例1中的第S4步。
S5、防伪服务器将验证结果返回到手机。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征有更多的特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (5)
1.一种通过照片匹配数字化三维模型的防伪方法，其特征在于，包括：
三维扫描获取真品物体的数字化三维模型，存储在数字化三维模型信息资料库中；
建立物品信息库，存储所述真品物体的附属信息，所述附属信息与所述数字化三维模型信息资料库中存储的真品物体的数字化三维模型一一对应；
计算上述数字化三维模型的特征向量，并存储在特征向量数据库中；所述特征向量包括：收集一定数量的数字化三维模型或数字化三维模型的二维图像；构建深度神经网络形成分类器；不断迭代，直至确认神经网络收敛到足够能区分目标物体时，从神经网络中选取一定的神经元作为信息特征描述符，即为所述特征向量；
获取待验证物品的一张或多张照片；
基于计算机视觉技术对所述照片做前景分割，包括：
采用基于深度学习的实例分割勾勒出前景物体的轮廓；
使用Grabcut的交互式前景分割方法修改前景分割结果；
利用基于深度学习的物体识别分类算法判定该待验证物品所属类别；
扫描所述物品信息库过滤掉不属于上述类别的三维模型；
通过比对特征向量筛选三维模型；
在所述数字化三维模型信息资料库中检索得到与所述照片最为匹配的数字化三维模型，并计算其匹配程度，包括：（1）初始化三维姿态，求解旋转矩阵和平移矩阵，以满足所述数字化三维模型和所述前景分割结果之间的映射关系；（2）姿态优化，直到用于描述所述数字化三维模型的透视投影图像与所述待验证物品前景分割结果的差异的目标函数值最小；（3）计算所述数字化三维模型在最优姿态下所得透视投影图像与所述待验证物品前景分割结果的匹配度；
根据所述匹配程度是否超过一定阈值来判断所述待验证物品是否为真品。
2.根据权利要求1所述的方法，其特征在于，
所述三维扫描包括对真品物体的外观和/或内部几何构造进行扫描。
3.根据权利要求1所述的方法，其特征在于，
所述特征向量包括所述数字化三维模型自身的局部特征，所述局部特征包括以下数字化三维模型特征描述符中的至少一种：三维形状光谱描述符，基于概率密度的形状描述符，三维霍夫变化描述符，基于体素的三维傅里叶变换，基于三维射线的球面谐波，三维基于体素的球谐函数，PCA球面谐波变换。
4.根据权利要求1所述的方法，其特征在于，
所述特征向量包括所述数字化三维模型投影到二维平面上所得图像的整体或局部特征，所述图像的特征描述符包括以下的至少一种：SIFT、SURF、BRIEF、ORB、HOG、DAISY、LBP。
5.根据权利要求1所述的方法，其特征在于，在得到所述最为匹配的数字化三维模型之后并且匹配度超过一定阈值，所述方法进一步包括：
通过可视化过程将所述最为匹配的数字化三维模型呈现；
通过手指触摸屏幕、鼠标或键盘来缩放、旋转、移动该三维模型，多角度、全方位、高分辨率地观察该待验证物品；
将不同颜色的标注叠加在该数字化三维模型上，以告知细分区域上与待验证物品的相同部分和不同部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810760964.4A CN108898128B (zh) | 2018-07-11 | 2018-07-11 | 一种通过照片匹配数字化三维模型的防伪方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810760964.4A CN108898128B (zh) | 2018-07-11 | 2018-07-11 | 一种通过照片匹配数字化三维模型的防伪方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108898128A CN108898128A (zh) | 2018-11-27 |
| CN108898128B true CN108898128B (zh) | 2020-09-04 |
Family
ID=64349188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810760964.4A Active CN108898128B (zh) | 2018-07-11 | 2018-07-11 | 一种通过照片匹配数字化三维模型的防伪方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108898128B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684499B (zh) * | 2018-12-26 | 2020-11-06 | 清华大学 | 一种自由视角的立体对象检索方法与系统 |
| CN111524217A (zh) * | 2019-02-02 | 2020-08-11 | 宁波艾腾湃智能科技有限公司 | 一个新型的提高素描形准度的方法与应用系统 |
| CN111523352A (zh) * | 2019-02-02 | 2020-08-11 | 宁波艾腾湃智能科技有限公司 | 一种智能化快速识别违法改装车的方法及其监控系统 |
| TWI717716B (zh) * | 2019-04-01 | 2021-02-01 | 陳膺任 | 防偽元件驗證方法及系統 |
| CN110245962A (zh) * | 2019-06-14 | 2019-09-17 | 广州市中煌科技有限公司 | 一种产品的防伪方法 |
| CN110942208B (zh) * | 2019-12-10 | 2023-07-07 | 萍乡市恒升特种材料有限公司 | 一种碳化硅泡沫陶瓷的最优生产条件确定方法 |
| CN111027643B (zh) * | 2019-12-26 | 2024-03-08 | 北京奇艺世纪科技有限公司 | 深度神经网络模型的训练方法、人机交互识别方法、装置、电子设备及存储介质 |
| CN111340515B (zh) * | 2020-03-02 | 2023-09-26 | 北京京东振世信息技术有限公司 | 一种特征信息生成和物品溯源方法和装置 |
| CN111553409B (zh) * | 2020-04-27 | 2022-11-01 | 哈尔滨工程大学 | 一种基于体素形状描述符的点云识别方法 |
| CN112132593A (zh) * | 2020-09-10 | 2020-12-25 | 华东师范大学 | 一种基于手机图像比对的物品防伪方法及系统 |
| CN112465595A (zh) * | 2020-11-27 | 2021-03-09 | 广州富港生活智能科技有限公司 | 贵重物品智能推送方法、装置、电子设备及存储介质 |
| CN112926434A (zh) * | 2021-02-22 | 2021-06-08 | 王先峰 | 一种基于5g架构的人脸识别设备 |
| CN114444638A (zh) * | 2022-03-28 | 2022-05-06 | 中科谱光(郑州)应用科学技术研究院有限公司 | 一种基于多维数据采集技术的艺术品编码体系 |
| CN114943706B (zh) * | 2022-05-27 | 2023-04-07 | 宁波艾腾湃智能科技有限公司 | 一种绝对二维空间状态下的平面作品或制品的防伪鉴证 |
| CN116151917B (zh) * | 2023-01-04 | 2024-02-13 | 上海铱维思智能科技有限公司 | 一种基于三维模型的交易确权方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8629871B2 (en) * | 2007-12-06 | 2014-01-14 | Zynga Inc. | Systems and methods for rendering three-dimensional objects |
| CN101719140B (zh) * | 2009-12-23 | 2012-04-18 | 中山大学 | 一种图形检索方法 |
| CN104680515A (zh) * | 2014-12-30 | 2015-06-03 | 中国航天科工集团第二研究院七〇六所 | 一种图像真实性鉴定方法 |
| CN104807827B (zh) * | 2015-05-21 | 2018-06-22 | 四川雅知堂艺术品有限公司 | 一种古陶瓷真伪的三维数控显微观测鉴定方法 |
| CN106650643B (zh) * | 2016-12-06 | 2020-04-14 | 北京心有灵犀科技有限公司 | 一种使珠宝首饰具备增强现实功能的方法 |
| CN206470209U (zh) * | 2017-02-27 | 2017-09-05 | 中国人民公安大学 | 一种文物认证系统 |
| CN107220707A (zh) * | 2017-06-19 | 2017-09-29 | 山东师范大学 | 基于二维数据的动态神经网络模型训练方法和装置 |
| CN107480272A (zh) * | 2017-08-19 | 2017-12-15 | 芜湖通全科技有限公司 | 识别分析艺术品真伪的方法及其系统 |
| CN108182699B (zh) * | 2017-12-28 | 2019-11-08 | 北京天睿空间科技股份有限公司 | 基于二维图像局部变形的三维配准方法 |
-
2018
- 2018-07-11 CN CN201810760964.4A patent/CN108898128B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108898128A (zh) | 2018-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898128B (zh) | 一种通过照片匹配数字化三维模型的防伪方法及设备 | |
| CN108898127B (zh) | 一种基于三维模型匹配的防伪方法及设备 | |
| CN106952402B (zh) | 一种数据处理方法及装置 | |
| US10296603B2 (en) | Systems and methods for automatically generating metadata for media documents | |
| US9472022B2 (en) | Three-dimensional point processing and model generation | |
| Schmid et al. | Local grayvalue invariants for image retrieval | |
| Krig et al. | Ground truth data, content, metrics, and analysis | |
| JP5848833B2 (ja) | 画像を比較するための方法およびシステム | |
| Lara Lopez et al. | Comparative analysis of shape descriptors for 3D objects | |
| US12020497B2 (en) | Facial recognition using 3D model | |
| JP2015504215A5 (zh) | ||
| US12131516B2 (en) | Reducing a search space for item identification using machine learning | |
| US20220414900A1 (en) | Item identification using multiple cameras | |
| Kurz et al. | Representative feature descriptor sets for robust handheld camera localization | |
| Andrade-Cetto et al. | Object recognition | |
| Shah et al. | Performance evaluation of 3d local surface descriptors for low and high resolution range image registration | |
| Janu et al. | Query-based image retrieval using SVM | |
| Proenca et al. | SHREC’15 Track: Retrieval of Oobjects captured with kinect one camera | |
| Wong et al. | Automatic target recognition based on cross-plot | |
| US20220414587A1 (en) | Determining dimensions of an item using point cloud information | |
| Hu et al. | 3d laplacian pyramid signature | |
| Seib et al. | Object class and instance recognition on rgb-d data | |
| Aubry | Representing 3D models for alignment and recognition | |
| Weinmann et al. | Point cloud registration | |
| Akbulut et al. | A cloud-based recommendation service using principle component analysis–scale-invariant feature transform algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: Room 101-69, Honghai Business Building, Ningbo Free Trade Zone, Zhejiang 315800 Patentee after: NINGBO AITENGPAI INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 315000 No. 777 Zhongguanxi Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province Patentee before: NINGBO AITENGPAI INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240716 Address after: Room 104, Building 2, No. 657 Liuting Street, Haishu District, Ningbo City, Zhejiang Province, 315010 Patentee after: Ningbo Aitengpai Digital Technology Co.,Ltd. Country or region after: China Address before: Room 101-69, Honghai Business Building, Ningbo Free Trade Zone, Zhejiang 315800 Patentee before: NINGBO AITENGPAI INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region before: China |