CN111538707A - 一种用于区块链存储的商品指纹特征压缩的方法 - Google Patents
一种用于区块链存储的商品指纹特征压缩的方法 Download PDFInfo
- Publication number
- CN111538707A CN111538707A CN202010353354.XA CN202010353354A CN111538707A CN 111538707 A CN111538707 A CN 111538707A CN 202010353354 A CN202010353354 A CN 202010353354A CN 111538707 A CN111538707 A CN 111538707A
- Authority
- CN
- China
- Prior art keywords
- commodity
- fingerprint
- encoder
- block chain
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007906 compression Methods 0.000 title claims description 12
- 230000006835 compression Effects 0.000 title claims description 12
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000013139 quantization Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 235000019224 Camellia sinensis var Qingmao Nutrition 0.000 description 1
- 241000733943 Hapalogaster mertensii Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000020339 pu-erh tea Nutrition 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种用于区块链存储的商品指纹特征压缩的方法，通过局部特征提取算法，生成商品的指纹信息；使用自编码器的思想，将商品指纹信息用于训练自编码器网络；使用训练好的编码器将商品指纹生成一个特征图；然后通过量化降低数据的存储空间，再用熵编码将量化后的数据进行进一步压缩。商品信息解码的时候，使用相反的流程，将保存的熵编码数据解码并反量化，并通结构相反的解码器进行解码，从特征图恢复为原始商品指纹信息，然后再将待对比的商品提取相同的指纹信息，从而进行比较。运用开源常用的开发语言和库，实现了一种用于区块链存储的商品指纹特征压缩的方法，可以借助云服务进行内外部推广与应用。
Description
技术领域
本发明涉及信息压缩、编解码技术领域，具体地说是一种用于区块链存储的商品指纹特征压缩的方法。
背景技术
区块链技术已经从概念切实的发展到了大规模应用的技术，鉴于其本质是一个不可伪造、全程留痕、可以追溯、公开透明的分布式数据库，它奠定了坚实的信任基础，创造了可靠的合作机制，具有广阔的运用前景。
许多商品由于产地不同，制造时间、工艺不同，存在冒名顶替、制假掺假、过期变质、掉包等问题。例如，大闸蟹、普洱茶饼。它们由于每个个体都有自己独特的纹路、外观等具有区分度的特征，因此这些特征可以被看做商品的指纹。当消费者收到商品后，可以通过特定方法提取商品的指纹信息进行比对，鉴别真伪，或得到该商品的来源、生产日期等。而这种商品的指纹由于其不得篡改的特性，非常适合放到区块链上进行存储。
商品指纹提取的方法可以使用计算机视觉中的局部特征提取，如SIFT、 SURF、ORB等，也可以使用基于深度学习的LIFT、PN-Net、HardNet。由于提取到的特征通常较复杂，占用存储空间较大，因此还需要进行进一步压缩。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种用于区块链存储的商品指纹特征压缩的方法。
本发明解决其技术问题所采用的技术方案是：
一种用于区块链存储的商品指纹特征压缩的方法，该方法通过局部特征提取算法，生成商品独特的指纹信息；然后基于自编码器的神经网络结构，使用 GDN激活函数，进行降维，并结合量化和熵编码进行原始商品指纹信息的压缩，最终存储到区块链中。
可选地，具体步骤包括如下：
S1、使用局部特征提取算法，对原始商品进行特征提取，得到商品独特的指纹信息，
S2、使用自编码器的思想，将商品指纹信息用于训练自编码器网络；
S3、使用训练好的编码器(Encoder)将商品指纹生成一个特征图(Feature Map)，
S4、然后通过量化(Quantize)降低数据的存储空间；
S5、再用熵编码(Entropy Coding)将量化后的数据进行进一步压缩。
可选地，商品信息解码的时候，使用相反的流程，将保存的熵编码数据解码并反量化，并通结构相反的解码器(Decoder)进行解码，从特征图恢复为原始商品指纹信息，然后再将待对比的商品提取相同的指纹信息，从而进行比较。
可选地，步骤S1中具体包括如下步骤：
S101、先对商品图像进行预处理：包括降噪、目标定位、分割；
S102、然后提取局部特征：对处理完的商品提取局部特征，每个商品提取到的特征点数不固定，但每个特征点维度一样；
S103、将所有特征点保存为m*n的特征矩阵，其中m是单张图像提取到的特征点个数，n是单个特征点的维度；
S104、将特征矩阵量化。
可选地，步骤S102中商品的局部特征为商品的外观信息，包括商品的纹理、材质、形状，商品局部特征提取的方法采用SIFT、SURF、ORB经典的计算机视觉算法、或使用基于深度学习的LIFT、PN-Net、Hardnet。
可选地，步骤S104中，将特征矩阵由float量化为int类型。
可选地，通过步骤S4、S5，对特征图进行量化和熵编码后，得到一个压缩后的二进制的商品指纹信息上传至区块链数据库中。
可选地，所述自编码器的神经网络结构至少应包括一组通过设置Strides 降采样的卷积层，一组设置Strides上采样的反卷积层和一组用于量化和熵编码的方法；卷积层的激活函数使用GDN(Generalized divisive normalization)。
可选地，商品信息解码的时候，需要将原始商品指纹特征从区块链数据库中取出，并通过熵解码，反量化，和自编码器的Decoder部分，恢复出特征矩阵并从当前商品的图像提取局部特征进行比对，设定阈值，当匹配点数超过阈值即认为是同一个商品。
本发明的一种用于区块链存储的商品指纹特征压缩的方法与现有技术相比所产生的有益效果是：
本发明使用基于自编码器的方法对商品指纹降维和压缩，自编码器的特性使它可以通过无监督学习来得到数据的高效表示，得到低维的表示后，对其进行量化来进一步压缩，因为使用精度较高的浮点数会占用大量储存空间，但对实际任务并没有很大益处，量化后数据的冗余就被很大程度地去除了，因此再辅以熵编码将数据压缩逼近信息论极限，最终经过多步压缩之后，商品指纹信息就比较小了，因此可以使用区块链技术进行存储。
该方法可应用于区块链分布式存储、商品追踪溯源等领域，通过对已有的商品进行特征提取和特征压缩，成倍的减少存储空间，减少在区块链中的存储成本。压缩的原始商品特征信息主要用于与新得到的商品进行比对，从而达到溯源和鉴别的效果。相比于传统方法简单对比防伪标签的特征码来说，直接比较商品的特征更加准确可信，且基于区块链进行存储更加安全可靠。
与传统方法相比，该方法不是简单地通过防伪标签进行验证，因为防伪标签仍可以被掉包、修改、毁坏。而是通过人工智能算法提取商品的纹理、材质、形状等外观信息，这些信息是独一无二的，只与当前商品对应。将其保留到区块链上，更是进一步增加了安全性和可靠性。
附图说明
为了更清楚地描述本发明一种用于区块链存储的商品指纹特征压缩的方法的工作原理，下面将附上简图作进一步说明。
附图1为本发明一种用于区块链存储的商品指纹特征压缩的方法的的流程图；
附图2为本发明自编码器的神经网络结构的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合附图1，一种用于区块链存储的商品指纹特征压缩的方法，该方法通过局部特征提取算法，生成商品独特的指纹信息；然后基于自编码器的神经网络结构，使用GDN激活函数，进行降维，并结合量化和熵编码进行原始商品指纹信息的压缩，最终存储到区块链中。
具体步骤包括如下：
S1、使用局部特征提取算法，对原始商品进行特征提取，得到商品独特的指纹信息，
S2、使用自编码器的思想，将商品指纹信息用于训练自编码器网络，为了获得较好的压缩效果，通常需要大量数据进行训练；
S3、使用训练好的编码器(Encoder)将商品指纹生成一个特征图(Feature Map)，
S4、然后通过量化(Quantize)降低数据的存储空间；
S5、再用熵编码(Entropy Coding)将量化后的数据进行进一步压缩。
其中商品信息解码的时候，使用相反的流程，将保存的熵编码数据解码并反量化，并通结构相反的解码器(Decoder)进行解码，从特征图恢复为原始商品指纹信息，然后再将待对比的商品提取相同的指纹信息，从而进行比较。
其中步骤S1中具体包括如下步骤：
S101、先对商品图像进行预处理：包括降噪、目标定位、分割；
S102、然后提取局部特征：对处理完的商品提取局部特征，每个商品提取到的特征点数不固定，但每个特征点维度一样；
S103、将所有特征点保存为m*n的特征矩阵，其中m是单张图像提取到的特征点个数，n是单个特征点的维度；
S104、将特征矩阵由量化。
其中步骤S102中商品的局部特征为商品的外观信息，包括商品的纹理、材质、形状，商品局部特征提取的方法采用SIFT、SURF、ORB经典的计算机视觉算法，也可以使用基于深度学习的LIFT、PN-Net、Hardnet等。由于提取到的特征通常较复杂，占用存储空间较大，因此还需要进行进一步压缩。
其中步骤S104中，将特征矩阵由float量化为int类型。
其中通过步骤S4、S5，对特征图进行量化和熵编码后，得到一个压缩后的二进制的商品指纹信息上传至区块链数据库中。
结合附图2，其中所述自编码器的神经网络结构至少应包括一组通过设置Strides降采样的卷积层，一组设置Strides上采样的反卷积层和一组用于量化和熵编码的方法；卷积层的激活函数使用GDN(Generalized divisive normalization)，经验证对数据压缩和降维的任务有较好的效果。
其中商品信息解码的时候，需要将原始商品指纹特征从区块链数据库中取出，并通过熵解码，反量化，和自编码器的Decoder部分，恢复出特征矩阵并从当前商品的图像提取局部特征进行比对，设定阈值，当匹配点数超过阈值即认为是同一个商品。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，该方法通过局部特征提取算法，生成商品独特的指纹信息；然后基于自编码器的神经网络结构，使用GDN激活函数，进行降维，并结合量化和熵编码进行原始商品指纹信息的压缩，最终存储到区块链中。
2.根据权利要求1所述的一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，具体步骤包括如下：
S1、使用局部特征提取算法，对原始商品进行特征提取，得到商品独特的指纹信息，
S2、使用自编码器的思想，将商品指纹信息用于训练自编码器网络；
S3、使用训练好的编码器(Encoder)将商品指纹生成一个特征图(Feature Map)，
S4、然后通过量化(Quantize)降低数据的存储空间；
S5、再用熵编码(Entropy Coding)将量化后的数据进行进一步压缩。
3.根据权利要求2所述的一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，商品信息解码的时候，使用相反的流程，将保存的熵编码数据解码并反量化，并通结构相反的解码器(Decoder)进行解码，从特征图恢复为原始商品指纹信息，然后再将待对比的商品提取相同的指纹信息，从而进行比较。
4.根据权利要求2所述的一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，步骤S1中具体包括如下步骤：
S101、先对商品图像进行预处理：包括降噪、目标定位、分割；
S102、然后提取局部特征：对处理完的商品提取局部特征，每个商品提取到的特征点数不固定，但每个特征点维度一样；
S103、将所有特征点保存为m*n的特征矩阵，其中m是单张图像提取到的特征点个数，n是单个特征点的维度；
S104、将特征矩阵量化。
5.根据权利要求4所述的一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，步骤S102中商品的局部特征为商品的外观信息，包括商品的纹理、材质、形状，商品局部特征提取的方法采用SIFT、SURF、ORB经典的计算机视觉算法，或使用基于深度学习的LIFT、PN-Net、Hardnet。
6.根据权利要求4或5所述的一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，步骤S104中，将特征矩阵由float量化为int类型。
7.根据权利要求2所述的一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，通过步骤S4、S5，对特征图进行量化和熵编码后，得到一个压缩后的二进制的商品指纹信息上传至区块链数据库中。
8.根据权利要求1所述的一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，所述自编码器的神经网络结构至少应包括一组通过设置Strides降采样的卷积层，一组设置Strides上采样的反卷积层和一组用于量化和熵编码的方法；卷积层的激活函数使用GDN(Generalized divisive normalization)。
9.根据权利要求3所述的一种用于区块链存储的商品指纹特征压缩的方法，其特征在于，商品信息解码的时候，需要将原始商品指纹特征从区块链数据库中取出，并通过熵解码，反量化，和自编码器的Decoder部分，恢复出特征矩阵并从当前商品的图像提取局部特征进行比对，设定阈值，当匹配点数超过阈值即认为是同一个商品。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010353354.XA CN111538707A (zh) | 2020-04-29 | 2020-04-29 | 一种用于区块链存储的商品指纹特征压缩的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010353354.XA CN111538707A (zh) | 2020-04-29 | 2020-04-29 | 一种用于区块链存储的商品指纹特征压缩的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111538707A true CN111538707A (zh) | 2020-08-14 |
Family
ID=71967647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010353354.XA Pending CN111538707A (zh) | 2020-04-29 | 2020-04-29 | 一种用于区块链存储的商品指纹特征压缩的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111538707A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202362A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 图像推荐方法和图像推荐装置 |
| CN109191255A (zh) * | 2018-09-04 | 2019-01-11 | 中山大学 | 一种基于无监督特征点检测的商品对齐方法 |
| CN110348487A (zh) * | 2019-06-13 | 2019-10-18 | 武汉大学 | 一种基于深度学习的高光谱图像压缩方法及装置 |
-
2020
- 2020-04-29 CN CN202010353354.XA patent/CN111538707A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202362A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 图像推荐方法和图像推荐装置 |
| CN109191255A (zh) * | 2018-09-04 | 2019-01-11 | 中山大学 | 一种基于无监督特征点检测的商品对齐方法 |
| CN110348487A (zh) * | 2019-06-13 | 2019-10-18 | 武汉大学 | 一种基于深度学习的高光谱图像压缩方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Efficient and robust deep learning with correntropy-induced loss function | |
| CN108389125B (zh) | 信贷申请的逾期风险预测方法及装置 | |
| CN111079683B (zh) | 基于卷积神经网络的遥感图像云雪检测方法 | |
| Nakanishi et al. | Neural multi-scale image compression | |
| CN110598584A (zh) | 一种基于小波变换和dct的卷积神经网络人脸识别算法 | |
| CN111428757B (zh) | 模型训练方法、异常数据检测方法、装置和电子设备 | |
| CN111476023A (zh) | 识别实体关系的方法及装置 | |
| CN116051549B (zh) | 一种太阳能电池片缺陷分割方法、系统、介质及设备 | |
| Moya Rueda et al. | Neuron pruning for compressing deep networks using maxout architectures | |
| CN116912257B (zh) | 基于深度学习的混凝土路面裂缝识别方法及存储介质 | |
| CN110766012A (zh) | 一种基于深度学习的手写体数学表达式识别方法与装置 | |
| Wang et al. | Reliable identification of redundant kernels for convolutional neural network compression | |
| Hong et al. | Efficient neural image decoding via fixed-point inference | |
| CN113869234B (zh) | 人脸表情识别方法、装置、设备及存储介质 | |
| CN113936243A (zh) | 一种离散表征的视频行为识别系统及方法 | |
| CN116935292B (zh) | 一种基于自注意力模型的短视频场景分类方法及系统 | |
| CN111898638B (zh) | 融合不同视觉任务的图像处理方法、电子设备及介质 | |
| CN111538707A (zh) | 一种用于区块链存储的商品指纹特征压缩的方法 | |
| CN116612416A (zh) | 一种指代视频目标分割方法、装置、设备及可读存储介质 | |
| CN112560719B (zh) | 基于多尺度卷积-多核池化的高分辨率影像水体提取方法 | |
| CN113343640B (zh) | 一种海关报关商品hs编码分类方法及装置 | |
| CN115187266A (zh) | 基于记忆力变分自编码模型的信用卡欺诈检测方法及系统 | |
| CN115035455A (zh) | 一种基于对抗多模态领域自适应的跨类别视频时间定位方法、系统和存储介质 | |
| Wu et al. | An adaptive stacked denoising auto-encoder architecture for human action recognition | |
| CN115471875B (zh) | 一种多码率的行人识别视觉特征编码压缩方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200814 |