CN115375980A - 基于区块链的数字图像的存证系统及其存证方法 - Google Patents

基于区块链的数字图像的存证系统及其存证方法 Download PDF

Info

Publication number
CN115375980A
CN115375980A CN202210755296.2A CN202210755296A CN115375980A CN 115375980 A CN115375980 A CN 115375980A CN 202210755296 A CN202210755296 A CN 202210755296A CN 115375980 A CN115375980 A CN 115375980A
Authority
CN
China
Prior art keywords
feature
feature map
vector
digital image
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210755296.2A
Other languages
English (en)
Other versions
CN115375980B (zh
Inventor
程行坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210755296.2A priority Critical patent/CN115375980B/zh
Publication of CN115375980A publication Critical patent/CN115375980A/zh
Application granted granted Critical
Publication of CN115375980B publication Critical patent/CN115375980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及区块链的领域，其具体地公开了一种基于区块链的数字图像的存证系统及其存证方法，其通过基于深度学习的卷积神经网络模型来对待存证的服装设计版式的数字图像进行局部和全局的隐含特征提取，并基于特征融合技术来对所述数字图像的局部隐含关联特征和全局的高维关联特征进行特征融合，以更准确地对于所述待存证的服装设计版式的数字图像进行抄袭风险预警。这样，在将数字图像上传至区块链结构之前，对待存储的数字图像进行抄袭风险预警，以优化用户使用区块链存证系统的服务体验。

Description

基于区块链的数字图像的存证系统及其存证方法
技术领域
本发明涉及区块链的领域，且更为具体地，涉及一种基于区块链的数字图像的存证系统及其存证方法。
背景技术
信息时代，人类的文化传播方式与以前相比有了很大变化，严格的行业之间的界限正在淡化，这样使得对于服装的设计也以千姿百态的形式释放出来。现如今服装艺术显示出来的形式越来越多，服装设计要有很强的审美观和价值观，既然设计出来的衣服是要在生活中穿的，既要美观时尚，又要低调优雅，使服装永远不会落后。
服装设计版式抄袭是一直服装设计行业存在的顽疾。在进行维权时，原创者无法通过有效的证据来证明自己的原创性。近年来，区块链技术的发展为服装版式设计者的维权提供了便利。但是，现有的区块链存证系统仅能证明被上传的资料在上传区块链存证系统之后的真实性和不可篡改性，其无法确保被上传的服装设计版式自身是否存在问题。对于服装设计者而言，在其进行服装设计时，虽然没有意图做抄袭但其最终设计出来的服装设计版式却仍存在抄袭的可能性。
因此，为了提高区块链存证系统的用户体验，期待一种技术方案，其能够对在资料被上传至区块链存证系统之前，对被上传的服装设计版式进行抄袭风险预警判断。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于区块链的数字图像的存证系统及其存证方法，其通过基于深度学习的卷积神经网络模型来对待存证的服装设计版式的数字图像进行局部和全局的隐含特征提取，并基于特征融合技术来对所述数字图像的局部隐含关联特征和全局的高维关联特征进行特征融合，以更准确地对于所述待存证的服装设计版式的数字图像进行抄袭风险预警。这样，在将数字图像上传至区块链结构之前，对待存储的数字图像进行抄袭风险预警，以优化用户使用区块链存证系统的服务体验。
根据本申请的一个方面，提供了一种基于区块链的数字图像的存证系统，其包括：
待存证数据获取模块，用于获取待存证的服装设计版式的数字图像；
局部特征提取模块，用于将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图；
全局特征提取模块，用于将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图；
降维模块，用于将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量；
特征分布融合模块，用于融合所述第一特征向量和所述第二特征向量以得到分类特征向量；
抄袭风险诊断模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险；
风险提示模块，用于响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；以及
存证模块，用于响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
在上述基于区块链的数字图像的存证系统中，所述局部特征提取模块，包括：浅层特征提取单元，用于从所述第一卷积神经网络的第M层提取浅层特征图，其中，M大于等于4且小于等于6；深层特征提取单元，用于从所述第一卷积神经网络的第N层提取深层特征图，其中，N/M大于等于10 且小于等于15；以及，融合单元，用于融合所述浅层特征图和所述深层特征图以得到所述高维关联局部特征图。
在上述基于区块链的数字图像的存证系统中，所述全局特征提取模块，包括：点卷积单元，用于将所述高维关联局部特征图分别输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；第一融合单元，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；归一化单元，用于将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；第二融合单元，用于计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；全局感知单元，用于将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局感知特征图；通道数调整单元，用于将所述全局感知特征图通过所述非局部神经网络的第四点卷积层以得到通道调整全局感知特征图；以及，第三融合单元，用于计算所述通道调整全局感知特征图和所述高维关联局部特征图的按位置加权和以得到所述全局关联特征图。
在上述基于区块链的数字图像的存证系统中，所述降维模块，进一步用于将所述高维关联局部特征图和所述全局关联特征图中各个特征矩阵按照行向量进行划分并将所得到的行向量进行排列以得到所述第一特征向量和所述第二特征向量。
在上述基于区块链的数字图像的存证系统中，所述特征分布融合模块，包括：向量差分单元，用于计算所述第一特征向量和所述第二特征向量之间的按位置差分以得到差分特征向量；向量加和单元，用于计算所述第一特征向量和所述第二特征向量之间的按位置相加以得到加和特征向量；对数运算单元，用于计算所述加和特征向量中各个位置的特征值的对数函数值以得到对数加和特征向量；特征值计算单元，用于计算所述差分特征向量的一范数作为分层深度特性值；关联矩阵单元，用于计算所述第一特征向量的转置向量与所述第二特征向量的向量乘积以得到全场景单应关联矩阵；深度感知单元，用于计算所述全场景单应关联矩阵的Frobenius范数作为深度感知特征值；以及，对齐融合单元，用于以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值对所述对数加和特征向量进行处理以得到所述分类特征向量。
在上述基于区块链的数字图像的存证系统中，所述对齐融合单元，进一步用于：以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值以如下公式对所述对数加和特征向量进行处理以得到所述分类特征向量；
其中，所述公式为：
Figure RE-GDA0003896893430000031
其中V1表示所述第一特征向量，V2表示所述第二特征向量，V3表示所述分类特征向量，||·||1表示向量的一范数，且||·||F表示矩阵的Frobenius范数，
Figure RE-GDA0003896893430000041
和
Figure RE-GDA0003896893430000042
分别表示按位置减法和加法，且⊙表示按位置点乘。
在上述基于区块链的数字图像的存证系统中，所述抄袭风险诊断模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：softmax{(Wn，Bn)：...：(W1，B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述分类特征向量。
根据本申请的另一方面，一种基于区块链的数字图像的存证系统的存证方法，其包括：
获取待存证的服装设计版式的数字图像；
将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图；
将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图；
将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量；
融合所述第一特征向量和所述第二特征向量以得到分类特征向量；
将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险；
响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；以及
响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
在上述基于区块链的数字图像的存证系统的存证方法中，将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图，包括：从所述第一卷积神经网络的第M层提取浅层特征图，其中，M大于等于4且小于等于6；从所述第一卷积神经网络的第N层提取深层特征图，其中，N/M大于等于10且小于等于15；以及，融合所述浅层特征图和所述深层特征图以得到所述高维关联局部特征图。
在上述基于区块链的数字图像的存证系统的存证方法中，将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图，包括：将所述高维关联局部特征图分别输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局感知特征图；将所述全局感知特征图通过所述非局部神经网络的第四点卷积层以得到通道调整全局感知特征图；以及，计算所述通道调整全局感知特征图和所述高维关联局部特征图的按位置加权和以得到所述全局关联特征图。
在上述基于区块链的数字图像的存证系统的存证方法中，将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量，包括：将所述高维关联局部特征图和所述全局关联特征图中各个特征矩阵按照行向量进行划分并将所得到的行向量进行排列以得到所述第一特征向量和所述第二特征向量。
在上述基于区块链的数字图像的存证系统的存证方法中，融合所述第一特征向量和所述第二特征向量以得到分类特征向量，包括：计算所述第一特征向量和所述第二特征向量之间的按位置差分以得到差分特征向量；计算所述第一特征向量和所述第二特征向量之间的按位置相加以得到加和特征向量；计算所述加和特征向量中各个位置的特征值的对数函数值以得到对数加和特征向量；计算所述差分特征向量的一范数作为分层深度特性值；计算所述第一特征向量的转置向量与所述第二特征向量的向量乘积以得到全场景单应关联矩阵；计算所述全场景单应关联矩阵的Frobenius范数作为深度感知特征值；以及，以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值对所述对数加和特征向量进行处理以得到所述分类特征向量。
在上述基于区块链的数字图像的存证系统的存证方法中，以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值对所述对数加和特征向量进行处理以得到所述分类特征向量，包括：以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值以如下公式对所述对数加和特征向量进行处理以得到所述分类特征向量；
其中，所述公式为：
Figure RE-GDA0003896893430000061
其中V1表示所述第一特征向量，V2表示所述第二特征向量，V3表示所述分类特征向量，||·||1表示向量的一范数，且||·||F表示矩阵的Frobenius范数，
Figure RE-GDA0003896893430000062
和
Figure RE-GDA0003896893430000063
分别表示按位置减法和加法，且⊙表示按位置点乘。
在上述基于区块链的数字图像的存证系统的存证方法中，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险，包括：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为： softmax{(Wn，Bn)：...：(W1，B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述分类特征向量。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于区块链的数字图像的存证系统的存证方法。
与现有技术相比，本申请提供的基于区块链的数字图像的存证系统及其存证方法，其通过基于深度学习的卷积神经网络模型来对待存证的服装设计版式的数字图像进行局部和全局的隐含特征提取，并基于特征融合技术来对所述数字图像的局部隐含关联特征和全局的高维关联特征进行特征融合，以更准确地对于所述待存证的服装设计版式的数字图像进行抄袭风险预警。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的区块链架构的示意图。
图2为根据本申请实施例的基于区块链的数字图像的存证系统的框图。
图3为根据本申请实施例的基于区块链的数字图像的存证系统中全局特征提取模块的框图。
图4为根据本申请实施例的基于区块链的数字图像的存证系统中特征分布融合模块的框图。
图5为根据本申请实施例的基于区块链的数字图像的存证系统的存证方法的流程图。
图6为根据本申请实施例的基于区块链的数字图像的存证系统的存证方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
区块链架构概述
图1为根据本申请实施例的基于区块链的数字图像的存证数据库的架构的示意图。如图1所示，根据本申请实施例的基于区块链的数字图像的存证数据库采用典型的区块链架构，待存证的服装设计版式数据，例如P1、P2、…、 Pn(服装的样式、材料、颜色、形状等)存储在以区块链构造的各个存储区块B1、B2、…、Bn中。
当然，本领域技术人员可以理解，不同类型的待存证的服装设计版式数据也可以分别存储在单独的区块中，例如，某个区块专用于存储待存证的服装设计版式的材料数据，而另一区块专用于存储待存证的服装设计版式的颜色数据。
按照典型的区块链存储架构，每个区块B1、B2、…、Bn包括指针H1、 H2、…、Hn和数据部分D1、D2、…、Dn。指针H1、H2、…、Hn可以是各种类型的哈希指针，比如区块链存储架构中常用的SHA-256哈希函数，该哈希指针指向上一个区块。
在本申请实施例中，下一区块的哈希指针的值基于上一区块的哈希指针的值与数据部分的哈希函数值，例如，H2＝H1×H(D1)，H(D1)表示数据部分D1的哈希函数值。首个区块的哈希指针的值可以是随机数值。这样，任何对某个区块内的数据部分的修改都将反应在下一区块的哈希指针的值上，并进一步改变后续所有区块的哈希指针的值，使得对于数据部分的修改实质上不可能的。
并且，在每个数据部分D1、D2、…、Dn中，该数据部分的哈希函数值可以基于针对该数据部分中的每类待存证的服装设计版式数据分别生成的哈希函数值。例如，数据部分中的所有材料数据可以以基于哈希指针的梅克尔树的数据结构进行存储，从而便于通过哈希指针回溯到具体的待存证的服装设计版式数据，并建立各个待存证的服装设计版式数据之间的适当的隶属关系。
这里，本领域技术人员可以理解，根据本申请实施例的基于区块链的数字图像的存证数据库可以采用任意的通用的区块链架构，本申请实施例并不意在限制区块链架构的具体实现。
并且，在本申请实施例中，区块链优选地采用私有链或者联盟链，从而利于在安全服务提供商或者安全服务提供商联盟的公司或者企业内部进行待存证的服装设计版式数据的分布式存储管理，相应地，用于存储待存证的服装设计版式数据的各个存储区块可以预先配置，而不需要基于共识算法生成，这样，可以避免共识算法所导致的计算资源的消耗。
也就是说，根据本申请实施例的基于区块链的数字图像的存证数据库的区块链架构聚焦于待存证的服装设计版式数据的存储管理，而不涉及类似电子货币的基于区块链的价值传递功能，因此，该区块链架构可以由公司或者企业内部的管理部门预先配置在云端，并由各个技术部门从终端接入，进行安全规则文件的上传，并在云端进行统一存储和管理。所以，由于各个技术部门很可能分布在不同的地理位置，应用区块链架构可以方便地实现安全规则文件的分布式存储。
另一方面，根据本申请实施例的区块链架构中的各个区块也可以与公有链的区块相关联，以使得每个区块具有与公有链的关联区块相对应的时间戳信息。这样，当需要记录需要时间属性的信息，比如待存证的服装设计版式数据的采样时间，从而确定待存证的服装设计版式数据是否为早期版本时，就可以利用区块链中各区块的时间顺序属性。
场景概述
如前所述，现有的区块链存证系统仅能证明被上传的资料在上传区块链存证系统之后的真实性和不可篡改性，其无法确保被上传的服装设计版式自身是否存在问题。对于服装设计者而言，在其进行服装设计时，虽然没有意图做抄袭但其最终设计出来的服装设计版式却仍存在抄袭的可能性。
因此，为了提高区块链存证系统的用户体验，期待一种技术方案，其能够对在资料被上传至区块链存证系统之前，对被上传的服装设计版式进行抄袭风险预警判断。
本申请的申请人考虑到在存证之前，如果能够对待存证的服装设计版式进行抄袭风险预警，可以提醒用户在存证时注意作品的原创性，这对于提升用户体验具有重要意义。而对于所述待存证的服装设计版式进行抄袭风险的预警，这本质上也就是一个分类的问题，也就是，基于待存证的服装设计版式的数字图像作为输入数据，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来进行隐含关联特征提取，并通过分类器进行抄袭的预警判断。
具体地，在本申请的技术方案中，首先，通过相机拍摄获取待存证的服装设计版式的数字图像，并且考虑到卷积神经网络模型在图像的局部隐含特征提取方面具有优异的表现，因此，进一步使用作为特征提取器的第一卷积神经网络模型来对所述待存证的服装设计版式的数字图像进行深层次的特征挖掘，以提取出所述待存证的服装设计版式的数字图像的局部高维隐含特征信息，从而获得高维关联局部特征图。
具体地，应可以理解，考虑到在标准卷积神经网络中，随着编码过程的深入，所述待存证的服装设计版式的浅层特征(例如，形状、纹理、颜色) 等会被淹没在背景信息中或随着深度的加深而变得模糊，而在本申请的技术方案中，上述浅层特征对服装设计版式的抄袭判断具有重要意义。而如果仅采用浅层特征进行分类，因浅层特征无法保证对象等深层特征，其会将图像中的背景等干扰信息纳入进来而影响分类判断的精准度，因此，在本申请的技术方案中，采用深浅层融合机制。也就是，具体地，从所述卷积神经网络的浅层(例如，所述卷积神经网络的第M层)和深层(例如，所述卷积神经网络的最后一层第N层)提取浅度特征图和深度特征图。在一个示例中，所述浅层的层数选取与所述卷积神经网络的总层数有关，例如，总层数为40 时，从所述卷积神经网络的第4层提取所述浅度特征图，总层数为50时，从所述卷积神经网络的第5层提取所述浅度特征图，对此，并不为本申请所局限。也就是，特别地，这里，M大于等于4且小于等于6，且N/M大于等于10且小于等于15。然后，融合所述浅层特征图和所述深层特征图以得到所述高维关联局部特征图。
考虑到由于卷积是典型的局部操作，而对于所述待存证的服装设计版式的数字图像中各个像素点来说，所述各个像素点之间并非是孤立存在的，像素间的关联性产生前景目标。因此，在本申请的技术方案中，为了提取出所述待存证的服装设计版式的数字图像某个像素点与剩余所有像素点的关联性，使用非局部神经网络来进一步进行图像的特征提取。也就是，将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图。特别地，这里，所述非局部神经网络通过计算图像所有像素点相似度捕获远距离依赖信息，进而建模上下文特征，使网络关注所述图像的整体内容，进而在分类、检测任务中提升主干网络特征提取能力。
进一步地，将融合所述高维关联局部特征图和所述全局关联特征图时，考虑到所述高维关联局部特征图本身融合了深层和浅层特征，而所述全局关联特征图进一步在所述高维关联局部特征图的基础上通过卷积操作增加了层深度，因此优选地将融合时对所述高维关联局部特征图和所述全局关联特征图进行分层深度单应对齐融合。
具体地，首先将所述高维关联局部特征图和所述全局关联特征图展开为第一特征向量V1和第二特征向量V2，然后进行特征向量的分层深度单应对齐融合，表示为：
Figure RE-GDA0003896893430000101
其中V1表示所述第一特征向量，V2表示所述第二特征向量，V3表示所述分类特征向量，||·||1表示向量的一范数，且||·||F表示矩阵的Frobenius范数，
Figure RE-GDA0003896893430000102
和
Figure RE-GDA0003896893430000103
分别表示按位置减法和加法，且⊙表示按位置点乘。
这里，该分层深度单应对齐融合可以通过根据向量表征的基于特征融合的分层深度特性，来进行基于向量差分表达的分层场景深度流的单应性对齐，并以向量间的全场景单应关联矩阵的深度感知作为叠加的偏置，从而在特征分布之间可能存在由于不同分层深度特征而导致的特征分布错位的基础上有效地进行向量的分层深度单应对齐，从而提升融合后的分类特征向量V3的分类效果，进而提高分类的准确性。
这样，再将融合了特征信息的分类特征向量通过分类器以获得用于表示待存证的服装设计版式是否存在抄袭风险的分类结果。进而，基于所述分类结果来对所述待存证的服装设计版式的数字图像是否存储于区块链架构中进行判断，也就是，响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
基于此，本申请提出了一种基于区块链的数字图像的存证系统，其包括：待存证数据获取模块，用于获取待存证的服装设计版式的数字图像；局部特征提取模块，用于将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图；全局特征提取模块，用于将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图；降维模块，用于将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量；特征分布融合模块，用于融合所述第一特征向量和所述第二特征向量以得到分类特征向量；抄袭风险诊断模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险；风险提示模块，用于响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；以及，存证模块，用于响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的基于区块链的数字图像的存证系统的框图。如图2所示，根据本申请实施例的基于区块链的数字图像的存证系统200，包括：待存证数据获取模块210，用于获取待存证的服装设计版式的数字图像；局部特征提取模块220，用于将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图；全局特征提取模块230，用于将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图；降维模块240，用于将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量；特征分布融合模块250，用于融合所述第一特征向量和所述第二特征向量以得到分类特征向量；抄袭风险诊断模块260，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险；风险提示模块270，用于响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；以及，存证模块280，用于响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
具体地，在本申请实施例中，所述待存证数据获取模块210和所述局部特征提取模块220，用于获取待存证的服装设计版式的数字图像，并将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图。如前所述，考虑到在存证之前，如果能够对待存证的服装设计版式进行抄袭风险预警，可以提醒用户在存证时注意作品的原创性，这对于提升用户体验具有重要意义。而对于所述待存证的服装设计版式进行抄袭风险的预警，这本质上也就是一个分类的问题，也就是，在本申请的技术方案中，基于待存证的服装设计版式的数字图像作为输入数据，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来进行隐含关联特征提取，并通过分类器进行抄袭的预警判断。
也就是，具体地，在本申请的技术方案中，首先，通过相机拍摄获取待存证的服装设计版式的数字图像，并且考虑到卷积神经网络模型在图像的局部隐含特征提取方面具有优异的表现，因此，进一步使用作为特征提取器的第一卷积神经网络模型来对所述待存证的服装设计版式的数字图像进行深层次的特征挖掘，以提取出所述待存证的服装设计版式的数字图像的局部高维隐含特征信息，从而获得高维关联局部特征图。
具体地，应可以理解，考虑到在标准卷积神经网络中，随着编码过程的深入，所述待存证的服装设计版式的浅层特征(例如，形状、纹理、颜色) 等会被淹没在背景信息中或随着深度的加深而变得模糊，而在本申请的技术方案中，上述浅层特征对服装设计版式的抄袭判断具有重要意义。而如果仅采用浅层特征进行分类，因浅层特征无法保证对象等深层特征，其会将图像中的背景等干扰信息纳入进来而影响分类判断的精准度，因此，在本申请的技术方案中，采用深浅层融合机制。也就是，具体地，从所述卷积神经网络的浅层(例如，所述卷积神经网络的第M层)和深层(例如，所述卷积神经网络的最后一层第N层)提取浅度特征图和深度特征图。相应地，在一个示例中，所述浅层的层数选取与所述卷积神经网络的总层数有关，例如，总层数为40时，从所述卷积神经网络的第4层提取所述浅度特征图，总层数为50时，从所述卷积神经网络的第5层提取所述浅度特征图，对此，并不为本申请所局限。也就是，特别地，这里，M大于等于4且小于等于6，且 N/M大于等于10且小于等于15。然后，融合所述浅层特征图和所述深层特征图以得到所述高维关联局部特征图。
更具体地，在本申请实施例中，所述局部特征提取模块，包括：浅层特征提取单元，用于从所述第一卷积神经网络的第M层提取浅层特征图，其中，M大于等于4且小于等于6；深层特征提取单元，用于从所述第一卷积神经网络的第N层提取深层特征图，其中，N/M大于等于10且小于等于15；以及，融合单元，用于融合所述浅层特征图和所述深层特征图以得到所述高维关联局部特征图。
具体地，在本申请实施例中，所述全局特征提取模块230，用于将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图。应可以理解，考虑到由于卷积是典型的局部操作，而对于所述待存证的服装设计版式的数字图像中各个像素点来说，所述各个像素点之间并非是孤立存在的，像素间的关联性产生前景目标。因此，在本申请的技术方案中，为了提取出所述待存证的服装设计版式的数字图像某个像素点与剩余所有像素点的关联性，使用非局部神经网络来进一步进行图像的特征提取。也就是，将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图。特别地，这里，所述非局部神经网络通过计算图像所有像素点相似度捕获远距离依赖信息，进而建模上下文特征，使网络关注所述图像的整体内容，进而在分类、检测任务中提升主干网络特征提取能力。
更具体地，在本申请实施例中，所述全局特征提取模块，包括：首先，将所述高维关联局部特征图分别输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；接着，计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；然后，将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；接着，计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；然后，将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局感知特征图；接着，将所述全局感知特征图通过所述非局部神经网络的第四点卷积层以得到通道调整全局感知特征图；以及，最后，计算所述通道调整全局感知特征图和所述高维关联局部特征图的按位置加权和以得到所述全局关联特征图。
图3图示了根据本申请实施例的基于区块链的数字图像的存证系统中全局特征提取模块的框图。如图3所示，所述全局特征提取模块230，包括：点卷积单元231，用于将所述高维关联局部特征图分别输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；第一融合单元232，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；归一化单元233，用于将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；第二融合单元234，用于计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；全局感知单元235，用于将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局感知特征图；通道数调整单元236，用于将所述全局感知特征图通过所述非局部神经网络的第四点卷积层以得到通道调整全局感知特征图；以及，第三融合单元237，用于计算所述通道调整全局感知特征图和所述高维关联局部特征图的按位置加权和以得到所述全局关联特征图。
具体地，在本申请实施例中，所述降维模块240和所述特征分布融合模块250，用于将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量，并融合所述第一特征向量和所述第二特征向量以得到分类特征向量。应可以理解，进一步地，将融合所述高维关联局部特征图和所述全局关联特征图时，考虑到所述高维关联局部特征图本身融合了深层和浅层特征，而所述全局关联特征图进一步在所述高维关联局部特征图的基础上通过卷积操作增加了层深度，因此，在本申请的技术方案中，优选地在融合时对所述高维关联局部特征图和所述全局关联特征图进行分层深度单应对齐融合。也就是，具体地，首先将所述高维关联局部特征图和所述全局关联特征图展开为第一特征向量V1和第二特征向量V2。相应地，在一个具体示例中，将所述高维关联局部特征图和所述全局关联特征图中各个特征矩阵按照行向量进行划分并将所得到的行向量进行排列以得到所述第一特征向量和所述第二特征向量。然后，进行特征向量的分层深度单应对齐融合。
更具体地，在本申请实施例中，所述特征分布融合模块，包括：首先，计算所述第一特征向量和所述第二特征向量之间的按位置差分以得到差分特征向量；接着，计算所述第一特征向量和所述第二特征向量之间的按位置相加以得到加和特征向量；然后，计算所述加和特征向量中各个位置的特征值的对数函数值以得到对数加和特征向量；接着。计算所述差分特征向量的一范数作为分层深度特性值；然后，计算所述第一特征向量的转置向量与所述第二特征向量的向量乘积以得到全场景单应关联矩阵；接着，计算所述全场景单应关联矩阵的Frobenius范数作为深度感知特征值；最后，以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值对所述对数加和特征向量进行处理以得到所述分类特征向量。相应地，在一个具体示例中，以如下公式融合所述第一特征向量和所述第二特征向量以得到分类特征向量；
其中，所述公式为：
Figure RE-GDA0003896893430000151
其中V1表示所述第一特征向量，V2表示所述第二特征向量，V3表示所述分类特征向量，||·||1表示向量的一范数，且||·||F表示矩阵的Frobenius范数，
Figure RE-GDA0003896893430000152
和
Figure RE-GDA0003896893430000153
分别表示按位置减法和加法，且⊙表示按位置点乘。应可以理解，这里，该所述分层深度单应对齐融合可以通过根据向量表征的基于特征融合的分层深度特性，来进行基于向量差分表达的分层场景深度流的单应性对齐，并以向量间的全场景单应关联矩阵的深度感知作为叠加的偏置，从而在特征分布之间可能存在由于不同分层深度特征而导致的特征分布错位的基础上有效地进行向量的分层深度单应对齐，从而提升融合后的所述分类特征向量 V3的分类效果，进而提高分类的准确性。
图4图示了根据本申请实施例的基于区块链的数字图像的存证系统中特征分布融合模块的框图。如图4所示，所述特征分布融合模块250，包括：向量差分单元251，用于计算所述第一特征向量和所述第二特征向量之间的按位置差分以得到差分特征向量；向量加和单元252，用于计算所述第一特征向量和所述第二特征向量之间的按位置相加以得到加和特征向量；对数运算单元253，用于计算所述加和特征向量中各个位置的特征值的对数函数值以得到对数加和特征向量；特征值计算单元254，用于计算所述差分特征向量的一范数作为分层深度特性值；关联矩阵单元255，用于计算所述第一特征向量的转置向量与所述第二特征向量的向量乘积以得到全场景单应关联矩阵；深度感知单元256，用于计算所述全场景单应关联矩阵的Frobenius 范数作为深度感知特征值；以及，对齐融合单元257，用于以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值对所述对数加和特征向量进行处理以得到所述分类特征向量。
具体地，在本申请实施例中，所述抄袭风险诊断模块260、所述风险提示模块270和所述存证模块280，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险，并响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示，再响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。也就是，在本申请的技术方案中，再将融合了特征信息的所述分类特征向量通过分类器以获得用于表示待存证的服装设计版式是否存在抄袭风险的分类结果。进而，基于所述分类结果来对所述待存证的服装设计版式的数字图像是否存储于区块链架构中进行判断，也就是，响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
更具体地，在本申请实施例中，所述抄袭风险诊断模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：softmax{(Wn，Bn)：...：(W1，B1)|X)，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述分类特征向量。
综上，基于本申请实施例的所述基于区块链的数字图像的存证系统200 被阐明，其通过基于深度学习的卷积神经网络模型来对待存证的服装设计版式的数字图像进行局部和全局的隐含特征提取，并基于特征融合技术来对所述数字图像的局部隐含关联特征和全局的高维关联特征进行特征融合，以更准确地对于所述待存证的服装设计版式的数字图像进行抄袭风险预警。
如上所述，根据本申请实施例的基于区块链的数字图像的存证系统200 可以实现在各种终端设备中，例如基于区块链的数字图像的存证算法的服务器等。在一个示例中，根据本申请实施例的基于区块链的数字图像的存证系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于区块链的数字图像的存证系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于区块链的数字图像的存证系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于区块链的数字图像的存证系统200与该终端设备也可以是分立的设备，并且该基于区块链的数字图像的存证系统 200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图5图示了基于区块链的数字图像的存证系统的存证方法的流程图。如图5所示，根据本申请实施例的基于区块链的数字图像的存证系统的存证方法，包括步骤：S110，获取待存证的服装设计版式的数字图像；S120，将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图；S130，将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图；S140，将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量； S150，融合所述第一特征向量和所述第二特征向量以得到分类特征向量； S160，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险；S170，响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；以及，S180，响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
图6图示了根据本申请实施例的基于区块链的数字图像的存证系统的存证方法的架构示意图。如图6所示，在所述基于区块链的数字图像的存证系统的存证方法的网络架构中，首先，将获得的所述待存证的服装设计版式的数字图像(例如，如图6中所示意的IN1)通过作为特征提取器的第一卷积神经网络(例如，如图6中所示意的CNN1)以得到高维关联局部特征图(例如，如图6中所示意的F1)；接着，将所述高维关联局部特征图通过非局部神经网络(例如，如图6中所示意的CNN2)以得到全局关联特征图(例如，如图6中所示意的F2)；然后，将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量(例如，如图6中所示意的VF1)和第二特征向量(例如，如图6中所示意的VF2)；接着，融合所述第一特征向量和所述第二特征向量以得到分类特征向量(例如，如图6中所示意的VF)；然后，将所述分类特征向量通过分类器(例如，如图6中所示意的圈S)以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险；接着，响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示(例如，如图6中所示意的RS)；以及，最后，响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块(例如，如图6中所示意的T)中。
更具体地，在步骤S110和S120中，获取待存证的服装设计版式的数字图像，并将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图。也就是，具体地，在本申请的技术方案中，首先，通过相机拍摄获取待存证的服装设计版式的数字图像，并且考虑到卷积神经网络模型在图像的局部隐含特征提取方面具有优异的表现，因此，进一步使用作为特征提取器的第一卷积神经网络模型来对所述待存证的服装设计版式的数字图像进行深层次的特征挖掘，以提取出所述待存证的服装设计版式的数字图像的局部高维隐含特征信息，从而获得高维关联局部特征图。
具体地，应可以理解，考虑到在标准卷积神经网络中，随着编码过程的深入，所述待存证的服装设计版式的浅层特征(例如，形状、纹理、颜色) 等会被淹没在背景信息中或随着深度的加深而变得模糊，而在本申请的技术方案中，上述浅层特征对服装设计版式的抄袭判断具有重要意义。而如果仅采用浅层特征进行分类，因浅层特征无法保证对象等深层特征，其会将图像中的背景等干扰信息纳入进来而影响分类判断的精准度，因此，在本申请的技术方案中，采用深浅层融合机制。也就是，具体地，从所述卷积神经网络的浅层(例如，所述卷积神经网络的第M层)和深层(例如，所述卷积神经网络的最后一层第N层)提取浅度特征图和深度特征图。相应地，在一个示例中，所述浅层的层数选取与所述卷积神经网络的总层数有关，例如，总层数为40时，从所述卷积神经网络的第4层提取所述浅度特征图，总层数为50时，从所述卷积神经网络的第5层提取所述浅度特征图，对此，并不为本申请所局限。也就是，特别地，这里，M大于等于4且小于等于6，且 N/M大于等于10且小于等于15。然后，融合所述浅层特征图和所述深层特征图以得到所述高维关联局部特征图。
更具体地，在步骤S130中，将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图。应可以理解，考虑到由于卷积是典型的局部操作，而对于所述待存证的服装设计版式的数字图像中各个像素点来说，所述各个像素点之间并非是孤立存在的，像素间的关联性产生前景目标。因此，在本申请的技术方案中，为了提取出所述待存证的服装设计版式的数字图像某个像素点与剩余所有像素点的关联性，使用非局部神经网络来进一步进行图像的特征提取。也就是，将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图。特别地，这里，所述非局部神经网络通过计算图像所有像素点相似度捕获远距离依赖信息，进而建模上下文特征，使网络关注所述图像的整体内容，进而在分类、检测任务中提升主干网络特征提取能力。
更具体地，在步骤S140和步骤S150中，将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量，并融合所述第一特征向量和所述第二特征向量以得到分类特征向量。应可以理解，进一步地，将融合所述高维关联局部特征图和所述全局关联特征图时，考虑到所述高维关联局部特征图本身融合了深层和浅层特征，而所述全局关联特征图进一步在所述高维关联局部特征图的基础上通过卷积操作增加了层深度，因此，在本申请的技术方案中，优选地在融合时对所述高维关联局部特征图和所述全局关联特征图进行分层深度单应对齐融合。也就是，具体地，首先将所述高维关联局部特征图和所述全局关联特征图展开为第一特征向量V1和第二特征向量V2。相应地，在一个具体示例中，将所述高维关联局部特征图和所述全局关联特征图中各个特征矩阵按照行向量进行划分并将所得到的行向量进行排列以得到所述第一特征向量和所述第二特征向量。然后，进行特征向量的分层深度单应对齐融合。
更具体地，在步骤S160、步骤S170和步骤S180中，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险，并响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示，再响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。也就是，在本申请的技术方案中，再将融合了特征信息的所述分类特征向量通过分类器以获得用于表示待存证的服装设计版式是否存在抄袭风险的分类结果。进而，基于所述分类结果来对所述待存证的服装设计版式的数字图像是否存储于区块链架构中进行判断，也就是，响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
综上，基于本申请实施例的所述基于区块链的数字图像的存证系统的存证方法被阐明，其通过基于深度学习的卷积神经网络模型来对待存证的服装设计版式的数字图像进行局部和全局的隐含特征提取，并基于特征融合技术来对所述数字图像的局部隐含关联特征和全局的高维关联特征进行特征融合，以更准确地对于所述待存证的服装设计版式的数字图像进行抄袭风险预警。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于区块链的数字图像的存证系统的存证方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的基于区块链的数字图像的存证系统的存证方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于区块链的数字图像的存证系统，其特征在于，包括：
待存证数据获取模块，用于获取待存证的服装设计版式的数字图像；
局部特征提取模块，用于将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图；
全局特征提取模块，用于将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图；
降维模块，用于将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量；
特征分布融合模块，用于融合所述第一特征向量和所述第二特征向量以得到分类特征向量；
抄袭风险诊断模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险；
风险提示模块，用于响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；以及
存证模块，用于响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
2.根据权利要求1所述的基于区块链的数字图像的存证系统，其中，所述局部特征提取模块，包括：
浅层特征提取单元，用于从所述第一卷积神经网络的第M层提取浅层特征图，其中，M大于等于4且小于等于6；
深层特征提取单元，用于从所述第一卷积神经网络的第N层提取深层特征图，其中，N/M大于等于10且小于等于15；以及
融合单元，用于融合所述浅层特征图和所述深层特征图以得到所述高维关联局部特征图。
3.根据权利要求2所述的基于区块链的数字图像的存证系统，其中，所述全局特征提取模块，包括：
点卷积单元，用于将所述高维关联局部特征图分别输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；
第一融合单元，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；
归一化单元，用于将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；
第二融合单元，用于计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；
全局感知单元，用于将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局感知特征图；
通道数调整单元，用于将所述全局感知特征图通过所述非局部神经网络的第四点卷积层以得到通道调整全局感知特征图；以及
第三融合单元，用于计算所述通道调整全局感知特征图和所述高维关联局部特征图的按位置加权和以得到所述全局关联特征图。
4.根据权利要求3所述的基于区块链的数字图像的存证系统，其中，所述降维模块，进一步用于将所述高维关联局部特征图和所述全局关联特征图中各个特征矩阵按照行向量进行划分并将所得到的行向量进行排列以得到所述第一特征向量和所述第二特征向量。
5.根据权利要求4所述的基于区块链的数字图像的存证系统，其中，所述特征分布融合模块，包括：
向量差分单元，用于计算所述第一特征向量和所述第二特征向量之间的按位置差分以得到差分特征向量；
向量加和单元，用于计算所述第一特征向量和所述第二特征向量之间的按位置相加以得到加和特征向量；
对数运算单元，用于计算所述加和特征向量中各个位置的特征值的对数函数值以得到对数加和特征向量；
特征值计算单元，用于计算所述差分特征向量的一范数作为分层深度特性值；
关联矩阵单元，用于计算所述第一特征向量的转置向量与所述第二特征向量的向量乘积以得到全场景单应关联矩阵；
深度感知单元，用于计算所述全场景单应关联矩阵的Frobenius范数作为深度感知特征值；以及
对齐融合单元，用于以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值对所述对数加和特征向量进行处理以得到所述分类特征向量。
6.根据权利要求5所述的基于区块链的数字图像的存证系统，其中，所述对齐融合单元，进一步用于：以所述分层深度特性值作为加权系数且以所述深度感知特征值作为偏置值以如下公式对所述对数加和特征向量进行处理以得到所述分类特征向量；
其中，所述公式为：
Figure FDA0003722281270000031
其中V1表示所述第一特征向量，V2表示所述第二特征向量，V3表示所述分类特征向量，||·||1表示向量的一范数，且||·||F表示矩阵的Frobenius范数，
Figure FDA0003722281270000032
和
Figure FDA0003722281270000033
分别表示按位置减法和加法，且⊙表示按位置点乘。
7.根据权利要求6所述的基于区块链的数字图像的存证系统，其中，所述抄袭风险诊断模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述分类特征向量。
8.一种基于区块链的数字图像的存证系统的存证方法，其特征在于，包括：
获取待存证的服装设计版式的数字图像；
将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图；
将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图；
将所述高维关联局部特征图和所述全局关联特征图展开为特征向量以得到第一特征向量和第二特征向量；
融合所述第一特征向量和所述第二特征向量以得到分类特征向量；
将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待存证的服装设计版式是否存在抄袭风险；
响应于所述分类结果为待存证的服装设计版式存在抄袭风险，生成抄袭风险提示；以及
响应于所述分类结果为待存证的服装设计版式不存在抄袭风险，将所述待存证的服装设计版式的数字图像存储于区块链架构的存储区块中。
9.根据权利要求8所述的基于区块链的数字图像的存证系统的存证方法，其中，将所述待存证的服装设计版式的数字图像通过作为特征提取器的第一卷积神经网络以得到高维关联局部特征图，包括：
从所述第一卷积神经网络的第M层提取浅层特征图，其中，M大于等于4且小于等于6；
从所述第一卷积神经网络的第N层提取深层特征图，其中，N/M大于等于10且小于等于15；以及
融合所述浅层特征图和所述深层特征图以得到所述高维关联局部特征图。
10.根据权利要求9所述的基于区块链的数字图像的存证系统的存证方法，其中，将所述高维关联局部特征图通过非局部神经网络以得到全局关联特征图，包括：
将所述高维关联局部特征图分别输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；
计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；
将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；
计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；
将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局感知特征图；
将所述全局感知特征图通过所述非局部神经网络的第四点卷积层以得到通道调整全局感知特征图；以及
计算所述通道调整全局感知特征图和所述高维关联局部特征图的按位置加权和以得到所述全局关联特征图。
CN202210755296.2A 2022-06-30 2022-06-30 基于区块链的数字图像的存证系统及其存证方法 Active CN115375980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210755296.2A CN115375980B (zh) 2022-06-30 2022-06-30 基于区块链的数字图像的存证系统及其存证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210755296.2A CN115375980B (zh) 2022-06-30 2022-06-30 基于区块链的数字图像的存证系统及其存证方法

Publications (2)

Publication Number Publication Date
CN115375980A true CN115375980A (zh) 2022-11-22
CN115375980B CN115375980B (zh) 2023-05-09

Family

ID=84061195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210755296.2A Active CN115375980B (zh) 2022-06-30 2022-06-30 基于区块链的数字图像的存证系统及其存证方法

Country Status (1)

Country Link
CN (1) CN115375980B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115796173A (zh) * 2023-02-20 2023-03-14 杭银消费金融股份有限公司 针对监管报送需求的数据处理方法和系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255392A (zh) * 2018-09-30 2019-01-22 百度在线网络技术（北京）有限公司 基于非局部神经网络的视频分类方法、装置及设备
US20190156210A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Machine-Learning Models Based on Non-local Neural Networks
CN110298413A (zh) * 2019-07-08 2019-10-01 北京字节跳动网络技术有限公司 图像特征提取方法、装置、存储介质及电子设备
CN110930306A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于非局部感知的深度图超分辨率重建网络构建方法
WO2020113886A1 (zh) * 2018-12-07 2020-06-11 中国科学院自动化研究所 基于时空频域混合学习的行为特征提取方法、系统、装置
US20200234402A1 (en) * 2019-01-18 2020-07-23 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
US20200258241A1 (en) * 2019-02-13 2020-08-13 Adobe Inc. Representation learning using joint semantic vectors
WO2020244287A1 (zh) * 2019-06-03 2020-12-10 中国矿业大学 一种图像语义描述的生成方法
CN112084362A (zh) * 2020-08-07 2020-12-15 北京航空航天大学 一种基于层次化特征互补的图像哈希检索方法
CN113191953A (zh) * 2021-06-04 2021-07-30 山东财经大学 一种基于Transformer的人脸图像超分辨的方法
CN113255498A (zh) * 2021-05-17 2021-08-13 杭州西语科技有限公司 基于区块链技术的财务报销发票管理方法
WO2022021025A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 图像增强方法及装置
CN114648496A (zh) * 2022-03-02 2022-06-21 上海思歆康医疗技术有限公司 智慧医疗系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156210A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Machine-Learning Models Based on Non-local Neural Networks
CN109255392A (zh) * 2018-09-30 2019-01-22 百度在线网络技术（北京）有限公司 基于非局部神经网络的视频分类方法、装置及设备
WO2020113886A1 (zh) * 2018-12-07 2020-06-11 中国科学院自动化研究所 基于时空频域混合学习的行为特征提取方法、系统、装置
US20200234402A1 (en) * 2019-01-18 2020-07-23 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
US20200258241A1 (en) * 2019-02-13 2020-08-13 Adobe Inc. Representation learning using joint semantic vectors
WO2020244287A1 (zh) * 2019-06-03 2020-12-10 中国矿业大学 一种图像语义描述的生成方法
CN110298413A (zh) * 2019-07-08 2019-10-01 北京字节跳动网络技术有限公司 图像特征提取方法、装置、存储介质及电子设备
CN110930306A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于非局部感知的深度图超分辨率重建网络构建方法
WO2022021025A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 图像增强方法及装置
CN112084362A (zh) * 2020-08-07 2020-12-15 北京航空航天大学 一种基于层次化特征互补的图像哈希检索方法
CN113255498A (zh) * 2021-05-17 2021-08-13 杭州西语科技有限公司 基于区块链技术的财务报销发票管理方法
CN113191953A (zh) * 2021-06-04 2021-07-30 山东财经大学 一种基于Transformer的人脸图像超分辨的方法
CN114648496A (zh) * 2022-03-02 2022-06-21 上海思歆康医疗技术有限公司 智慧医疗系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115796173A (zh) * 2023-02-20 2023-03-14 杭银消费金融股份有限公司 针对监管报送需求的数据处理方法和系统

Also Published As

Publication number Publication date
CN115375980B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Song et al. Single image dehazing using ranking convolutional neural network
Tariq et al. Gan is a friend or foe? a framework to detect various fake face images
Pan et al. Exposing image forgery with blind noise estimation
JP5418991B2 (ja) 個人認証システム、個人認証方法
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
CN112926506B (zh) 一种基于卷积神经网络的非受控人脸检测方法及系统
WO2018149302A1 (zh) 车辆的识别方法及装置
Kadam et al. [Retracted] Efficient Approach towards Detection and Identification of Copy Move and Image Splicing Forgeries Using Mask R‐CNN with MobileNet V1
Saboia et al. Eye specular highlights telltales for digital forensics: A machine learning approach
CN111428557A (zh) 基于神经网络模型的手写签名的自动校验的方法和装置
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN113762326A (zh) 一种数据识别方法、装置、设备及可读存储介质
Shelke et al. Multiple forgery detection and localization technique for digital video using PCT and NBAP
Abaci et al. Matching caricatures to photographs
CN115375980B (zh) 基于区块链的数字图像的存证系统及其存证方法
Parveen et al. Classification and evaluation of digital forensic tools
Mathews et al. An explainable deepfake detection framework on a novel unconstrained dataset
Athanasiadou et al. Camera recognition with deep learning
CN112041847A (zh) 提供具有隐私标签的图像
Lin et al. Domain adaptation in steganalysis for the spatial domain
CN112101479B (zh) 一种发型识别方法及装置
CN115878882A (zh) 用户兴趣的分层表示学习
Tan et al. The impact of data correlation on identification of computer-generated face images
KR101608248B1 (ko) 사진을 분류하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant