CN116383470B - 一种具有隐私保护的图像搜索方法 - Google Patents

一种具有隐私保护的图像搜索方法 Download PDF

Info

Publication number
CN116383470B
CN116383470B CN202310610748.2A CN202310610748A CN116383470B CN 116383470 B CN116383470 B CN 116383470B CN 202310610748 A CN202310610748 A CN 202310610748A CN 116383470 B CN116383470 B CN 116383470B
Authority
CN
China
Prior art keywords
image
picture
features
steps
searching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310610748.2A
Other languages
English (en)
Other versions
CN116383470A (zh
Inventor
宋智军
冯姝慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinzhiyuan Nanjing Technology Information Co ltd
Original Assignee
Xinzhiyuan Nanjing Technology Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinzhiyuan Nanjing Technology Information Co ltd filed Critical Xinzhiyuan Nanjing Technology Information Co ltd
Priority to CN202310610748.2A priority Critical patent/CN116383470B/zh
Publication of CN116383470A publication Critical patent/CN116383470A/zh
Application granted granted Critical
Publication of CN116383470B publication Critical patent/CN116383470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0631—Substitution permutation network [SPN], i.e. cipher composed of a number of stages or rounds each involving linear and nonlinear transformations, e.g. AES algorithms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种具有隐私保护的图像搜索方法，图像搜索领域，一种具有隐私保护的图像搜索方法，该方案采用局部敏感哈希、Transformer，混淆函数及AES算法相结合的方法达到此目的，特别地，设计了一种混淆函数对图像特征进行混淆，采用“一次一混”的方法隐藏图像特征，并给予了证明，用Transformer进行特征提取，之后用局部敏感哈希方法对图像特征进行哈希编码，当计算图像的哈希编码后，可以直接通过本发明设计的混淆函数进一步隐藏特征，然后将隐藏特征与加密后的图像捆绑，一方面可以采用混淆特征进行快速匹配，当匹配成功后，可以根据相似度进行排序，然后返回排序后的加密图像，在用户端进行解密还原得到明文图像。

Description

一种具有隐私保护的图像搜索方法
技术领域
本发明属于人工智能在图像处理上的应用领域，更具体地说，涉及一种具有隐私保护的图像搜索方法。
背景技术
人们在享受图像搜索便利时，也带来了个人隐私泄露的隐患。如何既能保证实现便利搜索，同时又能保护用户的隐私成为研究热点。云服务器的不可信，当图像以明文形式存储在云服务器上时，很可能会导致图像的泄露，因此，图像的拥有者希望对图像加密，再将加密图像上传至云服务器。但是，以往的图像明文检索方案在加密的环境中将失效。同时，用户在检索时倾向高效获取检索结果，然而伴随着用户数与数据量的爆炸增长，云服务器可能会成为瓶颈，延长用户等待的时长，这将导致用户的搜索体验极差。鉴于此，如何在海量的图像密文中准确快速地获得自己所要的检索结果成为图像密文环境下个性化搜索技术的研究高地，为了在密文环境下检索信息，可搜索加密技术应运而生；
现有的密文搜索方案依据采用的加密算法分为基于对称秘钥的密文搜索（SSE,Searchable Symmetric Encryption）方案和基于非对称秘钥的密文搜索（PEKS,PublicEncryption Keyword Search）方案。(1)SSE方案依据构建策略，SSE方案分为基于顺序扫描的方案和基于安全索引的方案，其中，后者分为基于正向索引和基于反向索引构建的方案，基于顺序扫描的SSE方案把明文划分为“单词”并对其加密，之后当用户提交搜索要求时，通过对整个密文文件顺序扫描，匹配密文单词和待检索的关键字，返回包含关键字的密文文件。优势在于支持对文件中的任意单词的检索，劣势在于搜索时需要服务器遍历整个文件，故效率极低，也使其无法应用在实际场景中，且该方案无法抵抗对密文的频率分析攻击。另一种基于安全正向索引的SSE方案，搜索时由服务器对每个文件的安全索引进行关键字搜索。优点在于，相比前一种方案能以较高效率支持用户的关键字搜索。然而由于构建索引所使用的BloomFilter本身存在正向误检概率，使搜索结果准确率降低，可能消耗用户更多的计算和带宽开销。(2)PEKS方案。主要基于双线性对给出了几种构造方案。同时给出了基于身份匿名方案构造PEKS的流程。然而与SSE方案一样主要问题就是搜索效率较低，其本质原因是数据特征维度较高和加密算法的耗时较多，本发明针对这些问题结合目前先进的深度学习技术加以解决；图像搜索本质是图像匹配，也称为图像配准，旨在从多幅图像中识别出相同或相似的结构或内容。该技术可用于图像拼接，图像融合，目标识别和跟踪等，是计算机视觉、模式识别、图像分析等各领域的基础和关键所在。
图像匹配一般由两部分组成，即匹配特征的性质和匹配策略，分别表示用什么来匹配和如何匹配。最终目标是将感测图像几何变形到参考图像的公共空间坐标系中，并将它们的公共区域像素到像素对齐（即图像配准）。为此，一种直接策略，也称为基于区域的方法，通过在预定义大小的滑动窗口甚至整个图像中使用原始图像像素强度或像素域变换后的信息的相似性度量来配准两幅图像。
另一种是基于特征的方法，即特征检测和描述、特征匹配、变换模型估计、图像重采样和变换。特征检测可以从图像中提取出独特的结构，特征描述可以看作是一种图像表示方法，广泛应用于图像编码和相似度度量，如图像分类和检索。
此外，由于其强大的深度特征获取和非线性表达能力，将深度学习技术应用于图像信息表示和相似度度量，以及图像对变换的参数回归等，是当今图像匹配界的热门话题。与传统方法相比，已被证明可以实现更好的匹配性能并具有更大的潜力。
在现实世界的环境中，用于匹配的图像通常取自相同或相似的场景对象，同时从不同的时间、不同的视点成像模式捕获。虽然近年来研究者提出了一些方法，但就考虑如下几个因素，仍有局限，开发一个标准框架仍是一项比较困难的任务：
基于区域直接匹配图像的方法通常依靠合适的图像子块的相似性度量来在像素级配准图像。这种方法复杂度高、计算量大，而且对图像失真、噪声等引起的形状变化等敏感，这会造成对度量相似性和图像检索带来不好的影响。故这些方法通常只适用于微小的缩放、局部变形情况下较好地工作。
另一种常见方法是基于特征的匹配，该方法通常能更好的匹配，特别是对有几何变形的图像更有效。但这种方法一般需设计显著特征描述子、估计几何模型等，这也较困难。一方面，在依赖特征的图像匹配中，很难定义和提取现实世界中三维空间中属于相同位置的高百分比和大量特征以确保匹配性。另一方面，将m个特征点与在另一幅图像中检测到的m个特征点进行匹配的算法复杂度是阶乘级的，并且通常从高分辨率图像中提取数千个特征，点集中包含大量的噪声，这给目前的匹配方法带来了很大的挑战。
通过预定义的变换模型来寻找两个图像或点集之间的几何关系也是图像匹配的一类方。但因为各种数据的差异，事先未知，准确建模也并非易事。
深度学习的出现为解决图像匹配问题提供了一种新的途径。但仍有一些问题有待解决。当在复杂和变形较为严重的立体图像配准时，从图像数据中训练以便在直接匹配或变换模型估计的选择将受到影响。例如，基于卷积神经网络（CNN）在稀疏点数据以进行匹配、配准和转换模型估计也是一项挑战，因为有些待匹配的点，尤其是那些分散且无序的被称为非结构化或非欧几里德数据点，使得使用CNN技术很难提取多点间的空间拓扑关系。
目前对加密图像匹配的研究还较少，针对上述各种方法对于图像匹配的缺点，及当前对隐私保护迫切需求，本发明采用Transformer，局部敏感哈希，混淆函数，AES相结合实现加密图像的快速精准匹配。
发明内容
1．要解决的技术问题
针对现有技术中存在的问题，本发明的目的在于提供一种具有隐私保护的图像搜索方法，它可以实现，一种具有隐私保护的图像搜索方法，局部敏感哈希的基本思路：在数据集的特定空间中，对于互为邻居的点或者说距离相近的点，用哈希函数构造出哈希值使得这些点在另一个空间中获得相同的哈希值。实验表明，与其它算法比较，局部敏感哈希算法在减少空间存储和加速查询速率方面具有明显优势；Transformer将图像划分为固定大小的图像子区域，使用线性投影将图像子区域投影到固定维度，得到一系列Tokens，将这些Tokens序列作为特征的输入，从而实现对图像的新颖分割。
2．技术方案
为解决上述问题，本发明采用如下的技术方案。
1．一种具有隐私保护的图像搜索方法，其特征在于，包括以下几个步骤：
S1：图片持有者上传原图片，通过电脑持有者将图片源上传到网络上；
S2：原图片处理，对上传的原始图片进行处理达到隐藏信息的效果，所述原图片处理方法包括以下几个步骤：
S21：图像预处理，去除噪音，图像增强并归一化，同时对预处理后的图片进行AES加密原图像；
S22：抽取图像特征，预处理后对处理后的图片通过Transformer编码器抽取图像特征；
S23：获得索引特征，图片特征抽取后通过局部敏感哈希函数对S22中结果进一步获得索引特征；
S24：进行混淆，用混淆矩阵对S23中结果进行混淆；
S3：形成处理图片库，对加密后的图片上传到服务器当中进行存储形成加密后的图片库；
S4：搜索图片，当需要进行图片搜索时，通过网络输入信息对需要的图片进行搜索提取，所述搜索图片方法包括以下几个步骤：
S41：搜索特征信息，输入待搜索图像，混淆矩阵，AES的密钥；
S42：抽取图像特征，用Transformer编码器抽取待搜索图像特征；
S43：特征编码，用局部敏感哈希函数对S42的结果进一步编码；
S44：混淆矩阵运算，对S43的结果用逆混淆矩阵与做相乘运算；
S45：对比运算，利用S44的结果与加密图像库中所有的图像混淆特征做相乘运算，得到度量值按照升序排序的前n个结果；
S46：AES密钥解密，对S45的结果用AES密钥进行解密得到相似度较高的n个明文图像；
S5：得到处理后的图片，搜索后得到相应的已经隐藏信息的图片；
所述S22抽取图像特征的方法是通过Transformer抽取图像特征；
Transformer抽取图像特征包括以下步骤：
首先将以及预处理后的图像首次计算成码；然后对编码信息加快信息传递；最后将形成的编码进行分类。
所述计算成码的步骤包括：
首先进行转化量，在Transformer编码器内设的在自我注意力层中，输入向量首先被转化为3个不同的向量；在自我注意力层，输入向量首先被转化为三个不同的向量：关键向量k，查询向量q，和维度为的值向量v，然后将来自不同输入的向量打包在一起形成三个不同的矩阵，即Q、K和V；
所述不同输入向量之间的注意力函数计算步骤包括：
C1：计算不同输入向量的数：；
C2：计算归一化梯度稳定性的分数：；
C3：将转化为概率：Softmax函数/>；
C4：获得矩阵的权重：；
并将C1、C2、C3和C4统一为一个函数：；
所述S23获得索引特征的方法是局部敏感哈希算法编码；
局部敏感哈希算法编码的方法包括以下步骤：
首先满足以下两个条件：假设点和点/>在/>维的数据集/>中，一个哈希函数是（/>敏感的，如果它满足如下2个条件：
如果那么/>；如果/>那么，其中；
其中，表示一个维度为m的实数构造的空间，k是一个近似比值，/>和/>表示概率，且要求/>且/>。
所述去除噪音，图像增强并归一化的方法是使用高斯拉普拉斯滤波器；
高斯拉普拉斯滤波器处理过程包含两步：
首先，通过高斯滤波器平滑图像；
然后用拉普拉斯滤波器找到图像边缘，假设（c,d）是图像像素的空间坐标，是高斯滤波器的核大小；用高斯拉普拉斯滤波器用2个核值实现，（/>和/>），。
进一步的，所述进行AES加密原图像的方法包括：
先分组，将原始图片的区块长度按固定为128位元进行分组加密，密钥长度为128位元；
然后循环计算，加密过程是在一个4×4的字节矩阵上计算，它的初始值是一个明文区块，加密过程中，除最后一轮外，各轮AES循环加密。
进一步的，所述循环计算的方法包括以下四步：
B1：先做异或运算，矩阵中的每一个字节都与该次回合密钥做异或运算；每个子密钥由密钥生成方案计算得到；
B2：再替换字节，采用一个非线性的替换函数，用查表的方法将每个字节替换为相应的字节；
B3：然后循环移位，把矩阵中的每个横列进行循环移位；
B4：最后进行线性转换混合，使用线性转换来混合每内关联的四个字节；最后一个加密循环中省略第B4个步骤，而以另一个B1步骤取代。
进一步的，所述加快信息传递的方法是：
在每个子层中添加了一个残差连接编码器和解码器，这些的输出操作描述为：。
进一步的，所述编码进行分类的方法包括：
解码器中的最后一层，使用解码器中的最后一层将向量堆变回一个词，这是通过一个线性层后跟softmax层，用于分类。
3．有益效果
相比于现有技术，本发明的优点在于：
（1）、本方案因此，局部敏感哈希算法可以概率方式快速计算近似最近邻的査询结果，从而确保查询准确率以及时空效率。
（2）、本方案Transformer是一种语意分割，这种分割方式因为没有采用下采样，故没有降低图像分辨率，同时完成对全局信息建模。
（3）、本方案预处理是对原始图像进行一系列变换，用于改善图像质量。降噪和增强对比度是本发明的预处理主要步骤，目标是提高图像清晰度和保真度，通过强调图像结构并减少图像噪声。
附图说明
图1为本发明整体方法步骤示意图；
图2为本发明原图片处理方法步骤示意图；
图3为本发明图像预处理方法步骤示意图；
图4为本发明AES加密原图像方法步骤示意图；
图5为本发明循环计算方法步骤示意图；
图6为本发明搜索图片方法步骤示意图；
图7为本发明抽取图像特征方法步骤示意图；
图8为本发明获得索引特征方法步骤示意图；
图9为本发明Transformer架构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图1-9，一种具有隐私保护的图像搜索方法，包括S1：图片持有者上传原图片，通过电脑持有者将图片源上传到网络上；
S2：原图片处理，对上传的原始图片进行处理达到隐藏信息的效果，原图片处理方法包括以下几个步骤：
S21：图像预处理，去除噪音，图像增强并归一化，同时对预处理后的图片进行AES加密原图像；
S22：抽取图像特征，预处理后对处理后的图片通过Transformer编码器抽取图像特征；
S23：获得索引特征，图片特征抽取后通过局部敏感哈希函数对S22中结果进一步获得索引特征；
S24：进行混淆，用混淆矩阵对S23中结果进行混淆；
S3：形成处理图片库，对加密后的图片上传到服务器当中进行存储形成加密后的图片库；
S4：搜索图片，当需要进行图片搜索时，通过网络输入信息对需要的图片进行搜索提取，搜索图片方法包括以下几个步骤：
S41：搜索特征信息，输入待搜索图像，混淆矩阵，AES的密钥；
S42：抽取图像特征，用Transformer编码器抽取待搜索图像特征；
S43：特征编码，用局部敏感哈希函数对S42的结果进一步编码；
S44：混淆矩阵运算，对S43的结果用逆混淆矩阵与做相乘运算；
S45：对比运算，利用S44的结果与加密图像库中所有的图像混淆特征做相乘运算，得到度量值按照升序排序的前n个结果；
S46：AES密钥解密，对S45的结果用AES密钥进行解密得到相似度较高的n个明文图像；
S5：得到处理后的图片，搜索后得到相应的已经隐藏信息的图片；去除噪音，图像增强并归一化的方法是使用高斯拉普拉斯滤波器GLF；高斯拉普拉斯滤波器GLF处理过程包含两步：首先，通过高斯滤波器平滑图像，然后用拉普拉斯滤波器找到图像边缘，假设（c,d）是图像像素的空间坐标，是高斯滤波器的核大小；本发明用高斯拉普拉斯滤波器用2个核值实现之/>和/>。
请参阅图4，进行AES加密原图像的方法包括：
先分组，将原始图片的区块长度按固定为128位元进行分组加密，密钥长度为128位元；
然后循环计算，加密过程是在一个4×4的字节矩阵上计算，它的初始值是一个明文区块，加密过程中，除最后一轮外，各轮AES循环加密。
请参阅图5，循环计算的方法包括以下四步：
B1：先做异或运算，矩阵中的每一个字节都与该次回合密钥做异或运算；每个子密钥由密钥生成方案计算得到；
B2：再替换字节，采用一个非线性的替换函数，用查表的方法将每个字节替换为相应的字节；
B3：然后循环移位，把矩阵中的每个横列进行循环移位；
B4：最后进行线性转换混合，为了充分混合矩阵中各个行的运算。这个步骤使用线性转换来混合每内关联的四个字节；最后一个加密循环中省略第B4个步骤，而以另一个B1步骤取代。
请参阅图7，S22抽取图像特征的方法是通过Transformer抽取图像特征；Transformer抽取图像特征包括以下步骤：首先将以及预处理后的图像首次计算成码；然后对编码信息加快信息传递；最后将形成的编码进行分类。
请参阅图8，计算成码的步骤包括：
首先进行转化量，在Transformer编码器内设的在自我注意力层中，输入向量首先被转化为3个不同的向量；在自我注意力层，输入向量首先被转化为三个不同的向量：关键向量k，查询向量q，和维度为的值向量v，然后将来自不同输入的向量打包在一起形成三个不同的矩阵，即Q、K和V；不同输入向量之间的注意力函数计算步骤包括：
C1：用计算不同输入向量的数；
C2：用归一化梯度稳定性的分数；
C3：用Softmax函数将上述分数转化为概率；
C4：用获得矩阵的权重；
这一过程可以统一为一个函数：；
C1计算每对不同向量之间的分数，这些分数决定了我们在对当前位置的图像块进行编码时给予其他图像块的关注程度；C2对分数进行归一化以增强梯度稳定性以改进训练，C3将分数转化为概率；最后C4，每个值向量乘以概率之和。
请参阅图7，加快信息传递的方法是：
在每个子层中添加了一个残差连接编码器和解码器，这加强了信息流以获得更高的性能，这些的输出操作可以描述为：
；
这里被用作自我注意力层的输入，X表示输入向量查询，键和值矩阵/>、/>和/>均来自相同的输入矩阵/>；编码进行分类的方法包括：使用解码器中的最后一层将向量堆变回一个词，这是通过一个线性层后跟softmax层，用于分类。
请参阅图8，S23获得索引特征的方法是局部敏感哈希算法编码；
局部敏感哈希算法编码的方法包括以下步骤：
首选需要满足以下两个条件：假设点，和点/>在/>维的数据集/>中，我们说一个哈希函数/>是（/>敏感的，如果它满足如下2个条件：
如果那么/>；如果/>那么；
这里，是一个近似比值，/>和/>表示概率。为了让这个定义合理，要求/>且，这个定义指出如果两个点/>和/>彼此很近，则用哈希函数投影到同一个桶中的概率非常高；反之，如果这两个点距离彼此较远，则它们以很低的概率投影到一个桶中。本发明采用角度度量定义哈希函数，该函数定义为/>，这里sign是一个符号函数，/>是一个来自标准正态分布的随机向量。这样，对于点/>和/>，它们之间的夹角为/>，则它们具有相同哈希值的概率为/>；
最后选择随机选取超平面，在满足条件之后，选择一个随机超平面相当于为每个维度选择一个正态分布的随机变量，从而获得大量的0或1随机位，进而编为哈希编码。
具体的，为了防止图像特征泄漏给服务器，本发明引入混淆函数.离散数值状态下相当于引入一个可逆的（混淆矩阵Q和三个随机数/>，/>，/>对图像特征做隐藏处理。换句话说，图像特征并不上传服务器，而是上传前先用混淆矩阵与其计算，之后将计算结果上传服务器。具体地，我们上传/>到服务器，这里。当搜索时，考虑用；作为度量图像特征/>和/>的相似度，而这种度量可以等价转化为计算/>。接下来，我们分析方法的正确性；定理给定两幅图像的特征/>和/>及可逆的随机矩阵/>和随机数/>和/>。设和，可以用/>作为/>和/>的度量；证明：因此，因为/>是一个常数，所以/>可以作为/>和/>的度量，一方面实现了图像相似度的度量，另一方面保护了图像的隐私。
以上，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (5)

1.一种具有隐私保护的图像搜索方法，其特征在于，包括以下几个步骤：
S1：图片持有者上传原图片，通过电脑持有者将图片源上传到网络上；
S2：原图片处理，对上传的原始图片进行处理达到隐藏信息的效果，所述原图片处理方法包括以下几个步骤：
S21：图像预处理，去除噪音，图像增强并归一化，同时对预处理后的图片进行AES加密原图像；
S22：抽取图像特征，预处理后对处理后的图片通过Transformer编码器抽取图像特征；
S23：获得索引特征，图片特征抽取后通过局部敏感哈希函数对S22中结果进一步获得索引特征；
S24：进行混淆，用混淆矩阵对S23中结果进行混淆；
S3：形成处理图片库，对加密后的图片上传到服务器当中进行存储形成加密后的图片库；
S4：搜索图片，当需要进行图片搜索时，通过网络输入信息对需要的图片进行搜索提取，所述搜索图片方法包括以下几个步骤：
S41：搜索特征信息，输入待搜索图像，混淆矩阵，AES的密钥；
S42：抽取图像特征，用Transformer编码器抽取待搜索图像特征；
S43：特征编码，用局部敏感哈希函数对S42的结果进一步编码；
S44：混淆矩阵运算，对S43的结果用逆混淆矩阵与做相乘运算；
S45：对比运算，利用S44的结果与加密图像库中所有的图像混淆特征做相乘运算，得到度量值按照升序排序的前n个结果；
S46：AES密钥解密，对S45的结果用AES密钥进行解密得到相似度较高的n个明文图像；
S5：得到处理后的图片，搜索后得到相应的已经隐藏信息的图片；
所述S22抽取图像特征的方法是通过Transformer抽取图像特征；
Transformer抽取图像特征包括以下步骤：
首先将以及预处理后的图像首次计算成码；然后对编码信息加快信息传递；最后将形成的编码进行分类；
所述计算成码的步骤包括：
首先进行转化量，在Transformer编码器内设的在自我注意力层中，输入向量首先被转化为3个不同的向量；在自我注意力层，输入向量首先被转化为三个不同的向量：关键向量k，查询向量q，和维度为的值向量v，然后将来自不同输入的向量打包在一起形成三个不同的矩阵，即Q、K和V；
所述不同输入向量之间的注意力函数计算步骤包括：
C1：计算不同输入向量的数：；
C2：计算归一化梯度稳定性的分数：；
C3：将转化为概率：Softmax函数/>；
C4：获得矩阵的权重：；
并将C1、C2、C3和C4统一为一个函数：；
所述S23获得索引特征的方法是局部敏感哈希算法编码；
局部敏感哈希算法编码的方法包括以下步骤：
首先满足以下两个条件：假设点和点/>在/>维的数据集/>中，哈希函数F对输入的R，kR，p1，p2值的微小变化，都会导致哈希值发生巨大变化，如果它满足如下2个条件：
如果那么/>；如果/>那么；
其中，表示一个维度为m的实数构造的空间，k是一个近似比值，/>和/>表示概率，且要求/>且/>；
所述去除噪音，图像增强并归一化的方法是使用高斯拉普拉斯滤波器；
高斯拉普拉斯滤波器处理过程包含两步：
首先，通过高斯滤波器平滑图像；
然后用拉普拉斯滤波器找到图像边缘，假设（c,d）是图像像素的空间坐标，是高斯滤波器的核大小；用高斯拉普拉斯滤波器用2个核值实现，/>和/>，。
2.根据权利要求1所述的一种具有隐私保护的图像搜索方法，其特征在于，所述进行AES加密原图像的方法包括：
先分组，将原始图片的区块长度按固定为128位元进行分组加密，密钥长度为128位元；
然后循环计算，加密过程是在一个4×4的字节矩阵上计算，它的初始值是一个明文区块，加密过程中，除最后一轮外，各轮AES循环加密。
3.根据权利要求2所述的一种具有隐私保护的图像搜索方法，其特征在于，所述循环计算的方法包括以下四步：
B1：先做异或运算，矩阵中的每一个字节都与该次回合密钥做异或运算；每个子密钥由密钥生成方案计算得到；
B2：再替换字节，采用一个非线性的替换函数，用查表的方法将每个字节替换为相应的字节；
B3：然后循环移位，把矩阵中的每个横列进行循环移位；
B4：最后进行线性转换混合，使用线性转换来混合每内关联的四个字节；最后一个加密循环中省略第B4个步骤，而以另一个B1步骤取代。
4.根据权利要求1所述的一种具有隐私保护的图像搜索方法，其特征在于，所述加快信息传递的方法是：
在每个子层中添加了一个残差连接编码器和解码器，这些的输出操作描述为：。
5.根据权利要求1所述的一种具有隐私保护的图像搜索方法，其特征在于，所述编码进行分类的方法包括：
解码器中的最后一层，使用解码器中的最后一层将向量堆变回一个词，这是通过一个线性层后跟softmax层，用于分类。
CN202310610748.2A 2023-05-29 2023-05-29 一种具有隐私保护的图像搜索方法 Active CN116383470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310610748.2A CN116383470B (zh) 2023-05-29 2023-05-29 一种具有隐私保护的图像搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310610748.2A CN116383470B (zh) 2023-05-29 2023-05-29 一种具有隐私保护的图像搜索方法

Publications (2)

Publication Number Publication Date
CN116383470A CN116383470A (zh) 2023-07-04
CN116383470B true CN116383470B (zh) 2023-08-29

Family

ID=86979021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310610748.2A Active CN116383470B (zh) 2023-05-29 2023-05-29 一种具有隐私保护的图像搜索方法

Country Status (1)

Country Link
CN (1) CN116383470B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825259B (zh) * 2023-08-31 2023-11-07 四川省医学科学院·四川省人民医院 一种基于物联网的医疗数据管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480163A (zh) * 2017-06-19 2017-12-15 西安电子科技大学 一种云环境下支持隐私保护的高效密文图像检索方法
CN114580371A (zh) * 2022-02-22 2022-06-03 中国人民解放军战略支援部队信息工程大学 基于自然语言处理的程序语义混淆方法及系统
CN116128846A (zh) * 2023-02-01 2023-05-16 南通大学 一种面向肺部X-ray图像检索的视觉Transformer哈希方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480163A (zh) * 2017-06-19 2017-12-15 西安电子科技大学 一种云环境下支持隐私保护的高效密文图像检索方法
CN114580371A (zh) * 2022-02-22 2022-06-03 中国人民解放军战略支援部队信息工程大学 基于自然语言处理的程序语义混淆方法及系统
CN116128846A (zh) * 2023-02-01 2023-05-16 南通大学 一种面向肺部X-ray图像检索的视觉Transformer哈希方法

Also Published As

Publication number Publication date
CN116383470A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Jia et al. A semisupervised Siamese network for hyperspectral image classification
Bi et al. Fast copy-move forgery detection using local bidirectional coherency error refinement
Younus et al. Video steganography using knight tour algorithm and LSB method for encrypted data
CN103336957B (zh) 一种基于时空特征的网络同源视频检测方法
Wang et al. Resolution-aware network for image super-resolution
Devaraj et al. An efficient framework for secure image archival and retrieval system using multiple secret share creation scheme
CN104008174A (zh) 一种海量图像检索的隐私保护索引生成方法
Liu et al. A robust coverless steganography scheme using camouflage image
CN110659379A (zh) 一种基于深度卷积网络特征的可搜索加密图像检索方法
CN116383470B (zh) 一种具有隐私保护的图像搜索方法
Naik et al. Video classification using 3D convolutional neural network
Li et al. Dictionary optimization and constraint neighbor embedding-based dictionary mapping for superdimension reconstruction of porous media
Liu et al. Overview of image inpainting and forensic technology
Lin et al. Multi-motion segmentation via co-attention-induced heterogeneous model fitting
CN111324766A (zh) 一种基于lbp特征的加密图像检索方法
Zhang et al. Morphganformer: Transformer-based face morphing and de-morphing
Chai et al. CSENMT: A deep image compressed sensing encryption network via multi-color space and texture feature
Zheng et al. Template‐Aware Transformer for Person Reidentification
Zhou et al. Residual visualization-guided explainable copy-relationship learning for image copy detection in social networks
Ali et al. A meta-heuristic method for reassemble bifragmented intertwined JPEG image files in digital forensic investigation
Han Texture Image Compression Algorithm Based on Self‐Organizing Neural Network
Sheng et al. Detection of content-aware image resizing based on Benford’s law
Cao et al. Stable image matching for 3D reconstruction in outdoor
Ernawati et al. Image Splicing Forgery Approachs: A Review and Future Direction
Wang [Retracted] Feature Extraction and Identification of Calligraphy Style Based on Dual Channel Convolution Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant