CN116975797B - 一种针对ocr提取攻击的文本内容保护方法 - Google Patents
一种针对ocr提取攻击的文本内容保护方法 Download PDFInfo
- Publication number
- CN116975797B CN116975797B CN202311237309.8A CN202311237309A CN116975797B CN 116975797 B CN116975797 B CN 116975797B CN 202311237309 A CN202311237309 A CN 202311237309A CN 116975797 B CN116975797 B CN 116975797B
- Authority
- CN
- China
- Prior art keywords
- text
- loss
- shading
- disturbance
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000000605 extraction Methods 0.000 title claims abstract description 21
- 230000000295 complement effect Effects 0.000 claims abstract description 20
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 238000006467 substitution reaction Methods 0.000 claims description 7
- 230000004393 visual impairment Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 201000004569 Blindness Diseases 0.000 claims description 4
- 101000935117 Homo sapiens Voltage-dependent P/Q-type calcium channel subunit alpha-1A Proteins 0.000 claims description 4
- 208000036758 Postinfectious cerebellitis Diseases 0.000 claims description 4
- 102100025330 Voltage-dependent P/Q-type calcium channel subunit alpha-1A Human genes 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 108091006146 Channels Proteins 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013475 authorization Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012015 optical character recognition Methods 0.000 description 24
- 230000000007 visual effect Effects 0.000 description 17
- 230000004927 fusion Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 235000000332 black box Nutrition 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002864 sequence alignment Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Technology Law (AREA)
- Biomedical Technology (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Character Input (AREA)
Abstract
本发明公开了一种针对OCR提取攻击的文本内容保护方法，首先根据用户的偏好选择一种底纹类型作为初始化底纹，并对初始化底纹进行设定的预处理操作；将初始化底纹送入条件生成器以产生对抗性扰动，使所述初始化底纹分别加上和减去对抗性扰动，得到互补的两帧对抗性底纹；再将互补的两帧对抗性底纹添加到待保护的文本内容上，得到受保护的文本图像的互补帧，该互补帧能误导代理模型对文本的识别。上述方法能够有效防止利用OCR技术对数字文本内容进行未经授权地提取、复制和再分发，从而有助于提高受版权保护的电子文档在使用中的安全性。
Description
技术领域
本发明涉及数字文本版权保护技术领域，尤其涉及一种针对OCR提取攻击的文本内容保护方法。
背景技术
随着网络技术的发展和智能便携设备（如笔记本电脑、平板电脑和手机等）的普及，使得在线访问和阅读数字文本内容变得十分容易。然而这种便捷式访问也带来了潜在的版权保护问题，如对受版权保护的文本进行任意复制、操纵和再分发。现有的文本保护方法通常采用访问限制技术或Unicode编码技术来防止这种未经授权的复制，使复制的文本与原始文本明显不同，但在光学字符识别(OCR)技术的辅助下，攻击者还是可以很容易地绕过些保护方法的限制。
现有技术已经有一些针对于文本识别模型的对抗攻击方法，用来防止文本内容被OCR任意提取。例如基于水印方法FAWA，将对抗性扰动隐藏到水印中，但其有几个明显的不足，首先该方法对每个文本图像产生特定的扰动，这很难有效地应用于大规模文档；其次，为了保持良好的视觉质量，很难在水印内添加更多的扰动；第三，该方法的白盒（white-box）设定很难满足于未知模型和强大的商业服务等黑盒设定，无法应用于真实的文档保护场景。现有技术中还有另一种黑盒（black-box）方法，但该方法在很大程度上基于模型预测或置信度分数的先验知识，无法适用于只提供输出序列标签的严格黑盒场景。
发明内容
本发明的目的是提供一种针对OCR提取攻击的文本内容保护方法，该方法能够有效防止利用OCR技术对数字文本内容进行未经授权地提取、复制和再分发，从而有助于提高受版权保护的电子文档在使用中的安全性。
本发明的目的是通过以下技术方案实现的：
一种针对OCR提取攻击的文本内容保护方法，其特征在于，所述方法包括：
步骤1、首先根据用户的偏好选择一种底纹类型作为初始化底纹，并对初始化底纹/>进行设定的预处理操作；
步骤2、将预处理后的初始化底纹送入条件生成对抗网络中的生成器G以产生对抗性扰动/>，然后使所述初始化底纹/>分别加上和减去对抗性扰动/>，得到互补的两帧对抗性底纹/>；
步骤3、再将互补的两帧对抗性底纹添加到待保护的文本内容x上，得到受保护的文本图像的互补帧/>，该互补帧/>能误导代理模型对文本的识别。
由上述本发明提供的技术方案可以看出，上述方法能够有效防止利用OCR技术对数字文本内容进行未经授权地提取、复制和再分发，从而有助于提高受版权保护的电子文档在使用中的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的针对OCR提取攻击的文本内容保护方法流程示意图；
图2为本发明实施例所述OCR提取攻击过程以及本申请的实施过程示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示为本发明实施例提供的针对OCR提取攻击的文本内容保护方法流程示意图，所述方法包括：
步骤1、首先根据用户的偏好选择一种底纹类型作为初始化底纹，并对初始化底纹/>进行设定的预处理操作；
在该步骤中，对初始化底纹进行设定的预处理操作的过程为：
根据W3C的无障碍指南(WCAG)，文本和背景的视觉呈现需要至少具有4.5:1的对比度，以确保人眼的可读性，但在本申请方法中并不是越高的对比度越好，因为还需要为添加对抗性扰动提供保留空间，以构建两帧互补的对抗底纹，因此将底纹的预处理归为一个优化问题，使用底纹的亮度值Y(由RGB颜色空间推导得出)作为约束目标，即：
（1）
其中，R、G、B分别代表颜色空间的红色通道、绿色通道和蓝色通道；
针对初始化底纹，采用可访问感知对比度算法APCA来获取对比度，该算法是一种预测自发光显示器上文本和非文本内容对比度的新方法。一旦文字颜色确定，对底纹的预处理操作可表示为以下的优化过程：
（2）
其中，s.t.表示约束条件，表示对抗扰动的保留幅度，并使得底纹的亮度值限制在/>范围内；/>为文本的亮度值；/>为可访问感知对比度算法APCA，所获取的文字与背景的对比度要满足最小对比度阈值4.5。
步骤2、将预处理后的初始化底纹送入条件生成对抗网络中的生成器G以产生对抗性扰动/>，然后使所述初始化底纹/>分别加上和减去对抗性扰动/>，得到互补的两帧对抗性底纹/>；
具体实现中，在所述条件生成器G的优化过程中引入四个损失函数进行联合优化，具体为：
1）扰动损失Hinge Loss
为了使对抗扰动幅度的大小不超过设置阈值，对生成的扰动进行L2范数约束，并对其添加铰链（hinge）损失，最终的扰动损失表示为：
（3）
其中，c表示正则因子，是用户自定义的超参数；为取最大值操作，即取/>和0的最大值；
2）对抗损失Adversarial Loss
与分类任务不同，深度文本识别模型的输入通常使是文本长度可变的文本图像，通常被看作序列标注任务，给定一个文本图像x的输入序列l，深度文本识别模型会为每一个在输入序列l中的字符输出相应序列概率分布/>，其中；最后通过去掉输出字符序列中重复和空白的字符，得到最终的识别字符，一次完整文本字符序列预测需要计算输入序列l中所有有效对齐路径的概率，有效对齐路径的概率用如下公式（4）表示：
（4）
其中，x是输入文本图像；T是文本图像中文本序列的字符长度；t是文本序列中的字符；是有效路径/>中存在有效字符的概率；
由于连接时序分类损失CTC在深度神经网络被广泛用于处理输入图像和输出序列对齐的问题，故本申请采用连接时序分类损失CTC作为对抗损失函数的设计，并对公式（4）的有效对齐路径计算相应的负对数概率，表示为：
（5）
其中，表示连接时序分类损失CTC；/>表示输入序列l中所有可能的有效对齐集合；
为了确保这两帧互补的对抗文本图像都能使深度文本识别模型识别错误，选择经典文本识别模型STAR-Net作为替代模型M，通过最大化两帧对抗文本图像的CTC损失来改变其有效输出路径，进而使得深度文本识别模型做出错误决策，最终得到对抗损失表示为：
（6）
其中，表示替代模型M接收到两帧对抗文本图像；/>表示对应的识别后的字符输出序列；
3）视觉损失GAN Loss
为了使添加的对抗扰动不破坏原始文本图像的可读性，维持较好的视觉质量，引入鉴别网络作为反馈，用于约束生成的对抗文本图像和原始添加初始底纹的文本图像尽可能相似，视觉损失表示为：
（7）
其中，D表示鉴别器；x表示输入文本图像；表示替代模型M接收到两帧对抗文本图像；
4）引导损失Style-guided Loss
仅使用一个简单结构的生成器很难将底纹的对抗性迁移到其不同结构的文本识别模型，如基于注意力机制的深度文本识别模型，乃至其他商用OCR服务。直觉上，如果可以引导生成器G生成类似于文本样式的扰动，那么对抗性将能在不同的模型之间具有很好的迁移性，进而提供强大的保护能力。通过对现有文本识别模型的分析，发现人类视觉系统和文本识别模型对文本具有不同的敏感性，人眼将优先考虑前景文本信息，并自动将一些不影响阅读的背景内容进行过滤，而OCR模型通常采用二值化或其他处理操作设置阈值来区分文本和背景，这一现象促使本申请引入检测模型作为引导网络，迫使模型将生成的扰动识别为文本内容，本申请将这种类型的扰动其定义为“文本风格”的扰动。
基于分割的检测方法得益于像素级的处理，在场景文本检测领域具有很大的优越性，通常来说，对于给定的文本图像输入，检测模型中的特征金字塔骨干网络会预测出一个概率图，用于计算每个像素是否为文本的概率，选择预测效果较好的一个经典检测模型DBNet++作为引导网络，本申请抛弃了模型的后处理部分，只用特征金字塔骨干网络和自适应融合模块去获得相应的输出概率图。为了使生成的扰动包含更多的文本特征，将引导网络输出的概率图送入非线性激活函数tanh，使其对文本区域施加更多的权重，然后将检测结果作为引导损失融入生成器的优化过程，引导损失表示为：
（8）
其中，是放大因子；/>表示检测模型的输出概率图；(i，j)表示概率图中的像素坐标，n表示概率图中包含的像素总数；
综合四个损失函数得到底纹生成过程的目标函数，分别由扰动损失、对抗损失、视觉损失和引导损失组成，目标函数/>表示为：
其中，均为设定的超参数，用于调节各项损失所占的权重。
步骤3、再将互补的两帧对抗性底纹添加到待保护的文本内容x上，得到受保护的文本图像的互补帧/>，该互补帧/>能误导代理模型对文本的识别。
在该步骤中，由于增加扰动的大小可以提高保护性能，但会降低视觉质量，这个问题在文档保护场景中更为突出，根据屏幕相机通信领域的经验，人眼具有一种特殊的闪烁融合特性，由于人类视觉的低通特性，其频率响应范围是有限的。当闪烁频率足够大时，我们称之为临界闪烁频率(Critical Flicker Frequency, CFF)，人眼只能感知到闪烁的平均强度而不能感知到闪烁本身，这种现象为闪烁融合效应。闪烁融合效应有三点重要特点和提升视觉质量密切相关：1)现代屏幕设备的CCF一般被认为大于60 Hz，可以有效避免可见闪烁；2)人眼对亮度变化比色度变化更敏感，当两帧的照度变化超过阈值(+2，-3)时，会发生闪烁效果；3)虽然人类无法感知高频闪烁，但截图操作却可以有效捕捉。
如图2所示为本发明实施例所述OCR提取攻击过程以及本申请的实施过程示意图，图2的上部为OCR提取攻击过程，攻击者可以对目标文本区域的进行截图，并利用OCR技术从截取的文本图像中提取文本内容，这一过程定义为OCR提取攻击。图2的下部为本申请的实施过程，本发明实施例所述方法定义为ProTegO，基于人类视觉系统（Human VisionSystem，HVS）闪烁融合效应的启发，当两帧被保护的文本图像以60Hz的频率（及以上）交替显示在屏幕上时，人眼能看到与添加原始底纹接近的融合文本图像，而融合后的图像看起来更接近原始图像；然而一旦攻击者采用截屏操作得到文本截图，攻击者只能得到含有对抗底纹的两帧互补图像的其中一帧，这将使得文本识别模型和商用OCR服务无法有效提取文本内容，因此利用本申请实施例所述方法可以保持更好的视觉质量，同时实现强大的保护强度。
实验结果表明，本方法可以保证良好的视觉质量，同时在不同架构的文本识别模型上获得较高的保护成功率。
另外，为了提高通用对抗底纹的鲁棒性，针对OCR提取攻击过程中存在的失真，本发明实施例还设计一个增强层E来模拟所存在的失真，所述失真包括平移失真、缩放失真和二值化失真，其中：
对于平移失真，通常发生在对文本图像截屏操作时，用户可能只得到不完整的部分对抗底纹，为了确保平移的增强设计不影响文本区域，根据原始文本图像的大小按上下左右四个方向，分别将平移范围限定为的四个像素内，这个设置根据原始文本图像的大小而变化；
对于缩放失真，将原始文本图像调整到合适的大小是特征提取网络的必要预处理步骤，首先将原始文本图像随机缩放为h×w×3，然后将其调整为32×100×3；
其中，h和w分别表示原始文本图像的高度和宽度：，；
对于二值化失真，考虑到二值化操作往往是不可微的，采用可微近似函数来模拟二值化的效果，表示为：
其中，t()表示可微二值化操作；x表示输入文本图像；k为放大系数；e表示自然指数函数；是二值化的阈值，使用OpenCV提供的OTSU算法来寻找最优值。
值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
为了证明本申请所述方法的有效性，下面以具体的实例分别从视觉质量、保护性能、方法效率三个方面进行评估，同时本实例还对现有技术中的其他基线方法进行了比较。在本实例中主要关注于文档场景，遵循FAWA方法中的数据设置，使用文本识别数据生成器生成文本图像，训练数据集包含180个样本，测试数据集包含1200个样本用于模型的测试；对于商业OCR服务的评估，随机选择了100个样本，并将其构造成一个大尺寸的文本图像作为测试样本；对于选定的初始底纹，构造相应的两帧互补的对抗底纹，并将其应用到待保护文本图像上。
本申请首先评估了方法的视觉质量，采用常用的平均意见分数（MOS）作为视觉质量的评价指标，并随机选择20名志愿者对本申请方法和其他基线方法进行打分，分数范围从1分(质量差)到5分(质量优)。由于本申请方法是基于两帧的融合，因此本申请用C++和python编写了一个脚本，能够以当前显示器的刷新率交替显示两帧受保护的文本图像。为了展示本申请方法的通用性，本申请展示了三种不同风格底纹的效果，包括两种纯色风格(浅色和深色)和纹理风格。由最终结果可知：本申请方法的MOS比其他基线方法要好得多，从局部放大的图像块中可以看到其他方法或多或少会造成视觉失真，但本申请方法能够保持较高的视觉质量。
其次，本申请分别在不同架构的模型和商用OCR服务两个维度对方法的保护性能进行评估，本申请采用保护成功率（PSR）和平均编辑距离（EDavg）作为保护性能的评估指标，前者能够从单词级别上进行评估，后者能够从更加细粒度的字符级别进行评估。对于方法在模型上的保护性能，本申请方法和现有技术其他优化方法在代理模型STAR-Net上均能取得100%的保护成功率（PSR），但本申请方法字符级指标EDavg的值为9.39和10.21，比其他基线方法表现的更好，攻击者从受保护的文本内容中获得的有用信息更少，同时本申请方法具有更好的迁移性，对于未知的黑箱模型，包括基于CTC机制和基于注意力机制的模型，都可以取得更好的保护效果(PSR均为90%以上) 。
为了评估真实的OCR提取攻击场景，本申请使用包含100个单词的大尺寸受保护的文本图像来测试每种方法在商用OCR服务的保护性能。由于本申请方法是基于两帧分解，为了公平验证，本实例随机进行两次手动截图，取两次测试结果的平均值作为最终结果。由最后测试结果可知：本申请方法具有很强的保护性能，平均PSR分别为90%和94.21%，EDavg值分别为5.92和6.42。此外只有本申请方法能适用更为严格的黑盒场景，如智能设备和社交应用程序“微信”内置的文本识别服务，即除了最终识别结果，不提供任何中间信息，这表明本申请方法是非常实用的。
另外，本申请方法能否实际应用于大规模文档也是一个关键问题，因此本实例对方法的效率进行了评估，并采取生成受保护图像的运行时间作为评价指标。由结果可知：本申请方法的总运行时间包含了训练时间，而实际生成受保护文本图像的时间只需65.05秒，因此本申请方法非常适用于大规模文档保护场景，规模越大越能突出本申请方法的优势。
综上所述，本申请实施例所述方法具有如下优点：
1、本申请是一种基于“文本风格”引导的对抗性底纹生成方法，名为ProTegO。与其他现有技术的方法不同，ProTegO仅依赖于本地代理模型，不需要来自目标模型和商业服务的反馈信息；
2、本申请方法的视觉质量好、鲁棒性高。通过探索人类视觉系统的闪烁融合特性，采用基于两帧分解的视觉补偿策略，以保持良好的视觉质量；同时还通过模拟OCR提取攻击中的常见操作设计了一个可微增强层，使本申请方法在实际黑盒场景中更具鲁棒性；
3、本申请方法具有很强的保护性能、实用性高。大量的实验表明，本发明实施例所述文本内容保护方法是一种通用的基于迁移性（transfer-based）的黑盒方法，该方法生成具有“文本风格”的对抗性底纹，并可应用于任意的受版权保护的文本内容。
另外，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
Claims (4)
1.一种针对OCR提取攻击的文本内容保护方法，其特征在于，所述方法包括：
步骤1、首先根据用户的偏好选择一种底纹类型作为初始化底纹，并对初始化底纹/>进行设定的预处理操作；
步骤2、将预处理后的初始化底纹送入条件生成对抗网络中的生成器G以产生对抗性扰动，然后使预处理后的初始化底纹分别加上和减去对抗性扰动/>，得到互补的两帧对抗性底纹/>；
步骤3、再将互补的两帧对抗性底纹添加到待保护的文本内容x上，得到受保护的文本图像的互补帧/>，当两帧受保护的文本图像以60Hz或以上的频率交替显示在屏幕上时，该互补帧/>能误导代理模型对文本的识别。
2.根据权利要求1所述针对OCR提取攻击的文本内容保护方法，其特征在于，在步骤1中，对初始化底纹进行设定的预处理操作的过程为：
将底纹的预处理归为一个优化问题，使用底纹的亮度值Y作为约束目标，即：
（1）
其中，R、G、B分别代表颜色空间的红色通道、绿色通道和蓝色通道；
针对初始化底纹，采用可访问感知对比度算法APCA来获取对比度，一旦文字颜色确定，对底纹的预处理操作表示为以下的优化过程：
（2）
其中，s.t.表示约束条件，表示对抗扰动的保留幅度，并使得底纹的亮度值/>限制在/>范围内；/>为文本的亮度值；/>为可访问感知对比度算法APCA，所获取的文字与背景的对比度要满足最小对比度阈值4.5。
3.根据权利要求1所述针对OCR提取攻击的文本内容保护方法，其特征在于，所述方法还包括：
在条件生成器G的优化过程中引入四个损失函数进行联合优化，具体为：
1）扰动损失Hinge Loss
为了使对抗扰动幅度的大小不超过设置阈值，对生成的扰动进行L2范数约束，并对其添加铰链损失，最终的扰动损失表示为：
（3）
其中，c表示正则因子，是用户自定义的超参数；为取最大值操作，即取/>和0的最大值；
2）对抗损失Adversarial Loss
给定一个文本图像x的输入序列l，深度文本识别模型会为每一个在输入序列l中的字符输出相应序列概率分布/>，其中/>；最后通过去掉输出字符序列中重复和空白的字符，得到最终的识别字符，一次完整文本字符序列预测需要计算输入序列l中所有有效对齐路径的概率，有效对齐路径的概率用如下公式（4）表示：
（4）
其中，x是输入文本图像；T是文本图像中文本序列的字符长度；t是文本序列中的字符；是有效路径/>中存在有效字符的概率；
采用连接时序分类损失CTC作为对抗损失函数的设计，并对公式（4）的有效对齐路径计算相应的负对数概率，表示为：
（5）
其中，表示连接时序分类损失CTC；/>表示输入序列l中所有可能的有效对齐集合；
选择经典文本识别模型STAR-Net作为替代模型M，通过最大化两帧对抗文本图像的CTC损失来改变其有效输出路径，进而使得深度文本识别模型做出错误决策，最终得到对抗损失表示为：
（6）
其中，表示替代模型M接收到两帧对抗文本图像；/>表示对应的识别后的字符输出序列；
3）视觉损失GAN Loss
视觉损失表示为：
（7）
其中，D表示鉴别器；x表示输入文本图像；表示替代模型M接收到两帧对抗文本图像；
4）引导损失Style-guided Loss
为了使生成的扰动包含更多的文本特征，将引导网络输出的概率图送入非线性激活函数tanh，使其对文本区域施加更多的权重，然后将检测结果作为引导损失融入生成网络的优化过程，引导损失表示为：
（8）
其中，是放大因子；/>表示检测模型的输出概率图；(i，j)表示概率图中的像素坐标，n表示概率图中包含的像素总数；
综合四个损失函数得到底纹生成过程的目标函数，分别由扰动损失、对抗损失、视觉损失和引导损失组成，目标函数/>表示为：
；
其中，均为设定的超参数，用于调节各项损失所占的权重。
4.根据权利要求1所述针对OCR提取攻击的文本内容保护方法，其特征在于，所述方法还包括：针对OCR提取攻击过程中存在的失真，设计一个增强层E来模拟所存在的失真，所述失真包括平移失真、缩放失真和二值化失真，其中：
对于平移失真，根据原始文本图像的大小按上下左右四个方向，分别将平移范围限定为四个像素内，这个设置根据原始文本图像的大小而变化；
对于缩放失真，将原始文本图像调整到合适的大小是特征提取网络的必要预处理步骤，首先将原始文本图像随机缩放为h×w×3，然后将其调整为32×100×3；
其中，h和w分别表示原始文本图像的高度和宽度：
，/>；
对于二值化失真，采用可微近似函数来模拟二值化的效果，表示为：
；
其中，t()表示可微二值化操作；x表示输入文本图像；k为放大系数；e表示自然指数函数；是二值化的阈值，使用OpenCV提供的OTSU算法来寻找最优值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311237309.8A CN116975797B (zh) | 2023-09-25 | 2023-09-25 | 一种针对ocr提取攻击的文本内容保护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311237309.8A CN116975797B (zh) | 2023-09-25 | 2023-09-25 | 一种针对ocr提取攻击的文本内容保护方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116975797A CN116975797A (zh) | 2023-10-31 |
| CN116975797B true CN116975797B (zh) | 2024-02-23 |
Family
ID=88477149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311237309.8A Active CN116975797B (zh) | 2023-09-25 | 2023-09-25 | 一种针对ocr提取攻击的文本内容保护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116975797B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001291053A (ja) * | 2000-04-05 | 2001-10-19 | Ricoh Co Ltd | 不正読取防止装置および不正読取防止方法、並びに不正読取防止方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| CN102096891A (zh) * | 2009-12-11 | 2011-06-15 | 北大方正集团有限公司 | 嵌入、提取数字水印的方法和装置 |
| CN111160357A (zh) * | 2020-04-02 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 一种基于对抗学习的模型训练、图片输出方法及装置 |
| CN112836798A (zh) * | 2021-01-29 | 2021-05-25 | 华中科技大学 | 一种针对场景文字识别的非定向式白盒对抗攻击方法 |
| CN113159255A (zh) * | 2021-05-07 | 2021-07-23 | 西藏民族大学 | 基于qr码和安全底纹的数字水印防伪方法 |
| CN115619616A (zh) * | 2022-11-09 | 2023-01-17 | 齐鲁空天信息研究院 | 基于水印扰动的对抗样本生成方法、装置、设备及介质 |
| CN116308982A (zh) * | 2023-03-14 | 2023-06-23 | 宁波大学 | 一种用于抵抗光学字符识别系统的防御方法 |
-
2023
- 2023-09-25 CN CN202311237309.8A patent/CN116975797B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001291053A (ja) * | 2000-04-05 | 2001-10-19 | Ricoh Co Ltd | 不正読取防止装置および不正読取防止方法、並びに不正読取防止方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| CN102096891A (zh) * | 2009-12-11 | 2011-06-15 | 北大方正集团有限公司 | 嵌入、提取数字水印的方法和装置 |
| CN111160357A (zh) * | 2020-04-02 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 一种基于对抗学习的模型训练、图片输出方法及装置 |
| CN112836798A (zh) * | 2021-01-29 | 2021-05-25 | 华中科技大学 | 一种针对场景文字识别的非定向式白盒对抗攻击方法 |
| CN113159255A (zh) * | 2021-05-07 | 2021-07-23 | 西藏民族大学 | 基于qr码和安全底纹的数字水印防伪方法 |
| CN115619616A (zh) * | 2022-11-09 | 2023-01-17 | 齐鲁空天信息研究院 | 基于水印扰动的对抗样本生成方法、装置、设备及介质 |
| CN116308982A (zh) * | 2023-03-14 | 2023-06-23 | 宁波大学 | 一种用于抵抗光学字符识别系统的防御方法 |
Non-Patent Citations (4)
| Title |
|---|
| Concise analysis of current text automation and watermarking approaches;Mohammed Hazim Alkawaz;《https://onlinelibrary.wiley.com/doi/abs/10.1002/sec.1738》;全文 * |
| Universal Defensive Underpainting Patch: Making Your Text Invisible to Optical Character Recognition;JiaCheng Deng;《Computer Vision and Pattern Recognition》;全文 * |
| 中文水印字库的自动生成方法;孙杉等;《中国图象图形学报》;全文 * |
| 基于SVD的抗协议攻击的数字图像水印算法研究;汪京培;《三峡大学》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116975797A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Verdoliva | Media forensics and deepfakes: an overview | |
| Guo et al. | Fake face detection via adaptive manipulation traces extraction network | |
| Wu et al. | Sstnet: Detecting manipulated faces through spatial, steganalysis and temporal features | |
| Zhang et al. | Face spoofing detection based on color texture Markov feature and support vector machine recursive feature elimination | |
| CN112200075B (zh) | 一种基于异常检测的人脸防伪方法 | |
| Ng et al. | Discrimination of computer synthesized or recaptured images from real images | |
| Aneja et al. | TAFIM: Targeted adversarial attacks against facial image manipulations | |
| Lu et al. | Assessment framework for deepfake detection in real-world situations | |
| Huang et al. | DS-UNet: a dual streams UNet for refined image forgery localization | |
| Sun et al. | Minimum noticeable difference-based adversarial privacy preserving image generation | |
| Yin et al. | Reversible attack based on adversarial perturbation and reversible data hiding in YUV colorspace | |
| Yang et al. | Language universal font watermarking with multiple cross-media robustness | |
| CN112417194A (zh) | 恶意图文的多模态检测方法 | |
| Xiao et al. | Protecting the trust and credibility of data by tracking forgery trace based on GANs | |
| Wen et al. | A hybrid model for natural face de-identiation with adjustable privacy | |
| Hu et al. | Learning-based image steganography and watermarking: A survey | |
| CN116975797B (zh) | 一种针对ocr提取攻击的文本内容保护方法 | |
| US11113537B2 (en) | Image detection using multiple detection processes | |
| Qin et al. | Destruction-Restoration Suppresses Data Protection Perturbations against Diffusion Models | |
| Yakushev et al. | Docmarking: Real-Time Screen-Cam Robust Document Image Watermarking | |
| CN115546906A (zh) | 检测图像中人脸活度的系统和方法及电子设备 | |
| CN114841969A (zh) | 一种基于颜色梯度纹理表示的伪造人脸鉴别方法 | |
| Aneja et al. | TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations | |
| Montero et al. | Watermark detection and clearance in video using simple signal and image processing techniques | |
| Zhang et al. | A robust watermarking algorithm against JPEG compression based on multiscale autoencoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |