CN117034212A - 处理图像数据的方法、装置、电子设备和计算机存储介质 - Google Patents

Abstract

本公开的实施例涉及一种用于处理图像数据的方法、装置、电子设备和计算机可读存储介质，涉及人工智能领域。该方法可以包括基于第一扰动数据和图像数据，生成第一候选对抗样本，第一扰动数据与用于识别图像数据的第一识别模型相关联。该方法进一步包括基于第二扰动数据和第一候选对抗样本，生成第二候选对抗样本，第二扰动数据与用于识别图像数据的第二识别模型相关联。并且，该方法可以进一步包括基于第一候选对抗样本和第二候选对抗样本，确定用于图像数据的目标对抗样本。本公开的技术方案通过引入机器学习的优化算法，可以主动保护用户的文字版权不被随意复制传播，提升用户体验。

Description

处理图像数据的方法、装置、电子设备和计算机存储介质

本申请是申请日为2020年03月10日、申请号为202010163067.2、发明名称为“处理图像数据的方法、装置、电子设备和计算机存储介质”的申请的分案申请。

技术领域

本公开的实施例主要涉及人工智能领域，并且更具体地，涉及用于处理图像数据的方法、装置、电子设备和计算机可读存储介质。

背景技术

随着机器学习算法、尤其是深度学习算法的进步，计算机的图像识别能力得到了长足的进步。然而，这也为版权、尤其是文字版权的侵权者提供了便利。

例如，诸如杂志、小说、带有字幕的电影、短视频等的电子版的数字媒体资源，十分容易被人直接复制传播，导致侵权。为了保护版权，版权所有者通常会将电子版的数字媒体资源转换成图像数据并加入水印，使待保护的数字媒体资源在未经许可的情况下不会被轻易地复制和使用。然而，随着诸如光学字符识别(OCR)的识别技术的日益成熟，侵权者可以通过截图、录屏等操作来还原出原始的数字媒体资源，从而实现非法使用和传播，极大地侵犯了版权所有者的权益。

发明内容

根据本公开的示例实施例，提供了一种用于处理图像数据的方案。

在本公开的第一方面中，提供了一种用于处理图像数据的方法。该方法可以包括基于第一扰动数据和所述图像数据，生成第一候选对抗样本，所述第一扰动数据与用于识别所述图像数据的第一识别模型相关联。该方法进一步包括基于第二扰动数据和所述第一候选对抗样本，生成第二候选对抗样本，所述第二扰动数据与用于识别所述图像数据的第二识别模型相关联。并且，该方法可以进一步包括基于所述第一候选对抗样本和所述第二候选对抗样本，确定用于所述图像数据的目标对抗样本。

在本公开的第二方面中，提供了一种用于处理图像数据的装置，包括：第一候选对抗样本生成模块，被配置为基于第一扰动数据和所述图像数据，生成第一候选对抗样本，所述第一扰动数据与用于识别所述图像数据的第一识别模型相关联；第二候选对抗样本生成模块，被配置为基于第二扰动数据和所述第一候选对抗样本，生成第二候选对抗样本，所述第二扰动数据与用于识别所述图像数据的第二识别模型相关联；以及目标对抗样本确定模块，被配置为基于所述第一候选对抗样本和所述第二候选对抗样本，确定用于所述图像数据的目标对抗样本。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的实施例的用于处理图像数据的过程的流程图；

图3示出了根据本公开的实施例的用于生成候选对抗样本的过程的流程图；

图4示出了根据本公开的实施例的用于处理图像数据的装置的框图；以及

图5示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

在实现对文字版权的保护的过程中，通常会将被保护的文字内容图片化、并加入水印，从而使得侵权者难以简单复制、使用和传播被保护的文字内容。

然而，在传统的文字版权保护过程中仍然存在许多问题。首先，目前的很多OCR模型均可以准确快速地识别图片化的文字内容，一旦图片化的文字内容被识别为诸如word格式的可编辑的文字信息，侵权者就可以利用这些信息进行复制和传播。其次，即便目前可以在图片化的文字内容中加入水印，来干扰识别模型，但目前已经存在用于滤除水印的软件。因此，如何主动地防止文字内容被恶意复制和传播是保护文字版权的核心问题。

根据本公开的实施例，提出一种处理图像数据的改进方案。在该方案中，通过引入机器学习优化算法，从而对由待保护的文字内容转换得到的图像数据加入扰动数据，进而使已知的若干光学字符识别(OCR)模型不能正常识别图像数据。具体地，将被保护的文字内容(可包括电子版的杂志、小说、带有字幕的电影、短视频等数字媒体资源)转换为图像，之后针对目前开源的文字识别模型，基于机器学习优化算法对该图像进行转换，进而获取用于对抗该文字识别模型的样本图像。此外，可以针对不同的文字识别模型进行多次转换，还可以基于机器学习优化算法针对每种文字识别模块进行多次转换。

此外，在每次转换后，可以计算该图像与转换后的对抗样本之间的峰值信噪比(PSNR)。在峰值信噪比小于阈值峰值信噪比(例如20)时将最后一次转换的图像确定为对抗样本。此外，上述机器学习优化算法是基于反向传递的算法，因此，每次反向传递时均是对该图像进行转换，而不修改模型的参数权重。在某些实施例中，每次修改的扰动值是梯度乘以学习速率。以此方式，可以保护用户的文字版权不被随意复制传播，提升用户体验。

图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，图像数据110可以是被保护的数字媒体资源经预先转换而得到的。作为示例，图像数据110可以是通过对被保护的数字文本进行截图或拷屏而得到的。作为另一示例，图像数据110本身也可以是被保护的媒体资源，例如，是版权所有者的手稿的图像。上述示例仅是描述本公开，而非对本公开的具体限定。

如图1所示，为了使诸如OCR模型的字符识别模型不能成功识别图像数据110，图像数据110被输入至计算设备120。在一些实施例中，计算设备120可以位于云端，其用于根据特定的识别模型来计算得到扰动数据，并将扰动数据加入图像数据110。在一些实施列中，计算设备120可以包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费电子产品、小型计算机、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。

经过计算设备120的处理，图像数据110被转换为对抗样本130。对抗样本130用于使特定的识别模型输出错误的识别结果，从而可以防止被保护的文字版权不被恶意地复制和传播。

应当理解，图1示出的环境仅是示例性的，而非对本公开的具体限定。

图2示出了根据本公开的实施例的用于处理图像数据110的过程200的流程图。在某些实施例中，方法200可以在图5示出的设备中实现。现参照图1描述根据本公开实施例的用于处理图像数据110的过程200。为了便于理解，在下文描述中提及的具体数据均是示例性的，并不用于限定本公开的保护范围。

在202，计算设备120可以基于第一扰动数据和被保护的图像数据110生成第一候选对抗样本。作为示例，该第一扰动数据与用于识别图像数据110的第一识别模型相关联。根据本公开的实施例，可以通过多种方式来生成第一候选对抗样本。例如，图3示出了根据本公开的实施例的用于生成第一候选对抗样本的过程300的流程图。为了便于理解，在下文描述中提及的具体过程均是示例性的，并不用于限定本公开的保护范围。

在302，计算设备120可以确定与第一识别模型相关联的第一目标函数的梯度数据。作为示例，计算设备120可以针对开源的第一识别模型确定该模型的函数，即，第一目标函数。之后，计算设备120可以基于第一目标函数和该函数的输入对第一目标函数进行求导，从而得到梯度数据。

在304，计算设备120可以基于求得的第一目标函数的梯度数据与第一识别模型的学习速率，确定第一扰动数据。作为示例，第一识别模型的学习速率可以是预先确定的。备选地，可以选择常用的学习速率作为第一识别模型的学习速率。以此方式，可以在识别模型的梯度方向上对输入图像进行改变，从而使识别模型对输入图像产生错误的预测，影响识别结果。

在306，计算设备120可以通过将第一扰动数据加入图像数据110中，从而生成第一候选对抗样本。在某些实施例中，图像数据110可以是矩阵排列的多个像素数值，并且每个像素数值均被归一化为0-1的小数。当将第一扰动数据加入图像数据110时，图像数据110中的矩阵排列的每个归一化的像素数值均为与第一扰动数据进行加/减运算，来计算第一候选对抗样本。作为示例，当归一化的像素数值在运算后大于1时，则将该像素数值取为1；当归一化的像素数值在运算后小于0时，则将该像素数值取为0。

备选地或附加地，还可以将第一扰动数据作为系数与图像数据110中的矩阵排列的每个归一化的像素数值相乘，来计算第一候选对抗样本。

此外，还可以针对第一识别模型来多次迭代地计算第一候选对抗样本。作为示例，每次迭代均重新计算第一目标函数的梯度数据，并基于上述过程更新第一候选对抗样本，直到完成预定的迭代次数，例如，5次或更多。以此方式，可以通过多次迭代计算来优化对抗样本。应理解，上述加入扰动数据的计算方法仅是示例性的，并不用于限制本公开的范围。

下面回到图2。在得到第一候选对抗样本之后，在204，计算设备120可以基于第二扰动数据和第一候选对抗样本生成第二候选对抗样本。作为示例，该第二扰动数据与用于识别所述图像数据110的第二识别模型相关联。根据本公开的实施例，可以通过多种方式来生成第二候选对抗样本。

在某些实施例中，计算设备120可以确定与第二识别模型相关联的第二目标函数的梯度数据。作为示例，计算设备120可以针对开源的第二识别模型确定该模型的函数，即，第二目标函数。之后，计算设备120可以基于第二目标函数和该函数的输入对第二目标函数进行求导，从而得到梯度数据。

之后，计算设备120可以基于求得的第二目标函数的梯度数据与第二识别模型的学习速率，确定第二扰动数据。作为示例，第二识别模型的学习速率可以是预先确定的。备选地，可以选择常用的学习速率作为第二识别模型的学习速率。

计算设备120进而可以通过将第二扰动数据加入第一候选对抗样本中，来生成第二候选对抗样本。在某些实施例中，当将第二扰动数据加入图像数据110时，图像数据110中的矩阵排列的每个归一化的像素数值均为与第二扰动数据进行加/减运算，来计算第二候选对抗样本。作为示例，当归一化的像素数值在运算后大于1时，则将该像素数值取为1；当归一化的像素数值在运算后小于0时，则将该像素数值取为0。备选地或附加地，还可以将第二扰动数据作为系数与图像数据110中的矩阵排列的每个归一化的像素数值相乘，来计算第二候选对抗样本。应理解，与第一候选对抗样本的计算方式类似地，也可以针对第二识别模型来多次迭代地计算第二候选对抗样本。

在某些实施例中，上述第一识别模型和第二识别模型是不同的OCR模型。应理解，以上实施例所描述的两个识别模型仅是示例性的。本公开的处理图像数据的技术可以针对更多识别模型来实现。此外，这些OCR模型均是开源模型，部分开源模型的公开网址列出如下：

https://github.com/rockyzhengwu/document-ocr

https://www.oschina.net/p/c-ocr

https://www.pyimagesearch.com/2018/08/20/opencv-text-detection-east-text-detector/

在206，计算设备120可以基于转换得到的第一候选对抗样本和转换得到的第二候选对抗样本，确定用于图像数据110的目标对抗样本。目标对抗样本即为图1所示的对抗样本130。这里，需要说明的是，在确定候选对抗样本时，计算对抗样本所考虑的识别模型的个数越多、针对每个识别模型所进行的转换的迭代次数越多，则该候选对抗样本通常就越容易让侵权者所使用的OCR模型出现识别错误。然而，除了这些因素意外，还需要考虑的是，得到的候选对抗样本还能不能被合法的用户用肉眼观看。如果候选对抗样本令合法用户在视觉上产生阅读困难，则保护该版权就变得毫无意义。因此，我们引入了峰值信噪比的判定过程。

作为示例，如果图像数据110与第二候选对抗样本之间的峰值信噪比大于或等于阈值信噪比(例如，20)，则可以将第二候选对抗样本确定为目标对抗样本。如果该峰值信噪比小于阈值信噪比，则说明第二候选对抗样本可能会令合法用户在视觉上产生阅读困难，因此可以将之前获得的第一候选对抗样本确定为目标对抗样本。以此方式，可以在保证图片质量的前提下使目标对抗样本能够对抗恶意的识别操作。

通过上述方法，生成的目标对抗样本可以使多种常用的识别模型输出错误的识别结果，从而可以有效防止被保护的文字版权不被恶意地复制和传播。

图4示出了根据本公开实施例的用于处理图像数据110的装置400的示意性框图。如图4所示，装置400可以包括：第一候选对抗样本生成模块402，被配置为基于第一扰动数据和所述图像数据，生成第一候选对抗样本，所述第一扰动数据与用于识别所述图像数据的第一识别模型相关联；第二候选对抗样本生成模块404，被配置为基于第二扰动数据和所述第一候选对抗样本，生成第二候选对抗样本，所述第二扰动数据与用于识别所述图像数据的第二识别模型相关联；以及目标对抗样本确定模块406，被配置为基于所述第一候选对抗样本和所述第二候选对抗样本，确定用于所述图像数据的目标对抗样本。

在某些实施例中，目标对抗样本确定模块406可以包括：第一分支确定模块(未示出)，被配置为响应于所述图像数据与所述第二候选对抗样本之间的峰值信噪比大于或等于阈值信噪比，将所述第二候选对抗样本确定为所述目标对抗样本；以及第二分支确定模块(未示出)，被配置为响应于所述峰值信噪比小于所述阈值信噪比，将所述第一候选对抗样本确定为所述目标对抗样本。

在某些实施例中，第一候选对抗样本生成模块可以包括：第一梯度数据确定模块(未示出)，被配置为确定与所述第一识别模型相关联的第一目标函数的梯度数据；第一扰动数据确定模块(未示出)，被配置为基于所述第一目标函数的梯度数据与所述第一识别模型的学习速率，确定所述第一扰动数据；以及第一加法模块(未示出)，被配置为通过将所述第一扰动数据加入所述图像数据中，生成所述第一候选对抗样本。

在某些实施例中，第二候选对抗样本生成模块可以包括：第二梯度数据确定模块(未示出)，被配置为确定与所述第二识别模型相关联的第二目标函数的梯度数据；第二扰动数据确定模块(未示出)，被配置为基于所述第二目标函数的梯度数据与所述第二识别模型的学习速率，确定所述第二扰动数据；以及第二加法模块(未示出)，被配置为通过将所述第二扰动数据加入所述第一候选对抗样本中，生成所述第二候选对抗样本。

在某些实施例中，第一识别模型和第二识别模型可以是不同的光学字符识别模型。

图5示出了能够实施本公开的多个实施例的计算设备500的框图。设备500可以用于实现图1的计算设备120。如图所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元501执行上文所描述的各个方法和处理，例如过程200和300。例如，在一些实施例中，过程200和300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由CPU 501执行时，可以执行上文描述的过程200和300的一个或多个步骤。备选地，在其他实施例中，CPU501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200和300。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种用于处理图像数据的方法，包括：

基于第一扰动数据和所述图像数据，生成第一候选对抗样本，所述第一扰动数据与用于识别所述图像数据的第一识别模型相关联；

基于第二扰动数据和所述第一候选对抗样本，生成第二候选对抗样本，所述第二扰动数据与用于识别所述图像数据的第二识别模型相关联；以及

基于所述第一候选对抗样本和所述第二候选对抗样本，确定用于所述图像数据的目标对抗样本，

其中所述第一识别模型和所述第二识别模型是不同的光学字符识别模型。

2.根据权利要求1所述的方法，其中确定所述目标对抗样本包括：

响应于所述图像数据与所述第二候选对抗样本之间的峰值信噪比大于或等于阈值信噪比，将所述第二候选对抗样本确定为所述目标对抗样本；以及

响应于所述峰值信噪比小于所述阈值信噪比，将所述第一候选对抗样本确定为所述目标对抗样本。

3.根据权利要求1所述的方法，其中生成所述第一候选对抗样本包括：

确定与所述第一识别模型相关联的第一目标函数的梯度数据；

基于所述第一目标函数的梯度数据与所述第一识别模型的学习速率，确定所述第一扰动数据；以及

通过将所述第一扰动数据加入所述图像数据中，生成所述第一候选对抗样本。

4.根据权利要求1所述的方法，其中生成所述第二候选对抗样本包括：

确定与所述第二识别模型相关联的第二目标函数的梯度数据；

基于所述第二目标函数的梯度数据与所述第二识别模型的学习速率，确定所述第二扰动数据；以及

通过将所述第二扰动数据加入所述第一候选对抗样本中，生成所述第二候选对抗样本。

5.一种用于处理图像数据的装置，包括：

第一候选对抗样本生成模块，被配置为基于第一扰动数据和所述图像数据，生成第一候选对抗样本，所述第一扰动数据与用于识别所述图像数据的第一识别模型相关联；

第二候选对抗样本生成模块，被配置为基于第二扰动数据和所述第一候选对抗样本，生成第二候选对抗样本，所述第二扰动数据与用于识别所述图像数据的第二识别模型相关联；以及

目标对抗样本确定模块，被配置为基于所述第一候选对抗样本和所述第二候选对抗样本，确定用于所述图像数据的目标对抗样本，

其中所述第一识别模型和所述第二识别模型是不同的光学字符识别模型。

6.根据权利要求5所述的装置，其中所述目标对抗样本确定模块包括：

第一分支确定模块，被配置为响应于所述图像数据与所述第二候选对抗样本之间的峰值信噪比大于或等于阈值信噪比，将所述第二候选对抗样本确定为所述目标对抗样本；以及

第二分支确定模块，被配置为响应于所述峰值信噪比小于所述阈值信噪比，将所述第一候选对抗样本确定为所述目标对抗样本。

7.根据权利要求5所述的装置，其中所述第一候选对抗样本生成模块包括：

第一梯度数据确定模块，被配置为确定与所述第一识别模型相关联的第一目标函数的梯度数据；

第一扰动数据确定模块，被配置为基于所述第一目标函数的梯度数据与所述第一识别模型的学习速率，确定所述第一扰动数据；以及

第一加法模块，被配置为通过将所述第一扰动数据加入所述图像数据中，生成所述第一候选对抗样本。

8.根据权利要求5所述的装置，其中所述第二候选对抗样本生成模块包括：

第二梯度数据确定模块，被配置为确定与所述第二识别模型相关联的第二目标函数的梯度数据；

第二扰动数据确定模块，被配置为基于所述第二目标函数的梯度数据与所述第二识别模型的学习速率，确定所述第二扰动数据；以及

第二加法模块，被配置为通过将所述第二扰动数据加入所述第一候选对抗样本中，生成所述第二候选对抗样本。

9.一种电子设备，所述电子设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-4任一项所述的方法。