CN116071253A - 一种基于粒球计算的图像内容噪声处理方法 - Google Patents

一种基于粒球计算的图像内容噪声处理方法 Download PDF

Info

Publication number
CN116071253A
CN116071253A CN202211568658.3A CN202211568658A CN116071253A CN 116071253 A CN116071253 A CN 116071253A CN 202211568658 A CN202211568658 A CN 202211568658A CN 116071253 A CN116071253 A CN 116071253A
Authority
CN
China
Prior art keywords
pixel
processed
rectangular area
value
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211568658.3A
Other languages
English (en)
Inventor
庄志国
戴大伟
朱浩
夏书银
王国胤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202211568658.3A priority Critical patent/CN116071253A/zh
Publication of CN116071253A publication Critical patent/CN116071253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，具体涉及一种基于粒球计算的图像内容噪声处理方法，所述方法包括获取待处理图片的各个像素点的梯度；以当前梯度最小的像素点为中心，按照矩形形状向外扩散，重复迭代形成多个不同的矩形局域；计算出各个像素点到其对应矩形区域中心的欧式距离，将所有像素点的欧式距离的倒数经过处理，得到各个矩形区域的权重列表；将各个矩形区域的权重列表与对应像素点的像素值求乘积得到聚类后的各部分像素值，进而完成对待处理图片的聚类操作；基于高斯分布对聚类操作后的待处理图片进行重采样处理。通过本发明处理后的图像，能够拥有更多的抗噪和抗攻击能力。

Description

一种基于粒球计算的图像内容噪声处理方法
技术领域
本发明属于图像处理领域，具体涉及一种基于粒球计算的图像内容噪声处理方法。
背景技术
图像作为人类感知事物的视觉基础，是人类从外界获得信息的重要依据和感知外界的重要方式，在此背景下，通过各种方式对图像进行快速地识别处理显得愈发重要。近些年来，随着深度学习技术的快速发展，深度神经网络在图像领域等领域得到了广泛使用。
尽管深度神经网络在图像识别等领域取得了重大突破，甚至一些场景中，图像识别模型的效率和准确性超过了人眼。深度神经网络识别模型在面对对抗样本等内容噪声时展现出的脆弱性，仍然给其广泛应用带来了隐患。对抗样本是指通过在干净图片中添加一些人眼无法察觉的微小扰动，得到使模型推理时做出错误判断的图片。对抗样本的存在会使得深度学习在安全敏感性领域的应用受到威胁。对抗样本的产生有白盒攻击和黑盒攻击等多种方式，如何有效地防御这些攻击，使得神经网络模型可以正常的工作，是当前神经网络领域亟待解决的问题之一。
现有的处理对抗样本等内容噪声的方法，大致可分为两个方面：数据层面和模型层面。在数据处理层面，如对抗训练，通过将产生的对抗样本加入训练集，不断扩大训练样本的规模；如JPEG图像压缩，将图像中不重要的部分去掉。在模型结构层面，防御蒸馏模型、基于GAN的防御方法、防御框架MagNet等也不断被提出。然而，以上种种方法也都有各自的局限。对抗训练方法极大地耗费时间，图像压缩的方法会降低正常图片的分类准确率，防御蒸馏方法无法抵御CW攻击，最重要的是，以上图像内容噪声处理方法都只可以防御某一种或几种同类型的攻击，面对未知类型攻击时表现都不能让人满意。
发明内容
为解决现有图像内容噪声处理方法存在的问题，本发明发现粒球计算是一种结构化的思想方法，其核心是要将问题对象粒化-分为一个个小的粒子来计算。粒球计算方法如今已经广泛应用与机器学习算法，并取得了不错的成绩，如粒球k-means、粒球SVM等等。在图像领域，如何将一张图片粒化是一个极具意义的工作。因此，本发明提出一种基于粒球计算的图像内容噪声处理方法，本发明将图片以矩形方式进行聚类，再利用高斯分布进行重采样操作，在此过程中，细微的噪点等干扰因素在一定程度上被排除，重采样之后的图片仍然包含原始图片的主要信息，利用该方法处理过的图片来训练神经网络时，训练后的神经网络面对不同内容噪声或者对抗样本攻击时的分类性能均有明显提升。
本发明的一种基于粒球计算的图像内容噪声处理方法，所述方法包括：
获取待处理图片的各个像素点的梯度；
以当前梯度最小的像素点为中心，按照矩形形状向外扩散，重复迭代形成多个不同的矩形局域；
计算出各个像素点到其对应矩形区域中心的欧式距离，将所有像素点的欧式距离的倒数经过处理，得到各个矩形区域的权重列表；
将各个矩形区域的权重列表与对应像素点的像素值求乘积得到聚类后的各部分像素值，进而完成对待处理图片的聚类操作；
基于高斯分布对聚类操作后的待处理图片进行重采样处理。
本发明的有益效果：
本发明在以粒球计算方法进行图像内容噪声处理时，先将图片以矩形方式进行聚类，再利用高斯分布进行重采样操作，在此过程中，细微的噪点等干扰因素在一定程度上被排除，重采样之后的图片仍然包含原始图片的主要信息，利用该方法处理过的图片来训练神经网络时，神经网络面对噪声或者对抗样本攻击时的防御性能有明显提升。此外，该方法不针对某一特殊类型的攻击所产生的对抗样本，理论上，对于任何基于原图产生的对抗样本，或加入原图的其它内容噪声，本方法都具有一定的防御效果。已有实验数据，能够保证本发明的方案的可行性。
附图说明
图1是本发明实施例中基于粒球计算的图像内容噪声处理方法流程图；
图2是本发明实施例中以梯度最小点为中心进行图片聚类的示意图；
图3是本发明实施例中利用聚类保存的数据对像素点依据高斯分布进行重采样的示意图。
图4是本发明实施例中获取得到各像素点对应权重列表(值)的示意图；
图5是本发明实施例中像素点与权重列表相乘，完成聚类操作的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例中一种基于粒球计算的图像内容噪声处理方法流程图，如图1所示，所述处理方法包括：
101、获取待处理图片各个像素点的梯度；
在本步骤中，所述待处理图片是指干净图片经对抗攻击加入扰动后形成的对抗样本。所述像素点的梯度指的是图像待处理图片的某像素在x和y方向上的变化率。对于图像的边缘部分，其灰度值变化较大，梯度值也较大；对于图像中比较平滑的部分，其灰度值变化较小，相应的梯度值也小。一般情况下，图像梯度计算的是图像的边缘信息。
102、以当前梯度最小的像素点为中心，按照矩形形状向外扩散，重复迭代形成多个不同的矩形局域；
图2是本发明实施例中以当前梯度最小像素点为中心呈矩形向外扩散的过程示意图，如图2所示，最开始选取所有像素点中梯度最小的点并以此为中心；首先，定义异类点为矩形区域内与中心点灰度值超出某个阈值的像素点，纯度阈值设定为1减去矩形区域内异类点个数与像素点总数的比值。在聚类区域未满足阈值条件之前，从中心向周围呈矩形扩散，每次扩散直径加1。
在本发明的具体实施例中，所述以当前梯度最小的像素点为中心，按照矩形形状向外扩散，重复迭代形成多个不同的矩形局域包括每次迭代选取剩余梯度最小处的像素点为中心呈矩形形状向外扩散，直至达到事先设定的纯度阈值时终止扩散。
其中，定义异类点为矩形区域内与中心点灰度值超出某个预设灰度值(本实施例中设定为20-40)的像素点，纯度定义为1减去矩形区域内异类点个数与该区域像素点总数的比值(本实施例中初始设定为0.90-0.99，随着矩形区域扩大纯度阈值也会动态增长，增长达到可接受最大值时将不再变化，可接受最大值设为0.99)。矩形区域扩大意味着其内部包含的总像素点数量也在增长，若纯度阈值固定为某个值，会导致聚类不充分，整个聚类过程提前终止，从而出现较多的单样本点，影响后续重采样等操作的效果。
103、计算出各个像素点到其对应矩形区域中心的欧式距离，将所有像素点的欧式距离的倒数经过处理，得到各个矩形区域的权重列表；
在本发明实施例中，将各个像素点到当前矩形区域的欧式距离的倒数经过归一化函数处理，当像素点只对应一个矩形区域时，对应权重可直接视为1；当像素点对应多个不同矩形区域时，得到当前矩形区域中各个像素点的权重列表，且归一化后权重列表中各权重之和为1；具体而言，当某个像素点存在多个矩形区域时，也即存在矩形区域重叠时，可采用权重列表的形式来确定各个像素点在某个矩形区域的权重值。如图4所示，含9个像素点的图片经聚类后划分为两个区域，其中像素点5同时对应两个矩形，设两个矩形中心距离像素点5的距离相同，则经过归一化后，该点对应的两个权重值皆为0.5，其余像素点对应权重皆为1。
104、将各个矩形区域的权重列表与对应像素点的像素值求乘积得到聚类后的各部分像素值，进而完成对待处理图片的聚类操作；
在本发明实施例中，将每个类的像素点的像素值与权重列表中对应的权重值进行相乘，也即对类进行像素值更新，从而完成对待处理图像的聚类操作。如图5所示，含9个像素点的图片经聚类后划分为两个区域，得到各像素点的对应权重列表(值)，经像素值与权重相乘后得到更新后的像素。
105、基于高斯分布对聚类操作后的待处理图片进行重采样处理。
在本发明实施例中，先获得一个与待处理图片同等大小的且符合同样分布的目标图像矩阵，再对各像素点的值进行修改：值大于所保存的最大像素值的点，将其值固定为相应最大值；值小于所保存的最小像素值的点，将其值固定为相应的最小值。
图3是本发明实施例中利用聚类数据对每个像素点依据高斯分布进行重采样的示意图，如图3所示，先获得一个和原图片同等大小的且符合同样分布的矩阵，再对各点的值进行修改：值大于所保存的最大像素值的点，将其值固定为相应最大值；值小于所保存的最小像素值的点，将其值固定为相应的最小值。据此，重采样得到的图片像素值固定于某个范围。
在本发明实施例中，所述高斯分布函数表示为：
Figure BDA0003987161870000051
其中，fi(x)表示第i个矩形区域的高斯分布的概率密度函数，μi表示待处理图片第i个矩形区域内的像素均值，σi表示待处理图片第i个矩形区域内的像素标准差，μi和σi在聚类过程中会动态计算得到并保存。
可以理解的是，在本发明实施例中，参数i指第i个矩形区域，以梯度最小点为起始点经n(不固定，自适应确定聚类次数，达到纯度阈值即停止)次聚类得到一个矩形区域，每个矩形区域对应一个像素均值和方差；因此，对于每个矩形区域都由其自身的分布情况决定具体的聚类操作，通过聚类操作得到的区域像素均值和标准差，使得改进后的高斯函数更加适应各自矩形区域的分布情况，从而使得重采样得到的新的图片整体更加平滑，避免各部分采样得到的像素之间显得过于割裂。
在本发明的优选实施例中，所述方法还可以包括步骤106；所述步骤106包括：
106、将重采样处理后的待处理图像输入到目标图像分类模型中，对所述目标图像分类模型进行训练。
本实施例的待处理图片在进入神经网络之前先经过上述几个步骤的处理，处理得到的图片像素值固定于某个范围，降低了个别异常值对于整体的影响。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于粒球计算的图像内容噪声处理方法，其特征在于，所述方法包括：
获取待处理图片的各个像素点的梯度；
以当前梯度最小的像素点为中心，按照矩形形状向外扩散，重复迭代形成多个不同的矩形局域；
计算出各个像素点到其对应矩形区域中心的欧式距离，将所有像素点的欧式距离的倒数经过处理，得到各个矩形区域的权重列表；
将各个矩形区域的权重列表与对应像素点的像素值求乘积得到聚类后的各部分像素值，进而完成对待处理图片的聚类操作；
基于高斯分布对聚类操作后的待处理图片进行重采样处理。
2.根据权利要求1所述的一种基于粒球计算的图像内容噪声处理方法，其特征在于，所述以当前梯度最小的像素点为中心，按照矩形形状向外扩散，重复迭代形成多个不同的矩形局域包括每次迭代选取剩余梯度最小处的像素点为中心呈矩形形状向外扩散，直至该矩形区域像素点的纯度达到事先设定的纯度阈值时终止扩散；其中，所述纯度定义为1减去矩形区域内异类点个数与该区域像素点总数的比值，定义异类点为矩形区域内与中心点灰度值超出某个预设灰度值的像素点。
3.根据权利要求1所述的一种基于粒球计算的图像内容噪声处理方法，其特征在于，所述计算出各个像素点到其对应矩形区域中心的欧式距离，将所有像素点的欧式距离的倒数经过处理，得到各个矩形区域的权重列表包括将各个像素点到当前矩形区域的欧式距离的倒数经过归一化函数处理，当像素点只对应一个矩形区域时，对应权重直接视为1；当像素点对应多个不同矩形区域时，得到当前矩形区域中各个像素点的权重列表，且归一化后权重列表中各权重之和为1。
4.根据权利要求1所述的一种基于粒球计算的图像内容噪声处理方法，其特征在于，所述将各个矩形区域的权重列表与对应像素点的像素值求乘积得到聚类后的各部分像素值，进而完成对待处理图片的聚类操作包括将每个类的像素点的像素值与权重列表中对应的权重值进行相乘，也即对类进行像素值更新，从而完成对待处理图像的聚类操作。
5.根据权利要求1所述的一种基于粒球计算的图像内容噪声处理方法，其特征在于，所述基于高斯分布对聚类操作后的待处理图片进行重采样处理包括先获得一个与待处理图片同等大小的且符合同样分布的目标图像矩阵，再对各像素点的值进行修改：值大于所保存的最大像素值的点，将其值固定为相应最大值；值小于所保存的最小像素值的点，将其值固定为相应的最小值。
6.根据权利要求5所述的一种基于粒球计算的图像内容噪声处理方法，其特征在于，所述高斯分布函数表示为：
Figure FDA0003987161860000021
其中，fi(x)表示第i个矩形区域的高斯分布的概率密度函数，μi表示待处理图片第i个矩形区域内的像素均值，σi表示待处理图片第i个矩形区域内的像素标准差，μi和σi在聚类过程中会动态计算得到并保存。
7.根据权利要求1所述的一种基于粒球计算的图像内容噪声处理方法，其特征在于，基于高斯分布对聚类操作后的待处理图片进行重采样处理之后还包括将重采样处理后的待处理图像输入到目标图像分类模型中，对所述目标图像分类模型进行训练。
CN202211568658.3A 2022-12-08 2022-12-08 一种基于粒球计算的图像内容噪声处理方法 Pending CN116071253A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211568658.3A CN116071253A (zh) 2022-12-08 2022-12-08 一种基于粒球计算的图像内容噪声处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211568658.3A CN116071253A (zh) 2022-12-08 2022-12-08 一种基于粒球计算的图像内容噪声处理方法

Publications (1)

Publication Number Publication Date
CN116071253A true CN116071253A (zh) 2023-05-05

Family

ID=86169111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211568658.3A Pending CN116071253A (zh) 2022-12-08 2022-12-08 一种基于粒球计算的图像内容噪声处理方法

Country Status (1)

Country Link
CN (1) CN116071253A (zh)

Similar Documents

Publication Publication Date Title
CN106557778B (zh) 通用物体检测方法和装置、数据处理装置和终端设备
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN111310802A (zh) 一种基于生成对抗网络的对抗攻击防御训练方法
CN109493367B (zh) 一种对目标对象进行跟踪的方法和设备
EP3588380A1 (en) Information processing method and information processing apparatus
CN111160110A (zh) 基于人脸特征和声纹特征识别主播的方法及装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111783996A (zh) 一种数据处理方法、装置及设备
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
JP2014063359A (ja) 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム
CN114529750A (zh) 图像分类方法、装置、设备及存储介质
Lee et al. Reinforced adaboost learning for object detection with local pattern representations
Jin et al. AMFNet: an adversarial network for median filtering detection
CN113902899A (zh) 训练方法、目标检测方法、装置、电子设备以及存储介质
CN116071253A (zh) 一种基于粒球计算的图像内容噪声处理方法
CN116994175A (zh) 深度伪造视频的时空结合检测方法、装置及设备
CN115795355A (zh) 一种分类模型训练方法、装置及设备
CN113344935B (zh) 基于多尺度难度感知的图像分割方法及系统
CN113688810B (zh) 一种边缘设备的目标捕获方法、系统及相关设备
CN115797314A (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN115375901A (zh) 图像目标检测和实例分割方法、系统、计算设备及介质
Xu et al. Drhnet: a deep residual network based on heterogeneous kernel for steganalysis
CN114821206B (zh) 基于对抗互补特征的多模态图像融合分类方法与系统
KR102561770B1 (ko) 얼굴 특징 표현 방법 및 그 장치
Xie et al. Feature Selection Based on Neighborhood Entropy for Data Hiding Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination