CN117372682A - 交通图像敏感区域脱敏方法 - Google Patents

交通图像敏感区域脱敏方法 Download PDF

Info

Publication number
CN117372682A
CN117372682A CN202311423434.8A CN202311423434A CN117372682A CN 117372682 A CN117372682 A CN 117372682A CN 202311423434 A CN202311423434 A CN 202311423434A CN 117372682 A CN117372682 A CN 117372682A
Authority
CN
China
Prior art keywords
feature
traffic image
network
sensitive area
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311423434.8A
Other languages
English (en)
Inventor
滕越
董士风
林传文
吴光周
王佐成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Space Research Institute
Original Assignee
Data Space Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Data Space Research Institute filed Critical Data Space Research Institute
Priority to CN202311423434.8A priority Critical patent/CN117372682A/zh
Publication of CN117372682A publication Critical patent/CN117372682A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种交通图像敏感区域脱敏方法，方法包括获取待检测的交通图像并输入至敏感区域检测网络，敏感区域检测网络包括依次连接的特征提取网络、特征金字塔网络和分类回归网络；利用特征提取网络对所述待检测的交通图像进行特征提取，得到不同尺度的特征图；将不同尺度的特征图输入至特征金字塔网络，将各特征图转换成统一尺寸后合并成融合特征图，并在融合特征图上进行Transformer计算，将Transformer计算得到的Transformer特征与原输入特征进行融合，得到强化特征图；利用分类回归网络对强化特征图进行检测，得到敏感目标所在区域；对敏感目标所在区域进行脱敏处理，得到脱敏后的交通图像。

Description

交通图像敏感区域脱敏方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种交通图像敏感区域脱敏方法。
背景技术
自动驾驶系统、车联网监控系统、街道全景地图等应用采集了大量交通图像信息并对其进行数据的传输、存储和分析。然而，在这些捕获的图像中，对行人面部数据和车辆号牌数据等敏感信息保护较少。根据中国汽车工业协会车载传输视频图像脱敏技术要求及方法(T/CAAMTB 77-2022)提出的规定，智能驾驶车辆产生的敏感数据在更新到其他设备之前应该被屏蔽。交通图像数据的使用需进行脱敏处理，即对数据进行去隐私处理，以保护敏感信息，从而达到有效利用数据，保证数据安全的目的。
已有技术通常通过传统机器学习算法，利用图像一阶矩、二阶矩和直方图等方法对交通图像中的敏感信息进行处理，存在泛化能力薄弱、敏感区域的定位和识别不准确等弊端，不能满足海量交通图像数据的脱敏任务需求。由于车牌信息、人脸数据在交通图像中往往呈现出小尺寸的特点，基于深度学习的方法为提升小尺寸目标的特征提取能力，不得不使用效率更低的两阶段目标检测框架处理交通图像。
然而，数据在传输前需要进行脱敏处理，但车机端设备计算能力不足，导致两阶段目标检测框架无法直接应用于交通图像的脱敏任务中。而一阶段目标检测框架由于缺乏充足的特征提取能力，难以准确识别出交通图像中的小尺寸敏感区域。因此，需要在保证计算效率的前提下提升网络的特征提取能力，以达到交通图像敏感信息的脱敏任务需求。
在相关技术中，公布号为CN116108490A的专利申请文献中提出使用Swin-Transformer代替原有backbone，从而实现了强语义信息的精细分辨率特征并有效提高目标捕获概率；然而，该方案中机械地将论文《Liu Z,Lin Y,Cao Y,et al.Swintransformer:Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF international conference on computer vision.2021:10012-10022.》的方法应用于交通图像敏感区域检测领域，其将Transformer应用于特征提取网络的多个环节，即在特征提取网络中的不同环节多次进行Transformer计算，忽略了在backbone网络各层多次使用Transformer技术造成的计算速度变慢以及设备计算资源受限问题，无法满足交通图像敏感信息检测任务对于效率的需求；另外该方案是在Faster R-CNN两阶段网络上进行改进。和一阶段网络相比，两阶段网络计算效率较低，计算速度较慢。
公布号为CN114863426A的专利申请文献中提出特征提取层的近末端加入空间金字塔池化，提高对局部小目标特征的感知能力，特征融合层嵌入关键小目标特征通道注意力和空间注意力做金字塔式融合，引入无锚解耦检测头，对提取的小目标特征进行目标检测，输出所检测目标的位置和类别；然而，该方案简单地应用论文《Hu J,Shen L,SunG.Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference oncomputer vision andpattern recognition.2018:7132-7141.》的方法，仅从“加权”的角度提升网络特征提取能力，忽略了特征层水平维度各对象间的关系建模，检测结果的性能有待进一步提升。
公布号为CN109299671A的专利申请文献中提出通过粗糙级训练和精细级训练两个步骤训练得到可识别船舶类型的深度卷积神经网络，但该方案是在网络设计上进行了Coarse-to-fine的设计，这种设计方式修改了网络结构，且极大影响的网络检测效率，检测速度慢、显存占用多，对于具有实时性需求的交通图像敏感信息处理任务十分不友好。
发明内容
本发明所要解决的技术问题在于如何实现对交通图像中的小尺寸敏感区域进行准确、高效地检测和脱敏。
本发明通过以下技术手段解决上述技术问题的：
提出了一种交通图像敏感区域脱敏方法，所述方法包括：
获取待检测的交通图像并输入至交通图像敏感区域检测网络，所述交通图像敏感区域检测网络包括依次连接的特征提取网络、特征金字塔网络和分类回归网络；
利用所述特征提取网络对所述待检测的交通图像进行特征提取，得到不同尺度的特征图；
将不同尺度的特征图输入至所述特征金字塔网络，将各特征图转换成统一尺寸后合并成融合特征图，并在所述融合特征图上进行Transformer计算，将Transformer计算得到的Transformer特征与原输入的不同尺度的特征图进行融合，得到强化特征图；
利用所述分类回归网络对所述强化特征图进行检测，得到敏感目标所在区域；
对所述敏感目标所在区域进行脱敏处理，得到脱敏后的交通图像。
进一步地，所述特征金字塔网络包括依次连接的第一特征融合模块、Transformer模块和第二特征融合模块；所述将各特征图转换成统一尺寸后合并成融合特征图，并在所述融合特征图上进行Transformer计算，将Transformer计算得到的Transformer特征与原输入的不同尺度的特征图进行融合，得到强化特征图，包括：
利用所述第一特征融合模块从各所述特征图中选取一特征图作为基准特征图，将其他特征图的尺寸转换至所述基准特征图的尺寸，并将尺寸相同的各特征图合并后经卷积核调整尺寸后得到所述融合特征图；
将所述融合特征图送入所述Transformer模块中进行Transformer计算，得到Transformer特征；
利用所述第二特征融合模块将所述Transformer特征的尺寸调整至原始特征金字塔上的特征尺寸后，与原输入特征进行融合，得到所述强化特征图。
进一步地，所述Transformer模块包括依次连接的像素级注意力模块和通道级注意力模块；
所述像素级注意力模块，用于在所述融合特征图的平面维度进行Transformer计算，得到像素级特征图；
所述通道级注意力模块，用于利用注意力机制建模所述像素级特征图各通道间的关系及其与任务的关系，得到Transformer特征。
进一步地，所述像素级注意力模块包括依次连接的编码器、归一化层LN_1、多头注意力机制、归一化层LN_2、多层感知机和解码器；
所述融合特征图作为所述编码器的输入，所述编码器的输出经归一化层LN_1连接多头注意力机制，所述多头注意力机制的输出和所述归一化层LN_1的输出拼接后输入至归一化层LN_2，归一化层LN_2的输出与多层感知机连接，多层感知机的输出和归一化层LN_2的输出拼接后输入至解码器。
进一步地，所述多头注意力机制的公式表示为：
式中，Q,K,V为Vx×y,c的线性映射，[·]T为转置操作，dk为K的维度，Vx×y,c为多头注意力机制的输入特征图，Attention(Q,K,V)表示多头注意力机制，softmax(·)表示激活函数，QT表示Q的转置。
进一步地，所述通道级注意力模块包括最大池化通道和平均池化通道，所述最大池化通道包括依次连接的最大池化层、全连接层FC_1和全连接层FC_2，所述平均池化通道包括依次连接的平均池化层、全连接层FC_3和全连接层FC_4，所述像素级特征图分别作为所述最大池化层和所述平均池化层的输入，各全连接层之后均连接有激活函数；
所述最大池化通道和所述平均池化通道的输出拼接后与所述像素级特征图相乘，得到所述Transformer特征。
进一步地，所述分类回归网络包括敏感区域的分类网络和敏感区域的位置回归网络，所述敏感区域的分类网络用于检测所述强化特征图的分类和中心点分数，所述敏感区域的位置回归网络用于检测所述强化特征图中每个点所对应的敏感区域范围。
进一步地，在所述获取待检测的交通图像并输入至交通图像敏感区域检测网络之前，所述方法还包括：
获取交通图像数据集，并对交通图像样本进行归一化处理，将交通图像样本的尺寸调整到低分辨率后输入至交通图像敏感区域检测网络进行粗训练，得到粗训练模型；
将交通图像样本的尺寸调整到高分辨率后输入至交通图像敏感区域检测网络进行细训练，得到用于进行敏感区域检测的网络模型。
进一步地，对于强化特征图的任意一点以及敏感区域位置回归的结果为(l*,r*,t*,b*)，在进行网络训练时，强化特征图中各像素点的回归目标为：
式中，Ccenter为特征点的中心分数，l*,r*,t*,b*为以特征点为中心到敏感区域最左侧距离、最右侧距离、最上侧距离和最下侧距离，min(·)为最小值函数，max(·)为最大值函数。
进一步地，在所述对所述敏感目标所在区域进行脱敏处理，得到脱敏后的交通图像之后，所述方法还包括：
使用泊松融合方法对脱敏后的敏感区域和原始像素之间存在的边界进行处理。
本发明的优点在于：
(1)本发明首先利用特征提取网络对交通图像进行特征提取，得到不同尺寸的特征图，接着将不同尺寸的特征图送入特征金字塔网络，在特征金字塔网络中先将各特征图转换成统一尺寸后进行合并，并在得到的融合特征图上进行Transformer计算，通过特征融合得到融合特征图提高了特征表达能力，减小了语义信息与纹理信息之间的差距，强化了特征图中不同通道和不同位置的特征重要程度，同时，在融合特征图上进行Transformer计算可以在保证足够计算效率的同时提高网络性能；特征金字塔网络输出的强化特征图送入分类回归网络进行敏感目标所在区域的检测，该分类回归网络采用一阶段目标检测框架在保证效率的前提下提升了网络性能，可以有效权衡性能和效率，从而实现对交通图像中的小尺寸敏感区域进行准确、高效地检测和脱敏。
(2)本发明先将不同尺寸的特征图进行融合，特征金字塔网络中的像素级注意力通道通过在一层融合特征图的平面维度进行Transformer计算，增加了图像像素和像素之间的关系标注，解决了已有方法利用卷积提取图像特征无法全局建模像素和像素间关系的弊端，从而提升了特征金字塔的特征提取能力，解决了多头注意力机制计算效率低、显存占用多等问题，提升了Transformer特征金字塔的效率。
(3)特征金字塔网络中采用的通道级注意力模块利用注意力机制建模图像各通道间的关系及其与任务的关系，提升网络对于不同任务的泛化能力及其性能，与像素级的特征优化方法一起使用，通过同时考虑特征图水平维度和通道维度像素，对网络特征提取能力进行优化，全面提升特征金字塔中各级特征的表达能力，从而提升网络性能。
(4)本发明所采用的Coarse-to-fine训练方法能够同时提升网络的性能和效率，尤其是针对车牌、人脸等小尺寸敏感信息的检测。该设计在不改变网络结构的前提下，通过图片尺寸的调整进行Coarse-to-fine训练，可轻松地使用于任何目标检测网络并提升其性能以及降低其训练时间。
(5)由于交通图像中敏感区域多为车牌、人脸的矩形形态，本发明在分类回归网络中的中心点分支的设计利用中心点分数的回归方式促使网络利用敏感区域中心点进行敏感区域的检测任务，提升网络性能。
(6)本发明使用泊松融合方法对处理过的敏感区域和原始像素之间存在的边界进行处理，解决上下文语言不对齐问题。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一实施例提出的一种交通图像敏感区域脱敏方法的流程示意图；
图2是本发明一实施例中交通图像敏感区域检测网络的结构示意图；
图3是本发明一实施例中交通图像敏感区域检测网络的训练原理框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例公开了一种交通图像敏感区域脱敏方法，所述方法包括以下步骤：
S10、获取待检测的交通图像并输入至交通图像敏感区域检测网络，所述交通图像敏感区域检测网络包括依次连接的特征提取网络、特征金字塔网络和分类回归网络；
需要说明的是，本实施例对获取的交通图像先进行归一化处理后再送入交通图像敏感区域检测网络中进行敏感区域检测。
S20、利用所述特征提取网络对所述待检测的交通图像进行特征提取，得到不同尺度的特征图；
需要说明的是，特征提取网络采用卷积神经网络，一般为图像分类网络，可以是ResNet50网络等，本实施例不作具体限定。
具体地，设定提取卷积神经网络的所有特征图中每一次缩小尺寸的前一层特征图作为Transformer特征金字塔网络的输入，若输入图像为224×224，则输出的特征图尺寸分别为：112×112、56×56、28×28、14×14、7×7。
S30、将不同尺度的特征图输入至所述特征金字塔网络，将各特征图转换成统一尺寸后合并成融合特征图，并在所述融合特征图上进行Transformer计算，将Transformer计算得到的Transformer特征与原输入的不同尺寸的特征图进行融合，得到强化特征图；
本实施例首先将原始输入的多层特征图变成融合特征，在融合特征上进行Transformer计算，将进行Transformer计算后的特征乘回到原始输入的多层特征图上。
S40、利用所述分类回归网络对所述强化特征图进行检测，得到敏感目标所在区域；
S50、对所述敏感目标所在区域进行脱敏处理，得到脱敏后的交通图像。
需要说明的是，本实施例对于特征提取网络输出的不同尺寸的特征先转换成统一尺寸后进行合并，并在得到的融合特征图上进行Transformer计算，通过特征融合得到融合特征图提高了特征表达能力，减小了语义信息与纹理信息之间的差距，强化了特征图中不同通道和不同位置的特征重要程度，同时，在融合特征图上进行Transformer计算可以在保证足够计算效率的同时提高网络性能。另外，特征金字塔网络输出的强化特征图送入分类回归网络进行敏感目标所在区域的检测，该分类回归网络采用一阶段目标检测框架，在保证效率的前提下提升了网络性能，从而实现对交通图像中的小尺寸敏感区域进行准确、高效地检测和脱敏。
在一实施例中，如图2所示，所述特征金字塔网络包括依次连接的第一特征融合模块、Transformer模块和第二特征融合模块；所述步骤S30：将各特征图转换成统一尺寸后合并成融合特征图，并在所述融合特征图上进行Transformer计算，将Transformer计算得到的Transformer特征与原输入的不同尺寸的特征图进行融合，得到强化特征图，包括以下步骤：
S31、利用所述第一特征融合模块从各所述特征图中选取一特征图作为基准特征图，将其他特征图的尺寸转换至所述基准特征图的尺寸，并将尺寸相同的各特征图合并后经卷积核调整尺寸后得到所述融合特征图；
S32、将所述融合特征图送入所述Transformer模块中进行Transformer计算，得到Transformer特征；
S33、利用所述第二特征融合模块将所述Transformer特征的尺寸调整至原始特征金字塔上的特征尺寸后，与原输入的不同尺寸的特征图进行融合，得到所述强化特征图。
具体地，设定将特征提取网络输出的特征图输入特征金字塔网络，从中抽取不同尺度大小的多尺寸交通图像5层特征图输入至第一特征融合模块，如图2所示，所述第一特征融合模块具体用于：使用双线性差值的方法将特征图C2～C4放大到特征图C1的尺寸，使用步长为2，尺寸为3×3×256的卷积核将C0特征图的尺寸压缩到C1特征C0～C4图的尺寸，使用堆叠操作来合并上述5层特征图。对于任意特征图Ci∈{C0,C1,...,C4}，其特征向量的尺寸为(wi,hi,di)，wi,hi为特征图水平面的宽和高，di为特征图的通道数。经过堆叠操作后获得尺寸为(w1,h1,5×di)的特征向量，然后使用尺寸为1×1×256的卷积核将其尺寸调整到(w1,h1,256)，作为Transformer模块的输入特征。
本实施例通过对特征提取网络输出的不同尺寸的特征图先进行融合处理，提高了特征表达能力，减小了语义信息与纹理信息之间的差距，强化了特征图中不同通道和不同位置的特征重要程度。同时，在融合特征上进行Transformer计算可以在保证足够计算效率的同时提高网络性能。
在一实施例中，所述Transformer模块包括依次连接的像素级注意力模块和通道级注意力模块；
所述像素级注意力模块，用于在所述融合特征图的平面维度进行Transformer计算，得到像素级特征图；
所述通道级注意力模块，用于利用注意力机制建模所述像素级特征图各通道间的关系及其与任务的关系，得到Transformer特征。
在一实施例中，如图2所示，所述像素级注意力模块包括依次连接的编码器、归一化层LN_1、多头注意力机制、归一化层LN_2、多层感知机和解码器；
所述融合特征图作为所述编码器的输入，所述编码器的输出经归一化层LN_1连接多头注意力机制，所述多头注意力机制的输出和所述归一化层LN_1的输出拼接后输入至归一化层LN_2，归一化层LN_2的输出与多层感知机连接，多层感知机的输出和归一化层LN_2的输出拼接后输入至解码器。
在一实施例中，像素级的特征优化方法包括一个编码器和解码器、层归一化(Layer normalization,LN)、多头注意力机制和一个多层感知机(Multi-layerperceptron,MLP)。对于融合特征Fx,y,c，其中(x,y)是水平层面的像素位置，c是通道位置，使用特征编码器将特征尺寸转化为Vx×y,c，在经过层归一化后，使用Vx×y,c作为多头注意力的机制，公式表示为：
式中，Q,K,V为Vx×y,c的线性映射，[·]T为转置操作，dk为K的维度，Vx×y,c为多头注意力机制的输入特征图，Attention(Q,K,V)表示多头注意力机制，softmax(·)表示激活函数，QT表示Q的转置。
本实施例中多头注意力模型使用多层感知机将Vx×y,c映射到不同的距离空间，Transformer机制利用上下文信息和多头注意力机制提升图像像素级别的特征表达能力，MLP将注意力信息映射到原始距离空间。
在一实施例中，所述通道级注意力模块包括最大池化通道和平均池化通道，所述最大池化通道包括依次连接的最大池化层、全连接层FC_1和全连接层FC_2，所述平均池化通道包括依次连接的平均池化层、全连接层FC_3和全连接层FC_4，所述像素级特征图分别作为所述最大池化层和所述平均池化层的输入，各全连接层之后均连接有激活函数；
所述最大池化通道和所述平均池化通道的输出拼接后与所述像素级特征图相乘，得到所述Transformer特征。
需要说明的是，在完成像素级特征优化后，通道级注意力模块使用最大池化操作(Max pooling)和平均池化操作(Averagepooling)获取通道值，使用全连接层(Fullyconnected layer)计算通道之间的相互关系，所学习的数值最终被用于乘到原始特征层的相应通道。
在一实施例中，对于经过像素级的特征优化和通道级的特征优化后，所述第二特征融合模块使用双线性差值和尺寸为3×3×256的卷积核调整Transformer特征到原始特征金字塔上的特征尺寸，并使用堆叠操作和1×1×256的卷积核融合原始特征作为Transformer特征金字塔的输出特征。
本实施例设计的Transformer特征金字塔的设计将自注意力机制融入传统特征金字塔网络中，在保证效率的前提下提升网络的特征提取能力，且Transformer特征金字塔可以在提供充足计算效率的前提下，通过即插即用的方式提高图像敏感区域的检测性能，并且可以简单、快速地与其他检测器相结合。
在一实施例中，如图2所示，所述分类回归网络包括敏感区域的分类网络和敏感区域的位置回归网络，所述敏感区域的分类网络用于检测所述强化特征图的分类和中心点分数，所述敏感区域的位置回归网络用于检测所述强化特征图中每个点所对应的敏感区域范围。
具体地，交通图像敏感区域的分类网络，用于对于Transformer特征金字塔的任意特征Fi∈{F0,F1,...,F4}，使用4层步长为2尺寸为3×3×256的卷积核对其进行子任务的处理，得到尺寸为Hi×Wi×256的特征图，其中(Hi,Wi)为Transformer特征金字塔中第i层特征的尺寸。使用3×3×C的卷积核对特征进行计算得到最终的敏感区域逐像素点分类结果，其中C为敏感区域类别数。
交通图像敏感区域的位置回归网络，用于对于Transformer特征金字塔的任意特征Fi∈{F0,F1,...,F4}，使用4层步长为2尺寸为3×3×256的卷积核对其进行子任务的处理，得到尺寸为Hi×Wi×256的特征图，其中(Hi,Wi)为Transformer特征金字塔中第i层特征的尺寸。使用3×3×4的卷积核对特征进行计算得到特征图中每个点所对应的敏感区域范围(l,r,t,b)，其中，l,r,t,b分别为以该点为中心的敏感区域最左侧距离、最右侧距离、最上侧距离和最下侧距离。由于交通图像敏感区域中，人脸、车牌等数据均为较规则的图形，除尺寸为3×3×4的卷积得到敏感区域范围以外，同时使用3×3×1得到中心点分数，用于描述该像素点为敏感区域中心点的概率，以满足尽可能使用中心点像素检测出敏感区域。
在一实施例中，在所述步骤S10中，在所述获取待检测的交通图像并输入至交通图像敏感区域检测网络之前，所述方法还包括以下步骤：
获取交通图像数据集，并对交通图像样本进行归一化处理，将交通图像样本的尺寸调整到低分辨率后输入至交通图像敏感区域检测网络进行粗训练，得到粗训练模型；
将交通图像样本的尺寸调整到高分辨率后输入至交通图像敏感区域检测网络进行细训练，得到用于进行敏感区域检测的网络模型。
具体地，本实施例对交通图像敏感区域检测网络的训练采用一种Coarse-to-fine的训练方式，包括交通图像敏感区域检测网络的粗训练、交通图像敏感区域检测网络的细训练和损失函数三个部分：
(1)交通图像敏感区域检测网络的粗训练：
统一调整所有样本图像尺寸为667×400，训练8个epoch。本实施例使用667×400的设置，相较于常用的方式是将所有图像分辨率统一调整到1333×800输入并训练12个epoch，本实施例输入的样本图像尺寸减小，训练时间大大少于原始分辨率。此外，由于交通图像中的敏感信息多为人脸、车牌等区域，属于小尺寸甚至是极小尺寸检测方法，本实施例将高分辨率的图像压缩到低分辨率可以有助于提高网络对于低分辨率(或小尺寸)图像的检测能力。粗训练具体包括以下步骤：
随机初始化所有网络权重，得到原始Transformer特征金字塔网络；将交通图像数据集的图像输入卷积神经网络进行处理，得到交通图像的特征图；选取C0～C4特征图作为Transformer特征金字塔的输入；将Transformer特征金字塔的输出作为交通图像分类回归网络的输入得到网络输出结果；计算网络输出结果和标注信息之间的损失函数，利用反向传播算法对损失函数进行梯度回传，从而修正网络参数。
(2)交通图像敏感区域检测网络的细训练：
在粗训练的基础上，将所有图像尺寸调整到1333×800后将学习率降低0.1倍以后再训练4个epoch以对网络进行“精修”，在粗训练后将图像尺寸调整至高分辨率，以提升网络对于常规尺寸图像的检测能力。Coarse-to-fine的训练方法是一种实用性极高的方法，通过图像尺寸的统一调整和分辨率的调整，实现检测器性能和效率的同时提高；具体包括以下步骤：
随机初始化所有网络权重，得到原始Transformer特征金字塔；将交通图像数据集的图像输入卷积神经网络进行处理，得到交通图像的特征图；选取C0～C4特征图作为Transformer特征金字塔的输入；将Transformer特征金字塔的输出作为交通图像分类回归网络的输入得到网络输出结果；计算网络输出结果和标注信息之间的损失函数，利用反向传播算法对损失函数进行梯度回传，从而修正网络参数。
(3)损失函数：
对于交通图像敏感区域检测网络的粗训练和细训练中涉及到的损失函数包括分类损失函数、回归损失函数和中心点概率损失函数，如下式所示：
Ltotal＝Lcls+Lreg+Lcenter
式中，Ltotal是总损失函数，Lcls是Focal损失函数，Lreg是IoU(IntersectionoverUnion)损失函数，Lcenter是二进制交叉熵损失函数，Npos是特征图中每个像素点，pi是分类的真实结果，是网络输出的分类结果，/>是Focal Loss函数，B是真实敏感区域，/>是网络输出的铭感区域，/>是交集合，/>是并集合，center是中心点真实计算结果，/>是中心点网络输出结果，BCE()是二进制交叉熵损失函数。
在检测结果的获取截断阶段，我们将中心性分支与回归分支相乘，以确保点位于预测边界框的中心。对于强化特征图的任意一点以及敏感区域位置回归的结果为(l*,r*,t*,b*)，在进行网络训练时，强化特征图中各像素点的回归目标为：
式中，Ccenter为特征点的中心分数，l*,r*,t*,b*为以特征点为中心到敏感区域最左侧距离、最右侧距离、最上侧距离和最下侧距离，min(·)为最小值函数，max(·)为最大值函数。
由于交通图像中敏感区域多为车牌、人脸的矩形形态，本实施例对中心点分支的设计利用(l,r,t,b)的回归方式促使网络利用敏感区域中心点进行敏感区域的检测任务，提升网络性能。
另外，针对交通图像数据中小尺寸敏感区域难以准确、高效检测的问题，本发明采用Coarse-to-fine训练方法能够同时提升网络的性能和效率，尤其是针对车牌、人脸等小尺寸敏感信息的检测。且该设计在不改变网络结构的前提下，通过图片尺寸的调整进行Coarse-to-fine训练，可轻松地适应于任何目标检测网络并提升其性能以及降低其训练时间。最后，通过一阶段目标检测方法框架提取图像基础特征，在保证效率的前提下提升了网络性能。
在一实施例中，所述步骤S50：对所述敏感目标所在区域进行脱敏处理，得到脱敏后的交通图像，具体包括：
对于任意检测到的敏感区域R＝(x,y,w,h)，对于RGB输出图像的任意通道C∈{C1,C2,C3}，取R＝(x,y,2×w,2×h)范围像素计算其平均值V＝(V1,V2,V3)，使用通道像素平均值Vi替换敏感区域R＝(x,y,w,h)中对应通道的像素以对敏感数据进行脱敏，其中(x,y)为敏感区域左下角坐标、(w,h)为敏感区域的宽和高。
在一实施例中，在所述步骤S50：对所述敏感目标所在区域进行脱敏处理，得到脱敏后的交通图像之后，所述方法还包括：
使用泊松融合方法对脱敏后的敏感区域和原始像素之间存在的边界进行处理。
本实施例使用泊松融合方法对处理过的敏感区域和原始像素之间存在的边界进行处理，解决上下文语言不对齐问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种交通图像敏感区域脱敏方法，其特征在于，所述方法包括：
获取待检测的交通图像并输入至交通图像敏感区域检测网络，所述交通图像敏感区域检测网络包括依次连接的特征提取网络、特征金字塔网络和分类回归网络；
利用所述特征提取网络对所述待检测的交通图像进行特征提取，得到不同尺度的特征图；
将不同尺度的特征图输入至所述特征金字塔网络，将各特征图转换成统一尺寸后合并成融合特征图，并在所述融合特征图上进行Transformer计算，将Transformer计算得到的Transformer特征与原输入的不同尺度的特征图进行融合，得到强化特征图；
利用所述分类回归网络对所述强化特征图进行检测，得到敏感目标所在区域；
对所述敏感目标所在区域进行脱敏处理，得到脱敏后的交通图像。
2.如权利要求1所述的交通图像敏感区域脱敏方法，其特征在于，所述特征金字塔网络包括依次连接的第一特征融合模块、Transformer模块和第二特征融合模块；所述将各特征图转换成统一尺寸后合并成融合特征图，并在所述融合特征图上进行Transformer计算，将Transformer计算得到的Transformer特征与原输入的不同尺度的特征图进行融合，得到强化特征图，包括：
利用所述第一特征融合模块从各所述特征图中选取一特征图作为基准特征图，将其他特征图的尺寸转换至所述基准特征图的尺寸，并将尺寸相同的各特征图合并后经卷积核调整尺寸后得到所述融合特征图；
将所述融合特征图送入所述Transformer模块中进行Transformer计算，得到Transformer特征；
利用所述第二特征融合模块将所述Transformer特征的尺寸调整至原始特征金字塔上的特征尺寸后，与原输入特征进行融合，得到所述强化特征图。
3.如权利要求2所述的交通图像敏感区域脱敏方法，其特征在于，所述Transformer模块包括依次连接的像素级注意力模块和通道级注意力模块；
所述像素级注意力模块，用于在所述融合特征图的平面维度进行Transformer计算，得到像素级特征图；
所述通道级注意力模块，用于利用注意力机制建模所述像素级特征图各通道间的关系及其与任务的关系，得到Transformer特征。
4.如权利要求3所述的交通图像敏感区域脱敏方法，其特征在于，所述像素级注意力模块包括依次连接的编码器、归一化层LN_1、多头注意力机制、归一化层LN_2、多层感知机和解码器；
所述融合特征图作为所述编码器的输入，所述编码器的输出经归一化层LN_1连接多头注意力机制，所述多头注意力机制的输出和所述归一化层LN_1的输出拼接后输入至归一化层LN_2，归一化层LN_2的输出与多层感知机连接，多层感知机的输出和归一化层LN_2的输出拼接后输入至解码器。
5.如权利要求4所述的交通图像敏感区域脱敏方法，其特征在于，所述多头注意力机制的公式表示为：
式中，Q,K,V为Vx×y,c的线性映射，[·]T为转置操作，dk为K的维度，Vx×y,c为多头注意力机制的输入特征图，Attention(Q,K,V)表示多头注意力机制，softmax(·)表示激活函数，QT表示Q的转置。
6.如权利要求3所述的交通图像敏感区域脱敏方法，其特征在于，所述通道级注意力模块包括最大池化通道和平均池化通道，所述最大池化通道包括依次连接的最大池化层、全连接层FC_1和全连接层FC_2，所述平均池化通道包括依次连接的平均池化层、全连接层FC_3和全连接层FC_4，所述像素级特征图分别作为所述最大池化层和所述平均池化层的输入，各全连接层之后均连接有激活函数；
所述最大池化通道和所述平均池化通道的输出拼接后与所述像素级特征图相乘，得到所述Transformer特征。
7.如权利要求6所述的交通图像敏感区域脱敏方法，其特征在于，所述分类回归网络包括敏感区域的分类网络和敏感区域的位置回归网络，所述敏感区域的分类网络用于检测所述强化特征图的分类和中心点分数，所述敏感区域的位置回归网络用于检测所述强化特征图中每个点所对应的敏感区域范围。
8.如权利要求1所述的交通图像敏感区域脱敏方法，其特征在于，在所述获取待检测的交通图像并输入至交通图像敏感区域检测网络之前，所述方法还包括：
获取交通图像数据集，并对交通图像样本进行归一化处理，将交通图像样本的尺寸调整到低分辨率后输入至交通图像敏感区域检测网络进行粗训练，得到粗训练模型；
将交通图像样本的尺寸调整到高分辨率后输入至交通图像敏感区域检测网络进行细训练，得到用于进行敏感区域检测的网络模型。
9.如权利要求8所述的交通图像敏感区域脱敏方法，其特征在于，对于强化特征图的任意一点以及敏感区域位置回归的结果为(l*,r*,t*,b*)，在进行网络训练时，强化特征图中各像素点的回归目标为：
式中，Ccenter为特征点的中心分数，l*,r*,t*,b*为以特征点为中心到敏感区域最左侧距离、最右侧距离、最上侧距离和最下侧距离，min(·)为最小值函数，max(·)为最大值函数。
10.如权利要求1所述的交通图像敏感区域脱敏方法，其特征在于，在所述对所述敏感目标所在区域进行脱敏处理，得到脱敏后的交通图像之后，所述方法还包括：
使用泊松融合方法对脱敏后的敏感区域和原始像素之间存在的边界进行处理。
CN202311423434.8A 2023-10-27 2023-10-27 交通图像敏感区域脱敏方法 Pending CN117372682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311423434.8A CN117372682A (zh) 2023-10-27 2023-10-27 交通图像敏感区域脱敏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311423434.8A CN117372682A (zh) 2023-10-27 2023-10-27 交通图像敏感区域脱敏方法

Publications (1)

Publication Number Publication Date
CN117372682A true CN117372682A (zh) 2024-01-09

Family

ID=89405627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311423434.8A Pending CN117372682A (zh) 2023-10-27 2023-10-27 交通图像敏感区域脱敏方法

Country Status (1)

Country Link
CN (1) CN117372682A (zh)

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
CN109241985B (zh) 一种图像识别方法及装置
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN111709416A (zh) 车牌定位方法、装置、系统及存储介质
CN114332620A (zh) 基于特征融合和注意力机制的机载图像车辆目标识别方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN116052026A (zh) 一种无人机航拍图像目标检测方法、系统及存储介质
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法
CN114708532A (zh) 一种监控视频质量评估方法、系统及存储介质
Qaddour et al. Automatic damaged vehicle estimator using enhanced deep learning algorithm
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN116740652B (zh) 一种基于神经网络模型的锈斑面积扩大的监测方法与系统
CN117274967A (zh) 一种基于卷积神经网络多模态融合车牌识别算法
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及系统
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
CN116309270A (zh) 一种基于双目图像的输电线路典型缺陷识别方法
CN117372682A (zh) 交通图像敏感区域脱敏方法
KY et al. Road pothole detection using yolov2 model
CN114549628A (zh) 一种电力杆倾斜检测方法、装置、设备及存储介质
CN112348823A (zh) 一种面向对象的高分辨率遥感影像分割算法
Frnda et al. Analysis of Pothole Detection Accuracy of Selected Object Detection Models Under Adverse Conditions
CN117274957B (zh) 一种基于深度学习的道路交通标志检测方法及系统
CN116612390B (zh) 一种建筑工程用的信息管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination