CN117132768A - 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质 - Google Patents

车牌及人脸检测和脱敏方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117132768A
CN117132768A CN202311406172.4A CN202311406172A CN117132768A CN 117132768 A CN117132768 A CN 117132768A CN 202311406172 A CN202311406172 A CN 202311406172A CN 117132768 A CN117132768 A CN 117132768A
Authority
CN
China
Prior art keywords
license plate
network model
sample data
face
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311406172.4A
Other languages
English (en)
Inventor
查宽
王志伟
方志杰
彭易锦
罗宇亮
江建山
黄乐涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GAC Aion New Energy Automobile Co Ltd
Original Assignee
GAC Aion New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GAC Aion New Energy Automobile Co Ltd filed Critical GAC Aion New Energy Automobile Co Ltd
Priority to CN202311406172.4A priority Critical patent/CN117132768A/zh
Publication of CN117132768A publication Critical patent/CN117132768A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请提供一种车牌及人脸检测和脱敏方法、装置、电子设备和存储介质，其中，车牌及人脸检测和脱敏方法包括：基于车牌人脸特征提取网络模型提取所述待检测图像的特征；基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域；对所述人脸区域和车牌区域进行脱敏处理；以及，所述车牌人脸特征提取网络模型基于以下方式训练得到：获取样本数据；对所述样本数据进行数据增强；基于所述样本数据训练所述车牌人脸特征提取网络模型。本申请能够识别图像中的车牌及人脸，并对车牌及人脸进行脱敏处理。

Description

车牌及人脸检测和脱敏方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种车牌及人脸检测和脱敏方法、装置、电子设备和存储介质。
背景技术
自动驾驶技术是一项基于人工智能和机器学习的创新技术，旨在使车辆能够在没有人类干预的情况下自主驾驶。随着科技的不断进步，自动驾驶技术已经取得了显著的发展，并逐渐应用于各个领域。在自动驾驶中，数据脱敏是保护个人隐私和保证数据安全的重要环节。在自动驾驶系统中，车辆会收集其他车辆、行人的图像和视频数据，其中包括人脸和车牌信息，这些信息是个人隐私的重要组成部分，如果不加以保护，可能会导致隐私泄露和滥用。
发明内容
本申请实施例的目的在于提供一种车牌及人脸检测和脱敏方法、装置、电子设备和存储介质，用以识别图像中的车牌及人脸，并对车牌及人脸进行脱敏处理。
第一方面，本发明提供一种车牌及人脸检测和脱敏方法，所述方法包括：
基于车牌人脸特征提取网络模型提取所述待检测图像的特征；
基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域；
对所述人脸区域和车牌区域进行脱敏处理；
以及，所述车牌人脸特征提取网络模型基于以下方式训练得到：
获取样本数据；
对所述样本数据进行数据增强；
基于所述样本数据训练所述车牌人脸特征提取网络模型。
在可选的实施方式中，所述获取样本数据包括：
获取场景数据，其中，所述场景数据基于车端6个不同视角的摄像头捕捉得到；
基于所述场景数据定位和标记出目标对象的位置和所述目标对象的大小，以得到所述样本数据，其中，所述目标对象包括人脸和车牌。
本申请第一方面的方法通过基于车牌人脸特征提取网络模型提取所述待检测图像的特征，进而能够基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域，进而能够对所述人脸区域和车牌区域进行脱敏处理，从而保护隐私，且相比训练多个模型分别脱敏车牌和人脸的方法耗时更短，部署更加方便。同时通过获取样本数据，进而能够对所述样本数据进行数据增强，从而能够基于所述样本数据训练所述车牌人脸特征提取网络模型。另一方面，在训练车牌人脸特征提取网络模型过程中，通过数据增强处理，可扩大样本数据的数量，减少模型过拟合，提高模型的鲁棒性。
在可选的实施方式中，所述获取样本数据包括：
获取场景数据，其中，所述场景数据基于车端6个不同视角的摄像头捕捉得到；
基于所述场景数据定位和标记出目标对象的位置和所述目标对象的大小，以得到所述样本数据，其中，所述目标对象包括人脸和车牌。
本可选的实施方式通过获取场景数据，进而能够基于所述场景数据定位和标记出目标对象的位置和所述目标对象的大小，以得到所述样本数据。同时，由于场景数据基于车端6个不同视角的摄像头捕捉得到，因此可在车端对不同视角的摄像头采集的数据进行有效的车牌、人脸检测与评估并对目标所在区域脱敏。
在可选的实施方式中，在所述基于所述样本数据训练所述车牌人脸特征提取网络模型之前，所述方法还包括：
搭建所述车牌人脸特征提取网络模型，其中，所述车牌人脸特征提取网络模型包括Resnet34主干网络、FPN网络和第一检测头、第二检测头、第三检测头，所述Resnet34主干网络用于提取特征，所述FPN网络用于丰富特征，所述第一个检测头用于检测目标对象的中心位置坐标，所述第二检测头用于所述目标对象的尺寸信息所述第三检测头用于检测所述目标对象的坐标偏移量；
对所述样本数据进行大小处理，以使所述样本数据所述车牌人脸特征提取网络模型的输入要求。
本可选的实施方式，通过Resnet34主干网络可初步提取图像特征，通过FPN网络，可以有效地从不同层级的特征图中提取信息，并将它们进行融合，以获得更全面和丰富的特征表示，通过三个检测头可检测目标对象的中心位置坐标、目标对象的坐标偏移量、目标对象的尺寸大小。
在可选的实施方式中，所述对所述样本数据进行数据增强包括：
对所述样本数据进行对比度调整、亮度调整以及增加噪声处理。
以及，所述基于所述样本数据训练所述车牌人脸特征提取网络模型，包括：
将所述样本数据输入到所述车牌人脸特征提取网络模型中，以训练所述车牌人脸特征提取网络模型；
获得所述车牌人脸特征提取网络模型输出结果，并基于Focal-Loss损失函数计算所述车牌人脸特征提取网络模型的输出结果与真实结果之间的差距，并基于输出结果与真实结果之间的差距迭代训练所述车牌人脸特征提取网络模型，直至所述车牌人脸特征提取网络模型满足条件。
本可选的实施方式通过Focal-Loss损失函数可解决难易样本数量不平衡问题。同时，采用对比度调整、亮度调整以及增加噪声处理这类数据增强技术扩大数据数量，可减少模型的过拟合，提高模型的鲁棒性。
在可选的实施方式中，所述基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域，包括：
从所述待检测图像的特征中提取heatmap特征，并从所述heatmap特征中取出前k个置信度最大的目标点；
基于k个所述目标点的位置信息，从所述待检测图像的特征中提取每个所述目标点的感知框的信息，其中，所述感知框的信息包括所述感知框的宽度、所述感知框的高度和所述感知框的位置偏移；
基于每个所述目标点的置信度从k个所述目标点中筛选出置信度大于第一阈值的目标点，得到筛选后的目标点，其中，所述筛选后的目标点的感知框为候选框；
基于非极大值抑制算法对所述候选框进行处理，并基于所述候选框的处理结果确定所述待检测图像中的人脸区域和车牌区域，其中，所述基于非极大值抑制算法对所述候选框进行处理，包括：
基于每个所述筛选后的目标点的置信度对所述候选框进行排序，并基于排序结果选择置信度最高的候选框作为初始选框；
从剩余的所述候选框中选择一个置信度最高的感知框，作为当前选框，计算所述当前选框与其他剩余候选框的重叠区域如果所述重叠区域大于第二阈值，则移除所述当前选框从移除，否则保留所述当前选框。
本可选的实施方式能够从所述待检测图像的特征中提取heatmap特征，从而能够基于heatmap特征确定所述待检测图像中的人脸区域和车牌区域，同时，通过非极大值抑制算法对所述候选框进行处理，能够去除那些与其他框重叠过多的冗余框，以提高检测的精度和降低重复检测的概率。
在可选的实施方式中，在所述基于所述样本数据训练所述车牌人脸特征提取网络模型之后，所述方法包括：
基于车辆和人脸的感知框的大小将所述车辆和人脸的感知框划分为n个范围；
计算每个所述范围内相同图片里标注车辆和人脸的感知框与预测车辆和人脸的感知框的交并比，并基于所述交并比确定车辆和人脸真正例TP，假正例FP、真负例TN、假负例FN；
基于所述车辆和人脸的真正例TP，假正例FP、真负例TN和假负例FN计算所述车辆和人脸在每个所述范围内的精确度、召回率以及F1分数，其中，所述精确度表征在所有被预测为正例的样本中，真正例的比例，召回率表征在所有实际为正例的样本中，被正确预测为正例的比例，所述F1分数是精确度和召回率的加权平均值。
本可选的实施方式能够基于车辆和人脸的感知框的大小将所述车辆和人脸的感知框划分为n个范围，进而能够计算所述车辆和人脸在每个所述范围内的精确度、召回率以及F1分数，进而能够基于精确度、召回率以及F1分数评估模型，同时，基于车辆和人脸的尺寸大小将目标划分为多个类别，不仅能够明确计算每个尺寸范围的目标的指标值，而且能够根据每个尺寸范围的指标值更加针对性的设计优化方法继续改善模型性能。
在可选的实施方式中，所述方法包括：
基于L1范数的剪枝方法对所述车牌人脸特征提取网络模型进行剪枝。
本可选的实施方式能够基于L1范数的剪枝方法对所述车牌人脸特征提取网络模型进行剪枝，从而使得剪枝的车牌人脸特征提取网络模型所需计算计算资源更少，使车牌人脸特征提取网络模型适用于计算资源紧张的车端。
第二方面，本发明提供一种车牌及人脸检测和脱敏装置，所述装置包括：
特征提取模块，用于基于车牌人脸特征提取网络模型提取所述待检测图像的特征；
确定模块，用于基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域；
脱敏模块，用于对所述人脸区域和车牌区域进行脱敏处理；
获取模块，用于获取样本数据；
数据增强模块，用于对所述样本数据进行数据增强；
训练模块，用于基于所述样本数据训练所述车牌人脸特征提取网络模型。
本申请第二方面的装置通过执行车牌及人脸检测和脱敏方法，能够基于车牌人脸特征提取网络模型提取所述待检测图像的特征，进而能够基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域，进而能够对所述人脸区域和车牌区域进行脱敏处理，从而保护隐私，且相比训练多个模型分别脱敏车牌和人脸的方法耗时更短，部署更加方便。同时通过获取样本数据，进而能够对所述样本数据进行数据增强，从而能够基于所述样本数据训练所述车牌人脸特征提取网络模型。另一方面，在训练车牌人脸特征提取网络模型过程中，通过数据增强处理，可扩大样本数据的数量，减少模型过拟合，提高模型的鲁棒性。
第三方面，本发明提供一种电子设备，包括：
处理器；以及
存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，执行如前述实施方式任一项所述的车牌及人脸检测和脱敏方法。
本申请第三方面的电子设备通过执行车牌及人脸检测和脱敏方法，能够基于车牌人脸特征提取网络模型提取所述待检测图像的特征，进而能够基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域，进而能够对所述人脸区域和车牌区域进行脱敏处理，从而保护隐私，且相比训练多个模型分别脱敏车牌和人脸的方法耗时更短，部署更加方便。同时通过获取样本数据，进而能够对所述样本数据进行数据增强，从而能够基于所述样本数据训练所述车牌人脸特征提取网络模型。另一方面，在训练车牌人脸特征提取网络模型过程中，通过数据增强处理，可扩大样本数据的数量，减少模型过拟合，提高模型的鲁棒性。
第四方面，本发明提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如前述实施方式任一项所述的车牌及人脸检测和脱敏装置。
本申请第四方面的存储介质通过执行车牌及人脸检测和脱敏方法，能够基于车牌人脸特征提取网络模型提取所述待检测图像的特征，进而能够基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域，进而能够对所述人脸区域和车牌区域进行脱敏处理，从而保护隐私，且相比训练多个模型分别脱敏车牌和人脸的方法耗时更短，部署更加方便。同时通过获取样本数据，进而能够对所述样本数据进行数据增强，从而能够基于所述样本数据训练所述车牌人脸特征提取网络模型。另一方面，在训练车牌人脸特征提取网络模型过程中，通过数据增强处理，可扩大样本数据的数量，减少模型过拟合，提高模型的鲁棒性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例公开的一种车牌及人脸检测和脱敏方法的流程示意图；
图2是本申请实施例公开的一种车牌及人脸检测和脱敏装置的结构示意图；
图3是本申请实施例公开的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
实施例一
请参阅图1，图1是本申请实施例公开的一种车牌及人脸检测和脱敏方法的流程示意图，如图1所示，本申请实施例的方法包括以下步骤：
104、基于车牌人脸特征提取网络模型提取待检测图像的特征；
105、基于待检测图像的特征确定待检测图像中的人脸区域和车牌区域；
106、对人脸区域和车牌区域进行脱敏处理；
以及，车牌人脸特征提取网络模型基于以下方式训练得到：
101、获取样本数据；
102、对样本数据进行数据增强；
103、基于样本数据训练车牌人脸特征提取网络模型。
在本申请实施例中，作为一种可选的实施方式中，步骤：获取样本数据包括以下步骤：
获取场景数据，其中，场景数据基于车端6个不同视角的摄像头捕捉得到；
基于场景数据定位和标记出目标对象的位置和目标对象的大小，以得到样本数据，其中，目标对象包括人脸和车牌。
本申请实施例的方法通过基于车牌人脸特征提取网络模型提取待检测图像的特征，进而能够基于待检测图像的特征确定待检测图像中的人脸区域和车牌区域，进而能够对人脸区域和车牌区域进行脱敏处理，从而保护隐私，且相比训练多个模型分别脱敏车牌和人脸的方法耗时更短，部署更加方便。同时通过获取样本数据，进而能够对样本数据进行数据增强，从而能够基于样本数据训练车牌人脸特征提取网络模型。另一方面，在训练车牌人脸特征提取网络模型过程中，通过数据增强处理，可扩大样本数据的数量，减少模型过拟合，提高模型的鲁棒性。
在本申请实施例中，待检测图像可以是车端上的任意一个摄像头所拍摄的实时图像。
在本申请实施例中，对人脸区域和车牌区域进行脱敏处理，能够屏蔽实时图像中的人脸区域和车牌区域，例如，可将实时图像中的人脸区域和车牌区域模糊化，使人脸区域和车牌区域无法被看清。再例如，可将实时图像中的人脸区域和车辆替换为其他图像，以遮挡人脸区域和车牌区域。
在本申请实施例中，样本数据可被划分为训练数据和测试数据，其中，训练数据用于训练模型，测试数据用于测试模型的参数是否满足条件。
在本申请实施例中，作为一种可选的实施方式，步骤：获取样本数据包括以下子步骤：
获取场景数据，其中，场景数据基于车端6个不同视角的摄像头捕捉得到，需要说明的是，场景数据还可以基于更多的车端摄像头得到，例如，基于车端的7个车端摄像头得到；
基于场景数据定位和标记出目标对象的位置和目标对象的大小，以得到样本数据，其中，目标对象包括人脸和车牌。
本可选的实施方式通过获取场景数据，进而能够基于场景数据定位和标记出目标对象的位置和目标对象的大小，以得到样本数据。同时，由于场景数据基于车端6个不同视角的摄像头捕捉得到，因此可在车端对不同视角的摄像头采集的数据进行有效的车牌、人脸检测与评估并对目标所在区域脱敏。
针对上述可选的实施方式，车端6个不同视角分别为前视、后视、左前、左后、右前、右后。进一步地，车端6个不同视角的摄像头用于采集多种场景的图像，从而将该图像作为场景数据。进一步地，车端6个不同视角的摄像头生成的图像为清晰、光照充足的图像。
在本申请实施例中，作为一种可选的实施方式，在步骤：基于样本数据训练车牌人脸特征提取网络模型之前，本申请实施例的方法还包括以下步骤：
搭建车牌人脸特征提取网络模型，其中，车牌人脸特征提取网络模型包括Resnet34主干网络、FPN网络和第一检测头、第二检测头、第三检测头， Resnet34主干网络用于提取特征， FPN网络用于丰富特征，第一个检测头用于检测目标对象的中心位置坐标，第二检测头用于目标对象的尺寸信息第三检测头用于检测目标对象的坐标偏移量；
对样本数据进行大小处理，以使样本数据车牌人脸特征提取网络模型的输入要求。
本可选的实施方式，通过Resnet34主干网络可初步提取图像特征，通过FPN网络，可以有效地从不同层级的特征图中提取信息，并将它们进行融合，以获得更全面和丰富的特征表示，通过三个检测头可检测目标对象的中心位置坐标、目标对象的坐标偏移量、目标对象的尺寸大小。
针对上述可选的实施方式，样本数据是指带有标注信息的图像，基于此，对样本数据进行大小处理是指对该图像的尺寸大小进行处理，以满足车牌人脸特征提取网络模型的输入要求，其中，车牌人脸特征提取网络模型对输入图像的要求可以是图像的尺寸为6*6寸，对此本申请实施例不作具体限定。
需要说明的是，针对Resnet34主干网络、FPN网络和检测头的具体结构和工作原理，请参阅现有技术，本申请实施例对此不作限定。
针对上述可选的实施方式，车牌人脸特征提取网络模型基于anchor-free算法实现，其中，anchor-free算法相比anchor-based检测速度更快。
在本申请实施例中，作为一种可选的实施方式，步骤：对样本数据进行数据增强包括：
对样本数据进行对比度调整、亮度调整以及增加噪声处理。
以及，步骤：基于样本数据训练车牌人脸特征提取网络模型，包括以下子步骤：
将样本数据输入到车牌人脸特征提取网络模型中，以训练车牌人脸特征提取网络模型；
获得车牌人脸特征提取网络模型输出结果，并基于Focal-Loss损失函数计算车牌人脸特征提取网络模型的输出结果与真实结果之间的差距，并基于输出结果与真实结果之间的差距迭代训练车牌人脸特征提取网络模型，直至车牌人脸特征提取网络模型满足条件。
本可选的实施方式通过Focal-Loss损失函数可解决难易样本数量不平衡问题。同时，采用对比度调整、亮度调整以及增加噪声处理这类数据增强技术扩大数据数量，可减少模型的过拟合，提高模型的鲁棒性。同时，通过Focal-Loss损失函数可解决难易样本数量不平衡问题，其中，Focal-Loss损失函数通过给予难以分类的样本更高的权重，它能够更加关注少数类别，从而提高模型对于这些少数类别的预测能力。这种策略有助于提高模型的性能和鲁棒性，使其在真实场景中更准确地检测目标。
针对上述可选的实施方式，对比度调整是通过调整图像的像素值范围来增加图像的对比度，这可以使图像中的细节更加清晰，有助于模型更好地学习和理解图像特征。进一步地，亮度调整是通过调整图像的亮度值来增强图像的明暗程度，这可以使图像的亮部和暗部更加鲜明，提升模型对光照变化的适应能力。进一步地，噪声可以模拟真实世界中的各种干扰和变化，使模型更具鲁棒性。针对上述可选的实施方式，进一步地，可基于L1 Loss计算感知框的宽度、高度的预测结果与真实结果的差异以及目标位置偏移量的预测结果与真实结果的差异。通过这种方式，能够对目标的位置和尺寸进行更精确的预测和定位。
在可选的实施方式中，步骤：基于待检测图像的特征确定待检测图像中的人脸区域和车牌区域，包括以下步骤：
从待检测图像的特征中提取heatmap特征，并从heatmap特征中取出前k个置信度最大的目标点；
基于k个目标点的位置信息，从待检测图像的特征中提取每个目标点的感知框的信息，其中，感知框的信息包括感知框的宽度、感知框的高度和感知框的位置偏移；
基于每个目标点的置信度从k个目标点中筛选出置信度大于第一阈值的目标点，得到筛选后的目标点，其中，筛选后的目标点的感知框为候选框；
基于非极大值抑制算法对候选框进行处理，并基于候选框的处理结果确定待检测图像中的人脸区域和车牌区域，其中，基于非极大值抑制算法对候选框进行处理，包括：
基于每个筛选后的目标点的置信度对候选框进行排序，并基于排序结果选择置信度最高的候选框作为初始选框；
从剩余的候选框中选择一个置信度最高的感知框，作为当前选框，计算当前选框与其他剩余候选框的重叠区域如果重叠区域大于第二阈值，则移除当前选框从移除，否则保留当前选框。
本可选的实施方式能够从待检测图像的特征中提取heatmap特征，从而能够基于heatmap特征确定待检测图像中的人脸区域和车牌区域，同时，通过非极大值抑制算法对候选框进行处理，能够去除那些与其他框重叠过多的冗余框，以提高检测的精度和降低重复检测的概率。
针对上述可选的实施方式，k可以是6、7或者10，对此k的具体数值，本申请实施例不作限定。
针对上述可选的实施方式，关于heatmap特征的详细说明，请参阅现有技术，本申请实施例对此不作限定。
在可选的实施方式中，在步骤：基于样本数据训练车牌人脸特征提取网络模型之后，本申请实施例的方法包括以下步骤：
基于车辆和人脸的感知框的大小将车辆和人脸的感知框划分为n个范围；
计算每个范围内相同图片里标注车辆和人脸的感知框与预测车辆和人脸的感知框的交并比，并基于交并比确定车辆和人脸真正例TP，假正例FP、真负例TN、假负例FN；
基于车辆和人脸的真正例TP，假正例FP、真负例TN和假负例FN计算车辆和人脸在每个范围内的精确度、召回率以及F1分数，其中，精确度表征在所有被预测为正例的样本中，真正例的比例，召回率表征在所有实际为正例的样本中，被正确预测为正例的比例，F1分数是精确度和召回率的加权平均值。
本可选的实施方式能够基于车辆和人脸的感知框的大小将车辆和人脸的感知框划分为n个范围，进而能够计算车辆和人脸在每个范围内的精确度、召回率以及F1分数，进而能够基于精确度、召回率以及F1分数评估模型，同时，基于车辆和人脸的尺寸大小将目标划分为多个类别，不仅能够明确计算每个尺寸范围的目标的指标值，而且能够根据每个尺寸范围的指标值更加针对性的设计优化方法继续改善模型性能。
针对上述可选的实施方式，n可以是2、3或者其他大于等于2的正整数。
针对上述可选的实施方式，作为一种示例，将每类目标的大小划分为n个范围，然后计算每个范围内，相同图片里标注目标的感知框与预测目标的感知框的交并比，如果交并比大于阈值s3，则视为检测正确作为真正例TP。我们通过这种方法计算得到每个范围内，每类目标的真正例TP，假正例FP、真负例TN、假负例FN。之后，根据真正例TP，假正例FP、真负例TN、假负例FN的值计算每个大小范围内，每类目标的精确度、召回率以及F1分数，用于评估模型性能，其中，精确度是指在所有被预测为正例的样本中，真正例的比例，其衡量了模型预测为正例的准确性，召回率是指在所有实际为正例的样本中，被正确预测为正例的比例，其衡量了模型对正例的覆盖能力，F1分数是精确度和召回率的加权平均值，其综合考虑了这两个指标。F1分数越高，表示模型在精确度和召回率上的表现越好。
针对上述可选的实施方式，进一步地，在模型评估后，可将精度最好的模型部署在车端，测试车端上模型推理多张图片的时间t1，然后计算推理单张图片的平均时间t2。
在本申请实施例中，作为一种可选的实施方式，本申请实施例的方法包括以下步骤：
基于L1范数的剪枝方法对车牌人脸特征提取网络模型进行剪枝。
本可选的实施方式能够基于L1范数的剪枝方法对车牌人脸特征提取网络模型进行剪枝，从而使得剪枝的车牌人脸特征提取网络模型所需计算计算资源更少，使车牌人脸特征提取网络模型适用于计算资源紧张的车端。
针对上述可选的实施方式，作为一种示例，采用基于L1范数的剪枝方法对精度最好的深度学习模型进行剪枝，对于每个卷积层的卷积，计算权重的绝对值之和作为每个卷积层中卷积通道的重要性判断依据，之后根据重要性排序，设置剪枝比例为q，根据剪枝比例修剪掉相对不重要的卷积得到新的模型结构，然后对新的模型结构通过迭代训练进行微调，之后对微调后的模型结构再次剪枝，重复剪枝、训练微调步骤n次，每重复一次，计算输出模型的精度和推理时间，在精度与剪枝前的模型精度对齐并且推理时间满足需求后，停止重复，得到目标模型。
在本申请实施例中，作为一种可选的实施方式，步骤：对人脸区域和车牌区域进行脱敏处理的一种具体方式为：
从覆盖图像提取目标区域，并将其尺寸缩小为指定的大小，进而基于最近邻插值法将缩小后的标区域还原到原始的大小（人脸区域或车牌区域的大小），最后，将还原后的目标区域覆盖到待检测图像中的人脸区域或车牌区域，从而实现脱敏效果。
实施例二
请参阅图2，图2是本申请实施例公开的一种车牌及人脸检测和脱敏装置的结构示意图，如图2所示，本申请实施例的装置包括以下功能模块：
特征提取模块204，用于基于车牌人脸特征提取网络模型提取待检测图像的特征；
确定模块205，用于基于待检测图像的特征确定待检测图像中的人脸区域和车牌区域；
脱敏模块206，用于对人脸区域和车牌区域进行脱敏处理；
获取模块201，用于获取样本数据；
数据增强模块202，用于对样本数据进行数据增强；
训练模块203，用于基于样本数据训练车牌人脸特征提取网络模型。
本申请实施例的装置通过执行车牌及人脸检测和脱敏方法，能够基于车牌人脸特征提取网络模型提取待检测图像的特征，进而能够基于待检测图像的特征确定待检测图像中的人脸区域和车牌区域，进而能够对人脸区域和车牌区域进行脱敏处理，从而保护隐私，且相比训练多个模型分别脱敏车牌和人脸的方法耗时更短，部署更加方便。同时通过获取样本数据，进而能够对样本数据进行数据增强，从而能够基于样本数据训练车牌人脸特征提取网络模型。另一方面，在训练车牌人脸特征提取网络模型过程中，通过数据增强处理，可扩大样本数据的数量，减少模型过拟合，提高模型的鲁棒性。
需要说明的是，关于本申请实施例的装置的其他详细说明，请参阅本申请实施例一的相关说明，本申请实施例对此不作赘述。
实施例三
请参阅图3，图3是本申请实施例公开的一种电子设备的结构示意图，如图3所示，本申请实施例的电子设备包括：
处理器301；以及
存储器302，配置用于存储机器可读指令，指令在由处理器301执行时，执行如前述实施方式任一项的车牌及人脸检测和脱敏方法。
本申请实施例的电子设备通过执行车牌及人脸检测和脱敏方法，能够基于车牌人脸特征提取网络模型提取待检测图像的特征，进而能够基于待检测图像的特征确定待检测图像中的人脸区域和车牌区域，进而能够对人脸区域和车牌区域进行脱敏处理，从而保护隐私，且相比训练多个模型分别脱敏车牌和人脸的方法耗时更短，部署更加方便。同时通过获取样本数据，进而能够对样本数据进行数据增强，从而能够基于样本数据训练车牌人脸特征提取网络模型。另一方面，在训练车牌人脸特征提取网络模型过程中，通过数据增强处理，可扩大样本数据的数量，减少模型过拟合，提高模型的鲁棒性。
实施例四
本申请实施例提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行如前述实施方式任一项的车牌及人脸检测和脱敏装置。
本申请实施例的存储介质通过执行车牌及人脸检测和脱敏方法，能够基于车牌人脸特征提取网络模型提取待检测图像的特征，进而能够基于待检测图像的特征确定待检测图像中的人脸区域和车牌区域，进而能够对人脸区域和车牌区域进行脱敏处理，从而保护隐私，且相比训练多个模型分别脱敏车牌和人脸的方法耗时更短，部署更加方便。同时通过获取样本数据，进而能够对样本数据进行数据增强，从而能够基于样本数据训练车牌人脸特征提取网络模型。另一方面，在训练车牌人脸特征提取网络模型过程中，通过数据增强处理，可扩大样本数据的数量，减少模型过拟合，提高模型的鲁棒性。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种车牌及人脸检测和脱敏方法，其特征在于，所述方法包括：
基于车牌人脸特征提取网络模型提取待检测图像的特征；
基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域；
对所述人脸区域和车牌区域进行脱敏处理；
以及，所述车牌人脸特征提取网络模型基于以下方式训练得到：
获取样本数据；
对所述样本数据进行数据增强；
基于所述样本数据训练所述车牌人脸特征提取网络模型。
2.如权利要求1所述的方法，其特征在于，所述获取样本数据包括：
获取场景数据，其中，所述场景数据基于车端6个不同视角的摄像头捕捉得到；
基于所述场景数据定位和标记出目标对象的位置和所述目标对象的大小，以得到所述样本数据，其中，所述目标对象包括人脸和车牌。
3.如权利要求1所述的方法，其特征在于，在所述基于所述样本数据训练所述车牌人脸特征提取网络模型之前，所述方法还包括：
搭建所述车牌人脸特征提取网络模型，其中，所述车牌人脸特征提取网络模型包括Resnet34主干网络、FPN网络和第一检测头、第二检测头、第三检测头，所述Resnet34主干网络用于提取特征，所述FPN网络用于丰富特征，所述第一个检测头用于检测目标对象的中心位置坐标，所述第二检测头用于所述目标对象的尺寸信息所述第三检测头用于检测所述目标对象的坐标偏移量；
对所述样本数据进行大小处理，以使所述样本数据所述车牌人脸特征提取网络模型的输入要求。
4.如权利要求1所述的方法，其特征在于，所述对所述样本数据进行数据增强包括：
对所述样本数据进行对比度调整、亮度调整以及增加噪声处理；
以及，所述基于所述样本数据训练所述车牌人脸特征提取网络模型，包括：
将所述样本数据输入到所述车牌人脸特征提取网络模型中，以训练所述车牌人脸特征提取网络模型；
获得所述车牌人脸特征提取网络模型输出结果，并基于Focal-Loss损失函数计算所述车牌人脸特征提取网络模型的输出结果与真实结果之间的差距，并基于输出结果与真实结果之间的差距迭代训练所述车牌人脸特征提取网络模型，直至所述车牌人脸特征提取网络模型满足条件。
5.如权利要求1所述的方法，其特征在于，所述基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域，包括：
从所述待检测图像的特征中提取heatmap特征，并从所述heatmap特征中取出前k个置信度最大的目标点；
基于k个所述目标点的位置信息，从所述待检测图像的特征中提取每个所述目标点的感知框的信息，其中，所述感知框的信息包括所述感知框的宽度、所述感知框的高度和所述感知框的位置偏移；
基于每个所述目标点的置信度从k个所述目标点中筛选出置信度大于第一阈值的目标点，得到筛选后的目标点，其中，所述筛选后的目标点的感知框为候选框；
基于非极大值抑制算法对所述候选框进行处理，并基于所述候选框的处理结果确定所述待检测图像中的人脸区域和车牌区域，其中，所述基于非极大值抑制算法对所述候选框进行处理，包括：
基于每个所述筛选后的目标点的置信度对所述候选框进行排序，并基于排序结果选择置信度最高的候选框作为初始选框；
从剩余的所述候选框中选择一个置信度最高的感知框，作为当前选框，计算所述当前选框与其他剩余候选框的重叠区域如果所述重叠区域大于第二阈值，则移除所述当前选框从移除，否则保留所述当前选框。
6.如权利要求1所述的方法，其特征在于，在所述基于所述样本数据训练所述车牌人脸特征提取网络模型之后，所述方法包括：
基于车辆和人脸的感知框的大小将所述车辆和人脸的感知框划分为n个范围；
计算每个所述范围内相同图片里标注车辆和人脸的感知框与预测车辆和人脸的感知框的交并比，并基于所述交并比确定车辆和人脸真正例TP，假正例FP、真负例TN、假负例FN；
基于所述车辆和人脸的真正例TP，假正例FP、真负例TN和假负例FN计算所述车辆和人脸在每个所述范围内的精确度、召回率以及F1分数，其中，所述精确度表征在所有被预测为正例的样本中，真正例的比例，召回率表征在所有实际为正例的样本中，被正确预测为正例的比例，所述F1分数是精确度和召回率的加权平均值。
7.如权利要求6所述的方法，其特征在于，所述方法包括：
基于L1范数的剪枝方法对所述车牌人脸特征提取网络模型进行剪枝。
8.一种车牌及人脸检测和脱敏装置，其特征在于，所述装置包括：
特征提取模块，用于基于车牌人脸特征提取网络模型提取待检测图像的特征；
确定模块，用于基于所述待检测图像的特征确定所述待检测图像中的人脸区域和车牌区域；
脱敏模块，用于对所述人脸区域和车牌区域进行脱敏处理；
获取模块，用于获取样本数据；
数据增强模块，用于对所述样本数据进行数据增强；
训练模块，用于基于所述样本数据训练所述车牌人脸特征提取网络模型。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，执行如权利要求1-7任一项所述的车牌及人脸检测和脱敏方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如权利要求1-7任一项所述的车牌及人脸检测和脱敏方法。
CN202311406172.4A 2023-10-27 2023-10-27 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质 Pending CN117132768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311406172.4A CN117132768A (zh) 2023-10-27 2023-10-27 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311406172.4A CN117132768A (zh) 2023-10-27 2023-10-27 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN117132768A true CN117132768A (zh) 2023-11-28

Family

ID=88851177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311406172.4A Pending CN117132768A (zh) 2023-10-27 2023-10-27 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117132768A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314909A (zh) * 2023-11-29 2023-12-29 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115935423A (zh) * 2022-12-26 2023-04-07 华南理工大学 关键隐私信息脱敏的行车记录方法、系统及存储介质
CN116186770A (zh) * 2023-02-14 2023-05-30 重庆长安汽车股份有限公司 图像脱敏方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115935423A (zh) * 2022-12-26 2023-04-07 华南理工大学 关键隐私信息脱敏的行车记录方法、系统及存储介质
CN116186770A (zh) * 2023-02-14 2023-05-30 重庆长安汽车股份有限公司 图像脱敏方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314909A (zh) * 2023-11-29 2023-12-29 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质
CN117314909B (zh) * 2023-11-29 2024-02-09 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN108810620A (zh) 识别视频中的关键时间点的方法、计算机设备及存储介质
CN110047095B (zh) 基于目标检测的跟踪方法、装置及终端设备
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN105930822A (zh) 一种人脸抓拍方法及系统
CN103905727B (zh) 被摄体区域跟踪设备及其控制方法
CN107358141B (zh) 数据识别的方法及装置
CN111210399B (zh) 一种成像质量评价方法、装置及设备
CN111914665B (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
CN105631418A (zh) 一种人数统计的方法和装置
CN110781853B (zh) 人群异常检测方法以及相关装置
CN117132768A (zh) 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质
CN103096117B (zh) 视频噪声检测方法及装置
CN110674680A (zh) 活体识别的方法、装置、存储介质
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
WO2022227548A1 (zh) 抛洒事件检测方法、装置、电子设备、存储介质及计算机程序产品
CN108932465B (zh) 降低人脸检测误检率的方法、装置及电子设备
CN111428589B (zh) 一种渐变转场的识别方法及系统
CN113221603A (zh) 一种检测监控设备被异物遮挡的方法及装置
WO2020217368A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN111553408B (zh) 视频识别软件自动测试的方法
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN115116136A (zh) 一种异常行为检测方法、装置、介质
CN110852172B (zh) 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination