CN114842035A - 基于深度学习的车牌脱敏方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于深度学习的车牌脱敏方法、装置、设备及存储介质，涉及人工智能技术领域，可解决目前在对车牌信息的进行脱敏时，工作量大、效率低，且出错率较高的技术问题。其中方法包括：将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息，其中，车牌轮廓信息用于表征目标车辆的车牌轮廓区域，车牌轮廓信息包括车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点；根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片；基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。

Description

基于深度学习的车牌脱敏方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及到一种基于深度学习的车牌脱敏方法、装置、设备及存储介质。

背景技术

线上卖车及线上展会需要对车辆图片进行展示，然而实际拍照场景比较复杂，导致车辆图片里会出现多个无关车辆，在车牌处还容易存在车商广告等干扰。为了保护车主隐私以及屏蔽别的车商的广告，需要对车牌及车牌广告做信息脱敏处理。

目前在对车牌信息的进行脱敏时，往往需要基于语义分割方法对图片上所有的点进行分类，进而由人工基于众多分类结果做后处理去选择占比最大或处于焦点位置的车牌区域，并对车牌区域手动进行脱敏处理。然而此种对图片上所有点进行分类的方式，会导致训练时的标注工作量巨大，且需要人工对分割结果做后处理，使工作效率较低，且易增加出错率。

发明内容

有鉴于此，本申请提供了一种基于深度学习的车牌脱敏方法、装置、设备及存储介质，可用于解决目前在进行车牌信息的脱敏处理时，工作量大、效率低，且出错率较高的技术问题。

根据本申请的一个方面，提供了一种基于深度学习的车牌脱敏方法，该方法包括：

将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取所述第一车辆图片中所包含目标车辆的车牌轮廓信息，其中，所述车牌轮廓信息用于表征所述目标车辆的车牌轮廓区域，所述车牌轮廓信息包括车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点；

根据所述车牌轮廓信息对所述第一车辆图片进行图像分割，得到所述车牌轮廓区域对应的车牌轮廓图片；

基于所述车牌轮廓图片，并按照预设脱敏规则对所述车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。

根据本申请的另一个方面，提供了一种基于深度学习的车牌脱敏装置，该装置包括：

获取模块，用于将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取所述第一车辆图片中所包含目标车辆的车牌轮廓信息，其中，所述车牌轮廓信息用于表征所述目标车辆的车牌轮廓区域，所述车牌轮廓信息包括车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点；

分割模块，用于根据所述车牌轮廓信息对所述第一车辆图片进行图像分割，得到所述车牌轮廓区域对应的车牌轮廓图片；

第一处理模块，用于基于所述车牌轮廓图片，并按照预设脱敏规则对所述车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。

根据本申请的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述基于深度学习的车牌脱敏方法。

根据本申请的再一个方面，提供了一种计算机设备，包括可读存储介质、处理器及存储在可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于深度学习的车牌脱敏方法。

借由上述技术方案，本申请提供的一种基于深度学习的车牌脱敏方法、装置、设备及存储介质，与目前车牌脱敏的方式相比，本申请可首先将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息；进而根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片；最后基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。本申请中的技术方案，可将深度学习模型与感兴趣区域提取相结合，利用深度学习模型检测并分割车辆图片上的感兴趣区域，直接获取到车牌轮廓信息。由于基于深度学习的目标分割特征表达能力强，且不需要手动设计特征，端到端的网络流程简单、便于理解、容易训练，仅需要分割感兴趣目标，不仅能够降低标注工作量，训练难度也相应降低更有利于模型收敛。此外，在分割得到车牌轮廓图片后，可直接按照预设脱敏规则实现对车牌轮廓区域的快速脱敏处理，不需要人工大量参与，进而可提高脱敏处理的工作效率，降低出错率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种基于深度学习的车牌脱敏方法的流程示意图；

图2示出了本申请实施例提供的另一种基于深度学习的车牌脱敏方法的流程示意图；

图3示出了本申请实施例提供的一种基于深度学习的车牌脱敏的原理流程示意图；

图4示出了本申请实施例提供的一种基于深度学习的车牌脱敏装置的结构示意图；

图5示出了本申请实施例提供的另一种基于深度学习的车牌脱敏装置的结构示意图。

具体实施方式

本申请实施例可以基于人工智能技术对车牌信息进行脱敏处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请应用于人工智能软件技术中的深度学习技术。

下文将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

针对目前在对车牌信息的进行脱敏时，工作量大、效率低，且出错率较高的技术问题，本申请提供了一种基于深度学习的车牌脱敏方法，如图1所示，该方法包括：

101、将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息，其中，车牌轮廓信息用于表征目标车辆的车牌轮廓区域，车牌轮廓信息包括车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点。

其中，第一车辆图片为采集到的至少包含一个完整车牌的车辆图片，本申请旨在对第一车辆图片中的车牌信息进行脱敏处理，脱敏处理是指通过一定方法在车辆图片上消除或遮盖车牌敏感信息(如车牌号)，以防止车牌敏感信息随着第一车辆图片的曝光而发生信息泄露。对于本实施例，由于本申请中不关注车牌之外的其他类别，故在本实施例中可仅设置车牌轮廓这一个类别，即车牌轮廓类别对应为“是”或“否”，当车牌轮廓类别对应为“是”时，车牌轮廓信息还包括车牌轮廓位置坐标、车牌轮廓对应的像素点，车牌轮廓位置坐标、车牌轮廓对应的像素点分别对应目标车辆车牌轮廓所包含N个点的位置坐标以及像素点。相应的，车牌轮廓区域为用该N个点的连线所逼近得到的不规则图形，在该不规则图形内，所有像素点的像素值为255，而车牌轮廓区域外图像像素值都为0，所呈现出不规则图形内显示白色，不规则图形外显示黑色。

深度学习模型是二阶段网络，在利用深度学习模型获取第一车辆图片中所包含目标车辆的车牌轮廓信息时，可首先使用深度学习模型中特征金字塔(FPN)结构的残差网络Resnet50提取特征，可以兼顾大目标需要的深层的特征以及小目标需要的浅层特征。然后利用深度学习模型中的区域候选网络(RPN)生成候选区域，利用深度模型的ROIAlign提取感兴趣区域。输出层是三个分支，分别做分类、回归和分割三个任务。具体的，分类分支(class)用于预测目标类别，回归分支(box)用于预测目标位置坐标，分割分支(mask)用于预测目标像素点。对于本实施例，将第一车辆图片输入训练完成的深度学习模型中，即可获取到第一车辆图片中所包含目标车辆的车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点，其中，车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点用于表征目标车辆的车牌轮廓区域。

对于本申请的执行主体可为用于进行车牌信息脱敏处理的装置或设备，可配置在服务端侧或客户端侧，能够提高车牌脱敏处理的精度与效率。在该装置或设备中配置有预训练完成的深度学习模型，用于利用深度学习模型获取第一车辆图片中所包含目标车辆的车牌轮廓信息，并根据车牌轮廓信息确定出目标车辆的车牌轮廓区域；进一步的，可根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片；基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。

102、根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片。

对于本实施例，在获取到第一车辆图片中所包含目标车辆的车牌轮廓信息后，可根据车牌轮廓信息确定目标车辆的感兴趣区域，即用车牌轮廓信息中所包含N个点的位置连线去逼近得到不规则的车牌轮廓区域，进而根据车牌轮廓区域对第一车辆图片进行图像分割处理，以提取到车牌轮廓区域对应的车牌轮廓图片，并将车牌轮廓图片拟合为最接近的四边形，在车牌轮廓图片对应的有序四边形中，车牌轮廓区域内图像像素值为255，而车牌轮廓区域外图像像素值都为0。

103、基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。

其中，预设脱敏规则可包括利用预设类目图片替换第一车辆图片中车牌轮廓区域的第一脱敏规则，以及包括直接对车牌轮廓区域进行马赛克处理的第二脱敏规则。

通过本实施例中基于深度学习的车牌脱敏方法，可首先将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息；进而根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片；最后基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。本申请中的技术方案，可将深度学习模型与感兴趣区域提取相结合，利用深度学习模型检测并分割车辆图片上的感兴趣区域，直接获取到车牌轮廓信息。由于基于深度学习的目标分割特征表达能力强，且不需要手动设计特征，端到端的网络流程简单、便于理解、容易训练，仅需要分割感兴趣目标，不仅能够降低标注工作量，训练难度也相应降低更有利于模型收敛。此外，在分割得到车牌轮廓图片后，可直接按照预设脱敏规则实现对车牌轮廓区域的快速脱敏处理，不需要人工大量参与，进而可提高脱敏处理的工作效率，降低出错率。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种基于深度学习的车牌脱敏方法，如图2所示，该方法包括：

201、将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息，其中，车牌轮廓信息用于表征目标车辆的车牌轮廓区域，车牌轮廓信息包括车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点。

在具体的应用场景中，在执行本实施例步骤之前，需要利用样本车辆图片对深度学习模型进行预训练，以保证深度学习模型所识别出的车牌轮廓信息的精准度。相应的，实施例步骤具体可以包括：获取包含至少一个完整车牌的样本车辆图片；对样本车辆图片进行车牌轮廓的数据标注处理，得到车牌标注信息，其中，车牌标注信息用于表征车牌的感兴趣区域，车牌标注信息包括车牌标注类别、车牌标注坐标、车牌标注像素点；将配置车牌标注信息的样本车辆图片输入深度学习模型，利用深度学习模型输出车牌预测信息，计算车牌预测信息与车牌标注信息的信息相似度，若判定信息相似度大于预设相似度阈值，则确定深度学习模型训练完成。预设相似度阈值为大于0且小于1的数值，具体数值可根据实际应用场景进行设定，当设定的预设相似度阈值越接近于1，表示所训练深度学习模型的精准度越高。

在具体的应用场景中，在同一第一车辆图片中提取出的车牌轮廓区域可包括一个或多个，当第一车辆图片中包含一个车牌轮廓区域时，可直接进一步执行实施例步骤202a～205a，或执行实施例步骤202b，对该车牌轮廓区域进行车牌的脱敏处理。当第一车辆图片中包含多个车牌轮廓区域时，作为一种可选方式，可输出车牌轮廓信息提取异常的提示信息，并输出第一车辆图片不满足条件的原因(如第一车辆图片中存在多个车牌轮廓区域)，以便用户重新进行车辆图片的拍摄与录入；作为另一种可选方式，可基于车牌轮廓信息，生成包含车牌轮廓区域的检测框，并提示用户通过检测框选取待进行脱敏处理的车牌轮廓区域；若未接收到用户对车牌轮廓区域的选取指令，作为又一种可选方式，当第一车辆图片中存在多个车牌轮廓区域时，可按照车牌轮廓的识别顺序(如由左至右、由上至下等)，或按照空间占比、所处坐标位置(如按照空间占比大小、按照与图片焦点位置的距离大小)，为多个车牌轮廓区域配置脱敏优先级，进而按照脱敏优先级由大至小的顺序依次执行实施例步骤202a～205a或202b，进行车牌信息的脱敏处理。此外，还可筛选出脱敏优先级最大的目标车牌轮廓区域，进一步执行实施例步骤202a～205a或202b，对第一车辆图片中的目标车牌轮廓区域进行车牌的脱敏处理。需要说明的是，对于同一车辆图片包含多个车牌轮廓区域时，对车牌的脱敏处理并不限于上述三种所描述的示例性实现场景，还可包括其他任意可实现的技术方案，在此不进行穷举。

相应的，实施例步骤具体可以包括：根据车牌轮廓信息判断第一车辆图片中是否存在多个车牌轮廓区域；若是，则根据车牌轮廓信息生成多个车牌轮廓区域的检测框，并响应于用户对检测框的选定指令，对用户选定的车牌轮廓区域进行脱敏处理；或，根据优先级配置规则为多个车牌轮廓区域配置脱敏优先级，并基于脱敏优先级由大至小的顺序，按照预设脱敏规则对车牌轮廓区域进行脱敏处理；或，在多个车牌轮廓区域中确定对应最大脱敏优先级的目标车牌轮廓区域，按照预设脱敏规则对目标车牌轮廓区域进行脱敏处理。

例如，在同一个第一车辆图片中包含两个车牌轮廓区域时，可按照由左至右的顺序，确定两个车牌轮廓区域的脱敏优先级，并按照脱敏优先级由大至小的顺序进行车牌信息的脱敏处理，即对于包含两个车牌轮廓区域的第一车辆图片需要依次执行两次车牌信息的脱敏过程。再例如，在同一个第一车辆图片中包含两个车牌轮廓区域时，可按照与图片焦点位置的距离大小，在两个车牌轮廓区域中择优选取较接近于焦点位置的目标车牌轮廓区域(可忽略距离焦点位置较远的车牌轮廓区域)，对所选取出的目标车牌轮廓区域进行车牌信息的脱敏处理，即对于包含两个车牌轮廓区域的第一车辆图片也可择优执行车牌信息脱敏的处理过程。

202a、根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片。

对于本实施例，在确定得到目标车辆的车牌轮廓信息后，为了进行对车牌的精准脱敏处理，可首先根据车牌轮廓信息确定车牌轮廓区域，并根据车牌轮廓区域对第一车辆图片进行图像分割，得到车牌轮廓图片。鉴于车牌轮廓区域是利用N个点的连线去逼近得到的不规则图形，故为了避免初始车牌轮廓图片依然存在边缘模糊以及不规则的问题，还可进一步对车牌轮廓图片进行非极大值抑制处理。相应的，实施例步骤还包括：对车牌轮廓图片进行非极大值抑制处理，以得到轮廓清晰的车牌轮廓图片。其中，非极大值抑制简称为NMS算法，英文为Non-Maximum Suppression。在对车牌轮廓图片进行非极大值抑制处理时，可以将车牌轮廓图片对应边缘像素点中局部最大值之外的所有梯度值抑制为0，通过抑制孤立的弱边缘最终获取得到边缘轮廓清晰，且逼近于有序四边形的车牌轮廓图片。

203a、利用单应性变换将预设类目图片中的像素值映射至车牌轮廓图片中的对应像素点位置，得到车牌前景图。

其中，单应性变换是将一个平面内的点映射到另一个平面内的二维投影变换，在本实施例中，平面是指图片。预设类目图片为用于替换第一车辆图片中车牌轮廓图片的预设图片，如可为预设车牌LOGO矢量图，预设车牌LOGO矢量图中的显示内容具体可根据实际应用场景进行确定，在此不进行具体的限定。在具体的应用场景中，在执行本实施例步骤之前，还可包括：获取用于进行车牌替换的预设类目图片，并对预设类目图片进行缩放处理，以使缩放处理后的预设类目图片与车牌轮廓区域相同宽高。将预设类目图片缩放处理至与车牌轮廓区域相同宽高，目的在于方便将预设类目图片中各个图像位置下的像素值映射至车牌轮廓图片中车牌轮廓区域的对应像素点位置。

相应的，在基于预设类目图片以及车牌轮廓图片确定车牌前景图时，实施例步骤203a具体可以包括：确定同一图像位置坐标下预设类目图片的第一像素点，以及车牌轮廓图片的第二像素点；计算第一像素点和第二像素点关于像素值的单应性矩阵，并依据单应性矩阵将预设类目图片中的像素值映射至车牌轮廓图片中的对应像素点位置，得到车牌前景图。车牌前景图中，车牌轮廓区域显示为预设类目图片，车牌轮廓区域外的像素值都为0。

204a、对车牌轮廓图片进行像素取反处理，并将像素取反处理后的车牌轮廓图片与第一车辆图片进行像素点相乘，得到目标车辆对应车牌之外的车牌背景图。

对于本实施例，对于车牌轮廓图片，车牌轮廓区域内所包含像素点的像素值为255，车牌轮廓外的像素值都为0，故通过对车牌轮廓图片进行像素取反处理，即可将车牌轮廓内所包含像素点的像素值由255变为0(由白色变为黑色)，将车牌轮廓外的像素值由0变为255(由黑色变为白色)。将像素取反处理后的车牌轮廓图片与第一车辆图片进行像素点相乘，即可获取得到目标车辆对应车牌轮廓区域之外的车牌背景图，在车牌背景图中，车牌轮廓区域内的像素值为0，车牌轮廓区域外显示第一车辆图片的原车牌外图像。

205a、将车牌前景图和车牌背景图进行像素叠加，得到完成车牌替换的第二车辆图片，其中，第二车辆图片对应为车牌轮廓区域为预设类目图片的第一车辆图片。

对于本实施例，通过将车牌前景图和车牌背景图进行像素叠加，可将预设类目图片完全填充至第一车辆图片中的车牌轮廓区域，即利用预设类目图片实现对车牌轮廓区域内所展示车牌轮廓图片的替换，进一步像素叠加得到第二车辆图片。

对于实施例步骤202a～205a所描述的，利用预设类目图片替换第一车辆图片中车牌轮廓区域，对第一车辆图片进行车牌信息脱敏处理的第一种可选实施方案，具体实现过程可参见图3所示，在获取到第一车辆图片后，可将第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息，并利用车牌轮廓信息分割得到车牌轮廓图片，车牌轮廓图片对应的车牌轮廓区域内所包含像素点的像素值为255(显示白色)，车牌轮廓区域外的像素值都为0(显示黑色)；进而可将车牌轮廓图片拟合为最接近的四边形，得到轮廓清晰的车牌轮廓图片，并依据有序四边形的车牌轮廓图片对预设类目图片(如xx租赁)进行缩放处理，以使缩放处理后的预设类目图片与车牌轮廓区域相同宽高；进一步的，可单应性变换将预设类目图片中的像素值映射至车牌轮廓图片中对应车牌轮廓区域的像素点位置，得到车牌前景图，其中，车牌前景图中，车牌轮廓区域显示为预设类目图片，车牌轮廓区域外的像素值都为0；此外，还可对车牌轮廓图片进行像素取反，并将像素取反处理后的车牌轮廓图片与背景模糊后的第一车辆图片进行像素点相乘，得到目标车辆对应车牌之外的车牌背景图，车牌背景图对应为车牌轮廓区域为像素0的第一车辆图片。最后通过将车牌前景图和车牌背景图进行像素叠加，即可得到完成车牌替换的第二车辆图片，第二车辆图片对应为车牌轮廓区域为预设类目图片的第一车辆图片。

与实施例步骤202a对应的实施例步骤202b、根据车牌轮廓信息确定目标车辆的车牌轮廓区域，对车牌轮廓区域进行马赛克处理，得到车牌脱敏完成的第二车辆图片。

在具体的应用场景中，作为与实施例步骤202a～205a并列的另一种可选实施例，在对第一车辆图片的车牌轮廓区域进行脱敏处理时，还可首先根据车牌轮廓信息确定出第一车辆图片所包含的车牌轮廓区域，进而直接对车牌轮廓区域进行马赛克处理。马赛克处理可采用现有的任一种可选实施方式，如作为一种可选方式，可使用OpenGL算法直接对车牌轮廓区域进行马赛克处理；作为另一种可选方式，还可通过将车牌轮廓区域划分为多个单元块，提取各个单元块的色彩特征，并根据色彩特征选取各个单元块的填充图像，利用填充图像填充对应的单元块，得到马赛克处理结果；作为又一种可选方式，还可获取车牌轮廓区域内所包含的像素点，以及各个像素点对应的邻域像素点，利用任一邻域像素点更新其他邻域像素点，得到马赛克处理结果。

借由上述基于深度学习的车牌脱敏方法，可首先将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息；进而根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片；最后基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。本申请中的技术方案，可将深度学习模型与感兴趣区域提取相结合，利用深度学习模型检测并分割车辆图片上的感兴趣区域，直接获取到车牌轮廓图片。在模型训练过程中，仅需要进行感兴趣目标的标注，能够降低标注工作量，训练难度也相应降低更有利于模型收敛。此外，深度学习模型不仅仅可以学习车牌特征，还可以学习车牌的位置、形状、大小、颜色等特征，因此不会因为背景和前景都有车牌而产生歧义。在分割得到车牌轮廓图片后，可直接按照预设脱敏规则实现对车牌轮廓区域的快速脱敏处理，不需要人工大量参与，进而可提高脱敏处理的工作效率，降低出错率。

进一步的，作为图1和图2所示方法的具体实现，本申请实施例提供了一种基于深度学习的车牌脱敏装置，如图4所示，该装置包括：获取模块31、确定模块32、第一处理模块33；

获取模块31，可用于将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息，其中，车牌轮廓信息用于表征目标车辆的车牌轮廓区域，车牌轮廓信息包括车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点；

分割模块32，可用于根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片；

第一处理模块33，可用于基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。

在具体的应用场景中，为实现对深度学习模型的预训练，如图5所示，该装置还包括：训练模块34；

训练模块34，可用于获取包含至少一个完整车牌的样本车辆图片；对样本车辆图片进行车牌轮廓的数据标注处理，得到车牌标注信息，其中，车牌标注信息用于表征车牌的感兴趣区域，车牌标注信息包括车牌标注类别、车牌标注坐标、车牌标注像素点；将配置车牌标注信息的样本车辆图片输入深度学习模型，利用深度学习模型输出车牌预测信息，计算车牌预测信息与车牌标注信息的信息相似度，若判定信息相似度大于预设相似度阈值，则确定深度学习模型训练完成。

在具体的应用场景中，如图5所示，该装置还包括：第二处理模块35、第三处理模块36；

在利用第一处理模块33按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片之前，还可利用第二处理模块35，对车牌轮廓图片进行非极大值抑制处理，以得到轮廓清晰的车牌轮廓图片；以及利用第三处理模块36，获取用于进行车牌替换的预设类目图片，并对预设类目图片进行缩放处理，以使缩放处理后的预设类目图片与车牌轮廓区域相同宽高。

在具体的应用场景中，在基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片时，第一处理模块33，具体可用于利用单应性变换将预设类目图片中的像素值映射至车牌轮廓图片中的对应像素点位置，得到车牌前景图；对车牌轮廓图片进行像素取反处理，并将像素取反处理后的车牌轮廓图片与第一车辆图片进行像素点相乘，得到目标车辆对应车牌之外的车牌背景图；将车牌前景图和车牌背景图进行像素叠加，得到完成车牌替换的第二车辆图片，其中，第二车辆图片为车牌轮廓区域为预设类目图片的第一车辆图片。

相应的，在利用单应性变换算法将预设类目图片中的像素值映射至车牌轮廓图片中的对应像素点位置，得到车牌前景图时，第一处理模块33，具体可用于确定同一图像位置坐标下预设类目图片的第一像素点，以及车牌轮廓图片的第二像素点；计算第一像素点和第二像素点关于像素值的单应性矩阵，并依据单应性矩阵将预设类目图片中的像素值映射至车牌轮廓图片中的对应像素点位置，得到车牌前景图。

在具体的应用场景中，在对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片时，如图5所示，该装置还包括：第四处理模块37；

第四处理模块37，可用于根据车牌轮廓信息确定目标车辆的车牌轮廓区域，对车牌轮廓区域进行马赛克处理，得到车牌脱敏完成的第二车辆图片。

在具体的应用场景中，如图5所示，为实现对多个车牌轮廓区域的脱敏处理，该装置还包括：判断模块38；

判断模块38，可用于根据车牌轮廓信息判断第一车辆图片中是否存在多个车牌轮廓区域；

若判断第一车辆图片中存在多个车牌轮廓区域，则利用第一处理模块33或第四处理模块37根据车牌轮廓信息生成多个车牌轮廓区域的检测框，并响应于用户对检测框的选定指令，对用户选定的车牌轮廓区域进行脱敏处理；或，

利用第一处理模块33或第四处理模块37根据优先级配置规则为多个车牌轮廓区域配置脱敏优先级，并基于脱敏优先级由大至小的顺序，按照预设脱敏规则对车牌轮廓区域进行脱敏处理；或，

利用第一处理模块33或第四处理模块37在多个车牌轮廓区域中确定对应最大脱敏优先级的目标车牌轮廓区域，按照预设脱敏规则对目标车牌轮廓区域进行脱敏处理。

需要说明的是，本实施例提供的一种基于深度学习的车牌脱敏装置所涉及各功能单元的其他相应描述，可以参考图1至图2的对应描述，在此不再赘述。

基于上述如图1至图2所示方法，相应的，本实施例还提供了一种存储介质，存储介质具体可为易失性或非易失性，其上存储有计算机可读指令，该可读指令被处理器执行时实现上述如图1至图2所示的基于深度学习的车牌脱敏方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。

基于上述如图1至图2所示的方法和图4、图5所示的虚拟装置实施例，为了实现上述目的，本实施例还提供了一种计算机设备，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1至图2所示的基于深度学习的车牌脱敏方法。

可选的，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。

通过应用本申请的技术方案，与目前现有技术相比，本申请可首先将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取第一车辆图片中所包含目标车辆的车牌轮廓信息；进而根据车牌轮廓信息对第一车辆图片进行图像分割，得到车牌轮廓区域对应的车牌轮廓图片；最后基于车牌轮廓图片，并按照预设脱敏规则对车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。本申请中的技术方案，可将深度学习模型与感兴趣区域提取相结合，利用深度学习模型检测并分割车辆图片上的感兴趣区域，直接获取到车牌轮廓图片。在模型训练过程中，仅需要进行感兴趣目标的标注，能够降低标注工作量，训练难度也相应降低更有利于模型收敛。此外，深度学习模型不仅仅可以学习车牌特征，还可以学习车牌的位置、形状、大小、颜色等特征，因此不会因为背景和前景都有车牌而产生歧义。在分割得到车牌轮廓图片后，可直接按照预设脱敏规则实现对车牌轮廓区域的快速脱敏处理，不需要人工大量参与，进而可提高脱敏处理的工作效率，降低出错率。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种基于深度学习的车牌脱敏方法，其特征在于，包括：

将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取所述第一车辆图片中所包含目标车辆的车牌轮廓信息，其中，所述车牌轮廓信息用于表征所述目标车辆的车牌轮廓区域，所述车牌轮廓信息包括车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点；

根据所述车牌轮廓信息对所述第一车辆图片进行图像分割，得到所述车牌轮廓区域对应的车牌轮廓图片；

基于所述车牌轮廓图片，并按照预设脱敏规则对所述车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。

2.根据权利要求1所述的方法，其特征在于，在所述将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型之前，还包括：

获取包含至少一个完整车牌的样本车辆图片；

对所述样本车辆图片进行车牌轮廓的数据标注处理，得到车牌标注信息，其中，所述车牌标注信息用于表征车牌的感兴趣区域，所述车牌标注信息包括车牌标注类别、车牌标注坐标、车牌标注像素点；

将配置所述车牌标注信息的样本车辆图片输入深度学习模型，利用所述深度学习模型输出车牌预测信息，计算所述车牌预测信息与所述车牌标注信息的信息相似度，若判定所述信息相似度大于预设相似度阈值，则确定所述深度学习模型训练完成。

3.根据权利要求1所述的方法，其特征在于，在基于所述车牌轮廓图片，并按照预设脱敏规则对所述车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片之前，还包括：

对所述车牌轮廓图片进行非极大值抑制处理，以得到轮廓清晰的车牌轮廓图片；

获取用于进行车牌替换的预设类目图片，并对所述预设类目图片进行缩放处理，以使缩放处理后的预设类目图片与所述车牌轮廓区域相同宽高。

4.根据权利要求3所述的方法，其特征在于，所述基于所述车牌轮廓图片，并按照预设脱敏规则对所述车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片，包括：

利用单应性变换将所述预设类目图片中的像素值映射至所述车牌轮廓图片中的对应像素点位置，得到车牌前景图；

对所述车牌轮廓图片进行像素取反处理，并将像素取反处理后的车牌轮廓图片与所述第一车辆图片进行像素点相乘，得到所述目标车辆对应车牌之外的车牌背景图；

将所述车牌前景图和所述车牌背景图进行像素叠加，得到完成车牌替换的第二车辆图片，其中，所述第二车辆图片为所述车牌轮廓区域为所述预设类目图片的第一车辆图片。

5.根据权利要求4所述的方法，其特征在于，所述利用单应性变换算法将所述预设类目图片中的像素值映射至所述车牌轮廓图片中的对应像素点位置，得到车牌前景图，包括：

确定同一图像位置坐标下所述预设类目图片的第一像素点，以及所述车牌轮廓图片的第二像素点；

计算所述第一像素点和所述第二像素点关于像素值的单应性矩阵，并依据所述单应性矩阵将所述预设类目图片中的像素值映射至所述车牌轮廓图片中的对应像素点位置，得到车牌前景图。

6.根据权利要求1所述的方法，其特征在于，在所述将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取所述第一车辆图片中所包含目标车辆的车牌轮廓信息之后，所述方法还包括：

根据所述车牌轮廓信息确定所述目标车辆的车牌轮廓区域，对所述车牌轮廓区域进行马赛克处理，得到车牌脱敏完成的第二车辆图片。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

根据所述车牌轮廓信息判断所述第一车辆图片中是否存在多个车牌轮廓区域；

若是，则根据所述车牌轮廓信息生成多个所述车牌轮廓区域的检测框，并响应于用户对所述检测框的选定指令，对所述用户选定的车牌轮廓区域进行脱敏处理；或，

根据优先级配置规则为多个所述车牌轮廓区域配置脱敏优先级，并基于所述脱敏优先级由大至小的顺序，按照预设脱敏规则对所述车牌轮廓区域进行脱敏处理；或，

在多个所述车牌轮廓区域中确定对应最大脱敏优先级的目标车牌轮廓区域，按照预设脱敏规则对所述目标车牌轮廓区域进行脱敏处理。

8.一种基于深度学习的车牌脱敏装置，其特征在于，包括：

获取模块，用于将待进行车牌脱敏处理的第一车辆图片输入训练完成的深度学习模型，获取所述第一车辆图片中所包含目标车辆的车牌轮廓信息，其中，所述车牌轮廓信息用于表征所述目标车辆的车牌轮廓区域，所述车牌轮廓信息包括车牌轮廓类别、车牌轮廓位置坐标、车牌轮廓对应的像素点；

分割模块，用于根据所述车牌轮廓信息对所述第一车辆图片进行图像分割，得到所述车牌轮廓区域对应的车牌轮廓图片；

第一处理模块，用于基于所述车牌轮廓图片，并按照预设脱敏规则对所述车牌轮廓区域进行脱敏处理，得到车牌脱敏完成的第二车辆图片。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的基于深度学习的车牌脱敏方法。

10.一种计算机设备，包括可读存储介质、处理器及存储在可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的基于深度学习的车牌脱敏方法。

Images