CN115270184A - 视频脱敏、车辆的视频脱敏方法、车载处理系统 - Google Patents

视频脱敏、车辆的视频脱敏方法、车载处理系统 Download PDF

Info

Publication number
CN115270184A
CN115270184A CN202210914465.2A CN202210914465A CN115270184A CN 115270184 A CN115270184 A CN 115270184A CN 202210914465 A CN202210914465 A CN 202210914465A CN 115270184 A CN115270184 A CN 115270184A
Authority
CN
China
Prior art keywords
image
desensitized
video
desensitization
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210914465.2A
Other languages
English (en)
Inventor
王彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zero Beam Technology Co ltd
Original Assignee
Zero Beam Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zero Beam Technology Co ltd filed Critical Zero Beam Technology Co ltd
Priority to CN202210914465.2A priority Critical patent/CN115270184A/zh
Publication of CN115270184A publication Critical patent/CN115270184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种视频脱敏、车辆的视频脱敏方法、车载处理系统，属于视频处理领域。本发明通过对多帧视频帧图像进行语义分割处理获得待脱敏区域，对其进行文字识别生成待脱敏字符串，根据脱敏后字符串生成与待脱敏区域形状相同的脱敏图像，再通过图像迁移模型将待脱敏区域对应的部分图像的图像参数迁移至脱敏图像，最后将脱敏图像替换掉待脱敏区域对应的图像。此方法对采样视频无严格的要求，适用于各种复杂场景数据采集的需求，在没有较好初始条件的情况下可以获得很好的替换效果，使用图像迁移模型避免了图像局部特征被破坏而导致的图像数据再训练时，使通过图像迁移模型后的图像精度降低的问题，大大提高了数据的可利用价值和利用范围。

Description

视频脱敏、车辆的视频脱敏方法、车载处理系统
技术领域
本发明属于视频处理领域。尤其提供了一种视频脱敏、车辆的视频脱敏方法、车载处理系统。
背景技术
随着隐私保护逐渐被重视，对敏感视频通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护就显得尤为重要。但现有的视频脱敏处理，通常需要专业人员进行手动对视频待脱敏区域进行切割，去除敏感信息段后重新拼接，过程较为复杂且效率低。
常见的图像脱敏处理方法有两种，一种是对单帧图像进行处理，具体可以对每个单帧图像的进行亮度模糊度的采集和计算，计算损耗大，速度慢，且单帧图像上的文本等以保证在连续帧上保持稳定和一致。另一种，可以直接对图像进行模糊化处理，例如常见的街景数据集均采用了此方法对图像中的机动车车牌进行了模糊脱敏。但模糊化的图像内容与原有图像内容在视觉上的特征分布存在差异，即作为训练样本的模糊化的图像的样本质量降低，直接导致通过训练样本训练出的图像内容检测模型的识别精度降低。
发明内容
有鉴于此，本发明实施例所解决的技术问题之一在于提供一种视频脱敏、车辆的视频脱敏方法、车载处理系统，用以尽量克服或避免上述问题。
基于上述目的，本发明实施例提供一种视频脱敏方法，包括：
获得待脱敏视频的多帧视频帧图像；
通过语义分割模型对多帧所述视频帧图像分别进行语义分割处理，获得各所述视频帧图像中的待脱敏区域；
针对各个视频帧图像，对所述视频帧图像的待脱敏区域进行文本识别，得到待脱敏字符串，并确定所述待脱敏字符串对应的脱敏后字符串，根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像；
将所述视频帧图像中与所述待脱敏区域对应的部分图像以及所述脱敏图像输入至预先训练的图像迁移模型，通过所述图像迁移模型将所述待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并输出迁移后的所述脱敏图像；
将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，得到所述待脱敏视频对应的多帧脱敏后的视频帧图像。
可选地，在本发明一具体实施例中，从预设的图像模板库中确定出与所述待脱敏区域对应的图像模板；根据所述图像模板以及所述脱敏后字符串生成候选脱敏图像；根据所述待脱敏区域的形状，对所述候选脱敏图像进行形状变换处理，得到所述脱敏图像，其中所述待脱敏区域可以为四边形，形状变换处理包括：确定所述待脱敏区域的四个顶点的坐标，根据四个顶点的坐标，对所述候选脱敏图像进行透视变换处理，得到所述脱敏图像。
可选地，在本发明一具体实施例中，所述图像迁移模型通过下述方法训练得到：获得第一图像样本和第二图像样本，其中，所述第一图像样本和所述第二图像样本的图像参数不同，其中，图像参数至少包括图像亮度、图像模糊度、图像纹理；将所述第一图像样本和所述第二图像样本输入迁移模块，通过所述迁移模块将所述第二图像样本的图像参数迁移至所述第一图像样本，生成第一迁移图像；通过重建模块，根据所述第一图像样本的图像参数和所述第一迁移图像进行图像重建，得到第一重建图像；根据所述第一重建图像和所述第一图像样本之间的差异，调整所述迁移模块和所述重建模块，并将调整后的所述迁移模块作为训练后的所述图像迁移模型。
可选地，在本发明一具体实施例中，所述待脱敏区域的图像内容为形状固定车牌或者路牌，所述方法还包括：通过包括形状固定的车牌或者路牌的样本图像，训练所述语义分割模型。
可选地，在本发明一具体实施例中，将所述待脱敏视频对应的多帧脱敏后的视频帧图像进行帧合并，得到脱敏后视频。
本发明实施例还提供一种车辆的视频脱敏方法，所述车辆包括用于采集车外信息的图像采集装置，所述方法包括：
获得所述图像采集装置采集到的待脱敏视频的多帧视频帧图像；
通过语义分割模型对多帧所述视频帧图像分别进行语义分割处理，获得各所述视频帧图像中的待脱敏区域；
针对各个视频帧图像，对所述视频帧图像的待脱敏区域进行文本识别，得到待脱敏字符串，并确定所述待脱敏字符串对应的脱敏后字符串，根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像；
将所述视频帧图像中与所述待脱敏区域对应的部分图像以及所述脱敏图像输入至预先训练的图像迁移模型，通过所述图像迁移模型将所述待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并输出迁移后的所述脱敏图像；
将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，得到所述待脱敏视频对应的多帧脱敏后的视频帧图像。
本发明实施例还提供一种车载处理系统，包括图像采集装置、处理器、存储器，
所述图像采集装置用于采集车外信息，得到待脱敏视频；
所述存储器用于存储所述待脱敏视频，以及存储可执行程序；
所述处理器运行所述可执行程序时执行上述视频脱敏方法任一项所述的方法对应的步骤。
由以上技术方案可见，本发明通过对多帧视频帧图像进行语义分割处理获得待脱敏区域，对其进行文字识别生成待脱敏字符串，根据脱敏后字符串生成与待脱敏区域形状相同的脱敏图像，再通过所述图像迁移模型将待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，最后将脱敏图像替换掉待脱敏区域对应的图像。此方法采用语义分割模型，不需要对每个待脱敏的单帧图片均进行亮度、模糊度的采集和计算，图像迁移模型将语义分割模型识别出的待脱敏区域对应的部分图像的亮度、模糊度等迁移至脱敏图像，不仅能够减少计算量，还能更好地保留需要进行替换的部分图像的边缘信息，对采样视频也没有严格的要求，在没有较好初始条件的情况下可以准确地将待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并将待脱敏区域的部分图像替换为脱敏图像，获得很好的替换效果，适用于各种复杂场景数据采集的需求，且避免了图像局部特征被破坏而导致的图像数据再训练时，使通过图像迁移模型后的图像精度降低的问题，大大提高了数据的可利用价值和利用范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实例一的一种视频脱敏方法的流程图；
图2为本发明实例二的视频脱敏方法的流程图；
图3为本发明实例三的一种视频脱敏方法的流程图；
图4为本发明实例四的一种车载处理系统的结构框图；
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
需要说明的是，实施本发明实施例的任一技术方案必不一定需要同时达到以上的所有优点。下面结合本发明实施例附图进一步说明本发明实施例具体实现。
如图1所示为本发明实施例一的视频脱敏方法的流程图，在本实施例中，所述视频脱敏方法包括以下步骤：
步骤S101，获得待脱敏视频的多帧视频帧图像；
所述待脱敏视频是指需要对视频中某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。所述多帧视频帧图像是指视频影像中最小单位的单幅影像画面，也就是单帧图像。
本实施例中，多帧视频帧图像是通过把待脱敏视频进行拆帧得到的。对多帧视频帧图像进行脱敏处理相较于直接对视频影像进行脱敏处理的图像替换效果会大大提升。
步骤S102，通过语义分割模型对多帧所述视频帧图像分别进行语义分割处理，获得各所述视频帧图像中的待脱敏区域；
本实施例中，所述语义分割处理是计算机视觉中的基本任务，在语义分割处理中需要将视觉输入分为不同的语义可解释类别。所述语义分割模型是利用算法和数据集训练出来的，语义分割模型可以实现对多帧视频帧图像分别进行语义分割处理，获得各所述视频帧图像中的待脱敏区域。通过语义分割处理不仅能够减少计算量，还能更好地保留图像的边缘信息，对采样视频也没有严格的要求，在没有较好初始条件的情况下可以获得很好的替换效果，适用于各种复杂场景数据采集的需求。
具体地，技术人员对待脱敏的多帧视频进行拆帧处理，生成一系列在时间轴上连续的静态图片，即多帧视频帧图像。对多帧所述视频帧图像分别进行语义分割处理时，要先训练语义分割模型，可以根据待脱敏的视频内容选择合适的数据集与算法，例如PascalVOC数据集、CCPD数据集、FCN算法、Deeplab算法等，再把多帧视频帧图像输入到语义分割模型中进行推理，对图像中的待脱敏区域实现分割定位，从而继续对其进行脱敏处理。
步骤S103，对所述视频帧图像的待脱敏区域进行文本识别，得到待脱敏字符串，并确定所述待脱敏字符串对应的脱敏后字符串，根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像；
所述脱敏后字符串是指待脱敏字符串按照对应的脱敏标准，生成具有相应差异度的脱敏后字符串，具体的差异度可以根据不同的脱敏场景确定，本实施例对此不进行限定。
具体地，根据所述脱敏后字符串生成与待脱敏区域形状相同的脱敏图像，首先可以从预设的图像模板库中确定出与所述待脱敏区域对应的图像模板，再根据所述图像模板以及所述脱敏后字符串生成候选脱敏图像，最后根据所述待脱敏区域的形状，对候选脱敏图像进行形状变换处理，得到脱敏图像。其中，所述待脱敏区域为四边形，通过语义分割处理，获得待脱敏区域，并输出图片中待脱敏区域的像素坐标，具体可以输出待脱敏区域的四个顶点的坐标，并可以根据四个顶点的坐标对所述候选脱敏图像进行透视变换处理，从而保证待脱敏区域的形状和脱敏图像的形状无差异。
步骤S104，将所述视频帧图像中与所述待脱敏区域对应的部分图像以及所述脱敏图像输入至预先训练的图像迁移模型，通过所述图像迁移模型将所述待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并输出迁移后的所述脱敏图像；
所述图像参数是指图像的各个数据，图像亮度、图像模糊度、图像纹理都属于图像参数。所述图像迁移模型可为基于生成对抗网络的神经网络模型，其中图像迁移模型可以是风格迁移模型StarGANv2，但不限于此算法的任意一种生成对抗网络算法。图像迁移模型可以输出具有待脱敏区域对应的部分图像的图像参数的脱敏图像。
本实施例中，通过训练图像迁移模型，得到具有待脱敏区域对应的部分图像的图像参数的脱敏图像，使得迁移后的图像通过训练得到的脱敏图像与待脱敏区域对应的部分图像的部分区域的图像参数相同，避免了脱敏前后的图像在视觉上的特征分布存在较大差异。
步骤S105，将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，得到所述待脱敏视频对应的多帧脱敏后的视频帧图像。
本实施例中，将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，可以将所述脱敏图像的像素矩阵按照其坐标依次替换所述待脱敏区域对应的部分图像的像素，使得脱敏过程不会破坏图像局部特征，有效避免了图像替换后的失真，改善了图像替换的视觉质量。
由以上本发明实施例可见，本发明实施例通过对多帧视频帧图像进行语义分割处理获得待脱敏区域，对其进行文字识别生成待脱敏字符串，根据脱敏后字符串生成与待脱敏区域形状相同的脱敏图像，再通过所述图像迁移模型将待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，最后将脱敏图像替换掉待脱敏区域对应的图像。此方法采用语义分割模型，不需要对每个待脱敏的单帧图片均进行亮度、模糊度的采集和计算，图像迁移模型将待脱敏区域对应的部分图像的亮度、模糊度等迁移至脱敏图像，不仅能够减少计算量，还能更好地保留需要进行替换的部分图像的边缘信息；对采样视频也没有严格的要求，在没有较好初始条件的情况下可以准确地将待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并将待脱敏区域的部分图像替换为脱敏图像，获得很好的替换效果，适用于各种复杂场景数据采集的需求；使用图像迁移模型避免了图形局部特征被破坏而导致的图像数据再训练时，使通过图像迁移模型后的图像精度降低的问题，即通过图像迁移模型将待脱敏区域对应的部分图像的图像参数迁移至脱敏图像可以避免脱敏图像精度降低，大大提高了待脱敏视频对应的多帧脱敏后的视频帧图像的可利用价值和利用范围。
如图2所示为本发明实施例二的视频脱敏方法的流程图，在本实施例中，所述视频脱敏方法包括以下步骤：
步骤S201，获得待脱敏视频的多帧视频帧图像；
此步骤与上述实施例中的步骤S101一致，详见上述实施例，此处不再赘述。
步骤S202，通过语义分割模型对多帧所述视频帧图像分别进行语义分割处理，获得各所述视频帧图像中的待脱敏区域；
此步骤与上述实施例中的步骤S101一致，详见上述实施例，此处不再赘述。
步骤S203，对所述视频帧图像的待脱敏区域进行文本识别，得到待脱敏字符串，并确定所述待脱敏字符串对应的脱敏后字符串，根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像；
具体地，所述根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像，包括：从预设的图像模板库中确定出与所述待脱敏区域对应的图像模板；根据所述图像模板以及所述脱敏后字符串生成候选脱敏图像；根据所述待脱敏区域的形状，对所述候选脱敏图像进行形状变换处理，得到所述脱敏图像。图像模板库可以根据所要脱敏的视频对象内容进行选择，待脱敏字符串要按照对应的脱敏标准，生成具有相应差异度的脱敏后字符串，例如规定脱敏前后图像文本中，每个文字都是不同的。
例如，若要脱敏的视频对象内容为车牌，则图像模板库可以选择用于车牌识别的大型数据集CCPD，若要脱敏的视频对象内容为路牌，则图像模板库可以选择用于交通标志检测的数据集CCTSDB。
进一步地，若待脱敏区域为四边形，则要先确定所述待脱敏区域的四个顶点的坐标，再根据四个顶点的坐标，对所述候选脱敏图像进行透视变换处理，得到所述脱敏图像。通过矩形边界函数将语义分割处理提取的待脱敏区域做最小矩形框适配，得出四个角的点坐标，根据待脱敏区域对应的部分图像的四角定位坐标，将虚拟图像向待脱敏区域对应的部分图像做透视变换。此方法可以在待脱敏区域发生畸变的情况下也能进行良好的适配。
步骤S204，训练图像迁移模型；
图像迁移模型通过下述方法训练得到：获得第一图像样本和第二图像样本，其中，所述第一图像样本和所述第二图像样本的图像参数不同；将所述第一图像样本和所述第二图像样本输入迁移模块，通过所述迁移模块将所述第二图像样本的图像参数迁移至所述第一图像样本，生成第一迁移图像；通过重建模块，根据所述第一图像样本的图像参数和所述第一迁移图像进行图像重建，得到第一重建图像；根据所述第一重建图像和所述第一图像样本之间的差异，调整所述迁移模块和所述重建模块，并将调整后的所述迁移模块作为训练后的所述图像迁移模型。
具体地，第一图像样本和第二图像样本是从样本数据库里采集的，要根据待脱敏区域对应的部分图像的内容选择合适的样本数据库，第一图像样本和所述第二图像样本的图像参数不同是指二者图像亮度、图像模糊度、图像纹理至少有一项不同。第一迁移图像包含第一图像样本的文字和第二图像样本的图像参数，通过根据所述第一图像样本的图像参数和所述第一迁移图像进行图像重建，得到第一重建图像，那么第一重建图像理论上应该与第一图像样本的文字和图像参数相同。但在实际通过迁移模块和重建模块得到的第一重建图像与第一样本图像会存在差异，训练过程即使得两者差异足够小。
具体地，所述获得第一图像样本和第二图像样本，包括：获得包含多个图像的图像样本集，根据预设的图像参数阈值，将所述图像样本集中的各个图像确定为所述第一图像样本或者第二图像样本。其中预设的图像参数参考阈值是指可以为亮度、模糊度、像素等设立阈值，例如，设置模糊度阈值为60模糊度，则从样本数据库采集的样本会根据60模糊度被分割为第一图像样本和第二图像样本。
步骤S205，将所述视频帧图像中与所述待脱敏区域对应的部分图像以及所述脱敏图像输入至预先训练的图像迁移模型，通过所述图像迁移模型将所述待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并输出迁移后的所述脱敏图像；
具体地，通过所述图像迁移模型将所述待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，则得到的脱敏图像是具有待脱敏区域对应的部分图像的图像参数的，这样会使得脱敏图像与待脱敏区域对应的部分图像的差异度很小，达到很好的脱敏效果，也避免了对待脱敏区域对应的部分图像进行敏感特征识别，降低了数据处理量。
步骤S206，将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，得到所述待脱敏视频对应的多帧脱敏后的视频帧图像。
本实施例中，将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，可以将所述脱敏图像的像素矩阵按照其坐标依次替换所述待脱敏区域对应的部分图像的像素坐标，两者图像分布是无差异的，有效避免了图像替换后的失真，改善了图像替换的视觉质量。
步骤S208，将所述待脱敏视频对应的多帧脱敏后的视频帧图像进行帧合并，得到脱敏后视频。
本实施例中，将所述待脱敏视频对应的多帧脱敏后的视频帧图像进行帧合并可以通过视频编辑软件来完成，通过本视频脱敏的方法可以得到脱敏后的视频和脱敏前的视频目视角度几乎无差异。
由以上本发明实施例可见，本发明实施例对所述候选脱敏图像进行透视变换处理，得到所述脱敏图像，再通过训练图像迁移模型所述视频帧图像中与所述待脱敏区域对应的部分图像以及所述脱敏图像输入至预先训练的图像迁移模型，使得输出的脱敏图像与待脱敏区域对应的部分图像的差异度很小，达到很好的脱敏效果和脱敏效率，且单帧图像上的文本等能够保证在连续帧上保持稳定和一致。
如图3所示同样为本发明实施例三的一种车辆视频脱敏方法的流程图，在本实施例中，所述车辆视频脱敏方法包括以下步骤：
步骤S301，将待处理的车辆视频进行拆帧，生成一系列在时间轴上连续的静态图片，即待脱敏视频的多帧视频帧图像；
本实施例中，将待处理的车辆视频进行拆帧，生成一系列在时间轴上连续的静态图片。对多帧视频帧图像进行脱敏处理相较于直接对视频影像进行脱敏处理的图像替换效果会大大提升。
步骤S302，采用CCPD样本数据集预先训练语义分割模型。
具体地，本实施例是对车辆视频进行脱敏，那么可以采用CCPD样本数据集，CCPD数据集是迄今为止最大的公共可用LP数据集，拥有超过250k张独特的汽车图像，并且唯一提供顶点位置注释。通过CCPD样本数据集训练出的语义分割模型可以准确识别出视频帧图像中的车牌区域。
步骤S303，通过语义分割模型对多帧所述视频帧图像分别进行语义分割处理，获得各所述视频帧图像中的待脱敏区域；
本实施例中，可以把每一个静态帧图片输入到语义分割模型中，对图像中的车牌实施分割定位，通过矩形边界函数将分割提取的部分做最小矩形框适配，得出四个角点坐标。
步骤S304，对所述视频帧图像的待脱敏区域进行文本识别，得到待脱敏字符串，并确定所述待脱敏字符串对应的脱敏后字符串，根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像；
具体地，在本实施例中使用字符识别算法进行字符识别训练，将分割出的车牌送入字符识别模型进行推理，得出车牌字符串。然后再使用车牌生成器，生成标准的虚拟车牌图像，其中车牌字符内容可依据车牌脱敏差异度标准自定义为任意字符串。然后根据真实车牌的四角定位坐标，将虚拟车牌图像向真实车牌图像做透视变换，其中车牌生成器生成的虚拟车牌图像中的车牌字符唯一，以保证进行替换后的多个视频帧图像的帧间字符内容(即车牌号)的稳定性。
步骤S305，将所述视频帧图像中与所述待脱敏区域对应的部分图像以及所述脱敏图像输入至预先训练的图像迁移模型，通过所述图像迁移模型将所述待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并输出迁移后的所述脱敏图像；
具体地，在本实施例中对透视变换后的车牌进行亮度和模糊度的处理，此过程使用生成对抗网络，对CCPD数据集进行分割，使用StarGANv2算法训练出图像迁移模型，将透视变换的虚拟车牌图像送入图像迁移模型进行亮度和模糊度的变换，此方法可以使变换后的车牌符合真实图像的色度域。
步骤S306，将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，得到所述待脱敏视频对应的多帧脱敏后的视频帧图像。
具体地，将推理得出与待脱敏车牌亮度和模糊度近似的图像的像素完全替换待脱敏区域的像素，得到脱敏后的车辆视频帧图像，并重新进行帧合并，输出脱敏后的车辆视频。
在一具体实施场景中，本发明实施例对车载视频脱敏处理大致分为五个处理过程：车牌定位处理；车牌识别；虚拟车牌图像生成；虚拟车牌图像形状变换处理；虚拟车牌图像亮度和模糊度处理。车牌定位处理可以为采用语义分割模型定位到视频帧中的待脱敏车牌图像(即待脱敏区域)；车牌识别是指识别出车牌的文本；车牌的透视变换是用来改变虚拟车牌图像(即脱敏图像)的外形，以使虚拟车牌图像(即脱敏图像)与待脱敏区域重合，并且所有的像素均按照透视特性进行坐标变换。车牌的亮度和模糊度处理，使用StarGANv2算法以及根据60模糊度分割线的两类样本进行训练，得出图像迁移模型。再将透视变换后的虚拟车牌图像送入图像迁移模型。推理得出与待脱敏车牌图像(即待脱敏区域)亮度和模糊度近似的脱敏图像，最终将此脱敏图像的像素完全替换待脱敏区域的像素，即完成整个过程。
由以上本发明实施例可见，本发明通过对多帧视频帧图像进行语义分割处理获得待脱敏区域，对其进行文字识别生成待脱敏字符串，根据脱敏后字符串生成与待脱敏区域形状相同的脱敏图像，再通过所述图像迁移模型将待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，最后将脱敏图像替换掉待脱敏区域对应的图像。此方法完成脱敏的车牌，从目视角度无法分辨与真实车牌的差异。将脱敏的图片集合和未脱敏的图片集合送入相同的图像精度检测模型，得出几乎一致的平均检测精度，图像分布无差异，车牌的亮度和模糊度使用图像迁移模型进行处理，平均处理速度提升20％。虚拟车牌图像的字符内容在可识别的帧间一致性达到100％。
如图3所示同样为本发明实施例四的一种车载处理系统的结构框图，在本实施例中，所述车载处理系统包括：
采集装置301：用于采集车外信息，得到待脱敏视频；
处理器302：运行可执行程序时执行实施例任一项所述的方法对应的步骤；
存储器303:用于存储所述待脱敏视频，以及存储可执行程序；
作为本发明基于车载处理系统的一个实施例，所述图像采集装置用于采集车外信息，得到待脱敏视频；存储器用于存储待脱敏视频，以及存储可执行程序；处理器运行可执行程序时执行实施例任一项所述的方法对应的步骤。具体原理同上述方法实施例中的原理相同，这里不再赘述。
最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种视频脱敏方法，其特征在于，包括：
获得待脱敏视频的多帧视频帧图像；
通过语义分割模型对多帧所述视频帧图像分别进行语义分割处理，获得各所述视频帧图像中的待脱敏区域；
针对各个视频帧图像，对所述视频帧图像的待脱敏区域进行文本识别，得到待脱敏字符串，并确定所述待脱敏字符串对应的脱敏后字符串，根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像；
将所述视频帧图像中与所述待脱敏区域对应的部分图像以及所述脱敏图像输入至预先训练的图像迁移模型，通过所述图像迁移模型将所述待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并输出迁移后的所述脱敏图像；
将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，得到所述待脱敏视频对应的多帧脱敏后的视频帧图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像，包括：
从预设的图像模板库中确定出与所述待脱敏区域对应的图像模板；
根据所述图像模板以及所述脱敏后字符串生成候选脱敏图像；
根据所述待脱敏区域的形状，对所述候选脱敏图像进行形状变换处理，得到所述脱敏图像。
3.根据权利要求2所述的方法，其特征在于，所述待脱敏区域为四边形，所述根据所述待脱敏区域的形状，对所述候选脱敏图像进行形状变换处理，得到所述脱敏图像，包括：
确定所述待脱敏区域的四个顶点的坐标；
根据四个顶点的坐标，对所述候选脱敏图像进行透视变换处理，得到所述脱敏图像。
4.根据权利要求1所述的方法，其特征在于，所述图像迁移模型通过下述方法训练得到：
获得第一图像样本和第二图像样本，其中，所述第一图像样本和所述第二图像样本的图像参数不同；
将所述第一图像样本和所述第二图像样本输入迁移模块，通过所述迁移模块将所述第二图像样本的图像参数迁移至所述第一图像样本，生成第一迁移图像；
通过重建模块，根据所述第一图像样本的图像参数和所述第一迁移图像进行图像重建，得到第一重建图像；
根据所述第一重建图像和所述第一图像样本之间的差异，调整所述迁移模块和所述重建模块，并将调整后的所述迁移模块作为训练后的所述图像迁移模型。
5.根据权利要求4所述的方法，其特征在于，所述获得第一图像样本和第二图像样本，包括：
获得包含多个图像的图像样本集；
根据预设的图像参数阈值，将所述图像样本集中的各个图像确定为所述第一图像样本或者第二图像样本。
6.根据权利要求1所述的方法，其特征在于，所述图像参数包括以下至少之一：图像亮度、图像模糊度、图像纹理。
7.根据权利要求1所述的方法，其特征在于，所述待脱敏区域的图像内容为形状固定车牌或者路牌，所述方法还包括：通过包括形状固定的车牌或者路牌的样本图像，训练所述语义分割模型。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述待脱敏视频对应的多帧脱敏后的视频帧图像进行帧合并，得到脱敏后视频。
9.一种车辆的视频脱敏方法，其特征在于，所述车辆包括用于采集车外信息的图像采集装置，所述方法包括：
获得所述图像采集装置采集到的待脱敏视频的多帧视频帧图像；
通过语义分割模型对多帧所述视频帧图像分别进行语义分割处理，获得各所述视频帧图像中的待脱敏区域；
针对各个视频帧图像，对所述视频帧图像的待脱敏区域进行文本识别，得到待脱敏字符串，并确定所述待脱敏字符串对应的脱敏后字符串，根据所述脱敏后字符串生成与所述待脱敏区域形状相同的脱敏图像；
将所述视频帧图像中与所述待脱敏区域对应的部分图像以及所述脱敏图像输入至预先训练的图像迁移模型，通过所述图像迁移模型将所述待脱敏区域对应的部分图像的图像参数迁移至所述脱敏图像，并输出迁移后的所述脱敏图像；
将各所述视频帧图像中的所述待脱敏区域对应的部分图像替换为迁移后的所述脱敏图像，得到所述待脱敏视频对应的多帧脱敏后的视频帧图像。
10.一种车载处理系统，包括图像采集装置、处理器、存储器，
所述图像采集装置用于采集车外信息，得到待脱敏视频；
所述存储器用于存储所述待脱敏视频，以及存储可执行程序；
所述处理器运行所述可执行程序时执行如权利要求1-9任一项所述的方法对应的步骤。
CN202210914465.2A 2022-08-01 2022-08-01 视频脱敏、车辆的视频脱敏方法、车载处理系统 Pending CN115270184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210914465.2A CN115270184A (zh) 2022-08-01 2022-08-01 视频脱敏、车辆的视频脱敏方法、车载处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210914465.2A CN115270184A (zh) 2022-08-01 2022-08-01 视频脱敏、车辆的视频脱敏方法、车载处理系统

Publications (1)

Publication Number Publication Date
CN115270184A true CN115270184A (zh) 2022-11-01

Family

ID=83746587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210914465.2A Pending CN115270184A (zh) 2022-08-01 2022-08-01 视频脱敏、车辆的视频脱敏方法、车载处理系统

Country Status (1)

Country Link
CN (1) CN115270184A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410190A (zh) * 2022-11-02 2022-11-29 平安银行股份有限公司 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备
CN117455751A (zh) * 2023-12-22 2024-01-26 新华三网络信息安全软件有限公司 路段图像的处理系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410190A (zh) * 2022-11-02 2022-11-29 平安银行股份有限公司 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备
CN117455751A (zh) * 2023-12-22 2024-01-26 新华三网络信息安全软件有限公司 路段图像的处理系统及方法
CN117455751B (zh) * 2023-12-22 2024-03-26 新华三网络信息安全软件有限公司 路段图像的处理系统及方法

Similar Documents

Publication Publication Date Title
CN110490896B (zh) 一种视频帧图像处理方法和装置
WO2018072102A1 (zh) 一种人脸图像中眼镜去除方法及装置
CN110705583A (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN115270184A (zh) 视频脱敏、车辆的视频脱敏方法、车载处理系统
CN111292272B (zh) 图像处理方法、装置、介质以及电子设备
CN109948441B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
CN113689436B (zh) 图像语义分割方法、装置、设备及存储介质
US20240029272A1 (en) Matting network training method and matting method
CN111382647B (zh) 一种图片处理方法、装置、设备及存储介质
KR102628115B1 (ko) 영상 처리 방법, 장치, 기록 매체 및 전자 장치
CN112712487A (zh) 一种场景视频融合方法、系统、电子设备及存储介质
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN111243051B (zh) 基于肖像照片的简笔画生成方法、系统及存储介质
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN113537187A (zh) 文本识别方法、装置、电子设备及可读存储介质
CN116798041A (zh) 图像识别方法、装置和电子设备
CN115909408A (zh) 一种基于Transformer网络的行人重识别方法及装置
CN114494302A (zh) 图像处理方法、装置、设备及存储介质
CN112766073A (zh) 表格提取方法、装置、电子设备及可读存储介质
CN111627098A (zh) 对图像中水流区域识别并生成动态水流视频的方法及装置
WO2024025134A1 (en) A system and method for real time optical illusion photography
CN114581448B (zh) 图像检测方法、装置、终端设备以及存储介质
CN117196937B (zh) 一种基于人脸识别模型的视频换脸方法、设备及存储介质
CN117079313A (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination