CN115512258A - 一种视频图像的脱敏方法、装置、终端设备和存储介质 - Google Patents

一种视频图像的脱敏方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN115512258A
CN115512258A CN202211082551.8A CN202211082551A CN115512258A CN 115512258 A CN115512258 A CN 115512258A CN 202211082551 A CN202211082551 A CN 202211082551A CN 115512258 A CN115512258 A CN 115512258A
Authority
CN
China
Prior art keywords
detection
target
video image
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211082551.8A
Other languages
English (en)
Inventor
罗丹
胡荣东
谢伟
彭美华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN202211082551.8A priority Critical patent/CN115512258A/zh
Publication of CN115512258A publication Critical patent/CN115512258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，提出一种视频图像的脱敏方法、装置、终端设备和存储介质。在该方法中，训练的目标检测模型包含特征提取网络以及N个检测分支网络。在将视频图像输入该目标检测模型后，首先通过特征提取网络提取得到相应的特征图像；然后，将该特征图像分别输入该目标检测模型的N个检测分支，每个检测分支用于检测一种目标对象的检测框，从而得到N种目标对象的检测框；最后，根据检测得到的N种目标对象的检测框，完成对视频图像的脱敏处理。通过这样设置，使用一个目标检测模型即可检测出视频图像中所有类型的目标对象，从而提高脱敏处理结果的完善性。

Description

一种视频图像的脱敏方法、装置、终端设备和存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种视频图像的脱敏方法、装置、终端设备和存储介质。
背景技术
数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。目前，为了提高视频数据的脱敏效率，已有部分现有技术采用基于深度学习的神经网络作为目标检测模型，用于检测视频图像中敏感的目标对象，以便对视频图像进行脱敏处理。然而，上述方法通常只能识别一种类型的目标对象，如果视频图像中存在两种以上类型的目标对象，则无法检测出所有的目标对象，导致脱敏处理结果的不完善。
发明内容
有鉴于此，本申请实施例提供了一种视频图像的脱敏方法、装置、终端设备和存储介质，能够检测出视频图像中所有类型的目标对象，从而提高脱敏处理结果的完善性。
本申请实施例的第一方面提供了一种视频图像的脱敏方法，包括：
获取待脱敏的视频图像；
将所述视频图像输入至已训练的目标检测模型进行处理，通过所述目标检测模型的特征提取网络提取所述视频图像的特征图像，通过所述目标检测模型的N个检测分支分别对所述特征图像进行检测，得到所述视频图像中N种目标对象的检测框；其中，一个所述检测分支用于检测一种所述目标对象的检测框，N≥2；
根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理。
在本申请实施例中，训练的目标检测模型包含特征提取网络以及N个检测分支网络。在将视频图像输入该目标检测模型后，首先通过特征提取网络提取得到相应的特征图像；然后，将该特征图像分别输入该目标检测模型的N个检测分支，每个检测分支用于检测一种目标对象的检测框，从而得到N种目标对象的检测框；最后，根据检测得到的N种目标对象的检测框，完成对视频图像的脱敏处理。通过这样设置，使用一个目标检测模型即可检测出视频图像中所有类型的目标对象，从而提高脱敏处理结果的完善性。
在本申请实施例的一种实现方式中，所述目标检测模型可以通过以下方式训练获得：
获取包含所述N种目标对象的样本图像，并将所述样本图像划分为训练集图像和测试集图像，所述训练集图像已标注每个目标对象的检测框对应的几何参数和类别信息作为原始标签；
根据所述训练集图像训练得到初始检测模型；
将所述测试集图像输入至所述初始检测模型进行处理，得到所述测试集图像的目标检测结果；
根据所述原始标签和所述目标检测结果，分别计算得到每个所述检测分支的检测损失；
根据每个所述检测分支的检测损失，构建损失函数；
基于所述损失函数对所述初始检测模型的参数进行迭代优化，并将参数迭代优化后的所述初始检测模型确定为所述目标检测模型。
进一步的，每个所述检测分支均具有各自的分类子网络和回归子网络，所述分类子网络用于检测各个检测框的类别，所述回归子网络用于检测各个检测框的几何参数；所述根据所述原始标签和所述目标检测结果，分别计算得到每个所述检测分支的检测损失，包括：
针对每个所述检测分支，根据所述原始标签中各个检测框的类别信息和所述目标检测结果中各个检测框的类别信息，计算得到所述检测分支的分类子网络的交叉熵损失；根据所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数，计算得到所述检测分支的回归子网络的回归损失；根据所述交叉熵损失和所述回归损失，计算得到所述检测分支的检测损失。
更进一步的，所述根据所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数，计算得到所述检测分支的回归子网络的回归损失，可以包括：
将所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数视作满足多维高斯分布的变量，并将所述变量作为输入参数代入到最大均值差异MMD距离的计算公式中；
通过求解所述计算公式，得到所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数之间的多个协方差矩阵；
将所述多个协方差矩阵组合成目标矩阵；
将所述目标矩阵的迹确定为所述检测分支的回归子网络的回归损失。
具体的，所述几何参数可以包括检测框中心点坐标、检测框高度、检测框宽度以及检测框旋转角度。
在本申请实施例的一种实现方式中，在得到所述视频图像中N种目标对象的检测框之后，还可以包括：
计算使用所述目标检测模型对所述视频图像进行目标检测的准确率、召回率和综合评价指标；
根据所述准确率、所述召回率和所述综合评价指标，确定是否需要对所述目标检测模型的参数进行迭代优化。
在本申请实施例的一种实现方式中，所述根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理，可以包括：
获取所述视频图像中所述N种目标对象的检测框所处的目标区域；
对所述目标区域内的图像进行色块擦除处理，得到脱敏后的所述视频图像。
本申请实施例的第二方面提供了一种视频图像的脱敏装置，包括：
视频图像获取模块，用于获取待脱敏的视频图像；
目标检测模块，用于将所述视频图像输入至已训练的目标检测模型进行处理，通过所述目标检测模型的特征提取网络提取所述视频图像的特征图像，通过所述目标检测模型的N个检测分支分别对所述特征图像进行检测，得到所述视频图像中N种目标对象的检测框；其中，一个所述检测分支用于检测一种所述目标对象的检测框，N≥2；
视频图像脱敏模块，用于根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例的第一方面提供的视频图像的脱敏方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例的第一方面提供的视频图像的脱敏方法。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如本申请实施例的第一方面提供的视频图像的脱敏方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
图1是本申请实施例提供的一种视频图像的脱敏方法的流程图；
图2是本申请实施例提供的一种多任务目标检测算法的流程示意图；
图3是本申请实施例提供的一种视频图像的脱敏装置的结构示意图；
图4是本申请实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
随着车载影像和360环视技术的快速发展，视频数据的信息泄露问题愈加严重。例如，行人的人脸信息和车牌信息都属于敏感数据，如果在车载影像视频传输的过程中，忽略对人脸信息和车牌信息的脱敏处理则会导致信息泄露的问题。目前，已有现有技术采用基于深度学习的神经网络作为目标检测模型来检测视频图像中敏感的目标对象，然后针对该目标对象进行脱敏处理。然而，上述方法通常只能识别一种类型的目标对象，如果视频图像中存在两种以上类型的目标对象，则需要针对每种目标对象分别设计对应的神经网络，这对终端的算力要求很高，可实施性不强。
针对上述问题，本申请实施例提出一种视频图像的脱敏方法，通过在目标检测模型中设置多个检测分支，能够实现一个神经网络同时检测多种不同类型的目标对象，从而提高脱敏处理结果的完善性，以及减小对终端的算力要求。关于本申请实施例更具体的技术实现细节，请参照下文所述的方法实施例。
应当理解，本申请各个方法实施例的执行主体为各种类型的终端设备或服务器，例如可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、大屏电视，等等，本申请实施例对该终端设备和服务器的具体类型不作任何限制。
请参阅图1，示出了本申请实施例提供的一种视频图像的脱敏方法，包括：
101、获取待脱敏的视频图像；
首先，获取需要执行脱敏处理的视频图像，该视频图像中可以包含N(N≥2)种不同类型的敏感目标对象。另外，该视频图像可以是单帧图像，也可以是一个完整视频数据包含的连续多帧图像，针对其中每帧图像都按照相同的方式执行脱敏处理，即可得到脱敏处理后的完整视频数据。
102、将所述视频图像输入至已训练的目标检测模型进行处理，通过所述目标检测模型的特征提取网络提取所述视频图像的特征图像，通过所述目标检测模型的N个检测分支分别对所述特征图像进行检测，得到所述视频图像中N种目标对象的检测框；
本申请实施例预先训练一个包含特征提取网络以及N个检测分支网络的神经网络，作为目标检测模型。其中，一个检测分支用于检测一种目标对象的检测框，N≥2。例如，如果需要检测人脸、车牌和交通标志牌三种目标对象，则训练的目标检测模型包含三个检测分支，其中一个检测分支用于检测人脸，一个检测分支用于检测车牌，一个检测分支用于检测交通标志牌，以此类推。
在本申请实施例的一种实现方式中，所述目标检测模型可以通过以下方式训练获得：
(1)获取包含所述N种目标对象的样本图像，并将所述样本图像划分为训练集图像和测试集图像，所述训练集图像已标注每个目标对象的检测框对应的几何参数和类别信息作为原始标签；
(2)根据所述训练集图像训练得到初始检测模型；
(3)将所述测试集图像输入至所述初始检测模型进行处理，得到所述测试集图像的目标检测结果；
(4)根据所述原始标签和所述目标检测结果，分别计算得到每个所述检测分支的检测损失；
(5)根据每个所述检测分支的检测损失，构建损失函数；
(6)基于所述损失函数对所述初始检测模型的参数进行迭代优化，并将参数迭代优化后的所述初始检测模型确定为所述目标检测模型。
在训练目标检测模型时，首先需要获取训练集图像和测试集图像，具体可以先采集包含该N种目标对象的大量样本图像(每个样本图像至少包含该N种目标对象中的一种，且每种目标对象都要具有足够数量的样本图像)，然后按照一定的比例将这些样本图像划分为训练集图像和测试集图像。对于训练集图像，已标注出其中每个目标对象的检测框对应的几何参数和类别信息作为原始标签。在实际操作中，原始标签可以是与训练集图像对应的一个标注文件，该标注文件中包含若干组数据(每个检测框对应一组数据)，每组数据包含检测框的各个几何参数(例如中心点坐标、高度、宽度和旋转角度等)以及一个类别标签(用于表示检测框对应的目标对象类别)，实质上每组数据都构成一个包围感兴趣区域的旋转四边形框。
另外，在深度学习中，训练数据不充足常常导致模型过拟合的情况，此时可以采用数据增强的技术手段进行应对，也即，可以对训练集图像执行数据增强处理。采用的数据增强策略可以包括图像缩放、图像裁剪、颜色畸变、透视变化和噪声模拟等，对每张输入的训练集图像通过数据增强后都能得到多种场景情形的图像。具体的，图像缩放是将图像按照一定比例进行缩放，并且缩放比例需要满足一定的约束条件。图像裁剪是直接从图像中随机裁剪出某些区域作为输入图片，车牌和人脸等目标对象可能出现在整张图片的各种位置，使得算法能更好地应对复杂的自然场景。颜色畸变是对图像颜色空间的HLUT、ILUT、SLUT函数进行随机调整改动，透视变换是将图像重新投影到新的成像平面，加上随机椒盐噪声模拟，可以模拟图像传输过程中可能发生的各种图像畸变。
在获得训练集图像之后，通过该训练集图像进行训练，可以得到一个初始的神经网络，用初始检测模型表示，该初始检测模型的网络架构包含一个特征提取网络以及N个检测分支网络。然后，需要对该初始检测模型的参数进行迭代优化，具体可以将测试集图像输入至该初始检测模型进行处理，检测得到测试集图像中各个检测框的类别和几何参数，用目标检测结果表示。接下来，可以根据训练集图像的原始标签和该目标检测结果，分别计算得到该N个检测分支中每个检测分支的检测损失，然后根据每个检测分支的检测损失，构建损失函数。具体的，可以对各个检测分支的检测损失执行叠加或者加权求和等操作，得到模型整体损失，进而根据模型整体损失构建损失函数。最后，根据该损失函数对初始检测模型的参数进行迭代优化直至收敛，当参数迭代优化过程完毕后，该初始检测模型便成为本申请实施例采用的目标检测模型。
进一步的，每个所述检测分支均具有各自的分类子网络和回归子网络，所述分类子网络用于检测各个检测框的类别，所述回归子网络用于检测各个检测框的几何参数；所述根据所述原始标签和所述目标检测结果，分别计算得到每个所述检测分支的检测损失，可以包括：
针对每个所述检测分支，根据所述原始标签中各个检测框的类别信息和所述目标检测结果中各个检测框的类别信息，计算得到所述检测分支的分类子网络的交叉熵损失；根据所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数，计算得到所述检测分支的回归子网络的回归损失；根据所述交叉熵损失和所述回归损失，计算得到所述检测分支的检测损失。
每个检测分支都可以划分为两个子网络，其中一个是分类子网络，用于检测各个检测框的类别信息，另一个是回归子网络，用于检测各个检测框的几何参数。在计算某个检测分支的检测损失时，可以分别计算其分类子网络的损失和回归子网络的损失，然后将两部分损失叠加。具体的，针对分类子网络，可以根据原始标签中各个检测框的类别信息和目标检测结果中各个检测框的类别信息，计算出相应的交叉熵损失。关于具体如何计算分类网络的交叉熵损失的内容可以参照现有技术，在此不再赘述。针对回归子网络，可以根据原始标签中各个检测框的几何参数和目标检测结果中各个检测框的几何参数，计算出相应的回归损失。最后，可以将分类子网络的交叉熵损失和回归子网络的回归损失叠加，得到对应检测分支的检测损失。
更进一步的，所述根据所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数，计算得到所述检测分支的回归子网络的回归损失，可以包括：
(1)将所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数视作满足多维高斯分布的变量，并将所述变量作为输入参数代入到最大均值差异MMD距离的计算公式中；
(2)通过求解所述计算公式，得到所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数之间的多个协方差矩阵；
(3)将所述多个协方差矩阵组合成目标矩阵；
(4)将所述目标矩阵的迹确定为所述检测分支的回归子网络的回归损失。
在传统的回归方式中，都是将检测框的各个几何参数看成相互独立的变量进行回归，与此不同，本申请实施例会考虑各个几何参数之间的关联关系，将这些几何参数视作满足多维高斯分布的变量，并利用MMD距离度量进行回归，通过变量之间的关联关系可以进一步排除逻辑错误的检测结果，从而提高目标对象检测的准确性。具体的，可以将这些变量作为输入参数代入到MMD距离的计算公式中，然后通过求解该计算公式可以得到原始标签中各个检测框的几何参数和目标检测结果中各个检测框的几何参数之间的多个协方差矩阵，之后将这些协方差矩阵组合成一个目标矩阵，该目标矩阵的迹可作为回归子网络的回归损失。
示例性的，MMD距离的相关计算公式如下所示：
Figure BDA0003833941570000091
Figure BDA0003833941570000092
Figure BDA0003833941570000101
Figure BDA0003833941570000102
其中，F表示神经网络的映射函数，f(x)中的x表示图像输入，f(x)表示对图像输入x进行映射f处理后得到的检测框的几何参数，P和p表示标签的坐标(即原始标签中各个检测框的几何参数)满足P分布，Q和q表示神经网络输出的坐标(即目标检测结果中各个检测框的几何参数)满足Q分布，E表示数学期望，sup表示距离的上界，
Figure BDA0003833941570000103
表示再生希尔伯特空间，up表示P分布的均值，uq表示Q分布的均值，k(x，x’)表示变量x和变量x’的高斯核函数，x’表示x的转置，高斯核函数中的变量x表示神经网络输出(即目标检测结果中各个检测框的几何参数)，高斯核函数中的变量y表示标签输出(即原始标签中各个检测框的几何参数)，m表示标签输出的数据维度，n表示神经网络输出的数据维度，tr表示矩阵的迹。
在上述计算公式中，k(x，y)和k(y，x)即表示神经网络输出(即目标检测结果中各个检测框的几何参数)和标签输出(即原始标签中各个检测框的几何参数)之间的协方差矩阵，回归子网络的回归损失Lreg等于协方差矩阵组合成的目标矩阵的迹，也即：
Figure BDA0003833941570000104
在本申请实施例的一种实现方式中，所述几何参数可以包括检测框的中心点坐标、检测框高度、检测框宽度以及检测框旋转角度。例如，原始标签中各个检测框的几何参数和目标检测结果中各个检测框的几何参数均可以表示为(x，y，w，h，θ)，其中(x，y)表示检测框的中心点坐标，w表示检测框宽度，h表示检测框高度，θ表示检测框旋转角度。通过在几何参数中添加检测框旋转角度，能够利用旋转框进行精准的目标对象检测。例如，环视相机的畸变以及行人的位姿变换将导致视频图像中的行人人脸倾斜，而本申请实施例利用旋转框进行检测，使各个变量(x，y，w，h，θ)进行回归，可以准确得到倾斜人脸的检测框，从而提高目标对象检测的准确性，进而提高后续执行图像脱敏处理的精准度。
在本申请实施例的一种实现方式中，所述目标检测模型的主干网络可以使用RepVGG分类网络。目标检测模型作为一个深度学习神经网络，其主干网络BackBone可以使用RepVGG分类网络，模型训练时可以尽量用多分支结构来提升网络性能，而模型推理时可以利用结构重参数化思想，将网络变成单路结构，这样能够降低终端显存占用并同时提升模型推理速度。通过使用RepVGG分类网络作为主干网络，该目标检测模型可以对车牌和人脸等各种目标对象进行多层级的深度特征提取，然后经过不同层数的卷积和池化等操作，从而得到不同大小的感兴趣区域，也即各个目标对象的检测框。
在完成目标检测模型的训练后，将视频图像输入至该目标检测模型进行处理，首先通过特征提取网络提取出视频图像对应的特征图像，然后将该特征图像分别输入该目标检测模型的每个检测分支分别进行检测，各个检测分支的检测结果进行合并后，得到最终的目标检测结果，也即视频图像中各种类型目标对象的检测框。例如，如果需要检测的目标对象是人脸和车牌，则训练的目标检测模型包含人脸检测分支和车牌检测分支，通过人脸检测分支检测视频图像中的人脸检测框，通过车牌检测分支检测视频图像中的车牌检测框，之后将人脸检测框和车牌检测框合并，得到最终的目标检测结果。具体的，在两个检测分支的末端使用卷积回归可以得到分数标签图和几何标签图，最终可以利用两种标签图计算出车牌和人脸各自的检测框。
另外，通过回归得到的单个目标对象的检测框可能是多个互相交叠的边界框，但在实际应用中需要的是单个最优的边界框，这时可以使用非极大值抑制等方法来去除多余的边界框。其大致思路是通过遍历所有边界框并按照得分高低对边界框进行排序，选中得分最高的边界框，然后遍历剩余的边界框，如果某剩余边界框和得分最高边界框的重叠面积较大，则删除此剩余边界框，从而可以得到最终的边界框。而为了保证检测结果的准确性，还可以从最终的边界框中剔除一部分得分小于设定阈值的边界框，该阈值一般可以设置为0.6。
103、根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理。
在检测得到视频图像中N种目标对象的检测框之后，即可根据这些检测框对视频图像进行脱敏处理，也即通过设定的方式将视频图像中这些检测框内的信息掩盖或者去除，以避免敏感信息的泄露。
在本申请实施例的一种实现方式中，所述根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理，可以包括：
(1)获取所述视频图像中所述N种目标对象的检测框所处的目标区域；
(2)对所述目标区域内的图像进行色块擦除处理，得到脱敏后的所述视频图像。
该N种目标对象的检测框，可视作视频图像中敏感信息的多任务(每种任务对应一种类型的敏感目标对象)检测结果。在进行脱敏处理时，可以先获取视频图像中这些检测框所处的目标区域，然后对这些目标区域内的图像进行色块擦除处理，从而去除视频图像中的敏感信息，得到脱敏后的视频图像。最终，终端的图像传输使用的是脱敏后的视频图像数据，能够防止敏感信息泄露，达到脱敏传输的要求。
在本申请实施例的一种实现方式中，在得到所述视频图像中N种目标对象的检测框之后，还可以包括：
(1)计算使用所述目标检测模型对所述视频图像进行目标检测的准确率、召回率和综合评价指标；
(2)根据所述准确率、所述召回率和所述综合评价指标，确定是否需要对所述目标检测模型的参数进行迭代优化。
在完成大量视频图像的目标检测之后，还可以根据相应的目标检测结果，对该目标检测模型的性能进行评价，以决定是否需要对该目标检测模型的参数进行迭代优化。具体的，可以通过目标检测结果计算得到使用该目标检测模型对视频图像进行目标检测的准确率、召回率和综合评价指标，然后根据这些指标评价该目标检测模型的性能是否符合要求。如果符合要求，则不必进行模型参数的迭代优化，如果不符合要求，则可以获取更多的样本图像，再次对模型进行训练以提升检测性能。
示例性的，准确率的计算公式为：
Figure BDA0003833941570000134
召回率的计算公式为：
Figure BDA0003833941570000132
综合评价指标(F值)的计算公式为：
Figure BDA0003833941570000133
其中，P表示测试样本中的正样本，TP表示模型检测和跟踪出的样本中的正样本，FP表示模型检测和跟踪出的样本中的负样本，Pr表示准确率，Re表示召回率，参数a可以设置为1。
在本申请实施例中，训练的目标检测模型包含特征提取网络以及N个检测分支网络。在将视频图像输入该目标检测模型后，首先通过特征提取网络提取得到相应的特征图像；然后，将该特征图像分别输入该目标检测模型的N个检测分支，每个检测分支用于检测一种目标对象的检测框，从而得到N种目标对象的检测框；最后，根据检测得到的N种目标对象的检测框，完成对视频图像的脱敏处理。通过这样设置，使用一个目标检测模型即可检测出视频图像中所有类型的目标对象，从而提高脱敏处理结果的完善性。
为便于理解本申请实施例提供的视频图像的脱敏方法，以下列举一个实际应用场景。
如图2所示，为本申请实施例提供的一种多任务目标检测算法的流程示意图。图2的目标检测算法需要检测的目标对象包含车牌和人脸两种类型，采用的样本图像是行车记录视频影像，其中包含行人的人脸以及车辆的车牌等敏感信息。首先，将样本图像划分为训练集图像和测试集图像，其中训练集图像包含原始标签(已标注每个人脸的检测框和每个车牌的检测框，具体包括检测框的类别信息和几何参数)；在对训练集图像进行数据增强处理后，根据其中的原始标签分别计算生成车牌检测训练标签和人脸检测训练标签；测试集图像输入到目标检测模型的主干网络中，进行多层级深度图像特征提取，得到相应的特征图像；然后，将特征图像分别输入车牌检测分支和人脸检测分支，车牌检测分支和人脸检测分支都具有各自的分类子网络和回归子网络，分类子网络用于输出检测框的类型，回归子网络用于输出检测框的几何参数；一方面，在将特征图像输入车牌检测分支后，可以检测得到图像中的各个车牌检测框，在将特征图像输入人脸检测分支后，可以检测得到图像中的各个人脸检测框，最后再将两部分检测结果叠加，得到最终的多任务检测结果(包含车牌检测框和人脸检测框)；另一方面，根据车牌检测训练标签可以计算车牌检测分支的检测损失，根据人脸检测训练标签可以计算人脸检测分支的检测损失，每个检测分支的检测损失包含分类子网络的损失和回归子网络的损失，其中分类子网络的损失可以通过计算交叉熵得到，回归子网络的损失可以通过计算检测框几何参数变量之间的MMD距离得到。
需要说明的是，在图2中，如果需要增加检测的目标对象的类型，只需增加相应的检测分支即可。例如，如果需要同时检测交通标志牌，则可以增加一条检测交通标志牌的分支，其网络结构与车牌检测分支和人脸检测分支相同，以此类推。
综上所述，本申请实施例提供一种基于端到端多任务深度学习的目标检测方法，通过一个全卷积神经网络提取输入视频图像的不同层级特征，并将回归变量的关联性加以运用，能够抑制检测错误，同时提高模型的推理速度，从而进一步提高整个数据脱敏处理流程的效率和准确性。
应理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上面主要描述了一种视频图像的脱敏方法，下面将对一种视频图像的脱敏装置进行描述。
请参阅图3，本申请实施例中一种视频图像的脱敏装置的一个实施例包括：
视频图像获取模块301，用于获取待脱敏的视频图像；
目标检测模块302，用于将所述视频图像输入至已训练的目标检测模型进行处理，通过所述目标检测模型的特征提取网络提取所述视频图像的特征图像，通过所述目标检测模型的N个检测分支分别对所述特征图像进行检测，得到所述视频图像中N种目标对象的检测框；其中，一个所述检测分支用于检测一种所述目标对象的检测框，N≥2；
视频图像脱敏模块303，用于根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理。
在本申请实施例的一种实现方式中，所述视频图像的脱敏装置还可以包括：
样本图像获取模块，用于获取包含所述N种目标对象的样本图像，并将所述样本图像划分为训练集图像和测试集图像，所述训练集图像已标注每个目标对象的检测框对应的几何参数和类别信息作为原始标签；
初始模型训练模块，用于根据所述训练集图像训练得到初始检测模型；
测试检测模块，用于将所述测试集图像输入至所述初始检测模型进行处理，得到所述测试集图像的目标检测结果；
检测损失计算模块，用于根据所述原始标签和所述目标检测结果，分别计算得到每个所述检测分支的检测损失；
损失函数构建模块，用于根据每个所述检测分支的检测损失，构建损失函数；
模型参数优化模块，用于基于所述损失函数对所述初始检测模型的参数进行迭代优化，并将参数迭代优化后的所述初始检测模型确定为所述目标检测模型。
进一步的，每个所述检测分支均具有各自的分类子网络和回归子网络，所述分类子网络用于检测各个检测框的类别，所述回归子网络用于检测各个检测框的几何参数；所述检测损失计算模块具体可以用于：
针对每个所述检测分支，根据所述原始标签中各个检测框的类别信息和所述目标检测结果中各个检测框的类别信息，计算得到所述检测分支的分类子网络的交叉熵损失；根据所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数，计算得到所述检测分支的回归子网络的回归损失；根据所述交叉熵损失和所述回归损失，计算得到所述检测分支的检测损失。
更进一步的，所述检测损失计算模块可以包括：
MMD距离计算单元，用于将所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数视作满足多维高斯分布的变量，并将所述变量作为输入参数代入到最大均值差异MMD距离的计算公式中；
MMD公式求解单元，用于通过求解所述计算公式，得到所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数之间的多个协方差矩阵；
矩阵组合单元，用于将所述多个协方差矩阵组合成目标矩阵；
回归损失确定单元，用于将所述目标矩阵的迹确定为所述检测分支的回归子网络的回归损失。
在本申请实施例的一种实现方式中，所述几何参数包括检测框中心点坐标、检测框高度、检测框宽度以及检测框旋转角度。
在本申请实施例的一种实现方式中，所述视频图像的脱敏装置还可以包括：
指标计算模块，用于计算使用所述目标检测模型对所述视频图像进行目标检测的准确率、召回率和综合评价指标；
模型优化模块，用于根据所述准确率、所述召回率和所述综合评价指标，确定是否需要对所述目标检测模型的参数进行迭代优化。
在本申请实施例的一种实现方式中，所述视频图像脱敏模块可以包括：
目标区域获取单元，用于获取所述视频图像中所述N种目标对象的检测框所处的目标区域；
色块擦除单元，用于对所述目标区域内的图像进行色块擦除处理，得到脱敏后的所述视频图像。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如图1表示的任意一种视频图像的脱敏方法。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品在终端设备上运行时，使得终端设备执行如图1表示的任意一种视频图像的脱敏方法。
图4是本申请一实施例提供的终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个视频图像的脱敏方法的实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至303的功能。
所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频图像的脱敏方法，其特征在于，包括：
获取待脱敏的视频图像；
将所述视频图像输入至已训练的目标检测模型进行处理，通过所述目标检测模型的特征提取网络提取所述视频图像的特征图像，通过所述目标检测模型的N个检测分支分别对所述特征图像进行检测，得到所述视频图像中N种目标对象的检测框；其中，一个所述检测分支用于检测一种所述目标对象的检测框，N≥2；
根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理。
2.如权利要求1所述的脱敏方法，其特征在于，所述目标检测模型通过以下方式训练获得：
获取包含所述N种目标对象的样本图像，并将所述样本图像划分为训练集图像和测试集图像，所述训练集图像已标注每个目标对象的检测框对应的几何参数和类别信息作为原始标签；
根据所述训练集图像训练得到初始检测模型；
将所述测试集图像输入至所述初始检测模型进行处理，得到所述测试集图像的目标检测结果；
根据所述原始标签和所述目标检测结果，分别计算得到每个所述检测分支的检测损失；
根据每个所述检测分支的检测损失，构建损失函数；
基于所述损失函数对所述初始检测模型的参数进行迭代优化，并将参数迭代优化后的所述初始检测模型确定为所述目标检测模型。
3.如权利要求2所述的脱敏方法，其特征在于，每个所述检测分支均具有各自的分类子网络和回归子网络，所述分类子网络用于检测各个检测框的类别，所述回归子网络用于检测各个检测框的几何参数；所述根据所述原始标签和所述目标检测结果，分别计算得到每个所述检测分支的检测损失，包括：
针对每个所述检测分支，根据所述原始标签中各个检测框的类别信息和所述目标检测结果中各个检测框的类别信息，计算得到所述检测分支的分类子网络的交叉熵损失；根据所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数，计算得到所述检测分支的回归子网络的回归损失；根据所述交叉熵损失和所述回归损失，计算得到所述检测分支的检测损失。
4.如权利要求3所述的脱敏方法，其特征在于，所述根据所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数，计算得到所述检测分支的回归子网络的回归损失，包括：
将所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数视作满足多维高斯分布的变量，并将所述变量作为输入参数代入到最大均值差异MMD距离的计算公式中；
通过求解所述计算公式，得到所述原始标签中各个检测框的几何参数和所述目标检测结果中各个检测框的几何参数之间的多个协方差矩阵；
将所述多个协方差矩阵组合成目标矩阵；
将所述目标矩阵的迹确定为所述检测分支的回归子网络的回归损失。
5.如权利要求4所述的脱敏方法，其特征在于，所述几何参数包括检测框中心点坐标、检测框高度、检测框宽度以及检测框旋转角度。
6.如权利要求1所述的脱敏方法，其特征在于，在得到所述视频图像中N种目标对象的检测框之后，还包括：
计算使用所述目标检测模型对所述视频图像进行目标检测的准确率、召回率和综合评价指标；
根据所述准确率、所述召回率和所述综合评价指标，确定是否需要对所述目标检测模型的参数进行迭代优化。
7.如权利要求1至6任一项所述的脱敏方法，其特征在于，所述根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理，包括：
获取所述视频图像中所述N种目标对象的检测框所处的目标区域；
对所述目标区域内的图像进行色块擦除处理，得到脱敏后的所述视频图像。
8.一种视频图像的脱敏装置，其特征在于，包括：
视频图像获取模块，用于获取待脱敏的视频图像；
目标检测模块，用于将所述视频图像输入至已训练的目标检测模型进行处理，通过所述目标检测模型的特征提取网络提取所述视频图像的特征图像，通过所述目标检测模型的N个检测分支分别对所述特征图像进行检测，得到所述视频图像中N种目标对象的检测框；其中，一个所述检测分支用于检测一种所述目标对象的检测框，N≥2；
视频图像脱敏模块，用于根据所述N种目标对象的检测框，对所述视频图像进行脱敏处理。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的视频图像的脱敏方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的视频图像的脱敏方法。
CN202211082551.8A 2022-09-06 2022-09-06 一种视频图像的脱敏方法、装置、终端设备和存储介质 Pending CN115512258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211082551.8A CN115512258A (zh) 2022-09-06 2022-09-06 一种视频图像的脱敏方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211082551.8A CN115512258A (zh) 2022-09-06 2022-09-06 一种视频图像的脱敏方法、装置、终端设备和存储介质

Publications (1)

Publication Number Publication Date
CN115512258A true CN115512258A (zh) 2022-12-23

Family

ID=84501260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211082551.8A Pending CN115512258A (zh) 2022-09-06 2022-09-06 一种视频图像的脱敏方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN115512258A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563521A (zh) * 2023-04-14 2023-08-08 依未科技(北京)有限公司 目标检测的检测框处理方法及其装置、电子设备
CN116797826A (zh) * 2023-06-09 2023-09-22 深圳市大数据研究院 数据识别方法、模型训练方法、设备及介质
CN118521779A (zh) * 2024-07-23 2024-08-20 中汽数据(天津)有限公司 车辆火灾图像的脱敏处理方法、设备和存储介质
CN118521779B (zh) * 2024-07-23 2024-10-29 中汽数据(天津)有限公司 车辆火灾图像的脱敏处理方法、设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563521A (zh) * 2023-04-14 2023-08-08 依未科技(北京)有限公司 目标检测的检测框处理方法及其装置、电子设备
CN116563521B (zh) * 2023-04-14 2024-04-23 依未科技(北京)有限公司 目标检测的检测框处理方法及其装置、电子设备
CN116797826A (zh) * 2023-06-09 2023-09-22 深圳市大数据研究院 数据识别方法、模型训练方法、设备及介质
CN118521779A (zh) * 2024-07-23 2024-08-20 中汽数据(天津)有限公司 车辆火灾图像的脱敏处理方法、设备和存储介质
CN118521779B (zh) * 2024-07-23 2024-10-29 中汽数据(天津)有限公司 车辆火灾图像的脱敏处理方法、设备和存储介质

Similar Documents

Publication Publication Date Title
CN115512258A (zh) 一种视频图像的脱敏方法、装置、终端设备和存储介质
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
CN111340109A (zh) 图像匹配方法、装置、设备及存储介质
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN113066002A (zh) 对抗样本的生成方法、神经网络的训练方法、装置及设备
CN114444565B (zh) 一种图像篡改检测方法、终端设备及存储介质
CN114612987A (zh) 一种表情识别方法及装置
CN111353956A (zh) 图像修复方法、装置、计算机设备及存储介质
CN113015022A (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114581646A (zh) 文本识别方法、装置、电子设备及存储介质
CN116415652A (zh) 一种数据生成方法、装置、可读存储介质及终端设备
CN114926342A (zh) 图像超分辨率重建模型构建方法、装置、设备及存储介质
CN112766012A (zh) 二维码图像的识别方法、装置、电子设备及存储介质
WO2022199395A1 (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN109359542B (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
CN114359048A (zh) 图像的数据增强方法、装置、终端设备及存储介质
CN113780278A (zh) 一种识别车牌内容的方法、装置、电子设备以及存储介质
CN116071625B (zh) 深度学习模型的训练方法、目标检测方法及装置
CN115760641B (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination