CN115249281B - 图像遮挡和模型训练方法、装置、设备以及存储介质 - Google Patents

图像遮挡和模型训练方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN115249281B
CN115249281B CN202210112797.9A CN202210112797A CN115249281B CN 115249281 B CN115249281 B CN 115249281B CN 202210112797 A CN202210112797 A CN 202210112797A CN 115249281 B CN115249281 B CN 115249281B
Authority
CN
China
Prior art keywords
shielding
image
target
occlusion
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210112797.9A
Other languages
English (en)
Other versions
CN115249281A (zh
Inventor
刘吉
李岐龙
李宇
李兴建
孙奕帆
窦德景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210112797.9A priority Critical patent/CN115249281B/zh
Publication of CN115249281A publication Critical patent/CN115249281A/zh
Priority to US18/076,501 priority patent/US20230244932A1/en
Application granted granted Critical
Publication of CN115249281B publication Critical patent/CN115249281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像遮挡和模型训练方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉技术和深度学习领域，可应用于图像识别和模型训练等场景。具体实现方案为：根据遮挡参数，生成候选遮挡区域；根据所述候选遮挡区域，对待处理图像进行遮挡，得到候选遮挡图像；根据所述候选遮挡图像的视觉安全度和数据可用度，从所述候选遮挡区域中确定目标遮挡区域；根据所述目标遮挡区域，对所述待处理图像进行遮挡处理，得到目标遮挡图像。实现了在目标识别准确性的前提下对待处理图像进行脱敏处理。

Description

图像遮挡和模型训练方法、装置、设备以及存储介质
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉技术和深度学习领域，可应用于图像识别和模型训练等场景。
背景技术
近年来，随着深度学习技术的发展，基于深度学习的目标识别技术(如人脸识别技术)也迈入了发展的新高潮。然而基于深度学习的目标识别技术所需的待识别图像可能涉及敏感信息。例如，基于人脸识别技术训练人脸识别模型时，使用的人脸图像中就包含大量的敏感信息。因此，如何保证目标识别准确性的前提下对待处理图像进行脱敏处理(如遮挡处理)是当前亟需解决的问题。
发明内容
本公开提供了一种图像遮挡和模型训练方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种图像遮挡方法，包括：
根据遮挡参数，生成候选遮挡区域；
根据所述候选遮挡区域，对待处理图像进行遮挡，得到候选遮挡图像；
根据所述候选遮挡图像的视觉安全度和数据可用度，从所述候选遮挡区域中确定目标遮挡区域；
根据所述目标遮挡区域，对所述待处理图像进行遮挡处理，得到目标遮挡图像。
根据本公开的另一方面，提供了一种模型训练方法，包括：
获取目标遮挡图像和目标遮挡区域；其中，所述目标遮挡图像和所述目标遮挡区域采用本公开任一实施例所述的图像遮挡方法得到；
根据所述目标遮挡图像、所述目标遮挡区域和所述目标遮挡图像的真实识别结果，对目标识别模型进行训练。
根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例的图像遮挡和/或模型训练方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例的图像遮挡和/或模型训练方法。
本公开实施例的方案，给出了一种对图像进行遮挡，以及基于生成的遮挡图像对模型进行训练的优选方案，能够提高遮挡后图像的安全性和可用性，进而，基于该遮挡图像进行模型训练时，不但避免了敏感信息的泄露，还能够保证模型训练的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1A是根据本公开实施例提供的一种图像遮挡方法的流程图；
图1B是根据本公开实施例提供的图像遮挡效果图；
图2是根据本公开实施例提供的一种图像遮挡方法的流程图；
图3是根据本公开实施例提供的一种图像遮挡方法的流程图；
图4是根据本公开实施例提供的目标遮挡区域的确定原理图；
图5是根据本公开实施例提供的一种模型训练方法的流程图；
图6是根据本公开实施例提供的一种目标识别模型的示意图；
图7是根据本公开实施例提供的一种模型训练方法的流程图；
图8是根据本公开实施例提供的一种图像遮挡装置的结构示意图；
图9是根据本公开实施例提供的一种模型训练装置的结构示意图；
图10是用来实现本公开实施例的图像遮挡方法和/或模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1A是根据本公开实施例提供的一种图像遮挡方法的流程图；图1B是根据本公开实施例提供的图像遮挡效果图。本公开实施例适用于对图像进行区域遮挡的情况。尤其适用于对包含敏感信息的图像(如人脸图像)进行区域遮挡的情况。该方法可以由图像遮挡装置来执行，该装置可以采用软件和/或硬件的方式实现。如图1A-1B所示，本实施例提供的图像遮挡方法可以包括：
S101，根据遮挡参数，生成候选遮挡区域。
其中，遮挡参数可以是进行区域遮挡所需的参数，例如，可以包括但不限于：待遮挡的画布尺寸(即待处理图像的尺寸)、遮挡顶点数量、遮挡长度、遮挡宽度和遮挡角度等。候选遮挡区域可以是基于遮挡参数，在待遮挡的画布中添加至少一个任意形状的遮挡后得到的区域图像。绘制在画布上的候选遮挡区域可以是二值化区域图像，且遮挡部分的灰度值可以为1，未遮挡部分的灰度值可以为0。且绘制有候选遮挡区域的画布尺寸与待处理图像的尺寸相同。优选的，不同候选遮挡区域中包含的遮挡位置和/或遮挡形状不同。本实施例的候选遮挡区域的数量优选为多个。
可选的，在本实施例中，根据遮挡参数，生成候选遮挡区域的一种可实施方式为：基于预先设置的遮挡参数，调用遮挡生成算法(Generate Mask)，随机生成多种不同遮挡形状，并将这些遮挡形状随机绘制在画布上的不同位置，即可得到一个候选遮挡区域。另一种可实施方式为：将遮挡参数输入到预先训练好的遮挡生成模型中，该模型即可基于输入的遮挡参数，随机在画布上添加遮挡，得到候选遮挡区域。
S102，根据候选遮挡区域，对待处理图像进行遮挡，得到候选遮挡图像。
其中，待处理图像可以是需要进行遮挡的图像。优选的，可以是包含敏感信息，需要通过遮挡进行数据脱敏的图像，例如，人脸图像。
可选的，在本实施例中，可以针对S101生成的每一候选遮挡区域，基于该候选遮挡区域，对待处理图像进行遮挡处理，即可得到该候选遮挡区域对应的候选遮挡图像。即针对每一候选遮挡区域，都对应得到一个候选遮挡图像。
具体的，由于绘制候选遮挡区域的画布尺寸与待处理图像的尺寸相同，所以一种可实施方式为：将候选遮挡区域所在画布中的各位置点与待处理图像中对应位置点的灰度值进行求和，作为候选遮挡图像中各为支点的灰度值，即得到候选遮挡图像；另一种可实施方式为：获取候选遮挡区域在画布中对应的形状和位置，进而在待处理图像中找到该位置，并通过该形状进行图像内容的遮挡，得到候选遮挡图像。
S103，根据候选遮挡图像的视觉安全度和数据可用度，从候选遮挡区域中确定目标遮挡区域。
其中，视觉安全度可以是衡量遮挡后的图像直接体现或通过图像恢复后体现敏感信息多少的指标。具体的，若遮挡后的图像直接体现或通过图像恢复算法间接体现的敏感信息越多，则说明遮挡后的图像越容易被识别出敏感信息，即视觉安全度就会越低。数据可用度可以是衡量遮挡后的图像的可用性指标，具体的，若遮挡后的图像能够替代未遮挡图像来使用的场景(如模型训练、目标识别、目标跟踪等)越广，则说明遮挡后的图像的数据可用度越高。目标遮挡区域可以是指从候选遮挡区域中筛选出来的对待处理图像遮挡时所需使用的遮挡区域。可选的，目标遮挡区域的数量可以为一个或多个。
可选的，在本实施例中，根据候选遮挡图像的视觉安全度和数据可用度，从候选遮挡区域中确定目标遮挡区域时，可以是从候选遮挡图像中，选择视觉安全度和数据可用度均较高的候选遮挡图像所对应的候选遮挡区域，作为目标遮挡区域。具体的，一种可实施方式为：分别为视觉安全度和数据可用度设置对应的阈值，如安全度阈值和可用度阈值，从候选遮挡图像中选择视觉安全度高于安全度阈值，且数据可用度也高于可用度阈值的候选遮挡图像所对应的候选遮挡区域，作为目标遮挡区域。另一种可实施方式为：将各候选遮挡图像的视觉安全度、数据可用度两个指标，以及候选遮挡图像均输入到预先训练好的指标分析模型中，该模型即可对输入的数据进行分析，给出效果较好的至少一个候选遮挡图像，此时可以将给出的效果较好的至少一个候选遮挡图像对应的候选遮挡区域，作为目标遮挡区域。
可选的，本实施例中，候选遮挡图像的视觉安全度和数据可用度的确定方式有很多，对此本实施例不进行限定。例如，可以是通过训练好的神经网络模型来预测。还可以通过预设的算法来确定。具体的，确定候选遮挡图像的视觉安全度时，可以是计算候选遮挡图像与其对应的待遮挡图像(即候选遮挡图像的原图)之间的结构相似性(SSIM)，相似性越高，则说明视觉安全度越低。确定候选遮挡图像的数据可用度时，可以是将候选遮挡图像及其对应的待遮挡图像都在多种不同场景下使用，判断使用效果的误差，误差越小，则说明数据可用度越高。
S104，根据目标遮挡区域，对待处理图像进行遮挡处理，得到目标遮挡图像。
可选的，本实施例可以采用S102类似的方式，基于S103确定的目标遮挡区域，对待处理图像进行遮挡处理，可得到目标遮挡图像。对此不进行赘述。
示例性的，图1B中，同一行代表的是一个人的不同人脸图像，其中，每一行的第一个图像是未遮挡的人脸图像，后三个均为采用同一目标遮挡区域进行遮挡后的效果图。由图1B可以看出，本方案遮挡后的图像视觉安全度较高，几乎不会泄露用户人脸。
本公开实施例的方案，根据遮挡参数，随机生成候选遮挡区域，根据候选遮挡区域对待处理图像遮挡后的效果，即视觉安全度和数据可用度，来从候选遮挡区域中确定目标遮挡区域，进而基于目标遮挡区域对待处理图像进行遮挡处理，得到目标遮挡图像。本实施例的方案从视觉安全性和数据可用性的角度来对图像进行区域遮挡，相比于现有技术对特定区域(如人眼、鼻子或嘴巴等区域)进行遮挡，不但兼顾了遮挡后图像可用度，还极大的提高了原始图像中敏感信息的脱敏效果，以及提高了遮挡区域的灵活度。为图像中敏感信息的遮挡提供了新的解决方案。
可选的，在本公开实施例中，确定候选遮挡图像的视觉安全度和数据可用度的另一种可实施方式为：根据候选遮挡图像和待处理图像，确定候选遮挡图像的可恢复度和遮挡比例，并根据可恢复度和遮挡比例，确定候选遮挡图像的视觉安全度；根据候选遮挡图像的目标识别结果和待处理图像的目标识别结果，确定候选遮挡图像的数据可用度。
其中，可恢复度可以是衡量遮挡图像是否容易恢复出原图(即待处理图像)的性能指标。具体的：在确定候选遮挡图像的视觉安全度时，可以先调用图像修复算法对候选遮挡图像进行修复，然后计算修复后图像与原图(即待处理图像)之间的相似度，作为候选遮挡图像的可修复度。计算候选遮挡图像中，遮挡区域占总图像区域的比例，作为遮挡比例。由于候选遮挡图像的可修复度越高，视觉安全性越低，遮挡比例越高，视觉安全性越高，所以本实施例可以是计算候选遮挡图像的遮挡比例与可恢复度的差值(或加权差值)作为候选遮挡图像的视觉安全度，也可以是直接将遮挡比例和可恢复度直接作为视觉安全度的两个维度的数值。
确定候选遮挡图像的数据可用度时，可以是调用待处理图像对应的目标识别算法(如待处理图像为人脸图像，则调用人脸识别算法)，分别对候选遮挡图像和待处理图像都进行目标识别处理，并判断两个目标识别结果的误差，误差越小，候选遮挡图像的数据可用度就越高。
本实施例通过遮挡图像的可恢复度和遮挡比例两个维度来确定遮挡图像的视觉安全性，通过遮挡图像的目标识别效果来衡量遮挡图像的数据可用性，提高了遮挡图像的视觉安全度和数据可用度的准确性，为后续基于视觉安全度和数据可用度选择最佳的目标遮挡区域提供了保障。
图2是根据本公开实施例提供的一种图像遮挡方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何根据候选遮挡图像的视觉安全度和数据可用度，从候选遮挡区域中确定目标遮挡区域进行详细解释说明，如图2所示，本实施例提供的图像遮挡方法可以包括：
S201，根据遮挡参数，生成候选遮挡区域。
S202，根据候选遮挡区域，对待处理图像进行遮挡，得到候选遮挡图像。
S203，根据候选遮挡图像的视觉安全度和数据可用度，确定候选遮挡图像的遮挡损失值。
其中，遮挡损失值可以是遮挡图像相对于待处理图像在视觉安全度和数据可用度两个维度存在的误差值。
可选的，本实施例可以是将候选遮挡图像的视觉安全度和待处理图像的视觉安全度之间的差值，作为第一遮挡损失值，将候选遮挡图像的数据可用度和待处理图像的数据可用度之间的差值，作为第二遮挡损失值，并根据第一遮挡损失值和第二遮挡损失值确定候选遮挡图像最终的遮挡损失值。
具体的，可以通过如下公式(1)来确定候选遮挡图像的遮挡损失值。
L＝||R(m*x)-y||-α||I(m*x)-I(x)||-βP(m) (1)
其中，L为候选遮挡图像的遮挡损失值；m为候选遮挡区域；x为待处理图像，m*x为候选遮挡图像；R(m*x)为采用目标识别函数R，对候选遮挡图像进行目标识别的结果；y为待处理图像进行目标识别的结果；α和β为调节损失的一组超参数；I(m*x)为采用图像修复函数I对候选遮挡图像确定的可修复度值；I(x)为采用图像修复函数I对待处理图像确定的可修复度值；P(m)为采用比例计算函数P确定的候选遮挡区域对应的遮挡比例。
需要说明的是，本实施例可以是针对每一候选遮挡图像，都按照上述方法确定出其对应的遮挡损失值。
S204，根据遮挡损失值，从候选遮挡区域中确定目标遮挡区域。
可选的，本实施例根据遮挡损失值，从候选遮挡区域中确定目标遮挡区域时，可以是比较多个候选遮挡图像的遮挡损失值，选择遮挡损失值最小的候选遮挡图像对应的候选遮挡区域作为目标遮挡区域。
S205，根据目标遮挡区域，对待处理图像进行遮挡处理，得到目标遮挡图像。
本公开实施例的方案，根据遮挡参数，随机生成候选遮挡区域，根据候选遮挡区域对待处理图像遮挡后的效果，即视觉安全度和数据可用度，计算候选遮挡图像的遮挡损失值，并选择遮挡损失值最小时对应的候选遮挡区域作为目标遮挡区域，进而基于目标遮挡区域对待处理图像进行遮挡处理，得到目标遮挡图像。本实施例的方案通过不断优化遮挡损失值来搜索视觉安全度高且数据可用度高的目标遮挡图像对应的目标遮挡区域，极大的提高了目标遮挡区域确定的精准性。
可选的，在本公开实施例中，根据遮挡参数，生成候选遮挡区域的一种优选方式可以是：根据遮挡参数，生成初始遮挡区域；根据初始遮挡区域在目标识别过程中的贡献度，对初始遮挡区域进行调整，得到候选遮挡区域。其中，对图像进行目标识别的过程中，图像中的不同区域对目标识别所起的贡献程度不同，例如，对人脸图像进行人脸识别的过程中，五官区域对人脸识别的贡献程度高于背景区域。初始遮挡位置在目标识别过程中的贡献度可以是指初始遮挡区域在待处理图像中所遮挡的区域对待处理图像进行目标识别过程所起的贡献程度。可选的，初始遮挡区域在目标识别过程中的贡献度的确定方式可以是：先确定初始遮挡区域在待处理图像中所遮挡的位置，(如背景、头发、眼睛、鼻子或嘴巴等)，然后基于贡献度解析算法(如EBP算法)或贡献度解析模型，来解析待处理图像中所遮挡的位置，对待处理图像进行目标识别过程的贡献程度。
具体的，本实施例在基于遮挡参数，通过遮挡生成算法或遮挡生成模型生成一个遮挡区域(即初始遮挡区域)后，需要进一步结合该初始遮挡区域中各位置区域在目标识别过程中的贡献度，从初始遮挡区域中去除贡献度大于贡献度阈值的各位置区域，得到一个候选遮挡区域。本方案在基于遮挡参数随机生成初始遮挡区域的过程中，引入了遮挡区域在目标识别过程中的贡献度，使得生成的候选遮挡区域尽可能的不含盖对目标识别过程贡献度高的区域，从而保证基于该候选遮挡区域遮挡的图像尽可能不影响目标识别效果，即遮挡后的图像仍具有较高的数据可用性。
图3是根据本公开实施例提供的一种图像遮挡方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何根据初始遮挡区域在目标识别过程中的贡献度，对初始遮挡区域进行调整进行详细解释说明，如图3所示，本实施例提供的图像遮挡方法可以包括：
S301，根据遮挡参数，生成初始遮挡区域。
S302，根据待处理图像关联的贡献度区域模板，确定初始遮挡区域在目标识别过程中的贡献度。
其中，贡献度区域模板可以是表征某一类型的图像(如人脸图像中)中各个区域对目标识别过程所起贡献程度的模板。
可选的，本实施例可以预先针对各种类型的图像，基于该类型的大量样本图像，生成类型图像关联的贡献度区域模板。具体的生成过程为：根据同类型样本图像的各区域对目标识别的贡献度，生成所述类型图像关联的贡献度区域模板。
具体的，可以先对同类型的多张样本图像进行目标对齐处理，然后基于贡献度解析算法(如EBP算法)或贡献度解析模型，解析目标对齐后的每一样本图像中各个区域对目标识别的贡献度，由于同一类型的不同图像在经过目标对齐后对识别贡献度较高的区域的重叠度较高，所以本实施例可以是对各个样本图像的各区域的贡献度进行整合(如求均值处理)，作为可得到该类型图像中各位置区域对应的贡献程度，进而基于该类型图像中各位置区域对应的贡献程度生成该类型图像关联的贡献度区域模板。本实施例基于同一类型的大量图像中不同区域对目标识别的贡献度，来进行统计该类型图像共用的贡献度区域模板，提高了该类型图像的贡献度区域模板确定的准确性。
可选的，本实施例根据待处理图像关联的贡献度区域模板，确定初始遮挡区域在目标识别过程中的贡献度的方式可以是将初始遮挡区域映射到该待处理图像所述类别关联的贡献度区域模板中，由于贡献度区域模块中标注有不同位置区域在目标识别过程中的贡献度，所以基于该贡献度区域模板中标注的不同位置区域对应的贡献度，来确定初始遮挡区域中各位置区域在目标识别过程中的贡献度。
S303，根据贡献度对初始遮挡区域进行调整，得到候选遮挡区域。
具体的，可以根据初始遮挡区域中的位置区域在目标识别过程中的贡献度，从初始遮挡区域中去除贡献度大于贡献度阈值的各位置区域，得到候选遮挡区域。
S304，根据候选遮挡区域，对待处理图像进行遮挡，得到候选遮挡图像。
S305，根据候选遮挡图像的视觉安全度和数据可用度，从候选遮挡区域中确定目标遮挡区域。
S306，根据目标遮挡区域，对待处理图像进行遮挡处理，得到目标遮挡图像。
本公开实施例的方案，根据遮挡参数，随机生成初始遮挡区域后，根据待处理图像关联的贡献度区域模板，确定初始遮挡区域在模板识别过程中的贡献度，结合贡献度来对初始遮挡区域进行调整，得到候选遮挡区域，根据候选遮挡区域对待处理图像遮挡后的效果，即视觉安全度和数据可用度，来从候选遮挡区域中确定目标遮挡区域，进而基于目标遮挡区域对待处理图像进行遮挡处理，得到目标遮挡图像。本方案预先为各类型图像生成贡献度区域模板，后续对初始遮挡区域进行调整时，直接使用待处理图像所属类型图像的贡献度区域模板来确定初始遮挡区域对应的贡献度，无需针对每次生成的初始遮挡区域都采用贡献度解析算法(如EBP算法)或贡献度解析模型进行贡献度解析，极大地提高了贡献度的确定效率。
示例性的，图4给出了一种确定目标遮挡区域的原理图。如图4所示，预先基于贡献度解析算法(即EBP算法)分别对K张样本人脸图像进行人脸识别过程的区域贡献度分析，得到每张样本人脸图像各区域对应的贡献度(即贡献度1到贡献度K)，对K张样本人脸图像各区域对应的贡献度按照如下公式(2)进行整合，得到人脸图像关联的贡献度区域模板xfr。如图4所示，贡献度区域模板中，白色区域(即贡献度值趋近于1的区域)表征贡献度高，黑色区域(即贡献度趋近于0的区域)表征贡献度低。
其中，xfr为人脸图像关联的贡献度区域模板；K为样本人脸图像的总数量；xi为第i张人脸图像；e(xi)为第i张人脸图像中各区域对模板识别的贡献度。
在需要对人脸图像进行遮挡时，可以获取贡献度区域模板xfr，通过如下公式(3)对基于遮挡参数随机生成的初始遮挡区域进行调整，得到一个候选遮挡区域。
m＝G(v，l，b，a)+binaryzation(xfr，threshold) (3)
其中，m为候选候选遮挡区域；G(v,l,b,a)为基于遮挡参数随机生成的初始遮挡区域；binaryzation()为二值化函数，xfr为人脸图像关联的贡献度区域模板，threshold为阈值。
针对当前生成的候选遮挡区域，将其与上一次生成的候选遮挡区域进行遮挡比例比较，若当前生成的候选遮挡区域的遮挡比例小于或等于上一次生成的候选遮挡区域的遮挡比例，则返回重新生成下一个候选遮挡区域，否则基于图像修复函数I，对当前候选遮挡区域遮挡的候选遮挡图像进行可修复度确定，并分析当前候选遮挡图像的可修复度是否小于上一候选遮挡图像的可修复度，若否，则返回重新生成下一个候选遮挡区域，否则，基于人脸识别算法，对当前候选遮挡图像人脸识别，并分析当前候选遮挡图像的人脸识别误差是否小于上一候选遮挡图像，若是，则将当前生成的候选遮挡区域作为目标遮挡区域，否则返回重新生成下一个候选遮挡区域。
需要说明的是，本实施例可以是从第二次生成的候选遮挡区域开始，每生成一个候选遮挡区域都执行一次上述判断过程，直到确定出目标遮挡区域。
图5是根据本公开实施例提供的一种模型训练方法的流程图。本公开实施例适用于基于遮挡图像进行模型训练的情况。尤其适用于基于上述实施例生成的遮挡图像进行模型训练的情况。该方法可以由模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现。如图5所示，本实施例提供的模型训练方法可以包括：
S501，获取目标遮挡图像和目标遮挡区域。
其中，本实施例所涉及的目标遮挡图像和目标遮挡区域是采用本公开上述任一实施例所述的图像遮挡方法得到。本实施例的目标遮挡区域是形成目标遮挡图像所使用的遮挡区域，即基于目标遮挡区域对未遮挡图像进行处理后得到目标遮挡图像。
可选的，本步骤可以通过执行上述实施例介绍的方案，来获取目标遮挡图像和目标遮挡区域。也可以从图像库中直接获取预先按照上述实施例介绍的方案已经生成好的目标遮挡图像和目标遮挡区域。
需要说明的是，由于本实施例获取目标遮挡图像的目的是为了对模型进行训练，所以获取的目标遮挡图像及其对应的目标遮挡区域的数量优选为多个。
S502，根据目标遮挡图像、目标遮挡区域和目标遮挡图像的真实识别结果，对目标识别模型进行训练。
可选的，本实施例可以将目标遮挡图像及其对应的目标遮挡区域输入待训练的目标识别模型中，得到目标识别模型基于目标遮挡图像和目标遮挡区域预测的目标遮挡图像对应的预测识别结果，进而将目标遮挡图像的真实识别结果作为监督数据与预测识别结果结合，确定训练损失，并基于该训练损失对目标识别模型进行训练。
需要说明的是，本实施例需要通过多组目标遮挡图像、目标遮挡区域以及标遮挡图像的真实识别结果，基于上述方法对目标识别模型进行多次迭代训练，直至达到预设的训练停止条件，则停止调整目标识别模型的模型参数，得到经训练的目标识别模型。训练停止条件可以包括：训练次数达到预设次数，或者训练损失收敛等。
本公开实施例的方案，获取结合视觉安全度和数据可用度生成的目标遮挡图像和目标遮挡区域，并基于目标遮挡图像、目标遮挡区域，以及目标遮挡图像对应的真实识别结果来对目标识别模型进行训练。由于本实施例进行模型训练的图像是基于视觉安全度和数据可用度生成的，所以在模型训练过程中，能够避免图像敏感信息的泄露，且保证训练结果的准确性，另外，本实施例训练目标识别模型时，还结合了生成遮挡图像所使用的遮挡区域，能够便于模型更精准的进行目标识别。
可选的，如图6所示，本实施例待训练的目标识别模型6包括：特征提取网络61和识别网络62；特征提取网络61的至少一个特征提取层611中嵌入有特征选择网络(FeatureSelect Module,FSM)63；特征选择网络63包含至少一个基本网络层631和激活层632；基本网络层621的个数根据特征选择网络63所嵌入的特征提取层611在特征提取网络61中的位置确定。
其中，目标识别模型6包含主干网络，即特征提取网络61和识别网络62；特征提取网络61用于对输入的待识别图像(如目标遮挡图像)进行图像特征提取，并将提取结果传输至识别网络62，识别网络62用于基于接收的图像特征提取结果进行目标识别，并输出识别结果。特征提取网络61可以包含多个(即n个)首尾相连的特征提取层611。例如，若目标识别网络为resnet34网络，则其中的特征提取网络61包括：conv1-conv5_x；识别网络62为池化层(avg_pool)和全连接层(fc)。
本实施例中多个特征提取层611中，至少一个特征提取层611中嵌入有特征选择网络63。图6示出的是在特征提取层2中，即特征提取层2之后嵌入一个特征选择网络63。所谓特征选择网络63的输入是目标遮挡图像对应的目标遮挡区域，主要用于根据目标遮挡区域中的遮挡位置和遮挡形状为目标识别模型的主干网络(即其所嵌入的特征提取层)提供额外信息(如各特征点的特征权重)。以使特征提取层611基于特征选择网络63提供的特征权重，对自身提取的特征(即原始特征图)进行加权处理，作为该特征提取层611的实际输出。
具体的，特征选择网络63包含有至少一个基本网络层631和激活层632。其中基本网络层631由预设步幅(如2步幅)的卷积层加线性整流函数(relu)激活构成。基本网络层621的个数根据特征选择网络63所嵌入的特征提取层611在特征提取网络61中的位置确定，即其所嵌入的特征提取层611属于特征提取网络61的第i个特征提取层，则特征选择网络63中包含的基本网络层621的数量即为i。
可选的，特征选择网络63为特征提取层提特征权重的一种可实施方式为特征选择网络为遮挡图像对应的每一特征点都提供对应的权重值，如遮挡区域的特征权重低，非遮挡区域的特征权重高，以降低特征提取网络为遮挡区域填充的信息对目标识别结果的影响度；另一种可实施方式为：特征选择网络中还包含遮挡定位网络，通过该网络滤除非遮挡区域的特征点对应的权重值，使得为特征提取层提取的特征添加权重时，只为遮挡区域对应的特征添加权重，不影响未遮挡区域的特征提取结果。
可选的，目标识别网络6的特征提取网络61中嵌入的特征选择网络63数量，以及嵌入点可以根据实际需求来调整，对此不进行限定。例如，可以通过大量实验选择出最佳嵌入数量和最佳嵌入位置。
需要说明的是，特征提取网络在对遮挡图像进行特征提取时，会通过卷积的方式对为遮挡区域填充信息。但是其填充的信息可能不利于识别结果的准确性。针对此问题，本实施例在特征提取网络中嵌入特征选择网络，以实现通过特征选择网络，基于遮挡区域的位置和形状，来向特征提取网络提供特征点的权重信息，以降低特征提取网络为遮挡区域填充的信息对目标识别结果的影响度，进而提高目标识别结果的准确性。
图7是根据本公开实施例提供的一种模型训练方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何根据目标遮挡图像、目标遮挡区域和目标遮挡图像的真实识别结果，对目标识别模型进行训练进行详细解释说明，如图7所示，本实施例提供的模型训练方法可以包括：
S701，获取目标遮挡图像和目标遮挡区域。
其中，目标遮挡图像和目标遮挡区域采用本公开上述任一实施例所述的图像遮挡方法得到。
S702，将目标遮挡图像作为目标识模型的特征提取网络的输入，将目标遮挡区域作为特征提取网络中特征选择网络的输入，得到特征提取网络输出的目标特征图，并将目标特征图作为目标识别模型的识别网络的输入，得到预测识别结果。
其中，目标特征图是特征提取网络对目标遮挡图像进行特征提取后得到在最终结果。预测识别结果是通过目标识别模型对目标遮挡图像进行人脸识别后预测的识别结果。
可选的，本实施例可以将目标遮挡图像作为目标识模型的特征提取网络(具体为特征提取网络的第一个特征提取层)的输入，将目标遮挡区域作为特征提取网络中嵌入的各特征选择网络的输入，运行特征提取网络和特征选择网络，以使特征提取网络基于特征选择网络提供的特征权重，对提取的特征进行加权处理，得到最终的特征提取结果，即目标特征图，并将目标特征图输入到目标识别模型的识别网络，以使识别网络基于该目标特征图进行人脸识别，得到预测识别结果。
可选的，在特征提取网络输出的目标特征图的过程中，即在通过特征提取网络的每一特征提取层进行特征提取的过程中，若该特征提取层中嵌入有特征选择网络，则通过该特征选择网络，确定特征权重，基于特征权重对该特征提取层提取的原始特征图进行加权处理，得到加权特征图，并将加权特征图作为下一网络层的输入。若该特征提取层中未嵌入特征选择网络，则该特征提取层直接将其提取的原始特征图作为下一网络层的输入。
示例性的，如图6所示，将目标遮挡图像输入目标识模型6的特征提取网络61的特征提取层1，由于特征提取层1没有嵌入特征选择网络63，所以特征提取层1对输入的目标遮挡图像进行特征提取，得到的原始特征图1将直接输入到特征提取层2，特征提取层2中嵌入有特征选择网络63，特征选择网络63会基于输入的目标遮挡区域来确定特征权重(该特征权重可以是目标遮挡图像中所有区域的特征点对应的特征权重，也可以目标遮挡图像中遮挡区域的特征点对应的特征权重)，并提供给特征提取层2，特征提取层2会基于该特征权重对其提取的原始特征图2进行特征加权，得到加权特征图，并将加权特征图输入到特征提取层3；特征提取层3没有嵌入特征选择网络63，所以特征提取层3对加权特征图进行进一步的特征提取，得到的原始特征图3，并传输至特征提取层4，......，依次类推，得到特征提取层n输出的原始特征图n作为特征提取网络61的特征提取结果，即目标特征图。
S703，根据预测识别结果和目标遮挡图像的真实识别结果，对目标识别模型进行训练。
可选的，本实施例可以是根据预测识别结果和目标遮挡图像的真实识别结果，计算训练损失，并基于训练损失，对目标识别模型进行训练。
本公开实施例的方案，获取结合视觉安全度和数据可用度生成的目标遮挡图像和目标遮挡区域，将目标遮挡图像和目标遮挡区域分别作为特征提取网络和特征选择网络的输入，得到特征提取网络输出的目标特征图，输入至识别网络，得到预测识别结果，再结合目标遮挡图像的真实识别结果计算训练损失，来对目标识别模型进行训练。本方案给出了一种如何通过脱敏后的遮挡图像来训练目标模型的优选方式，且目标模型中嵌入有特征选择网络，能够协助目标模型的主干网络更精准的进行目标识别。在保证模型训练效果的同时，进一步提高了训练后的目标识别模型的识别效果。
图8是根据本公开实施例提供的一种图像遮挡装置的结构示意图。本公开实施例适用于对图像进行区域遮挡的情况。尤其适用于对包含敏感信息的图像(如人脸图像)进行区域遮挡的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例的图像遮挡方法。如图8所示，该图像遮挡装置800包括：
遮挡区域生成模块801，用于根据遮挡参数，生成候选遮挡区域；
遮挡图像生成模块802，用于根据所述候选遮挡区域，对待处理图像进行遮挡，得到候选遮挡图像；
遮挡区域选择模块803，用于根据所述候选遮挡图像的视觉安全度和数据可用度，从所述候选遮挡区域中确定目标遮挡区域；
遮挡图像生成模块802，还用于根据所述目标遮挡区域，对所述待处理图像进行遮挡处理，得到目标遮挡图像。
本公开实施例的方案，根据遮挡参数，随机生成候选遮挡区域，根据候选遮挡区域对待处理图像遮挡后的效果，即视觉安全度和数据可用度，来从候选遮挡区域中确定目标遮挡区域，进而基于目标遮挡区域对待处理图像进行遮挡处理，得到目标遮挡图像。本实施例的方案从视觉安全性和数据可用性的角度来对图像进行区域遮挡，相比于现有技术对特定区域(如人眼、鼻子或嘴巴等区域)进行遮挡，不但兼顾了遮挡后图像可用度，还极大的提高了原始图像中敏感信息的脱敏效果，以及提高了遮挡区域的灵活度。为图像中敏感信息的遮挡提供了新的解决方案。
进一步的，遮挡区域选择模块803具体用于：
根据所述候选遮挡图像的视觉安全度和数据可用度，确定所述候选遮挡图像的遮挡损失值；
根据所述遮挡损失值，从所述候选遮挡区域中确定目标遮挡区域。
进一步的，上述装置800，还包括：
安全度确定模块，用于根据所述候选遮挡图像和所述待处理图像，确定所述候选遮挡图像的可恢复度和遮挡比例，并根据所述可恢复度和所述遮挡比例，确定所述候选遮挡图像的视觉安全度；
可用度确定模块，用于根据所述候选遮挡图像的目标识别结果和所述待处理图像的目标识别结果，确定所述候选遮挡图像的数据可用度。
进一步的，遮挡区域生成模块801，包括：
遮挡区域生成单元，用于根据遮挡参数，生成初始遮挡区域；
遮挡区域调整单元，用于根据所述初始遮挡区域在目标识别过程中的贡献度，对所述初始遮挡区域进行调整，得到候选遮挡区域。
进一步的，遮挡区域调整单元具体用于：
根据待处理图像关联的贡献度区域模板，确定所述初始遮挡区域在目标识别过程中的贡献度；
根据所述贡献度对所述初始遮挡区域进行调整。
进一步的，上述装置800，还包括：
区域模板生成模块，用于根据同类型样本图像的各区域对目标识别的贡献度，生成所述类型图像关联的贡献度区域模板。
图9是根据本公开实施例提供的一种模型训练装置的结构示意图。本公开实施例适用于基于遮挡图像进行模型训练的情况。尤其适用于基于上述实施例生成的遮挡图像进行模型训练的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例的模型训练方法。如图9所示，该模型训练装置900包括：
图像获取模块901，用于获取目标遮挡图像和目标遮挡区域；其中，所述目标遮挡图像和所述目标遮挡区域采用本公开任意实施例所述的图像遮挡装置得到；
模型训练模块902，用于根据所述目标遮挡图像、所述目标遮挡区域和所述目标遮挡图像的真实识别结果，对目标识别模型进行训练。
本公开实施例的方案，获取结合视觉安全度和数据可用度生成的目标遮挡图像和目标遮挡区域，并基于目标遮挡图像、目标遮挡区域，以及目标遮挡图像对应的真实识别结果来对目标识别模型进行训练。由于本实施例进行模型训练的图像是基于视觉安全度和数据可用度生成的，所以在模型训练过程中，能够避免图像敏感信息的泄露，且保证训练结果的准确性，另外，本实施例训练目标识别模型时，还结合了生成遮挡图像所使用的遮挡区域，能够便于模型更精准的进行目标识别。
进一步的，目标识别模型包括特征提取网络和识别网络；特征提取网络的至少一个特征提取层中嵌入有特征选择网络；特征选择网络包含至少一个基本网络层和激活层；基本网络层的个数根据特征选择网络所嵌入的特征提取层在特征提取网络中的位置确定。
进一步的，模型训练模块902，包括：
模型运行单元，用于将所述目标遮挡图像作为所述目标识模型的特征提取网络的输入，将目标遮挡区域作为所述特征提取网络中特征选择网络的输入，得到特征提取网络输出的目标特征图，并将所述目标特征图作为所述目标识别模型的识别网络的输入，得到预测识别结果；
模型训练单元，用于根据所述预测识别结果和所述目标遮挡图像的真实识别结果，对所述目标识别模型进行训练。
进一步的，模型运行单元具体用于：
在通过特征提取网络的每一特征提取层进行特征提取的过程中，若该特征提取层中嵌入有特征选择网络，则通过所述特征选择网络，确定特征权重，基于所述特征权重对该特征提取层提取的原始特征图进行加权处理，得到加权特征图，并将所述加权特征图作为下一网络层的输入。
上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的任一样本图像、待处理图像和目标遮挡图像等的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像遮挡和/或模型训练方法。例如，在一些实施例中，图像遮挡和/或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的图像遮挡和/或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像遮挡和/或模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (22)

1.一种图像遮挡方法，包括：
根据遮挡参数，生成候选遮挡区域；
根据所述候选遮挡区域，对待处理图像进行遮挡，得到候选遮挡图像；
根据所述候选遮挡图像的视觉安全度和数据可用度，从所述候选遮挡区域中确定目标遮挡区域；
根据所述目标遮挡区域，对所述待处理图像进行遮挡处理，得到目标遮挡图像；
其中，所述遮挡参数包括下述至少一项：待遮挡的画布尺寸、遮挡顶点数量、遮挡长度、遮挡宽度以及遮挡角度；所述视觉安全度用于衡量遮挡后通过图像直接体现或者通过图像恢复后的敏感信息；所述数据可用度用于衡量遮挡后的图像可用性。
2.根据权利要求1所述的方法，其中，所述根据所述候选遮挡图像的视觉安全度和数据可用度，从所述候选遮挡区域中确定目标遮挡区域，包括：
根据所述候选遮挡图像的视觉安全度和数据可用度，确定所述候选遮挡图像的遮挡损失值；
根据所述遮挡损失值，从所述候选遮挡区域中确定目标遮挡区域。
3.根据权利要求1或2所述的方法，还包括：
根据所述候选遮挡图像和所述待处理图像，确定所述候选遮挡图像的可恢复度和遮挡比例，并根据所述可恢复度和所述遮挡比例，确定所述候选遮挡图像的视觉安全度；
根据所述候选遮挡图像的目标识别结果和所述待处理图像的目标识别结果，确定所述候选遮挡图像的数据可用度。
4.根据权利要求1所述的方法，其中，所述根据遮挡参数，生成候选遮挡区域，包括：
根据遮挡参数，生成初始遮挡区域；
根据所述初始遮挡区域在目标识别过程中的贡献度，对所述初始遮挡区域进行调整，得到候选遮挡区域。
5.根据权利要求4所述的方法，其中，所述根据所述初始遮挡区域在目标识别过程中的贡献度，对所述初始遮挡区域进行调整，包括：
根据待处理图像关联的贡献度区域模板，确定所述初始遮挡区域在目标识别过程中的贡献度；
根据所述贡献度对所述初始遮挡区域进行调整。
6.根据权利要求5所述的方法，还包括：
根据同类型样本图像的各区域对目标识别的贡献度，生成所述类型图像关联的贡献度区域模板。
7.一种模型训练方法，包括：
获取目标遮挡图像和目标遮挡区域；其中，所述目标遮挡图像和所述目标遮挡区域采用权利要求1-6中任一项所述的图像遮挡方法得到；
根据所述目标遮挡图像、所述目标遮挡区域和所述目标遮挡图像的真实识别结果，对目标识别模型进行训练。
8.根据权利要求7所述的方法，其中，所述目标识别模型包括特征提取网络和识别网络；所述特征提取网络的至少一个特征提取层中嵌入有特征选择网络；所述特征选择网络包含至少一个基本网络层和激活层；所述基本网络层的个数根据所述特征选择网络所嵌入的特征提取层在所述特征提取网络中的位置确定。
9.根据权利要求8所述的方法，其中，所述根据所述目标遮挡图像、所述目标遮挡区域和所述目标遮挡图像的真实识别结果，对目标识别模型进行训练，包括:
将所述目标遮挡图像作为所述目标识模型的特征提取网络的输入，将目标遮挡区域作为所述特征提取网络中特征选择网络的输入，得到特征提取网络输出的目标特征图，并将所述目标特征图作为所述目标识别模型的识别网络的输入，得到预测识别结果；
根据所述预测识别结果和所述目标遮挡图像的真实识别结果，对所述目标识别模型进行训练。
10.根据权利要求9所述的方法，其中，在特征提取网络输出的目标特征图的过程中，还包括：
在通过特征提取网络的每一特征提取层进行特征提取的过程中，若该特征提取层中嵌入有特征选择网络，则通过所述特征选择网络，确定特征权重，基于所述特征权重对该特征提取层提取的原始特征图进行加权处理，得到加权特征图，并将所述加权特征图作为下一网络层的输入。
11.一种图像遮挡装置，包括：
遮挡区域生成模块，用于根据遮挡参数，生成候选遮挡区域；
遮挡图像生成模块，用于根据所述候选遮挡区域，对待处理图像进行遮挡，得到候选遮挡图像；
遮挡区域选择模块，用于根据所述候选遮挡图像的视觉安全度和数据可用度，从所述候选遮挡区域中确定目标遮挡区域；
所述遮挡图像生成模块，还用于根据所述目标遮挡区域，对所述待处理图像进行遮挡处理，得到目标遮挡图像；
其中，所述遮挡参数包括下述至少一项：待遮挡的画布尺寸、遮挡顶点数量、遮挡长度、遮挡宽度以及遮挡角度；所述视觉安全度用于衡量遮挡后通过图像直接体现或者通过图像恢复后的敏感信息；所述数据可用度用于衡量遮挡后的图像可用性。
12.根据权利要求11所述的装置，其中，所述遮挡区域选择模块具体用于：
根据所述候选遮挡图像的视觉安全度和数据可用度，确定所述候选遮挡图像的遮挡损失值；
根据所述遮挡损失值，从所述候选遮挡区域中确定目标遮挡区域。
13.根据权利要求11或12所述的装置，还包括：
安全度确定模块，用于根据所述候选遮挡图像和所述待处理图像，确定所述候选遮挡图像的可恢复度和遮挡比例，并根据所述可恢复度和所述遮挡比例，确定所述候选遮挡图像的视觉安全度；
可用度确定模块，用于根据所述候选遮挡图像的目标识别结果和所述待处理图像的目标识别结果，确定所述候选遮挡图像的数据可用度。
14.根据权利要求11所述的装置，其中，所述遮挡区域生成模块，包括：
遮挡区域生成单元，用于根据遮挡参数，生成初始遮挡区域；
遮挡区域调整单元，用于根据所述初始遮挡区域在目标识别过程中的贡献度，对所述初始遮挡区域进行调整，得到候选遮挡区域。
15.根据权利要求14所述的装置，其中，所述遮挡区域调整单元具体用于：
根据待处理图像关联的贡献度区域模板，确定所述初始遮挡区域在目标识别过程中的贡献度；
根据所述贡献度对所述初始遮挡区域进行调整。
16.根据权利要求15所述的装置，还包括：
区域模板生成模块，用于根据同类型样本图像的各区域对目标识别的贡献度，生成所述类型图像关联的贡献度区域模板。
17.一种模型训练装置，包括：
图像获取模块，用于获取目标遮挡图像和目标遮挡区域；其中，所述目标遮挡图像和所述目标遮挡区域采用权利要求11-15中任一项所述的图像遮挡装置得到；
模型训练模块，用于根据所述目标遮挡图像、所述目标遮挡区域和所述目标遮挡图像的真实识别结果，对目标识别模型进行训练。
18.根据权利要求17所述的装置，其中，所述目标识别模型包括特征提取网络和识别网络；所述特征提取网络的至少一个特征提取层中嵌入有特征选择网络；所述特征选择网络包含至少一个基本网络层和激活层；所述基本网络层的个数根据所述特征选择网络所嵌入的特征提取层在所述特征提取网络中的位置确定。
19.根据权利要求18所述的装置，其中，所述模型训练模块，包括：
模型运行单元，用于将所述目标遮挡图像作为所述目标识模型的特征提取网络的输入，将目标遮挡区域作为所述特征提取网络中特征选择网络的输入，得到特征提取网络输出的目标特征图，并将所述目标特征图作为所述目标识别模型的识别网络的输入，得到预测识别结果；
模型训练单元，用于根据所述预测识别结果和所述目标遮挡图像的真实识别结果，对所述目标识别模型进行训练。
20.根据权利要求19所述的装置，其中，所述模型运行单元具体用于：
在通过特征提取网络的每一特征提取层进行特征提取的过程中，若该特征提取层中嵌入有特征选择网络，则通过所述特征选择网络，确定特征权重，基于所述特征权重对该特征提取层提取的原始特征图进行加权处理，得到加权特征图，并将所述加权特征图作为下一网络层的输入。
21. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的图像遮挡方法，和/或权利要求7-10中任一项所述的模型训练方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的图像遮挡方法，和/或权利要求7-10中任一项所述的模型训练方法。
CN202210112797.9A 2022-01-29 2022-01-29 图像遮挡和模型训练方法、装置、设备以及存储介质 Active CN115249281B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210112797.9A CN115249281B (zh) 2022-01-29 2022-01-29 图像遮挡和模型训练方法、装置、设备以及存储介质
US18/076,501 US20230244932A1 (en) 2022-01-29 2022-12-07 Image occlusion method, model training method, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210112797.9A CN115249281B (zh) 2022-01-29 2022-01-29 图像遮挡和模型训练方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN115249281A CN115249281A (zh) 2022-10-28
CN115249281B true CN115249281B (zh) 2023-11-24

Family

ID=83697974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210112797.9A Active CN115249281B (zh) 2022-01-29 2022-01-29 图像遮挡和模型训练方法、装置、设备以及存储介质

Country Status (2)

Country Link
US (1) US20230244932A1 (zh)
CN (1) CN115249281B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372818B (zh) * 2023-12-06 2024-04-12 深圳须弥云图空间科技有限公司 目标重识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3428843A1 (en) * 2017-07-14 2019-01-16 GB Group plc Improvements relating to face recognition
CN111353330A (zh) * 2018-12-20 2020-06-30 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111914665A (zh) * 2020-07-07 2020-11-10 泰康保险集团股份有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN111914812A (zh) * 2020-08-20 2020-11-10 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、设备及存储介质
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
WO2021174819A1 (zh) * 2020-03-05 2021-09-10 平安科技（深圳）有限公司 人脸遮挡检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3428843A1 (en) * 2017-07-14 2019-01-16 GB Group plc Improvements relating to face recognition
CN111353330A (zh) * 2018-12-20 2020-06-30 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2021174819A1 (zh) * 2020-03-05 2021-09-10 平安科技（深圳）有限公司 人脸遮挡检测方法及系统
CN111914665A (zh) * 2020-07-07 2020-11-10 泰康保险集团股份有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN111914812A (zh) * 2020-08-20 2020-11-10 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、设备及存储介质
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20230244932A1 (en) 2023-08-03
CN115249281A (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN113869449A (zh) 一种模型训练、图像处理方法、装置、设备及存储介质
CN112508126B (zh) 深度学习模型训练方法、装置、电子设备及可读存储介质
KR20220126264A (ko) 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN112861885A (zh) 图像识别方法、装置、电子设备及存储介质
CN115249281B (zh) 图像遮挡和模型训练方法、装置、设备以及存储介质
CN115116111B (zh) 抗扰动人脸活体检测模型训练方法、装置及电子设备
CN116758280A (zh) 目标检测方法、装置、设备以及存储介质
CN114387651B (zh) 一种人脸识别方法、装置、设备及存储介质
CN115937993A (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备
CN116052288A (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备
CN113221769B (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN113361455B (zh) 人脸鉴伪模型的训练方法、相关装置及计算机程序产品
CN114445898A (zh) 人脸活体检测方法、装置、设备、存储介质及程序产品
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN114549904A (zh) 视觉处理及模型训练方法、设备、存储介质及程序产品
CN113936158A (zh) 一种标签匹配方法及装置
CN114140320A (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN113569707A (zh) 活体检测方法、装置、电子设备以及存储介质
CN114693950B (zh) 一种图像特征提取网络的训练方法、装置及电子设备
CN114862878B (zh) 图像分割模型生成方法和装置、图像分割方法和装置
CN114092739B (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN113139483B (zh) 人体行为识别方法、装置、设备、存储介质以及程序产品
CN116051935B (zh) 图像检测方法、深度学习模型的训练方法及装置
CN114037865B (zh) 图像处理方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant