CN115147318A - 隐私遮挡方法及装置 - Google Patents

隐私遮挡方法及装置 Download PDF

Info

Publication number
CN115147318A
CN115147318A CN202210515501.8A CN202210515501A CN115147318A CN 115147318 A CN115147318 A CN 115147318A CN 202210515501 A CN202210515501 A CN 202210515501A CN 115147318 A CN115147318 A CN 115147318A
Authority
CN
China
Prior art keywords
frame image
current frame
privacy target
target
privacy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210515501.8A
Other languages
English (en)
Inventor
袁海涛
沈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210515501.8A priority Critical patent/CN115147318A/zh
Publication of CN115147318A publication Critical patent/CN115147318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种隐私遮挡方法及装置。其中，该隐私遮挡方法包括：在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置，预设帧图像为当前帧图像之后预设帧的存在新隐私目标的图像；基于新隐私目标在当前帧图像和预设帧图像中的位置，对当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡。本申请可以有效地解决目标识别时隐私遮挡不及时的问题。

Description

隐私遮挡方法及装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种隐私遮挡方法及装置。
背景技术
随着社会的发展进步，人们对于隐私保护的要求越来越高，不仅不断扩大着保护的范围，而且对于保护的细节和颗粒度有着越来越高的要求，各种细分行业和场景中给监控行业提出了越来越大的挑战。但是目前的隐私遮挡方法存在着隐私遮挡不及时的问题。
发明内容
本申请提供一种隐私遮挡方法及装置，可以有效地解决隐私遮挡不及时的问题。
为达到上述目的，本申请提供一种隐私遮挡方法，该方法包括：
在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置，预设帧图像为当前帧图像之后预设帧的存在新隐私目标的图像；
基于新隐私目标在当前帧图像和预设帧图像中的位置，对当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡；
其中，预定数量为当前帧图像的时间减去新隐私目标首次出现的时间之后，再乘以图像采集帧率得到的整数值。
其中，基于新隐私目标在当前帧图像和预设帧图像中的位置，对当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡，包括：
基于新隐私目标在当前帧图像和预设帧图像中的位置，计算新隐私目标在当前帧图像之前的预定数量帧图像中的位置；
基于预定数量帧图像中新隐私目标的位置，对预定数量帧图像中的新隐私目标进行遮挡。
其中，基于新隐私目标在当前帧图像和预设帧图像中的位置，计算新隐私目标在当前帧图像之前的预定数量帧图像中的位置，包括：
基于新隐私目标在当前帧图像和预设帧图像的位置差异，计算新隐私目标的位置变化速度；
基于新隐私目标的位置变化速度计算出当前帧图像之前的预定数量帧图像中新隐私目标的位置。
其中，方法应用的设备包括用于存储待编码的图像的缓冲区；
在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置，之前包括：对当前帧图像进行隐私目标识别，得到当前帧图像的隐私目标识别结果；
对当前帧图像进行隐私目标识别，之后包括：基于当前帧图像的隐私目标识别结果对当前帧图像进行隐私目标遮挡；将隐私目标遮挡过的当前帧图像送入缓冲区，将缓冲区中的队首送入编码器；
对预定数量帧图像中的新隐私目标进行遮挡，包括：对缓冲区内的当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡。
其中，该方法还包括：
若基于当前帧图像的隐私目标识别结果确认从当前帧图像未识别出新隐私目标，将当前帧图像的下一帧作为当前帧图像，返回执行对当前帧图像进行隐私目标识别的步骤。
其中，获取当前帧图像和预设帧图像中新隐私目标的位置，包括：
对预设帧图像进行隐私目标识别，得到预设帧图像的隐私目标识别结果。
其中，预设帧图像为当前帧图像的下一帧；
对预定数量帧图像中的新隐私目标进行遮挡，之后包括：
将下一帧作为当前帧图像，返回执行基于当前帧图像的隐私目标识别结果对当前帧图像进行隐私目标遮挡的步骤。
其中，隐私目标包括显示屏。
其中，进行隐私目标识别，包括：
识别出图像中的显示屏；
确认图像中的各个显示屏区域的亮度是否超过阈值；
将亮度超过阈值的显示屏作为图像中的隐私目标，不将亮度低于阈值的显示屏作为图像中的隐私目标。
为达到上述目的，本申请还提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述方法。
为达到上述目的，本申请还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。
本申请隐私遮挡方法中，在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置，然后利用当前帧图像和预设帧图像中新隐私目标的位置对当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡；如此能够在从新隐私目标出现的前几帧图像无法识别到新隐私目标的情况下，采用本申请方法对当前帧图像之前的预定数量帧图像中新隐私目标进行遮挡，可以对新隐私目标漏遮挡的图像进行新隐私目标补遮挡，以解决隐私遮挡不及时的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请隐私遮挡方法一实施方式的流程示意图；
图2是本申请隐私目标识别模型一实施方式的结构示意图；
图3是本申请隐私遮挡方法另一实施方式的流程示意图；
图4是本申请隐私遮挡方法执行的流程示意图；
图5是本申请隐私遮挡方法又一实施方式的流程示意图；
图6是本申请隐私遮挡方法的执行主体中设置的缓冲区的示意图；
图7是本申请电子设备一实施方式的结构示意图；
图8是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。
利用隐私目标识别算法对图像中隐私目标识别时，可能会存在着“从新隐私目标出现的前预定数量(也可称为N)帧图像无法识别到新隐私目标，只有从新隐私目标出现的第N+1帧开始才能正常识别到新隐私目标”的问题，如此若直接基于每帧图像的隐私目标识别结果对每帧图像进行隐私遮挡，会存在着无法对新隐私目标出现的前N帧图像中的新隐私目标进行遮挡的问题，从而就会导致隐私遮挡不及时。
基于此，本申请也对识别出新隐私目标的第一帧图像之前的预定数量帧图像中的新隐私目标进行遮挡，以解决无法对新隐私目标出现的前N帧图像中的新隐私目标进行遮挡的问题。具体地，本申请利用识别出新隐私目标的第一帧图像及其之后的一帧图像中新隐私目标的位置，计算出该第一帧图像之前的预定数量帧图像中的新隐私目标的位置，如此可以利用该第一帧图像之前的预定数量帧图像中新隐私目标的计算位置，对该第一帧图像之前的预定数量帧图像中新隐私目标进行遮挡。
具体地，如图1所示，本申请的隐私遮挡方法一实施方式包括以下步骤。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。
S101：在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置。
在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置，以便后续利用当前帧图像和预设帧图像中新隐私目标的位置对当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡，如此可以解决隐私遮挡不及时的问题。
可选地，新隐私目标可以指，在当前帧图像之前从未识别到的隐私目标。即当前帧图像就是识别出新隐私目标的第一帧图像。
可选地，在从当前帧图像识别到新隐私目标的情况下，可以从当前帧图像的新隐私目标的识别信息中确定当前帧图像的新隐私目标的位置，并且可以从预设帧图像中新隐私目标的识别信息中确定预设帧图像的新隐私目标的位置。
其中，本申请的预设帧图像是当前帧图像之后的存在新隐私目标的图像。较为优选的是，预设帧图像为当前帧图像之后的第a帧图像，其中，a可以为大于或等于1且小于或等于300的整数。例如，预设帧图像可以当前帧图像的下一帧图像。
其中，隐私目标的种类不受限制，例如可以为显示屏、窗户、阳台等。
例如，隐私目标可以为正在显示的显示屏，如此在从图像识别到显示屏的情况下，可以确认识别到的显示屏是否正在显示；若识别到的显示屏处于显示状态，则可以确认识别到的显示屏为隐私目标，否则不为隐私目标，如此可以避免对未处于显示状态的显示屏进行遮挡，减少遮挡范围，尽量保留更多信息。可选地，可以通过图像中显示屏区域的亮度信息确认识别到的显示屏是否处于显示状态。具体地，可以在图像中显示屏区域的平均亮度超过阈值的情况下，确认识别到显示屏处于显示状态；在图像中显示屏区域的平均亮度小于阈值的情况下，确认识别到的显示屏不处于显示状态，如此通过显示屏区域亮度可以过滤掉亮度低或未显示的屏幕，如此可以仅对亮度高的显示屏(即足以让人通过图像获取到显示屏的显示内容的显示屏)进行遮挡，可以在保护用户隐私的情况下尽量保留更多信息。
例如，若图像为RGB图像，可通过公式Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)计算出图像中各个显示屏区域中每一像素的亮度，继而可以计算出图像中显示屏区域的平均亮度，继而可以基于图像中各个显示屏区域的平均亮度确认图像中各个显示屏是否正在显示。
可选地，可以利用隐私目标识别模型对图像进行识别，如此可以利用隐私目标识别模型的识别结果对图像进行隐私目标遮挡。其中，上述的识别结果可以包括隐私目标、隐私目标的类别、隐私目标的识别框位置和/或隐私目标的识别框大小等信息。具体地，在步骤S101中，可以将当前帧图像输入隐私目标识别模型，经过隐私目标识别模型后，输出的分类器可以用来判断当前帧图像各个区域中是否有隐私目标，边框回归可以用于得到当前帧图像中隐私目标的精准位置。
其中，隐私目标识别模型的种类不受限制，例如可为基于深度学习的卷积神经网络，具体可为YOLO模型或如图2所示的Faster-RCNN模型。
在步骤S101之前，可以利用训练图像集对隐私目标识别模型进行训练，以更新隐私目标识别模型的模型参数，以使隐私目标识别模型具有隐私目标识别能力。
其中，训练图像集可以包括不同俯仰角度、不同形状、不同尺寸、不同类型、不同光照强度下的训练图像，以便通过该训练图像集提高训练得到的隐私目标识别模型的隐私目标识别能力。例如，假设隐私目标包括显示屏，则训练图像集包括不同的手机、电脑等电子设备的屏幕照片。
训练前，可以对训练图像进行随机旋转、镜像、平移、加噪等数据增强操作，通过数据增强的操作后，一定程度上扩充数据集的数量规模，降低模型过拟合的可能性。
另外，本申请的图像的格式不受限制，例如可为YUV图像、RGB图像……
S102：基于新隐私目标在当前帧图像和预设帧图像中的位置，对当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡。
其中，预定数量为所述当前帧图像的时间t2减去所述新隐私目标首次出现的时间t1之后，再乘以图像采集帧率fps得到的整数值，即N＝(t2-t1)*fps。即当前帧图像之前的预定数量帧图像是：存在新隐私目标、但由于识别时间差的耽误导致未对新隐私目标进行遮挡的图像。
其中，当前帧图像的时间可以指当前帧图像的采集时间，也可以指当前帧图像的识别结果出来的时间。
在本实施方式中，在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置，然后利用当前帧图像和预设帧图像中新隐私目标的位置对当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡；如此能够在从新隐私目标出现的前几帧图像无法识别到新隐私目标的情况下，采用本申请方法对当前帧图像之前的存在新隐私目标但由于识别时间差的耽误导致未对新隐私目标进行遮挡的图像中的新隐私目标进行遮挡，可以对新隐私目标漏遮挡的图像进行新隐私目标补遮挡，以解决隐私遮挡不及时的问题。
本申请还提供隐私遮挡方法另一实施方式。具体地，如图3所示，本申请的隐私遮挡方法另一实施方式包括以下步骤。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。
S201：在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置。
在从当前帧图像识别到新隐私目标的情况下，获取当前帧图像和预设帧图像中新隐私目标的位置，以便后续利用当前帧图像和预设帧图像中新隐私目标的位置计算出当前帧图像之前的预定数量帧图像中新隐私目标的位置，如此可以利用当前帧图像之前的预定数量帧图像中新隐私目标的位置对当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡，如此可以解决隐私遮挡不及时的问题。
S202：基于新隐私目标在当前帧图像和预设帧图像中的位置，计算新隐私目标在当前帧图像之前的预定数量帧图像中的位置。
基于上述步骤确定新隐私目标在当前帧图像和预设帧图像的位置后，可以基于新隐私目标在当前帧图像和预设帧图像中的位置计算新隐私目标在当前帧图像之前的预定数量帧图像中的位置。
可选地，基于新隐私目标在当前帧图像和预设帧图像的位置差异计算新隐私目标的位置变化速度，从而基于新隐私目标的位置变化速度推算出当前帧图像之前的预定数量帧图像中新隐私目标的位置。
具体地，可以利用新隐私目标在当前帧图像和预设帧图像的位置差异以及当前帧图像和预设帧图像之间的时间间隔计算出新隐私目标的位置变化速度，继而基于新隐私目标的位置变化速度推算出当前帧图像之前的预定数量帧图像中的位置。例如，假设预设帧图像为当前帧图像的后一帧，将当前帧图像和预设帧图像中新隐私目标识别框上固定点(例如左上坐标点和/或右下坐标点等)的坐标分别记为A(X1,Y1)和B(X2,Y2)，计算A点和B点的X和Y轴分量的差值为(X2-X1)和(Y2-Y1)，此时的帧率记为FPS，那么两帧之间的时间间隔等于(1/FPS)秒，接着可以计算得到固定点在X方向和Y方向的位置变化速度分别为Vx＝(X2-X1)*FPS，Vy＝(Y2-Y1)*FPS；得到新隐私目标识别框上固定点在X方向和Y方向的位置变化速度后，可以通过线性模型推算出新隐私目标识别框中固定点在当前帧图像之前的预定数量帧图像中的坐标，例如前一帧的固定点的坐标为(X1-δx，Y1-δy)，其中δx＝Vx/FPS，δy＝Vy/FPS。
S203：基于预定数量帧图像中新隐私目标的位置，对预定数量帧图像中的新隐私目标进行遮挡。
基于上述步骤确定当前帧图像之前的预定数量帧图像中新隐私目标的位置后，可以基于当前帧图像之前的预定数量帧图像中新隐私目标的位置，对当前帧图像之前的预定数量帧图像中新隐私目标进行遮挡。
可选地，可以利用拷贝Copy算子对当前帧图像之前的预定数量帧图像中每一帧图像中的新隐私目标进行遮挡，即可以采用在图像中隐私目标区域上叠加遮挡条的方式对当前帧图像之前的预定数量帧图像中每一帧图像中的新隐私目标进行遮挡。
具体地，Copy算子主要作用就是从预置的图像中读取一定区域大小的预设图像数据，写入到隐私目标区域中，使用读取到的预设图像数据来覆盖隐私目标区域中的图像数据，达到对隐私目标区域的隐私遮挡作用。
在另一可替换的实施例中，可以利用擦除方法对当前帧图像之前的预定数量帧图像中每一帧图像中的新隐私目标进行遮挡。
在又一可替换的实施例中，可以采用将图像中隐私目标区域中像素值全部设为固定值的方式，对当前帧图像之前的预定数量帧图像中每一帧图像中的新隐私目标进行遮挡。
可选地，本申请的隐私遮挡方法可应用于具有图像采集功能的设备中。其中，图像采集功能可以指拍摄图像、屏幕截图或录屏等功能，如此具有图像采集功能的设备可以指摄像装置或具有上述图像采集功能的手机、电脑等设备。
如图4所示，这些具有图像采集功能的设备(即本申请的执行主体)利用自身的图像采集功能可以持续性地采集图像，并对每一帧采集图像进行隐私目标识别，基于每一帧采集图像的隐私目标识别结果对每一帧采集图像进行隐私遮挡，继而将隐私遮挡过的每一帧采集图像送入编码器以对隐私遮挡过的每一帧采集图像进行编码。但是由于可能会存在着“从新隐私目标出现的前N帧图像无法识别到新隐私目标，只有从新隐私目标出现的第N+1帧开始才能正常识别到隐私目标”的问题，如此若直接基于每帧图像的隐私目标识别结果对每帧图像进行隐私遮挡，会存在着无法对新隐私目标出现的前N帧图像中的新隐私目标无法遮挡的问题，从而就会导致新隐私目标出现的前N帧图像在新隐私目标未被遮挡的情况下进入编码器，即导致隐私遮挡不及时。
基于此，本申请的执行主体内设有用于存储待编码的采集图像的缓冲区，如此在从当前帧图像识别到新隐私目标的情况下，可以基于当前帧图像中新隐私目标的位置对缓冲区内的未被编码的当前帧图像之前的预定数量帧图像中新隐私目标进行遮挡，如此可以在对至少部分新隐私目标漏遮挡的图像编码之前进行新隐私目标补遮挡，以解决隐私遮挡不及时的问题。如图5所示，利用该缓冲区进行隐私遮挡方法包括以下步骤。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。
S301：对当前帧图像进行隐私目标识别，得到当前帧图像的隐私目标识别结果。
S302：基于当前帧图像的隐私目标识别结果对当前帧图像进行隐私目标遮挡。
可选地，在步骤S302中，可以通过在图像上叠加遮挡条(例如OSD遮挡条)的方式，即在图像原有层的基础上新增隐私目标遮挡层，该隐私目标遮挡层中对应于图像的隐私目标的区域为预设图像，如此通过新增隐私目标遮挡层的方式可以保留原图，可以在需要的时候从隐私目标遮挡图像中提取出原图像。且相比于原图像的编码结果，隐私目标遮挡图像的编码结果会多出隐私目标遮挡层的编码结果，即在本实施例的隐私目标遮挡图像编码时，会精准地叠加隐私目标遮挡条到图像码流中，如此可以从图像码流解码出包含原有层信息和隐私目标遮挡层信息的隐私目标遮挡图像。
在其他可替换的实施例中，在步骤S302中，也可以通过直接修改图像中隐私目标区域的像素的方式，即通过修改原图的方式，对图像进行隐私目标遮挡。
S303：将隐私目标遮挡过的当前帧图像送入缓冲区，将缓冲区中的队首送入编码器。
其中，编码的方式不受限制。编码结果的类型也不受限制，例如可为H.264或H265码流。
对当前帧图像进行隐私目标遮挡后，可以将隐私目标遮挡过的当前帧图像送入缓冲区，并且将缓冲区的队首送入编码器，以利用编码器对缓冲区的队首进行编码。例如，如图6所示，对当前帧图像(即帧X)进行隐私目标遮挡后，将隐私目标遮挡过的帧X送入缓冲区，并将缓冲区的队首[即帧(X-M)]送入编码器。
完成步骤S301后，可以基于从当前帧图像是否识别到新隐私目标的判断结果，确认进入哪个步骤。具体地，从当前帧图像识别到新隐私目标的情况下，可以进入步骤S304，以便基于步骤S304、S305和S306对缓冲区内的当前帧图像之前的预定数量帧图像中新隐私目标进行补遮挡。从当前帧图像未识别到新隐私目标的情况下，可以进入步骤S308，以依次执行步骤S308、S301、S302和S303，以便基于下一帧图像的隐私目标识别结果对下一帧图像进行隐私遮挡。
可以理解的是，在从当前帧图像识别到新隐私目标的情况下，步骤S302、步骤S303、步骤S304、步骤S305、步骤S306不一定按照图5所示的顺序依次执行，在不违背本申请技术思想的基础上，可以任意更换执行顺序。例如，在执行完步骤301后，且在从当前帧图像识别到新隐私目标的情况下，可以先执行步骤S304，然后执行步骤S302和步骤S303，接着执行步骤S305和步骤S306。
相应地，在从当前帧图像未识别到新隐私目标的情况下，步骤S301、步骤S302、步骤S303、步骤S308不一定按照图5所示的顺序依次执行，在不违背本申请技术思想的基础上，可以任意更换执行顺序。例如，可以在对当前帧图像进行隐私目标识别的同时，利用当前帧图像的前一帧的隐私目标识别结果对前一帧进行隐私目标遮挡；接下来将隐私目标遮挡过的前一帧送入缓冲区，将缓冲区中的队首送入编码器；然后将当前帧图像的下一帧作为当前帧图像，并返回到“在对当前帧图像进行隐私目标识别的同时，利用当前帧图像的前一帧的隐私目标识别结果对前一帧进行隐私目标遮挡”，如此可以依次对采集到的图像进行隐私目标识别、隐私目标遮挡和编码。
S304：对当前帧图像的下一帧图像进行隐私目标识别，得到下一帧图像的隐私目标识别结果。
在从当前帧图像识别到新隐私目标的情况下，对当前帧图像的下一帧图像进行隐私目标识别，得到下一帧图像的隐私目标识别结果，然后依次执行步骤S305和步骤S306，以利用当前帧图像和下一帧图像的隐私目标识别结果对当前帧图像之前的预定数量帧图像进行新隐私目标补遮挡。
S305：基于当前帧图像和下一帧图像的隐私目标识别结果，计算新隐私目标在当前帧图像之前的预定数量帧图像中的位置。
可选地，基于当前帧图像和下一帧图像各自的隐私目标识别结果中新隐私目标的位置，计算新隐私目标在当前帧图像之前的预定数量帧图像中的位置。
S306：基于预定数量帧图像中新隐私目标的位置，对缓冲区内的当前帧图像之前的预定数量帧图像中的新隐私目标进行补遮挡。
可选地，在缓冲区的缓存队列总长度为M帧的情况下，在步骤S305中，可以基于当前帧图像和下一帧图像的隐私目标识别结果，计算新隐私目标在当前帧图像之前的(M-1)帧中的位置；然后基于当前帧图像之前的M-1帧中新隐私目标的位置，对缓冲区内的当前帧图像之前的M-1帧图像中的新隐私目标进行补遮挡。其中，(M-1)可以等于步骤S102中的预定数量(即N)。
在其他可替换的实施例中，在缓冲区的缓存队列总长度为M帧的情况下，且(M-1)可以大于步骤S302中的N，在步骤S305中，可以基于当前帧图像和下一帧图像的隐私目标识别结果，计算新隐私目标在当前帧图像之前的N帧中的位置；然后基于当前帧图像之前的N帧中新隐私目标的位置，对缓冲区内的当前帧图像之前的N帧图像中的新隐私目标进行补遮挡。例如，假设M为5，N为2，当前帧图像为帧10，在当前帧图像识别且遮挡完毕后，缓冲区内存储有帧6-帧10，可以利用步骤S305基于帧10和帧11的隐私目标识别结果计算出帧8和帧9中新隐私目标的位置；然后基于帧8中新隐私目标的位置对帧8中新隐私目标进行补遮挡，基于帧9中新隐私目标的位置对帧9中新隐私目标进行补遮挡。
S307：将下一帧图像作为当前帧图像。
基于步骤S304、S305、S306对当前帧图像之前的预定数量帧图像中的新隐私目标进行补遮挡后，可以将下一帧图像作为当前帧图像，并返回执行步骤S302。
S308：将下一帧图像作为当前帧图像。
在从当前帧图像未识别到新隐私目标的情况下，进入步骤S308，以依次执行步骤S308、S301、S302和S303，以便基于下一帧图像的隐私目标识别结果对下一帧图像进行隐私遮挡。
请参阅图7，图7是本申请电子设备20一实施方式的结构示意图。本申请电子设备20包括处理器22，处理器22用于执行指令以实现本申请上述任一实施方式的方法及任意不冲突的组合所提供的方法。
电子设备20可为摄像装置或服务器等设备，在此不做限定。
处理器22还可以称为CPU(Central Processing Unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器22也可以是任何常规的处理器等。
电子设备20还可进一步包括存储器21，用于存储处理器22运行所需的指令和数据。
请参阅图8，图8为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质30存储有指令和/或程序数据31，该指令/程序数据31被执行时实现本申请上述方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种图像隐私遮挡方法，其特征在于，所述方法包括：
在从当前帧图像识别到新隐私目标的情况下，获取所述当前帧图像和预设帧图像中所述新隐私目标的位置，所述预设帧图像为所述当前帧图像之后预设帧的存在所述新隐私目标的图像；
基于所述新隐私目标在所述当前帧图像和所述预设帧图像中的位置，对所述当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡；
其中，预定数量为所述当前帧图像的时间减去所述新隐私目标首次出现的时间之后，再乘以图像采集帧率得到的整数值。
2.根据权利要求1所述的方法，其特征在于，所述基于所述新隐私目标在所述当前帧图像和所述预设帧图像中的位置，对所述当前帧图像之前的预定数量帧图像中的新隐私目标进行遮挡，包括：
基于所述新隐私目标在所述当前帧图像和所述预设帧图像中的位置，计算所述新隐私目标在所述当前帧图像之前的预定数量帧图像中的位置；
基于所述预定数量帧图像中所述新隐私目标的位置，对所述预定数量帧图像中的所述新隐私目标进行遮挡。
3.根据权利要求1所述的方法，其特征在于，所述基于所述新隐私目标在所述当前帧图像和所述预设帧图像中的位置，计算所述新隐私目标在所述当前帧图像之前的预定数量帧图像中的位置，包括：
基于所述新隐私目标在所述当前帧图像和所述预设帧图像的位置差异，计算所述新隐私目标的位置变化速度；
基于所述新隐私目标的位置变化速度计算出所述当前帧图像之前的预定数量帧图像中所述新隐私目标的位置。
4.根据权利要求1所述的方法，其特征在于，所述方法应用的设备包括用于存储待编码的图像的缓冲区；
所述在从当前帧图像识别到新隐私目标的情况下，获取所述当前帧图像和预设帧图像中所述新隐私目标的位置，之前包括：对所述当前帧图像进行隐私目标识别，得到所述当前帧图像的隐私目标识别结果；
所述对所述当前帧图像进行隐私目标识别，之后包括：基于所述当前帧图像的所述隐私目标识别结果对所述当前帧图像进行隐私目标遮挡；将隐私目标遮挡过的所述当前帧图像送入所述缓冲区，将所述缓冲区中的队首送入编码器；
所述对所述预定数量帧图像中的所述新隐私目标进行遮挡，包括：对所述缓冲区内的当前帧图像之前的预定数量帧图像中的所述新隐私目标进行遮挡。
5.根据权利要求4所述的方法，其特征在于，
所述方法还包括：
若基于所述当前帧图像的隐私目标识别结果确认从所述当前帧图像未识别到所述新隐私目标，将所述当前帧图像的下一帧作为当前帧图像，返回执行所述对所述当前帧图像进行隐私目标识别的步骤。
6.根据权利要求4所述的方法，其特征在于，所述获取所述当前帧图像和预设帧图像中所述新隐私目标的位置，包括：
对预设帧图像进行隐私目标识别，得到预设帧图像的隐私目标识别结果。
7.根据权利要求6所述的方法，其特征在于，所述预设帧图像为当前帧图像的下一帧；
所述对所述预定数量帧图像中的所述新隐私目标进行遮挡，之后包括：
将所述下一帧作为当前帧图像，返回执行所述基于当前帧图像的隐私目标识别结果对当前帧图像进行隐私目标遮挡的步骤。
8.根据权利要求4-7任一项所述的方法，其特征在于，隐私目标包括显示屏。
9.根据权利要求8所述的方法，其特征在于，所述进行隐私目标识别，包括：
识别出图像中的显示屏；
确认图像中的各个显示屏区域的亮度是否超过阈值；
将亮度超过阈值的显示屏作为图像中的隐私目标，不将亮度低于阈值的显示屏作为图像中的隐私目标。
10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行指令以实现如权利要求1-9中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有指令和/或程序数据，其特征在于，所述指令和/或程序数据被执行时实现权利要求1-9中任一项所述方法的步骤。
CN202210515501.8A 2022-05-11 2022-05-11 隐私遮挡方法及装置 Pending CN115147318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210515501.8A CN115147318A (zh) 2022-05-11 2022-05-11 隐私遮挡方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210515501.8A CN115147318A (zh) 2022-05-11 2022-05-11 隐私遮挡方法及装置

Publications (1)

Publication Number Publication Date
CN115147318A true CN115147318A (zh) 2022-10-04

Family

ID=83406363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210515501.8A Pending CN115147318A (zh) 2022-05-11 2022-05-11 隐私遮挡方法及装置

Country Status (1)

Country Link
CN (1) CN115147318A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664849A (zh) * 2023-05-18 2023-08-29 中关村科学城城市大脑股份有限公司 数据处理方法、装置、电子设备和计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664849A (zh) * 2023-05-18 2023-08-29 中关村科学城城市大脑股份有限公司 数据处理方法、装置、电子设备和计算机可读介质
CN116664849B (zh) * 2023-05-18 2024-01-16 中关村科学城城市大脑股份有限公司 数据处理方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN109325954B (zh) 图像分割方法、装置及电子设备
US8041075B2 (en) Identifying spurious regions in a video frame
US20100045799A1 (en) Classifying an Object in a Video Frame
CN109409238B (zh) 一种障碍物检测方法、装置及终端设备
CN106683100B (zh) 一种图像分割去雾方法及终端
US8723935B2 (en) Image processing device, computer readable storage medium storing image processing program and image processing method
CN110287891B (zh) 基于人体关键点的手势控制方法、装置及电子设备
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
CN111723644A (zh) 一种监控视频遮挡检测方法及系统
JP2008527525A (ja) グラフィカルなオブジェクトを検出するための方法及び電子装置
CN111654700B (zh) 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN108764139B (zh) 一种人脸检测方法、移动终端及计算机可读存储介质
CN111179302B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN111144337A (zh) 火灾检测方法、装置及终端设备
CN115147318A (zh) 隐私遮挡方法及装置
CN109842800B (zh) 大数据压缩编码装置
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
US20230005107A1 (en) Multi-task text inpainting of digital images
CN106228165A (zh) 一种照片分类的方法和移动终端
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN110889352A (zh) 图像模糊化处理方法、计算机装置及计算机可读存储介质
CN106303366B (zh) 一种基于区域分类编码的视频编码的方法及装置
CN111161299A (zh) 影像分割方法、计算机程序、存储介质及电子装置
CN114004726A (zh) 水印显示方法、装置、计算机设备和存储介质
CN113674316A (zh) 一种视频降噪方法和装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination