CN111654700A - 一种隐私遮蔽处理方法、装置、电子设备及监控系统 - Google Patents

一种隐私遮蔽处理方法、装置、电子设备及监控系统 Download PDF

Info

Publication number
CN111654700A
CN111654700A CN202010568351.8A CN202010568351A CN111654700A CN 111654700 A CN111654700 A CN 111654700A CN 202010568351 A CN202010568351 A CN 202010568351A CN 111654700 A CN111654700 A CN 111654700A
Authority
CN
China
Prior art keywords
image block
video frame
image
target
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010568351.8A
Other languages
English (en)
Other versions
CN111654700B (zh
Inventor
牛启飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010568351.8A priority Critical patent/CN111654700B/zh
Publication of CN111654700A publication Critical patent/CN111654700A/zh
Priority to PCT/CN2021/097376 priority patent/WO2021254134A1/zh
Priority to EP21825245.0A priority patent/EP4090036A4/en
Application granted granted Critical
Publication of CN111654700B publication Critical patent/CN111654700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种隐私遮蔽处理方法、装置、电子设备及监控系统，获取待处理视频帧图像，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，对位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。若一个图像块是位于指定位置区域的运动目标图像块，则说明该图像块出现在视频帧图像中会发生目标被遮挡的位置，且该图像块属于运动目标，因此，通过对位于指定位置区域的运动目标图像块进行隐私遮蔽处理，实现了对部分被遮挡的目标进行隐私遮蔽处理的目的。

Description

一种隐私遮蔽处理方法、装置、电子设备及监控系统
技术领域
本发明涉及监控技术领域，特别是涉及一种隐私遮蔽处理方法、装置、电子设备及监控系统。
背景技术
随着公众对隐私保护的日益重视，隐私遮蔽在视频监控领域中的应用越来越广泛。隐私遮蔽是指为了保护个人隐私，对监控图像中的人脸、车牌等涉及个人隐私的区域进行遮挡或者模糊化处理的方法。
在当前的隐私遮蔽处理方法中，主要是通过人工智能的方式，对监控图像进行目标检测，检测出监控图像中包含人脸、车牌等目标的区域，对检测出的区域进行统一的隐私遮蔽处理。
然而，在利用人工智能的方式进行目标检测时，要求监控图像中出现的必须是完整的目标，如果发生目标部分被遮挡的情况，则无法准确检测出该目标，也就无法对这一类目标进行隐私遮蔽处理。
发明内容
本发明实施例的目的在于提供一种隐私遮蔽处理方法、装置、电子设备及监控系统，以实现对部分被遮挡的目标进行隐私遮蔽处理的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种隐私遮蔽处理方法，该方法包括：
获取待处理视频帧图像；
从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，其中，视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块；
根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，其中，指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域；
对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。
可选的，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块的步骤，包括：
根据各图像块的运动矢量信息，识别各图像块是否发生运动变化；
针对发生运动变化的图像块，根据该图像块的位置信息，识别该图像块是否位于指定位置区域；
针对位于指定位置区域的图像块，若根据该图像块的运动矢量信息确定该图像块的运动矢量达到预设阈值，则确定该图像块为位于指定位置区域的运动目标图像块。
可选的，在根据各图像块的运动矢量信息，识别各图像块是否发生运动变化的步骤之后，该方法还包括：
针对任一图像块，若该图像块未发生运动变化，则保持该图像块的显示内容不变；
在针对发生运动变化的图像块，根据该图像块的位置信息，识别该图像块是否位于指定位置区域的步骤之后，该方法还包括：
若该图像块不位于指定位置区域，则保持该图像块的显示内容不变；
若该图像块位于指定位置区域，且根据该图像块的运动矢量信息确定该图像块的运动矢量未达到预设阈值，则保持该图像块的显示内容不变。
可选的，指定位置区域还包括：视频帧图像中不会发生目标被遮挡的位置区域；
对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理的步骤，包括：
对待处理视频帧图像中位于会发生目标被遮挡的位置区域和位于不会发生目标被遮挡的位置区域的运动目标图像块进行第一隐私遮蔽处理。
可选的，在从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息的步骤之前，该方法还包括：
将待处理视频帧图像输入预先训练的目标检测模型，检测出待处理视频帧图像中的目标区域；
对待处理视频帧图像中的目标区域进行第二隐私遮蔽处理；或者，
在对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理的步骤之后，该方法还包括：
将完成了第一隐私遮蔽处理后的待处理视频帧图像，输入预先训练的目标检测模型，检测出待处理视频图像中的目标区域；
对待处理视频帧图像中的目标区域进行第二隐私遮蔽处理。
可选的，视频帧图像中预先设定的会发生目标被遮挡的位置区域，为：预先设定的视频帧图像的边缘区域；和/或，预先设定的视频帧图像中固定参考物的边缘区域。
第二方面，本发明实施例提供了一种隐私遮蔽处理装置，该装置包括：
获取模块，用于获取待处理视频帧图像；从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，其中，视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块；
识别模块，用于根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，其中，指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域；
处理模块，用于对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。
可选的，识别模块，具体用于：
根据各图像块的运动矢量信息，识别各图像块是否发生运动变化；
针对发生运动变化的图像块，根据该图像块的位置信息，识别该图像块是否位于指定位置区域；
针对位于指定位置区域的图像块，若根据该图像块的运动矢量信息确定该图像块的运动矢量达到预设阈值，则确定该图像块为位于指定位置区域的运动目标图像块。
可选的，识别模块，还用于：
针对任一图像块，若该图像块未发生运动变化，则保持该图像块的显示内容不变；
针对任一图像块，若该图像块发生运动变化、且该图像块不位于指定位置区域，则保持该图像块的显示内容不变；
针对任一图像块，若该图像块发生运动变化、该图像块位于指定位置区域，且根据该图像块的运动矢量信息确定该图像块的运动矢量未达到预设阈值，则保持该图像块的显示内容不变。
可选的，指定位置区域还包括：视频帧图像中不会发生目标被遮挡的位置区域；
处理模块，具体用于对待处理视频帧图像中位于会发生目标被遮挡的位置区域和位于不会发生目标被遮挡的位置区域的运动目标图像块进行第一隐私遮蔽处理。
可选的，该装置还包括：
检测模块，用于将待处理视频帧图像输入预先训练的目标检测模型，检测出待处理视频帧图像中的目标区域；或者，将完成了第一隐私遮蔽处理后的待处理视频帧图像，输入预先训练的目标检测模型，检测出待处理视频图像中的目标区域；
处理模块，还用于对待处理视频帧图像中的目标区域进行第二隐私遮蔽处理。
可选的，视频帧图像中预先设定的会发生目标被遮挡的位置区域，为：预先设定的视频帧图像的边缘区域；和/或，预先设定的视频帧图像中固定参考物的边缘区域。
第三方面，本发明实施例提供了一种电子设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器被机器可执行指令促使：实现本发明实施例第一方面所提供的方法。
第四方面，本发明实施例提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，实现本发明实施例第一方面所提供的方法。
第五方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明实施例第一方面所提供的方法。
第六方面，本发明实施例提供了一种监控系统，该监控系统包括多个监控设备和服务器；
多个监控设备，用于采集视频，对视频进行编码，并将编码后的视频发送至服务器；
服务器，用于接收多个监控设备发送的视频，获取视频中的待处理视频帧图像，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，其中，视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块；根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置的运动目标图像块，其中，指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域；对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理；展示隐私遮蔽处理后的待处理视频帧图像。
本发明实施例提供了一种隐私遮蔽处理方法、装置、电子设备及监控系统，其中，隐私遮蔽处理方法包括：获取待处理视频帧图像，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。在对视频进行编码时，会将视频中每个视频帧图像划分成多个图像块，并生成各图像块的运动矢量信息和位置信息，一个图像块的运动矢量信息表征了该图像块在邻近两个视频帧图像中的位置偏移，根据一个图像块的运动矢量信息和位置信息，能够确定出该图像块是否为位于指定位置区域的运动目标图像块，若一个图像块是位于指定位置区域的运动目标图像块，则说明该图像块出现在图像中会发生目标被遮挡的位置区域，且该图像块属于运动目标，因此，通过对位于指定位置区域的运动目标图像块进行隐私遮蔽处理，实现了对部分被遮挡的目标进行隐私遮蔽处理的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的隐私遮蔽处理方法的一种流程示意图；
图2为本发明实施例提供的隐私遮蔽处理方法的另一种流程示意图；
图3为本发明实施例提供的隐私遮蔽处理方法的再一种流程示意图；
图4为本发明实施例提供的对处于视频帧图像边缘区域的运动目标进行隐私遮蔽处理的流程示意图；
图5为一视频帧图像示例；
图6为本发明实施例提供的对处于固定参考物边缘区域的运动目标进行隐私遮蔽处理的流程示意图；
图7为另一视频帧图像示例；
图8为本发明实施例提供的隐私遮蔽处理装置的结构示意图；
图9为本发明实施例提供的电子设备的结构示意图；
图10为本发明实施例提供的监控系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的一种场景下，布置有多个监控点(一个监控点设置一台摄像机)，这些监控点通常布置在场景中的不同角落，可以实现同一场景无死角的监控。通过将这些监控点接入到后台用于图像处理的电子设备，利用与该电子设备配套的客户端，能够把场景中的监控画面向公众进行展示，出于对人的隐私保护，画面中人员的脸部特征是不能向公众展示的，画面中的敏感区域也是不能向公众展示的，需要对监控点里出现的人员以及敏感位置进行隐私遮蔽保护。
对于向公众实时展示，但是画面边缘或者被障碍物遮挡一部分目标需要隐私遮蔽的场景，例如大型超市等画面大且人流量大的场景，画面边缘或者被货物架遮挡的地方，会出现售卖员或者顾客只有半个身位在画面中的情况，由于没有完整的人体目标，使用人工智能的方式进行人体目标检测时，无法检测出相应的人体目标，因此，无法实现画面边缘或被障碍物遮挡一部分目标的隐私遮蔽。
为了实现对部分被遮挡的目标进行隐私遮蔽处理的目的，本发明实施例提供了一种隐私遮蔽处理方法、装置、电子设备及监控系统。下面，首先对本发明实施例提供的隐私遮蔽处理方法进行介绍。该方法应用于电子设备，电子设备可以是监控设备(如上述摄像机)，也可以是后台用于图像处理的服务器，这里不做具体限定。本发明实施例所提供的隐私遮蔽处理方法可以被设置于电子设备中的软件、硬件电路和逻辑电路中的至少一种实现。
如图1所示，本发明实施例所提供的隐私遮蔽处理方法的一种流程，可以包括如下步骤。
S101，获取待处理视频帧图像。
S102，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，其中，视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块。
S103，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，其中，指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域。
S104，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。
应用本发明实施例，获取待处理视频帧图像，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。在对视频进行编码时，会将视频中每个视频帧图像划分成多个图像块，并生成各图像块的运动矢量信息和位置信息，一个图像块的运动矢量信息表征了该图像块在邻近两个视频帧图像中的位置偏移，根据一个图像块的运动矢量信息和位置信息，能够确定出该图像块是否为位于指定位置区域的运动目标图像块，若一个图像块是位于指定位置区域的运动目标图像块，则说明该图像块出现在图像中会发生目标被遮挡的位置区域，且该图像块属于运动目标，因此，通过对位于指定位置区域的运动目标图像块进行隐私遮蔽处理，实现了对部分被遮挡的目标进行隐私遮蔽处理的目的。
监控设备在采集视频后，会对视频进行编码，编码所采用的一般为H264、H265等编码标准，这些编码标准中均使用了运动估计作为视频压缩处理的一个重要组成部分，在帧间预测编码中，由于邻近视频帧图像中的运动物体存在一定的相关性，因此，一般对于包含多个运动物体的场景，普遍采用的方法是把一个视频帧图像划分成多个图像块，使得每个图像块的运动可以很好地用一个参数化模型表征。将一个视频帧图像划分成多个图像块之后，搜索出每个图像块在邻近视频帧图像中的位置，得出两者之间位置的相对偏移量，得到的相对偏移量就是运动矢量。
待处理视频帧图像为编码后的视频中的一个视频帧图像，该视频帧图像中携带有各图像块相较于上一视频帧图像的运动矢量以及各图像块的位置信息，因此，可以从待处理视频帧图像中获取到视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息。当然，在传输编码后的视频时，还可以将各图像块的运动矢量信息和位置信息以编码信息的方式和视频一同传输，则可以基于待处理视频帧图像，相应的从编码信息中获取到各图像块的运动矢量信息以及各图像块的位置信息。
运动矢量信息表征了图像块是否是运动的，位置信息指示了图像块在视频帧图像中的具体位置，因此，根据各图像块的运动矢量信息及位置信息，可以识别出各图像块是否为位于指定位置区域的运动目标图像块。这里所设定的指定位置区域包括：视频帧图像中会发生目标被遮挡的位置区域，例如视频帧图像边缘区域、大型障碍物附近区域等。
可选的，视频帧图像中预先设定的会发生目标被遮挡的位置区域，为：预先设定的视频帧图像的边缘区域；和/或，预先设定的视频帧图像中固定参考物的边缘区域。
这里所提及的固定参考物可以为大型障碍物、建筑物、植物等，其边缘区域即为外轮廓附近区域。
对各图像块是否为位于指定位置区域的运动目标图像块的识别，是分别根据运动矢量信息判断图像块是否为运动目标图像块、根据位置信息判断图像块是否位于指定位置区域实现的，这两个判断可以是同时执行或者按照先后顺序执行的，这里不做具体限定。
在本发明实施例的一种实现方式中，S103具体可以通过如下步骤实现：
第一步，根据各图像块的运动矢量信息，识别各图像块是否发生运动变化。
第二步，针对发生运动变化的图像块，根据该图像块的位置信息，识别该图像块是否位于指定位置区域。
第三步，针对位于指定位置区域的图像块，若根据该图像块的运动矢量信息确定该图像块的运动矢量达到预设阈值，则确定该图像块为位于指定位置区域的运动目标图像块。
在本发明实施例的一种实现方式中，对于各图像块是否为位于指定位置区域的运动目标图像块的识别是顺序执行的，即先根据各图像块的运动矢量信息，识别各图像块是否发生运动变化，具体识别各图像块是否发生运动变化的方式，就是判断同一图像块在邻近视频帧图像的运动矢量是否大于0，如果大于0，则说明该图像块发生了运动变化；如果一个图像块发生运动变化，则根据该图像块的位置信息，识别该图像块是否位于指定位置区域；如果一个图像块位于指定位置区域，则判断该图像块的运动矢量是否达到预设阈值，如果达到预设阈值，则说明该图像块属于运动目标，可以确定该图像块为位于指定位置区域的运动目标图像块，如果未达到预设阈值，则说明该图像块并不属于运动目标，可能是误检测，不能作为运动目标图像块。
在本发明实施例的一种实现方式中，在执行上述第一步之后，还可以执行：针对任一图像块，若该图像块未发生运动变化，则保持该图像块的显示内容不变。
在执行上述第二步之后，还可以执行：若该图像块不位于指定位置区域，则保持该图像块的显示内容不变；或者，若该图像块位于指定位置区域，且根据该图像块的运动矢量信息确定该图像块的运动矢量未达到预设阈值，则保持该图像块的显示内容不变。
基于上述分析，如果识别出一个图像块未发生运动变化，则说明该图像块是静态的图像块，不属于运动目标，因此需要保持该图像块的显示内容不变，无需对该图像块进行隐私遮蔽处理；如果识别出一个图像块发生了运动变化，但是不位于指定位置区域，则后续可以采用传统的隐私遮蔽处理方式对这类图像块进行处理，或者在之前可以已经采用了传统的隐私遮蔽处理方式对这类图像块进行过处理，因此，可以保持该图像块的显示内容不变，无需对该图像块进行隐私遮蔽处理；如果识别出一个图像块发生了运动变化、该图像块位于指定位置区域，但是运动矢量未达到预设阈值，则说明该图像块为误检测的运动目标图像块，并不是真正的运动目标图像块，则需要保持该图像块的显示内容不变，无需对该图像块进行隐私遮蔽处理。
在确定出位于指定位置区域的运动目标图像块之后，对这些图像块进行第一隐私遮蔽处理，第一隐私遮蔽处理可以是遮挡、模糊化等隐私遮蔽处理方式中的任一种，实现了对部分被遮挡的目标进行隐私遮蔽处理的目的。在具体实现时，可以确定出多个位于指定位置区域的运动目标图像块，邻近的图像块组成一个目标框，在进行隐私遮蔽处理时，可以对目标框进行整体的隐私遮蔽处理。
在本发明实施例的一种实现方式中，指定位置区域还可以包括：视频帧图像中不会发生目标被遮挡的位置区域，则S104具体可以为：对待处理视频帧图像中位于会发生目标被遮挡的位置区域和位于不会发生目标被遮挡的位置区域的运动目标图像块进行第一隐私遮蔽处理。
本发明实施例的一种场景下，之前并未对视频帧图像进行过任何隐私遮蔽处理，则如果识别出一个图像块是不位于指定位置区域的运动目标图像块，即该图像块属于运动目标，但是并不位于指定位置区域，则也可以对该图像块进行隐私遮蔽处理，以达到对视频帧图像中所有的运动目标均进行隐私遮蔽处理的目的。
相较于利用人工智能的方式进行目标检测，本发明实施例所提供的隐私遮蔽处理方法中，无需进行目标检测，而是根据获取到的各图像块的运动矢量信息以及所述各图像块的位置信息，识别出位于指定位置区域的运动目标图像块，对这些图像块进行隐私遮蔽处理。可见，本发明实施例可以使用较少的处理资源，实现对部分被遮挡的目标进行隐私遮蔽处理。
基于图1所示实施例，本发明实施例所提供的隐私遮蔽处理方法的另一种流程，如图2所示，可以包括如下步骤。
S201，获取待处理视频帧图像。
S202，将待处理视频帧图像输入预先训练的目标检测模型，检测出待处理视频帧图像中的目标区域。
S203，对待处理视频帧图像中的目标区域进行第二隐私遮蔽处理。
S204，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，其中，视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块。
S205，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，其中，指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域。
S206，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。
在本发明实施例的一种实现方式中，可以先采用人工智能的方式，对待处理视频帧图像进行目标检测，对检测出的目标区域进行第二隐私遮蔽处理；再根据各图像块的运动矢量信息以及各图像块的位置信息，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。具体的人工智能的方式是：将待处理视频帧图像输入预先训练的目标检测模型，检测出待处理视频帧图像中的目标区域，其中目标检测模型是基于样本图像预先训练得到的，具有目标检测的功能，目标检测模型可以为基于深度学习的网络模型，可以采用传统的深度学习模型，具体的训练过程可以采用传统的反向传播的方式，这里不再做赘述。
如果发生目标出现在视频帧图像边缘，或者是目标被某个障碍物遮挡2/3、剩余1/3出现在视频帧图像中等情况，而采用人工智能的方式进行隐私遮蔽处理，必须是完整的目标都出现在视频帧图像中，才能检测出目标，此时则无法检测出目标，即无法实现对被遮挡目标的隐私遮蔽处理。
因此，本实施例在采用人工智能的方式，对待处理视频帧图像进行第二隐私遮蔽处理之后，可以继续采用图1所示的方式，对位于指定位置区域的运动目标图像块进行识别，对识别出的位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理，其中，第一隐私遮蔽处理和第二隐私遮蔽处理是遮挡、模糊化等隐私遮蔽处理方式中的任一种，可以相同，也可以不同。这样，既保证视频帧图像中一般位置的目标被隐私遮蔽处理，又保证位于指定位置区域的运动目标被隐私遮蔽处理。
基于图1所示实施例，本发明实施例所提供的隐私遮蔽处理方法的再一种流程，如图3所示，可以包括如下步骤。
S301，获取待处理视频帧图像。
S302，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，其中，视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块。
S303，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，其中，指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域。
S304，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。
S305，将完成了第一隐私遮蔽处理后的待处理视频帧图像，输入预先训练的目标检测模型，检测出待处理视频图像中的目标区域。
S306，对待处理视频帧图像中的目标区域进行第二隐私遮蔽处理。
在本发明实施例的一种实现方式中，可以先采用图1所示的方式，对位于指定位置区域的运动目标图像块进行识别，对识别出的位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。再采用人工智能的方式，对完成了第一隐私遮蔽处理的待处理视频帧图像进行目标检测，对检测出的目标区域进行第二隐私遮蔽处理。这样，既保证视频帧图像中一般位置的目标被隐私遮蔽处理，又保证位于指定位置区域的运动目标被隐私遮蔽处理。
在本发明实施例中，针对不位于指定位置区域的运动目标图像块，由于采用人工智能的方式进行目标检测和隐私遮蔽处理，则无需对这类图像块再进行一次隐私遮蔽处理。
在一种具体实施方式中，指定位置区域可以是视频帧图像的边缘区域。
具体的，针对处于视频帧图像边缘区域的运动目标进行隐私遮蔽处理的流程如图4所示，包括如下步骤：
S401，对视频数据进行编码。
S402，判断图像块是否产生运动矢量；如果是，则执行S403；如果否，则执行S405。
本步骤中，可以先获得待处理视频帧图像中各图像块的运动矢量信息和位置信息；根据各图像块的运动矢量信息，判断是否产生运动矢量，也就是判断图像块是否发生运动变化。
S403，判断图像块是否在画面边缘；如果是，则执行S404；如果否，则执行S405。
本步骤中，在产生运动矢量的情况下，根据各图像块的位置信息，判断图像块是否在画面边缘；即判断图像块是否位于视频帧图像的边缘区域。
S404，判断运动矢量是否满足要求；如果是，则执行S406；如果否，则执行S405。
本步骤中，在图像块在画面边缘的情况下，根据该图像块的运动矢量信息，判断运动矢量是否满足要求，具体的，可以判断图像块的运动矢量是否达到预设阈值。
S405，不进行隐私遮蔽处理。
本步骤中，在未产生运动矢量或图像块没有在画面边缘或运动矢量不满足要求的情况下，不进行隐私遮蔽处理。
S406，对相应目标进行隐私遮蔽处理。
本步骤中，在产生运动矢量、图像块在画面边缘，且运动矢量满足要求的情况下，对相应目标进行隐私遮蔽处理，也就是对产生运动矢量、在画面边缘且运动矢量满足要求的图像块进行隐私遮蔽处理。
在具体实现时，可以按照像素点变化情况进行图像块划分，相近的像素点划分到同一个图像块中，获取到每个图像块的位置信息，在图像采集设备架设好后，视频帧图像的显示范围即可确定。在视频帧图像中，可根据图像块的位置信息，判断图像块与视频帧图像边缘的距离，如果距离小于一定的阈值，则可以确定该图像块在画面边缘。如图5所示，图像块1与视频帧图像边缘的距离小于阈值，图像块2与视频帧图像边缘的距离大于阈值，则可以确定图像块1在画面边缘，而图像块2不在画面边缘。
在另一种具体实施方式中，指定位置区域可以是视频帧图像中固定参考物的边缘区域。
具体的，针对处于固定参考物边缘区域的运动目标进行隐私遮蔽处理的流程如图6所示，包括如下步骤：
S601，对视频数据进行编码。
S602，判断图像块是否产生运动矢量；如果是，则执行S603；如果否，则执行S605。
本步骤中，可以先获得待处理视频帧图像中各图像块的运动矢量信息和位置信息；根据各图像块的运动矢量信息，判断是否产生运动矢量，也就是判断图像块是否发生运动变化。
S603，判断图像块是否处于固定参考物边缘区域；如果是，则执行S604；如果否，则执行S605。
本步骤中，在产生运动矢量的情况下，根据各图像块的位置信息，判断图像块是否处于固定参考物边缘区域。
S604，判断运动矢量是否满足要求；如果是，则执行S606；如果否，则执行S605。
本步骤中，在图像块处于固定参考物边缘区域的情况下，根据该图像块的运动矢量信息，判断运动矢量是否满足要求，具体的，可以判断图像块的运动矢量是否达到预设阈值。
S605，不进行隐私遮蔽处理。
本步骤中，在未产生运动矢量或图像块没有处于固定参考物边缘区域或运动矢量不满足要求的情况下，不进行隐私遮蔽处理。
S606，对相应目标进行隐私遮蔽处理。
本步骤中，在产生运动矢量、图像块处于固定参考物边缘区域，且运动矢量满足要求的情况下，对相应目标进行隐私遮蔽处理，也就是对产生运动矢量、处于固定参考物边缘区域且运动矢量满足要求的图像块进行隐私遮蔽处理。
在具体实现时，可以按照像素点变化情况进行图像块划分，相近的像素点划分到同一个图像块中，获取到每个图像块的位置信息，在实际场景中存在一些固定参考物(例如建筑物、大型障碍物、树木等)，这些固定参考物具有外轮廓，能够获知固定参考物外轮廓的位置信息，在视频帧图像中，可根据图像块的位置信息，判断图像块与固定参考物外轮廓的距离，如果距离小于一定的阈值，则可以确定该图像块处于固定参考物边缘区域。如图7所示，图像块3与固定参考物X外轮廓的距离小于阈值，图像块4与固定参考物X外轮廓的距离大于阈值，则可以确定图像块3处于固定参考物边缘区域，而图像块4不处于固定参考物边缘区域。
基于上述方法实施例，本发明实施例提供了一种隐私遮蔽处理装置，如图8所示，该装置可以包括：
获取模块810，用于获取待处理视频帧图像；从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，其中，视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块；
识别模块820，用于根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，其中，指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域；
处理模块830，用于对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。
可选的，识别模块820，具体可以用于：
根据各图像块的运动矢量信息，识别各图像块是否发生运动变化；
针对发生运动变化的图像块，根据该图像块的位置信息，识别该图像块是否位于指定位置区域；
针对位于指定位置区域的图像块，若根据该图像块的运动矢量信息确定该图像块的运动矢量达到预设阈值，则确定该图像块为位于指定位置区域的运动目标图像块。
可选的，识别模块820，还可以用于：
针对任一图像块，若该图像块未发生运动变化，则保持该图像块的显示内容不变；
针对任一图像块，若该图像块发生运动变化、且该图像块不位于指定位置区域，则保持该图像块的显示内容不变；
针对任一图像块，若该图像块发生运动变化、该图像块位于指定位置区域，且根据该图像块的运动矢量信息确定该图像块的运动矢量未达到预设阈值，则保持该图像块的显示内容不变。
可选的，指定位置区域还可以包括：视频帧图像中不会发生目标被遮挡的位置区域；
处理模块830，具体可以用于对待处理视频帧图像中位于会发生目标被遮挡的位置区域和位于不会发生目标被遮挡的位置区域的运动目标图像块进行第一隐私遮蔽处理。
可选的，该装置还可以包括：检测模块，用于将待处理视频帧图像输入预先训练的目标检测模型，检测出待处理视频帧图像中的目标区域；或者，将完成了第一隐私遮蔽处理后的待处理视频帧图像，输入预先训练的目标检测模型，检测出待处理视频图像中的目标区域；
处理模块830，还可以用于对待处理视频帧图像中的目标区域进行第二隐私遮蔽处理。
可选的，视频帧图像中预先设定的会发生目标被遮挡的位置区域，可以为：预先设定的视频帧图像的边缘区域；和/或，预先设定的视频帧图像中固定参考物的边缘区域。
应用本发明实施例，获取待处理视频帧图像，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。在对视频进行编码时，会将视频中每个视频帧图像划分成多个图像块，并生成各图像块的运动矢量信息和位置信息，一个图像块的运动矢量信息表征了该图像块在邻近两个视频帧图像中的位置偏移，根据一个图像块的运动矢量信息和位置信息，能够确定出该图像块是否为位于指定位置区域的运动目标图像块，若一个图像块是位于指定位置区域的运动目标图像块，则说明该图像块出现在图像中会发生目标被遮挡的位置区域，且该图像块属于运动目标，因此，通过对位于指定位置区域的运动目标图像块进行隐私遮蔽处理，实现了对部分被遮挡的目标进行隐私遮蔽处理的目的。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901和机器可读存储介质902，机器可读存储介质902存储有能够被处理器901执行的机器可执行指令，处理器901被机器可执行指令促使：实现上述任一实施例提供的隐私遮蔽处理方法。
上述机器可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，机器可读存储介质还可以是至少一个位于远离上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
机器可读存储介质902与处理器901之间可以通过有线连接或者无线连接的方式进行数据传输，并且电子设备可以通过有线通信接口或者无线通信接口与其他的设备进行通信。图9所示的仅为处理器901与机器可读存储介质902之间通过总线进行数据传输的示例，不作为具体连接方式的限定。
应用本发明实施例，电子设备获取待处理视频帧图像，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。在对视频进行编码时，会将视频中每个视频帧图像划分成多个图像块，并生成各图像块的运动矢量信息和位置信息，一个图像块的运动矢量信息表征了该图像块在邻近两个视频帧图像中的位置偏移，根据一个图像块的运动矢量信息和位置信息，能够确定出该图像块是否为位于指定位置区域的运动目标图像块，若一个图像块是位于指定位置区域的运动目标图像块，则说明该图像块出现在图像中会发生目标被遮挡的位置区域，且该图像块属于运动目标，因此，通过对位于指定位置区域的运动目标图像块进行隐私遮蔽处理，实现了对部分被遮挡的目标进行隐私遮蔽处理的目的。
本发明实施例还提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，实现上述任一实施例提供的隐私遮蔽处理方法。
在本发明实施例提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行实现上述任一实施例提供的隐私遮蔽处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD(DigitalVersatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid State Disk，固态硬盘))等。
本发明实施例还提供了一种监控系统，如图10所示，该监控系统包括多个监控设备1001和服务器1002；
多个监控设备1001，用于采集视频，对视频进行编码，并将编码后的视频发送至服务器1002；
服务器1002，用于接收多个监控设备1001发送的视频，获取视频中的待处理视频帧图像，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，其中，视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块；根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置的运动目标图像块，其中，指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域；对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理；展示隐私遮蔽处理后的待处理视频帧图像。
应用本发明实施例，多个监控设备采集视频，对视频进行编码，并将编码后的视频发送至服务器，服务器接收多个监控设备发送的视频，获取视频中的待处理视频帧图像，从待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及各图像块的位置信息，根据各图像块的运动矢量信息及位置信息，识别各图像块是否为位于指定位置区域的运动目标图像块，对待处理视频帧图像中位于指定位置区域的运动目标图像块进行第一隐私遮蔽处理。在对视频进行编码时，会将视频中每个视频帧图像划分成多个图像块，并生成各图像块的运动矢量信息和位置信息，一个图像块的运动矢量信息表征了该图像块在邻近两个视频帧图像中的位置偏移，根据一个图像块的运动矢量信息和位置信息，能够确定出该图像块是否为位于指定位置区域的运动目标图像块，若一个图像块是位于指定位置区域的运动目标图像块，则说明该图像块出现在图像中会发生目标被遮挡的位置区域，且该图像块属于运动目标，因此，通过对位于指定位置区域的运动目标图像块进行隐私遮蔽处理，实现了对部分被遮挡的目标进行隐私遮蔽处理的目的，满足在展示视频时的隐私遮蔽需求。
本发明实施例的监控系统可以是一个设备或者分布式系统，即多个监控设备和服务器可以为一个设备中的不同部件，也可以为分布式布置的分离设备，这里不做具体限定。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、机器可读存储介质、计算机程序产品和监控系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种隐私遮蔽处理方法，其特征在于，所述方法包括：
获取待处理视频帧图像；
从所述待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及所述各图像块的位置信息，其中，所述视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块；
根据所述各图像块的运动矢量信息及位置信息，识别所述各图像块是否为位于指定位置区域的运动目标图像块，所述指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域；
对所述待处理视频帧图像中位于所述指定位置区域的运动目标图像块进行第一隐私遮蔽处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述各图像块的运动矢量信息及位置信息，识别所述各图像块是否为位于指定位置区域的运动目标图像块的步骤，包括：
根据所述各图像块的运动矢量信息，识别所述各图像块是否发生运动变化；
针对发生运动变化的图像块，根据该图像块的位置信息，识别该图像块是否位于指定位置区域；
针对位于所述指定位置区域的图像块，若根据该图像块的运动矢量信息确定该图像块的运动矢量达到预设阈值，则确定该图像块为位于所述指定位置区域的运动目标图像块。
3.根据权利要求2所述的方法，其特征在于，在所述根据所述各图像块的运动矢量信息，识别所述各图像块是否发生运动变化的步骤之后，所述方法还包括：
针对任一图像块，若该图像块未发生运动变化，则保持该图像块的显示内容不变；
在所述针对发生运动变化的图像块，根据该图像块的位置信息，识别该图像块是否位于指定位置区域的步骤之后，所述方法还包括：
若该图像块不位于所述指定位置区域，则保持该图像块的显示内容不变；
若该图像块位于所述指定位置区域，且根据该图像块的运动矢量信息确定该图像块的运动矢量未达到所述预设阈值，则保持该图像块的显示内容不变。
4.根据权利要求1所述的方法，其特征在于，所述指定位置区域还包括：视频帧图像中不会发生目标被遮挡的位置区域；
所述对所述待处理视频帧图像中位于所述指定位置区域的运动目标图像块进行第一隐私遮蔽处理的步骤，包括：
对所述待处理视频帧图像中位于会发生目标被遮挡的位置区域和位于不会发生目标被遮挡的位置区域的运动目标图像块进行第一隐私遮蔽处理。
5.根据权利要求1所述的方法，其特征在于，
在所述从所述待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及所述各图像块的位置信息的步骤之前，所述方法还包括：
将所述待处理视频帧图像输入预先训练的目标检测模型，检测出所述待处理视频帧图像中的目标区域；
对所述待处理视频帧图像中的目标区域进行第二隐私遮蔽处理；或者，
在对所述待处理视频帧图像中位于所述指定位置区域的运动目标图像块进行第一隐私遮蔽处理的步骤之后，所述方法还包括：
将完成了第一隐私遮蔽处理后的所述待处理视频帧图像，输入预先训练的目标检测模型，检测出所述待处理视频图像中的目标区域；
对所述待处理视频帧图像中的目标区域进行第二隐私遮蔽处理。
6.根据权利要求1～5任一项所述的方法，其特征在于，所述视频帧图像中预先设定的会发生目标被遮挡的位置区域，为：预先设定的视频帧图像的边缘区域；和/或，预先设定的视频帧图像中固定参考物的边缘区域。
7.一种隐私遮蔽处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理视频帧图像；从所述待处理视频帧图像中，获取视频编码时生成的各图像块的运动矢量信息以及所述各图像块的位置信息，其中，所述视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块；
识别模块，用于根据所述各图像块的运动矢量信息及位置信息，识别所述各图像块是否为位于指定位置区域的运动目标图像块，所述指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域；
处理模块，用于对所述待处理视频帧图像中位于所述指定位置区域的运动目标图像块进行第一隐私遮蔽处理。
8.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1～6任一项所述的方法。
9.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，实现权利要求1～6任一项所述的方法。
10.一种监控系统，其特征在于，包括多个监控设备和服务器；
所述多个监控设备，用于采集视频，对所述视频进行编码，并将编码后的所述视频发送至所述服务器；
所述服务器，用于接收所述多个监控设备发送的所述视频，获取所述视频中的待处理视频帧图像，从所述待处理视频帧图像中，获取所述视频编码时生成的各图像块的运动矢量信息以及所述各图像块的位置信息，其中，所述视频包括多个视频帧图像，每个视频帧图像包括多个预先划分的图像块；根据所述各图像块的运动矢量信息及位置信息，识别所述各图像块是否为位于指定位置区域的运动目标图像块，所述指定位置区域包括：视频帧图像中预先设定的会发生目标被遮挡的位置区域；对所述待处理视频帧图像中位于所述指定位置区域的运动目标图像块进行第一隐私遮蔽处理；展示隐私遮蔽处理后的所述待处理视频帧图像。
CN202010568351.8A 2020-06-19 2020-06-19 一种隐私遮蔽处理方法、装置、电子设备及监控系统 Active CN111654700B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010568351.8A CN111654700B (zh) 2020-06-19 2020-06-19 一种隐私遮蔽处理方法、装置、电子设备及监控系统
PCT/CN2021/097376 WO2021254134A1 (zh) 2020-06-19 2021-05-31 一种隐私遮蔽处理方法、装置、电子设备及监控系统
EP21825245.0A EP4090036A4 (en) 2020-06-19 2021-05-31 PRIVACY SHIELDING METHOD AND DEVICE, ELECTRONIC DEVICE AND MONITORING SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010568351.8A CN111654700B (zh) 2020-06-19 2020-06-19 一种隐私遮蔽处理方法、装置、电子设备及监控系统

Publications (2)

Publication Number Publication Date
CN111654700A true CN111654700A (zh) 2020-09-11
CN111654700B CN111654700B (zh) 2022-12-06

Family

ID=72350091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010568351.8A Active CN111654700B (zh) 2020-06-19 2020-06-19 一种隐私遮蔽处理方法、装置、电子设备及监控系统

Country Status (3)

Country Link
EP (1) EP4090036A4 (zh)
CN (1) CN111654700B (zh)
WO (1) WO2021254134A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381702A (zh) * 2020-12-02 2021-02-19 北京皮尔布莱尼软件有限公司 一种图像隐私处理方法、计算设备及存储介质
CN112509070A (zh) * 2020-12-04 2021-03-16 武汉大学 一种隐私保护Canny边缘检测方法
WO2021254134A1 (zh) * 2020-06-19 2021-12-23 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN114339367A (zh) * 2021-12-29 2022-04-12 杭州海康威视数字技术股份有限公司 一种视频帧处理方法、装置及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827706A (zh) * 2022-03-09 2022-07-29 北京旷视科技有限公司 图像处理的方法、计算机程序产品、电子设备及存储介质
CN115379114A (zh) * 2022-07-19 2022-11-22 阿里巴巴（中国）有限公司 全景视频处理方法、装置及电子设备

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050275723A1 (en) * 2004-06-02 2005-12-15 Sezai Sablak Virtual mask for use in autotracking video camera images
CN101389005A (zh) * 2007-09-11 2009-03-18 华为技术有限公司 一种对图像特定位置进行遮挡的方法及装置
US20090074311A1 (en) * 2007-09-19 2009-03-19 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
CN101739686A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标跟踪方法及其系统
JP2010237872A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム
CN101933027A (zh) * 2008-02-01 2010-12-29 罗伯特·博世有限公司 用于视频监视系统的遮蔽模块、用于遮蔽被选择的物体的方法以及计算机程序
CN102129695A (zh) * 2010-01-19 2011-07-20 中国科学院自动化研究所 基于遮挡物建模的有遮挡情况下的目标跟踪方法
CN102354364A (zh) * 2011-09-21 2012-02-15 西安理工大学 一种单摄像机监控系统的立体障碍物检测方法
CN102375985A (zh) * 2010-08-10 2012-03-14 富士通株式会社 目标检测方法和设备
CN102902963A (zh) * 2012-09-27 2013-01-30 无锡天授信息科技有限公司 一种基于人脸特征的固定场景运动目标检测系统及方法
CN103093427A (zh) * 2013-01-15 2013-05-08 信帧电子技术（北京）有限公司 人员停留的监控方法及监控系统
CN103440667A (zh) * 2013-07-19 2013-12-11 杭州师范大学 一种遮挡状态下运动目标稳定追踪的自动装置
CN103700112A (zh) * 2012-09-27 2014-04-02 中国航天科工集团第二研究院二O七所 一种基于混合预测策略的遮挡目标跟踪方法
CN104660975A (zh) * 2013-11-22 2015-05-27 安讯士有限公司 梯度隐私屏蔽
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN108596109A (zh) * 2018-04-26 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于神经网络和运动矢量的目标检测方法及装置
US20190114783A1 (en) * 2017-10-13 2019-04-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN109670383A (zh) * 2017-10-16 2019-04-23 杭州海康威视数字技术股份有限公司 视频遮蔽区域选取方法、装置、电子设备及系统
CN110458862A (zh) * 2019-05-22 2019-11-15 西安邮电大学 一种遮挡背景下的运动目标跟踪方法
CN110944227A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 目标隐私保护方法、装置、硬盘录像机及存储介质
CN111241872A (zh) * 2018-11-28 2020-06-05 杭州海康威视数字技术股份有限公司 视频图像遮挡方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4650579B2 (ja) * 2009-03-30 2011-03-16 日本ビクター株式会社 ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法
JP2011151732A (ja) * 2010-01-25 2011-08-04 Renesas Electronics Corp 映像処理装置
CN111654700B (zh) * 2020-06-19 2022-12-06 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050275723A1 (en) * 2004-06-02 2005-12-15 Sezai Sablak Virtual mask for use in autotracking video camera images
CN101389005A (zh) * 2007-09-11 2009-03-18 华为技术有限公司 一种对图像特定位置进行遮挡的方法及装置
US20090074311A1 (en) * 2007-09-19 2009-03-19 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
CN101933027A (zh) * 2008-02-01 2010-12-29 罗伯特·博世有限公司 用于视频监视系统的遮蔽模块、用于遮蔽被选择的物体的方法以及计算机程序
CN101739686A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标跟踪方法及其系统
JP2010237872A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム
CN102129695A (zh) * 2010-01-19 2011-07-20 中国科学院自动化研究所 基于遮挡物建模的有遮挡情况下的目标跟踪方法
CN102375985A (zh) * 2010-08-10 2012-03-14 富士通株式会社 目标检测方法和设备
CN102354364A (zh) * 2011-09-21 2012-02-15 西安理工大学 一种单摄像机监控系统的立体障碍物检测方法
CN103700112A (zh) * 2012-09-27 2014-04-02 中国航天科工集团第二研究院二O七所 一种基于混合预测策略的遮挡目标跟踪方法
CN102902963A (zh) * 2012-09-27 2013-01-30 无锡天授信息科技有限公司 一种基于人脸特征的固定场景运动目标检测系统及方法
CN103093427A (zh) * 2013-01-15 2013-05-08 信帧电子技术（北京）有限公司 人员停留的监控方法及监控系统
CN103440667A (zh) * 2013-07-19 2013-12-11 杭州师范大学 一种遮挡状态下运动目标稳定追踪的自动装置
CN104660975A (zh) * 2013-11-22 2015-05-27 安讯士有限公司 梯度隐私屏蔽
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
US20190114783A1 (en) * 2017-10-13 2019-04-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN109670383A (zh) * 2017-10-16 2019-04-23 杭州海康威视数字技术股份有限公司 视频遮蔽区域选取方法、装置、电子设备及系统
CN108596109A (zh) * 2018-04-26 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于神经网络和运动矢量的目标检测方法及装置
CN110944227A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 目标隐私保护方法、装置、硬盘录像机及存储介质
CN111241872A (zh) * 2018-11-28 2020-06-05 杭州海康威视数字技术股份有限公司 视频图像遮挡方法及装置
CN110458862A (zh) * 2019-05-22 2019-11-15 西安邮电大学 一种遮挡背景下的运动目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REHAM KAMAL: "Privacy preserving recommender system based on improved MASK and query restriction", 《2017 EIGHTH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTING AND INFORMATION SYSTEMS (ICICIS)》 *
闫帅辉: "视频运动目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021254134A1 (zh) * 2020-06-19 2021-12-23 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN112381702A (zh) * 2020-12-02 2021-02-19 北京皮尔布莱尼软件有限公司 一种图像隐私处理方法、计算设备及存储介质
CN112381702B (zh) * 2020-12-02 2024-03-15 北京皮尔布莱尼软件有限公司 一种图像隐私处理方法、计算设备及存储介质
CN112509070A (zh) * 2020-12-04 2021-03-16 武汉大学 一种隐私保护Canny边缘检测方法
CN112509070B (zh) * 2020-12-04 2024-04-05 武汉大学 一种隐私保护Canny边缘检测方法
CN114339367A (zh) * 2021-12-29 2022-04-12 杭州海康威视数字技术股份有限公司 一种视频帧处理方法、装置及设备
CN114339367B (zh) * 2021-12-29 2023-06-27 杭州海康威视数字技术股份有限公司 一种视频帧处理方法、装置及设备

Also Published As

Publication number Publication date
EP4090036A1 (en) 2022-11-16
EP4090036A4 (en) 2023-08-16
CN111654700B (zh) 2022-12-06
WO2021254134A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
CN111654700B (zh) 一种隐私遮蔽处理方法、装置、电子设备及监控系统
US10943357B2 (en) Video based indoor leak detection
Han et al. Fast saliency-aware multi-modality image fusion
CN108933935B (zh) 视频通信系统的检测方法、装置、存储介质和计算机设备
CN108665476B (zh) 一种行人跟踪方法以及电子设备
US20180144476A1 (en) Cascaded-time-scale background modeling
US20180047173A1 (en) Methods and systems of performing content-adaptive object tracking in video analytics
WO2014081687A1 (en) Method and system for counting people using depth sensor
CN110659391A (zh) 一种视频侦查方法及装置
US20180253848A1 (en) Methods and systems for splitting merged objects in detected blobs for video analytics
US20180046877A1 (en) Methods and systems of determining a minimum blob size in video analytics
US20200322639A1 (en) Syntax-based method of detecting object intrusion in compressed video
CA2860014C (en) Video based indoor leak detection
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
CN111401239B (zh) 一种视频分析方法、装置、系统、设备及存储介质
CN111899470A (zh) 人体跌倒检测方法、装置、设备及存储介质
CN112672102B (zh) 一种视频生成方法及装置
US11527091B2 (en) Analyzing apparatus, control method, and program
US10916016B2 (en) Image processing apparatus and method and monitoring system
US20180121729A1 (en) Segmentation-based display highlighting subject of interest
CN111369557A (zh) 图像处理方法、装置、计算设备和存储介质
CN111310595A (zh) 用于生成信息的方法和装置
CN112689120A (zh) 一种监控方法及装置
WO2019150649A1 (ja) 画像処理装置および画像処理方法
WO2014038924A2 (en) A method for producing a background model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant