CN109670383A - 视频遮蔽区域选取方法、装置、电子设备及系统 - Google Patents

视频遮蔽区域选取方法、装置、电子设备及系统 Download PDF

Info

Publication number
CN109670383A
CN109670383A CN201710957962.XA CN201710957962A CN109670383A CN 109670383 A CN109670383 A CN 109670383A CN 201710957962 A CN201710957962 A CN 201710957962A CN 109670383 A CN109670383 A CN 109670383A
Authority
CN
China
Prior art keywords
target
specified
video
detected
specified target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710957962.XA
Other languages
English (en)
Other versions
CN109670383B (zh
Inventor
陆海先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710957962.XA priority Critical patent/CN109670383B/zh
Priority to EP18868676.0A priority patent/EP3700180A1/en
Priority to US16/756,094 priority patent/US11321945B2/en
Priority to PCT/CN2018/108222 priority patent/WO2019076187A1/zh
Publication of CN109670383A publication Critical patent/CN109670383A/zh
Application granted granted Critical
Publication of CN109670383B publication Critical patent/CN109670383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了视频遮蔽区域选取方法、装置、电子设备及系统，应用于计算机视觉技术领域，该视频遮蔽区域选取方法包括：获取待检测视频；通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在所述待检测视频各视频帧中的像素集合；通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。该视频遮蔽区域选取方法，首先确定出指定目标，然后对指定目标进行是否为敏感目标的判定。通过多次判定，可以提高遮蔽区域选取得准确度。

Description

视频遮蔽区域选取方法、装置、电子设备及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及视频遮蔽区域选取方法、装置、电子设备及系统。
背景技术
随着网络技术的发展及图像采集设备的普及，视频成为信息传递的主要方式之一。用户可以通过手机或数码相机等便携式视频采集设备，记录生活中的各种事件，并发送到互联网上进行展示。但是一些视频中可能会存在一些敏感信息，如汽车的车牌号、身份证号码及银行卡号等，因此需要对视频进行脱敏处理。视频脱敏可以分为手动和自动两种方式，手动视频脱敏的准确性高，但是需要人工逐帧标定遮蔽区域，工作量大，效率低。面对网络中海量的视频，想要通过人工脱敏的方式逐个去处理，已经变得不可能。
相关的自动视频脱敏方法，在选取视频遮蔽区域时，在一个图像帧中检测出运动目标后，在后续的图像帧中都利用目标跟踪方式，预测运动目标的范围，将该范围作为遮蔽区域，但是采用此种视频遮蔽区域的选取方法，会存在因运动轨迹预测不准确导致遮蔽区域不准确的情况。
发明内容
本发明实施例的目的在于提供一种视频遮蔽区域选取方法、装置电子设备及系统，以实现提高遮蔽区域选取得准确度。具体技术方案如下：
第一方面，本发明实施例提供了一种视频遮蔽区域选取方法，所述方法包括：
获取待检测视频；
通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在所述待检测视频各视频帧中的像素集合；
通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；
当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。
可选的，在所述当存在所述敏感目标时，将所述敏感目标对应的指定目标集合，作为所述待检测视频的遮蔽区域之后，所述方法还包括：
遮蔽所述待检测视频各视频帧中的所述遮蔽区域。
可选的，所述通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，包括：
通过预设的目标检测算法，分别检测出所述待检测视频的每帧视频帧中的所有指定目标对应的区域；
针对所有指定目标中的每个指定目标，将该指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹；
将各指定目标的指定目标轨迹作为所述待检测视频中的各所述指定目标集合。
可选的，所述通过预设的目标检测算法，分别检测出所述待检测视频的每帧视频帧中的所有指定目标对应的区域，包括：
将所述待检测视频中的每帧视频帧分割为预设数量个区域，得到多个像素区域；
通过预先训练的卷积神经网络，分别提取每个所述像素区域的特征；
根据所述每个像素区域的特征，通过预设分类器，确定各像素区域是否与任一所述指定目标相匹配；
在存在与任一所述指定目标相匹配的像素区域时，根据与同一所述指定目标相匹配的所有所述像素区域，通过包围盒回归算法，确定该指定目标对应的区域。
可选的，所述针对所有指定目标中的每个指定目标，将同一指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹，包括：
提取所述待检测视频的每帧视频帧中所有指定目标对应的区域的特征，得到区域特征；
根据所有的区域特征，通过预设的多目标跟踪算法，分别确定出属于同一指定目标的区域特征集合；
按照时序顺序，分别将每个区域特征集合对应的区域进行关联，得到所述指定目标轨迹。
可选的，所述通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标，包括：
针对每个所述指定目标集合，按照预设的视频帧提取方法，在所述指定目标集合的视频帧中选取预设帧数的指定目标视频帧；
通过预设的识别算法，分别对每帧所述指定目标视频帧中的指定目标进行识别，得到目标识别结果；
在所述目标识别结果符合预设的判定规则时，判定所述目标识别结果对应的指定目标为敏感目标；或
在所述目标识别结果不符合预设的判定规则时，判定所述目标识别结果对应的指定目标不是敏感目标。
可选的，所述通过所述识别算法，分别对每帧所述指定目标视频帧中的指定目标进行识别，得到目标识别结果，包括：
提取每帧所述指定目标视频帧中指定目标的特征，得到目标特征；
通过预设的目标分类算法或识别技术，在所述目标特征中识别敏感特征；
将所述敏感特征与所述目标特征的数量关系，作为所述目标识别结果。
第二方面，本发明实施例提供了一种视频遮蔽区域选取装置，所述装置包括：
待检测视频获取模块，用于获取待检测视频；
指定集合确定模块，用于通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在所述待检测视频各视频帧中的像素集合；
敏感目标确定模块，用于通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；
遮蔽区域选取模块，用于当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。
可选的，所述视频遮蔽区域选取装置还包括：
遮蔽模块，用于遮蔽所述待检测视频各视频帧中的所述遮蔽区域。
可选的，所述指定集合确定模块，包括：
检测目标子模块，用于通过预设的目标检测算法，分别检测出所述待检测视频的每帧视频帧中的所有指定目标对应的区域；
目标关联子模块，用于针对所有指定目标中的每个指定目标，将该指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹；
目标集合子模块，用于将各指定目标的指定目标轨迹作为所述待检测视频中的各指定目标集合。
可选的，所述检测目标子模块，包括：
区域分割单元，用于将所述待检测视频中的每帧视频帧分割为预设数量个区域，得到多个像素区域；
第一特征获取单元，用于通过预先训练的卷积神经网络，分别提取每个所述像素区域的特征；
目标匹配单元，用于根据所述每个像素区域的特征，通过预设分类器，确定各像素区域是否与任一所述指定目标相匹配；
区域确定单元，用于在存在与任一所述指定目标相匹配的像素区域时，根据与同一所述指定目标相匹配的所有所述像素区域，通过包围盒回归算法，确定该指定目标对应的区域。
可选的，所述目标关联子模块，包括：
第二特征获取单元，用于提取所述待检测视频的每帧视频帧中所有指定目标对应的区域的特征，得到区域特征；
集合确定单元，用于根据所有的区域特征，通过预设的多目标跟踪算法，分别确定出属于同一指定目标的区域特征集合；
目标轨迹确定单元，用于按照时序顺序，分别将每个区域特征集合对应的区域进行关联，得到各所述指定目标轨迹。
可选的，所述敏感目标确定模块，包括：
视频帧选取子模块，用于针对每个所述指定目标集合，按照预设的视频帧提取方法，在所述指定目标集合的视频帧中选取预设帧数的指定目标视频帧；
第一判定子模块，用于通过预设的识别算法，分别对每帧所述指定目标视频帧中的指定目标进行识别，得到目标识别结果；
第二判定子模块，用于在所述目标识别结果符合预设的判定规则时，判定所述目标识别结果对应的指定目标为敏感目标；或在所述目标识别结果不符合预设的判定规则时，判定所述目标识别结果对应的指定目标不是敏感目标。
可选的，所述第一判定子模块，包括：
第三特征获取单元，用于提取每帧所述指定目标视频帧中指定目标的特征，得到目标特征；
敏感特征识别单元，用于通过预设的目标分类算法或识别技术，在所述目标特征中识别敏感特征；
识别结果确定单元，用于将所述敏感特征与所述目标特征的数量关系，作为所述目标识别结果。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现所述第一方面任一所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述第一方面任一所述的方法步骤。
第五方面，本发明实施例提供了一种视频遮蔽区域选取系统，所述系统包括视频采集设备和视频处理器；
所述视频采集设备，用于采集待检测视频；
所述视频处理器，用于执行上述第一方面任一所述的方法步骤。
本发明实施例提供的视频遮蔽区域选取方法、装置、电子设备及系统，获取待检测视频；通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合；通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。通过目标检测算法检测出各视频帧中指定目标，将指定目标的像素作为指定目标集合，可以提高遮蔽区域选取得准确度，通过识别算法再次对指定目标的敏感性进行判定，能够减少对敏感目标的误提取，从而提高遮蔽区域选取得准确度。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的视频遮蔽区域选取方法的一种流程示意图；
图2为本发明实施例的视频遮蔽区域选取方法的另一种流程示意图；
图3为本发明实施例的视频遮蔽区域选取装置的示意图；
图4为本发明实施例的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
视频脱敏是一种视频内容信息隐藏的技术，视频脱敏对视频内容中的敏感或者隐私信息，例如人脸等，进行模糊或者马赛克等处理，达到对敏感和隐私信息进行遮蔽的目的。相关的视频脱敏方案，在选取遮蔽区域时，在一个图像帧中检测出需要遮蔽的目标后，在后续的图像帧中都利用目标跟踪方式，预测需要遮蔽的目标的范围，将该范围作为遮蔽区域，但是存在以下缺点：1、该方法是基于运动目标检测方法，当待检测的目标与背景相对静止或相对运动速度很小时，确定的遮蔽区域会不完整。2、相关的视频脱敏方案，在选取遮蔽区域时，没有对检测出的目标信息进一步分类，会存在误遮蔽，例如视频中的需要遮蔽的遮蔽区域为穿着警服的人体，但是却遮蔽了所有的人体等。
针对上述问题，参见图1，本发明实施例提供了一种视频遮蔽区域选取方法，该方法包括：
S101，获取待检测视频。
本发明实施例的视频遮蔽区域选取方法可以通过脱敏系统实现。
脱敏系统为任意能够执行本发明实施例的视频遮蔽区域选取方法的系统。例如：
脱敏系统可以为一种电子设备，包括：处理器、存储器、通信接口和总线；处理器、存储器和通信接口通过总线连接并完成相互间的通信；存储器存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行视频遮蔽区域选取方法。
脱敏系统还可以为一种应用程序，用于在运行时执行视频遮蔽区域选取方法。
脱敏系统还可以为一种存储介质，用于存储可执行代码，可执行代码用于执行视频遮蔽区域选取方法。
脱敏系统从存储装置中获取待检测视频。可选的，脱敏系统内置视频拍摄装置，或连接外设视频拍摄装置；脱敏系统通过内置的视频拍摄装置或外设的视频拍摄装置，即时采集待检测视频。脱敏系统通过视频拍摄装置，即时拍摄获取待检测视频，增加了获取待检测视频的即时性，方便用户对即时视频进行处理，用户体验佳。
S102，通过预设的目标检测算法，确定出待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在待检测视频各视频帧中的像素集合。
脱敏系统利用预设的目标检测算法，检测出待检测视频各视频帧中的所有指定目标，并分别将同一指定目标对应的所有区域(视频帧中的区域是由像素组成的)进行关联，得到各指定目标集合。
其中，预设的目标检测算法为任意能够识别指定目标的算法，例如Boosting、RCNN(Regions Convolutional Neural Network)、FRCNN(Fast Region Convolutional NeuralNetwork)、FasterRCNN(Faster Region Convolutional Neural Network)、SSD(SingleShot MultiBox Detector)等。指定目标为预设的需要遮蔽的目标，例如，视频中汽车的车牌、视频中出现的身份证及银行卡等。
S103，通过预设的识别算法，分别判断各指定目标集合中的指定目标是否为敏感目标。
预设的识别算法为任意能够识别敏感目标的目标分类或者识别技术，例如SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)、Dense SIFT、Color SIFT、HOG(Histogram of Oriented Gradient，方向梯度直方图)等。敏感目标为预设的需要遮蔽的具体目标，例如，警车车牌、未成年人的身份证或指定卡号的银行卡等。对提取的指定目标进行进一步的分类或者识别，防止误提取与敏感目标近似的非敏感目标，能够减少对敏感目标的误提取。
S104，当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为待检测视频的遮蔽区域。
在本发明实施例中，由于通过目标检测算法检测出各视频帧中指定目标，将指定目标的像素作为指定目标集合，因此，不需要预测运动目标轨迹，因此，能够更加准确的确定出与背景相对静止或接近静止的指定目标所对应的区域。通过识别算法对指定目标进行目标分类或识别，再次对指定目标的敏感性进行判定，能够减少对敏感目标的误提取，可以提高遮蔽区域选取得准确度。实现了遮蔽区域的自动提取，避免因手动标定遮蔽区域而带来的大量工作，遮蔽区域提取的效率高。
可选的，在将敏感目标对应的指定目标集合，作为待检测视频的遮蔽区域之后，上述方法还包括：
遮蔽待检测视频各视频帧中的遮蔽区域。
脱敏系统采用加马赛克或加灰色等方法，分别将每一帧视频帧中遮蔽区域对应的像素进行遮蔽。
在本发明实施例中，遮蔽待检测视频各视频帧中遮蔽区域中的像素，实现了对待检测视频的脱敏。
可选的，通过预设的目标检测算法，确定出待检测视频中的各指定目标集合，包括：
步骤一，通过预设的目标检测算法，分别检测出待检测视频的每帧视频帧中的所有指定目标对应的区域。
脱敏系统利用预设的目标检测算法，分别对待检测视频中的每帧视频帧进行检测，确定出每帧视频帧中的所有指定目标，及各指定目标各自对应的区域。
步骤二，针对所有指定目标中的每个指定目标，将该指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹。
脱敏系统检测出每帧视频帧中的各指定目标对应的区域后，还需要识别不同视频帧中的各指定目标对应的区域，哪些属于同一指定目标。例如脱敏系统利用预设的目标跟踪算法，如基于MeanShift的目标跟踪算法、TLD(Tracking-Learning-Detection，视觉追踪算法)、IVT(Incremental Visual Tracking，增量视觉跟踪器)算法或MIL(Multi-instanceLearning，多示例学习)算法等，确定属于同一指定目标的各区域；或脱敏系统利用预设的目标分类或者识别算法，确定属于同一指定目标的各区域。脱敏系统按照时序顺序，分别将每帧视频帧中同一指定目标对应的区域进行关联，得到与指定目标数量相同的指定目标轨迹。
步骤三，将各指定目标的指定目标轨迹作为待检测视频中的各指定目标集合。
针对任意指定目标，如果该指定目标是静止的，则其每帧视频帧识别出的该目标的位置不变，因此，可以将该位置信息作为该指定目标的指定目标集合。
针对每个指定目标，脱敏系统将该指定目标的指定目标轨迹作为该指定目标的指定目标集合。如果是静止目标，其轨迹则可以是不变化的位置信息组成的集合。
在本发明实施例中，通过目标检测算法确定指定目标对应的区域，按照时序顺序对同一指定目标对应的区域进行关联，得到指定目标集合，相比于运动目标检测或敏感区域分割的方法，能够更加准确的确定出与背景相对静止或接近静止的指定目标所对应的区域，得到的目标集合更加准确。
可选的，通过预设的目标检测算法，分别检测出待检测视频的每帧视频帧中的所有指定目标对应的区域，包括：
步骤一，将待检测视频中的每帧视频帧分割为预设数量个区域，得到多个像素区域。
脱敏系统将每帧视频帧分割为预设数量个区域，这些区域可以重叠。预设数量根据要求的识别精度及视频帧的分辨率进行设定，预设数量与要求的识别精度和视频帧的分辨率正相关。例如预设数量可以为100、500、1000或更大。
步骤二，通过预先训练的卷积神经网络，分别提取每个像素区域的特征。
预先经过训练的卷积神经网络可以为在监督式学习下建立的。建立以提取指定目标对应的区域为目的的神经网络，输入多组指定目标对应的区域进行监督式学习，以确定指定目标对应的区域的识别特征。例如，使用SVM(Support Vector Machine，支持向量机)算法，将包含指定目标对应的区域的图像特征作为特征值，根据上述特征值及特征值的变化率确定输入向量，并分别采用Linear kernel(线性核函数)和RBF(Radial BasisFunction，径向基函数)训练算法进行训练，选取测试集效果更好的函数，以完成预先训练的卷积神经网络。
步骤三，根据每个像素区域的特征，通过预设分类器，确定各像素区域是否与任一指定目标相匹配。
同一待检测视频中可能会存在多个种类的指定目标，例如即存在汽车的车牌，又存在人的身份证，因此需要通过分类器将像素区域的特征进行分类，以进一步判断像素区域的特征是否与指定目标的识别特征想匹配。
步骤四，在存在与任一指定目标相匹配的像素区域时，根据与同一指定目标相匹配的所有像素区域，通过包围盒回归算法，确定该指定目标对应的区域。
脱敏系统对于每一帧视频帧中的像素区域，当存在与指定目标相匹配的像素区域时，将同一视频帧中与同一指定目标相匹配的所有像素区域进行组合，确定初步对应的区域。然后脱敏系统利用boundingbox(包围盒)回归算法，修正初步对应的区域，最终得到指定目标对应的区域。
在本发明实施例中，给出了确定指定目标对应的区域的具体方法。当然，在本发明实施例中还可以通过Boosting、FRCNN、FasterRCNN或SSD等算法确定各指定目标对应的区域。
可选的，针对所有指定目标中的每个指定目标，将同一指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹，包括：
步骤一，提取待检测视频的每帧视频帧中所有指定目标对应的区域的特征，得到区域特征。
区域特征为任意能够识别指定目标的特征。脱敏系统通过预设的多目标跟踪算法，提取指定目标的区域特征。
步骤二，根据所有的区域特征，通过预设的多目标跟踪算法，分别确定出属于同一指定目标的区域特征集合。
多目标跟踪算法可以为TLD(Tracking-Learning-Detection，视觉追踪算法)、ITV(Incremental visual tracking，增量视觉跟踪器)算法或MIL(Multi-instanceLearning，多示例学习)算法等。脱敏系统利用多目标跟踪算法，确定出属于同一指定目标的各区域特征，并将同一指定目标的所有区域特征作为一个区域特征集合。
步骤三，按照时序顺序，分别将每个区域特征集合对应的区域进行关联，得到指定目标轨迹。
在本发明实施例中，通过多目标跟踪算法确定指定目标轨迹，能够更加快捷的确定指定目标轨迹。
可选的，针对所有指定目标中的每个指定目标，将该指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹，包括：
步骤一，提取每个指定目标对应的区域的RGB(Red Green Blue，红绿蓝)色彩模式的颜色直方图。
步骤二，按照时序顺序，分别计算每两帧相邻视频帧之间的各指定目标对应的区域的RGB色彩模式的颜色直方图的欧式距离。
步骤三，按照时序顺序，分别将欧式距离小于预设阈值的各指定目标对应的区域进行关联，得到指定目标轨迹。
当不同视频帧中的两个指定目标的欧式距离小于预设阈值时，则这两个指定目标为同一个指定目标，将这两个指定目标对应的区域进行关联。例如，第一视频帧与第二视频帧为时序上相邻的视频帧，第一视频帧中包括指定目标1和指定目标2，第二视频帧中包括指定目标3和指定目标4。计算出的指定目标1与指定目标3之间的RGB色彩模式的颜色直方图的欧式距离为0.02，指定目标1与指定目标4之间的RGB色彩模式的颜色直方图的欧式距离为0.58，指定目标2与指定目标3之间的RGB色彩模式的颜色直方图的欧式距离为0.67，指定目标2与指定目标4之间的的RGB色彩模式的颜色直方图的欧式距离为0.09，预设阈值为0.1，则关联指定目标1对应的区域与指定目标3对应的区域，关联指定目标2对应的区域与指定目标4对应的区域。
预设阈值根据实际的图像分辨率进行设定，根图像分辨率正相关。例如预设阈值可以为0.3、0.2、0.1、或0.05等。
在本发明实施例中，通过欧式距离确定指定目标轨迹，计算方法简单，节约计算成本。
可选的，通过预设的识别算法，分别判断各指定目标集合中的指定目标是否为敏感目标，包括：
步骤一，针对每个指定目标集合，按照预设的视频帧提取方法，在指定目标集合的视频帧中选取预设帧数的指定目标视频帧。
预设的视频帧提取方法为任意的提取视频帧的方法，例如，每隔15帧提取一帧视频帧，一共提取5帧视频帧；例如，规定总共提取3帧视频帧，在任一指定目标集合一共包含9帧视频帧，分别提取第3帧、第6帧和第9帧视频帧。
步骤二，通过预设的识别算法，分别对每帧指定目标视频帧中的指定目标进行识别，得到目标识别结果。
脱敏系统利用预设的识别算法，包括目标分类或识别技术，识别各指定目标视频帧，得到目标识别结果。例如，对于任一指定目标集合，总共提取了5帧指定目标视频帧，通过预设的识别算法，识别出其中4帧指定目标视频帧中的指定目标为敏感目标，1帧指定目标视频帧中的指定目标不是敏感目标，相应的目标识别结果可以为4帧为敏感目标，1帧不是敏感目标；或该指定目标集合对应的指定目标为敏感目标的概率为80％等。
步骤三，在目标识别结果符合预设的判定规则时，判定目标识别结果对应的指定目标为敏感目标；或在目标识别结果不符合预设的判定规则时，判定目标识别结果对应的指定目标不是敏感目标。
例如，预设的判定规则为敏感目标的概率大于或等于80％，当目标识别结果为指定目标为敏感目标的概率为80％时，判定目标识别结果对应的指定目标为敏感目标；当目标识别结果为指定目标为敏感目标的概率为60％时，判定目标识别结果对应的指定目标不是敏感目标。
在本发明实施例中，对同一指定目标进行多次判断，根据多次判断的综合结果确定指定目标是否为敏感目标，减少了判定过程中的偶然性，判定的结果更加准确。对提取的指定目标进行进一步的分类或者识别，防止误提取与敏感目标近似的非敏感目标，能够减少对敏感目标的误提取。
可选的，通过识别算法，分别对每帧指定目标视频帧中的指定目标进行识别，得到目标识别结果，包括：
步骤一，提取每帧指定目标视频帧中指定目标的特征，得到目标特征。
步骤二，通过预设的目标分类算法或识别技术，在目标特征中识别敏感特征。
例如，通过HOG算法识别敏感特征。脱敏系统将目标视频帧进行图像归一化处理，并计算图像归一化处理后的目标视频帧的梯度，得到梯度直方图。根据目标对象的种类，将梯度直方图划分为预设数量的Cell(单元)区域，将梯度直方图划分为预设数量的Block(块)区域，例如目标对象为人体时，每个Cell区域可以设置为6×6个像素，每个Block区域可以设置为3×3个Cell区域。对于每一个Cell区域进行预设权重的投影，得到直方图向量，对于每个Block区域中重叠的Cell区域进行对比度归一化，得到直方图向量。把所有Block区域内的直方图向量组合成一个HOG特征向量，作为目标特征。当目标特征与预设的敏感目标的HOG特征向量的符合预设相似条件时，例如高于预设的相似度阈值(相似度阈值可以根据视频帧的分辨率进行设定，与分辨率正相关，例如可以设定为70％、80％、或90％等)，判定目标特征为敏感特征。
步骤三，将敏感特征与目标特征的数量关系，作为目标识别结果。
目标识别结果用于表征敏感特征与目标特征的数量关系，例如，目标识别结果为：敏感特征的数量为8，目标特征的数量为10；或者目标识别结果为：8/10。
在本发明实施例中，给出了确定目标识别结果的具体方法，减少了判定过程中的偶然性，判定的结果更加准确。
参见图2，图2为本发明实施例的视频遮蔽区域选取方法的另一种流程示意图，包括：
视频采集模块201，用于采集待检测视频。
视频采集模块201由摄像机等可以录制视频的视频采集设备构成，视频采集模块201中的视频采集设备采集现场环境中的景象，生成现场环境中的景象的视频帧，并将采集到的视频帧传输给其他模块。
目标提取模块202，用于通过预设的目标检测算法，对视频帧中的指定目标进行提取，按照时序顺序对同一指定目标进行关联，得到指定目标集合。
可选的，目标提取模块202包括视频帧中检测目标子模块和目标跟踪关联子模块。目标提取模块202获取由视频采集模块201发送的视频帧，视频帧中检测目标子模块用于通过预设的目标检测技术，例如Boosting、RCNN、FRCNN、Faster RCNN或SSD等，对视频采集模块201采集到的各视频帧进行目标检测，确定出指定目标并检测出指定目标的目标框，将任一指定目标的目标框中的区域作为该指定目标对应的区域。目标跟踪关联子模块用于通过多目标跟踪算法，例如TLD、ITV或MIL算法等，分别对视频帧中各指定目标进行跟踪，在时序上将同一指定目标进行关联，形成指定目标集合，并给每个指定目标集合绑定一个ID。
敏感性判断模块203，用于通过预设目标分类或识别技术，分别判断各指定目标集合中的指定目标是否为敏感目标。
每次确定新的指定目标集合后，敏感性判断模块203针对每一个新生成的ID，对该ID对应的指定目标进行敏感性分析。采用目标分类或者识别技术，例如SIFT、Dense SIFT、Color SIFT、HOG等，判断指定目标是否属于敏感目标，例如特定人物或警车等。后续每隔一定的帧数，再次对指定目标进行判断，对多次判断的记过采取投票法等手段最终确定敏感目标，例如指定目标出现了9帧，每隔3帧选取一个视频帧，判定该视频帧中的指定目标是否为敏感目标，一共判断3次，如果有2次及以上判定指定目标为敏感目标，则将该ID对应的指定目标最终判定为敏感目标。采用多次判定敏感目标的方法，能够增加判定敏感目标的鲁棒性，防止误判。
区域遮蔽模块204，用于当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合进行遮蔽。
当敏感性判断模块203判定任一ID对应的指定目标为敏感目标时，区域遮蔽模块204采用加马赛克或灰色等手段，在该ID对应的指定目标集合的各帧视频帧中，将该指定目标对应的区域(像素)进行遮蔽，以达到视频脱敏的目的。
在本发明实施例中，目标提取模块202通过目标检测算法确定指定目标，相比于运动目标检测或敏感区域分割的方法，能够更加准确的确定出与背景相对静止或接近静止的指定目标所对应的区域。敏感性判断模块203判断指定目标是否为敏感目标，对已提取的指定目标进行判断，可以提高遮蔽区域选取得准确度，进而提高视频脱敏的准确度。实现了遮蔽区域的自动提取，避免因手动标定遮蔽区域而带来的大量工作，遮蔽区域提取的效率高。对提取的指定目标进行进一步的分类或者识别，防止误提取与敏感目标近似的非敏感目标，能够减少对敏感目标的误提取。
参见图3，本发明实施例提供了一种视频遮蔽区域选取装置，该装置包括：
待检测视频获取模块301，用于获取待检测视频；
指定集合确定模块302，用于通过预设的目标检测算法，确定出待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在待检测视频各视频帧中的像素集合；
敏感目标确定模块303，用于通过预设的识别算法，分别判断各指定目标集合中的指定目标是否为敏感目标；
遮蔽区域选取模块304，用于当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为待检测视频的遮蔽区域。
在本发明实施例中，首先通过目标检测算法确定出指定目标，然后对指定目标进行目标分类或识别，以判定指定目标是否为敏感目标。通过目标检测算法确定指定目标，相比于运动目标检测或敏感区域分割的方法，能够更加准确的确定出与背景相对静止或接近静止的指定目标所对应的区域。通过对指定目标进行目标分类或识别，再次对指定目标的敏感性进行判定，可以提高遮蔽区域选取得准确度。实现了遮蔽区域的自动提取，避免因手动标定遮蔽区域而带来的大量工作，遮蔽区域提取的效率高。对提取的指定目标进行进一步的分类或者识别，防止误提取与敏感目标近似的非敏感目标，能够减少对敏感目标的误提取。
可选的，上述视频遮蔽区域选取装置还包括：
遮蔽模块，用于遮蔽待检测视频各视频帧中的遮蔽区域。
在本发明实施例中，遮蔽待检测视频各视频帧中遮蔽区域中的像素，实现了对待检测视频的脱敏。
可选的，指定集合确定模块302，包括：
检测目标子模块，用于通过预设的目标检测算法，分别检测出待检测视频的每帧视频帧中的所有指定目标对应的区域；
目标关联子模块，用于针对所有指定目标中的每个指定目标，将该指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹；
目标集合子模块，用于将各指定目标的指定目标轨迹作为所述待检测视频中的各指定目标集合。
在本发明实施例中，通过目标检测算法确定指定目标对应的区域，按照时序顺序对同一指定目标对应的区域进行关联，得到指定目标集合，相比于运动目标检测或敏感区域分割的方法，能够更加准确的确定出与背景相对静止或接近静止的指定目标所对应的区域，得到的目标集合更加准确。
可选的，检测目标子模块，包括：
区域分割单元，用于将待检测视频中的每帧视频帧分割为预设数量个区域，得到多个像素区域；
第一特征获取单元，用于通过预先训练的卷积神经网络，分别提取每个像素区域的特征；
目标匹配单元，用于根据每个像素区域的特征，通过预设分类器，确定各像素区域是否与任一指定目标相匹配；
区域确定单元，用于在存在与任一指定目标相匹配的像素区域时，根据与同一指定目标相匹配的所有像素区域，通过包围盒回归算法，确定该指定目标对应的区域。
在本发明实施例中，给出了确定指定目标对应的区域的具体方法。当然，在本发明实施例中还可以通过Boosting、FRCNN、FasterRCNN或SSD等算法确定各指定目标对应的区域。
可选的，目标关联子模块，包括：
第二特征获取单元，用于提取待检测视频的每帧视频帧中所有指定目标对应的区域的特征，得到区域特征；
集合确定单元，用于根据所有的区域特征，通过预设的多目标跟踪算法，分别确定出属于同一指定目标的区域特征集合；
目标轨迹确定单元，用于按照时序顺序，分别将每个区域特征集合对应的区域进行关联，得到各指定目标轨迹。
在本发明实施例中，通过多目标跟踪算法确定指定目标集合，得到的指定目标集合准确。
可选的，敏感目标确定模块303，包括：
视频帧选取子模块，用于针对每个指定目标集合，按照预设的视频帧提取方法，在指定目标集合的视频帧中选取预设帧数的指定目标视频帧；
第一判定子模块，用于通过预设的识别算法，分别对每帧指定目标视频帧中的指定目标进行识别，得到目标识别结果；
第二判定子模块，用于在目标识别结果符合预设的判定规则时，判定目标识别结果对应的指定目标为敏感目标；或在目标识别结果不符合预设的判定规则时，判定目标识别结果对应的指定目标不是敏感目标。
在本发明实施例中，对同一指定目标进行多次判断，根据多次判断的综合结果确定指定目标是否为敏感目标，减少了判定过程中的偶然性，判定的结果更加准确。
可选的，第一判定子模块，包括：
第三特征获取单元，用于提取每帧指定目标视频帧中指定目标的特征，得到目标特征；
敏感特征识别单元，用于通过预设的目标分类算法或识别技术，在目标特征中识别敏感特征；
识别结果确定单元，用于将敏感特征与目标特征的数量关系，作为目标识别结果。
在本发明实施例中，给出了确定目标识别结果的具体方法，减少了判定过程中的偶然性，判定的结果更加准确。
本发明实施例还提供了一种电子设备，包括处理器各存储器，存储器用于存放计算机程序，处理器用于在执行存储器上所存放的程序时，实现上述任一所述的视频遮蔽区域选取方法。
可选的，本发明实施例中的电子设备具体如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
获取待检测视频；
通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在所述待检测视频各视频帧中的像素集合；
通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；
当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。
在本发明实施例中，由于通过目标检测算法检测出各视频帧中指定目标，将指定目标的像素作为指定目标集合，因此能够更加准确的确定出与背景相对静止或接近静止的指定目标所对应的区域。通过识别算法对指定目标进行目标分类或识别，再次对指定目标的敏感性进行判定，可以提高遮蔽区域选取得准确度。实现了遮蔽区域的自动提取，避免因手动标定遮蔽区域而带来的大量工作，遮蔽区域提取的效率高。对提取的指定目标进行进一步的分类或者识别，防止误提取与敏感目标近似的非敏感目标，能够减少对敏感目标的误提取。
可选的，处理器401执行存储器403上所存放的程序时，还能够实现上述视频遮蔽区域选取方法的任意步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
获取待检测视频；
通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在所述待检测视频各视频帧中的像素集合；
通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；
当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。
在本发明实施例中，由于通过目标检测算法检测出各视频帧中指定目标，将指定目标的像素作为指定目标集合，因此能够更加准确的确定出与背景相对静止或接近静止的指定目标所对应的区域。通过识别算法对指定目标进行目标分类或识别，再次对指定目标的敏感性进行判定，可以提高遮蔽区域选取得准确度。实现了遮蔽区域的自动提取，避免因手动标定遮蔽区域而带来的大量工作，遮蔽区域提取的效率高。对提取的指定目标进行进一步的分类或者识别，防止误提取与敏感目标近似的非敏感目标，能够减少对敏感目标的误提取。
可选的，计算机程序被处理器执行时还能够实现上述视频遮蔽区域选取方法的任意步骤。
本发明实施例还提供了一种视频遮蔽区域选取系统，该系统包括视频采集设备和视频处理器；
视频采集设备，用于采集待检测视频；
视频处理器，用于实现如下步骤：
获取待检测视频；
通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在所述待检测视频各视频帧中的像素集合；
通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；
当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。
在本发明实施例中，由于通过目标检测算法检测出各视频帧中指定目标，将指定目标的像素作为指定目标集合，因此能够更加准确的确定出与背景相对静止或接近静止的指定目标所对应的区域。通过识别算法对指定目标进行目标分类或识别，再次对指定目标的敏感性进行判定，能够减少对敏感目标的误提取，可以提高遮蔽区域选取得准确度。实现了遮蔽区域的自动提取，避免因手动标定遮蔽区域而带来的大量工作，遮蔽区域提取的效率高。
可选的，视频处理器还能够实现上述任一视频遮蔽区域选取方法。
对于视频遮蔽区域选取装置/电子设备/系统/计算机可读存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种视频遮蔽区域选取方法，其特征在于，所述方法包括：
获取待检测视频；
通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在所述待检测视频各视频帧中的像素集合；
通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；
当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。
2.根据权利要求1所述的方法，其特征在于，在所述当存在所述敏感目标时，将所述敏感目标对应的指定目标集合，作为所述待检测视频的遮蔽区域之后，所述方法还包括：
遮蔽所述待检测视频各视频帧中的所述遮蔽区域。
3.根据权利要求1所述的方法，其特征在于，所述通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，包括：
通过预设的目标检测算法，分别检测出所述待检测视频的每帧视频帧中的所有指定目标对应的区域；
针对所有指定目标中的每个指定目标，将该指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹；
将各指定目标的指定目标轨迹作为所述待检测视频中的各指定目标集合。
4.根据权利要求3所述的方法，其特征在于，所述通过预设的目标检测算法，分别检测出所述待检测视频的每帧视频帧中的所有指定目标对应的区域，包括：
将所述待检测视频中的每帧视频帧分割为预设数量个区域，得到多个像素区域；
通过预先训练的卷积神经网络，分别提取每个所述像素区域的特征；
根据所述每个像素区域的特征，通过预设分类器，确定各像素区域是否与任一所述指定目标相匹配；
在存在与任一所述指定目标相匹配的像素区域时，根据与同一所述指定目标相匹配的所有所述像素区域，通过包围盒回归算法，确定该指定目标对应的区域。
5.根据权利要求3所述的方法，其特征在于，所述针对所有指定目标中的每个指定目标，将同一指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹，包括：
提取所述待检测视频的每帧视频帧中所有指定目标对应的区域的特征，得到区域特征；
根据所有的区域特征，通过预设的多目标跟踪算法，分别确定出属于同一指定目标的区域特征集合；
按照时序顺序，分别将每个区域特征集合对应的区域进行关联，得到各所述指定目标轨迹。
6.根据权利要求1所述的方法，其特征在于，所述通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标，包括：
针对每个所述指定目标集合，按照预设的视频帧提取方法，在所述指定目标集合的视频帧中选取预设帧数的指定目标视频帧；
通过预设的识别算法，分别对每帧所述指定目标视频帧中的指定目标进行识别，得到目标识别结果；
在所述目标识别结果符合预设的判定规则时，判定所述目标识别结果对应的指定目标为敏感目标；或
在所述目标识别结果不符合预设的判定规则时，判定所述目标识别结果对应的指定目标不是敏感目标。
7.根据权利要求6所述的方法，其特征在于，所述通过所述识别算法，分别对每帧所述指定目标视频帧中的指定目标进行识别，得到目标识别结果，包括：
提取每帧所述指定目标视频帧中指定目标的特征，得到目标特征；
通过预设的目标分类算法或识别技术，在所述目标特征中识别敏感特征；
将所述敏感特征与所述目标特征的数量关系，作为所述目标识别结果。
8.一种视频遮蔽区域选取装置，其特征在于，所述装置包括：
待检测视频获取模块，用于获取待检测视频；
指定集合确定模块，用于通过预设的目标检测算法，确定出所述待检测视频中的各指定目标集合，其中，任一指定目标集合为一个指定目标在所述待检测视频各视频帧中的像素集合；
敏感目标确定模块，用于通过预设的识别算法，分别判断各所述指定目标集合中的指定目标是否为敏感目标；
遮蔽区域选取模块，用于当任一指定目标集合中的指定目标为敏感目标时，将该指定目标集合，作为所述待检测视频的遮蔽区域。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
遮蔽模块，用于遮蔽所述待检测视频各视频帧中的所述遮蔽区域。
10.根据权利要求8所述的装置，其特征在于，所述指定集合确定模块，包括：
检测目标子模块，用于通过预设的目标检测算法，分别检测出所述待检测视频的每帧视频帧中的所有指定目标对应的区域；
目标关联子模块，用于针对所有指定目标中的每个指定目标，将该指定目标对应的区域按照时序顺序进行关联，得到指定目标轨迹；
目标集合子模块，用于将各指定目标的指定目标轨迹作为所述待检测视频中的各指定目标集合。
11.根据权利要求10所述的装置，其特征在于，所述检测目标子模块，包括：
区域分割单元，用于将所述待检测视频中的每帧视频帧分割为预设数量个区域，得到多个像素区域；
第一特征获取单元，用于通过预先训练的卷积神经网络，分别提取每个所述像素区域的特征；
目标匹配单元，用于根据所述每个像素区域的特征，通过预设分类器，确定各像素区域是否与任一所述指定目标相匹配；
区域确定单元，用于在存在与任一所述指定目标相匹配的像素区域时，根据与同一所述指定目标相匹配的所有所述像素区域，通过包围盒回归算法，确定该指定目标对应的区域。
12.根据权利要求10所述的装置，其特征在于，所述目标关联子模块，包括：
第二特征获取单元，用于提取所述待检测视频的每帧视频帧中所有指定目标对应的区域的特征，得到区域特征；
集合确定单元，用于根据所有的区域特征，通过预设的多目标跟踪算法，分别确定出属于同一指定目标的区域特征集合；
目标轨迹确定单元，用于按照时序顺序，分别将每个区域特征集合对应的区域进行关联，得到各所述指定目标轨迹。
13.根据权利要求8所述的装置，其特征在于，所述敏感目标确定模块，包括：
视频帧选取子模块，用于针对每个所述指定目标集合，按照预设的视频帧提取方法，在所述指定目标集合的视频帧中选取预设帧数的指定目标视频帧；
第一判定子模块，用于通过预设的识别算法，分别对每帧所述指定目标视频帧中的指定目标进行识别，得到目标识别结果；
第二判定子模块，用于在所述目标识别结果符合预设的判定规则时，判定所述目标识别结果对应的指定目标为敏感目标；或在所述目标识别结果不符合预设的判定规则时，判定所述目标识别结果对应的指定目标不是敏感目标。
14.根据权利要求13所述的装置，其特征在于，所述第一判定子模块，包括：
第三特征获取单元，用于提取每帧所述指定目标视频帧中指定目标的特征，得到目标特征；
敏感特征识别单元，用于通过预设的目标分类算法或识别技术，在所述目标特征中识别敏感特征；
识别结果确定单元，用于将所述敏感特征与所述目标特征的数量关系，作为所述目标识别结果。
15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器，用于存放计算机程序，所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
16.一种视频遮蔽区域选取系统，其特征在于，所述系统包括视频采集设备和视频处理器；
所述视频采集设备，用于采集待检测视频；
所述视频处理器，用于实现权利要求1-7中任一所述的方法步骤。
CN201710957962.XA 2017-10-16 2017-10-16 视频遮蔽区域选取方法、装置、电子设备及系统 Active CN109670383B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710957962.XA CN109670383B (zh) 2017-10-16 2017-10-16 视频遮蔽区域选取方法、装置、电子设备及系统
EP18868676.0A EP3700180A1 (en) 2017-10-16 2018-09-28 Video blocking region selection method and apparatus, electronic device, and system
US16/756,094 US11321945B2 (en) 2017-10-16 2018-09-28 Video blocking region selection method and apparatus, electronic device, and system
PCT/CN2018/108222 WO2019076187A1 (zh) 2017-10-16 2018-09-28 视频遮蔽区域选取方法、装置、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710957962.XA CN109670383B (zh) 2017-10-16 2017-10-16 视频遮蔽区域选取方法、装置、电子设备及系统

Publications (2)

Publication Number Publication Date
CN109670383A true CN109670383A (zh) 2019-04-23
CN109670383B CN109670383B (zh) 2021-01-29

Family

ID=66139242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710957962.XA Active CN109670383B (zh) 2017-10-16 2017-10-16 视频遮蔽区域选取方法、装置、电子设备及系统

Country Status (4)

Country Link
US (1) US11321945B2 (zh)
EP (1) EP3700180A1 (zh)
CN (1) CN109670383B (zh)
WO (1) WO2019076187A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674678A (zh) * 2019-08-07 2020-01-10 国家计算机网络与信息安全管理中心 视频中敏感标志的识别方法及装置
CN111654700A (zh) * 2020-06-19 2020-09-11 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN111985419A (zh) * 2020-08-25 2020-11-24 腾讯科技（深圳）有限公司 视频处理方法及相关设备
CN112037127A (zh) * 2020-07-27 2020-12-04 浙江大华技术股份有限公司 视频监控的隐私遮挡方法及装置、存储介质、电子装置
WO2023123981A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 一种视频处理方法、装置、计算机设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3800615A1 (en) 2019-10-01 2021-04-07 Axis AB Method and device for image analysis
US11277557B1 (en) * 2020-04-06 2022-03-15 The Government of the United States of America, as represented by the Secretary of Homeland Security Privacy-aware capture and device
CN113343987B (zh) * 2021-06-30 2023-08-22 北京奇艺世纪科技有限公司 文本检测处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839057A (zh) * 2014-03-28 2014-06-04 中南大学 一种锑浮选工况识别方法及系统
CN104318782A (zh) * 2014-10-31 2015-01-28 浙江力石科技股份有限公司 一种面向区域重叠的高速公路视频测速方法及系统
CN105469379A (zh) * 2014-09-04 2016-04-06 广东中星电子有限公司 视频目标区域遮挡方法和装置
CN105957001A (zh) * 2016-04-18 2016-09-21 深圳感官密码科技有限公司 一种隐私保护方法及装置
CN107247956A (zh) * 2016-10-09 2017-10-13 成都快眼科技有限公司 一种基于网格判断的快速目标检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3722653B2 (ja) * 1999-08-31 2005-11-30 松下電器産業株式会社 監視カメラ装置及び監視カメラの表示方法
DE10158990C1 (de) 2001-11-30 2003-04-10 Bosch Gmbh Robert Videoüberwachungssystem
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
US20070201694A1 (en) * 2002-06-18 2007-08-30 Bolle Rudolf M Privacy management in imaging system
US20070116328A1 (en) 2005-11-23 2007-05-24 Sezai Sablak Nudity mask for use in displaying video camera images
DE102008007199A1 (de) 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
CN101610408A (zh) 2008-06-16 2009-12-23 北京智安邦科技有限公司 视频保护置乱方法和结构
CN103971082A (zh) * 2013-01-31 2014-08-06 威联通科技股份有限公司 基于区域转换的视频对象检测系统及相关方法
CN105141901A (zh) 2015-08-12 2015-12-09 青岛中星微电子有限公司 一种视频处理方法和装置
US9471852B1 (en) * 2015-11-11 2016-10-18 International Business Machines Corporation User-configurable settings for content obfuscation
CN106127106A (zh) 2016-06-13 2016-11-16 东软集团股份有限公司 视频中目标人物查找方法和装置
CN106454492A (zh) 2016-10-12 2017-02-22 武汉斗鱼网络科技有限公司 一种基于延时传送的直播色情内容审核系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839057A (zh) * 2014-03-28 2014-06-04 中南大学 一种锑浮选工况识别方法及系统
CN105469379A (zh) * 2014-09-04 2016-04-06 广东中星电子有限公司 视频目标区域遮挡方法和装置
CN104318782A (zh) * 2014-10-31 2015-01-28 浙江力石科技股份有限公司 一种面向区域重叠的高速公路视频测速方法及系统
CN105957001A (zh) * 2016-04-18 2016-09-21 深圳感官密码科技有限公司 一种隐私保护方法及装置
CN107247956A (zh) * 2016-10-09 2017-10-13 成都快眼科技有限公司 一种基于网格判断的快速目标检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674678A (zh) * 2019-08-07 2020-01-10 国家计算机网络与信息安全管理中心 视频中敏感标志的识别方法及装置
CN111654700A (zh) * 2020-06-19 2020-09-11 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN111654700B (zh) * 2020-06-19 2022-12-06 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN112037127A (zh) * 2020-07-27 2020-12-04 浙江大华技术股份有限公司 视频监控的隐私遮挡方法及装置、存储介质、电子装置
CN111985419A (zh) * 2020-08-25 2020-11-24 腾讯科技（深圳）有限公司 视频处理方法及相关设备
WO2023123981A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 一种视频处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20210056312A1 (en) 2021-02-25
EP3700180A4 (en) 2020-08-26
CN109670383B (zh) 2021-01-29
WO2019076187A1 (zh) 2019-04-25
EP3700180A1 (en) 2020-08-26
US11321945B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
CN109670383A (zh) 视频遮蔽区域选取方法、装置、电子设备及系统
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
CN107305627B (zh) 一种车辆视频监控方法、服务器及系统
CN108447091B (zh) 目标定位方法、装置、电子设备及存储介质
US9008365B2 (en) Systems and methods for pedestrian detection in images
CN109165589A (zh) 基于深度学习的车辆重识别方法和装置
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
CN108647625A (zh) 一种表情识别方法及装置
CN105930822A (zh) 一种人脸抓拍方法及系统
CN109871780B (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
CN111210399B (zh) 一种成像质量评价方法、装置及设备
US20170262723A1 (en) Method and system for detection and classification of license plates
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN111061898A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111354024B (zh) 关键目标的行为预测方法、ai服务器及存储介质
EP3282387A1 (en) Fire detection method, fire detection apparatus and electronic equipment
CN111539317A (zh) 车辆违规行驶检测方法、装置、计算机设备和存储介质
CN113935395A (zh) 对象识别神经网络的训练
CN110322472A (zh) 一种多目标跟踪方法以及终端设备
CN110866473A (zh) 目标对象的跟踪检测方法及装置、存储介质、电子装置
Parameswaran et al. Design and validation of a system for people queue statistics estimation
CN115830002A (zh) 一种红外图像质量评价方法及装置
CN111091089B (zh) 一种人脸图像处理方法、装置、电子设备及存储介质
CN110533809B (zh) 确定无感通行系统性能的方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant