CN111832451A - 基于视频数据处理的适航监察流程监管系统及方法 - Google Patents
基于视频数据处理的适航监察流程监管系统及方法 Download PDFInfo
- Publication number
- CN111832451A CN111832451A CN202010617095.7A CN202010617095A CN111832451A CN 111832451 A CN111832451 A CN 111832451A CN 202010617095 A CN202010617095 A CN 202010617095A CN 111832451 A CN111832451 A CN 111832451A
- Authority
- CN
- China
- Prior art keywords
- supervisor
- face
- module
- target
- basic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000012706 support-vector machine Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 229910006119 NiIn Inorganic materials 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
本发明公开了一种基于视频数据处理的适航监察流程监管系统及方法，包括摄像装置层、监控节点层、中心节点层和数据库层，中心节点层包括中心节点服务器，中心节点层包括基础信息模块、当前人员列表模块、查询统计模块和监控画面展示模块；监控节点层包括若干个监控节点服务器，摄像装置层包括若干个摄像装置，每个监控节点服务器与摄像装置相对应，监控节点服务器内部具有人脸检测模块、特征提取模块、人脸匹配识别模块和目标追踪模块。本发明以分布于各个工作区域的多个摄像装置作为数据源，结合监察员人脸库数据对工作区域各个人脸进行人脸识别和目标追踪，实现了适航监察的严格监管，为适航监察提供了安全保障及精细化监管。
Description
技术领域
本发明涉及适航监察管理技术领域，尤其涉及一种基于视频数据处理的适航监察流程监管系统及方法。
背景技术
适航监察是初始适航管理工作的一部分，指在航空器交付使用前，适航管理部门依据适航规章、程序和标准，对民用航空器(包括其部件、系统)的设计和制造所进行的监察、鉴定、监督和管理，以确保航空器和航空器部件的设计、制造满足适航规章规定的最低安全标准。适航监察是一个极其严肃、可能涉及成千上万旅客生命安全的工作，因此对适航监察过程进行严格监管的意义非常重大。对适航监察这一重要过程进行合规性监管能够保证关键环节工作的规范执行，但现有技术主要依赖于大量人力进行监管，具有费时费力、不够客观和难以对监管结果进行量化的弊端。
近年来随着图像识别的不断发展，人脸识别、行人检测、姿态识别和视频追踪等技术越来越成熟，并逐渐应用于各类监管系统。在线视频网站，例如Youtube、优酷、抖音，以及各类在线视频直播等，均开始利用视频分析技术对内容的合法性进行实时检验；铁路系统使用视频分析技术对司机驾驶状态进行检验，避免司机出现离岗、睡觉等行为。
发明内容
针对现有技术存在的不足之处，本发明的目的在于提供一种基于视频数据处理的适航监察流程监管系统及方法，以分布于各个工作区域的多个摄像装置作为数据源，结合监察员人脸库数据对工作区域各个人脸进行人脸识别和目标追踪，根据适航监察工作特点对适航监察过程中监察员工作状态进行持续跟踪，为适航监察工作提供一套完整的适航监察监管系统及方法，保证了适航监察流程的严格监管，为适航监察提供了有效的安全保障及监察工作的精细化监管。
本发明的目的通过下述技术方案实现：
一种基于视频数据处理的适航监察流程监管系统，包括摄像装置层、监控节点层、中心节点层和数据库层，所述数据库层具有数据库，所述中心节点层包括中心节点服务器，所述中心节点服务器与数据库对应交互通信，所述中心节点层包括基础信息模块、当前人员列表模块、查询统计模块和监控画面展示模块，所述基础信息模块用于存储监察员人脸照片及个人信息，所述基础信息模块将监察员人脸照片及个人信息形成监察员基础信息传输存储于数据库中，所有监察员基础信息构成监察员基础信息库，所述当前人员列表模块用于展示处于工作区域内的监察员列表，所述查询统计模块用于实现查询操作，所述监控画面展示模块用于实时显示摄像装置层所传输过来的摄像数据；所述监控节点层包括若干个监控节点服务器，各个监控节点服务器分别与中心节点层通信连接，所述摄像装置层包括若干个摄像装置，每个监控节点服务器与摄像装置相对应，所述监控节点服务器控制摄像装置进行摄像目标追踪；所述摄像装置对所负责的工作区域进行摄像作业并将摄像数据传输至所对应监控节点服务器，所述监控节点服务器内部具有人脸检测模块、特征提取模块、人脸匹配识别模块和目标追踪模块，所述人脸检测模块对摄像装置所摄像的摄像数据进行逐帧提取并识别得到人脸区域图片，所述特征提取模块用于对人脸区域图片进行特征提取并传输至人脸匹配识别模块，所述人脸匹配识别模块将人脸区域图片的特征与监察员基础信息库中的监察员人脸特征进行匹配识别，所述目标追踪模块用于实现对监察员人脸进行持续追踪。
为了更好地实现本发明适航监察流程监管系统，所述目标追踪模块针对人脸匹配识别模块所识别出的监察员设置为目标监察员并对应设置分配KCF跟踪器上传至中心节点层或与中心节点层交互，并且实现控制所有摄像装置连同响应追踪。
本发明适航监察流程监管系统优选的技术方案如下：所述特征提取模块为HOG特征提取模块，所述人脸检测模块采用如下方法进行人脸识别检测：
首先，通过图片预处理及Adaboost检测人脸区域算法减少包括背景、光照在内的干扰因素；接着采用融合方向梯度直方图HOG特征和局部二值模式LBP特征分别对人脸的轮廓特征和纹理特征进行提取，然后通过主成分分析PCA对融合的头部姿态特征进行特征选择并抽取其主元特征分量供分类器进行训练；最后通过Bagging方法构建多个训练数据集，并对每个数据集进行支持向量机SVM训练来产生若干个弱分类器，并最终得到人脸区域图片。
本发明适航监察流程监管系统优选的技术方案如下：所述KCF跟踪器采用基于核相关滤波高速跟踪方法，其方法如下：
对于摄像数据的视频流中第i帧图像，对其进行人员检测，假设得到检测结果序列Di＝{di,j,j＝1,2,...,Ni},其中Ni表示检测结果数量；假设当前跟踪中的目标数量为Mi，目标集合为Ti＝{ti,k,k＝1,2,...,Mi}；分别检测每个检测结果di,j与目标ti,k之间的IOU系数，若IOU的值大于0.5，则判定该检测结果隶属于某个目标，否则将该检测结果视为新目标；其中IOU的计算方法如下公式：
作为优选，假设在摄像数据的视频流中的第i帧图像中检测到目标对象，其位置坐标为L(i,j)；首先，在L(i)附近采集负样本，L(i)作为正样本，训练一个基于HOG特征的目标判别器，将图像样本输入判别器，能够得到该样本的一个响应值，即该样本是目标的概率；接着，在视频图像序列i+1帧中，在L(i)附近进行采样，并将样本输入目标检测模型中，得到每个样本的检测响应值，即其是同一目标的概率值；最后，取响应值最大的样本位置为i+1帧的目标位置L(i+1)。
作为优选，所述监察员基础信息还包括角色、权限、职责信息，所述监察员基础信息还包括经过人脸检测模块、特征提取模块处理后的人脸特征信息，所述中心节点层包括至少两台相互备份的中心节点服务器，所述监察员列表还包括监察员是否在岗状态。
一种基于视频数据处理的适航监察流程监管方法，其方法包括如下：
A、建立监察员基础信息库：中心节点层录入监察员的个人信息及人脸照片并得到监察员基础信息库，监察员基础信息库存储于数据库层中数据库中，监察员基础信息库包括监察员人脸照片、个人信息、角色、权限、职责信息，
B、获取视频流：各个摄像装置对各自对应负责的工作区域进行摄像作业并将摄像数据传输至所对应监控节点服务器，监控节点服务器对摄像数据的视频流进行逐帧提取并识别得到人脸区域图片；
C、人脸身份识别：中心节点层具有监察员列表，监控节点服务器对人脸区域图片进行特征提取并与监察员基础信息库中的监察员人脸特征进行匹配识别；
C1、若对比识别为监察员基础信息库中的监察员，且该监察员未列入监察员列表，则将该监察员列入监察员列表中，同时记录该监察员进入时间；
C2、若对比识别为监察员基础信息库中的监察员，且该监察员列入监察员列表，则判定该监察员已进入工作区域并处于在岗状态反馈至中心节点层；
C3、若对比识别与监察员基础信息库中的监察员均不一致，则判定为外来人员，不予处理；
D、监察员持续追踪：中心节点层或/和监控节点层为每个在工作区域内的监察员对应确定为目标监察员，并对目标监察员对应设置分配KCF跟踪器，KCF跟踪器采用KCF目标跟踪算法控制所有摄像装置连同响应对监察员人脸进行持续追踪，并实时判断目标监察员是否在视频监控的图像中；
D1、若目标监察员在视频监控的图像中消失，则向中心节点层反馈该监察员离开工作区域的指令，并同时在监察员列表上删除该监察员，同时记录该监察员离开时间。
E、中心节点层收到各个摄像装置所传输过来的摄像数据并在摄像数据中标记监察员进行实时显示，然后将标记有监察员的摄像数据存储于数据库中。
本发明适航监察流程监管方法中的KCF跟踪器采用基于核相关滤波高速跟踪方法，其方法如下：
对于摄像数据的视频流中第i帧图像，对其进行人员检测，假设得到检测结果序列Di＝{di,j,j＝1,2,...,Ni},其中Ni表示检测结果数量；假设当前跟踪中的目标数量为Mi，目标集合为Ti＝{ti,k,k＝1,2,...,Mi}；分别检测每个检测结果di,j与目标ti,k之间的IOU系数，若IOU的值大于0.5，则判定该检测结果隶属于某个目标，否则将该检测结果视为新目标；其中IOU的计算方法如下公式：
本发明适航监察流程监管方法中的监控节点服务器对人脸区域图片进行特征提取方法如下：
首先，通过图片预处理及Adaboost检测人脸区域算法减少包括背景、光照在内的干扰因素；接着采用融合方向梯度直方图HOG特征和局部二值模式LBP特征分别对人脸的轮廓特征和纹理特征进行提取，然后通过主成分分析PCA对融合的头部姿态特征进行特征选择并抽取其主元特征分量供分类器进行训练；最后通过Bagging方法构建多个训练数据集，并对每个数据集进行支持向量机SVM训练来产生若干个弱分类器，并最终得到人脸区域图片。
本发明较现有技术相比，具有以下优点及有益效果：
(1)本发明以分布于各个工作区域的多个摄像装置作为数据源，结合监察员人脸库数据对工作区域各个人脸进行人脸识别和目标追踪，根据适航监察工作特点对适航监察过程中监察员工作状态进行持续跟踪，为适航监察工作提供一套完整的适航监察监管系统及方法，保证了适航监察流程的严格监管，为适航监察提供了有效的安全保障及监察工作的精细化监管。
(2)本发明保证了适航监察系统运行的稳定性和可靠性，系统服务器分为监控节点和中心节点两层，不同节点分工明确且相互配合、相互交互。
附图说明
图1为本发明适航监察流程监管系统的系统结构图；
图2为本发明适航监察流程监管系统的系统架构图；
图3为本发明适航监察流程监管方法的流程简图；
图4为本实施例适航监察流程监管系统中检测目标对象的原理示意图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例一
如图1～图3所示，一种基于视频数据处理的适航监察流程监管系统，包括摄像装置层、监控节点层、中心节点层和数据库层，所述数据库层具有数据库，所述中心节点层包括中心节点服务器，所述中心节点服务器与数据库对应交互通信，所述中心节点层包括基础信息模块、当前人员列表模块、查询统计模块和监控画面展示模块，所述基础信息模块用于存储监察员人脸照片及个人信息，所述基础信息模块将监察员人脸照片及个人信息形成监察员基础信息传输存储于数据库中，所有监察员基础信息构成监察员基础信息库，所述当前人员列表模块用于展示处于工作区域内的监察员列表，所述查询统计模块用于实现查询操作，所述监控画面展示模块用于实时显示摄像装置层所传输过来的摄像数据；所述监控节点层包括若干个监控节点服务器，各个监控节点服务器分别与中心节点层通信连接，所述摄像装置层包括若干个摄像装置，每个监控节点服务器与摄像装置相对应，所述监控节点服务器控制摄像装置进行摄像目标追踪；所述摄像装置对所负责的工作区域进行摄像作业并将摄像数据传输至所对应监控节点服务器，所述监控节点服务器内部具有人脸检测模块、特征提取模块、人脸匹配识别模块和目标追踪模块，所述目标追踪模块针对人脸匹配识别模块所识别出的监察员设置为目标监察员并对应设置分配KCF跟踪器上传至中心节点层或与中心节点层交互，并且实现控制所有摄像装置连同响应追踪。
所述人脸检测模块对摄像装置所摄像的摄像数据进行逐帧提取并识别得到人脸区域图片，所述特征提取模块用于对人脸区域图片进行特征提取并传输至人脸匹配识别模块，所述特征提取模块为HOG特征提取模块，所述人脸检测模块采用如下方法进行人脸识别检测：首先，通过图片预处理及Adaboost检测人脸区域算法减少包括背景、光照在内的干扰因素；接着采用融合方向梯度直方图HOG特征和局部二值模式LBP特征分别对人脸的轮廓特征和纹理特征进行提取，然后通过主成分分析PCA对融合的头部姿态特征进行特征选择并抽取其主元特征分量供分类器进行训练；最后通过Bagging方法构建多个训练数据集，并对每个数据集进行支持向量机SVM训练来产生若干个弱分类器，并最终得到人脸区域图片。
所述人脸匹配识别模块将人脸区域图片的特征与监察员基础信息库中的监察员人脸特征进行匹配识别，所述目标追踪模块用于实现对监察员人脸进行持续追踪。本发明的KCF跟踪器采用基于核相关滤波高速跟踪方法，其方法如下：
对于摄像数据的视频流中第i帧图像，对其进行人员检测，假设得到检测结果序列Di＝{di,j,j＝1,2,...,Ni},其中Ni表示检测结果数量；假设当前跟踪中的目标数量为Mi，目标集合为Ti＝{ti,k,k＝1,2,...,Mi}；分别检测每个检测结果di,j与目标ti,k之间的IOU系数，若IOU的值大于0.5，则判定该检测结果隶属于某个目标，否则将该检测结果视为新目标；其中IOU的计算方法如下公式：
如图4所示，本发明适航监察流程监管系统还可以采用如下方法来检测目标对象(即目标监察员)：假设在摄像数据的视频流中的第i帧图像中检测到目标对象，其位置坐标为L(i,j)；首先，在L(i)附近采集负样本，L(i)作为正样本，训练一个基于HOG特征的目标判别器，将图像样本输入判别器，能够得到该样本的一个响应值，即该样本是目标的概率；接着，在视频图像序列i+1帧中，在L(i)附近进行采样，并将样本输入目标检测模型中，得到每个样本的检测响应值，即其是同一目标的概率值；最后，取响应值最大的样本位置为i+1帧的目标位置L(i+1)。
本实施例的监察员基础信息还包括角色、权限、职责信息，所述监察员基础信息还包括经过人脸检测模块、特征提取模块处理后的人脸特征信息，所述中心节点层包括至少两台相互备份的中心节点服务器，所述监察员列表还包括监察员是否在岗状态。
本发明适航监察流程监管系统从上到下依次为摄像装置层、监控节点层、中心节点层和数据库层共计四层结构，摄像装置层由分布于适航监察工作区域的多个摄像装置(或摄像头)组成，每个摄像装置负责一片工作区域。监控节点层由多台服务器组成，每台监控节点服务器与一个摄像装置相连负责处理相连摄像装置的视频数据(又称摄像数据)。监控节点主要对视频数据执行人脸检测、HOG特征提取、人脸匹配识别和目标追踪等操作。中心节点层由两台互相备份的中心节点服务器组成，中心节点由基础信息模块、当前人员列表模块、查询统计模块和监控画面展示模块组成。中心节点维护监察员基本信息和系统用户、角色、权限等数据并与每个监控节点交互判断监察员的在岗状态。此外，中心节点与数据库交互将视频、监控等数据写入数据库，并根据监控需求提供各类报表查询，数据库层的数据库负责持久化储存本发明适航监察流程监管系统的所有数据。
一种基于视频数据处理的适航监察流程监管方法，其方法包括如下：
A、建立监察员基础信息库：中心节点层录入监察员的个人信息及人脸照片并得到监察员基础信息库，监察员基础信息库存储于数据库层中数据库中，监察员基础信息库包括监察员人脸照片、个人信息、角色、权限、职责信息，
B、获取视频流：各个摄像装置对各自对应负责的工作区域进行摄像作业并将摄像数据传输至所对应监控节点服务器，监控节点服务器对摄像数据的视频流进行逐帧提取并识别得到人脸区域图片；
C、人脸身份识别：中心节点层具有监察员列表，监控节点服务器对人脸区域图片进行特征提取并与监察员基础信息库中的监察员人脸特征进行匹配识别；
C1、若对比识别为监察员基础信息库中的监察员，且该监察员未列入监察员列表，则将该监察员列入监察员列表中，同时记录该监察员进入时间；
C2、若对比识别为监察员基础信息库中的监察员，且该监察员列入监察员列表，则判定该监察员已进入工作区域并处于在岗状态反馈至中心节点层；
C3、若对比识别与监察员基础信息库中的监察员均不一致，则判定为外来人员，不予处理；
D、监察员持续追踪：中心节点层或/和监控节点层为每个在工作区域内的监察员对应确定为目标监察员，并对目标监察员对应设置分配KCF跟踪器(本发明系统将人员作为目标，并给每个目标分配一个KCF跟踪器，每个KCF跟踪器的生命周期从目标出现开始，到目标无法被检测到结束。当不同KCF跟踪器对应同一个目标时，KCF跟踪器之间通过目标的身份进行关联，目标的身份则通过人脸识别确定。本发明系统使用基于核相关滤波高速跟踪方法(Kernelized Correlation Filters,KCF)对出现在视野中的目标进行跟踪，目标的初始化使用经典深度学习目标检测算法YOLO实现)，KCF跟踪器采用KCF目标跟踪算法控制所有摄像装置连同响应对监察员人脸进行持续追踪，并实时判断目标监察员是否在视频监控的图像中；所述KCF跟踪器采用基于核相关滤波高速跟踪方法，其方法如下：
对于摄像数据的视频流中第i帧图像，对其进行人员检测，假设得到检测结果序列Di＝{di,j,j＝1,2,...,Ni},其中Ni表示检测结果数量；假设当前跟踪中的目标数量为Mi，目标集合为Ti＝{ti,k,k＝1,2,...,Mi}；分别检测每个检测结果di,j与目标ti,k之间的IOU系数，若IOU的值大于0.5，则判定该检测结果隶属于某个目标，否则将该检测结果视为新目标；其中IOU的计算方法如下公式：
D1、若目标监察员在视频监控的图像中消失，则向中心节点层反馈该监察员离开工作区域的指令，并同时在监察员列表上删除该监察员，同时记录该监察员离开时间；
E、中心节点层收到各个摄像装置所传输过来的摄像数据并在摄像数据中标记监察员进行实时显示，然后将标记有监察员的摄像数据存储于数据库中。
本实施例在步骤D中确定目标监察员及追踪方法还可以采用如下方法：监控节点服务器对人脸区域图片进行特征提取方法如下：
如图4所示，由于适航现场目击试验现场情况复杂，人员脸部并不会一直对着摄像装置，因此在场检测通过人员检测跟踪算法实现，人员的身份信息通过人脸识别获取。首先，通过图片预处理及Adaboost检测人脸区域算法减少包括背景、光照在内的干扰因素；接着采用融合方向梯度直方图HOG特征和局部二值模式LBP特征分别对人脸的轮廓特征和纹理特征进行提取，然后通过主成分分析PCA对融合的头部姿态特征进行特征选择并抽取其主元特征分量供分类器进行训练；最后通过Bagging方法构建多个训练数据集，并对每个数据集进行支持向量机SVM训练来产生若干个弱分类器，并最终得到人脸区域图片。
实施例二
一种基于视频数据处理的适航监察流程监管方法，其方法包括如下：
A、建立监察员基础信息库：中心节点层的基础信息模块录入监察员的个人信息及人脸照片并得到监察员基础信息库以供其他模块调用，监察员基础信息库存储于数据库层中数据库中，监察员基础信息库包括监察员人脸照片、个人信息、角色、权限、职责信息，
B、获取视频流：各个摄像装置对各自对应负责的工作区域进行摄像作业并将摄像数据传输至所对应监控节点服务器，监控节点服务器对摄像数据的视频流进行逐帧提取并识别得到人脸区域图片；
C、人脸身份识别：中心节点层具有监察员列表，监控节点服务器对人脸区域图片进行特征提取并与监察员基础信息库中的监察员人脸特征进行匹配识别；
C1、若对比识别为监察员基础信息库中的监察员，且该监察员未列入监察员列表，则将该监察员列入监察员列表中，同时记录该监察员进入时间；
C2、若对比识别为监察员基础信息库中的监察员，且该监察员列入监察员列表，则判定该监察员已进入工作区域并处于在岗状态反馈至中心节点层；
C3、若对比识别与监察员基础信息库中的监察员均不一致，则判定为外来人员，不予处理；
步骤B对视频图像中检测每个人脸位置区域，若该区域将每个人脸位置区域看做成一幅图片，对每一幅人脸图片提取特征，并与录入的监察员照片进行比对。比对一致则向监管系统中心节点发送该监察员进入工作区域的指令，若比对不一致则为其他外来人员，不予处理。本系统使用商用标准人脸识别算法库完成人脸提取和识别的过程。
D、监察员持续追踪：中心节点层或/和监控节点层为每个在工作区域内的监察员对应确定为目标监察员，并对目标监察员对应设置分配KCF跟踪器，KCF跟踪器采用KCF目标跟踪算法控制所有摄像装置连同响应对监察员人脸进行持续追踪，并实时判断目标监察员是否在视频监控的图像中；所述KCF跟踪器采用基于核相关滤波高速跟踪方法，其方法如下：
对于摄像数据的视频流中第i帧图像，对其进行人员检测，假设得到检测结果序列Di＝{di,j,j＝1,2,...,Ni},其中Ni表示检测结果数量；假设当前跟踪中的目标数量为Mi，目标集合为Ti＝{ti,k,k＝1,2,...,Mi}；分别检测每个检测结果di,j与目标ti,k之间的IOU系数，若IOU的值大于0.5，则判定该检测结果隶属于某个目标，否则将该检测结果视为新目标；其中IOU的计算方法如下公式：
图4还展示了KCF算法实现目标跟踪的步骤为：假设在视频图像序列i帧中检测到目标对象，其位置坐标为L(i,j)，首先，在L(i)附近采集负样本，L(i)作为正样本，训练一个基于HOG特征的目标判别器，将图像样本输入判别器，能够得到该样本的一个响应值，即该样本是目标的概率；接着，在视频图像序列i+1帧中，在L(i)附近进行采样，并将样本输入目标检测模型中，得到每个样本的检测响应值，即其是同一目标的概率值；最后，取响应值最大的样本位置为i+1帧的目标位置L(i+1)。
从视频图像中识别出正在工作的监察员之后，使用KCF目标跟踪算法对监察员人脸进行持续追踪，并实时判断目标监察员是否在视频监控的图像中。若追踪模型判断出目标监察员从监控图像中消失，则向监管系统中心节点发送该监察员离开工作区域的指令。
D1、若目标监察员在视频监控的图像中消失，则向中心节点层反馈该监察员离开工作区域的指令，并同时在监察员列表上删除该监察员，同时记录该监察员离开时间；本发明适航监察流程监管系统中心节点维护当前在工作区域的监察员列表，定时执行步骤B、C，将步骤B、C中判断出来的当前视频图像中的监察员列表与中心节点维护的当前工作区域的监察员列表比对，前者列表中存在而后者列表中不存在的监察员为新进入监控范围的监察员。中心节点监察员列表中新增加此监察员并在数据库中记录该监察员的进入、离开工作区域的时间。
E、中心节点层收到各个摄像装置所传输过来的摄像数据并在摄像数据中标记监察员进行实时显示，然后将标记有监察员的摄像数据存储于数据库中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于视频数据处理的适航监察流程监管系统，其特征在于：包括摄像装置层、监控节点层、中心节点层和数据库层，所述数据库层具有数据库，所述中心节点层包括中心节点服务器，所述中心节点服务器与数据库对应交互通信，所述中心节点层包括基础信息模块、当前人员列表模块、查询统计模块和监控画面展示模块，所述基础信息模块用于存储监察员人脸照片及个人信息，所述基础信息模块将监察员人脸照片及个人信息形成监察员基础信息传输存储于数据库中，所有监察员基础信息构成监察员基础信息库，所述当前人员列表模块用于展示处于工作区域内的监察员列表，所述查询统计模块用于实现查询操作，所述监控画面展示模块用于实时显示摄像装置层所传输过来的摄像数据；所述监控节点层包括若干个监控节点服务器，各个监控节点服务器分别与中心节点层通信连接，所述摄像装置层包括若干个摄像装置，每个监控节点服务器与摄像装置相对应，所述监控节点服务器控制摄像装置进行摄像目标追踪；所述摄像装置对所负责的工作区域进行摄像作业并将摄像数据传输至所对应监控节点服务器，所述监控节点服务器内部具有人脸检测模块、特征提取模块、人脸匹配识别模块和目标追踪模块，所述人脸检测模块对摄像装置所摄像的摄像数据进行逐帧提取并识别得到人脸区域图片，所述特征提取模块用于对人脸区域图片进行特征提取并传输至人脸匹配识别模块，所述人脸匹配识别模块将人脸区域图片的特征与监察员基础信息库中的监察员人脸特征进行匹配识别，所述目标追踪模块用于实现对监察员人脸进行持续追踪。
2.按照权利要求1所述的基于视频数据处理的适航监察流程监管系统，其特征在于：所述目标追踪模块针对人脸匹配识别模块所识别出的监察员设置为目标监察员并对应设置分配KCF跟踪器上传至中心节点层或与中心节点层交互，并且实现控制所有摄像装置连同响应追踪。
3.按照权利要求1所述的基于视频数据处理的适航监察流程监管系统，其特征在于：所述特征提取模块为HOG特征提取模块，所述人脸检测模块采用如下方法进行人脸识别检测：
首先，通过图片预处理及Adaboost检测人脸区域算法减少包括背景、光照在内的干扰因素；接着采用融合方向梯度直方图HOG特征和局部二值模式LBP特征分别对人脸的轮廓特征和纹理特征进行提取，然后通过主成分分析PCA对融合的头部姿态特征进行特征选择并抽取其主元特征分量供分类器进行训练；最后通过Bagging方法构建多个训练数据集，并对每个数据集进行支持向量机SVM训练来产生若干个弱分类器，并最终得到人脸区域图片。
4.按照权利要求2所述的基于视频数据处理的适航监察流程监管系统，其特征在于：所述KCF跟踪器采用基于核相关滤波高速跟踪方法，其方法如下：
对于摄像数据的视频流中第i帧图像，对其进行人员检测，假设得到检测结果序列Di＝{di,j,j＝1,2,...,Ni},其中Ni表示检测结果数量；假设当前跟踪中的目标数量为Mi，目标集合为Ti＝{ti,k,k＝1,2,...,Mi}；分别检测每个检测结果di,j与目标ti,k之间的IOU系数，若IOU的值大于0.5，则判定该检测结果隶属于某个目标，否则将该检测结果视为新目标；其中IOU的计算方法如下公式：
5.按照权利要求2所述的基于视频数据处理的适航监察流程监管系统，其特征在于：假设在摄像数据的视频流中的第i帧图像中检测到目标对象，其位置坐标为L(i,j)；首先，在L(i)附近采集负样本，L(i)作为正样本，训练一个基于HOG特征的目标判别器，将图像样本输入判别器，能够得到该样本的一个响应值，即该样本是目标的概率；接着，在视频图像序列i+1帧中，在L(i)附近进行采样，并将样本输入目标检测模型中，得到每个样本的检测响应值，即其是同一目标的概率值；最后，取响应值最大的样本位置为i+1帧的目标位置L(i+1)。
6.按照权利要求1所述的基于视频数据处理的适航监察流程监管系统，其特征在于：所述监察员基础信息还包括角色、权限、职责信息，所述监察员基础信息还包括经过人脸检测模块、特征提取模块处理后的人脸特征信息，所述中心节点层包括至少两台相互备份的中心节点服务器，所述监察员列表还包括监察员是否在岗状态。
7.按照权利要求1所述的基于视频数据处理的适航监察流程监管方法，其特征在于，其方法包括如下：
A、建立监察员基础信息库：中心节点层录入监察员的个人信息及人脸照片并得到监察员基础信息库，监察员基础信息库存储于数据库层中数据库中，监察员基础信息库包括监察员人脸照片、个人信息、角色、权限、职责信息，
B、获取视频流：各个摄像装置对各自对应负责的工作区域进行摄像作业并将摄像数据传输至所对应监控节点服务器，监控节点服务器对摄像数据的视频流进行逐帧提取并识别得到人脸区域图片；
C、人脸身份识别：中心节点层具有监察员列表，监控节点服务器对人脸区域图片进行特征提取并与监察员基础信息库中的监察员人脸特征进行匹配识别；
C1、若对比识别为监察员基础信息库中的监察员，且该监察员未列入监察员列表，则将该监察员列入监察员列表中，同时记录该监察员进入时间；
C2、若对比识别为监察员基础信息库中的监察员，且该监察员列入监察员列表，则判定该监察员已进入工作区域并处于在岗状态反馈至中心节点层；
C3、若对比识别与监察员基础信息库中的监察员均不一致，则判定为外来人员，不予处理；
D、监察员持续追踪：中心节点层或/和监控节点层为每个在工作区域内的监察员对应确定为目标监察员，并对目标监察员对应设置分配KCF跟踪器，KCF跟踪器采用KCF目标跟踪算法控制所有摄像装置连同响应对监察员人脸进行持续追踪，并实时判断目标监察员是否在视频监控的图像中；
D1、若目标监察员在视频监控的图像中消失，则向中心节点层反馈该监察员离开工作区域的指令，并同时在监察员列表上删除该监察员，同时记录该监察员离开时间；
E、中心节点层收到各个摄像装置所传输过来的摄像数据并在摄像数据中标记监察员进行实时显示，然后将标记有监察员的摄像数据存储于数据库中。
8.按照权利要求7所述的基于视频数据处理的适航监察流程监管方法，其特征在于：所述KCF跟踪器采用基于核相关滤波高速跟踪方法，其方法如下：
对于摄像数据的视频流中第i帧图像，对其进行人员检测，假设得到检测结果序列Di＝{di,j,j＝1,2,...,Ni},其中Ni表示检测结果数量；假设当前跟踪中的目标数量为Mi，目标集合为Ti＝{ti,k,k＝1,2,...,Mi}；分别检测每个检测结果di,j与目标ti,k之间的IOU系数，若IOU的值大于0.5，则判定该检测结果隶属于某个目标，否则将该检测结果视为新目标；其中IOU的计算方法如下公式：
9.按照权利要求7所述的基于视频数据处理的适航监察流程监管方法，其特征在于：监控节点服务器对人脸区域图片进行特征提取方法如下：
首先，通过图片预处理及Adaboost检测人脸区域算法减少包括背景、光照在内的干扰因素；接着采用融合方向梯度直方图HOG特征和局部二值模式LBP特征分别对人脸的轮廓特征和纹理特征进行提取，然后通过主成分分析PCA对融合的头部姿态特征进行特征选择并抽取其主元特征分量供分类器进行训练；最后通过Bagging方法构建多个训练数据集，并对每个数据集进行支持向量机SVM训练来产生若干个弱分类器，并最终得到人脸区域图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617095.7A CN111832451A (zh) | 2020-07-01 | 2020-07-01 | 基于视频数据处理的适航监察流程监管系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617095.7A CN111832451A (zh) | 2020-07-01 | 2020-07-01 | 基于视频数据处理的适航监察流程监管系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111832451A true CN111832451A (zh) | 2020-10-27 |
Family
ID=72900962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010617095.7A Pending CN111832451A (zh) | 2020-07-01 | 2020-07-01 | 基于视频数据处理的适航监察流程监管系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832451A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633068A (zh) * | 2020-11-25 | 2021-04-09 | 河北汉光重工有限责任公司 | 基于陆防监控的人车图像识别追踪云系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913037A (zh) * | 2016-04-26 | 2016-08-31 | 广东技术师范学院 | 基于人脸识别与射频识别的监控跟踪系统 |
| CN205812222U (zh) * | 2016-06-01 | 2016-12-14 | 重庆中科云丛科技有限公司 | 一种动态人脸监控系统 |
| CN107644204A (zh) * | 2017-09-12 | 2018-01-30 | 南京凌深信息科技有限公司 | 一种用于安防系统的人体识别与跟踪方法 |
| CN109448026A (zh) * | 2018-11-16 | 2019-03-08 | 南京甄视智能科技有限公司 | 基于头肩检测的客流统计方法和系统 |
| CN109934098A (zh) * | 2019-01-24 | 2019-06-25 | 西北工业大学 | 一种带隐私保护的摄像机智能系统及其实现方法 |
| WO2020080734A1 (ko) * | 2018-10-16 | 2020-04-23 | 서울시립대학교 산학협력단 | 얼굴 인식 방법 및 얼굴 인식 장치 |
-
2020
- 2020-07-01 CN CN202010617095.7A patent/CN111832451A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913037A (zh) * | 2016-04-26 | 2016-08-31 | 广东技术师范学院 | 基于人脸识别与射频识别的监控跟踪系统 |
| CN205812222U (zh) * | 2016-06-01 | 2016-12-14 | 重庆中科云丛科技有限公司 | 一种动态人脸监控系统 |
| CN107644204A (zh) * | 2017-09-12 | 2018-01-30 | 南京凌深信息科技有限公司 | 一种用于安防系统的人体识别与跟踪方法 |
| WO2020080734A1 (ko) * | 2018-10-16 | 2020-04-23 | 서울시립대학교 산학협력단 | 얼굴 인식 방법 및 얼굴 인식 장치 |
| CN109448026A (zh) * | 2018-11-16 | 2019-03-08 | 南京甄视智能科技有限公司 | 基于头肩检测的客流统计方法和系统 |
| CN109934098A (zh) * | 2019-01-24 | 2019-06-25 | 西北工业大学 | 一种带隐私保护的摄像机智能系统及其实现方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633068A (zh) * | 2020-11-25 | 2021-04-09 | 河北汉光重工有限责任公司 | 基于陆防监控的人车图像识别追踪云系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348348B (zh) | 一种参建人员进场身份快速识别方法及预警系统 | |
| CN109819208A (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
| WO2019179024A1 (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
| CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
| CN102799935B (zh) | 一种基于视频分析技术的人流量统计方法 | |
| CN110609920A (zh) | 一种视频监控场景下的行人混合搜索方法及系统 | |
| CN108564052A (zh) | 基于mtcnn的多摄像头动态人脸识别系统与方法 | |
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| CN209543514U (zh) | 基于人脸识别的监控与报警系统 | |
| CN113362374A (zh) | 一种基于目标跟踪网络的高空抛物检测方法及系统 | |
| CN110728252A (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| CN110619276A (zh) | 基于无人机移动监控的异常及暴力检测系统和方法 | |
| CN111079694A (zh) | 一种柜面助手履职监控装置和方法 | |
| CN111353338A (zh) | 一种基于营业厅视频监控的能效改进方法 | |
| CN115035088A (zh) | 一种基于yolov5和姿态估计的安全帽佩戴检测方法 | |
| Rohit et al. | A review on abnormal crowd behavior detection | |
| CN114359976A (zh) | 一种基于人物识别的智能安防方法与装置 | |
| Moorthy et al. | CNN based smart surveillance system: a smart IoT application post covid-19 era | |
| CN111064928A (zh) | 一种具有人脸识别功能的视频监控系统 | |
| CN110826390A (zh) | 一种基于人脸矢量特征的视频数据处理方法 | |
| CN111832451A (zh) | 基于视频数据处理的适航监察流程监管系统及方法 | |
| CN111723725A (zh) | 一种基于视频ai多维分析系统 | |
| CN113743380B (zh) | 一种基于视频图像动态监测的主动跟踪方法 | |
| CN114782860A (zh) | 一种监控视频中暴力行为检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |