CN102495997A - 基于视频检测与gis图像可视化的阅览室智能管理系统 - Google Patents

Abstract

本发明公开了一种基于视频检测与GIS图像可视化的阅览室智能管理系统。针对现代阅览室管理中存在的信息传递速度慢、准确性低、突发事件处理迟缓、读者不能准确把握阅览室信息等缺陷，本发明利用图像识别技术对阅览室中的监控画面进行智能识别和信息处理，通过GIS图像可视化技术将阅览室桌位利用率等硬件使用情况和阅览室安全信息提供给读者和管理者，方便管理者进行监控与管理，预定座位、查找座位等功能方便读者更好地利用资源，还可以对阅览室中的火灾、打架斗殴等突发事件进行及时有效地智能监控和报警，将有效信息传递给阅览室管理部门与公安部门。本发明对图书馆现代化、智能化建设具有重要意义，具有广阔的应用前景和良好的市场前景。

Description

基于视频检测与GIS图像可视化的阅览室智能管理系统

技术领域

本发明涉及电子信息工程、图像识别与人工智能、地理信息系统等领域，是一种将图像识别和视频检测技术以及地理信息系统图像可视化相结合进行图书馆阅览室等公共场所管理的新型管理系统与技术。

背景技术

利用摄像头进行智能视频检测与图像识别技术以其方便录入采集人与物体的特征、在识别和智能处理阶段不需被识别者的主动配合，突发事件处理快速准确等优点，具有广阔的应用前景和价值。

人脸自动识别的研究最早可以追溯到20世纪60-70年代。早期的人脸识别研究主要针对具有强约束条件的人脸图像，进入20世纪90年代以后，随着网络安全和电子商务等应用需要的增长，人脸识别成为具有潜力的生物身份鉴别方式。目前，视频图像中的目标检测，目标识别，目标跟踪技术有着很高的研究和应用的价值。对该课题的研究同时涉及了计算机视觉，模式识别和人工智能等的诸多领域。但是切实符合中国图书馆、阅览室等公共场所的人脸、人头识别算法与系统并不多见。

在目标检测方面，Paul Viola和Michael Jones在2001提出了一个基于Adaboost的目标检测算法，该算法主要有三个特点，首先是使用了积分图来快速计算特征，然后是使用了Adaboost的学习策略，最后是采用了一个级联策略来组合强分类器从而提高检测的速度。但是该算法在训练阶段需要花费较多的时间。

在静止摄像头下运动目标的检测方面，基于kalman滤波的运动模型目标跟踪算法得到了广泛的应用。该算法在外部环境发生变化(例如光照变化，阴影等)，但是该算法需要一个初始化的过程，即初始背景模型的建立，另外在目标检测过程中还需要进行背景的更新，以保持该系统对光照和阴影等的抗干扰性，因此较难实现目标。

针对上述算法的缺点，考虑到实际的应用场景和实际的需求，本发明提出了基于PCA(即主成分分析法)的技术基础上的人脸与人头自动识别检测方法。

在可视化方面，GIS可视化是科学计算可视化与地学结合而形成的概念，是关于GIS数据的视觉表达与分析。GIS的可视化对地学数学模型的研究包括地学数据内插加密，多分辨率数据表达、多维表数据显示、实时动态处理、并行技术、交互反溃技术，数据的可视化等。但在现代图书馆数据管理中的应用尚处于起步阶段。

发明内容

为了解决现代阅览室管理中存在的信息传递速度慢、准确性不高、突发事件处理不及时有效、读者不能准确把握阅览室的信息等问题，本发明提供了一种利用图像识别技术对阅览室中的监控画面进行智能识别和相关的信息处理，并通过GIS中的图像可视化技术，将阅览室硬件资源利用情况(桌位利用率等信息)和阅览室安全信息(各阅览室的安全状态、读者分布等情况)准确形象地提供给读者和管理者，方便读者充分利用图书馆阅览室硬件资源(预定桌位)，同时也方便阅览室管理者对图书馆阅览室进行有效准确的监控与管理技术。

为实现上述发明目的，本发明采取的技术方案为：

基于视频检测与GIS图像可视化的阅览室智能管理系统，该系统包括阅览室内的摄像头、数据交换机、管理中心总机和大厅服务主机，所述各部分之间分别用数据线相连；通过阅览室内的摄像头对监控图像进行采集，然后通过数据交换机将数据传输给管理中心总机进行图像识别和目标检测，再将实时服务功能数据反馈给大厅服务主机进行展示。

本发明解决图像识别和人工智能技术问题的思路是：

(1)针对从视频图像流中获取桌位利用率的信息的需求，设计从视频图像中检测桌位上是否有人的功能，从而设计目标检测的算法。

(2)本发明中使用目标检测算法，主要分为分类器的训练和目标的检测两部分。其中分类器的训练为下线的训练，检测为在线的检测，采用的特征提取算法为主成分分析。

(3)本发明的算法主要采用主成分分析(Principle component Analysis，PCA)技术进行数据信息的降维。提取目标特征用于检测，主要的步骤如下：

a)训练样本空间：假设存在一个目标图像的训练集T＝{I₁，I₂，...I_k}，其中有k个训练样本，假设训练样本的大小均为m*n，m为样本的个数、n为样本的维数，对于训练集中的每个图像样本将图像中的每列相连，构成一个d*1维的列向量，其中d＝m*n，则训练样本空间T转化为{X_i}，其中X_i为第i个训练样本构成的列向量，i＝{1，…k}，令矩阵

A的大小为d*k，则训练样本的协方差矩阵为S＝AA^T，S的大小为d*d。

b)计算S的特征值和特征向量：由于一般情况下d较大，直接计算S的特征值和特征向量较为困难，而通常由于训练样的数量k＜＜d，故可以采用奇异值分解的方法来获得S的特征值和特征向量。奇异值分解的过程，由于A^TA的大小为k*k，其特征值和特征向量较好计算，假设λ_i和v_i分别为A^TA的特征值和特征向量，i＝{1…k}，则AA^T的特征向量为

由于越大的特征值对应的为目标的主要成分，而较小的特征值对应的可能为一些噪声等的信息，故可以选取一些较大的特征值对应的特征向量。例如将特征值从大到小排列后，特征向量也对应特征值排列。根据下式选取前t个特征向量。

其中α可以选取为0.9，t＜＝k。

c)计算训练样本特征向量：得到特征向量u_i以后，可以将训练样本投影到特征空间中，得到训练样本的投影系数。令U＝[u₁，u₂，...u_t]，U的大小为d*t，ω_i为训练样本在特征空间中的投影系数，也就是训练样本经过PCA变换得到的目标图像的特征向量。

d)目标的判断：对待判别的图像Γ(待判别图像为视频图像帧上获取的子窗口中对应的图像)，采用和上述c)中一样的方法，计算待判别图像对应的特征向量ω_Γ。判别过程中计算两个特征向量之间的相似度的方法有多种，可以采用计算特征向量之间的欧氏距离的方法，也可以采用计算特征向量之间的余弦值的方法。

(4)在大厅服务主机上，通过ArcGIS网络分析算法进行建模并绘制各阅览室的座位空间分布图，制定描述座位基本数据信息化管理的数据标准，以及基于GIS座位状态设别的时空数据模型；根据制定的数据标准与数据模型，制定合适的坐标系统，基于ArcMap进行阅览室座位空间分布图的数据化，并根据Matlab对摄像头采集视频流中图像的分析结果赋相应阅览室的座位属性数据。本发明在系统展示功能时，采用了GIS图像可视化技术，依靠ArcGIS软件进行对检测结果进行展示，并在大厅主机上呈现。

本发明将视频检测技术中的图像识别和人工智能技术以及GIS中的图像可视化技术相结合，通过对图书馆等阅览室中现有的硬件资源(摄像头与计算机)进行充分利用，使阅览室的资源利用情况直观的传达给读者和管理部门，同时方便管理员对阅览室进行安全有效的管理和突发事件处理，可以广泛应用到图书馆、阅览室等公共场合的管理中，对图书馆、阅览室的现代化建设与智能化建设具有重要的意义，具有广阔的应用前景和良好的市场前景。

附图说明

图1是本发明基于视频检测与GIS图像可视化的阅览室智能管理系统框架图。1-1：阅览室内摄像头；1-2：数据交换机；1-3：管理中心总机；1-4：大厅服务主机。

图2是本发明智能管理系统的阅览室数据库框架图。

图3是本发明基于PCA算法下的图像识别程序框架图。

图4是本发明实施例基于南京师范大学敬文图书馆的几何网络模型图。

图5是本发明实施例基于南京师范大学敬文图书馆的网络连通关系表。

图6是本发明实施例中管理系统的工作模式框架图。

图7是本发明实施例中大厅主机上的图书馆阅览室管理系统操作界面。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式做进一步的说明。

本发明建立基于视频检测技术(图像识别技术)与GIS图像可视化技术的图书馆阅览室智能管理系统(图1)，将阅览室内的摄像头1-1、数据交换机1-2、管理中心总机1-3、大厅服务主机1-4分别用数据线相连，通过阅览室内的摄像头对阅览室内座位使用情况进行数据(监控图像)的采集，通过数据交换机将数据传输给管理中心总机进行图像识别和目标检测，再将实时服务功能数据反馈给大厅服务主机进行展示。实施例采用USB接口进行摄像头与数据交换机进行传输，而交换机与大堂主机和管理中心主机之间采用TCP/IP协议数据包通过以太网进行数据传输。

本实施例选取南京师范大学的敬文图书馆作为环境对象，具体实现过程如下：

1.在管理实施过程中的数据采集。

本实施例通过图书馆内安装的摄像头采集，通过USB数据线将数据传输给数据交换机，交换机将采集的图像以帧为单位传输给管理中心主机进行处理分析。通过管理中心总机中Matlab软件对摄像头采集的数据进行图像识别和目标检测，检测出各个座位上的人属性和书的属性值为0或者1(即属性值1为有人、有书；属性值0为无人、无书)。

2.管理中心主机的图像识别与分析。

本发明为了增加数据处理的数据以及减少数据存储量，先对采集的每一帧图像做灰度处理，然后进行分析。管理中心主机接受的每一帧彩色图像经过灰度处理后根据本发明中改进的PCA(主成分分析法)算法，训练集、检测器进行自动处理分析(图3)，对突发事件及时做出预警，以蜂鸣器或图像变色等形式提醒管理人员进行处理(图7)。在目标判别过程中计算两个特征向量之间的相似度的方法有多种，本实施例在实现系统时采用的是计算特征向量之间的余弦值的方法。对两个特征向量ω₁和ω₂，其相似度为cos(ω₁，ω₂)＝(ω₁·ω₂)/(|ω₁||ω₂|)。相似度数值越大，两个图像是同一个目标的可能性越大。

3.大厅主机的阅览室使用界面及座位预定。

基于几何网络模型图(图4)、网络连通关系表(图5)建立本实施例的工作模式框架图(图6)并创建图书馆大厅主机的阅览室使用界面。图书馆大厅主机的阅览室使用界面上可以展现各阅览室的仿真图，其个座位的属性值由管理中心的视屏图像分析后得出(图7)。读者进行图书馆后点击进入操作界面，对图书馆现有的阅览室使用状态进行了解，并且可根据其学号进行座位预定(图7)。若读者预定某座位后并未在规定时间内到达座位进行使用，则大厅主机自动清除此次预定。除此之外，读者还可以根据实际情况对现有的账号进行设置。运用ArcMap对图书馆各阅览室进行仿真，并呈现各阅览室使用情况，可使读者充分把握图书馆现有资源的利用状况，减少读者的盲目选择阅览室，使硬件资源最大化利用，同时对图书馆的人性化管理起到重要作用。

4.对阅览室进行管理。

图书馆管理中心的主机根据视频采集的图像，根据PCA进行读者的实时管理，如有占座位现象(根据各图书馆馆规制定标准，例如书在桌子上，而人离开座位30分钟视为占座)，主机及时将占座位置反馈给管理人员。图书馆管理中心的管理人员可以根据主机上的通过Matlab智能识别的视频监控画面，进行实时监控，方便图书馆管理部门进行日常管理，并且比人工监控更加及时准确。视频采集的原始数据和智能识别数据均进行储存，提供给学校或公安部门备用。

将本发明的阅览室管理系统与图书馆现有数据库进行互联，实现图书馆的网络智能化管理建设，方便第三方(学校管理人员)对图书馆及时使用、管理数据进行分析，更加有利于图书馆现代化、智能化的建设。

Claims (4)

1.基于视频检测与GIS图像可视化的阅览室智能管理系统，其特征在于，所述系统包括阅览室内的摄像头、数据交换机、管理中心总机和大厅服务主机，所述各部分之间分别用数据线相连；通过阅览室内的摄像头对监控图像进行采集，然后通过数据交换机将数据传输给管理中心总机进行图像识别和目标检测，再将实时服务功能数据反馈给大厅服务主机进行展示。

2.根据权利要求1所述的基于视频检测与GIS图像可视化的阅览室智能管理系统，其特征在于，在所述大厅服务主机上，通过ArcGIS网络分析算法进行建模并绘制各阅览室的座位空间分布图，制定描述座位基本数据信息化管理的数据标准，以及基于GIS座位状态设别的时空数据模型；根据制定的数据标准与数据模型，制定合适的坐标系统，基于ArcMap进行阅览室座位空间分布图的数据化，并根据Matlab对摄像头采集视频流中图像的分析结果赋相应阅览室的座位属性数据。

3.根据权利要求1所述的基于视频检测与GIS图像可视化的阅览室智能管理系统，其特征在于，所述管理中心总机先利用Matlab软件对摄像头采集的数据进行图像识别和目标检测，当检测出各个座位上有人和有书时的属性值为1，无人和无书时的属性值为0；然后对采集的每一帧图像做灰度处理，再利用主成分分析法对读者进行实时管理，并及时将信息反馈给管理人员。

4.根据权利要求3所述的基于视频检测与GIS图像可视化的阅览室智能管理系统，其特征在于，所述主成分分析法的主要步骤包含以下几方面：

(1)训练样本空间：假设存在一个目标图像的训练集T＝{I₁，I₂，...I_k}，其中有k个训练样本，假设训练样本的大小均为m*n，m为样本的个数、n为样本的维数，对于训练集中的每个图像样本将图像中的每列相连，构成一个d*1维的列向量，其中d＝m*n，则训练样本空间T转化为{X_i}，其中X_i为第i个训练样本构成的列向量，i＝{1，…k}，令矩阵

A的大小为d*k，则训练样本的协方差矩阵为S＝AA^T，S的大小为d*d；

(2)计算S的特征值和特征向量：采用奇异值分解的方法来获得S的特征值和特征向量，在奇异值分解的过程中，假设λ_i和v_i分别为A^TA的特征值和特征向量，i＝{1…k}，则AA^T的特征向量为

将特征向量从大到小排列，再根据下式选取前t个特征向量：其中α选取为0.9，t＜＝k；

(3)计算训练样本特征向量：得到特征向量u_i以后，可以将训练样本投影到特征空间中，得到训练样本的投影系数，令U＝[u₁，u₂，...u_t]，U的大小为d*t，

ω_i为训练样本在特征空间中的投影系数，也就是训练样本经过PCA变换得到的目标图像的特征向量；

(4)目标的判断：对待判别的图像Γ，采用上述(3)的方法，计算待判别图像Γ对应的特征向量ω_Γ，判别过程中计算两个特征向量之间的相似度的方法有多种，可以采用计算特征向量之间的欧氏距离的方法，也可以采用计算特征向量之间的余弦值的方法。

Images