CN111990787B - 基于人工智能的档案馆密集柜自证方法 - Google Patents

Abstract

本发明提供了一种基于人工智能的档案馆密集柜自证方法，该方法包括：关键点检测网络对密集柜图像进行处理，得到摇手柄关键点热图，根据摇手柄关键点热图筛选无摇手柄密集柜的密集柜图像，柜体检测网络对无摇手柄密集柜的密集柜图像进行处理，得到柜体包围框；将摇手柄关键点或柜体包围框的中心点投影到BIM中，得到三维投影点，根据三维投影点的坐标判断密集柜是否被打开，被打开后，对于有摇手柄的密集柜，判断工作人员是否存在越权打开行为；对于无摇手柄的密集柜，除了判断工作人员是否存在越权打开行为，还需判断密集柜是否损坏。本发明则可以在密集柜打开的同时判断相关人员是否有权限打开某些密集柜，保证密集柜内档案信息的安全。

Description

基于人工智能的档案馆密集柜自证方法

技术领域

本发明涉及人工智能领域，尤其是一种基于人工智能的档案馆密集柜自证方法。

背景技术

对于一些开放式或半开放式的密集架，相关人员不能实时的了解到是否有人打开了不在其权限范围内的密集架，会给档案馆带来巨大的损失，若全部更换为智能密集架，则需耗费大量资本和时间。

现有电动密集柜的故障检测往往是由工作人员发现并上报修理，且移动时由机械结构带来的误差往往需要重新校正，但人体难以识别出距离上的误差，即密集柜的部分故障人体难以精确识别并发现。

发明内容

为了解决上述问题，本发明提出一种基于人工智能的档案馆密集柜自证方法，该方法包括：

步骤一，利用档案馆内的摄像头采集密集柜图像，利用关键点检测网络对密集柜图像进行处理，得到摇手柄关键点热图；

步骤二，根据摇手柄关键点热图判断密集柜是否含有摇手柄，利用柜体检测网络对筛选出来的无摇手柄密集柜的密集柜图像进行处理，得到柜体包围框；

步骤三，摇手柄关键点或柜体包围框的中心点代表密集柜位置，将摇手柄关键点或柜体包围框的中心点投影到预先搭建好的档案馆BIM中，得到三维散点，对三维散点进行矫正处理，得到摇手柄关键点或柜体包围框的中心点的三维投影点，将BIM中密集柜模型的摇手柄关键点或柜体包围框的中心点分别与相应的三维投影点对齐；

步骤四，根据三维投影点的坐标判断密集柜是否发生移动，若移动，则对BIM中对应的密集柜模型进行移动操作，实现BIM中密集柜模型与实际密集柜的同步移动，并计算相邻密集柜对应三维投影点之间的距离；

步骤五，距离大于阈值时，认为两个相邻的密集柜被打开，对于有摇手柄的密集柜，结合工作人员的权限信息，判断工作人员是否存在越权打开行为；对于无摇手柄的密集柜，除了判断工作人员是否存在越权打开行为，还需结合距离信息和密集柜的内部指令信息，判断密集柜是否损坏。

步骤六，将判断结果存储到BIM中，并利用Web GIS技术对BIM进行可视化处理。

关键点检测网络包括关键点检测编码器和关键点检测解码器，其中，关键点检测编码器的输入为密集柜图像，输出为第一特征图；关键点检测解码器的输入为第一特征图，输出为摇手柄关键点热图。

根据摇手柄关键点热图判断密集柜是否含有摇手柄的具体方法为：对摇手柄关键点热图进行后处理，获取其中关键点的数量，若数量为0，则判定对应的密集柜不含有摇手柄。

柜体检测网络包括柜体检测编码器和柜体检测解码器，其中，柜体检测编码器的输入为无摇手柄密集柜的密集柜图像，输出为第二特征图，柜体检测解码器的输入为第二特征图，输出为柜体包围框对应的数据信息序列，具体地，输出为[ID，Class，x，y，w，h]，其中，ID为柜体包围框的编号，Class为对应的类别，x、y为柜体包围框中心点的坐标，w为柜体包围框的宽，h为柜体包围框的高。

矫正处理的具体步骤为：连接位于同一移动轨道上任意两个密集柜对应的三维散点，得到空间直线，检测该空间直线是否与BIM中密集柜轨道线平行，若平行，则三维散点可信，不需矫正；若不平行，则找出不可信点，对不可信点进行矫正，具体地，从该不可信点向与轨道线平行的空间直线进行投影操作。

判断密集柜是否发生移动的方法为：对于任一个密集柜，该密集柜对应的三维投影点T1时刻的坐标为(u₁,v₁)，T2时刻的坐标为(u₂,v₂)，当|u₁-u₂|为0且|v₁-v₂|为0时，该密集柜未发生移动。

权限信息的获取方法为：设置身份认证装置，包括人脸识别认证装置、射频卡识别装置。

无摇手柄的密集柜为电动密集柜，密集柜的内部指令信息为电动密集柜执行的指令。

本发明的有益效果在于：

1.对于没有密码或锁的密集柜，现有技术只能在越权打开事件发生以后才能发现该行为，甚至不能发现，本发明则可以在密集柜打开的同时判断相关人员是否有权限打开某些密集柜，保证密集柜内档案信息的安全。

2.对于电动的密集柜，本发明可以结合密集柜的移动信息和密集柜的内部指令信息判断密集柜是否发生机械故障或指令错误，且利用神经网络和BIM技术，本发明可以精确的识别出距离上的误差，辅助维修人员进行维修。

3.本发明不需在每个密集柜上添加对应的权限验证硬件，也不需更换密集架，仅需添加摄像头即可在故障检测的基础上进行越权操作的检测，节省了大量的成本，适用于旧版的密集柜。

附图说明

图1为本发明实施流程图。

图2为ROI区域示意图。

具体实施方式

为了让本领域技术人员更好的理解本发明，下面结合实施例和附图对本发明进行详细描述。

本发明的主要目的是通过档案馆内的摄像头采集密集柜的图像，使用DNN网络实现档案密集柜实时检测，当有人员操作密集柜时，识别各个柜子的位置变化，与密集柜自身信息进行验证，并判断操作是否合理，具体地，本发明提出一种基于人工智能的档案馆密集柜自证方法，其实施流程图如图1所示，使用摄像头对密集柜区域进行图像采集，并使用深度神经网络对采集到的图像进行处理，识别其中的密集柜目标，首先对密集柜上的摇动手柄进行检测，若密集柜不含有摇动手柄则需对密集柜采用包围框的形式进行目标检测。利用手柄关键点或包围框中心点来获取密集柜的分布直线和各密集柜的位置及相互间的开闭情况。针对自动移动的密集柜，当密集柜移动时，与密集柜内部的指令信息结合，从而判断出错误发生时是内部指令信息的错误还是机械硬件的错误。其次不同密集柜中的档案文件权限不同，针对手动和自动移动的档案密集柜，应结合相关人员的权限信息来检测是否存在不合规的开启操作。

实施例：

基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在各类检测管理应用方面有着广泛的应用前景。因此采用BIM和计算机视觉相结合的形式，能有效的提高监管效率。

构建档案馆的BIM(建筑信息模型)，BIM中包含相机感知信息、相应的地理位置信息以及档案馆的环境信息。

利用档案馆内的摄像头采集密集柜图像，利用关键点检测网络对密集柜图像进行处理，得到摇手柄关键点热图。

摇手柄在图像中空域特征十分明显，网络能够有效利用上下文信息回归得到该处关键点。选用该关键点进行密集柜的检测，所得结果更加可靠。

关键点检测网络包括关键点检测编码器和关键点检测解码器，其中，关键点检测编码器的输入为经过归一化处理的密集柜图像，输出为第一特征图；关键点检测解码器的输入为第一特征图，输出为单通道的摇手柄关键点热图，该网络的具体训练内容为：

1)采用室内拍摄的密集柜图像构建训练数据集，其中，数据集中应包含各种视角和位置的相机采集的密集柜图像。

2)标签为密集柜各柜体上摇手柄关键点。标注过程为：每类关键点应对应一个单通道，在该通道中，标记关键点像素位置，而后采用高斯模糊，使标记点处形成关键点热斑；标签图像共包含一个通道。考虑到实际检测过程中有时会被工作人员遮挡住手柄，故对于被遮挡住的关键点也应标记出来；其中，摇手柄关键点是指摇手柄与密集柜的连接点处。

3)所用loss函数使用均方误差损失函数。

至此，得到摇手柄关键点热图。

根据摇手柄关键点热图判断密集柜是否含有摇手柄，具体地，对摇手柄关键点热图进行后处理，获取其中关键点的数量，若数量为0，则判定对应的密集柜不含有摇手柄。

利用柜体检测网络对筛选出来的无摇手柄密集柜的密集柜图像进行处理，得到柜体包围框，具体地：

柜体检测网络基于CenterNet网络模型，包括柜体检测编码器和柜体检测解码器，其中，柜体检测编码器的输入为经过归一化处理的无摇手柄密集柜的密集柜图像，输出为第二特征图，柜体检测解码器的输入为第二特征图，输出为柜体包围框对应的数据信息序列，具体地，输出为[ID，Class，x，y，w，h]，其中，ID为柜体包围框的编号，Class为对应的类别，本发明中Class为1，代表柜体侧面中心点这一类，x、y为柜体包围框中心点的坐标，w为柜体包围框的宽，h为柜体包围框的高。该网络的具体训练内容为：

1)训练数据集与关键点检测网络训练时所用的数据集一致。

2)数据标签为x，y，w，h，其中x、y为柜体包围框中心的坐标，w为柜体包围框的宽，h为柜体包围框的高。标注时，被遮挡住部分的柜体也应标注出其包围框。标签中x、y、w、h需进行归一化处理。

3)所用loss函数使用均方误差损失函数。

至此，得到无摇手柄密集柜的包围框中心点。

需要注意的是，柜体包围框为密集柜侧面的包围框，密集柜为长方体，侧面是指由宽和高所组成密集柜的面。

根据上述步骤对起始帧密集柜图像进行摇手柄关键点或柜体包围框中心点的检测后，即可根据摇手柄关键点或柜体包围框中心点的位置获得移动直线，为了使BIM中模型与实际柜体同步运行，需要实时拍摄影像并使用DNN进行特征提取。为了减小系统后续检测的功耗，使系统能运行在低功耗设备上，本发明根据移动直线设置对应的ROI区域，缩小检测区域。

检测出合理的摇手柄关键点或柜体包围框中心点后，拟合得到对应的移动直线，而后扩宽移动直线即在移动直线左右两侧一定距离的位置得到两条与移动直线平行的虚线，如图2所示，圆点为三维投影点，经过圆点的直线为移动直线，两条虚线之间的区域即为ROI区域，对于起始帧密集柜图像之后采集到的密集柜图像，仅对密集柜图像内的ROI区域进行检测。

摇手柄关键点和柜体包围框的中心点代表密集柜位置，即对于手动型密集柜，利用摇手柄关键点表示柜体位置，对于自动型密集柜，利用侧面柜体包围框中心点表示柜体位置，结合相机参数，将摇手柄关键点和柜体包围框的中心点投影到预先搭建好的档案馆BIM中，得到三维散点，具体地步骤为：先根据投影变换公式，把图像中二维点变换成三维点，之后根据相机的位置和外参(旋转、平移)使相机的三维空间与BIM中的三维空间相联系，该过程是三维到三维，即坐标系的平移和旋转。

投影变换为众所周知内容，故本发明不予具体讨论。

为了使判断结果更准确，需对三维散点进行矫正处理，得到摇手柄关键点和柜体包围框的中心点的三维投影点。具体地检测过程为：连接位于同一移动轨道上任意两个密集柜对应的三维散点，得到对应的空间直线，检测该空间直线是否与BIM中密集柜轨道线平行，若平行则表示两个投影点的投影坐标可信，不需矫正，若不平行则表示其中存在不可信点，对不可信点进行矫正，具体地，通过三维散点两两互连可以确定不可信点的坐标，从不可信点向根据可信点确定的与轨道线平行的空间直线进行投影操作，在平行于轨道线的空间直线上得到不可信点的新的坐标位置。

将BIM中密集柜模型的摇手柄关键点或柜体包围框的中心点分别与相应的三维投影点对齐，具体地，按照相同的规则和方向，分别为BIM中代表密集柜模型的摇手柄关键点或柜体包围框的中心点、三维投影点进行编号，编号相同的相对应。

根据三维投影点的坐标判断密集柜是否发生移动，具体地判断方法为：对于ID为m的密集柜，该密集柜三维投影点T1时刻的坐标为(u₁,v₁)，T2时刻的坐标为(u₂,v₂)，当|u₁-u₂|为0且|v₁-v₂|为0时，该密集柜未发生移动。

若密集柜发生移动，则对BIM中对应的密集柜模型进行移动操作，即使用连续密集柜图像中提取的特征对BIM空间中对应的档案密集柜模型进行驱动，使其在轨道方向上发生对应移动，移动包括移动方向与移动距离。驱动策略为：使三维模型上的手柄关键点或侧面中心点与对应的投影点重合，以此得到与检测的单帧图像对应的三维柜体分布，实现BIM中密集柜模型与实际密集柜的同步移动；需要注意的是，只对发生移动的密集柜模型进行移动，对没发生移动的密集柜模型不采取操作。

密集柜发生移动后计算相邻密集柜三维投影点之间的距离，距离大于阈值时，认为两个相邻的密集柜被打开。

不同密集柜中的档案文件重要程度以及保密等级都不同，因此，对于重要文件和保密等级较高的文件，只有少数人可以查看，因此，可以为工作人员对应不同的密集柜设置不同的权限，例如，现在有10个密集柜，分别为每个密集柜标记序号，得到序号列[1，10]，工作人员甲可以查看序号为1-4的密集柜中的档案，工作人员乙可以查看序号为1-7的密集柜中的档案，工作人员丙可以查看序号为1-10的密集柜中的档案。

权限信息的获取方法为：在档案馆入口处设置身份认证装置，包括人脸识别认证装置、射频卡识别装置，通过身份认证装置获取工作人员的权限信息，得到工作人员可以打开的密集柜的序号，之后结合被打开的密集柜的编号，判断工作人员是否存在越权打开行为。

密集柜被打开后，对于有摇手柄的密集柜，结合工作人员的权限信息，判断工作人员是否存在越权打开行为。

本发明中，有摇手柄的密集柜为手动密集柜，无摇手柄的密集柜为电动密集柜，密集柜的内部指令信息为电动密集柜执行的指令，考虑到电动密集柜执行的指令与工作人员的输入指令会存在不一致的情况，因此，对于无摇手柄的密集柜，除了判断工作人员是否存在越权打开行为，还需结合距离信息和密集柜的内部指令信息，判断密集柜的移动信息是否正确，从而判断密集柜是否损坏；其中，移动信息包括发生移动的密集柜的编号信息、移动方向以及移动距离；密集柜损坏包括密集柜机械硬件发生故障或密集柜内部执行的命令出现错误。

通过上述方法判断密集柜是否损坏，相较人为判断更加自动化、智能化，若密集柜损坏可直接上报档案馆工作人员，甚至上报密集柜厂商，进行修理；且结合密集柜执行的指令，可以判断是执行的指令错误，还是执行的指令正确但是机械硬件发生故障。具体内容为：

密集柜执行的命令正确时，密集柜的移动信息符合以下规则：不打开的柜体之间没有缝隙，距离值不大于经验阈值M；打开的相邻两柜体之间存在缝隙，且需要能满足人员正常通行，故距离值应大于经验阈值N。同时本发明认为同时打开的柜体个数应不大于K，即相邻的柜体间距离同时只有K处能够大于阈值N。

得到密集柜的实际移动信息后首先与密集柜的内部指令信息进行比较，若一致，则认为移动所依靠的机械结构硬件正常且密集柜执行的命令即为工作人员输入的指令，否则认为移动所依靠的机械结构硬件存在故障。

若实际移动信息和内部指令信息一致，则进而分析实际移动距离的合理性，即相邻密集柜之间的间距大于N的地方大于K处，则认为密集柜内部的指令信息出现错误即密集柜所执行的指令与工作人员输入的指令信息不一致。

将判断结果存储到BIM中，并利用Web GIS技术对BIM进行可视化处理，当存在越权打开行为或密集柜损坏时，生成提醒信息或响起警报，使相关人员可在Web上实时得到密集柜的移动情况以及是否存在越权打开行为、密集柜是否出现故障。

以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明。

Claims (8)

1.一种基于人工智能的档案馆密集柜自证方法，其特征在于，该方法包括：

步骤一，利用档案馆内的摄像头采集密集柜图像，利用关键点检测网络对密集柜图像进行处理，得到摇手柄关键点热图；

步骤二，根据摇手柄关键点热图判断密集柜是否含有摇手柄，利用柜体检测网络对筛选出来的无摇手柄密集柜的密集柜图像进行处理，得到柜体包围框；

步骤三，摇手柄关键点或柜体包围框的中心点代表密集柜位置，将摇手柄关键点或柜体包围框的中心点投影到预先搭建好的档案馆BIM中，得到三维散点，对三维散点进行矫正处理，得到摇手柄关键点或柜体包围框的中心点的三维投影点，将BIM中密集柜模型的摇手柄关键点或柜体包围框的中心点分别与相应的三维投影点对齐；

步骤四，根据三维投影点的坐标判断密集柜是否发生移动，若移动，则对BIM中对应的密集柜模型进行移动操作，实现BIM中密集柜模型与实际密集柜的同步移动，并计算相邻密集柜对应三维投影点之间的距离；

步骤五，距离大于阈值时，认为两个相邻的密集柜被打开，对于有摇手柄的密集柜，结合工作人员的权限信息，判断工作人员是否存在越权打开行为；对于无摇手柄的密集柜，除了判断工作人员是否存在越权打开行为，还需结合距离信息和密集柜的内部指令信息，判断密集柜是否损坏；

步骤六，将判断结果存储到BIM中，并利用Web GIS技术对BIM进行可视化处理。

2.如权利要求1所述的方法，其特征在于，关键点检测网络包括关键点检测编码器和关键点检测解码器，其中，关键点检测编码器的输入为密集柜图像，输出为第一特征图；关键点检测解码器的输入为第一特征图，输出为摇手柄关键点热图。

3.如权利要求1所述的方法，其特征在于，根据摇手柄关键点热图判断密集柜是否含有摇手柄的具体方法为：对摇手柄关键点热图进行后处理，获取其中关键点的数量，若数量为0，则判定对应的密集柜不含有摇手柄。

4.如权利要求1所述的方法，其特征在于，柜体检测网络包括柜体检测编码器和柜体检测解码器，其中，柜体检测编码器的输入为无摇手柄密集柜的密集柜图像，输出为第二特征图，柜体检测解码器的输入为第二特征图，输出为柜体包围框对应的数据信息序列，具体地，输出为[ID，Class，x，y，w，h]，其中，ID为柜体包围框的编号，Class为对应的类别，x、y为柜体包围框中心点的坐标，w为柜体包围框的宽，h为柜体包围框的高。

5.如权利要求1所述的方法，其特征在于，矫正处理的具体步骤为：连接位于同一移动轨道上任意两个密集柜对应的三维散点，得到空间直线，检测该空间直线是否与BIM中密集柜轨道线平行，若平行，则三维散点可信，不需矫正；若不平行，则找出不可信点，对不可信点进行矫正，具体地，从该不可信点向与轨道线平行的空间直线进行投影操作。

6.如权利要求1所述的方法，其特征在于，判断密集柜是否发生移动的方法为：对于任一个密集柜，该密集柜对应的三维投影点T1时刻的坐标为(u₁,v₁)，T2时刻的坐标为(u₂,v₂)，当|u₁-u₂|为0且|v₁-v₂|为0时，该密集柜未发生移动。

7.如权利要求1所述的方法，其特征在于，权限信息的获取方法为：设置身份认证装置，包括人脸识别认证装置、射频卡识别装置。

8.如权利要求1所述的方法，其特征在于，无摇手柄的密集柜为电动密集柜，密集柜的内部指令信息为电动密集柜执行的指令。

Images