CN114973548A - 一种基于图像识别的无人智慧图书馆管理系统及方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的无人智慧图书馆管理系统及方法，涉及无人图书馆管理技术领域，包括分别与服务器连接的门禁验证模块、防盗门、自助借还设备、监控防盗模块、报警模块；用户通过外部门禁验证模块进行身份验证，进入无人图书馆，进行图书的拿取或放回，并在自助借还设备上进行交互，在进行图书的借阅或归还后，用户首先通过防盗门进行一级防盗检测，之后通过内部门禁验证模块进行身份验证，结合该用户在自助借还设备借阅模式下录入的图书数目与监控视频得到的最终借阅图书数目，进行比较，实现二级防盗检测。本发明通过引入多级防盗检测过程，提高了无人图书馆管理过程中的防盗效果，提高了对图书的保护力度。

Description

一种基于图像识别的无人智慧图书馆管理系统及方法

技术领域

本发明涉及无人图书馆管理技术领域，更具体的说是涉及一种基于图像识别的无人智慧图书馆管理系统及方法。

背景技术

无人图书馆是利用图书自助借还的各种设备，建立可以允许读者自己进行图书借还操作的图书阅览室，形成可以独立开展图书借阅服务的空间，延长公共图书馆的服务时间，拓展了图书馆服务内容与方式。因此无人图书馆因其自由性、开放性、灵活性，而越来越倍受读者的青睐。

然而由于无人图书馆内没有工作人员进行监管，磁条容易被恶意损坏，导致防盗门无法对磁条损坏的图书进行监控报警，不利于维持无人图书馆内的秩序，对于图书的保护力度较差，防盗效果较低，即时使用上磁条+条形码的技术手段，也无法充分预防上述问题。

因此，如何提高无人图书馆管理过程中的防盗效果，进而提高对馆内图书的保护力度，维护无人图书馆的秩序，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于图像识别的无人智慧图书馆管理系统及方法。

为了实现上述目的，本发明提供如下技术方案：

一种基于图像识别的无人智慧图书馆管理系统，包括分别与服务器连接的门禁验证模块、防盗门、自助借还设备、监控防盗模块、报警模块；

所述门禁验证模块用于对进入图书馆的用户进行身份验证；

所述防盗门用于对出图书馆的用户进行一级防盗检测；

所述自助借还设备用于供用户对书籍进行自动借阅或归还，获取用户的图书借阅信息和图书归还信息；

所述监控防盗模块用于对图书馆的用户进行二级防盗检测，获取用户的最终借阅图书数目；

所述服务器内存储有注册用户信息、图书储藏信息、图书借阅信息、监控数据，还用于发出控制指令；

所述报警模块，用于当服务器检测到用户的最终借阅图书数目和用户图书归还信息中的数目不相符时，进行报警。

可选的，所述门禁验证模块包括身份信息采集子模块、通讯模块和门禁设备，所述身份信息采集子模块对出入图书馆的用户进行个人信息采集，包括人脸识别和/或身份证识别，并通过通讯模块将采集的个人信息传输至服务器进行信息匹配，若匹配成功，则发出门禁设备开启控制指令，若不匹配，则不发出门禁设备开启控制指令。

可选的，所述门禁验证模块包括外部门禁验证模块和内部门禁验证模块，所述外部门禁验证模块用于对进入图书馆的用户进行身份验证，内部门禁验证模块用于对出图书馆的用户进行身份验证。

可选的，所述自助借还设备包括借阅模式和归还模式，所述归还模式开启时，用于录入待归还的图书信息，所述借阅模式开启时，用于进行身份验证，身份验证成功后录入待借阅的图书信息，并进行消磁处理。

可选的，所述监控防盗模块包括设置在每个书架前的高清摄像头，服务器对高清摄像头拍摄的监控视频进行动作识别、图书识别和人脸识别，得到用户的最终借阅图书数目。

本发明还提供一种基于图像识别的无人智慧图书馆管理方法，包括以下步骤：

用户身份验证步骤，用于对进入图书馆的用户进行身份验证；

自助借还步骤，用于供用户对书籍进行自动借阅或归还；

一级防盗检测步骤，用于通过防盗门对出图书馆的用户进行一级防盗检测；

二级防盗检测步骤，用于通过动作识别方法和图像识别方法，对图书馆的用户进行二级防盗检测。

可选的，所述用户身份验证步骤中，采集出入图书馆的用户的个人信息，包括人脸信息和身份证信息，与预先存储的用户信息进行匹配，若匹配成功，则发出门禁设备开启控制指令，否则不发出门禁设备开启控制指令。

可选的，所述自助借还步骤包括借阅模式和归还模式，当处于归还模式时，录入待归还的图书信息，当处于借阅模式时，首先进行身份验证，身份验证成功后录入待借阅的图书信息，并进行消磁处理。

可选的，所述二级防盗检测步骤具体包括：

采集每个书架前用户的监控视频；

对所述监控视频进行数据处理，得到用户的最终借阅图书数目；

采集用户在自助借还设备的借阅模式下录入的图书数目；

当用户出图书馆时，采集用户个人信息，将该用户的最终借阅图书数目和该用户在自助借还设备的借阅模式下录入的图书数目进行比较，若一致，则发出门禁设备开启控制指令，否则进行报警，同时控制门禁设备不再开启，直到该用户在自助借还设备的借阅模式下录入的图书数目与最终借阅图书数目相一致。

可选的，所述对所述监控视频进行数据处理，得到用户的最终借阅图书数目，具体为：

对监控视频中出现的人脸进行识别，并将属于每个用户的视频内容进行剪裁，得到每个用户的监控视频；

使用动作识别模型对目标用户的监控视频进行动作识别，判断目标用户的拿取动作和放回动作；

获取目标用户每次拿取动作或放回动作过程中图像，使用图书识别模型进行图书检测，得到每次拿取的图书数目和放回的图书数目；

依据目标用户每次拿取的图书数目和放回的图书数目，得到目标用户的最终借阅图书数目。

本发明系统和方法的工作原理为：用户通过外部门禁验证模块进行身份验证，验证成功后门禁设备打开，用户进入无人图书馆后门禁设备自动关闭。用户在书架前进行书籍的拿取或放回操作，依据监控视频得到该用户的最终借阅图书数目。根据需求，用户可以在自助借还设备上进行交互，服务器接收该用户录入的借阅图书数目。在进行图书的借阅或归还后，用户首先通过防盗门，进行一级防盗检测，之后通过内部门禁验证模块进行身份验证，进行二级防盗检测，身份验证成功后，服务器判断该用户在自助借还设备借阅模式下录入的图书数目与监控视频得到的最终借阅图书数目是否一致，若一致，则打开门禁设备，若不一致，则进行声光报警，并控制门禁设备不再开启，直到该用户在自助借还设备的借阅模式下录入的图书数目与最终借阅图书数目相一致为止。

经由上述的技术方案可知，本发明提供了一种基于图像识别的无人智慧图书馆管理系统及方法，与现有技术相比，具有以下有益效果：

本发明首先通过防盗门进行一级防盗检测，之后通过内部门禁验证模块进行身份验证，同时结合该用户在自助借还设备借阅模式下录入的图书数目与监控视频得到的最终借阅图书数目，进行比较，实现二级防盗检测。本发明通过引入多级防盗检测过程，提高了无人图书馆管理过程中的防盗效果，进而提高了对图书的保护力度，充分维护无人图书馆的秩序。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的系统结构示意图；

图2为本发明的方法步骤示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于图像识别的无人智慧图书馆管理系统，参见图1，包括分别与服务器连接的门禁验证模块、防盗门、自助借还设备、监控防盗模块、报警模块。

在一种实施例中，优选使用基于电磁波原理的图书馆防盗门和对应的图书标签，该标签价位较低，大大的降低了对耗材的投入，且标签薄而小，隐蔽性较强，增强了图书的防盗功能，且可反复充消磁。

在具体实施例中，所述门禁验证模块包括身份信息采集子模块、通讯模块和门禁设备，所述身份信息采集子模块对出入图书馆的用户进行个人信息采集，包括人脸识别和/或身份证识别，并通过通讯模块将采集的个人信息传输至服务器进行信息匹配，若匹配成功，则发出门禁设备开启控制指令，若不匹配，则不发出门禁设备开启控制指令。

在实际应用过程中，所述门禁验证模块包括外部门禁验证模块和内部门禁验证模块，即在门禁设备外设置第一身份信息采集子模块，在门禁设备内设置第二身份信息采集子模块，所述外部门禁验证模块用于对进入图书馆的用户进行身份验证，内部门禁验证模块用于对出图书馆的用户进行身份验证。

在具体实施例中，所述自助借还设备包括借阅模式和归还模式，当用户选择归还模式时，用于录入待归还的图书信息，包括图书的名称、分类号、借阅次数等，同时将相关借阅或归还信息存入该用户个人信息中，同样包括图书的名称、分类号、借阅时间和归还时间等；当用户选择借阅模式时，用于进行身份验证，身份验证成功后录入待借阅的图书信息，并进行消磁处理。

可选的，所述监控防盗模块包括设置在每个书架前的高清摄像头，服务器对高清摄像头拍摄的监控视频进行动作识别、图书识别和人脸识别，得到用户的最终借阅图书数目。

上述图书的借阅信息、用户个人信息、监控视频信息等多种信息均存储在服务器中，并且服务器还用于处理相关数据，发出对应的控制指令。

在另一种实施例中还公开一种基于图像识别的无人智慧图书馆管理方法，参见图2，包括以下步骤：

用户身份验证步骤，用于对进入图书馆的用户进行身份验证；

自助借还步骤，用于供用户对书籍进行自动借阅或归还；

一级防盗检测步骤，用于通过防盗门对出图书馆的用户进行一级防盗检测；

二级防盗检测步骤，用于通过动作识别方法和图像识别方法，对图书馆的用户进行二级防盗检测。

在具体实施例中，所述用户身份验证步骤中，采集出入图书馆的用户的个人信息，包括人脸信息和身份证信息等，或者还可以包括其他能表明用户身份的信息，与预先存储的用户信息进行匹配，若匹配成功，则服务器发出门禁设备开启控制指令，控制门禁设备开启，当用户通过后，自动关闭门禁设备；若匹配失败，则不发出门禁设备开启控制指令。

在具体应用情况下，还可以设置语音播报模块，用于当上述步骤中身份信息匹配失败后，通过语音播报的形式对用户进行身份信息验证失败提醒。具体的可提醒用户重新进行身份验证，或者提醒用户通过扫描二维码或下载小程序的方式，进行个人信息注册，将注册完成后的用户个人身份信息存储至服务器中。

在具体实施例中，所述自助借还步骤包括借阅模式和归还模式，当处于归还模式时，录入待归还的图书信息，当处于借阅模式时，首先通过自助借还设备上的摄像头进行人脸识别，身份验证成功后录入待借阅的图书信息，并进行消磁处理。所述录入待借阅的图书信息包括图书名称、分类号、借阅数目等信息。

在具体实施例中，所述二级防盗检测步骤具体包括：

采集每个书架前用户的监控视频；

对所述监控视频进行数据处理，得到用户的最终借阅图书数目；

采集用户在自助借还设备的借阅模式下录入的图书数目；

当用户出图书馆时，内部门禁验证模块采集用户个人信息，将该用户的最终借阅图书数目和该用户在自助借还设备的借阅模式下录入的图书数目进行比较，若一致，则发出门禁设备开启控制指令，否则进行声光报警，同时控制门禁设备不再开启，直到该用户在自助借还设备的借阅模式下录入的图书数目与最终借阅图书数目相一致为止。

在具体实施例中，所述对所述监控视频进行数据处理，得到用户的最终借阅图书数目，具体为：

对监控视频中出现的人脸进行识别，并将属于每个用户的视频内容进行剪裁，得到每个用户的监控视频；

使用动作识别模型对目标用户的监控视频进行动作识别，判断目标用户的拿取动作和放回动作；

获取目标用户每次拿取动作或放回动作过程中图像，使用图书识别模型进行图书检测，得到每次拿取的图书数目和放回的图书数目；

依据目标用户每次拿取的图书数目和放回的图书数目，得到目标用户的最终借阅图书数目。

在一种实施例中，动作识别模型的训练方法为：

获取肢体动作识别数据集，所述肢体动作识别数据集中包括多种肢体动作视频或图像；

将所述肢体动作识别数据集输入至预设的多任务卷积神经网络，以利用所述多任务卷积神经网络对所述肢体动作识别数据集进行肢体检测，得到拿取动作和放回动作对应的肢体特征图像，作为训练数据集；

将所述训练数据集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为动作识别模型。

在一种实施例中，所述图书识别模型为：

获取训练数据集，所述训练数据集中包括含有不同图书数目的图片；

在训练数据集的图片中以书籍作为特征点，进行标记，并对待训练神经网络进行训练。

训练后的神经网络可输出图片中特征点的个数，即图片中图书的数目信息。

在其他实施例中还可以通过其他方法获取动作识别模型和图书识别模型，本发明对此不做限制。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于图像识别的无人智慧图书馆管理系统，其特征在于，包括分别与服务器连接的门禁验证模块、防盗门、自助借还设备、监控防盗模块、报警模块；

所述门禁验证模块用于对进入图书馆的用户进行身份验证；

所述防盗门用于对出图书馆的用户进行一级防盗检测；

所述自助借还设备用于供用户对书籍进行自动借阅或归还，获取用户的图书借阅信息和图书归还信息；

所述监控防盗模块用于对图书馆的用户进行二级防盗检测，获取用户的最终借阅图书数目；

所述服务器内存储有注册用户信息、图书储藏信息、图书借阅信息、监控数据，还用于发出控制指令；

所述报警模块，用于当服务器检测到用户的最终借阅图书数目和用户图书归还信息中的数目不相符时，进行报警。

2.根据权利要求1所述一种基于图像识别的无人智慧图书馆管理系统，其特征在于，所述门禁验证模块包括身份信息采集子模块、通讯模块和门禁设备，所述身份信息采集子模块对出入图书馆的用户进行个人信息采集，包括人脸识别和/或身份证识别，并通过通讯模块将采集的个人信息传输至服务器进行信息匹配，若匹配成功，则发出门禁设备开启控制指令，若不匹配，则不发出门禁设备开启控制指令。

3.根据权利要求1所述一种基于图像识别的无人智慧图书馆管理系统，其特征在于，所述门禁验证模块包括外部门禁验证模块和内部门禁验证模块，所述外部门禁验证模块用于对进入图书馆的用户进行身份验证，内部门禁验证模块用于对出图书馆的用户进行身份验证。

4.根据权利要求1所述一种基于图像识别的无人智慧图书馆管理系统，其特征在于，所述自助借还设备包括借阅模式和归还模式，所述归还模式开启时，用于录入待归还的图书信息，所述借阅模式开启时，用于进行身份验证，身份验证成功后录入待借阅的图书信息，并进行消磁处理。

5.根据权利要求1所述一种基于图像识别的无人智慧图书馆管理系统，其特征在于，所述监控防盗模块包括设置在每个书架前的高清摄像头，服务器对高清摄像头拍摄的监控视频进行动作识别、图书识别和人脸识别，得到用户的最终借阅图书数目。

6.一种基于图像识别的无人智慧图书馆管理方法，其特征在于，包括以下步骤：

用户身份验证步骤，用于对进入图书馆的用户进行身份验证；

自助借还步骤，用于供用户对书籍进行自动借阅或归还；

一级防盗检测步骤，用于通过防盗门对出图书馆的用户进行一级防盗检测；

二级防盗检测步骤，用于通过动作识别方法和图像识别方法，对图书馆的用户进行二级防盗检测。

7.根据权利要求6所述的一种基于图像识别的无人智慧图书馆管理方法，其特征在于，所述用户身份验证步骤中，采集出入图书馆的用户的个人信息，包括人脸信息和身份证信息，与预先存储的用户信息进行匹配，若匹配成功，则发出门禁设备开启控制指令，否则不发出门禁设备开启控制指令。

8.根据权利要求6所述的一种基于图像识别的无人智慧图书馆管理方法，其特征在于，所述自助借还步骤包括借阅模式和归还模式，当处于归还模式时，录入待归还的图书信息，当处于借阅模式时，首先进行身份验证，身份验证成功后录入待借阅的图书信息，并进行消磁处理。

9.根据权利要求6所述的一种基于图像识别的无人智慧图书馆管理方法，其特征在于，所述二级防盗检测步骤具体包括：

采集每个书架前用户的监控视频；

对所述监控视频进行数据处理，得到用户的最终借阅图书数目；

采集用户在自助借还设备的借阅模式下录入的图书数目；

当用户出图书馆时，采集用户个人信息，将该用户的最终借阅图书数目和该用户在自助借还设备的借阅模式下录入的图书数目进行比较，若一致，则发出门禁设备开启控制指令，否则进行报警，同时控制门禁设备不再开启，直到该用户在自助借还设备的借阅模式下录入的图书数目与最终借阅图书数目相一致。

10.根据权利要求9所述的一种基于图像识别的无人智慧图书馆管理方法，其特征在于，所述对所述监控视频进行数据处理，得到用户的最终借阅图书数目，具体为：

对监控视频中出现的人脸进行识别，并将属于每个用户的视频内容进行剪裁，得到每个用户的监控视频；

使用动作识别模型对目标用户的监控视频进行动作识别，判断目标用户的拿取动作和放回动作；

获取目标用户每次拿取动作或放回动作过程中图像，使用图书识别模型进行图书检测，得到每次拿取的图书数目和放回的图书数目；

依据目标用户每次拿取的图书数目和放回的图书数目，得到目标用户的最终借阅图书数目。

Images