CN109635688A - 基于图像识别管理书架上书籍的方法与系统 - Google Patents

Abstract

本发明提出了一种基于图像识别管理书架上书籍的方法与系统，所述方法包括以下步骤：记录当前书架上的所存放书籍的图书信息，存储到服务器中；识别书架前是否有读者存在，若有读者存在则启动用于监控书架情况的摄像头；当前书架上读者存在期间，根据摄像头所采集到的图像实时识别读者手上所携带书籍的图书信息，并与服务器中记录的图书信息进行比对，判断服务器的记录中是否存在读者手上所携带书籍，从而判断书架上的书籍是否发生变化；识别到读者离开后，根据最终判断结果更新当前书架上的书籍情况。所述系统包括服务器、读者识别模块、判断模块和更新模块。本发明可及时更新书籍上的书籍情况，利于图书馆的管理员或者书店的售货员管理。

Description

基于图像识别管理书架上书籍的方法与系统

技术领域

本发明涉及图书馆或书店中书架上书籍管理领域，具体涉及一种基于图像识别管理书架上书籍的方法与系统。

背景技术

书架是一种用于摆放书籍的器具，随着科技的发展与社会的进步，书籍的种类与数目都有了显著增长，各式各样的书架也应运而生，用户可以将书籍摆放在书架上，以对书籍进行管理。

然而，在图书馆或书店中，读者从书架上拿走书籍，或者读者放入新的书籍到书架上，导致后台关于该书架的记录数据无法及时更新，从而导致书架上的某些书籍造成空缺或增加，对图书馆的管理员或者书店的售货员而言难以发现并加以管理。特别是有的读者胡乱从别处书架拿来的书籍又胡乱放置到另一书架上时，会导致难以发现并找到放错位置的书籍，对图书馆的管理员或者书店的售货员而言难以管理。

发明内容

针对现有技术的不足，本发明提出一种基于图像识别管理书架上书籍的方法与系统，可及时更新书籍上的书籍情况，利于图书馆的管理员或者书店的售货员管理。

本发明的技术方案是这样实现的：一种基于图像识别管理书架上书籍的方法，包括以下步骤：

步骤1，记录当前书架上的所存放书籍的图书信息，存储到服务器中；

步骤2，识别书架前是否有读者存在，若有读者存在则启动用于监控书架情况的摄像头；

步骤3，当前书架上读者存在期间，根据摄像头所采集到的图像实时识别读者手上所携带书籍的图书信息，并与服务器中记录的图书信息进行比对，判断服务器的记录中是否存在读者手上所携带书籍，从而判断书架上的书籍是否发生变化；

步骤4，识别到读者离开后，根据步骤3的最终判断结果更新当前书架上的书籍情况。

可选的，所述图书信息包括书名、作者、出版社、出版日期、图案中的一种或者多种。

可选的，步骤2中，识别书架前是否有读者存在的步骤包括：

步骤21，获取待检测视频；

步骤22，判断所述待检测视频中的第N-1帧图像和第N帧图像是否一致，若不一致，则将第N帧图像作为待检测帧；

步骤23，对所述待检测帧进行人脸检测，判断所述待检测帧中是否包含人脸；

步骤24，若不包含，则当前书架不存在读者；若包含，则检测第N帧图像、第N+1帧、…第N+20图像是否一致，若不一致则证明有读者，否则没有读者。

可选的，步骤3包括以下子步骤：

步骤31，当前书架读者存在期间，通过摄像头所采集的图像判断读者手上是否携带有书籍；

步骤32，若有，则实时识别读者手上所携带书籍的图书信息，并根据所识别出的图书信息判断服务器中是否记载有该书籍；

步骤33，根据读者存在期间和读者离开时摄像头所识别到的信息判断书架上的书籍是否发生变化。

可选的，步骤33中包括以下判断结果：

(1)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上不携带书籍，则判断结果为当前书架上新增了书籍，所新增的书籍为读者存在期间识别到的且没在服务器中存在记录的书籍；

(2)，若读者存在期间，识别到读者手上的书籍在服务器中均有记录；且读者离开时，识别到读者手上携带有书籍，且所携带的书籍在服务器中均有记录，则判断结果为当前书架上丢失书籍，所丢失书籍为读者手上所携带书籍；

(3)，若读者存在期间，识别到读者手上的书籍在服务器中均有记录；且读者离开时，识别到读者手上不携带书籍，则判断结果为当前书架中的书籍没有发生变化；

(4)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍，且所携带的书籍中在服务器中没有记录，则判断结果为当前书架中的书籍没有发生变化；

(5)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍；所携带的书籍中，有的在服务器中没有记录，有的在服务器中有记录，并且此时在服务器中没有记录的书籍与读者存在期间读者手上在服务器中不存在记录的书籍相同，则判断结果为当前书架上丢失书籍，所丢失书籍为读者离开时手上在服务器中存在记录的书籍；

(6)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍；所携带的书籍中，有的在服务器中没有记录，有的在服务器中有记录，并且此时在服务器中没有记录的书籍与读者存在期间读者手上在服务器中不存在记录的书籍不相同，则判断结果为当前书架上既丢失了书籍，也新增了书籍；所丢失书籍为读者离开时手上在服务器中存在记录的书籍，所新增的书籍为读者存在期间与读者离开时相比没有携带在手上的且在服务器中不存在记录的书籍。

一种基于图像识别管理书架上书籍的系统，包括服务器、读者识别模块、判断模块和更新模块，其中

服务器，用于记录当前书架上的所存放书籍的图书信息；

读者识别模块，用于识别书架前是否有读者存在；

书架判断模块，用于在当前书架上读者存在期间，根据摄像头所采集到的图像实时识别读者手上所携带书籍的图书信息，并与服务器中记录的图书信息进行比对，判断服务器的记录中是否存在读者手上所携带书籍，从而判断书架上的书籍是否发生变化；

更新模块，用于在识别到读者离开后，根据判断模块的最终判断结果更新当前书架上的书籍情况。

可选的，所述图书信息包括书名、作者、出版社、出版日期、图案中的一种或者多种。

可选的，所述识别模块包括视频获取单元、图像判断单元、人脸判断单元和结果判断单元，其中

视频获取单元，用于获取待检测视频；

图像判断单元，用于判断所述待检测视频中的第N-1帧图像和第N帧图像是否一致，若不一致，则将第N帧图像作为待检测帧；

人脸判断单元，用于对所述待检测帧进行人脸检测，判断所述待检测帧中是否包含人脸；

结果判断单元，根据图像判断单元和人脸判断单元中的判断结果判断当前书架是否存在读者，即：图像判断单元中，所述待检测视频中的第N-1帧图像和第N帧图像一致，则当前书架不存在读者；人脸判断单元中，待检测帧中若不包含人脸，则当前书架不存在读者；若包含人脸，则检测第N帧图像、第N+1帧、…第N+20图像是否一致，若不一致则证明有读者，否则没有读者。

可选的，所述书架判断模块包括第一书籍判断单元、对比单元、第二书籍判断单元和书架判断单元，其中

第一书籍判断单元，用于在当前书架读者存在期间，通过摄像头所采集的图像判断读者手上是否携带有书籍，并实时识别读者手上所携带书籍的图书信息；

对比单元，用于根据所识别出的图书信息判断服务器中是否记载有该书籍；

第二书籍判断单元，用于在当读者离开当前书架时，通过摄像头所采集的图像判断读者手上是否携带有书籍，并识别读者手上所携带书籍的图书信息。

书架判断单元，根据第一书籍判断单元、对比单元及第二书籍判断单元判断书架上的书籍是否发生变化。

与现有技术相比，本发明具有以下优点：本发明通过识别当前书架上读者存在期间读者手上所携带书籍的图书信息及当读者离开当前书架时手上所携带书籍情况判断书架上的书籍是否发生变化，并根据判断结果对服务器中关于当前书架上的书籍记录进行更新，利于管理和及时发现书籍。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施方式的基于图像识别管理书架上书籍的方法的流程图；

图2为本发明实施方式基于图像识别管理书架上书籍的系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，本发明实施方式的基于图像识别管理书架上书籍的方法，包括以下步骤：

步骤1，记录当前书架上的所存放书籍的图书信息，存储到服务器中；

步骤2，识别书架前是否有读者存在，若有读者存在则启动用于监控书架情况的摄像头；

步骤3，当前书架上读者存在期间，根据摄像头所采集到的图像实时识别读者手上所携带书籍的图书信息，并与服务器中记录的图书信息进行比对，判断服务器的记录中是否存在读者手上所携带书籍，从而判断书架上的书籍是否发生变化；

步骤4，识别到读者离开后，根据步骤3的最终判断结果更新当前书架上的书籍情况。

参阅图2，本发明实施方式的基于图像识别管理书架上书籍的系统，包括服务器、读者识别模块、判断模块和更新模块，其中

服务器，用于记录当前书架上的所存放书籍的图书信息；

读者识别模块，用于识别书架前是否有读者存在；

书架判断模块，用于在当前书架上读者存在期间，根据摄像头所采集到的图像实时识别读者手上所携带书籍的图书信息，并与服务器中记录的图书信息进行比对，判断服务器的记录中是否存在读者手上所携带书籍，从而判断书架上的书籍是否发生变化；

更新模块，用于在识别到读者离开后，根据判断模块的最终判断结果更新当前书架上的书籍情况。

在该实施方式中，基于图像识别管理书架上书籍的方法以基于图像识别管理书架上书籍的系统作为步骤的执行对象，或者以系统内各个模块作为步骤的执行对象，具体的，步骤1由服务器作为步骤的执行对象，步骤2由读者识别模块作为步骤的执行对象，步骤3由书架判断模块作为步骤的执行对象。

其中，所述图书信息包括书名、作者、出版社、出版日期、图案中的一种或者多种。本发明实施方式通过识别书籍的书名、作者、出版社、出版日期及图案对该书籍进行标识，当然，也可只通过识别书名及图案实现对该书籍的标识。

步骤2中，当有读者存在时，通过所采集的包含该读者的图像进行分析，从而判断读者有没有动过书架上的书籍，从而实现对书架上书籍的管理。

本发明实施方式通过识别当前书架上读者存在期间读者手上所携带书籍的图书信息及当读者离开当前书架时手上所携带书籍情况判断书架上的书籍是否发生变化，并根据判断结果对服务器中关于当前书架上的书籍记录进行更新，利于管理和及时发现书籍。

具体的，步骤2中，识别书架前是否有读者存在的步骤包括：

步骤21，获取待检测视频；

步骤22，判断所述待检测视频中的第N-1帧图像和第N帧图像是否一致，若不一致，则将第N帧图像作为待检测帧；

步骤23，对所述待检测帧进行人脸检测，判断所述待检测帧中是否包含人脸；

步骤24，若不包含，则当前书架不存在读者；若包含，则检测第N帧图像、第N+1帧、…第N+20图像是否一致，若不一致则证明有读者，否则没有读者。

对应的，基于图像识别管理书架上书籍的系统中识别模块包括视频获取单元、图像判断单元、人脸判断单元和结果判断单元，其中

视频获取单元，用于获取待检测视频；

图像判断单元，用于判断所述待检测视频中的第N-1帧图像和第N帧图像是否一致，若不一致，则将第N帧图像作为待检测帧；

人脸判断单元，用于对所述待检测帧进行人脸检测，判断所述待检测帧中是否包含人脸；

结果判断单元，根据图像判断单元和人脸判断单元中的判断结果判断当前书架是否存在读者，即：图像判断单元中，所述待检测视频中的第N-1帧图像和第N帧图像一致，则当前书架不存在读者；人脸判断单元中，待检测帧中若不包含人脸，则当前书架不存在读者；若包含人脸，则检测第N帧图像、第N+1帧、…第N+20图像是否一致，若不一致则证明有读者，否则没有读者。

步骤2可以由识别模块作为步骤的执行对象，也可以由模块内的组成作为步骤的执行对象。具体的，步骤21由视频获取单元作为步骤的执行对象，步骤22由图像判断单元作为步骤的执行对象，步骤23由人脸判断单元作为步骤的执行对象，步骤24由结果判断单元作为步骤的执行对象。

该实施例中，通过活体检测技术检测是否有读者站于当前书架，才与后台服务器进行数据比对，提高了工作效率。

具体的，步骤3包括以下子步骤：

步骤31，当前书架读者存在期间，通过摄像头所采集的图像判断读者手上是否携带有书籍；

步骤32，若有，则实时识别读者手上所携带书籍的图书信息，并根据所识别出的图书信息判断服务器中是否记载有该书籍；

步骤33，根据读者存在期间和读者离开时摄像头所识别到的信息判断书架上的书籍是否发生变化。

对应的，基于图像识别管理书架上书籍的系统中书架判断模块包括第一书籍判断单元、对比单元、第二书籍判断单元和书架判断单元，其中

第一书籍判断单元，用于在当前书架读者存在期间，通过摄像头所采集的图像判断读者手上是否携带有书籍，并实时识别读者手上所携带书籍的图书信息；

对比单元，用于根据所识别出的图书信息判断服务器中是否记载有该书籍；

第二书籍判断单元，用于在当读者离开当前书架时，通过摄像头所采集的图像判断读者手上是否携带有书籍，并识别读者手上所携带书籍的图书信息。

书架判断单元，根据第一书籍判断单元、对比单元及第二书籍判断单元判断书架上的书籍是否发生变化。

步骤3可以由书架判断模块作为步骤的执行对象，也可以由模块内的组成作为步骤的执行对象。

该实施方式中，通过判断读者手上是否携带有书籍，并识别此期间所携带书籍的图书信息，与服务器中的该书架上的书籍记录进行对比，从而判断当前书架前读者是否拿了书架上的书籍或者携带了不属于该书架的书籍；当读者离开当前书架时，再次识别读者是否携带了书籍，若携带并识别所携带书籍的图书信息，从而判断读者是拿了书架上的书籍还是将新书籍放入书架内亦或者是其他情况。

具体的，步骤33中包括以种判断结果：

(1)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上不携带书籍，则判断结果为当前书架上新增了书籍，所新增的书籍为读者存在期间识别到的且没在服务器中存在记录的书籍；

(2)，若读者存在期间，识别到读者手上的书籍在服务器中均有记录；且读者离开时，识别到读者手上携带有书籍，且所携带的书籍在服务器中均有记录，则判断结果为当前书架上丢失书籍，所丢失书籍为读者手上所携带书籍；

(3)，若读者存在期间，识别到读者手上的书籍在服务器中均有记录；且读者离开时，识别到读者手上不携带书籍，则判断结果为当前书架中的书籍没有发生变化；

(4)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍，且所携带的书籍中在服务器中没有记录，则判断结果为当前书架中的书籍没有发生变化；

(5)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍；所携带的书籍中，有的在服务器中没有记录，有的在服务器中有记录，并且此时在服务器中没有记录的书籍与读者存在期间读者手上在服务器中不存在记录的书籍相同，则判断结果为当前书架上丢失书籍，所丢失书籍为读者离开时手上在服务器中存在记录的书籍；

(6)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍；所携带的书籍中，有的在服务器中没有记录，有的在服务器中有记录，并且此时在服务器中没有记录的书籍与读者存在期间读者手上在服务器中不存在记录的书籍不相同，则判断结果为当前书架上既丢失了书籍，也新增了书籍；所丢失书籍为读者离开时手上在服务器中存在记录的书籍，所新增的书籍为读者存在期间与读者离开时相比没有携带在手上的且在服务器中不存在记录的书籍。

该实施方式中，读者存在期间，通过对读者手上书籍的进行识别看有没有书籍在关于该书架记录的服务器中记载有，当读者离开当前书架前，再次识别离开时该读者手上所携带书籍，通过在读者期间与读者离开时手上所携带的书籍的对比，从而判断书架上的书籍是否发生变化，并且根据对比结果更新书架的记录，且该更新是在读者离开的那一刻，及时且准确地记录了书架上的书籍情况，既利于管理员或售货员管理书架上的书籍，而且也利于为读者快速寻找所需书籍。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图像识别管理书架上书籍的方法，其特征在于，包括以下步骤：

步骤1，记录当前书架上的所存放书籍的图书信息，存储到服务器中；

步骤2，识别书架前是否有读者存在，若有读者存在则启动用于监控书架情况的摄像头；

步骤3，当前书架上读者存在期间，根据摄像头所采集到的图像实时识别读者手上所携带书籍的图书信息，并与服务器中记录的图书信息进行比对，判断服务器的记录中是否存在读者手上所携带书籍，从而判断书架上的书籍是否发生变化；

步骤4，识别到读者离开后，根据步骤3的最终判断结果更新当前书架上的书籍情况。

2.如权利要求1所述基于图像识别管理书架上书籍的方法，其特征在于，所述图书信息包括书名、作者、出版社、出版日期、图案中的一种或者多种。

3.如权利要求1所述基于图像识别管理书架上书籍的方法，其特征在于，步骤2中，识别书架前是否有读者存在的步骤包括：

步骤21，获取待检测视频；

步骤22，判断所述待检测视频中的第N-1帧图像和第N帧图像是否一致，若不一致，则将第N帧图像作为待检测帧；

步骤23，对所述待检测帧进行人脸检测，判断所述待检测帧中是否包含人脸；

步骤24，若不包含，则当前书架不存在读者；若包含，则检测第N帧图像、第N+1帧、…第N+20图像是否一致，若不一致则证明有读者，否则没有读者。

4.如权利要求1所述基于图像识别管理书架上书籍的方法，其特征在于，步骤3中，

步骤31，当前书架读者存在期间，通过摄像头所采集的图像判断读者手上是否携带有书籍；

步骤32，若有，则实时识别读者手上所携带书籍的图书信息，并根据所识别出的图书信息判断服务器中是否记载有该书籍；

步骤33，根据读者存在期间和读者离开时摄像头所识别到的信息判断书架上的书籍是否发生变化。

5.如权利要求4所述基于图像识别管理书架上书籍的方法，其特征在于，步骤33中包括以下判断结果：

(1)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上不携带书籍，则判断结果为当前书架上新增了书籍，所新增的书籍为读者存在期间识别到的且没在服务器中存在记录的书籍；

(2)，若读者存在期间，识别到读者手上的书籍在服务器中均有记录；且读者离开时，识别到读者手上携带有书籍，且所携带的书籍在服务器中均有记录，则判断结果为当前书架上丢失书籍，所丢失书籍为读者手上所携带书籍；

(3)，若读者存在期间，识别到读者手上的书籍在服务器中均有记录；且读者离开时，识别到读者手上不携带书籍，则判断结果为当前书架中的书籍没有发生变化；

(4)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍，且所携带的书籍中在服务器中没有记录，则判断结果为当前书架中的书籍没有发生变化；

(5)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍；所携带的书籍中，有的在服务器中没有记录，有的在服务器中有记录，并且此时在服务器中没有记录的书籍与读者存在期间读者手上在服务器中不存在记录的书籍相同，则判断结果为当前书架上丢失书籍，所丢失书籍为读者离开时手上在服务器中存在记录的书籍；

(6)，若读者存在期间，识别到读者手上有书籍在服务器中没记录；且读者离开时，识别到读者手上携带有书籍；所携带的书籍中，有的在服务器中没有记录，有的在服务器中有记录，并且此时在服务器中没有记录的书籍与读者存在期间读者手上在服务器中不存在记录的书籍不相同，则判断结果为当前书架上既丢失了书籍，也新增了书籍；所丢失书籍为读者离开时手上在服务器中存在记录的书籍，所新增的书籍为读者存在期间与读者离开时相比没有携带在手上的且在服务器中不存在记录的书籍。

6.一种基于图像识别管理书架上书籍的系统，其特征在于，包括服务器、读者识别模块、判断模块和更新模块，其中

服务器，用于记录当前书架上的所存放书籍的图书信息；

读者识别模块，用于识别书架前是否有读者存在；

书架判断模块，用于在当前书架上读者存在期间，根据摄像头所采集到的图像实时识别读者手上所携带书籍的图书信息，并与服务器中记录的图书信息进行比对，判断服务器的记录中是否存在读者手上所携带书籍，从而判断书架上的书籍是否发生变化；

更新模块，用于在识别到读者离开后，根据判断模块的最终判断结果更新当前书架上的书籍情况。

7.如权利要求6所述基于图像识别管理书架上书籍的系统，其特征在于，所述图书信息包括书名、作者、出版社、出版日期、图案中的一种或者多种。

8.如权利要求6所述基于图像识别管理书架上书籍的系统，其特征在于，所述识别模块包括视频获取单元、图像判断单元、人脸判断单元和结果判断单元，其中

视频获取单元，用于获取待检测视频；

图像判断单元，用于判断所述待检测视频中的第N-1帧图像和第N帧图像是否一致，若不一致，则将第N帧图像作为待检测帧；

人脸判断单元，用于对所述待检测帧进行人脸检测，判断所述待检测帧中是否包含人脸；

结果判断单元，根据图像判断单元和人脸判断单元中的判断结果判断当前书架是否存在读者，即：图像判断单元中，所述待检测视频中的第N-1帧图像和第N帧图像一致，则当前书架不存在读者；人脸判断单元中，待检测帧中若不包含人脸，则当前书架不存在读者；若包含人脸，则检测第N帧图像、第N+1帧、…第N+20图像是否一致，若不一致则证明有读者，否则没有读者。

9.如权利要求6所述基于图像识别管理书架上书籍的系统，其特征在于，所述书架判断模块包括第一书籍判断单元、对比单元、第二书籍判断单元和书架判断单元，其中

第一书籍判断单元，用于在当前书架读者存在期间，通过摄像头所采集的图像判断读者手上是否携带有书籍，并实时识别读者手上所携带书籍的图书信息；

对比单元，用于根据所识别出的图书信息判断服务器中是否记载有该书籍；

第二书籍判断单元，用于在当读者离开当前书架时，通过摄像头所采集的图像判断读者手上是否携带有书籍，并识别读者手上所携带书籍的图书信息；

书架判断单元，根据第一书籍判断单元、对比单元及第二书籍判断单元判断书架上的书籍是否发生变化。