CN108921160B - 一种图书识别方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种图书识别方法，包括以下步骤：字符描点信息生成步骤：根据书脊图像的字符的边缘特征建立描点，生成字符描点信息；结果比对步骤：将提取的书脊图像的字符描点信息与书籍查询信息库做比对，根据对比书籍书封图像与书脊图像的字符描点信息的重叠度，进行对应书籍的寻找。本发明还公开了一种电子设备及存储介质，本发明的一种图书识别方法、电子设备及存储介质，通过对书脊图像进行字符描点信息提取，再通过与书籍查询信息库存储书籍进行字符描点信息的比对，进而确定书脊图像在书籍查询信息库的对应书籍。利用图书识别，便于进行图书盘点及后续的图书整理工作，有助于实现图书自动化管理。

Description

一种图书识别方法、电子设备及存储介质

技术领域

本发明涉及一种文字、图像识别领域，尤其涉及一种图书识别方法、电子设备及存储介质。

背景技术

目前，由于图书馆藏书量较大，人工进行图书盘点时，需要投入的时间及人力成本较高。因此，许多图书馆正在逐步实现自动化管理。通过使用图书管理机器人进行图书盘点，定期对书架上的图书进行拍照，获取的图书照片数据会上传到后台服务器进行盘点比对。由于没有相应的图书识别技术，因此在对图书照片进行盘点比对时，也需要人工来完成，这样在时间上的投入也相对偏大。以此，由于目前我国大部分图书馆内的图书均是按照一定规律书脊(封面与封底的连接处)向外，整齐地摆放在书架上，书脊上有书名、出版社、作者等印刷文字的特征。而随着数字图像处理技术的发展和成熟，通过图像处理技术对书脊图像识别处理来完成对图书的盘点已经应用比较普遍。现有技术针对书脊图像中包含的书名、作者或出版社内容普遍使用OCR(光学字符识别)技术进行文字信息识别，OCR是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。利用OCR技术对图书馆藏书的书脊进行文字信息识别，得到每本书对应的书名信息，进而实现图书盘点操作。

但是，现有的图书盘点工作中，仅仅使用OCR技术。由于书脊上文字展示位置有限，存在文字太小不易识别、识出率不高的问题；再加上书脊图像拍摄的清晰度问题以及一些书脊字体选用非标准字体、使用艺术设计图形作为书名设计的情况，使得仅仅使用OCR技术直接进行书脊图像的文字识别来进行图书盘点的应用效果并不理想。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种图书识别方法，能够较好地进行图书识别，便于图书盘点。

本发明的目的之一采用如下技术方案实现：

一种图书识别方法，包括以下步骤：字符描点信息生成步骤：根据书脊图像的字符的边缘特征建立描点，生成字符描点信息；结果比对步骤：将提取的书脊图像的字符描点信息与书籍查询信息库做比对，根据对比书籍书封图像与书脊图像的字符描点信息的重叠度，进行对应书籍的寻找。

进一步地，在所述字符描点信息生成步骤之前，还包括：主色调提取步骤：获取图书的书脊图像，提取书脊图像的主色调；在所述结果比对步骤中，将提取的书脊图像的主色调及字符描点信息与书籍查询信息库做比对，若对比书籍书封图像与书脊图像的字符描点信息的重叠度大于设定值，且书脊图像的主色调包含于对比书籍书封图像的主色调中，则书脊图像与对比书籍视为同一本书。

进一步地，在所述主色调提取步骤之前，还包括：书籍查询信息库建立步骤：获取大量图书的书封图像及对应的书封信息，对每本书的书封图像进行主色调提取及字符描点信息提取，并与该本书的书封图像、书封信息对应进行存储，生成书籍查询信息库。

进一步地，所述书封图像包括封面图像和/或书脊图像。

进一步地，所述书封信息包括作者或编著者信息、书名信息以及出版社信息。

进一步地，在所述主色调提取步骤之前，还包括：OCR识别步骤：对图书书脊图像进行光学字符识别，对能够完全识别书名的书脊图像，直接确定其对应书籍；对部分识别或者无法识别书名的书脊图像，执行所述主色调提取步骤。

进一步地，在所述结构比对步骤中，对无法完成结果比对步骤，找不到对应书籍的书脊图像，结合该书脊图像在所述OCR识别步骤的字符识别结果，做进一步对应书籍的寻找。

进一步地，在所述主色调提取步骤中，采用聚类算法对书脊图像进行颜色聚类，提取书脊图像的主色调。

进一步地，在所述字符描点信息生成步骤中，定位图像中字体偏大的书名区域，利用边缘识别对书名区域的每个字的边缘特征建立描点，以生成字符描点信息。

本发明的目的之二在于提供一种电子设备，能够较好地进行图书识别，便于图书盘点。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如本发明目的之一所述的一种图书识别方法。

本发明的目的之三在于提供一种存储介质，能够较好地进行图书识别，便于图书盘点。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如本发明目的之一所述的一种图书识别方法。

相比现有技术，本发明的有益效果在于：

本发明的一种图书识别方法、电子设备及存储介质，通过对书脊图像进行字符描点信息提取，再通过与书籍查询信息库存储书籍进行字符描点信息的比对，进而确定书脊图像在书籍查询信息库的对应书籍。利用图书识别，便于进行图书盘点及后续的图书整理工作，有助于实现图书自动化管理。

附图说明

图1为发明一种图书识别方法流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一：

如图1所示的一种图书识别方法，包括以下步骤：

S1书籍查询信息库建立步骤：获取大量图书的书封图像及对应的书封信息，对每本书的书封图像进行主色调提取及字符描点信息提取，并与该本书的书封图像、书封信息对应进行存储，生成书籍查询信息库；

S2OCR识别步骤：对图书书脊图像进行光学字符识别，对能够完全识别书名的书脊图像，直接确定其对应书籍；对部分识别或者无法识别书名的书脊图像，执行下一步骤；

S3主色调提取步骤：获取图书的书脊图像，提取书脊图像的主色调；

S4字符描点信息生成步骤：根据书脊图像的字符的边缘特征建立描点，生成字符描点信息；

S5结果比对步骤：将提取的书脊图像的主色调及字符描点信息与书籍查询信息库做比对，若对比书籍与书脊图像的字符描点信息的重叠度大于设定值，且书脊图像的主色调包含于对比书籍书封图像的主色调中，则书脊图像与对比书籍视为同一本书。

首先，在执行本实施例的一种图书识别方法时，需要先执行步骤S1进行书籍查询信息库建立。通过大量获取图书的书封图像及对应的书封信息，以这些图像及对应的书封信息作为信息库的对比书籍信息。这些书籍信息的来源可以从互联网抓取大量书籍的书封图片和对应书名、出版社、作者或编著者信息进行存储；也可以根据图书馆的存书信息对应将书籍的书封图像扫描存储。需要注意的是，书封图像一般至少包括书脊图像和封面图像两者中的一种。由于大部分图书的封面、书脊、封底经过设计的美学考虑，其风格、色调、书名字体样式等设计均存在统一性，并具有色彩应用规律。因此，在互联网获取的书封图像一般只有封面图像的情况下，我们在对图书信息识别时，可以通过分析待识别书脊图像特征与信息库的封面图像特征的相似性来判断书脊与封面是否为同一本书，从而得到图书信息。而从图书馆藏书获取的书封图像，通过扫描存储一般可以得到书脊图像、书封图像、封底图像，此时优先存储书脊图像，方便后期分析待识别书脊图像特征与信息库存储的书脊图像特征是否匹配，避免了利用封面与书脊比对，封面与书脊在色调、书名字体样式上存在较大差别的情况，提高后续的图书识别的准确率。

书籍查询信息库建立主要包括书封图像主色调及字符描点信息的存储。获取的大量图书的书封图像中，需对每一个书封图像进行颜色聚类，得到各书封图像的主色调。采用聚类算法不断分析图像中相邻的像素点，将相邻的HSB值色差接近的点取平均值聚合为一个色块，最后将图片处理成若干个不同颜色的色块组合区域，即得到书封图像的3～5种主色调色块，提取各个色块的HSB值，即可得到各书封图像的主色调。同时，利用边缘识别查找出各书封图像中书名包含的每个字，根据各个字的边缘特征建立描点，得到每本书对应书名的描点信息。由于极大部分图书的书名都会采用较大字体，因此定位每一个书封图像中的较大字体的书名区域，使用边缘检测识别查找出书名包含的每一个字，根据各个字的边缘特征建立描点并存储，得到对应图书书名的描点信息分布数组。通过上述两部分数据的提取，再将大量分析得到的每本书的书封图像的主色调、对应书名的描点信息分布数组，与该书的书封图像、书名信息、作者或编著者信息和出版社信息进行存储，书籍查询信息库即建立完成。聚类算法及边缘识别均为现有较为成熟的技术，这里不做赘述。

在S2步骤中，对获取到的待识别的书脊图像，利用OCR(光学字符识别)技术对书脊图像的书名、出版社、作者信息进行文字识别。对于能够完全识别出书名的书脊图像，通过比对其他相关信息，即可直接确定对应书籍，完成图书识别。需要注意的是，OCR技术为现有较成熟技术，对标准字体的文字信息识别率较高，使用OCR技术可以先处理部分使用标准字体进行书名设计的书脊图像，对于OCR技术无法识别的使用艺术字体设计书名的部分书脊图像，需要做进一步处理。因此本实施例对只能够部分识别或者无法识别书名的书脊图像，执行下一步骤S3步骤。

对于OCR技术无法识别的使用艺术字体设计书名的部分书脊图像，先对书脊图像进行颜色聚类，提取书脊图像的主色调。采用聚类算法不断分析图像中相邻的像素点，将相邻的HSB值色差接近的点取平均值聚合为一个色块，最后将图片处理成若干个不同颜色的色块组合区域，提取各个色块的HSB值，得到书脊图像的主色调。利用边缘识别查找出书脊图像中书名区域包含的每个字的边缘特征建立描点，定位书脊图像中较大字体的书名文字区域，使用边缘检测识别出文字区域中包含的每一个字，根据各个字的边缘特征建立描点，得到书脊图像中书名包含的各个字符的字符描点信息。主色调及字符描点信息的提取方法与书籍查询信息库存储的书封图像的主色调及字符描点信息的提取方法一致。通过S3步骤及S4步骤，即可得到书脊图像的主色调及字符描点信息。需要注意的是，S3与S4为两个独立的步骤，可以分别同时执行也可以先后执行。

将提取的书脊图像主色调和书名各个字的字符描点信息，与书籍查询信息库中的信息做比对，执行步骤S5。书籍查询信息库存储有大量书封图像及其对应的主色调和字符描点信息。将比对结果按匹配度从高到低排序，查找出与书脊图像最匹配的书封图像，若对比书籍的书封图像与待识别书脊图像的字符描点信息的重叠度大于设定值，且待识别书脊图像的主色调包含于对比书籍书封图像的主色调中，则书脊图像与对比书籍视为同一本书。出于设计风格一致性的考虑，封面、书脊、封底的主色调通常会保持一致，且大部分封面使用了艺术设计字体的图书，书脊也会相应使用同样的字体设计，因此，书名的设计字体会在书封、书脊上统一使用，其图案的一致性判断可以作为书脊图像和书封图像是否为同一本书的必要判断条件；而书脊的主色调颜色值应包含在书封主色调的颜色值中，主色调颜色值比对可以作为书脊与书封匹配判断的辅助条件。将提取的待识别书脊各个主色调HSB值与书籍查询信息库中存储的各书封图像的主色调HSB值做比对，书脊图像主色调至少应为书封图像主色调中的一种。将书脊图像提取的书名各个字的字符描点信息与书籍查询信息库中存储的每本书的书名描点信息做比对，比对时，对每个字根据边缘特征建立的字符描点信息图进行自由变换，通过大小缩放、角度变换等调整后进行重叠度判断，将重叠的匹配度结果从高到低排序，取最高重叠度的结果，当重叠度大于设定值时(本实施例设置为重叠度大于90％)，且该书脊图像的主色调包含在书封的主色调中，则将对应的书脊图像、书封图像判定为同一本书。需要注意的是，本实施例采用以字符描点信息比对为主，书脊图像主色调比对为辅的图书识别方法，在实际使用中，可直接根据字符描点信息比对，根据对比书籍书封图像与书脊图像的字符描点信息的重叠度，直接进行对应书籍的寻找。而为了提高图书识别的精度，采用书脊图像主色调比对作为辅助识别方法，能够较好地提高图书识别精度，方便更精确、快速地找到书脊图像的对应书籍。

另外，考虑到待识别书脊图像找不到字符描点信息重叠度大于设定值的书封图像，或者待识别书脊图像的主色调没有包含于对比书籍书封图像的主色调中。此时为了较好地识别待识别书脊图像，提高图书识别的精度，需结合该书脊图像在S2OCR识别步骤的字符识别结果，做进一步对应书籍的寻找。由于该书脊图像在OCR识别步骤中的字符识别结果一般为未完全识别书名，才会执行后续步骤。因此，一些完成部分字符识别的结果可作为参考，结合结果比对步骤的比对结果，综合两者进行图书识别，以实现进一步的图书识别。在此过程中，对重叠度结果从高到低排序，最高重叠度的结果仍低于设定值90％的情况，设定另一个阈值，当最高重叠度的结果低于90％却高于该阈值时，此时取OCR识别步骤中书名的部分识别结果，若该结果与最高重叠度对应的书籍的书名存在部分对应的情况，则认为该书脊图像与最高重叠度对应的书封图像、对应的书籍是同一本书。

本实施例的一种图书识别方法，通过对书脊图像进行主色调提取及字符描点信息提取，再通过与书籍查询信息库存储书籍进行字符描点信息及主色调的比对，进而确定书脊图像在书籍查询信息库的对应书籍。利用图书识别，便于进行图书盘点及后续的图书整理工作，有助于实现图书自动化管理。

需要注意的是，实现主色调提取及字符描点信息提取的方法众多，本实施例利用聚类算法进行主色调提取的方法及利用边缘识别提取字符描点信息的方法仅是众多实施方法的一种，任何非实质性地变换主色调提取及字符描点信息提取的方法，均应属于本发明的保护范围。

实施例二：

实施例二公开了一种电子设备，该电子设备包括处理器、存储器以及程序，其中处理器和存储器均可采用一个或多个，程序被存储在存储器中，并且被配置成由处理器执行，处理器执行该程序时，实现实施例一的一种图书识别方法，该电子设备可以是手机、电脑、平板电脑等等一系列的电子设备。

实施例三：

实施例三公开了一种可读的计算机存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的一种图书识别方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (6)

1.一种图书识别方法，其特征在于，包括以下步骤：

书籍查询信息库建立步骤：通过互联网获取大量图书的书封图像及对应的书封信息，对每本书的书封图像进行主色调提取及字符描点信息提取，并与该本书的书封图像、书封信息对应进行存储，生成书籍查询信息库，所述书封图像为封面图像；

主色调提取步骤：获取图书的书脊图像，提取书脊图像的主色调；

字符描点信息生成步骤：根据书脊图像的字符的边缘特征建立描点，生成字符描点信息；

结果比对步骤：将提取的书脊图像的主色调及字符描点信息与书籍查询信息库做比对，若对比书籍书封图像与书脊图像的字符描点信息的重叠度大于设定值，且书脊图像的主色调包含于对比书籍书封图像的主色调中，则书脊图像与对比书籍视为同一本书；

其中，在所述字符描点信息生成步骤中，定位图像中字体偏大的书名区域，

利用边缘识别对书名区域的每个字的边缘特征建立描点，以生成字符描点信息；

在所述主色调提取步骤之前，还包括：

OCR识别步骤：对图书书脊图像进行光学字符识别，对能够完全识别书名的书脊图像，直接确定其对应书籍；对部分识别或者无法识别书名的书脊图像，执行所述主色调提取步骤。

2.如权利要求1所述的一种图书识别方法，其特征在于：所述书封信息包括作者或编著者信息、书名信息以及出版社信息。

3.如权利要求1所述的一种图书识别方法，其特征在于：在所述结果比对步骤中，对无法完成结果比对步骤，找不到对应书籍的书脊图像，结合该书脊图像在所述OCR识别步骤的字符识别结果，做进一步对应书籍的寻找。

4.如权利要求1所述的一种图书识别方法，其特征在于：在所述主色调提取步骤中，采用聚类算法对书脊图像进行颜色聚类，提取书脊图像的主色调。

5.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-4任意一项所述的一种图书识别方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-4任意一项所述的一种图书识别方法。

Images