CN102110332B - 基于计算机视觉及射频识别技术的书本登记管理装置 - Google Patents

Abstract

本发明公开了基于计算机视觉及射频识别技术的书本登记管理装置，通过单一装置、一站式、一步法的方式完成书本登记流程，为未来自动化图书管理要求建立新基础。其技术方案为：通过嵌入式信息技术、计算机视觉及图像处理技术和射频识别技术对书本本身的特征进行撷取和分析，可以快速地采集、储存、矫正、合并和分析图像并获取每一本登记书本的特征，记录于储存数据库和射频识别标签内。

Description

基于计算机视觉及射频识别技术的书本登记管理装置

技术领域

本发明涉及书本登记管理装置，尤其涉及一种使用嵌入式信息技术、计算机视觉及图像处理技术和射频识别技术(“RFID”)实现的可应用在图书馆自动化管理系统中的书本登记管理装置。

背景技术

现时全球图书馆量数以十万计，单以政府、公共及大学所属的图书馆便超过万间，因此迅捷有效的图书馆服务是现代社会所必需的。纵观世界，许多社会的公共和大学图书馆从九十年代起已经开始使用射频识别技术来取代或优化在图书馆广泛使用多年的条形码识别及磁条防盗技术，其最终目的是为了提升管理效率及准确性，提供更方便公众的服务。

现在一般图书登记管理方式及系统有几种，比较普遍的是条形码系统，在使用时，通过条形码阅读器读取书本上贴上的条形码信息，接连计算机和数据库，再按各图书馆的情况，由操作人员手动处理其它流程。条形码系统的缺点很多，包括必须逐一扫描，扫描方向及位置必须特定和无阻挡；条形码的数据容量较小，只有极小字符，而且只能包含数字和字母，所以无法存储更多和书本相关的信息；条形码的打印质素容易变差，易受外物、尘埃影响效果；在进行书本登记时，其它信息的输入，仍然需要由操作人员手工完成；在图书借还流程中，使用者亦受条形码的缺点影响操作，这些都大大降低了图书馆自动化的效率。此外，条形码一旦损坏便无法读取，给日常图书管理工作带来了很多不便和麻烦。现在逐步兴起的射频识别技术(“RFID”)图书管理系统，正逐步解决条形码管理系统的缺陷。射频识别技术的不断提升和广泛应用已达到初具规模的效果，书本自助借出及自助归还的系统和设备已经被开发出来增加图书馆的书本流通和使用量，进一步改善了提供给使用者的服务。这些系统和设备可以通过贴在书本内的射频识别标签芯片中存储的唯一识别码和其相关的数据，准确和快捷地获取该书本的信息，并进行识别。在书本登记时，操作人员会为每一书本贴上射频识别标签，利用RFID标签可储存大量数据的特点，可存储入更多与书本相关的信息，包括该书本的独有特征，如长度、阔度、高度、重量及书面图像特征等。

但要实现RFID系统需要花费大量金钱、人力及时间，同时要为原有的藏书进行重新的贴标签及条形码数据转换的工作。此外，在图书借还过程中，现时的RFID图书系统仍有缺点，例如出现使用者撕下标签，偷换至另一书本的情况，所以原来希望通过RFID图书管理系统实现自助借还的目的又受到了局限。因此，RFID标签若能够储存更多该书本自身特征的数据，以进行自我核实，即可填补这些缺点。但现时并没有一个先进的智能书本登记管理装置可以提供此功能，能快速地采集、分析及获取书本的特征，并实现实时储存于该书本的射频识别标签中。

发明内容

本发明的目的是解决上述问题，提供了一种先进的智能书本登记管理装置，可采集、分析、获取及储存书本的特征，结合RFID技术的独特优点以通过单一装置、一站式、一步法的方式完成书本登记流程，在解决既有技术和系统缺点的同时，为未来自动化图书管理要求建立新基础。

本发明的技术方案为：本发明揭示了一种基于计算机视觉及射频识别技术的书本登记管理装置，包括图像采集工作平台、图像采集装置、射频识别标签读写器及天线组、电子防盗充消磁装置、重量测量装置以及嵌入式中央处理器，其中：

该图像采集工作平台提供一操作平台，该操作平台使书脊及书口图像与第一书面的图像组出现在同一光学采集平面上且彼此相连，书脊及书口图像反射到摄像头组的图像采集范围，该摄像头组进行实时同步拍摄以获得书本在书脊、书口以及第一书面这三个方向上的图像，其中该图像采集工作平台包括放置书本的平面板，平面板具有供该摄像头组用作定标的图样、透明挡板组、反射镜面组，该透明挡板组垂直安置在该图像采集工作平台边角上，形成直角，供书本紧贴透明挡板的直角，确保书脊及书口亦可完全紧贴透明挡板，该反射镜面组倾斜安装在透明挡板的另一边，与图像采集工作平台构成一角度，以完整反射整个书脊和书口图像到安装于上方的摄像头组的图像采集范围；

图像采集装置，由该摄像头组构成，安装在该图像采集工作平台的上方，用于采集该图像采集工作平台上的书本的图像；

射频识别标签读写器，连接该天线组，用于对射频识别标签进行读写操作；

天线组，由多个射频天线元组成，射频天线元内部的调整电路用于调整射频天线元的敏感性，天线组放置于该图像采集工作平台下；

电子防盗充消磁装置，用于消除或者恢复书本防盗磁条的磁性。

重量测量装置，设置在该图像采集工作平台的平面板之下，用于测量图像采集工作平台上的书本的重量；

嵌入式中央处理器，控制及运行所有已嵌入安装的固件模块，包括图像采集模块、储存模块、计算机视觉图像处理模块、图像分析模块、射频识别标签读写模块、射频识别标签数据存储模块、监视引擎模块、管理服务模块、提示运行模块。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，该图像采集模块进一步包括：

图像手动采集子模块，是多镜头图像采集系统，可按次序或同时的采集方式来采集书本图像组；

光源控制子模块，用于为图像采集提供及控制有效均匀的光源；

图像自动采集触发子模块，连接该图像采集子模块，利用图像采集范围内的图像变化自动触发图像采集模块来实现图像采集功能。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，该储存模块连接该图像采集装置和该计算机视觉图像处理模块，包括原始图像存储数据库单元和书本登记资料存储数据库单元，其中该原始图像存储数据库单元用于储存采集到的书本的原始图像，该书本登记资料存储数据库单元用于存储分析后获取到的书本特征。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，计算机视觉图像处理模块连接该图像采集装置，将采集到的书本图像组制作成二维书本图像，并对二维书本图像进行图像分析以获取书本特征，该计算机视觉图像处理模块中设有用于制作二维书本图像的计算机图像制作子模块，该计算机图像制作子模块进一步包括：

测定单元，检测摄像头组定标图样在摄像头中的二维位置；

图像矫正单元，矫正一个或多个摄像头采集到的扭曲变形的图像；

图像合并单元，连接该图像矫正单元，通过检测多幅图像的异同合并矫正后的图像；

智能选择单元，在书本图像组中根据书本图像和图像采集工作平台的背景自动分割及消除非书本图像区域，标识书本边线，制成书脊、书口及书面；

处理后图像存储数据库单元，连接该智能选择单元，用于存储经过处理的书本图像。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，该计算机视觉图像处理模块中设有用于对二维书本图像组进行图像组分析以获取书本特征的图像分析子模块，该图像分析子模块进一步包括：

图像尺寸测算单元，用于测量书本的长、宽、高；

图像模板撷取单元，利用书本图像的特征点撷取出书本的模板，用作以后判别书本图像的特征；

图书馆条形码辨识单元，辨识图书馆条形码的位置，撷取图书馆条形码的图像；

国际标准编号条形码辨识单元，辨识国际标准编号条形码位置，撷取出国际标准编号条形码图像；

索书号条形码辨识单元，辨识索书号条形码位置，撷取出索书号条形码图像；

阈值分析及选择单元，找出及设定最优化的模型阈值、系统畸变及尺寸误差值和匹配核数；

光学字符分析单元，用于从撷取出的图书馆条形码、国际标准编号条形码和索书号条形码图像中分析出字符信息；

特征图像存储数据库单元，用于存储书本图像和书本特征，该书本图像包括书面的图像模板、书脊的图像模板、书背的图像模板、书口的图像模板，该书本特征包括书本的长、宽、高尺寸及其尺寸分类、重量及其重量分类、国际标准编号位置、图书馆条形码位置、索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编号、索书号、被读写的射频识别标签芯片的记录信息。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，射频识别标签数据存储模块，用来定义所有图像及书本特征的标签在芯片中存储的存取单位位置，该唯一的存取单位位置是供使用者读写芯片中存储的书本特征。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，该射频识别标签读写模块连接射频识别标签数据储存模块，该射频识别标签读写模块进一步包括：

读写器固件，用于执行读写书本中射频识别标签芯片的特征，基于射频识别标签数据存储模块中的存取单位位置将书本特征读取出来或者写入书本内的射频识别标签芯片中；

射频识别标签位置分析单元，采用非接触式电磁感应方式来识别射频识别标签在书本上的位置。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，装置还包括：

监视引擎模块，连接该书本登记管理装置的各个组件，对所有组件的运行状态进行监控，该监视引擎模块进一步包括：

模块运行状态汇报单元，提取装置内各组件当前的运行状态，建立故障日志，并发送故障状态的信息到指定的记录地点；

自动修复单元，根据预测到的不当运行，在不干扰系统应用程序或业务程序的情况下对出错的模块进行修复。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，装置还包括：

管理服务模块，供操作人员远程或现场管理和监控书本登记管理装置的信息，进一步包括：

升级单元，通过本地端口或远程网络为固件或软件升级；

汇报单元，向操作人员发送装置内各模块当前的运行状态；

参数设定单元，供操作人员输入装置内各模块的相关参数，设定系统设定值；

提取下载数据单元，提取下载数据，自动建立相关的数据下载连接；

图像区域设定单元，在储存模块的原始图像中选择或定义一个特定范围的图像区域，用以手动剪裁出正确的书面或书脊图片。

根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例，该装置还包括：

提示运行状态模块，根据运行状态向操作人员发出提示信号，进一步包括：

语音提示控制单元，以语音信号的方式提示操作人员登记管理的状态；

闪光提示控制单元，以光信号的方式提示操作人员登记管理的状态。

本发明对比现有技术有如下的创新性效果：本发明提供的书本登记管理装置的技术方案，通过嵌入式信息技术、计算机视觉及图像处理技术和射频识别技术对书本本身的特征进行撷取和分析，可以快速地采集、储存、矫正、合并和分析图像并获取每一本登记书本的特征，记录于储存数据库和射频识别标签内。射频识别标签可以记录书本的书面的图像模板、书脊的图像模板、书背的图像模板、书口的图像模板、该书本特征包括书本的尺寸(长、宽、厚度)或其尺寸分类、重量或其重量分类、图书馆条形码位置、国际标准编号位置、索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编号、索书号、被读写的射频识别标签芯片的记录信息，其原理和人类生物特征数据的登记类似。即使射频识别标签遭损毁或失效，日后的自动化系统仍可依据其它的书本特征，鉴别书本身份，有效提高书本自动化流通系统的效率和效果。由于书本本身的特征是无法改变的，且书本上可抓取的特征极多，这就保证了鉴别的准确性。本发明所提供的书本登记管理装置是一个独立的嵌入式装置，操作人员可以一次采集到所需的书本图像，撷取及分析图像特征，进行充消磁工作，最后把书本的特征通过射频识别标签读写器写入书本的射频识别标签中。

附图说明

图1是本发明中所用书本的一个示例的示意图。

图2是本发明的书本登记管理装置的较佳实施例的结构示意图。

图3A是反射镜面与图像采集工作平台构成某角度足以反射整个书脊图像的示意图。

图3B是第一书面及书脊图像采集的示意图。

图3C是第二书面图像采集的示意图。

图4是本发明的书本登记管理装置的各固件模块的原理图。

图5是登记/借还书本的应用示意图。

图6为本发明的原始图像处理的流程图。

图7为本发明的图像模板撷取的流程图。

图8为本发明的基于边缘侦测算法量度书本尺寸的流程图。

图9为本发明的基于边缘侦测算法和光学字符分析来撷取条形码的流程图。

图10为本发明的书本登记管理装置启动初始化的流程图。

图11为本发明的书本登记管理装置的实施流程的示意图。

图12为本发明以红线显示书本边缘示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

本发明的书本登记管理装置所用的书本的一个示例请参见图1所示，在本发明中，书本的封面称为书面，书本的装订侧称为书脊，书本打开的开口称为书口，书本的顶部称为书顶，书本的底部称为书根。书本上具有一般的图书管理资料，包括图书馆条形码、国际标准编号条形码、书脊上的索书号编码以及藏于书内的射频识别标签。图1的示例是为本发明的描述方便而举的一个例子，任何其它图书内外的图书管理资料的放置形式，本发明的书本登记管理装置都可以掌握辨认。

图2示出了本发明的书本登记装置的较佳实施例的结构。请参见图2，本实施例的书本登记装置包括图像采集装置11、图像采集工作平台12、射频识别标签读写器及天线组13、电子防盗充消磁装置14、重量测量装置15、提示运行模块16、通讯接口(包括网线接口17和RS-232接口19)、电源开关18以及嵌入式中央处理器20。

图像采集装置11包括多组摄像设备，在本实施例中示为3组，安装在图像采集工作平台12的上方，每组摄像设备包括一个或多个固定式摄像头，在摄像头内装有光学滤镜，这三组摄像设备用来分别采集书本的第一书面、书脊和书顶的图像，而使用者把书本反转便可采集第二书面、书口及书根的图像，亦即一共采集了六个不同角度的书本图像(第一书面、书脊、书顶、第二书面、书口、书根)，最后，所有图像合并起来便形成了一个立体书本的图像。摄像头的数量及像素根据不同的书本尺寸以及图像质量而定，例如书本大小等同于A4纸张，1个400万像素的摄像头图像及设定分辨率为200dpi，即1英寸上有200个光学点数；例如书本大小等同于A3纸张，便用四个400万像素的摄像头结合计算机视觉图像处理模块中的图像合并单元，将四个书本图像合并为等同于一个800万像素的摄像头所采集书本图像。而如果直接用一个800万像素的摄像头，摄像头和图像采集工作平台12的高度需要调高，这样整个装置的体积将倍增，重量亦相对增加，因此利用图像贴合技术将多个视觉图像合并为一帧图像实为一种较佳的解决方案。

在图像采集设备的顶板上设置柔光罩112，书本登记管理装置的两侧安装白光二极管照明条形模块113，提供主动侧面照明，为整个图像采集工作平台12提供均匀充足的光度，提高书本与背景的对比度，从而提高图像处理运算的准确性和效率。

图像采集工作平台12是非金属物料制造，这是因为射频天线组设置于图像采集工作平台12之下，金属干扰会影响读卡距离甚至造成无法读卡。图3A～3C示出了怎样在图像采集工作平台12上放置书本以及对放置的书本进行采样。图像采集工作平台12提供一操作平台把书脊或书口图像与第一书面的图像组出现在同一光学采集平面上，彼此形成相连，书脊及书口的图像被透明挡板124后方的倾斜反射镜面组反射到上方的摄像头组的图像采集范围，进行实时同步拍摄，以获得该书本在书脊、书口和书面这三方向上的图像。

图像采集工作平台12包括放置书本的平面板，平面板具有摄像头组定标用的图样、透明挡板组124、反射镜面组，操作人员可准确稳当地把书本放置在图像采集工作平台12以作图像采集，透明挡板组124垂直安置在图像采集工作平台12边角上，形成直角供书本紧贴透明挡板124的直角，确保书脊及书口亦可完全紧贴透明挡板124。由两个位置感应器125进行位置鉴定，这两个位置感应器125之间的距离足以让书脊上的索书号编码的图像投在倾斜反射镜面组114。左起第二个位置感应器125确保了书本紧贴放置于两组透明挡板124前。反射镜面组倾斜安装在透明挡板124另一边，与图像采集工作平台12构成某一角度足以完整准确地将整个书脊和书口图像反射到安装于上方的摄像头组的采集范围。再将书本反转，同样地，书口和书根的图像与第二书面的图像出现在同一采集平面上且彼此相连，书口和书根的图像横向反射到一个或多个摄像头的采集范围内以获得整个图像，还需要用计算机视觉技术纠正和合并镜像。

图像采集工作平台12还包括摄像头用来校准的平面图样板(如黑白棋盘图样)。黑白棋盘图样不但可以用作摄像头校准，另一目的是：有些图书没有明显特征(例如全黑或全白的书本)，若图像采集工作平台12为单一色调，不利于对这些没有明显特征并且和图像采集工作平台12色调相似的书本进行边缘检测。图像的边缘作为图像的一种基本特征，被应用于分析书本的长、宽、厚度等。由于某些图书只能提供有限的特征点，书本可以贴上不规则碎片形变量形成的碎片形图案来增加图像点向量(图像中两点连成的向量)数量。而碎片形图案可以增加书本特征点，随着书本特征点的增加，图像点向量也会随之增加。

射频识别标签读写器及天线组13包括由多个射频天线元构成的阵列式射频天线组、读写器。射频天线元的位置误差会影响天线阵元所接收到的信号的相位，射频天线元内部用一调整电路来调整射频天线元的敏感性，以及利用分解的波达方向算法对信号的相位加以调整。读写器将书本图像特征写入射频识别标签，也可以从射频识别标签中读出相关特征。

射频识别标签读写器及天线组13可选择超高频(UHF)或高频(HF)的射频识别设备，用于读取射频识别码。射频识别标签读写器及天线组13可以是两种结构，其一是由超高频或高频的射频天线元及读写器组成，其另一是由超高频或高频的阵列式射频天线组131和读写器132组成(图2所示的结构)。而阵列式射频天线组131是由多个射频天线元组成。如果由于需要感应特大图书而可能超出射频天线元的感应范围时，阵列式射频天线组131可连接到读写器132，增加感应范围。或者先通过阵列式射频天线组131和读写器132找出书本在书本登记管理装置的图像采集工作平台12上的射频识别标签的位置。射频识别标签的位置是书本特征之一，可存储于书本登记资料存储数据库单元。

电子防盗充消磁装置14包括电子防盗充消磁器141以及磁条验证检查仪142对书本上的电子防盗标签进行充消磁及检验书本是否已完成消磁，这样图书操作人员可以在读者借还书时顺便进行书本登记，做到一站式的登记借还书手续。

重量测量装置包括传感器151及弹簧152，用来测量书本重量，把测量结果存储在书本登记资料存储数据库单元。其中传感器151设置在整个图像采集装置11之下，以避免传感器151遮挡书背图像。每次开动书本登记管理装置，传感器151就会重置为零，因而重量测量装置15只计算处理中的书本重量。

提示运行状态装置根据运行状态向图书操作人员发出提示书本登记是否成功的信号，包括数码液晶显示屏161、电源指示灯162、语音提示蜂鸣器163、闪光指示灯164。

图4示出了本发明的书本登记管理装置的各模块的原理，下面的内容需结合图4来说明。嵌入式中央处理器20是书本登记装置的核心，控制及运行所有已嵌入安装的固件模块，包括图像采集模块、储存模块、计算机视觉图像处理模块、射频识别标签读写模块、射频识别卷标资料存储模块、模块监视引擎、管理服务模块、提示运行模块。

这一段简单介绍本装置的操作过程。请参见图5，操作人员只要把书放在书本登记管理装置中的图像采集工作平台12上，不需要调整装置位置和拍摄角度，按下书本登记管理软件上的拍摄按钮可以根据需要方便地采集到所需书本图像，软件上亦提供其它按钮可进行充消磁工作以及把书本特征通过读写器写入射频识别标签中。本装置可利用背景转变差值的计算结果，触发摄像头自动拍摄图像以及利用倾斜反射镜面组采集到三方向的书本图像。电子防盗充消磁装置对书本中的磁条进行充消磁工作，同时磁条验证检查仪对磁条进行磁力验证测试。当书本离开图像采集工作平台12时，所有装置便停止运作。本发明的装置不但适用于书本登记管理，还可配合其它自动化借还书装置，这样可以增加书本管理效率。无论是图5所示的登记全新书本手续/借还书本的手续，都能获取并记录下来的信息包括：书面的图像模板、书脊的图像模板、书背的图像模板、书口的图像模板，该书本特征包括书本的尺寸或其尺寸分类、重量或其重量分类、图书馆条形码位置、国际标准编号位置、索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编号、索书号、被读写的射频识别标签芯片的记录信息。

请同时参见图6，对于图像采集模块来说，它包括图像手动采集子模块、光源控制子模块和图像自动采集触发子模块。图像手动采集子模块基于DirectShow的多镜头图像采集系统，而DirectShow是Windows平台上进行媒体应用开发的最新标准。本发明充分利用了DirectShow与硬件设备无关性的特点，使用多个USB2.0摄像头作为图像采集设备，可采用顺次或同时的采集方式来进行图像采集，系统功能主要由软件实现，极大地节省了硬件的成本，而对于大面积的图书图像采集，传统的图像采集方式在处理这样的实际问题中存在诸多的局限性，而本发明装置利用多个摄像头来扩大采集面积的图书图像，并利用计算机视觉及图像处理技术来矫正和合并图像。图像采集装置11中的光源控制子模块作辅助之用，用于图像采集时的照明以及为了特显书本与背景的图像对比度提供均匀的光源。图像自动采集触发子模块借助图像采集子模块采集到的书本登记管理装置上的书本图像，利用连续两张图像找出随时间变化而产生的对应点转换关系(对应点是没有放置书本的情况下的图像采集工作平台12上的一点，当这一点发生变化时即说明书本放置在图像采集工作平台12上，便自动触发图像采集)，计算前背景绝对差值，如果大于该阈值则触发摄像头自动拍摄书本图像。对应点必须适量，对应点太多则计算处理速度慢，太少则又会有误报问题。采集到书本的原始图像之后，发送到计算机视觉图像处理模块和储存模块中的原始图像存储数据库单元。

计算机视觉图像处理模块将采集到的书本的原始图像制作为二维书本图像，并对这二维书本图像进行图像分析以获取书本特征。计算机视觉图像处理模块分为两个子模块：计算机图像制作子模块和图像分析子模块。对于计算机图像制作子模块，包括测定单元、图像矫正单元、图像合并单元、智能选择单元、处理后图像存储数据库单元。对于分析子模块，包括图像尺寸测算单元、图象模板撷取单元、图书馆条形码辨识单元、国际标准编号条形码辨识单元、索书号条形码辨识单元、阈值分析及选择单元、光学字符分析单元和特征图像存储数据库单元。

原始图像存储数据库单元中将书本的原始图像用作备份，以便任何时候都可从原始图像存储数据库单元中提取相应的原始图像。获取所有原始图像后，利用测定单元检测黑白棋盘图样在摄像头中的二维位置，并且持续对所分析的图像数据进行测验，修正图像扭曲和像差，寻找出多张图片的共轭点。图像矫正单元矫正一个或多个摄像头采集到的扭曲变形的图像。图像合并单元检测多张图片的相同点，获取图片之间的视差，利用图像贴合技术将所有采集到的图像合并为一帧图像，产生二值化的图像。图像合并单元还可以通过常用的图像处理技术来去除杂点以及修补漏白。输出经矫正和合并的图像到智能选择单元，然后把书本图像组由背景自动分割及从消除非书本图像区域，标识书本边线、制成书脊、书口和书面，并存储于处理后图像存储数据库单元。

图像分析子模块中的图像尺寸测算单元，是用来测量书本的长度、宽度和厚度(也称为高度)。测量书本的这些特征需要借助边缘检测算法、国际标准格式、拓扑特征、光学字符分析来提取图像特征。请参见图7，其中边缘检测算法是以微分操作为工具，利用以灰阶为参数的函数判断出边缘线所在的位置。首先由左至右、由上至下，逐行在图像中选取种子点，把种子点中心像元和四个方向的相邻像元比较，找出具有一定的边缘强度的种子点，再把这些种子点连接起来，形成封闭的边界，这样便能计算书本尺寸(长度、宽度和厚度)。以书本的长度、宽度和厚度的边长、交点、交角值相互参考来计算出比较准确的书本尺寸。接着利用智能选择单元自动分割及消除非书本图像区域，标识书本边缘(例如以红线显示书本边缘)。具体来说是通过背景和书本图像结果差值间的绝对值，找出需要分割及消除的非书本图像部分，同时利用背景维护算法产生二值化的输出，去除图像杂色，累加器更新分割及脱除书本图像，对于撷取有关书本图像特征来说具有良好的效率。

请同时参见图8，首先利用图像分析子模块中的图像模板撷取单元基于图像特征点提取算法提取稳定特征点，按照书本图像尺寸和图像模板复杂度进行分类，计算图像点向量描述符，撷取图像特征点(所谓书本图像特征点，是书本图像中可作为特征标识的点，例如一本全白或者全黑的书本就没有特征点，而书本上如果有很多不规则的图案或者有丰富的颜色就是具有多特征点)，根据图像模板中的图像点向量的数量将图像模板定义为“良好”、“可接受”和“不良”，这一定义是经过统计学来判决的，“不良”一定是书本没有任何图且只有一种颜色。如果图像模板定义为“不良”，需借助贴上碎片形图案标色在书本图像上来增加图像点向量的数量。所谓碎片形图案是一种公知技术，数学家Benoit Mandelbrot发现一个二次迭代方程

可产生无限个碎片形图案，方程式z＝z²+c，c＝a+bi，a和b可以通过输入不同数字来产生无限个碎片形图案。本算法使用了SIFT(ScaleInvariant Feature Transform)特征提取法，这是一种公开的尺度不变性特征变化方法。特征点在图像中分布越均匀，对特征点的配对的效果也就越稳定，稳定特征点就是指分散的图像特征点。由于采集图像环境的亮度差异、书本表面的反射度差异、书本表面方向与摄像头方向不同，都将导致在同一投影点上图像的颜色和亮度会有所差异，图像特征点提取算法就是用来解决以上问题的。具体而言，对于经计算机视觉图像处理模块处理后的书本图像，由图像灰度模型生成特征向量描述符，然后根据向量最近邻和次近邻的距离之比，对图像特征点进行初步筛选。特征点可以有很多，只要同邻近点互不相同，便可以是特征点，初步筛选是先对比邻近点，找到好多特征点。最后运用估计特征点对间的几何约束模型进一步精选特征点，确定特征点数量，将精选后得到的特征点数量作为阈值。特征点的阈值是订立特征点数量的指针，举例来说不同人的手指模有不同的特征点，如果特征点太多运算及处理速度会变慢，相反特征点太少则准确性不高，以上的手段都是拿一个平衡点来制造图像模板，如同制造手指模模板，用作人类身份的辨识，可用在自助过关系统，而书本图像模板可以用工作日后自助还书之用。输出点集匹配关系(所谓点集匹配关系，匹配中将实时图分为多个子区，由子区灰度标准差和频谱直方图判别其可匹配性，用各子区位置分布关系约束匹配结果就是匹配关系)，从而得到一个长序列以代表书本的图像特征，并存储于特征图像存储数据库单元。

上述的边缘检测算法还用于搜索索书号条形码、图书馆条形码、国际标准编号条形码位置。请参见图9，图书馆条形码辨识单元利用条形码多行直线的拓扑特征找出图书馆条形码的位置，撷取图书馆条形码的图像。国际标准编号条形码辨识单元也还是利用条形码多行直线的拓扑特征找出国际标准编号条形码的位置，从而撷取出国际标准编号条形码图像。索书号条形码辨识单元中，由于索书号条形码在书脊上粘贴的位置是特定的，因此很容易断定书脊索书号的位置，从而撷取索书号条形码图像。阈值分析及选择单元找出及设定最优化的模型阈值、系统畸变及尺寸差值和匹配核数。然后由光学字符分析单元从条形码图像中提取出图书馆编号、国际标准编号和索书号，将这些编号存储于特征图像存储数据库单元。

特征图像存储数据库单元用于存储书本图像和书本特征。书本图像包括书面的图像模板、书脊的图像模板、书背的图像模板、书口的图像模板，书本特征包括书本的长、宽、高尺寸及其尺寸分类、重量及其重量分类、国际标准编号位置、图书馆条形码位置、索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编号、索书号、被读写的射频识别标签芯片的记录信息。

射频识别标签数据存储模块，用来定义所有图像及书本特征的标签在芯片中存储的存取单位位置。芯片中E2PROM的内存分多个扇区，他们互不干扰，每个扇区均可分别设置各自的不同的密码及按需要设置存取控制。每个扇区有多个块，一块为一个存取单位。射频识别标签读写器根据此独一无二的存取单位位置来读写芯片中存储的书本特征。

射频识别标签读写模块包括读写器固件和射频识别标签位置分析单元。读写器固件是用于感应和读写书本中的射频识别标签芯片，并利用阵列式射频天线组找出书本中的射频识别标签的位置，且连接射频识别标签数据储存模块，将书本特征写入书本内的射频识别标签芯片中。而射频识别标签位置分析单元采用非接触式电磁感应方式来识别射频识别标签在书本上的位置。把射频识别标签位置储存于书本登记数据存储数据库单元

监视引擎模块供操作人员远程或现场管理和监控书本登记管理装置的信息。监控引擎模块包括模块运行状态汇报单元和自动修复单元。模块运行状态汇报单元不断向计算机视觉图像处理模块、射频识别标签读写模块提取当前的运行状态。如遇故障，则建立故障日志，并把故障状态的信息发送给图书操作人员。自动修复单元根据检测到的不当运行，在不干扰系统应用程序或业务程序的情况下启动修正操作，确保整套系统不会因为数据流失或损毁而影响整套系统的稳定及准确性。

提示运行模块通过语音提示控制单元发送语音控制信号至语音提示器，同时通过闪光提示控制单元发送闪光控制信号至闪光提示器，提示图书馆操作人员登记管理状态。

管理服务模块主要是让操作人员远程监控书本登记管理装置及交换装置的信息包括汇报单元、升级单元、参数设定单元、提取下载数据单元和图像区域设定单元。汇报单元向操作人员的监控计算机发送装置内各模块当前的运行状态(如发出模块监视引擎做出的故障结论)。当然操作人员也可以用通过局域网络访问服务器，了解异常和故障信息。升级单元借助本地端或远程网络对设备的固件和软件进行升级和更新。操作人员可通过参数设定单元输入各个模块的相关参数，设定系统设定值。提取下载数据单元提供一接口，可随时从数据库中提取下载书本图像特征。随后，图像区域设定单元可自由的选择或定义一个特定图像区域，通过局部检测区域可减少各分析模块的计算量，以实现快速的图像分析。

下面描述本发明的书本登记管理装置的整个工作流程。

首先是书本登记管理装置的启动初始化流程。请参见图10，在网络接通和图像采集装置11启动的情况下，依次启动图像采集模块、计算机视觉图像处理模块、射频识别标签读写模块和提示运行模块，然后判断模块监视引擎是否接受相关启动，如果接受相关启动则表明系统应用程序或业务程序已全部启动。

要执行书本登记，需开启应用程序，程序会显示初始化接口并在后台执行各个软硬件的初始化。若有部分初始化未能完成(如无法与数据库连接)，程序会给出相关信息并关闭应用程序。若一切初始化顺利，程序将激活图像采集装置11。由于程序每次激活均需要定义背景图像，以便适应不同的光照环境，因此在正式登记工作前，图像采集工作平台12面上不允许放置杂物，当程序成功设定无杂物的背景图像后，程序初始化正式完成。

图11为实施步骤的流程图，请参见图11。首先，用户进入登陆接口，若想取消书本登记，可在此接口退出程序。若要继续书本登记，则需要让系统确定使用者的身份信息。当用户成功登陆后，射频识别标签读写模块读取射频识别标签，确定书本可以准备登记。如果没有射频识别标签或者标签损坏，则提示用户粘贴新的标签。当射频标签读写模块感应到粘贴在书本内的射频识别标签后，便可进入书本登记的第一步：条形码获取。本发明共有两种方法将书本的条形码信息输入系统：一是使用固定在图像采集工作平台12一角的图书馆条形码扫描仪来读取图书馆条形码；二是通过图书馆条形码辨识单元及光学字符分析单元获取条形码号。当系统通过以上任何一种方式获取到图书馆条形码信息后，将从图书馆所提供的图书馆条形码数据库中提取相应的书本信息记录。此时若图书馆条形码数据库回馈错误信息，用户则需检查条形码的获取是否有误，如是则推迟此书的登记，粘贴新的条形码；若图书馆条形码数据库有相关信息回馈，则操作人员要检查回馈的信息有无错误(如书名、版本信息)，如有则要指出图书馆条形码数据库回馈资料错误，建立并储存资料记录错误日志，推迟此书登记，直至图书馆条形码数据库更正；所有错误日志都存储于书本登记资料存储数据库单元中。若图书馆条形码数据库回馈信息正确无误，则可进入书本登记第二步：书本特征信息的获取。首先，在预备接口按提示放好书本，接着便可进入书本正面信息获取接口。此时用户可在接口上看到书本正面以及书脊的实时图像。图像采集模块采集图像采集工作平台12上的书本图像，将其储存至原始图像存储数据库单元。计算机视觉图像处理模块中的计算机图像制作子模块矫正并合并原始图像并储存至处理后图像存储数据库单元。计算机视觉图像处理模块中的分析子模块对处理后的书本图像进行分析并获取书本的表面是否有足够的特征信息、书本的长宽高(厚度)信息以及书本的重量信息。系统会首先分析书本正面是否有足够特征点，若没有足够特征点，系统会提示推迟此书的登记直至利用碎片形图案标色并粘贴在书本上以增加足够特征点。若有足够的特征点，系统会继续分析书本的长宽高(厚度)信息，见图12为本发明以红线显示书本边缘示意图，当接口上的两组用来显示系统分析信息的红线稳定时，说明智能选择单元已经完成了书本边缘信息的分析，若用户发现系统分析有误(如书本边缘与分割出来边线相差太远)，则需要指出是长宽信息还是高度(厚度)信息判断严重偏差或错误。在报错之后，用户可选择以下两种解决方案：(1)立即从系统中提取含有背景的原始图像并手动裁剪出正确的书面和书脊图片，保证书本长宽高以及特征图片信息的正确；(2)让系统记录判断严重偏差错误日志，待日后再做修改。

若书本边缘信息的分析正常，系统会自动获取书本信息，此时系统会并行处理多项任务：一是将获取的书本重量、尺寸数据以及图像模板储存至程序内部的临时储存器中；二是采集书本正面以及书脊的图像，并把这两幅全尺寸的书本分别存入原始图像存储数据库单元以及根据书本的尺寸信息分割及脱除原始图像中非书本图像区域，把裁剪后的图像存入处理后图像存储数据库单元；三是采集时显示书本正面以及书脊的实时预览截图，此处之所以使用截图显示，是因为若要处理和显示全尺寸的高分辨率图像，耗时将是低分辨率截图显示的十倍以上，主要目的是截图图像可以立即显示在屏幕的接口上，同时在系统后台可处理全尺寸图像，让用户可以立即确定程序是否已正确裁剪图像。若用户选择获取书面的信息，则需要按照提示放好书本，进入书面的信息获取接口。此时用户可以在接口上看见书面的实时图像。在此接口，系统会再次判断书面的长宽信息以便截取图像，但书本厚度将不再做判断。操作流程和正式获取书本正面信息一致。当完成书面信息的获取后，也会进入书本特征信息的确认和储存。

在进入当前书本登记信息总览接口时，用户可以在接口上看到从条形码数据库取得的文本资料(书名、作者、出版社等)，从处理后图像存储数据库输出的经过处理的分割及脱除了非书本图像区域的正反面以及书脊的彩色照片，从临时储存器输出的经过计算得出的书本尺寸信息以及书本的重量信息。此时用户需要确定书本的正反面照片正确，若发现正反照片有误，可将正反面的照片互换。

所有采集到的图像特征数据都会存储在特征图像存储数据库单元作备份。此外，用户确认此接口中的所有信息是否正确，若发现任何信息错漏，可返回预备接口重新登记此书。若取消登记，将不保存此书的任何数据而直接退至条形码获取接口。若所有信息正确，所有书本图像和书本特征存储于书本登记资料存储数据库单元，射频识别标签数据存储模块则把书本的相关资料包括书面的图像模板、书脊的图像模板、书背的图像模板、书口的图像模板，该书本特征包括书本的尺寸或其尺寸分类、重量或其重量分类、国际标准编号位置、图书馆条形码位置、索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编号、索书号、被读写的射频识别标签芯片的记录信息，通过射频识别标签读写器写入书本内粘贴的射频识别标签中，接着用户可选择消去磁条的磁性。同时，应用程序进入本次登记书本信息总览接口，此接口将以列表形式显示本次登记的书本状况，未完成登记的书本可通过不同的错误日志链接至需要重新登记的步骤。在此接口中，用户可选择进行下一本书的登记，或退出至登陆接口，同时保存本次书本登记的日志，完成本次登记。在登陆接口，可选择退出应用程序，至此，书本登记流程完成。

上述实施例是提供给本领域普通技术人员来实现或使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (10)

1.一种基于计算机视觉及射频识别技术的书本登记管理装置，包括图像采集工作平台、图像采集装置、射频识别标签读写器及天线组、电子防盗充消磁装置、重量测量装置以及嵌入式中央处理器，其中：

该图像采集工作平台提供一操作平台，该操作平台使书脊及书口图像与第一书面的图像组出现在同一光学采集平面上且彼此相连，书脊及书口图像反射到摄像头组的图像采集范围，该摄像头组进行实时同步拍摄以获得书本在书脊、书口以及第一书面这三个方向上的图像，其中该图像采集工作平台包括放置书本的平面板，平面板具有供该摄像头组用作定标的图样、透明挡板组、反射镜面组，该透明挡板组垂直安置在该图像采集工作平台边角上，形成直角，供书本紧贴透明挡板的直角，确保书脊及书口亦完全紧贴透明挡板，该反射镜面组倾斜安装在透明挡板的另一边，与图像采集工作平台构成一角度，以完整反射整个书脊和书口图像到安装于上方的摄像头组的图像采集范围；

图像采集装置，由该摄像头组构成，安装在该图像采集工作平台的上方，用于采集该图像采集工作平台上的书本的图像；

射频识别标签读写器，连接该天线组，用于对射频识别标签进行读写操作；

天线组，由多个射频天线元组成，射频天线元内部的调整电路用于调整射频天线元的敏感性，天线组放置于该图像采集工作平台下；

电子防盗充消磁装置，用于消除或者恢复书本防盗磁条的磁性；

重量测量装置，设置在该图像采集工作平台的平面板之下，用于测量图像采集工作平台上的书本的重量；

嵌入式中央处理器，控制及运行所有已嵌入安装的固件模块，包括图像采集模块、储存模块、计算机视觉图像处理模块、图像分析模块、射频识别标签读写模块、射频识别标签数据存储模块、监视引擎模块、管理服务模块、提示运行模块。

2.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，该图像采集模块进一步包括：

图像手动采集子模块，是多镜头图像采集系统，可按次序或同时的采集方式来采集书本图像组；

光源控制子模块，用于为图像采集提供及控制有效均匀的光源；

图像自动采集触发子模块，连接该图像手动采集子模块，利用图像采集范围内的图像变化自动触发图像采集模块来实现图像采集功能。

3.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，该储存模块连接该图像采集装置和该计算机视觉图像处理模块，包括原始图像存储数据库单元和书本登记资料存储数据库单元，其中该原始图像存储数据库单元用于储存采集到的书本的原始图像，该书本登记资料存储数据库单元用于存储分析后获取到的书本特征。

4.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，计算机视觉图像处理模块连接该图像采集装置，将采集到的书本图像组制作成二维书本图像，并对二维书本图像进行图像分析以获取书本特征，该计算机视觉图像处理模块中设有用于制作二维书本图像的计算机图像制作子模块，该计算机图像制作子模块进一步包括：

测定单元，检测摄像头组定标图样在摄像头中的二维位置；

图像矫正单元，矫正一个或多个摄像头采集到的扭曲变形的图像；

图像合并单元，连接该图像矫正单元，通过检测多幅图像的异同合并矫正后的图像；

智能选择单元，在书本图像组中根据书本图像和图像采集工作平台的背景自动分割及消除非书本图像区域，标识书本边线，制成书脊、书口及书面；

处理后图像存储数据库单元，连接该智能选择单元，用于存储经过处理的书本图像。

5.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，该计算机视觉图像处理模块中进一步设有用于对二维书本图像组进行图像组分析以获取书本特征的图像分析子模块，该图像分析子模块进一步包括：

图像尺寸测算单元，用于测量书本的长、宽、高；

图像模板撷取单元，利用书本图像的特征点撷取出书本的模板，用作以后判别书本图像的特征；

图书馆条形码辨识单元，辨识图书馆条形码的位置，撷取图书馆条形码的图像；

国际标准编号条形码辨识单元，辨识国际标准编号条形码位置，撷取出国际标准编号条形码图像；

索书号条形码辨识单元，辨识索书号条形码位置，撷取出索书号条形码图像；

阈值分析及选择单元，找出及设定最优化的模型阈值、系统畸变及尺寸误差值和匹配核数；

光学字符分析单元，用于从撷取出的图书馆条形码、国际标准编号条形码和索书号条形码图像中分析出字符信息；

特征图像存储数据库单元，用于存储书本图像和书本特征，该书本图像包括书面的图像模板、书脊的图像模板、书背的图像模板、书口的图像模板，该书本特征包括书本的长、宽、高尺寸及其尺寸分类、重量及其重量分类、国际标准编号位置、图书馆条形码位置、索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编号、索书号、被读写的射频识别标签芯片的记录信息。

6.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，射频识别标签数据存储模块，用来定义所有图像及书本特征的标签在芯片中存储的唯一的存取单位位置，该唯一的存取单位位置是供使用者读写芯片中存储的书本特征。

7.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，该射频识别标签读写模块连接射频识别标签数据储存模块，该射频识别标签读写模块进一步包括：

读写器固件，用于执行读写书本中射频识别标签芯片的特征，基于射频识别标签数据存储模块中的存取单位位置将书本特征读取出来或者写入书本内的射频识别标签芯片中；

射频识别标签位置分析单元，采用非接触式电磁感应方式来识别射频识别标签在书本上的位置。

8.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，装置还包括：

监视引擎模块，连接该书本登记管理装置的各个组件，对所有组件的运行状态进行监控，该监视引擎模块进一步包括：

模块运行状态汇报单元，提取装置内各组件当前的运行状态，建立故障日志，并发送故障状态的信息到指定的记录地点；

自动修复单元，根据预测到的不当运行，在不干扰系统应用程序或业务程序的情况下对出错的模块进行修复。

9.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，装置还包括：

管理服务模块，供操作人员远程或现场管理和监控书本登记管理装置的信息，进一步包括：

升级单元，通过本地端口或远程网络为固件或软件升级；

汇报单元，向操作人员发送装置内各模块当前的运行状态；

参数设定单元，供操作人员输入装置内各模块的相关参数，设定系统设定值；

提取下载数据单元，提取下载数据，自动建立相关的数据下载连接；

图像区域设定单元，在储存模块的原始图像中选择或定义一个特定范围的图像区域，用以手动剪裁出正确的书面或书脊图片。

10.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特征在于，该装置还包括：

提示运行状态模块，根据运行状态向操作人员发出提示信号，进一步包括：

语音提示控制单元，以语音信号的方式提示操作人员登记管理的状态；闪光提示控制单元，以光信号的方式提示操作人员登记管理的状态。

Images