CN2639955Y - 智能交互式电子书系统 - Google Patents

Abstract

本实用新型公开了一种电操作的教具，具体的说是一种智能交互式电子书系统。它由书、阅读器和电源组成，在书中的文字和插图的旁边或插图中插有点阵码；其中，阅读器包括一个微处理器(702)、一个笔式图像扫描器(705)，一个光电字符识别器(704)、一个只读存贮器(703)，一个接插式可读写存贮器(701)，一个文字到语音转换器(706)、一个数字音频电路(707)、一个喇叭(709)；还可以加上一个麦克风(708)，一个印刷键盘(710)。此外，插有点阵码的书与接插式可读写存贮器配合可以作为一件产品单独出售；阅读器和电源搭配，也可作为一件单独的产品出售。

Description

智能交互式电子书系统

技术领域  本实用新型涉及一种电操作的教具，更具体的说是一种智能交互式电子书系统。

背景技术  目前的电子出版技术可分为两类：第一类是应用计算机的图形技术和多媒体技术将整本书籍以图形及数字语音方式贮存在计算机的存贮媒介上，使用者通过鼠标、显示器、键盘和多媒体系统等输入输出设备来交互式地阅读和学习书籍的内容。对这种方式出版的电子书籍，使用者必须坐在一套完整的多媒体计算机系统前才能阅读和学习。这种系统除了有价钱昂贵，不便携带，无法用于随时阅读和学习的缺点外，长时间地在发光及反光的计算机屏幕前进行阅读也会眼睛疲劳，容易导致使用者的视力下降。第二类是应用微处理器技术及液晶显示技术进行的电子出版品。但是为了降低成本，减轻重量和减小体积以达到便携性，液晶显示不可能很大，所以这种电子出版品因不能同时显示整页书籍内容而不适合出版绝大部分的书籍，目前只适用于如文曲星之类的电子词典。综合以上两类电子出版技术，其关键技术在于要借助于显示设备来显示书籍页面内容。

美国LeapFrog Enterprises，Inc.采用美国1999年三月公布的实用新型专利USA-5,686,705及USA-5,877,458中公开的平面定位技术生产出一种简单的对纸张出版的书籍进行交互式阅读学习的系统。USA-5,686,705及USA-5,877,458公开的平面定位技术是一种基于“电荷-变换(Charge-transfer)”的感应技术(Sensing Technology)。这种平面定位技术采用一个由电极组成的平面矩阵装置放置于书籍的下面，其平面矩阵的形状和面积与书籍的页面相同。当数字脉冲信号通过电极时，在电极之间就会产生感应电荷。当带有发射信号的电笔点击放在电极平面矩阵上的书籍时，发射信号就可穿过书籍，影响点击点下面电极之间的电荷。与电极矩阵相连的微处理器通过对电极间电荷的比较计算出电极矩阵中有电荷变化电极的行与列，从而确定点击点在书籍页面中的平面位置，但不能确定点击的是书籍的哪一页，因而需要额外的点击来确定页号。这种平面定位技术用于对纸张出版的书籍内容进行定位与识别存在以下的缺点：

(1)当书籍的厚度增加时，穿过书籍的电笔发射信号就会减弱，甚至于电笔发射信号完全不能穿过书籍，从而产生误识或无法识别；

(2)每次点击只能确定页面中的平面位置，但不能确定所点击的是哪一页，所以必须将平面矩阵中的一块区域划分出来，通过对区域内不同位置的点击来进行页面识别。由于矩阵的面积及矩阵电极密度的限制，导致能识别的页数也受到限制；

(3)书籍的每一页都必须平整地放在电极组成的平面上，与电极矩阵对齐不能错位，否则会产生误识别，因而必须有一个体积较大的托架用于固定电极矩阵和书籍，同时对书籍的纸张和装订有特殊的要求以保证书籍的每一页都能平放在托架上；

(4)数字脉冲信号必须持续扫描电极矩阵，电池的电量损耗快。

由于以上列举的主要缺点，LeapFrog目前投向市场的能进行交互式阅读学习的书只局限于十几页，并且还是以幼儿玩具的形式出现。

发明内容  本实用新型的目的是将传统纸张出版的书籍与微处理器技术相结合进行电子出版，不需要显示设备。同时对要阅读的书籍没有厚度和页数的限制，而且只需一次点击就可定位识别需要阅读的内容。此外，本实用新型减小了整个系统的体积、减轻了重量和降低了能耗。

本实用新型的技术方案是：智能交互式电子书系统由经过点阵编码的书、能对经过点阵编码的书进行智能交互式阅读和学习的阅读器以及为阅读器供电的电源三部分组成。其中，书的内容经过点阵编码，即在书中需要编码的文字和插图的旁边或插图中插有点阵码。

阅读器由输入模块、微处理器、存贮模块、输出模块组成，其中信息输入模块、信息存贮模块、信息输出模块分别与微处理器连接；信息输入模块对书中的点阵码进行扫描、处理后输入微处理器，微处理器对教科书的内容进行定位、识别和处理，确定后将存贮模块中的相应内容通过信息输出模块输出；

电源可以使用直流电或者外接交流电为阅读器供电。

上述的点阵编码是指：对一个双色点矩阵中的点按一定规则进行排列，组成不相重复的点阵码基本单元(简称点阵码基元)，点阵码基元中点的排列方式决定点阵码的码值，点阵码基元中还有一个由特定点构成的、确定点阵码方向的方向标识。将单个的点阵码基元加边界形成小的编码图案，将其插入到书籍中需要编码的文字的旁边；将多个点阵码基元进行规则和不规则的拼接，再加上边界形成不同大小和不同模式的编码图案，将其插入到书籍中需要编码的插图的旁边或插图中。这些由点阵码基元组成的编码图案在本实用新型中简称为点阵码，并且每一个点阵码都有一个唯一的数字码与之对应。这样，本实用新型的阅读器就可以通过对点阵码的扫描来定位、识别书籍的内容。

本实用新型的阅读器的输入模块包括一个笔式图像扫描器(Pen-shapedGraphics Sensor)，用于扫描点阵码、印刷和手写字符；一个光电字符识别器OCR(Optical Character Recognition)，用于将扫描得到的点阵码、印刷和手写字符图像转换为数字码和字符；存贮模块包括一个只读存贮器ROM(Read Only Memory)，用于存贮阅读器的控制程序，一个接插式可读写存贮器(Flash Memory)，用于存贮已程序化的书籍内容和问题的答案；输出模块包括一个文字到语音转换器TTS(Text-To-Speech)，用于将字、词和句子转换成语音，一个数字音频电路(Digital Audio)，用于语音的输出与输入，和一个喇叭；阅读器还包括一个印刷键盘，一个麦克风。

智能交互式电子书系统具体的工作步骤如下：

(1)开机时，微处理器开始执行只读存贮器(ROM)中的操作控制程序进入等待输入循环状态；

(2)当笔式扫描器点击点阵码、印刷键盘上的键或扫描书籍的内容时，笔式扫描器产生的图像输出到光电字符识别器(OCR)；

(3)光电字符识别器OCR将接收到的点阵码图像转换成数字码和将接收到的键盘扫描图像或书籍内容扫描图像转换成字符码输出到微处理器；

(4)微处理器接收到数字码时，根据接收到的数字码来执行存贮在外接插入式存贮器中相对应于被编码的书籍内容的代码。

若相对应的书籍内容代码仅是语音输出，微处理器则从外接插入式存贮器中读出存贮的语音输出到数字音频模块；

若相对应的书籍内容代码需要使用者回答问题，微处理器则读出提示语音，输出到数字音频模块后，微处理器转入等待使用者点击点阵码、扫描印刷键盘或语音应答。在收到使用者的应答后，微处理器将使用者的答案与存贮在可读写存贮器中的答案比较，作出对错评判，并将评判结果以语音形式输出到数字音频电路，数字音频电路接收到语音信号后将语音信号转换成模拟信号，经放大后输出到喇叭，反馈给使用者。

微处理器收到字符码时，微处理器则将收到的字符组成字、词或句子输出到文字到语音转换器。

(5)文字到语音转换器接收到字、词或句子后，将其转换成语音信号输出到数字音频电路；

(6)数字音频电路接收到语音信号后将语音信号转换成模拟信号，经放大后输出到喇叭。

智能交互式电子书系统与现有技术相比有如下有益效果：

(1)采用点阵码对书籍内容进行编码，阅读器就可以通过对点阵码的识别来对书籍的内容进行定位识别，从而对书籍的厚度与页数没有限制。

(2)经过点阵码编码的书籍，每个点阵码唯一标识书籍中被编码的内容，使用者可以通过笔式扫描器点击书籍中任何一页中的点阵码，对其所编码的内容进行交互式阅读和学习，从而提高了使用的简易性。

(3)阅读器不需要平面定位装置，减少了能耗，并可使用已公知的集成电路芯片来实现减小本实用新型的体积和减轻重量，使用者可以将本实用新型随身携带，真正达到便携的效果。

(4)本实用新型中的扫描笔、麦克风和印刷键盘为交互式电子书系统提供了语音与文字双重交互输入方式。

(5)本实用新型中的键盘是印刷键盘，键盘可印刷在任何可印刷的材料上，不需任何实施电路，可以是折迭式的，从而降低了系统的成本，也减轻了系统的重量。

本实用新型的特征及优点将通过优选实施例结合附图进行详细说明。

附图说明

图1是本实用新型中的点阵码基元图；

图2是本实用新型中由点阵码基元以规则形式排列并加虚线边界组成的一种拼接图；

图3是本实用新型中由点阵码基元以非规则形式排列并加实线边界组成的一种拼接图；

图4是九年义务教育小学教科书《英语》第四册第2页经点阵编码后的实例图；

图5是由本实用新型中的笔式扫描器扫描点阵码得到的图像图；

图6是本实用新型中的阅读器识别点阵码的程序流程图；

图7是本实用新型中的阅读器的电路结构图；

图8是本实用新型中的阅读器的工作流程图；

具体实施方式  图1所示的是一种简单、直观和易于识别的黑白点阵图案编码具体实施方式。图1所示的点阵码是由165个点组成的一个15行11列的点矩阵，此15*11的点矩阵称为点阵码的基本单元，简称为点阵码基元。点阵码基元中的每个点的颜色值C可以为黑色，用整数1表示，也可以为白色，用整数0表示。每个点的大小根据扫描器的DPI和扫描器的扫描头大小确定。本实施例中采用的笔式图像扫描器705，其分辩率为600×600DPI，点阵码基元中的每个点大小为3×3像素。笔式图像扫描器705的一次点击可以扫描入四个完整的点阵码基元，因此即使使用者只将笔式图像扫描器705的笔尖的四分之一对着点阵码点击，点阵码也能被正确识别。

在点阵码基元的165个点中，点(5，5)、点(7，5)、点(9，3)、点(9，5)和点(9，7)共5个点用于表示点阵码的方向，且都取值为1不变，即均为黑色，这5个点组成的固定图案称为点阵码基元的方向标识，点(7，5)称为点阵码基元的中心点。点(1，1)、点(1，3)、点(1，7)、点(1，9)、点(3，1)、点(3，3)、点(3，7)、点(3，9)、点(B，1)、点(B，3)、点(B，7)、点(B，9)、点(D，1)、点(D，3)、点(D，7)和点(D，9)共16个点为编码位点，每个点被视为16位二进制数中的一个二进制位，可取值0或1，即可为黑色或白色。点阵码基元中其余的144个点都取值0，即都为白色。本图案编码的具体实施例中采用16位的编码位，其编码范围为0至2¹⁶-1＝65535。点阵码的码值可以由以下的公式计算：

码值＝2⁰*C_1，1+2¹*C_1，3+2²*C_1，7+2³*C_1，9+

      2⁴*C_3，1+2⁵*C_3，3+2⁶*C_3，7+2⁷*C_3，9+

      2⁸*C_B，1+2⁹*C_B，3+2¹⁰*C_B，7+2¹¹*C_B，9+

      2¹²*C_D，1+2¹³*C_D，3+2¹⁴*C_D，7+2¹⁵*C_D，9

点阵码根据被编码的文字或插图的位置，由单个的点阵码基元，根据被编码页面外观的需要加虚线或实线边界形成较小的编码图案以图标形式插到书籍的文字旁边，或由多个点阵码基元，按规则或不规则方式拼接加边界后形成较大的、具有不同模式的点阵码插入到书籍中插图的旁边或插图中。

图4所示的是人民教育出版社出版的九年义务教育小学教科书《英语》第四册第2页点阵编码实例图。在图4中，点阵码401唯一的定位和标识了“Lesson 1”和小熊图标，当点阵码401被点击，光电字符识别器704根据点阵码的识别算法计算出其码值65535，微处理器702则根据65535码值执行Flash Memory中相应的代码来输出“Lesson 1”的语音。同样，当点阵码402被点击，OCR根据点阵码的识别算法计算出其码值65534，微处理器则根据65534码值执行Flash Memory中相应的代码来输出“1 Learn to say”的语音。图4中标号为403的点阵码标识的是一幅图画。当点阵码403被点击，光电字符识别器704根据点阵码的识别算法计算出其码值65533，微处理器则根据65533码值执行接插式可读写存贮器701中相应的代码来输出完整的父子在公园中的对话。从点阵码404到点阵码415分别对应的是父子对话中的每一句。同时使用者也可以用笔式图像扫描器705来直接扫描整句或句中的字和词，通过光电字符识别器704来识别。

由于不同的使用者握笔的方式和角度不同，用笔式图像扫描器705点击点阵码所产生的扫描图像被旋转的角度也不同。图5中列出四个不同的使用者用笔式图像扫描器705以不同的角度扫描点阵码得到的放大图像。图5中，图像501和图像502是对由单个点阵基元组成的图像码扫描得到的放大图像，图像503是对点阵基元规则排列形成的图案扫描得到的放大图像，图像504是对点阵基元非规则排列形成的图案扫描得到的放大图像。从图5中的4个扫描图像例子可以看出，每个图像都被顺时针或逆时针旋转了不同的角度。由于每个点阵基元中都有一个方向标识，所以从任何角度点击点阵码得到的图像都可以通过对图像的旋转和对方向标识的识别，进而识别点阵码并计算出码值。图像501被逆时针旋转了2度，可通过将其顺时针旋转2度或逆时针旋转358度来还原。图像502被逆时针旋转了15度，可通过将其顺时针旋转15度或逆时针旋转345度来还原。图像503被逆时针旋转7度，可通过将其顺时针旋转7度或逆时针旋转353度来还原。图像504被顺时针旋转15度，可通过将其逆时针旋转15度或顺时针旋转345度来还原。

如图6所示，可按如下的流程对点阵码进行识别：

(1)测试图像的边界，并将虚线边界连接成实线边界，以便简化和统一处理边界；

(2)让图像矩阵旋转角度变量ANGLE的初值为0；

(3)测试ANGLE的值：若ANGLE小于360，点阵码图像未被旋转360度，转第4步，继续旋转图像矩阵和寻找点阵码基元的方向标识；否则点阵码图像已被旋转了360度，还未找到点阵码基元的方向标识，非点阵码图像，让码值为-1，转第12步；

(4)将图像矩阵顺时针旋转ANGLE度，得到新的矩阵为M行和N列；

(5)让矩阵行变量R初值为7；

(6)若R小于M-2，转第7步，继续寻找点阵码基元的方向标识；否则已扫描测试到了图像矩阵的倒数第二行，还未找到点阵码基元的方向标识，将ANGLE增加1后转第3步；

(7)让矩阵列变量C初值为5；

(8)若C小于N-2，转第9步，测试当前(R，C)的点；否则将R增加1后，转第6步，继续测试下一行；

(9)若C_R，C等于1，而且C_R-2，C等于1，而且C_R+2，C等于1，而且C_R，C-2等于1，而且C_R，C+2等于1，则找到了基元的方向标识，转第10步继续测试；否则将C增加1后转第8步，继续测试下一列；

(10)若基元为完整的基元(15×11的点阵)，则转第11步，否则将C增加1后转第8步，继续测试下一列；

(11)按以下的公式计算码值：

码值＝2⁰*C_R-6，C-4+2¹*C_R-6，C-2+2²*C_R-6，C+2+2³*C_R-6，C+4+

      2⁴*C_R-4，C-4+2⁵*C_R-4，C-2+2⁶*C_R-4，C+2+2⁷*C_R-4，C+4+

      2⁸*C_R+2，C-4+2⁹*C_R+2，C-2+2¹⁰*C_R+2，C+2+2¹¹*C_R+2，C+4+

      2¹²*C_R+4，C-4+2¹³*C_R+4，C-2+2¹⁴*C_R+4，C+2+2¹⁵*C_R+4，C+4

(12)输出码值，识别过程结束。

图7所示的是本实用新型的阅读器的结构图。

其中笔式图像扫描器705与光电字符识别器704相连接，数字音频电路707的模拟输出端口与喇叭709相接，麦克风708与数字音频电路707的模拟输入端口相接，数字音频电路707的数字输出端口和光电字符识别器704的输出端口与微处理器702的输入端口相接，微处理器702的输出端口与文字到语音转换器706的输入端口相连接，文字到语音转换器706的数字语音输出端与数字音频电路707的数字输入端相接，微处理器702连接有只读存贮器703和接插式可读写存贮器701。本阅读器还附有一个印刷键盘710，印刷键盘710的输出端口与微处理器702的输入端口连接。

图8公开了阅读器的工作流程。开机时，微处理器702执行步骤801，开始初始化和启动运行只读存贮器703中的控制程序。只读存贮器703中的控制程序将使微处理器702进入步骤802和步骤803的循环状态，直至关机。步骤802测试光电字符识别器704的输出端，步骤803则根据步骤802的测试结果按如下的分支条件控制程序流程：

(1)若光电字符识别器704的输出端无输出，则循环返回到步骤802；

(2)若光电字符识别器704的输出端输出的是扫描字符，则控制流程转到步骤804将字符组成字、词或句子输出到步骤805的文字到语音转换器706，步骤805的文字到语音转换器将字、词或句子转换成语音输出，步骤806的数字音频电路707将数字语音转换成模拟语音信号经放大后输出到喇叭709，然后返回到步骤802再进入循环；

(3)若光电字符识别器704的输出端输出的是点阵码，则执行步骤807。步骤807根据点阵码来取出并执行接插式可读写存贮器701中相应于被编码书籍内容的代码。根据代码的功能，作(3.1)和(3.2)的分支执行：

(3.1)若相应的代码仅是语音输出，步骤808将控制流程转到步骤809，步骤809读取接插式可读写存贮器701中的语音输出到步骤806，步骤806的数字音频电路707将数字语音转换成模拟语音信号经放大后输出到喇叭709，然后返回到步骤2再进入循环；

(3.2)若相应的代码需要使用者回答问题，则步骤810作进一步的测试：

i)若需要使用者作语音回答，则转步骤814测试数字音频电路707的输出端。使用者的语音回答，通过麦克风输出到数字音频电路707的输入端，数字音频电路707的模数转换器将使用者的模拟语音信号转换成数字语音信号，从数字音频电路707的输出端输出。步骤815若检测到数字音频电路707的输出端有输出，则转步骤816。步骤816读出从数字音频电路707输出端的数字语音信号，转步骤817。步骤817将接收到的使用者回答的语音信号与存贮在接插式可读写存贮器701中的答案比较，并将比较的结果以数字语音方式输出到步骤806。步骤806则将数字语音转换成模拟信号经放大后输出到喇叭709，返回步骤802再进入循环。若步骤815没有检测到数字音频电路707的输出端有输出，则返回步骤814继续循环测试数字音频电路707的输出端，直到接收到使用者从麦克风708的语音回答。

ii)若需要使用者从印刷键盘710回答，则转入步骤811测试光电字符识别器704的输出端。使用者可用笔式图像扫描器705点击印刷键盘710上的键，光电字符识别器704将点击扫描到的键的图像转换成键名字符输出到光电字符识别器704的输出端。步骤812若没有检测到光电字符识别器704输出端的输出，则转步骤811继续测试光电字符识别器704的输出端，直到接收到使用者从印刷键盘710的回答。步骤812若检测到光电字符识别器704输出端的输出，则转步骤813读出从光电字符识别器704的输出，并将使用者的输入与存贮在接插式可读写存贮器701中的答案比较，并将比较的结果以数字语音方式输出到步骤806步骤806则将数字语音转换成模拟信号经放大后输出到喇叭709，返回步骤802再进入循环。

智能交互式电子书系统中的阅读器和电源搭配，可作为一件单独的产品出售。

智能交互式电子书系统中经过点阵编码的书与存贮有经过编码的书的内容的接插式存贮器搭配，可作为一件单独的产品出售。

Claims (8)

1.一种智能交互式电子书系统，由书、阅读器和电源组成，其特征在于：书中插有对书的内容进行编码的点阵码；

阅读器由输入模块、微处理器、存贮模块、输出模块组成，其中输入模块、存贮模块、输出模块分别与微处理器连接；输入模块对书中的点阵码进行扫描、处理后将信息输入微处理器，微处理器根据该信息对书的内容进行定位和识别，然后执行存贮模块中相应的代码，并通过输出模块输出处理结果。

2.根据权利要求1所述的智能交互式电子书系统，其特征在于：所述点阵码由一个或者多个点阵码基元拼接组成，点阵码基元为两种颜色的点排列成的具有不同码值的二维点阵，点阵码基元中有一个由特定点构成的、确定点阵码方向的方向标识。

3.根据权利要求2所述的智能交互式电子书系统，其特征在于：所述点阵码由一个或多个点阵码基元拼接后加上边界组成。

4.根据权利要求1、2、3中任一项所述的智能交互式电子书系统，其特征在于：所述阅读器的输入模块包括一个笔式图像扫描器和一个光电字符识别器；存贮模块包括一个只读存贮器和接插式可读写存贮器；输出模块包括一个文字到语音转换器、一个数字音频电路和一个喇叭；其中笔式扫描器与光电字符识别器相连接，数字音频电路的模拟输出与喇叭相接，数字音频的数字输出端口和光电字符识别器的输出端口与微处理器的输入端口相接，微处理器的输出端口与文字到语音转换器的输入端口相接，文字到语音转换器的数字语音输出端与数字音频电路的数字输入端相接，微处理器上连接有只读存贮器和接插式可读写存贮器。

5.根据权利要求4所述的智能交互式电子书系统，其特征在于：输入模块还包括一个键盘，键盘的输出端口与微处理器的输入端口连接。

6.根据权利要求5所述的智能交互式电子书系统，其特征在于：键盘是将键名印刷在可印刷材料上形成的印刷键盘；印刷键盘上每个键的面积小于或等于笔式图像扫描器的笔尖面积。

7.根据权利要求4所述的智能交互式电子书系统，其特征在于：输入模块还包括一个麦克风；数字音频电路留有模拟输入端，麦克风的输出端与数字音频电路的模拟输入端相接，数字音频电路的数字输出端与微处理器的输入端口连接。

8.根据权利要求1所述的智能交互式电子书系统，其特征在于：所述电源包括交流电源，也包括直流电源。

Images