CN1088877C

CN1088877C - 摄影式智能阅读装置读取文件的方法

Info

Publication number: CN1088877C
Application number: CN97117543A
Authority: CN
Inventors: 张景嵩; 何代水; 陈淮琰; 王晓松; 李玲
Original assignee: Inventec Corp
Current assignee: Inventec Corp
Priority date: 1997-08-28
Filing date: 1997-08-28
Publication date: 2002-08-07
Anticipated expiration: 2017-08-28
Also published as: CN1178957A

Abstract

本发明提供一种用摄影式智能阅读装置读取文件的方法，包括：(i)当按动开关时，经由摄影式阅读装置撷取物体图象并产生数字图象讯号；(ii)将该图象讯号传送至主电脑装置；(iii)对该图象讯号进行字元辨识，辨识出字元或短语；(iv)对资料库进行查询；(v)自资料库中撷取与辨识结果最接近的相关资讯，并加以显示；上述步骤(iii)包括：(i)读取图象资料，以阵列的形式储存；(ii)转化成二级灰度格式；(iii)进行杂讯过滤；(iv)将点阵图象分为多块短语图象和多块字元图象；(v)进行图象循环辨识步骤；其包括：(i)识别字元图象的笔划；(ii)决定笔划数目；(iii)决定相对长度；(iv)决定角度；(v)决定方向；(vi)取得字元的特征资讯；(vii)进行图象的特征相比；(viii)判断结果。

Description

摄影式智能阅读装置读取文件的方法

本发明涉及一种资料输入装置，特别涉及一种摄影式智能阅读装置读取文件的方法。

按现今的开放社会，媒体资讯日益发达，尤以报纸、杂志、书刊为最，大量的新资讯时常给阅读者造成理解上的困难，如此，查询相关字汇的资料或解释已迫在眉睫。按以往常见的方法，一般是搬来沉重的字典进行手工查阅，以达理解的目的。此方法费时费力，如遇一篇资讯材料有多处生僻字汇，则势必降低阅读速度，且分散阅读者的注意力。

于是，近来出现了许多电脑字汇翻译软件，来取代部分或全部字汇解释的功能。但目前开发出来的字汇翻译软件，在解释印刷体字汇时，均需将其经由键盘或笔式键入的动作来达到输入的目的，虽省却人为查阅字典的步骤，但增加了键入字汇的动作，如遇较长的字汇，速度反不及手工查阅，且键入过程中难免发生拼写错误，使用者常需修改，异常频繁，极易扰乱阅读思路，影响阅读效果，实为得不偿失。

有鉴于此，本发明的目的即在于克服印刷体字汇翻译快速性与便利性的矛盾，结合电子技术及程序设计，提供一种摄影式阅读装置的工作方法。

该用摄影式智能阅读装置读取文件的方法，所述摄影式智能阅读装置包括摄影式阅读装置、主电脑装置和连接摄影式阅读装置与主电脑装置的高速数据传输缆线，所述方法包括下列步骤：

(i)当使用者按动开关时，经由摄影式阅读装置撷取物体图象并产生数字图象讯号；

(ii)将该图象讯号传送至主电脑装置；

(iii)由主电脑装置对该图象讯号进行字元辨识，辨识出字元或短语；

(iv)根据辨识出的字元或短语，对资料库进行查询；

(v)自资料库中撷取与辨识结果最接近的相关资讯，并加以显示；

在上述步骤(iii)，主电脑装置进行图象辨识的步骤包括下列步骤：

(i)经由阅读装置读取图象资料，并将其以阵列的形式储存于主电脑装置的RAM中；

(ii)将图象资料阵列的多级灰度格式或彩色格式转化成二级灰度格式，藉以区分图案与背景图象，以便于图象辨识；

(iii)根据各像素的稀疏稠密特征，进行二值化的图象阵列所具有的杂讯过滤，使待辨识的图象点阵整齐清晰；

(iv)将点阵图象依据其点阵疏密，将其区分为多块短语图象和多块字元图象；以便于单个字元的辨识；

(v)进行图象循环辨识步骤；

所述图象循环辨识步骤包括下列步骤：

(i)识别字元图象的笔划；

(ii)决定字元图象的笔划数目；

(iii)决定每一笔划的相对长度；

(iv)决定相连接笔划间的角度；

(v)决定每一笔划的方向；

(vi)根据上述步骤取得字元的特征资讯；

(vii)将每一个字元像素的特征与字元特征库中的每一个字元图象的特征相比；

(viii)判断是否找到特征相匹配的字元，若是则使用在字元特征库中找到的字元作为辨识结果，否则使用在字元特征库中找到最接近的字元作为辨识结果。

本发明的一个优点在于利用摄影透镜结合图象感应装置制成的摄影式阅读装置，具有体积小、使用灵活等特点，将其应用于印刷体文字的图象输入，便于操作。

本发明的另一个优点在于本装置提供了印刷体文字的线上即时辨识、即时查询、即时显示的功能，实现阅读与理解同步的过程，大幅地提高阅读者的阅读速度。

本发明的再一优点为利用此装置的软、硬件，可方便而且即时地完成在个人电脑、手持式个人电脑(Handheld Personal Computer)或电子字典上对印刷体文字的自动输入。

为了进一步说明本发明的结构、操作方式及特点，下面就配合附图说明本发明的较佳实施例，其中：

图1示出了本发明摄影式智能阅读装置的结构图；

图2示出了本发明摄影式智能阅读装置的阅读装置的方块图；

图3示出了应用于图2摄影式阅读装置的图象感测器电路图；

图4示出了本发明摄影式智能阅读装置的主电脑装置结构方块图；

图5示出了本发明中摄影式阅读装置撷取文字图象的流程图；

图6示出了本发明中主电脑装置处理文字图象的流程图；

图7示出了本发明中主电脑装置进行文字图象辨识的流程图；

图8示出了本发明中对文字图象进行框架处理的示意图；

图9示出了在本发明的字元辨识程序中特征像素选取方式的示意图；

图10示出了本发明的循环辨识程序中进行匹配判别的流程图；

图11示出了对资料库进行关键词查询动作的流程图。

本发明利用摄影式阅读装置(内含一个二维CCD或CMOS制程元件的光图象感测装置)，将书本、杂志上的印刷体文字图象通过摄影式装置前端的透镜传入摄影式阅读装置内图象感测装置，经模/数(A/D)转换后，利用数字信号处理(DSP)技术将图象滤波，并同时通过高速传输线路传至主电脑装置，利用OCR技术辨识出文本关键词，输入资料库查询系统查询得到所需相关资料(如解释文字、声音、图象等)，并同时将之显示于主电脑装置的显示器上。

本发明的摄影式智能阅读装置的硬件结构说明如下。首先，请参阅图1，本发明的摄影式智能阅读装置包括：一摄影式阅读装置10，作为图象摄入装置，用以摄入文数字、条码、图象；一主电脑装置12，作为整个系统的控制核心；及一高速数据传输缆线14，连接前述摄影式阅读装置10及主电脑装置12，用以传输图象资料。当摄影式阅读装置10摄入图象后，经由高速数据传输缆线14将图象资料传输给主电脑装置12，藉以提供不同应用所需。例如，当主电脑装置12为一电子字典，则在摄影式阅读装置10经高速数据传输缆线14输入字元、单字或短语的图象资料后，主电脑装置12会显示出该字元、单字或短语的相关资料。

请参阅图2，本发明摄影式智能阅读装置的摄影式阅读装置10系经由高速数据传输缆线14连接至通讯控制接口30，再经由通讯控制接口30将资料输入给主电脑装置12。前述摄影式阅读装置10包括：一光摄影透镜16，作为文字图象的成像装置；一开关18；一二维图象感应器20，例如一CCD或CMOS图象感测器，用以接收经前述光摄影透镜16成像的文字图象的光信号，并将光信号转换成模拟电信号；一模拟数字(A/D)转换器22，用以将由前述图象感应器获得的模拟信号转换为数字信号；一数字信号处理器24，用以受前述开关18控制，可接收经前述模拟数字转换器22输出的数字图象讯号，对该数字图象讯号进行滤波处理；一存储装置26，可为随机存取存储器(RMA)及只读存储器(ROM)，其中，只读存储器是用以储存控制数字信号处理器24操作所需的程序，而随机存取存储器则是用于图象感应器20及数字信号处理器24的一般操作中。

前述摄影式阅读装置10可自印刷品28上撷取图象。前述摄影式阅读装置10的透镜16置于其前端，且透镜16的设计最好能配合使用者使用的方式，同时提供给物端(即印刷品28)较长的景深。

前述高速数据传输缆线14可为一并行端传输缆线，用以连接至主电脑装置的并行端。或可为一串行端传输缆线，用以连接至主电脑装置的串行端。或者，亦可为符合通用串行总线(universal serial bus，简称(USB)协定，或PCMCIA或PC卡标准的通讯方式的缆线。当然，传输的方式若是为了要避免使用缆线，也可以采用无线或是红外线的方式。

前述开关18可为一即时开关，也就是当使用者按着开关18时，摄影式阅读装置10便持续地读入图象，而在使用者放开开关18时，摄取一静态图象。或者，开关18亦可为一般的按键开关，当开并18开启时，便摄取图象，当开关18关闭时，便停止摄取图象。

前述图象感应器20受一图象感测驱动装置控制，以将撷取到的图象转换成模拟图象讯号。而在本实施例中，前述图象感测驱动装置系储存于存储装置26中的程序指令，此程序指令同时亦控制前述数字信号处理器24的运作。

前述数字信号处理器24为整个摄影式阅读装置的控制核心，在本实施例中可为微处理器、微电脑、微控制器或RISC处理器等，其主要动作如下：(1)受开关18控制接收图象讯号；(2)对模拟数字转换器22输出的数字图象信号进行滤波处理，即去除信号的失真部分，同时进行图象信号的边缘定位，结构加强及平滑处理，藉以得到较为理想的数字图象信号；(3)将数字图象信号转换为主电脑装置可识别的图像数字信号，传至通信控制接口30。

请参阅图3，前述图象感应器包括：一图象感测电路34；及一移位暂存器(CCD analog shift register)44，经由一移位闸42(Shift gate)与前述图象感测电路34连接。前述图象感测电路34包括排列成二维矩阵型式的多个光感测元件，且每一个光感测元件包括：并联的一光电二极管36及一电容器38，且其一端接地40。其具体动作方式为：交图象信号传入光电二极管36后，经其光电感应过程转变为一信号电荷(signal charge)，并将之存于电容器38中，再经移位闸42传至移位暂存器44中，转换为模拟图象信号。前述光电二极管36可用一光敏电阻器取代，而移位暂存器44亦可采用CMOS制程的模拟移位暂存器。

请参阅图4，本发明的摄影式智能阅读装置的主电脑装置12包括：一处理单元46，为整个系统的控制核心，可为CISC或RISC处理器，用以执行OCR文字辨识命令及字汇查询命令；一显示装置48，受前述处理单元46控制，藉以显示自该处理单元46输出的资讯。前述处理单元46经由总线50连接至至少一存储装置52，至少一储存装置54，及通讯控制接口30。

前述存储装置52可包括随机存取存储器及只读存储器，供处理单元46工作时使用，用于存储处理单元46工作时的各种中间数据。而前述储存装置54则依据主电脑装置的不同形式，而可为软盘、硬盘、光盘、存储器或PCMCIA存储卡等。例如，在一电子字典中，单字及短语的定义及相关资讯便可储存于储存装置54中。在本发明中，图象辨识及资讯库查询的应用程序也可储存在储存装置54中。前述通讯控制接口30，可经由并行端、串行端或通用串行总线连接于前述高速数据传输缆线14。

请参阅图5，其示出了摄影式阅读装置撷取图象的流程，包括下列步骤：(1)步骤60，决定使用者是否将摄影式阅读装置对准待辨识的印刷体文字或短语，按动采集开关，若无则回到开始，否则进行下一步骤；(2)步骤62，经由光摄影透镜16撷取图象的光信号，同时经由图象感应器20产生矩阵格式的模拟图象信号；(3)步骤64，前述模拟图象信号通过模/数转换器22转换成数字图象信号，然后再传送至数字信号处理器24中；(4)步骤66，经数字信号处理器对数字图象信号进行滤波处理，并将处理后的图象资料阵列传送至摄影式阅读装置的通讯控制接口；(5)步骤68，摄影式阅读装置的通讯控制接口将图象资料阵列经高速数据传输缆线传输至主电脑装置的通讯控制接口，连接通讯控制界面的通讯端可为串行端、平行端、PCMCIA或USB等，然后再回到启始，决定是否再撷取图象。

请参阅图6，其示出了主电脑装置的操作流程，包括下列步骤：(1)步骤70，决定主电脑装置是否自摄影式阅读装置读取图象资料阵列，若无则回到开始，否则进行下一步骤；(2)步骤72，处理单元开始进行字元辨识程序；(3)步骤74，进行资料库查询程序；(4)步骤76，依据查询结果，自资料库中撷取相关资讯；(5)步骤78，将查询得到所需的相关资讯(如解释文字、声音、图象等)显示于主电脑装置的显示器上。

请参阅图7，前述字元辨识程序的流程主要是包括下列步骤：(1)步骤80，经由摄影式阅读装置读取图象资料，并将其以阵列的形式储存于主电脑装置的RAM中；(2)步骤82，将图象资料阵列的多级灰度格式(multi-gray format)或彩色格式(color image format)转化成二级灰度格式(binary-gray format)，即以0与1表示像素的有无，藉以区分文字与背景图象，以便于图象辨识；(3)步骤84，根据各像素的稀疏稠密特征，进行二值化的图象阵列所具有的杂讯过滤，去除一些特别稀疏的杂点，使待辨识的图象点阵整齐、清晰；(4)步骤86，将点阵图象依据其点阵疏密(point density)，将其区分为多块短语图象(wordimage blocks)和多块字元图象(character image blocks)，以便于单元个字元的辨识；(5)步骤88，进行字元或短语图象循环辨识程序；(6)步骤90，根据是否还有未处理的图象，决定是否辨识下一个字元或短语，若是则回到启始，否则结束辨识。

在前述步骤80中，由摄影式阅读装置输入主电脑装置的图象资料阵列，格式函数为P_mn(X_m，Y_n)，其中(X_m，Y_n)为像素的座标位置，P_mn(X_m，Y_n)为该像素的图象多阶灰度值。

P₁₁(X₁，Y₁)	P₂₁(X₂，Y₁)	P₃₁(X₃，Y₁)	……	P_(m-1)1(X_m-1，Y₁)	P_m1(X_m，Y₁)
P₁₁(X₁，Y₁)	P₂₁(X₂，Y₁)	P₃₁(X₃，Y₁)	……	P_(m-1)1(X_m-1，Y₁)	P_m1(X_m，Y₁)	P₁₂(X₁，Y₂)	P₂₂(X₂，Y₂)	P₃₂(X₃，Y₂)	……	P_(m-1)2(X_m-1，Y₂)	P_m2(X_m，Y₂)
……	……	……	……	……	……	P₁₂(X₁，Y₂)	P₂₂(X₂，Y₂)	P₃₂(X₃，Y₂)	……	P_(m-1)2(X_m-1，Y₂)	P_m2(X_m，Y₂)
……	……	……	……	……	……	P_1n(X₁，Y_n)	P_2n(X₂，Y_n)	P_3n(X₃，Y_n)	……	P_(m-1)(n-1)(X_m-1，Y_{n- 1})	P_mn(X_m，Y_n)

在前述步骤86中，经过滤波处理过的图象资料阵列，利用图象分离与连续的特征，切割成各个独立字元的图象，此即为“框架处理”(framing process)。

各个独立的字元图象阵列分别以g₁，g₂……g_t表示，请参阅图8，以“BIZ”为例，其经切分后，“B”的图象区块以g₁表示，“I”的图象区块以g₂表示，而“Z”的图象区块以g₃表示。函数R(G)为图象循环辨识函数，将m个独立图象块g₁，g₂，g₃……g_t代入R(G)得R(g₁，g₂，g₃……g_t)，可辨识得相对应的字元e₁，e₂，e₃……e_t，循序储存于数组E中，数组E即为辨识所得的关键词。

前述图象循环辨识函数R(G)所采用的字元辨识方法基本上为匹配判别。请参阅图9，以印刷体的“Z”为例，其具有的笔划(stroke)为S-192、S-294及S-396，首先决定每一笔划的相对长度，在本例中，S-294较长，而S-192及S-396则等长；接着决定字元图象的笔划数目，以本例而言，共有三个笔划；决定第一笔划的方向，在本例中，S-192及S-396均为水平方向，S-294为右上至左下的方向；最后再决定字元图象的连接点数目，在本例中为二。然后，根据上述步骤所得到的特征资讯，于资料库查询的程序中，再与字元特征库中的每一个字元的特征相比较。前述字元特征库为预先内建于资料库中，所以本发明的字元辨识，依据内建范本不同，除了可辨识各种不同的文字、数字外，尚可应用于辨识图象。

为了更进一步说明图象循环辨识，请参阅图10，其示出了在步骤88中的字元或短语图象循环辨识程序的流程，包括下列步骤：(1)步骤100，识别字元图象的笔划；(2)步骤102，决定字元图象的笔划数目；(3)步骤103，决定每一笔划的相对长度；(4)步骤104，决定相连接笔划间的角度；(5)步骤105，决定每一笔划的方向；(6)步骤106，根据上述步骤取得字元的特征资讯；(7)步骤108，将每一个字元像素的特征与字元特征库中的每一个字元图象的特征相比；(8)步骤110，是否找到特征相匹配的字元，若是则进行至步骤112，否则进行至步骤114；(9)步骤112，使用在字元特征库中找到的字元作为参考字元码；(10)步骤114，使用在字元特征库中找到特征最接近的字元作为参考字元码。

请参阅图11，其示出了对关键词进行查询动作的流程，包括下列步骤：(1)步骤116，自存储器中读取经辨识转换后的文本关键词；(2)步骤118，查询资料库，将文本关键词与资料库中既有的资料进行比较；(3)步骤120，决定是否找到相符的资料，若是，则进行至步骤124，否则进行至步骤126；(4)步骤124，从资料库中获取此关键词的相关资讯；(5)步骤126，获取与此关键词最接近的相关资讯；(6)步骤250，将获取的相关资讯显示于液晶显示器上。

前述步骤250中，在查询资料库后，所获取的相关资讯，除了字元、单字或短语的定义与说明外，并不仅局限于文字的资料，而是可包括文字、图象。声音等多媒体资料。

在上述的实施例中，主电脑装置可为任何包含有微处理器的装置，如个人电脑、手持式个人电脑，或电子字典，例如英业达股份有限公司生产的无敌CD的电脑阅读辞典等。

Claims

1.一种用摄影式智能阅读装置读取文件的方法，所述摄影式智能阅读装置包括摄影式阅读装置、主电脑装置和连接摄影式阅读装置与主电脑装置的高速数据传输缆线，所述方法包括下列步骤：

(ii)将该图象讯号传送至主电脑装置；

(iv)根据辨识出的字元或短语，对资料库进行查询；

(v)进行图象循环辨识步骤；

所述图象循环辨识步骤包括下列步骤：

(i)识别字元图象的笔划；

(ii)决定字元图象的笔划数目；

(iii)决定每一笔划的相对长度；

(iv)决定相连接笔划间的角度；

(v)决定每一笔划的方向；

(vi)根据上述步骤取得字元的特征资讯；

2.如权利要求1的方法，其特征在于，在前述步骤(i)，当使用者按动开关，摄影式阅读装置会连续地撷取物体图象并产生图象讯号，而当使用者放开开关时，才撷取一静态图象进行辨识。

3.如权利要求1的方法，其特征在于，在前述步骤(iii)，主电脑装置对资料库查询的步骤包括下列步骤：

(i)自存储器中读取经辨识转换后的字元或短语；

(ii)查询资料库，将所述字元或短语与资料库中既有的包含文字字元和短语的资料进行比较；

(iii)决定是否找到相符的资料，若是，则从资料库中获取此相关资讯，否则获取最接近的相关资讯。

4.如权利要求1的方法，其特征在于，前述图象可为文字。

5.如权利要求1的方法，其特征在于，前述与辨识结果最接近的相关资讯可包括文字、图象、声音等多媒体资料。