CN100338619C - 字符识别处理设备、字符识别处理方法和便携式终端设备 - Google Patents

Abstract

可以改善识别率和识别速度，简化成像设备和构成系统的设备所需的规范，降低功耗和制造成本。字符识别处理方法将字符识别对象的字符图像与用于字符识别的字符框的指针一起显示在显示器(12)上，并通过具有与将被识别的字符串相匹配的指针的成像部分(9)成像字符图像。通过图像获取部分(3)获取所成像的字符图像的图像数据。布局分析部分(5)从对应于字符图像的指针控制部分(4)中接收字符图像的图像数据和指针位置信息并将该图像数据与该指针位置信息进行比较，从而分析将被识别的字符串的所述行和字符排列。根据分析结果，字符隔离部分(6)隔离一字符。字符识别部分(7)执行与字符图像相关的字符识别并将图像数据转换为字符数据。

Description

字符识别处理设备、字符识别处理方法和便携式终端设备

技术领域

本发明涉及最佳用于诸如便携式电话和便携式信息终端等便携式终端设备的字符识别处理设备、字符识别处理方法以及便携式终端设备。

背景技术

作为通常的字符识别方法和通常的字符识别设备，已经知道在例如JP-A-2001-60250(专利文献1)和JP-A-2000-76378(专利文献2)中披露了一种字符识别方法和一种字符识别设备。

在JP-A-2001-60250中公开的字符识别方法和字符识别设备中，从其图像被输入的字符中提取一特征量并在所提取特征量的基础上识别所述字符。在这个例子中，每次在预定间隔处扫描其图像被输入的字符，获得多个扫描线与所述字符相交的次数。此外，获得在各相邻扫描线之间所获得的相交次数的差值的总和，以做为用于识别所述字符的特征量之一。以预定间隔在至少两个不同的方向上或者在两个彼此垂直相交的方向上执行相对于将被识别的所述字符的扫描操作。

另一方面，在JP-A-2000-76378中公开的字符识别方法中，形成输入图像数据的轮廓数据。通过格式化所形成的轮廓数据而获得的数据与通过提取在前登记的标准字符的轮廓数据所形成的簿数据进行比较，以便识别一个字符。此时，根据输入图像数据的字体或失真，所述图像数据的轮廓数据被变形为可由所述簿数据识别的字体或者被变形以便使在所述数据与所述簿数据进行比较之前所述失真已经被校正。

[专利文献1]

JP-A-2001-60250

[专利文献2]

JP-A-2000-76378

但是，在通常的字符识别方法和字符识别设备中，当根据所取出的字符图像数据来识别字符时，分别需要在布局分析或切割操作过程中通过使用扫描线或轮廓数据执行规定处理以改善识别率或识别速度。

此外，通常，当其字符需要被识别的字符串被一次全部摄影时，需要增加摄影设备(例如CCD摄像机等)的像素数量，以便确保用于一个字符的分辨率和所需或更多值的大标度数据被处理。由此，不希望必需增加主CPU或DSP或工作RAM的MIPS(每秒百万个指令)值。

考虑到上述情况做出了本发明和本发明的一个目的就是提供一种字符识别处理设备、一种字符识别处理方法以及一种便携式终端设备，它们能够改善识别率和识别速度，并能够降低形成摄影设备或系统的设备所需规范的程度和减少电源消耗及其成本。

发明内容

根据本发明的字符识别处理设备包括：显示单元，用于显示字符图像作为将要识别的对象以便识别字符，并且还显示字符框以便识别所述字符；摄影单元，用于在所述字符框与显示单元上的所述字符图像相对应的情况下对所述字符图像进行摄影；图像取得单元，用于取得作为将被识别对象的所述字符图像的图像数据，所述字符图像被摄影以便识别字符；指针信息输出单元，用于输出表示所述字符框位置的指针位置信息，所述字符框用于识别与所述字符图像对应的字符；布局分析单元，用于将所述指针位置信息与所取得的字符图像的图像数据进行比较以便分析所述字符的排列；字符切割单元，用于在所述布局分析单元的分析结果的基础上提取所述字符图像；和字符识别单元，用于将所提取的字符图像识别为所述字符并将该字符图像转换为字符信息。

根据上述结构，当需要识别其字符将的所述对象的字符被识别时，作为将被识别对象的所述字符图像与用于识别所述字符的所述字符框一起被显示在由液晶显示元件形成的显示器部件上。在用于识别所述字符的所述字符框的指针被设置到作为将被识别对象的字符串上的同时，利用诸如CCD摄像机的图像拾取部件摄影所述字符图像。然后，利用所述图像取得单元取得所述字符图像的图像数据。利用所述布局分析单元将所述指针位置信息与所取得的字符图像的图像数据进行比较，以分析多行或字符的排列。通过所述字符切割单元和所述字符识别单元相对于所述字符图像提取和识别所述字符。因此，在所述布局分析单元中，作为将被识别对象的所述字符串的行或字符的排列信息可以被使用所述指针位置信息进行精确的分析。结果是，可以改善识别率和识别速度。此外，即使当用于识别所述字符的图像数据的像素数没有增加时，通过使用所述指针位置信息也能够高精度地识别所述字符。因此，不再需要摄影部件具有很多像素的高性能规范和能够降低设备所需的规范。此外，可以减少所述设备中数据的吞吐量，从而可以减少形成诸如CPU、DSP的系统的设备、存储器等所需的规范。由此，所述设备每个部件的规范程度可以减少，因而可以降低功耗和成本。

此外，在上述的结构中，当作为将被识别对象的字符图像由通过连续摄影操作所获得的多个字符图像组成时，所述图像取得单元从所有字符图像中取得分别用于预定区域的所述字符图像的图像数据。所述布局分析单元将所述指针位置信息与所取得的多个字符图像的图像数据的每一个进行比较，以分析所述字符的排列。

在上述结构中，当不能通过摄影操作一次摄影所述字符图像的全部时，例如，当作为其字符将被识别的对象的所述字符串很大时，在摄影部件移动的同时，执行连续的摄影操作以对所述字符图像摄影。在所获得的字符图像的图像数据当中，利用所述图像取得单元从全部所述字符图像中取得分别用于预定区域的所述字符图像的图像数据。使用所述布局分析单元将所述指针位置信息与所取得的所述多个字符图像的图像数据的每一个进行比较，以便分析所述行或字符的排列。如上所述，所述字符图像被分成某些框的静态图像和所述静态图像与所述指针位置信息被一起得到。因此，即使当作为将被识别对象的所述字符串很长时，也可以使用所述指针位置信息在所述布局分析单元中精确分析作为将被识别对象的所述字符串的排列信息。

此外，在上述结构中，当作为将被识别对象的所述字符图像由多个通过连续摄影操作所获得的字符图像组成时，所述图像取得单元从所有字符图像中取得分别用于预定区域的所述字符图像的图像数据。所述布局分析单元将所述指针位置信息与其中所述多个所取得的字符图像被连接在一起的图像数据进行比较，以便分析所述字符的排列。

在上述的结构中，当利用摄影操作没有一次摄影全部字符图像时，例如，当作为其字符将被识别的所述对象的字符串很长时，在摄影部件移动的同时连续执行摄影操作，以对所述字符图像进行摄影。在所获得的字符图像的图像数据中，利用所述图像取得单元从全部图像数据中取得分别用于预定区域的所述字符图像的图像数据。在所取得的所述多个字符图像的图像数据被暂时连接到图像上之后，利用所述布局分析单元将所述图像数据与所述指针图像信息进行比较，以分析所述行或字符的排列。如上所述，所述字符图像被分成某些框的静态图像和所述静态图像与所述指针位置信息被一起取得。因此，即使当作为将被识别对象的字符串很长时，通过使用所述指针位置信息也能够在所述布局分析单元中精确地分析作为将被识别对象的所述字符串的排列信息。

此外，本发明提供了一种具有上述字符识别处理设备的便携式终端设备。

根据上述结构，在其上安装有所述字符识别处理设备的便携式终端设备中，降低了用于形成诸如摄影部件、CPU、DSP、或存储器等系统的设备所需的规范。因此，可以降低所述设备每个部件的规范程度并实现低功耗和低成本。

根据本发明的便携式终端设备包括：显示单元，用于显示字符图像作为将要识别的对象以便识别字符，并且还显示字符框以便识别所述字符；摄影单元，用于在所述字符框与显示单元上的所述字符图像相对应的情况下对所述字符图像进行摄影；图像取得单元，用于取得被摄影的字符图像的图像数据；指针信息输出单元，用于输出表示所述字符框的位置的指针位置信息，所述字符框与所述字符图像对应；布局分析单元，用于将所述指针位置信息与所取得的字符图像的图像数据进行比较以分析所述字符的排列；字符切割单元，用于在所述布局分析单元分析结果的基础上提取所述字符图像；和字符识别单元，用于将所提取的字符图像识别为所述字符并将该字符图像转换为字符信息。

根据上述结构，在所述字符图像的图像数据和表示用于识别所述字符的字符框的位置的所述指针位置信息的基础上，分析与用于识别所述字符的所述字符框对应的字符的布局以便识别所述字符。由此，在改善用于识别所述字符的识别率和识别速度的同时，可以降低形成诸如摄影部件、CPU、DSP、存储器等系统的设备所需的规范。因此，所述设备每个部件的规范程度可以被降低并实现低功耗和低成本。

此外，在上述的结构中，还提供了一种字符框显示单元，用于基于所述摄影单元的摄影显示用于识别叠加在所述字符图像上的字符的所述字符框。

根据这个结构，当用户看见用于识别所述字符的显示字符框时，该用户能够很容易地把作为识别对象的字符摄影成用于识别该字符的字符框以便识别该字符。

在任何一个上述结构中，还提供了识别字符显示单元，用于显示作为所述字符识别单元识别结果的所述字符信息。

根据该结构，所述用户能够很容易地通过显示器识别所述识别结果的字符信息。

此外，在上述结构中，所述识别字符显示单元单独可选地显示作为所述识别结果的所述字符信息，以用于每个预定字符单元。

根据该结构，所述用户能够在显示字符信息的基础上单独选择和利用被识别的字符信息，以用于诸如多种字符的每个单元。

此外，在上述任何一种结构中，还提供了识别字符存储单元，用于存储作为所述字符识别单元的识别结果的所述字符信息。

根据该结构，所述用户能够以所希望的形式存储和利用所述识别字符信息。

此外，在上述结构中，所述识别字符存储单元将所述字符信息存储在识别字符存储区域中。

根据该结构，例如，多个识别结果的字符信息可以被存储在所述识别字符存储区域中并被使用。

此外，在上述结构中，当所述字符信息的类型是电话号码、邮件地址或URL(统一资源定位器)中的任何一个时，所述识别字符存储单元将所述字符信息登记在与每个字符信息的类型相对应的数据库中。

根据该结构，当所述电话号码、邮件地址或URL等的字符被识别时，所述字符信息能够被根据所述字符的类型登记在诸如电话簿或书签的数据库中并被利用。

在上述任何一种结构中，还提供了识别字符利用单元，用于根据所述字符信息的类型利用作为所述字符识别单元的识别结果的所述字符信息。

根据该结构，所述用户能够根据识别字符信息的类型有效地将所述字符信息用于诸如电话号码、邮件地址或所述URL等中的每一个。

此外，在上述结构中，当所述字符信息的类型是所述电话号码时，所述识别字符利用单元显示到所述电话号码的发送屏幕。

根据该结构，当所述识别字符信息是电话号码时，显示到所述电话号码的发送屏幕，以便使用户能够简单地执行发送操作。

在上述的结构中，当所述字符信息的类型是邮件地址时，所述识别字符利用单元显示到所述邮件地址的电子邮件的准备屏幕。

根据该结构，当所述识别字符信息是邮件地址时，显示到所述邮件地址的子邮件的准备屏幕，以便使用户能够简单地准备和发送电子邮件。

此外，在上述结构中，当所述字符信息的类型是URL(统一资源定位器)时，所述识别字符利用单元显示到所述URL的网络连接屏幕。

根据该结构，当所述识别字符信息是所述URL时，则显示到该URL的网络连接屏幕，以便使用户能够简单地执行到诸如互联网的连接操作以获得预期的信息。

此外，在上述任何一种结构中，所述摄影单元具有对作为将被识别对象的字符图像进行连续摄影的功能。当通过所述摄影单元获得作为将被识别的对象的多个字符图像时，所述图像取得单元取得彼此相互连接在一起的多个字符图像的图像数据。所述字符识别单元识别所述相互连接的字符图像的图像数据的字符，以便将所述图像数据转换为所述字符信息。

根据该结构，当作为将被识别对象的字符串没有被一次置入摄影范围内时，通过使所述字符图像与用于识别该字符的所述字符框协同操作连续摄影所述字符图像和如此获得多个字符图像被相互连接在一起。由此，即使当所述字符串很长时，也能够改善识别所述字符的识别率和识别速度。

在上述任何一种结构中，所述摄影单元具有连续摄影作为将被识别对象的所述字符图像的功能。当利用所述摄影单元获得作为将被识别对象的多个字符图像时，所述图像取得单元取得所述多个字符图像的图像数据。所述字符识别单元识别分别用于所述多个字符图像的所取得的图像数据的所述字符，以便将所述图像数据转换为所述字符信息。

根据该结构，当作为将被识别对象的所述字符串没有被一次置入摄影范围内时，通过使所述字符图像与用于识别该字符的字符框协同操作连续摄影所述字符图像。所述图像数据的字符被识别以分别用于被如此获得的多个字符图像。由此，即使当所述字符串很长时，也可以改善识别字符的识别率和识别速度。

此外，在上述任何一种结构中，所述字符识别单元具有多种满足作为将被识别对象的多种字符类型的识别模式，并能够根据预置识别模式执行适于所述字符相应类型的字符识别处理。

根据该结构，所述用户设置与将被所述用户识别的字符类型相对应的识别模式。由此，可以执行适于所述字符相应类型的字符识别处理以改善识别率。

根据本发明的字符识别处理方法包括：显示字符图像作为将要识别的对象以便识别字符，并且还显示字符框以便识别所述字符的步骤；在将与所述字符图像相对应的字符框进行显示的同时，对所述字符图像进行摄影的步骤；取得所摄影的字符图像的图像数据的步骤；输出表示用于识别与所述字符图像相协调的所述字符的所述字符框位置的指针位置信息的步骤；将所述指针位置信息与所取得的所述字符图像的图像数据进行比较以分析所述字符的排列的步骤；在所述字符排列分析结果的基础上提取所述字符图像的步骤；和将所提取的字符图像识别为所述字符并将所述字符图像转换为字符信息的步骤。

根据该方法，通过使用所述指针位置信息可以精确地分析作为将被识别对象的字符串的多个行或多个字符的排列信息，以便改善识别率和识别速度。此外，使用所述指针位置信息，从而可以降低所述设备每个部件需要的规范。由于可以减少所述设备中的数据吞吐量，所以可以降低所述设备的规范程度和实现低电耗和低成本。

此外，本发明一种字符识别处理程序，其中，可以利用计算机分别执行上述各步骤。

根据该程序，可以在所述字符图像的图像数据和表示用于识别所述字符的字符框的位置的所述指针位置信息的基础上精确分析与用于识别所述字符的所述字符框对应的字符的布局。在改善用于识别所述字符的识别率和识别速度的同时，可以降低所述设备每个部件的规范程度并实现低电耗和低成本。

附图说明

图1的框图示出了具有根据本发明第一实施例的字符识别处理设备的便携式终端设备的结构；

图2是在根据本发明第一实施例的字符识别处理设备中执行字符识别处理期间的操作的说明图，其示出了作为将被识别对象的字符串被摄影的状态；

图3是在根据本发明第二实施例的字符识别处理设备中执行字符识别处理期间的操作的说明图，其示出了作为将被识别对象的字符串被摄影的状态；

图4是在根据本发明第二实施例的字符识别处理设备中执行字符识别处理期间的操作的说明图，其示出了相对于作为将被识别对象的字符串的字符识别处理状态，该状态被划分为多个部分；

图5示出了根据本发明第三实施例的便携式电话的外部装置的结构，图5(A)是前视图，图5(B)是后视图；

图6的框图示出了根据第三实施例的便携式电话的结构；

图7的框图示出了根据第三实施例在所述便携式电话中涉及字符识别处理的功能性结构；

图8是示出使用图7所示结构中部件的字符的功能性结构的说明图；

图9是示出解释第三实施例中涉及字符识别的所有处理流程和字符的使用的说明图；

图10示出了其字符将被识别的对象的一个例子的图；

图11示出了第三实施例中OCR功能的主菜单屏幕的例子的图；

图12示出了第三实施例中所述OCR功能的每个屏幕的一个例子，图12(A)示出了预览显示屏幕，图12(B)示出了识别模式设置屏幕；和

图13示出了第三实施例中所述OCR功能的每个屏幕的一个例子，图13(A)示出了已识别字符显示屏幕，图13(B)示出了功能菜单显示屏幕，图13(C)示出了音频发送屏幕，图13(D)示出了互联网连接屏幕，和图13(E)示出了邮件准备屏幕。

在附图中，附图标记1表示便携式终端设备。2表示字符识别处理设备。3表示图像取得部件。4表示指针控制部件。5表示布局分析部件。6表示字符切割部件。7表示字符识别部件。8表示格式输出部件。9表示摄影部件。10表示显示控制部件。11表示应用部件。12表示显示器。30表示便携式电话。33表示第显示部件。34表示摄像机。35表示第二显示部件。36表示操作键。41表示摄影部件。42表示操作部件。43表示显示部件。44表示通信部件。45表示音频处理部件。46表示存储部件。47表示控制处理部件。51表示字符识别部件。52表示字符使用部件。61表示暂存部件。62表示存储部件。63表示输出部件。64表示类型决定部件。

具体实施方式

现在，将参考附图描述本发明的实施例。

(第一实施例)

图1的框图示出了具有根据本发明第一实施例的字符识别处理设备的便携式终端设备的结构。在该实施例中，描述字符识别处理设备2被安装在便携式终端设备1上的结构例。

本实施例的字符识别处理设备2包括图像取得部件3、指针控制部件4、布局分析部件5、字符切割部件6、字符识别部件7和格式输出部件8。这些构成元件是通过在包括处理器和存储器等的控制处理部件中运行软件程序、软件和硬件的组合或专用硬件来实现的。

便携式终端设备1除了包括字符识别处理设备2以外，还包括例如由CCD摄像机组成的摄影部件9、显示控制部件10和应用部件11。摄影部件9对其字符将被识别的对象进行摄影和取得对象的摄影数据，并将摄影数据输入给字符识别处理设备2的图像取得部件3。图像取得部件3对应于图像取得单元，用于将输入的摄影数据转换为预定格式的图像数据并将该图像数据输入给显示控制部件10。指针控制部件4对应于指针信息输出单元，用于将涉及用做用于识别字符的字符框的指针的指针位置信息输入给显示控制部件10。显示控制部件10将输入的图像数据和指针位置信息转换为显示数据，并进一步将该显示数据处理成适于由液晶显示元件组成的显示器12的格式和输出所处理的显示数据以便在显示器12上显示信息。

布局分析部件5对应于布局分析单元，用于在识别字符的基础上从图像取得部件3中接收预定格式的图像数据和从指针控制部件4中接收指针位置信息。然后，布局分析部件5将指针位置信息与图像数据进行比较以分析布局。字符切割部件6对应于字符切割单元，用于在布局分析结果的基础上切割和提取与字符单元相关的图像数据。字符识别部件7对应于字符识别单元，用于识别与字符单元相关的切割图像数据并将该图像数据转换为字符数据。格式输出部件8将在字符识别部件7中识别的字符数据转换为适当格式。应用部件11将在格式输出部件8中被转换为格式的字符数据用做与一种应用相关的数据并在需要时将该数据输入给显示控制部件10，以便在显示器12上显示数据。

下面将参考图2描述本发明第一实施例的字符识别处理设备的操作。图2用于解释根据本发明第一实施例在字符识别处理时的操作，并示出了摄影作为将被识别对象的字符串的状态。

利用便携示终端设备1的摄影部件9摄影作为在其字符将被识别的对象16中将被识别对象的字符串17，以便识别字符。当作为将被识别对象的经摄影的字符串17被显示在显示器12上时，将作为用于识别字符的字符框的指针18与作为将被识别对象的字符串17一起显示。在用户调整摄影位置的同时，该用户把作为将被识别对象的字符串17设定给指针18，该用户操纵操作按钮19以摄影处于这种状态的静态图像。

作为将被识别对象的字符串17经摄影的静态图像被转换为确定格式的图像数据并在图像取得部件3中被取得，该图像数据然后被提供给布局分析部件5。布局分析部件5从指针控制部件4中接收指针位置信息，以便将该指针位置信息与字符图像的图像数据进行比较。利用这种方式，布局分析部件5可以使用指针位置信息精确地分析作为将被识别对象的字符串17的多个行或多个字符的排列信息。字符切割部件6切割与字符单元相关的图像数据。为字符单元所提取的图像数据被转换为字符数据以识别字符。

如上所述，在第一实施例的字符识别处理设备中，当作为其字符将被识别的对象16的将被识别对象的字符串17的字符被识别时，作为将被识别对象的字符串17的图像和作为用于识别字符的字符框的指针18的图像被一起显示在显示器12上。在用户把指针18设置到作为将被识别对象的字符串17上的同时，一个静态图像被摄影。由此，摄影字符图像的图像数据被与指针位置信息一起取得。由此，在布局分析部件5中，通过使用指针位置信息可以容易和精确地分析多个行或多个字符的排列信息，从而可以在识别字符中提高识别率和识别速度。

(第二实施例)

下面结合图3和4来说明根据本发明第二实施例的字符识别处理设备的操作。图3和4用于解释根据本发明第二实施例在字符识别处理期间的操作。图3示出了作为将被识别对象的字符串被摄影的状态。图4示出了被分成多个部分的与作为将被识别对象的字符串相关的字符识别处理的方式。由于字符识别处理设备的结构与第一实施例之结构相同，所以，这里也使用图1。

在第二实施例中，使用便携式终端设备1的摄影部件9对作为在其字符将被识别的对象22中将被识别的对象的字符串23进行摄影，以与第一实施例相同的方式识别字符。在这种情况下，当作为将被识别对象的字符串23的范围较宽从而不能一次取得图像时，执行下述操作。

当作为将被识别对象的摄影字符串23被显示在显示器12上时，将作为用于识别字符的字符框的指针18与作为将被识别对象的字符串23一起显示。在用户调整摄影位置的同时，该用户把作为将被识别对象的字符串23的始端位置的一部分(图3所示例子中左端的一部分)设定给指针18。在这种状态下，操作按钮19被操作以开始连续静态图像的摄影操作。在开始摄影操作之后，在该用户固定便携式终端设备1的移动方向的同时，在开始摄影操作的基础上，该用户将便携式终端设备与作为将被识别对象的字符串23平行地滑向与始端位置相反的方向(图3所示例子中的右方向)，从而朝向字符的写方向。由此，当作为将被识别对象的字符串23被显示在显示器12上从而在指针18中容纳字符串23达到作为将被识别对象的字符串23的终端位置(图3所示例子中的右端位置)时，连续静态图像的摄影操作完成。此时，用户例如在连续静态图像摄影操作期间保持按下操作按钮19。

作为将被识别对象的摄影字符串23的连续静态图像被分成多个图像数据并在图4所示的图像取得部件3中取得。在这种情况下，一行的字符图像被分成某些框(1)到(4)的静态图像，并且从所有的字符图像中提取该静态图像并将其转换为确定格式的图像数据。图像数据被传送给布局分析部件5。

此外，在布局分析部件5中，从指针控制部件4中接收指针位置信息，以便将该指针位置信息与字符图像的图像数据进行比较。在这种情况下，就用于分析布局的每个框的字符图像而言，多个字符可能不能被分别地容纳在指针的字符框内。因此，毫无疑问，可以使用指针位置信息分析相对一“行”的排列信息。但是，指针位置信息不可能被用于分析与每个字符相关的排列信息。在这种情况下，指针位置信息可以被移向连续静态图像的运动方向，以分析每个字符的排列信息。如上所述，在布局分析部件5中，即使当作为将被识别对象的字符串23很长，也能够通过使用指针位置信息精确地分析作为将被识别对象的字符串23的排列信息。在该实施例中，可以精确地分析多行的排列信息。

然后，在字符切割部件6中，图像数据被切割以用于字符单元。在字符识别部件7中，所提取的用于字符单元的图像数据被转换成用于识别字符的字符数据。在这种情况下，作为字符的识别结果，在框(1)中获得“ABCDEFGHIJKL”。在框(2)中，获得“FGHIJKLMNOP”。在框(3)中，获得“JKLMNOPQRSTU”。在框(4)中，获得“OPQRSTUVW”。在字符识别部件7中，合成分别用于框的字符识别结果，从而获得作为字符最后识别结果的“ABCDEFGHIJKLMNOPQRSTUVW”。

在第二实施例中，为了简便目的，将解释把用于一行的字符图像与指针进行比较以执行一系列字符识别处理的情况。但是，如图3所示，当指针18被提供用于两行时，可以同时执行与这两行相关的一系列字符识别处理。

如上所述，在第二实施例的字符识别处理设备中，当识别作为其字符将被识别的对象22的将被识别对象的字符串23的字符时，在显示器12上一起显示将被识别对象的字符串17的图像和作为用于识别字符的字符框的指针18。然后，用户移动便携式终端设备1以摄影连续的静态图像。然后，所摄影的字符图像被分成某些静态图像和与指针位置信息一起取得每个框的图像数据。由此，在布局分析部件5中，可以使用指针位置信息容易和精确地分析行的排列信息，并且在识别字符时可以提高识别率和识别速度。

在上述所述的第二实施例中，当执行连续的静态图像摄影以获得多个图像数据时，通过保持便携式终端设备1的操作按钮19被按下使该便携式终端设备在作为将被识别对象的字符串上移动。但是，本发明并不局限于此。例如，当用户将便携式终端设备1的主体移动摄影范围时，该用户可以每次按下操作按钮19，以便间歇地获得多个图像数据。该用户也可以获得连续宽范围的图像数据作为将被识别对象的字符串的图像。

此外，布局分析部件5可以分析通过图像取得部件3取得的多个字符图像(静态图像)的每个字符图像的布局。该布局分析部件可以暂时将多个字符图像连接到一个字符图像，然后分析其布局。

如上所述，在该实施例中，即使当用于识别字符的图像数据的像素的数量没有增加，通过使用指针位置信息也能够高精度地识别字符。因此，高性能规范、即增加摄影部件9的像素数量是不必要的，并且可以降低设备所需之规范。此外，可以减少了设备中数据的吞吐量，从而可以降低形成诸如CPU、DSP、存储器等系统的设备所需的规范。因此，可以降低该设备每个部件的规范长度，并实现低电耗和低成本。

(第三实施例)

下面将描述作为第三实施例的当字符识别处理设备被安装在便携式电话上时的结构和操作的一个示例。

图5示出了根据本发明第三实施例的便携式电话的外观的结构图。图5(A)是前视图，图5(B)是后视图。本实施例的便携式电话30包括第一外壳31和第二外壳32。在第一外壳31的前表面上，即在当用户打开第一外壳31和第二外壳32并将其持在手中时大致面对该用户的表面上，提供了由液晶显示元件组成的第一显示面板33。此外，在与第一外壳31的前表面相对的后表面中，提供了作为摄影部件的摄像机34和由液晶显示元件组成的第二显示部件35。

在第二外壳32的前表面上，布置了操作部件的操作键36，其作为具有诸如开(on-hook)/关(off-hook)键、数字字符键、功能键等的多个键入按钮。根据设备的工作模式或显示屏幕，各种功能被分配给功能键PF1-PF5。

图6的框图示出了根据第三实施例的便携式电话的结构。该便携式电话包括：摄影部件41，具有用于对其字符将被识别的对象的图像进行摄影的摄影单元的功能；操作部件42，用于执行用户的操作和输入；显示部件43，具有字符框显示单元的功能并具有用于显示诸如字符识别结果等各种信息的识别字符显示单元的功能；通信部件44，用于与移动通信系统的基站执行无线通信；音频处理部件45，用于对音频语音或呼叫接收声音执行音频处理；存储部件46，具有用于存储各种信息的识别字符存储单元的功能；以及控制处理部件47，执行诸如使用所识别的字符数据或控制各部件等的字符识别操作和应用处理。

当在便携式电话中执行音频通信时，通过通信部件44、音频处理部件45和控制处理部件47输入、发送/接收和输出讲话声音。当发送或接收诸如电子邮件的消息时或通过访问诸如互联网的网络获得各种信息时，通过操作部件42、显示部件43、通信部件44和控制处理部件47输入字符数据并发送和接收及显示诸如字符数据或图像数据的信息。当图像被摄影时，利用摄影部件41和控制处理部件47对需要被摄影的对象进行摄影以获得摄影图像的图像数据。存储部件46存储各种信息，例如包括电话号码或通信对方邮件地址的电话簿登记信息、电子邮件的字符数据、摄影图像的图像数据、呼叫接收声音的音频数据。

图7的框图示出了在根据第三实施例的便携式电话中涉及字符识别处理的功能结构。在第三实施例中，提供了与第一和第二实施例那些类似的摄影部件41和字符识别部件51。此外，还提供了字符使用单元52。字符使用单元52具有识别字符利用单元的功能，用于当也提供每个部件功能中的识别结果时使用字符数据。通过包括处理器和存储器的硬件以及包括被使用进行操作的软件程序实现字符识别部件51和字符使用部件52。

图8是示出图7所示结构中的字符使用部件的功能结构的说明图。字符使用部件52包括暂存部件61、存储部件62和输出部件63。暂存部件61是识别字符存储单元，用于暂存字符识别处理之后的字符数据。存储部件62是识别字符存储单元并具有多个作为用于分别存储多个字符数据的识别字符存储区域的多个存储区域。输出部件63具有类型判定部件64，用于判定字符数据的类型以执行与识别结果的字符数据类型相对应的输出操作。当通过识别字符获得的字符数据是电话号码时，执行涉及到电话号码的音频呼叫或在作为数据库的电话簿中登记的操作。当字符数据是邮件地址时，执行涉及到邮件地址的邮件准备或在电话簿中登记的操作。当字符数据是URL(统一资源定位器)时，执行涉及用于访问URL的互联网的连接或在作为数据库的书签中登记的操作。

现在，下面将描述在第三实施例中涉及字符的识别和字符的使用的操作的具体示例。图9是一个解释性示图，该图示出了字符识别和字符使用的整个处理的流程。图9示出了在作为中心的显示部件43上显示的显示屏幕上每个操作状态的转换。这里，描述了一种情况，在这种情况下，利用安装在便携式电话上的OCR(光学字符识别)功能对作为将被识别对象的如图10所示写入作为其字符将被识别的对象的卡101上的字符进行摄影。

当便携式电话的OCR功能被激活时，显示与初始屏幕对应的主菜单屏幕71。图11示出了主菜单屏幕71的一个例子。在该主菜单屏幕71上，显示多个字符数据的登记内容列表。在该实施例中，可以登记将被识别字符串的多个(例如20个)字符数据。这里，当用户通过加亮显示等选择列“未登记”以将注意力集中到(图中以斜线表示的)内容并按下指定给功能键PF1的“选择”按钮时，摄影部件41被激活，以便对作为将被识别对象的新的字符串摄影，并变成等待摄像机摄影的等待状态。然后，显示预览显示屏幕72。当注意力集中到位置移动以转换将被选择的对象时，操作指定给功能键PF1的外部周边部件的交叉键。

图12(A)示出了预览显示屏幕72的一个例子。在预览显示屏幕72上，显示作为由摄影部件41摄影的将被识别的对象的字符图像81。在字符图像81上，叠加和显示用于识别字符并表示字符识别区域的字符框。当用户观看字符图像81并调整摄影范围以便使作为将被识别对象的字符串被容纳在用于识别字符的字符框中并按下指定给功能键PF1的“摄影”按钮时，字符图像81被摄影。此外，利用字符识别部件51执行诸如分析作为将被识别对象的字符串的布局、切割字符、识别字符等的在第一实施例中描述的一系列操作。

此外，当用户按下在图12(A)所示的预览显示屏幕72中指定给功能键PF3的“功能”按钮时，模式被切换为摄影部件41的功能设定模式，以显示摄像机功能设定屏幕73。图12(B)示出了摄像机功能设定屏幕73的一个例子。在摄像机功能设定屏幕73中，识别模式、亮度调节和摄像光(摄影光)中的任何一个都可以被选择为设定的对象。这里，当用户选择列“识别模式”以将注意力集中到它并按下指定给功能键PF1的“选择”按钮时，显示识别模式设定屏幕74。

图12(C)示出了识别模式设定屏幕74的一个例子。在识别模式设定屏幕74中，当自动模式、URL模式、邮件地址模式和电话号码模式中的任何一个被选择为识别模式时，对摄影字符图像的所有字符串执行由所选择的模式规定的字符识别处理。当选择自由模式时，相对于作为对象的任意字符串来识别字符并且能够被识别的所有字符串都被输出作为被识别的字符数据。当选择自动模式时，字符识别部件51依据来自4种模式当中的字符图像81的内容自动决定适当的识别模式，以便以适当的识别模式来识别字符。这里，当用户选择用于它的识别模式并按下指定给功能键PF1的“选择”按钮时，屏幕返回到预览显示屏幕72。在上述的操作中，对摄影字符图像的所有字符串执行由所选择模式规定的字符识别处理。但是，当选择自动模式、URL模式、邮件地址模式和电话号码模式中的任何一种模式时，只有与URL等对应的字符串可以被输出作为所识别的字符数据。

当根据预览显示屏幕72的状态完成摄影和字符识别处理时，显示已识别字符显示屏幕75。图13(A)示出了已识别字符显示屏幕75的一个例子。在该已识别字符显示屏幕75中，显示作为识别结果的字符串的字符数据。这里，当识别字符串包括电话号码、邮件地址和URL时，执行锚定(anchor)显示，在该显示中，上述各项被分别施加了下划线以突出所选择的字符串。在该实施例中，分析所识别的字符串以识别电话号码、邮件地址和URL。根据字符串的类型可以单独选择和使用电话号码、邮件地址和URL。

为了识别电话号码、邮件地址和URL，例如可以使用下述的决定方法。

(1)电话号码

当存在具有从0开始的10个或更多数字的数字字符时

(2)邮件地址

当存在包括“@”的字符时

(3)URL

当存在以“http://”或“https://”开始的字符时

在主菜单屏幕71中，当用户选择已登记字符串的列并按下指定给功能键PF1的“选择”按钮时，显示已识别字符显示屏幕75，以便显示过去已经识别和存储的字符串的字符数据。

在已识别字符显示屏幕75中，当用户按下指定给功能键PF3的“功能”按钮时，显示功能菜单显示屏幕76。图13(B)示出了功能菜单显示屏幕76的一个例子。在功能菜单显示屏幕76中，选择连接、编辑、复制、存储、在电话簿中重新登记、在电话簿中附加登记、以及登记书签中的任何一个。

当不能被一次摄影的长字符串被连续摄影以便将识别结果一起连接成一个时，选择功能菜单显示屏幕76中的“连接”功能。当用户选择将被注意的“连接”的列并按下被指定给功能键PF1的“选择”按钮时，显示预览显示屏幕72，从而能够对字符串进行摄影。然后，当在先前时间陆续完成作为将被识别对象的字符串的摄影和字符识别处理时，预览显示屏幕被转换成已识别字符显示屏幕75。然后，附加显示此时被识别的字符串。在识别字符的过程中，可以识别多个图像的字符，或者可以在多个图像被一起连接成一个图像之后识别字符。

在功能菜单显示屏幕76中，当用户选择除“连接”以外的每个功能并且按下指定给功能键PF1的“选择”按钮时，显示对应于每个功能的功能屏幕77，从而执行每个功能。当选择了“编辑”时，激活文本编辑器以显示编辑屏幕。在该编辑屏幕中，用户可以校正被错误识别的字符。当选择了“复制”时，调用复制功能以显示复制范围选择屏幕。因此，用户可以复制所指定范围内的字符数据并在其它的字符输入屏幕中使用所复制的字符数据。当选择了“存储”时，执行被识别字符串的字符数据的存储处理。当该存储处理完成时，显示诸如“已存储”的存储操作完成通知屏幕。由此，通过字符识别处理在此时获得的识别字符串被存储在在主菜单屏幕71中选择的“未登记”的列中。

此外，当选择“在电话簿中新近登记”或“在电话簿中附加登记”时，显示电话簿登记屏幕，从而使用户能够将诸如电话号码、邮件地址、姓名等的识别字符串登记在电话簿的预期列中。当选择“登记书签”时，显示书签登记屏幕，从而用户能够登记诸如作为书签的URL的识别字符串。

在识别字符显示屏幕75中，当用户选择了电话号码、邮件地址和URL中任何一个的字符串并按下指定给功能键PF1的“选择”按钮时，显示与每个字符串的类型相对应的使用屏幕78。当如图13(C)所示选择了电话号码时，显示音频发送屏幕78a作为使用屏幕。在音频发送屏幕78a中，利用简单操作可以执行到其字符将被识别的电话号码的音频发送。当如图13(D)所示选择了URL时，显示互联网连接屏幕78b作为使用屏幕。由此，通过简单操作可以执行通过其字符将被识别的URL的互联网连接。当如图13(E)所示选择了邮件地址时，显示邮件准备屏幕78c作为使用屏幕。由此，通过简单操作可以执行到其字符将被识别的邮件地址的电子邮件的准备。

如上所述，在第三实施例中，与在第一和第二实施例中相同，在对将被识别对象进行摄影的基础上，在预览显示屏幕上显示用于识别字符的字符框，以便对将被识别的对象的字符图像进行摄影。由此，在框中的图像的字符被识别，从而能够减少施加到字符识别处理上的载荷。

此外，选择识别模式以便根据作为将被识别对象的预置字符的类型执行字符识别处理，从而提高字符识别精度。此外，在已识别字符显示屏幕上，多种类型字符数据被安排和显示为识别结果。因此，字符数据能够被分开以用于所规定的字符单元和被单独选择、使用和存储。由此，对应于字符串类型的已识别字符数据能够被很容易地使用例如在电话号码情况下进行音频发送、在邮件地址情况下进行邮件的准备等等。

本发明并不局限于上述的实施例和在不脱离其要点的范围内可以各种形式进行实践。

本发明通过参考特定实施例进行详细描述。但本领域技术人员应当理解，在不脱离本发明的精神和范围的前提下本发明可以做出各种变化和修改。

本申请基于申请日为2002.8.7的日本专利申请No.2002-230312和申请日为2003.5.12的日本专利申请No.2003-133171，其内容在这里引入作为参考。

工业实用性

如上所述，根据本发明，可以提供一种字符识别处理设备和一种字符识别处理方法，它们能够改善识别率和识别速度，能够降低组成摄影设备或系统的设备所需的规范长度，和能够减少电耗和成本。

Claims (19)

1.一种字符识别处理设备，包括：

显示单元，用于显示字符图像作为将要识别的对象以便识别字符，并且还显示字符框以便识别所述字符；

摄影单元，用于在所述字符框与显示单元上的所述字符图像相对应的情况下对所述字符图像进行摄影；

图像取得单元，用于取得所述字符图像的图像数据；

指针信息输出单元，用于输出表示所述字符框位置的指针位置信息，所述字符框与所述字符图像对应；

布局分析单元，用于将所述指针位置信息与所取得的字符图像的图像数据进行比较以分析所述字符的排列；

字符切割单元，用于基于所述布局分析单元的分析结果来提取所述字符图像；和

字符识别单元，用于将所提取的字符图像识别为所述字符并将所述字符图像转换成字符信息。

2.根据权利要求1所述的字符识别处理设备，其中，当由通过连续摄影操作获得的多个字符图像构成作为将被识别对象的字符图像时，所述图像取得单元从所有字符图像中以预定区域分别取得所述字符图像的图像数据；和

其中，所述布局分析单元将所述指针位置信息与所取得的所述多个字符图像的图像数据中的每一个进行比较，以便分析所述字符的排列。

3.根据权利要求1所述的字符识别处理设备，其中，当由通过连续摄影操作获得的多个字符图像构成作为将被识别对象的字符图像时，所述图像取得单元从所有字符图像中以预定区域分别取得所述字符图像的图像数据；和

其中，所述布局分析单元将所述指针位置信息与其中多个取得的字符图像被连接在一起的图像数据进行比较，以便分析所述字符的排列。

4.一种具有根据权利要求1到3中任何一个所述的字符识别处理设备的便携式终端设备。

5.一种便携式终端设备，包括：

显示单元，用于显示字符图像作为将要识别的对象以便识别字符，并且还显示字符框以便识别所述字符；

摄影单元，用于在所述字符框与显示单元上的所述字符图像相对应的情况下对所述字符图像进行摄影；

图像取得单元，用于取得被摄影的字符图像的图像数据；

指针信息输出单元，用于输出表示所述字符框的位置的指针位置信息，所述字符框与所述字符图像对应；

布局分析单元，用于将所述指针位置信息与所取得的所述字符图像的图像数据进行比较以分析所述字符的排列；

字符切割单元，用于基于所述布局分析单元的分析结果来提取所述字符图像；和

字符识别单元，用于将所提取的字符图像识别为所述字符并将所述字符图像转换为字符信息。

6.根据权利要求5所述的便携式终端设备，还包括字符框显示单元，用于显示用于识别所述字符的字符框，以在由所述摄影单元摄影的基础上重叠在所述字符图像上。

7.根据权利要求5所述的便携式终端设备，还包括已识别字符显示单元，用于显示作为所述字符识别单元的识别结果的所述字符信息。

8.根据权利要求7所述的便携式终端设备，其中，所述已识别字符显示单元单独和有选择地显示作为规定字符单元的识别结果的所述字符信息。

9.根据权利要求5所述的便携式终端设备，还包括已识别字符存储单元，用于存储作为由所述字符识别单元获得的识别结果的所述字符信息。

10.根据权利要求9所述的便携式终端设备，其中，所述已识别字符存储单元将所述字符信息存储在已识别字符存储区域中。

11.根据权利要求9所述的便携式终端设备，其中，当所述字符信息的类型是电话号码、邮件地址和统一资源定位器URL中的任何一个时，所述已识别字符存储单元以对应于每个字符信息的类型的数据为基础登记所述字符信息。

12.根据权利要求5所述的便携式终端设备，还包括已识别字符利用单元，用于根据所述字符信息的类型将所述字符信息用做由所述字符识别单元获得的识别结果。

13.根据权利要求12所述的便携式终端设备，其中，当所述字符信息的类型是电话号码时，所述已识别字符利用单元显示到所述电话号码的发送屏幕。

14.根据权利要求12所述的便携式终端设备，其中，当所述字符信息的类型是所述邮件地址时，所述已识别字符利用单元显示用于到所述邮件地址的电子邮件的准备屏幕。

15.根据权利要求12所述的便携式终端设备，其中，当所述字符信息的类型是所述统一资源位置URL时，所述已识别字符利用单元显示到所述URL的网络连接屏幕。

16.根据的权利要求5所述的便携式终端设备，其中，所述摄影单元具有对作为将被识别对象的所述字符图像进行连续摄影的功能；

其中，当通过所述摄影单元获得作为将被识别对象的多个字符图像时，所述图像取得单元取得被连接在一起的多个字符图像的图像数据；和

其中，所述字符识别单元识别被连接的字符图像的图像数据的字符，以便将所述图像数据转换为所述字符信息。

17.根据的权利要求5所述的便携式终端设备，其中，所述摄影单元具有对作为将被识别对象的字符图像进行连续摄影的功能；

其中，当通过所述摄影单元获得作为将被识别对象的多个字符图像时，所述图像取得单元取得所述多个字符图像的图像数据；和

其中，所述字符识别单元识别分别用于所述多个所取得的字符图像的图像数据的字符，以便将所述图像数据转换为所述字符信息。

18.根据权利要求5所述的便携式终端设备，其中，所述字符识别单元具有与作为将被识别对象的字符类型相对应的多个识别模式；和

其中，所述字符识别单元根据预置的识别模式来执行适于相应字符类型的字符识别处理。

19.一种字符识别处理方法，包括步骤：

显示字符图像作为将要识别的对象以便识别字符，并且还显示字符框以便识别所述字符；

在将与所述字符图像相对应的字符框进行显示的同时，对所述字符图像进行摄影；

取得所摄影的字符图像的图像数据；

输出表示所述字符框的位置的指针位置信息，所述字符框用于识别与所述字符图像对应的字符；

将所述指针位置信息与所取得的字符图像的图像数据进行比较以分析所述字符的排列；

在所述字符排列的分析结果的基础上，提取所述字符图像；和

将所提取的字符图像识别为所述字符并将所述字符图像转换为字符信息。

Images