CN1638391A - 移动信息终端设备、信息处理方法、记录介质和程序 - Google Patents

Abstract

本发明的移动信息终端设备包括：用来拍摄物体的拍摄装置，用来对基于通过拍摄装置拍摄的物体的图像，控制其显示操作的第一显示控制装置，用来从图像中选择用于识别的图像区域的选择装置，该图像通过第一显示控制步骤的处理来控制其显示操作，用来识别由选择装置选择的图像区域的识别装置，和用来控制由识别装置获得的识别结果的显示操作的第二显示控制装置。根据本发明，可以识别包括在由移动信息终端设备拍摄的图像中的字符。尤其是，能够从所拍摄的图像中选择预定的区域，并识别在该预定区域内的字符。

Description

移动信息终端设备、信息处理方法、记录介质和程序

相关申请的交叉引用

本申请要求于2003年10月28日向日本专利局申请的日本优先权文献No.2003-367224的优先权，该文献在此引用作为参考。

技术领域

本发明涉及移动信息终端设备、信息处理方法、记录介质和程序，尤其是涉及能够从拍摄的图像中选择预定区域并在完成字符识别后显示所选的预定区域的移动信息终端设备、信息处理方法、记录介质和程序。

背景技术

在一些传统的内置摄像头类型的移动电话中，写在书本等上的字符串通过适合显示屏上的显示帧的方式被拍摄下来，由此对在所述帧中的图像(字符串)进行字符识别来用作移动终端终端内的字符数据。

作为本申请的一个例子所建议的是一个配置用来拍摄写在广告上的主页地址并对该主页地址进行字符识别的设备，以便可以容易地访问服务器(参见专利文献1)。

专利文献1：日本公开专利申请No.2002-366463

然而，当通过适合所述显示帧的方式拍摄所述字符串时，用户必须在拍摄字符串的同时注意每个字符的大小、字符串的倾斜度等，并且这已经作为操作不方便的问题提出来了。

还存在另一个问题，即很难在文本范围外只将用户希望进行字符识别的预定字符串适合于显示帧。

发明内容

本发明是考虑到这些环境来作出的，因此，本发明目的在于能够拍摄包括用户希望进行字符识别的字符串的文本等，从所拍摄的文本图像中选择预定的字符串，并对所述预定字符串进行字符识别。

本发明的移动信息终端设备的特征在于，包括用来拍摄物体的拍摄装置，用来基于由拍摄装置拍摄的物体控制图像的显示操作的第一显示控制装置，用来从由第一显示控制装置控制其显示操作的图像中选择图像区域来进行识别的选择装置，用来识别由选择装置选择的图像区域的识别装置，和用来控制由识别装置获得的识别结果的显示操作的第二显示控制装置。

所述选择装置可以被配置来选择用于识别的图像区域的开始点和结束点。

所述第一显示控制装置可以配置成进一步包括对准控制装置，其用来进一步控制用于指定图像的开始点的标记的显示操作，并且当用于识别的图像出现在标记的附近时，进行控制以便对准识别的图像。

还可以配置成进一步包括提取装置，当由选择装置选择的图像区域被指示扩大时，其用来提取该图像区域随后(succeeding)的图像。

还可以配置成进一步包括转换装置，其用来转换识别装置获得的识别结果。

还可以配置成进一步包括访问装置，其用来基于识别装置获得的识别结果访问另一个设备。

本发明的信息处理方法的特征在于，包括拍摄物体的拍摄步骤，对基于通过拍摄步骤处理的拍摄物体的图像，控制其显示操作的第一显示控制步骤，从图像中选择用于识别的图像区域的选择步骤，该图像由第一显示控制步骤处理而控制其显示操作，识别由选择步骤处理而选择的图像区域的识别步骤，和控制由识别步骤处理的识别结果的显示操作的第二显示控制步骤。

一种在其上记录有本发明的程序的记录介质，其特征在于能够使计算机执行以下处理，包括拍摄物体的拍摄步骤，对基于通过拍摄步骤处理的拍摄物体的图像，控制其显示操作的第一显示控制步骤，从图像中选择用于识别的图像区域的选择步骤，该图像由第一显示控制步骤处理而控制其显示操作，识别由选择步骤处理而选择的图像区域的识别步骤，和控制由识别步骤处理的识别结果的显示操作的第二显示控制步骤。

本发明的程序的特征在于，能够使计算机执行以下处理，包括拍摄物体的拍摄步骤，对基于通过拍摄步骤处理的拍摄物体的图像，控制其显示操作的第一显示控制步骤，从图像中选择用于识别的图像区域的选择步骤，该图像由第一显示控制步骤处理而控制其显示操作，识别由选择步骤处理而选择的图像区域的识别步骤，和控制由识别步骤处理的识别结果的显示操作的第二显示控制步骤。

在本发明中，物体被拍摄，显示基于所拍摄物体的图像，从所显示的图像中选择用于识别的图像区域，识别所选择的图像区域，然后最后来显示所识别的结果。

根据本发明，所拍摄图像可以被进行字符识别。尤其是，能够从所拍摄的图像中选择预定的区域，从而对预定的区域进行字符识别。

附图说明

图1是示出应用本发明的内置摄像头型移动电话的外观示例性配置的示意图；

图2是示出移动电话内部部件的示例性配置的框图；

图3是表明字符识别处理的流程图；

图4是表明图3的步骤S1中的对准模式处理细节的流程图；

图5是示出指定点标记的显示操作的一个例子的示意图；

图6是表明在指定点标记周围的区域的示意图；

图7是示出实现对准(aiming-done)标记的显示操作的一个例子的示意图；

图8是表明图3的步骤S2中的选择模式处理细节的流程图；

图9是示出字符串选择区域的显示操作的一个例子的示意图；

图10A到10G是示出选择用于识别的图像的操作的示意图；

图11是表明在图8的步骤S26的处理中，提取随后图像的处理流程图；

图12是表明图3的步骤S3中的结果显示模式处理细节的流程图；

图13是示出字符识别结果的显示操作的一个例子的示意图；

图14是示出转换结果的显示操作的一个例子的示意图；

图15是示出应用本发明的服务器访问系统的示例性配置的示意图；

图16是示出指定点标记的显示操作的一个例子的示意图；

图17是示出字符串选择区域的显示操作的一个例子的示意图；

图18是示出其中用来识别的图像已选择的状态的示意图；

图19是表明图3的步骤S3中的结果显示模式处理细节的流程图；

图20是示出字符识别结果的显示操作的一个例子的示意图；和

图21A到21B是示出应用本发明的移动信息终端设备的外观示例性配置的示意图。

具体实施方式

此后将描述执行本发明的最佳模式，同时在所公开发明和其一个或多个实施例之间的相应例子也如下所述。本说明书所描述的实施例，虽然在此并不是相当于本发明来描述的，但实事上并不意味着该实施例不相应于本发明。相反，在此相应于一发明所描述的实施例实事上并不意味着该实施例是不相应于本发明的一个发明。

还有，这种描述并不意味着包括说明书中描述的所有发明。换句话说，这种描述不应该解释为否定在该说明书中描述但没有在该申请中要求的一个或多个发明的存在，也就是，在将来存在导致分案申请、通过修改出现和增添等的一个或多个发明。

本发明提供了一种移动信息终端设备，其包括用来拍摄物体的拍摄装置(例如，执行图4步骤S11的处理的图1和图2的CCD摄像头29)，用来基于拍摄装置拍摄的物体控制其图像的显示操作的第一显示控制装置(例如，执行图4步骤S13的处理的图1和2的LCD23)，用来从由第一显示控制装置控制其显示操作的图像中选择用来识别的图像区域的选择装置(例如，执行图8的步骤S22到S27的处理的图2的显示图像产生部分33，和执行图8步骤S23到S26的处理的图2的控制选择部分31)，用来识别由选择装置所选的图像区域的识别装置(例如，执行图12步骤S51的处理的图2的图像处理/字符识别部分37)，和用来控制由识别装置所产生的识别结果的显示操作的第二显示控制装置(例如，执行图12步骤S53的处理的图1和2的LCD23)。

所述选择装置可以配置成选择用于识别的图像区域的开始点和结束点(例如，如图10A到10G所示)。

在这种移动信息终端设备中，第一显示控制装置可以配置成进一步包括对准控制装置(例如，执行图4步骤S16的处理的图2的控制部分31)，其用于进一步控制用来指定所述图像的开始点的标记的显示操作(例如，图5所示的指定点标记53)，并进行控制以便当用于识别的图像出现在该标记附近时对准所述用于识别的图像。

该移动信息终端设备可以配置成进一步包括提取装置(例如，执行图11的处理的图2的控制部分31)，其用来当指示扩大所述图像区域时提取由选择装置选择的图像区域随后的图像。

该移动信息终端设备可以配置成进一步包括转换装置(例如，执行图12步骤S56的处理的图2的转换部分38)，其用来转换由所述识别装置产生的识别结果。

该移动信息终端设备可以配置成进一步包括访问装置(例如，执行图19步骤S106的处理的图2的控制部分31)，其用来基于由所述识别装置产生的识别结果访问另一装置。[0027]

还有，本发明提供了一种信息处理方法，其包括拍摄物体的拍摄步骤(例如，图4的步骤S11)，对基于通过拍摄步骤处理的所拍摄的物体的图像，控制其显示操作的第一显示控制步骤(例如，图4的步骤S13)，从图像中选择用来识别的图像区域的选择步骤，该图像由第一显示控制步骤处理而控制其显示操作(例如，图8的步骤S22到S27)，识别由选择步骤处理所选择的图像区域的识别步骤(例如，图12的S52)，和控制由识别步骤处理产生的识别结果的显示操作的第二显示控制步骤(例如，图12的步骤S53)。

还有，本发明提供了一种程序，其能够使计算机执行如下处理，包括拍摄物体的拍摄步骤(例如，图4的步骤S11)，对基于通过拍摄步骤处理的所拍摄的物体的图像，控制其显示操作的第一显示控制步骤(例如，图4的步骤S13)，从图像中选择用来识别的图像区域的选择步骤，该图像由第一显示控制步骤处理而控制其显示操作(例如，图8的步骤S22到S27)，识别由选择步骤处理所选择的图像区域的识别步骤(例如，图12的S52)，和控制由识别步骤处理产生的识别结果的显示操作的第二显示控制步骤(例如，图12的步骤S53)。

该程序可以被记录在一种记录介质上。

此后将参考附图描述本发明的实施例。

图1是示出应用本发明的内置摄像头型移动电话的外观示例性配置的示意图。

如图1所示，内置摄像头型移动电话1(此后简称为移动电话1)基本上由显示部分12和主体13构成，并在中部的铰链部分11处构成可折叠部分。

显示部分12的左上角是天线21，通过天线21，发射电磁波到基站103并从基站接收电磁波(图15)。在显示部分12的上端附近是扬声器22，通过该扬声器22，输出话音或语音。

在显示部分12的大约中部位置是LCD(液晶显示器)23。LCD23显示由操作输入按钮27编写的文本(将作为电子邮件发送的文本)、由CCD(电荷耦合装置)摄像头29拍摄的图像等，以及信号的接收状况、电池电量、作为电话本登录的名字和电话号码，和呼叫记录。

另一方面，在主体13上的是由数字按钮0到9(十个键)、“*”按钮、“#”按钮构成的输入按钮27。通过操作这些输入按钮27，用户可以编写用来作为电子邮件(E-mail)传输的文本、记事簿等。

还有，在主体13的输入按钮27的中部和上部是微动(jog)拨号盘24，其沿着水平轴(从壳的左到右的方向延伸)，以从主体13的表面稍微突出的方式旋转。例如，根据旋转该微动拨号盘24的操作，显示于LCD23上的电子邮件的内容可以滚动。在微动拨号盘24的左边和右边分别是左箭头按钮24和右箭头按钮26。在主体13的府部是麦克风28，在此可以拾取用户话音。

在铰链部分11的大约中部位置是CCD摄像头29，其在180度的角范围内可旋转地移动，从而可以拍摄所需的物体(在该实施例中是写在书本等之上的文本)。

图2是示出移动电话1内部部件的示例性配置的框图。

控制部分31由例如，CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存储器)等构成，并且CPU调用存储在ROM中的控制程序到RAM中来控制CCD摄像头29、存储器32、显示图像产生部分33、通信控制部分34、语音处理部分36、图像处理/字符识别部分37、转换部分38、和驱动器39的操作。

CCD摄像头29拍摄物体的图像，并将所获得的图像数据提供给存储器32。存储器32存储由CCD摄像头29提供的图像数据，而且提供所存储的图像数据到显示图像产生部分33和图像处理/字符识别部分37。显示图像产生部分33控制显示操作并在LCD23上显示CCD摄像头29所拍摄的图像和由图像处理/字符识别部分37所识别的字符串等。

通信控制部分34通过天线21发射电磁波到基站103并从基站接收电磁波(图15)，并放大，例如，在电话通话模式中，在天线21接收的RF(射频)信号，在其上执行预定的处理，例如频率转换处理、模数转换处理、逆频谱扩展处理，并接着输出所获得的语音数据到语音处理部分36。进一步，当语音处理部分36提供了语音数据的时候，通信控制部分34执行预定的处理，例如数模转换处理，频率转换处理，和频谱扩展处理，并从天线21发射所获取的语音信号。

操作部分35由微动拨号盘24、左箭头按钮25、右箭头按钮26、输入按钮27等构成，并且当这些按钮被用户按压或从按压状态解除时输出相应的信号到控制部分31。

话音处理部分36转换由通信控制部分34提供的话音数据，并从扬声器22输出相应于话音信号的语音。进一步，话音处理部分36将由麦克风28拾取的用户的话音转换成话音数据，并输出该话音数据信号到通信控制部分34。

图像处理/字符识别部分37将由存储器32提供的图像数据用于使用预定的字符识别算法的字符识别，提供字符识别结果给控制部分31，并在必要时也提供给转换部分38。转换部分38保存有字典数据，其基于字典数据转换由图像处理/字符识别部分37提供的字符识别结果，并将转换结果提供给控制部分31。

驱动器39在必要时连接到控制部分31，适当安装可移动介质40，例如，磁盘、光盘、磁光盘、或半导体存储器，并且从中读取的计算机程序在必要时被安装到移动电话1中。

下面，将参考图3的流程图描述移动电话1的字符识别处理。该处理是在用来开始字符识别处理的条目(没有示出)已经从显示于LCD23上的菜单中被选择时开始的，例如，在用户希望一个预定字符串能从写在书本等上的文本中被识别出来的情况下。而且，在此时，用户通过选择来确定用于识别的字符串是水平书写的还是垂直书写的。这里，将描述用于识别的字符串是水平书写的情况。

在步骤S1，执行对准模式处理来对准用户希望识别的字符串，以便使用CCD摄像头29拍摄用于识别的字符串。通过这种对准模式处理，确定要识别图像(字符串)的开始点(开头字符)。后面将参考图4的流程图描述步骤S1的对准模式处理的细节。

在步骤S2，使用通过步骤S1的处理而确定的图像作为开始点，执行选择模式处理来选择用于识别的图像区域。通过这种选择模式处理，确定用于识别的图像区域(字符串)。后面将参考图8的流程图描述步骤S2的选择模式处理的细节。

在步骤S3，执行结果显示模式处理来识别通过步骤S2的处理所确定的字符串并显示识别结果。通过该结果显示模式处理，所选择的图像被识别，显示识别的结果，并转换已识别的字符串。后面将参考图12的流程图描述步骤S3的结果显示模式处理的细节。

在上述方式中，移动电话1能执行如下处理，例如，拍摄写在书本等上的文本，从所拍摄的图像中选择并识别预定的字符串，并显示该识别结果。

下面，将参考图4的流程图来描述图3的步骤S1中的对准模式处理的细节。

用户将移动电话1移动到靠近在其中写有用户希望识别的字符串的书本等。并且在查看由CCD摄像头29正拍摄的全部图像(through-images)(所谓的正在被监视的图像)时，用户调整移动电话1的位置以便用户希望识别的字符串的开头字符与在此所显示的指定点标记53一致(图5)。

此时，在步骤S11，CCD摄像头29获得正被拍摄的全部图像，来提供给存储器32。在步骤S12，存储器32存储由CCD摄像头29提供的全部图像。在步骤S13，显示图像产生部分33读取存储在存储器32中的全部图像，并使得该全部图像与指定点标记53一起显示在LCD23上，例如，图5所示那样。

在图5的例子中，LCD23上所显示的是图像显示区域51，其显示所拍摄的图像，并且对话52指示“确定用于识别的字符的开始点”。还有，指定点标记53在靠近图像显示区域51的中部位置被显示。用户对准显示在该图像显示区域51上的指定点标记53以便与识别图像的开始点一致。

在步骤S14，控制部分31从由显示图像产生部分33显示在LCD23上的全部图像中提取在指定点标记53周围的预定区域内的全部图像。这里，如图6所示，围绕在指定点标记53周围的区域61被预先设置到移动电话1中，并且控制部分31提取在该区域61中的全部图像。注意区域61以形象化方式显示来简化解释，并从而实际上由控制部分31作为内部信息来管理。

在步骤S15，控制部分31确定用于识别的图像(字符串)是否出现在通过步骤S14的处理所提取的区域61内的全部图像中。更具体来说，例如，当文本是以黑体写在白纸上时，确定黑色图像是否出现在区域61内。还有，例如，各种字符形式预先寄存作为数据库，并确定与在数据库中寄存的字符形式匹配的字符是否出现在区域61中。要注意，确定识别的图像是否出现的方法并不局限于那些使用图像之间的色差、使用其与数据库的匹配等方法。

如果在步骤S15中确定用于识别的图像并不存在，那么处理返回到步骤S11来重复执行上述处理。另一方面，如果在步骤S15确定识别的图像存在，那么处理继续到步骤S16，在此控制部分31对准在区域61中出现的其中一个要识别的图像，该图像最接近于指定点标记53。并且显示图像产生部33合成最靠近于指定点标记53的图像和对准的标记71，并使得合成图像显示于LCD23上。

图7示出由用于识别的图像(字符串)和实现对准的标记71所合成的图像的显示的例子。如图中所示，实现对准的标记71与用于识别的图像“snapped”的开头图像“s”合成，并显示在图像显示区域51。在这种方式中，当用于识别的图像出现在区域61时，最靠近于指定点标记53的图像被自动对准，实现对准的标记71在其上显示出来。要注意当用于识别的图像不再处于区域61时，例如通过从该对准状态调整移动电话1的位置，则显示被切换返回到指定点标记53。

在步骤S17，控制部分31确定是否OK按钮被用户按压，即，微动拨号盘24是否被按压。如果控制部分31确定OK按钮没有被按压，那么处理返回到步骤S11来重复执行上述的处理。如果在步骤S17确定OK按钮被用户按下，那么，处理返回到图3的步骤S2(即，移动到选择模式处理)。

通过执行这样一种对准模式处理，用户希望识别的字符串的开始点(开头字符)被对准。

下面，将参考图8的流程图描述图3的步骤S2中的选择模式处理的细节。

在上述的图4的对准模式处理中，当用于识别的图像(字符串)头部(当前例子中是“s”)被对准并且接着OK按钮被按压时，在步骤S21，显示图像产生部分33初始化字符串选择区域81(图9)作为围绕当前选择的图像(即，“s”)的区域。在步骤S22，显示图像产生部分33合成存储在存储器32中的图像和通过步骤S21的处理所初始化的字符串选择区域81，并使得所合成的图像显示在LCD23上。

图9示出了由用于识别的图像的头部和字符串选择区域81所合成的图像的显示的例子。如图中所示，字符串选择区域81被合成，并以围绕用于识别的图像的开头图像“s”的方式显示。进一步，在对话52上所显示的是表示“确定要识别字符的结束点”的消息。根据在对话52中表示的消息，用户按压右箭头按钮26来扩展字符串选择区域81到用于识别的图像的结束点。

在步骤S23，控制部分31确定微动拨号盘24、左箭头按钮25、右箭头按钮26、输入按钮27等是否被用户按下，即，是否从操作部分35提供了一个输入信号，并等待直到确定按钮被按下。如果在步骤S23确定按钮被按下，那么处理继续到步骤S24，在此，控制部分31根据由操作部分35提供的输入信号确定OK按钮(即，微动拨号盘24)是否被按下。

如果在步骤S24确定OK按钮没有被按下，那么处理继续到步骤S25，在此，控制部分31进一步确定用来扩展字符串选择区域81的按钮(即，右箭头按钮26)是否被按下，并且，如果确定用来扩展所述字符串选择区域81的按钮没有被按下，控制部分31判断出该操作无效，从而处理返回到步骤S2 3来重复执行上述处理。

如果在步骤S25确定用来扩展字符串选择区域81的按钮被按下，处理继续到步骤S26，在此执行提取字符串选择区域81随后的图像的处理。通过该随后图像提取处理，提取出在已经由字符串选择区域81选择的图像随后的图像。将参考图11的流程图来描述步骤S26中的随后图像提取处理的细节。

在步骤S27，显示图像产生部分33更新字符串选择区域81以便通过步骤S26的处理所提取的随后的图像被包括进来。此后，处理返回到步骤S22来重复执行上述处理。如果在步骤S24确定OK按钮被按压，那么处理返回到图3的步骤S3(即，移动到结果显示模式处理)。

图10A到10G示出了通过重复执行步骤S22到S27的处理，用于识别的图像区域(字符串)被选择的操作。即，在决定开头图像“s”作为开始点(图10A)之后，一旦用来扩展字符串选择区域81的按钮9(即，右箭头按钮26)被按下，就选择了“sn”(图10B)。相似地，顺序按下右箭头按钮26，从而依次选择字符“sna”(图10C)、“snap”(图10D)、“snapp”(图10E)、“snappe”(图10F)、和“snapped”(图10G)。

通过执行这样一种选择模式处理，来确定用户希望识别的字符串的范围(从开始点到结束点)。

注意通过按下左箭头按钮25，顺序解除对于字符的选择，尽管图中没有示出。例如，在“snapped”被字符串选择区域81选择的状态(图10G)，当左箭头按钮25被按下一次时，已选择的“d”被解除，来更新字符串选择区域到在其中选择“snappe”的状态(图10F)。

下面参考图11的流程图，将详细描述图8的步骤S26的处理中，提取字符串选择区域81随后的图像的处理细节。

在步骤S41，控制部分31提取所有的图像，这些图像是来自图像的字符，并获取它们的重心(barycentric)点(x_i，y_i)(i＝1，2，3…)。在步骤S42，控制部分31将通过步骤S41的处理所获取的所有重心点(x_i，y_i)进行θρ-Hough变换来变换到(ρ，θ)空间。

这里，θρ-Hough变换意味着用来检测图像处理中的直线的算法，并且，其使用下面的方程(1)将(x，y)坐标空间转换成(ρ，θ)空间。

ρ＝x·cos+y·sinθ…(1)

当在(x，y)坐标空间中的一个点(x`，y`)上执行θρ-Hough变换时，由下述方程(2)表示的正弦波来产生(ρ，θ)空间。

ρ＝x`·cos+y`·sinθ…(2)

还有，例如，当在(x，y)坐标空间中的两个点上执行θρ-Hough变换时，正弦波在(ρ，θ)空间中的预定部分具有一个交叉点。交叉点的坐标(ρ，θ)成为穿过由下述方程(3)表示的(x，y)坐标空间中的两个点的直线的一个参数。

ρ＝x·cos+y·sinθ…(3)

还有，例如，当在是作为字符的图像的所有重心点上执行θρ-Hough变换时，在(ρ，θ)空间就有许多正弦波交叉点。交叉位置的参数成为通过(x，y)坐标空间中的多个重心的直线的参数，即，通过字符串的直线的参数。

当在正弦波中的交叉点的数量是作为在(ρ，θ)坐标空间中的一个值来设定时，在具有多条线的图像中就可能有多个具有较大值的部分。这样，在步骤S43，控制部分31就找到这样的直线的参数中的一个，该直线具有这种较大值并也通过用于对准的物体的重心附近，并将该参数作为用于对准所属的物体的直线的一个参数。

在步骤S44，控制部分31从通过步骤S43的处理所获取的直线参数中获取直线的方向。在步骤S45，控制部分31根据通过步骤S44的处理所获取的直线参数定义的方向提取在右边的图像。在步骤S46，控制部分31将通过步骤S45的处理所提取的图像判断为随后图像，并接着将处理返回到步骤S27。

注意，当开始图3的字符识别处理时，用户通过选择确定用于识别的字符是水平书写的，从而按照方向提取右边出现的图像。然而，当通过选择确定用于识别的字符是垂直书写时，按照方向提取下面的图像。

通过执行上述的随后图像提取处理，提取在当前字符串选择区域81随后的图像(在右边或下面)。

下面参考图12的流程图，将描述图3的步骤S3中的结果显示模式的处理细节。

在上面提到的图8的选择模式处理中，当用于识别的图像(字符串)被字符串选择区域81选择并且OK按钮被按下时，在步骤S51，图像处理/字符识别部分37使用预定字符识别算法识别在字符串选择区域81内的图像(当前的例子中是“snapped”)。

在步骤S52，图像处理/字符识别部分37将通过步骤S51的处理所获得的作为字符识别结果的字符串数据存储在存储器32中。在步骤S53，显示图像产生部分33读取字符串数据，该数据是存储在存储器32中的字符识别结果，并使例如图13所示的图像显示于LCD23上。

在图13的例子中，表示“snapped”的字符识别结果91显示于图像显示区域51，并且表示“希望转换它吗？”的消息显示在对话52上。用户根据在对话52中显示的消息按下OK按钮(微动拨号盘24)。从而移动电话1可以转换已识别的字符。

在步骤S54，控制部分31确定诸如微动拨号盘24、左箭头按钮25、右箭头按钮26、或输入按钮27的按钮是否被用户按下，即，操作部分35是否提供了输入信号，并且，如果控制部分31确定按钮没有被按下，那么处理返回到步骤S53重复执行上述的处理。

如果在步骤S54确定按钮被按下，那么处理继续到步骤S55，在此，控制部分31进一步确定OK按钮是否被用户按下，即，微动拨号盘24是否被按下。如果在步骤S55确定OK按钮被按下，那么处理继续到步骤S56，在此，转换部分38使用预定的字典数据转换由图像处理/字符识别部分37通过步骤S51的处理所识别的字符数据，并作为步骤S53处理的识别结果显示在LCD23上。

在步骤S57，显示图像产生部分33使通过步骤S56的处理所获得的转换结果显示在LCD23上，如图14所示。

在图14的例子中，表示“snapped”的字符识别结果91显示在图像显示区域51，并且表示“Translation：撮つた”的转换结果显示在对话52中。在这种方式中，用户可以容易地转换所选择的字符串。

在步骤S58，控制部分31确定诸如微动拨号盘24、左箭头按钮25、右箭头按钮26、或输入按钮27的按钮是否被用户按下，即，操作部分35是否提供了一个输入信号，如果控制部分31确定按钮没有被按下，那么处理返回到步骤S57来重复执行上述的处理。如果在步骤S58确定按钮被按下，那么处理被终止。

通过执行这样一种结果显示模式处理，识别的字符串被作为识别结果显示，并且按照需要转换所识别的字符串。

还有，在显示识别结果中，使用所识别的字符串的应用程序(例如，因特网浏览器、转换软件、文本编辑软件等)可以被可选地显示。具体地，当“Hello”作为识别结果显示时，转换软件或文本编辑软件被显示以便可以通过图标等来选择。并且当用户选择转换软件时，将其转换为“こんにちは”，而当用户选择文本编辑软件时，“Hello”被输入到文本编辑屏幕。

在上述方式中，移动电话1可以使用CCD摄像头29拍摄写在书本等中的文本，对所拍摄的图像进行字符识别，并轻松地转换作为识别结果获得的字符串。即，用户可以容易地转换他或她希望转换的字符串，仅仅使移动电话1的CCD摄像头29拍摄该字符串即可，而无需打字输入该字符串。

还有，由于没必要关心识别的字符的大小和识别的字符的方向，因此，可以减少带给用户的诸如进行字符串位置匹配的操作负担。

在上面，是进行安排以便写在书本等上面的字符串(一个英语单词)被CCD摄像头29拍摄，来对所拍摄的图像进行字符识别并转换通过字符识别所获得的字符串。然而，本发明并不局限于此。例如，写在书本等上的URL(统一资源定位符)可以被CCD摄像头29拍摄，来对所拍摄的图像进行字符识别并基于字符识别所获得的URL访问服务器等。

图15是示出应用本发明的服务器访问系统的示例性配置的示意图。在该系统中，连接到诸如因特网的网络102的是服务器101，以及通过基站103的移动电话，该基站是固定无线终端。

服务器101由工作站、计算机等组成，并且其CPU(没有示出)基于来自移动电话1的请求执行服务器程序，来通过网络102发布与由此而产生的主页相关的压缩HTML(超文本标记语言)文件。

基站103通过例如称之为W-CDMA(宽带码分多址)的码分多址连接，无线连接到移动电话1，来高速发射大量数据，所述移动电话是可以移动的无线终端。

由于移动电话1可以通过W-CDMA系统高速发射大量数据到基站103，因此，它可以执行很多种类的数据通信，例如电子邮件交换、简单主页浏览、图像交换、以及电话交谈。

还有，移动电话1可以使用CCD摄像头29拍摄写在书本等上的URL，对所拍摄的图像进行字符识别，并基于字符识别获得的URL访问服务器101。

下面再次参考图3的流程图，描述图15所示的移动电话1的字符识别处理。注意合适的时候将省略与上面描述重复的描述。

在步骤S1，通过执行对准模式处理，确定用于识别的图像(URL)的开始点(开头字符)。在步骤S2，通过执行选择模式处理，确定用于识别的图像区域。在步骤S3，通过执行结果显示模式处理，识别所选择的图像，显示其识别结果(URL)，并基于所识别的URL访问服务器101。

下面再次参考图4的流程图，将描述图3的步骤S1中的对准模式的处理细节。

用户将移动电话1移动到靠近写有URL的书本等。并且在查看由CCD摄像头29所拍摄的全部图像的同时，用户调整移动电话1的位置以便用户希望识别的URL的开头字符(当前是h)与在此所显示的指定点标记53一致(图16)。

此时，在步骤S11，CCD摄像头29获取正在拍摄的全部图像，并且在步骤S12，存储器32存储该全部图像。在步骤S13，显示图像产生部分33读取存储在存储器32中的全部图像，并使得该全部图像与指定点标记53一起显示在LCD23上，例如，如图16所示。

在图16的例子中，显示于LCD23上的是用来显示拍摄图像的图像显示区域51，和表示“确定识别字符开始点”的对话52。而且，指定点标记53在靠近图像显示区域51的中部位置显示。用户对准显示在该图像显示区域51上的指定点标记53以便与用于识别的图像的开始点一致。

在步骤S14，控制部分31提取在由显示图像产生部分33显示于LCD23上的全部图像的指定点标记53的周围的预定区域61(图6)内的全部图像。在步骤S15，控制部分31确定用于识别的图像(URL)是否出现在通过步骤S14的处理所提取的区域61内的全部图像中，如果控制部分31确定识别图像没有出现，处理返回到步骤S11重复执行上述的处理。

如果在步骤S15确定用于识别的图像出现，那么处理继续到步骤S16，在此，控制部分31对准其中一个出现在区域61内的识别图像，该图像最靠近于指定点标记53。并且显示图像产生部分33合成最接近于指定点标记53的图像和对准的标记71(图7)，并使得合成图像显示于LCD23上。

在步骤S17，控制部分31确定OK按钮是否被用户按下，即，微动拨号盘24是否被按下。如果控制部分31确定OK按钮没有被按下，处理返回到步骤S11重复执行上述处理。如果在步骤S17确定OK按钮被用户按下，那么处理返回到图3的步骤S2(即，移动到选择模式处理)。

通过执行这样一种对准模式处理，用户希望识别的字符串的开始点(开头字符)被对准。

下面再次参考图8，将描述图3的步骤S2中的选择模式处理的细节。

在步骤S21，显示图像产生部分33初始化字符串选择区域81(图17)，并在步骤S22中，合成存储在存储器32中的图像和初始化的字符串选择区域81，并使得合成图像显示在LCD23上。

图17示出了由用于识别的图像的头部和字符串选择区域81合成的图像的显示的例子。如图所示，字符串选择区域81被合成来以围绕用于识别的图像的开头图像“h”的方式显示。而且，对话52显示表示“确定识别字符的结束点”的消息。根据在对话52中指示的消息，用户按压右箭头按钮26来扩展字符串选择区域81到用于识别的图像的结束点。

在步骤S23，控制部分31确定按钮是否被用户按下，并等待直到它确定按钮被按下。如果在步骤S23确定按钮被按下，处理继续到步骤S23，在此，根据由操作部分35提供的输入信号，控制部分31确定OK按钮(即，微动拨号盘24)是否被按下。如果控制部分31确定OK按钮没有被按下，处理继续到步骤S25。

在步骤S25，控制部分31进一步确定用来扩展字符串选择区域81的按钮(即，右箭头按钮26)是否被按下，并且如果确定用来扩展字符串选择区域81的按钮没有被按下，那么控制部分31判断该操作是否有效，从而处理返回到步骤S23来重复执行上述处理。如果在步骤S25确定用来扩展字符串选择区域81的按钮被按下，处理继续到步骤S26，在此，控制部分31如上面参考图11的流程图所提到那样，提取在字符串选择区域81随后的图像。

在步骤S27，显示图像产生部分33更新字符串选择区域81以便通过步骤S26的处理所提取的随后图像被包括进来。此后，处理返回到步骤S22来重复执行上述处理。并且如果在步骤S24确定OK按钮被按下，那么处理返回到图3的步骤S3(即，移动到结果显示模式处理)。

图18示出了如何通过重复执行步骤S22到S27的处理，由字符串选择区域81来选择用于识别的图像。在图18的例子中，http://www.aaa.co.jp是一个URL，其被字符串选择区域81选择。

通过执行这样一种选择模式处理，确定用户希望识别的字符串的范围(从开始点到结束点)。

下面参考图19的流程图，描述图3的步骤S3中的结果显示模式的细节。注意合适的时候将省略与上面的描述重复的描述。

在步骤S101，图像处理/字符识别部分37使用预定的字符识别算法对存储在存储器32中的图像的字符串选择区域81内的图像(当前的例子中是“http://www.aaa.co.jp”)进行字符识别，并在步骤S102，使字符串数据，即字符识别结果，存储在存储器32中。在步骤S103中，显示图像产生部分33读取字符串数据，即存储在存储器32中的字符识别结果，并使得屏幕如图20那样在LCD23上显示。

在图20的例子中，表示“http://www.aaa.co.jp”的字符识别结果91显示于图像显示区域51，并且表示“你想访问吗？”的消息显示在对话52中。用户根据对话52中的表示的消息按压OK按钮(微动拨号盘24)。因此，移动电话1基于所识别的URL访问服务器101，从而，可以浏览所需的主页。

在步骤S104，控制部分31确定按钮是否被用户按下，如果控制部分31确定按钮没有被按下，那么处理返回到步骤S103重复执行上述处理。如果在步骤S104确定按钮被按下，那么处理继续到步骤S105，这里控制部分31进一步确定OK按钮是否被用户按下，即，微动拨号盘24是否被按下。

如果在步骤S105确定OK按钮被按下，那么处理继续到步骤S106，在此，控制部分31基于由图像处理/字符识别部分37通过步骤S101的处理经字符识别的URL通过网络102访问服务器101。

在步骤S107，控制部分31确定用户是否断开服务器101的连接，并等待直到服务器101被断开。并且如果在步骤S107确定服务器101断开，或者如果在步骤S105确定OK按钮没有被按下(即，没有指示访问服务器101)，那么处理终止。

通过执行这样一种结果显示模式处理，识别的URL作为识别结果显示出来，并且在必要时基于识别的URL访问预定的服务器。

如上所述，移动电话1可以使用CCD摄像头29拍摄写在书本等上的URL，对所拍摄的图像进行字符识别，并基于作为识别结果获得的URL访问服务器101等。即，用户仅仅使移动电话1的CCD摄像头29拍摄用户希望浏览的主页的URL，就能够容易地访问服务器101来浏览所需的主页，而无需打字输入该URL。

在上面，已经描述了应用本发明的移动电话1的情况。然而，并不局限于此，本发明可以更广泛地应用于具有能够拍摄写在书本等中的字符串的CCD摄像头29，显示CCD摄像头29拍摄的图像和识别结果的LCD23，以及选择用于识别的字符串、扩展字符串选择区域81、或执行各种操作的操作部分35的移动信息终端设备。

图21示出了应用本发明的移动信息终端的外观示例性配置。图21A示出了移动信息终端设备200的前部透视图，图21B示出了移动信息终端设备200的后部透视图。如图所示，在移动信息终端设备200的前部是用来显示全部图像、识别结果等的LCD23、用来选择用于识别的字符的OK按钮201、用来扩展字符串选择区域81的区域扩展按钮202等。还有，在移动信息终端设备200的后部是用来拍摄写于书本中的文本等的CCD摄像头29。

通过使用具有这样配置的移动信息终端设备200，例如，人们可以拍摄写于书本等内的字符串，对所拍摄的图像进行字符识别，转换作为识别结果获得的字符串，或访问预定的服务器。

注意，移动信息终端设备200的配置并不局限于图21中所示的，而是可以配置来提供微动拨号盘，来代替例如OK按钮201和扩展按钮202。

上述的一系列处理可以通过硬件和软件来执行。当这些处理由软件来完成时，构成该软件的程序被通过网络或记录介质安装到合并于专用硬件的计算机上，或例如，可以通过安装各种程序于其上来执行各种功能的通用个人计算机上。

这种记录介质，如图2所示，不仅仅由诸如磁盘(包括软盘)、光盘(包括CD-ROM(致密只读存储器)、DVD(数字多用盘))、磁光盘(包括MD(Mini-盘)(商标))、或半导体存储器的可移动盘40构成，其被分配给用户来分别从装置实体中提供程序，在这些装置实体中记录有程序，而且还可以由预先包含在装置实体中来提供给用户的其中记录有程序的ROM和存储器部分来构成。

注意，在本说明书中，书写记录在记录介质上的程序的步骤，不但包括以书写顺序按时间先后执行的处理，还包括并行或单独地执行的处理，尽管没有必要按时间先后顺序处理。

Claims (9)

1、一种移动信息终端设备，包括：

用来拍摄物体的拍摄装置；

用来对基于拍摄装置拍摄的物体的图像，控制其显示操作的第一显示控制装置；

用来从图像中选择用于识别的图像区域的选择装置，该图像由第一显示控制装置控制其显示操作；

用来识别由选择装置选择的图像区域的识别装置；和

用来控制由识别装置获得的识别结果的显示操作的第二显示控制装置。

2、根据权利要求1的移动信息终端设备，其中：

所述选择装置被配置来选择用于识别的图像的开始点和结束点。

3、根据权利要求1的移动信息终端设备，进一步包括对准控制装置，其中：

所述第一显示控制装置进一步控制指定图像开始点的标记的显示操作，配置成进一步包括用来进一步控制的对准控制装置；和

当用于识别的图像出现标记附近时，所述对准控制装置控制对准所述用于识别的图像。

4、根据权利要求1的移动信息终端设备，进一步包括：

当指示扩展由选择装置选择的图像区域时，用来提取图像区域随后图像的提取装置。

5、根据权利要求1的移动信息终端设备，进一步包括：

用来转换由识别装置获得的识别结果的转换装置。

6、根据权利要求1的移动信息终端设备，进一步包括：

用来基于由识别装置获得的识别结果访问另一设备的访问装置。

7、一种信息处理方法，包括：

拍摄物体的拍摄步骤；

对基于通过拍摄步骤处理的拍摄物体的图像，控制其显示操作的第一显示控制步骤；

从图像中选择用于识别的图像区域的选择步骤，该图像通过第一显示控制步骤的处理来控制其显示操作；

识别通过选择步骤的处理所选择的图像区域的识别步骤；和

控制通过识别步骤处理的识别结果的显示操作的第二显示控制步骤。

8、一种记录介质，其上记录有能够使得计算机执行处理的程序，所述处理包括：

拍摄物体的拍摄步骤；

对基于通过拍摄步骤处理的拍摄物体的图像，控制其显示操作的第一显示控制步骤；

从图像中选择用于识别的图像区域的选择步骤，该图像通过第一显示控制步骤的处理来控制其显示操作；

识别通过选择步骤的处理所选择的图像区域的识别步骤；和

控制通过识别步骤处理的识别结果的显示操作的第二显示控制步骤。

9、一种程序，其能够使计算机执行处理，包括：

拍摄物体的拍摄步骤；

对基于通过拍摄步骤处理的拍摄物体的图像，控制其显示操作的第一显示控制步骤；

从图像中选择用于识别的图像区域的选择步骤，该图像通过第一显示控制步骤的处理来控制其显示操作；

识别通过选择步骤的处理所选择的图像区域的识别步骤；和

控制通过识别步骤处理的识别结果的显示操作的第二显示控制步骤。

Images