CN111723641A - 信息处理装置、方法、系统以及存储介质和计算机装置 - Google Patents

Abstract

本发明涉及信息处理装置、信息处理方法、信息处理系统以及存储介质和计算机装置，其目的在于，在发生摄像装置或识别对象的位置偏离等所造成的识别困难的情况下进行识别对象的识别。本发明的信息处理装置将摄有识别对象的摄像图像中包含的基准图像存储在基准图像存储部中，匹配处理部对摄有识别对象的摄像图像进行基于识别对象的模板图像的图案匹配处理，识别摄像图像中包含的识别对象。基准图像识别部识别摄像图像中的基准图像，变化检测部检测经过基准图像识别部识别的基准图像的变化。而后，匹配调整部根据检测到的基准图像的变化，对匹配处理部在图案匹配处理中使用的摄像图像和模板图像中至少某一方进行预定的处理。

Description

信息处理装置、方法、系统以及存储介质和计算机装置

技术领域

本发明涉及信息处理装置、信息处理方法、信息处理系统以及存储介质和计算机装置。

背景技术

现今的文字识别系统可以根据摄像装置拍摄的识别对象的摄像图像，提取文字，进行在预定填入栏中填写的文档数据的制作等。

专利文献1(JP特开2015-114956号公报)公开了一种煤气表中显示的煤气使用量的读取系统。该读取系统即便在摄像头设置偏离正面的情况下，也可以通过修正摄像图像的变形，来防止测量值的自动读取精度下降。

但是，专利文献1的技术存在进行拍摄的摄像装置或摄影对象的位置发生偏离时难以读取文字的问题。

发明内容

鉴于上述课题，本发明提供信息处理装置、信息处理方法、信息处理系统以及存储介质和计算机装置，其目的在于，可以在摄像装置或识别对象的位置偏离等造成识别困难的情况下进行识别对象的识别。

为了解决上述课题，达到上述目的，本发明提供一种信息处理装置，其中具有，基准图像存储部，用于存储摄有识别对象的摄像图像中包含的基准图像；匹配处理部，用于对摄有所述识别对象的摄像图像进行基于所述识别对象的模板图像的图案匹配处理，识别所述摄像图像中包含的所述识别对象；基准图像识别部，用于识别所述摄像图像中的所述基准图像；变化检测部，用于检测所述基准图像识别部识别的所述基准图像的变化；匹配调整部，用于根据检测到的所述基准图像的变化，对所述匹配处理部在所述图案匹配处理中使用的所述摄像图像或所述模板图像中至少某一方进行预定的处理。本发明的效果在于，可以在发生摄像装置或识别对象的位置偏离等所造成的识别困难的情况下进行识别对象的识别。

附图说明

图1是实施方式的文字识别系统的系统构成的示意图。

图2是文字识别用PC的硬件构成示意图。

图3是通过文字识别用PC的CPU执行文字识别处理程序而实现的各项功能的功能结构模块图。

图4是一例监视器画面摄像图像的示意图。

图5是文字识别用PC的文字识别动作流程图。

图6是模板图像的再制作动作流程图。

图7是基准图像初始位置的示意图。

图8是一例未检测到基准图像而检测到处理图像的监视器画面的摄像图像的示意图。

图9是一例检测到一方的基准图像的监视器画面的摄像图像的示意图。

图10是由于外部干扰光造成第一基准图像及第二基准图像的各色(RGB值)发生变化的状态的示意图。

图11是相对于纵深方向(Z方向)发生位置偏离的基准图像及处理图像的示意图。

图12是根据特征量提取算法，检测纵深方向(Z方向)产生位置偏移的基准图像以及处理图像的状态的示意图。

图13是相对于转动方向(θ方向)发生位置偏离的基准图像及处理图像的示意图。

图14是根据特征量提取算法，检测转动方向(θ方向)产生位置偏离的基准图像及处理图像的状态的示意图。

图15是与转动方向(θ方向)对应的位置偏移的模板图像的示意图。

图16是相对于纵横(XY方向)发生位置偏离的基准图像及处理图像的示意图。

具体实施方式

以下参考附图，说明信息处理装置、信息处理方法、信息处理程序、信息处理系统的实施方式的文字识别系统。

(系统构成)

图1是实施方式的文字识别系统的系统构成的示意图。如图1所示，实施方式的文字识别系统具有一个或多个摄像装置1、文字识别处理用个人电脑装置(文字识别用PC)2、结果显示用PC3、管理用PC4、数据库5及平板终端8。

一个或多个摄像装置1通过LAN(Local Area Network)等的局域网络6连接文字识别用PC2。摄像装置1拍摄用来显示识别对象的文字的监视装置的显示图像，将摄像图像通过局域网络6送往文字识别用PC2。

文字识别用PC2、结果显示用PC3、管理用PC4以及数据库5通过工厂内网络7相互连接。文字识别用PC2从摄像装置1供给的摄像画像中提取"基准画像"以及"文字"，分别形成"基准图像的模板图像"和"文字的模版图像"并保存，对此将在以下详述。

文字识别用PC2通常是根据该"基准图像的模板图像"及"文字的模板图像"，从摄像装置1拍摄的摄像图像中提取文字。文字识别用PC2将提取的文字的文字数据输入到预定形式的文档的填写栏中，制作文档数据，并保存到数据库5中。存储在数据库5中的文档数据(以及提取的文字的文字数据)可以通过结果显示用PC3、管理用PC4或平板终端8等进行阅览。

另一方面，在由于摄影装置1及监视器装置的相对位置关系发生偏差，基于摄像装置1的摄像图像的文字识别处理变得困难的情况下(文字识别率达到规定以下时)，文字识别用PC2检测到由于该相对位置关系的偏差而产生的基准图象的变化。基于基准图像的变化，文字识别用PC2形成文字的新模板图像，并根据该新模板图像进行文字识别处理。形成新模板图像的时机除了文字识别处理变得困难时之外，还可以是由管理者指定的时间，或者是定期或不定期的时间。进而，在虽然识别了文字，但变化非常大的情况下，例如文字识别对象的数值为"1.0000±0.5"，而其中的"1"被错误识别为"7"，因而识别结果成为"7.0000±0.5"的情况下，也可以形成新的模板图像。

(文字识别用PC的硬件构成)

图2显示文字识别用PC2的硬件构成。如图2所示，文字识别用PC2具有CPU(CenterProcessing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、HDD(硬盘驱动器)14、操作接口(操作I/F)15以及通信部16。

在HDD14中，除了文字识别处理程序以外，还存储了作为文字识别处理基准的基准图象及各文字的模板图象。CPU11通过执行该文字识别处理程序，在进行基于模板图像的文字识别处理的同时，还在文字识别处理变得困难的情况下，进行文字的新模板图像的形成处理。

操作I/F连接鼠标17和键盘18。通信部16经由局域网楼6连接摄像装置1。(文字识别用PC的功能构成)

图3是通过文字识别用PC2的CPU11执行文字识别处理程序而实现的各项功能的功能结构模块图。如图3所示，CPU11通过执行文字识别处理程序，实现图像取得部21、基准图像登录部22、处理图像登录部23、匹配处理部26、处理结果输出部27、基准图像识别部28、处理图像识别部30、以及匹配调整部35的各项功能。作为基准图像识别部28，其通过CPU11实现RGB判断部31、Zθ判断部32以及XY判断部33的各项功能。

图像取得部21取得显示了由摄像装置1拍摄的将要识别的文字的监视器画面的摄像图像。图4是一例该监视器画面的摄像图像的示意图。该图4所示的例子是，如用四角形包围所示的，以第1电流值(A)及第2电流值(A)的数值为识别对象的例子。在图4的例子中，第1电流值为"0.5655A"，第2电流值为"0.1775A"。

基准图像登录部22用于登录基准图像的坐标信息，即作为标记用来表示监视器画面的摄像图像上的识别对象的提取范围。关于基准图像，具体将在以后描述，该基准图像用围绕中心轴转动时不形成相同形状的图像，分别被配置在与识别对象的提取范围的对角线上的端部离开一定距离的位置上。基准图像登录部22将表示这两个基准图像配置的坐标位置的坐标信息保存(登录)到HDD14等存储部(基准图像坐标保存部)。

作为基准图像，也可以配置一个或3个以上的基准图像。

处理图像登录部23用于对监视器画面的摄像图像上的识别对象的提取范围的例如4个角部的坐标信息进行登录。处理图像登录部23将识别对象的提取范围的4个角部的坐标信息存储(登录)到HDD14等的存储部(基准图像坐标保存部)。

匹配处理部26在HDD14等的存储部使用预存的数字的模板图像，对监视器画面的摄像图像进行图案匹配处理，从摄像图像中提取第1电流值(A)及第2电流值(A)的数值。

处理结果输出部27用于输出由匹配处理部26提取的第1电流值(A)及第2电流值(A)的数值。CPU11形成在指定文件的指定填写栏中进行该第1电流值(A)及第2电流值(A)的数值输入处理的文件资料数据，并通过图1所示的工厂内网络7，存储到数据库5中。

基准图像识别部28作为一例基准图像取得部，用来判断监视器画面的摄像图像上的R(红色)、G(绿色)、B(蓝色)的色调、色相(Hue)、亮度(Lightness)、饱和度(Saturation)、纵深上的位置(Z)、倾斜程度(θ)、二维上的位置(X，Y)等，从显示器画面的摄像图像识别基准图像。

匹配调整部35用于根据检测到的基准图像的变化，对匹配处理部26中的图案匹配处理中使用的摄像图像或模板图像中的至少一个进行预定的处理。匹配调整部35包含模板制作部29。

模板制作部29，在例如从监视器画面的摄像图像中识别数字(识别对象的一例)变得困难时，根据摄像图像上当前的基准图像和正常地识别数值时的基准图像之间的差异(位置、倾斜度、大小、色调等)，重新制作模板图像(修正模板图像)。匹配处理部26可以通过使用重新制作的模板图像进行匹配处理，进行调整，以使模式匹配处理达到规定以上的精度，从而能够从监视器画面的摄像图像中正确地识别数值。

处理图像识别部30在无法从监视器画面的摄像图像中识别基准图像时，从整个监视器画面的拍摄图像，对相当于数值的检测范围的处理图像进行识别。

在此，将图像取得部21～处理图像登录部23、以及匹配处理部26～基准图像识别部28、处理图像识别部30及匹配调整部35设为通过软件实现，但也可以在IC(IntegratedCircuit)等硬件上实现这些功能部的全部或其中一部分。

此外，文字识别处理程序是可安装形式或可执行形式的文件信息，既可以记录在CD-ROM、软盘(FD)等计算机装置可读的记录介质上提供，也可以以记录在CD-R、DVD(Digital Versatile Disk)、蓝光(注册商标)磁盘、半导体存储器等计算机装置可读的记录介质上提供，进而还可以以通过互联网等网络进行安装的方式提供。另外，文字识别处理程序也可以事先编入机器内的ROM等中提供。

以下用图5的流程图，说明文字识别用PC2的文字识别动作流程。在图5的流程图中，步骤S1～步骤S4表示正常时的文字识别动作流程。具体来说，在步骤S1中，基准图像识别部28读取作为一例基准图像存储部的HDD14等存储部中保存的基准图像信息。匹配处理部26读取存储在HDD14等存储部中的匹配处理用模板图像信息。

在步骤S2中，匹配处理部26根据从HDD14等存储部读取的模板图像信息，从用图像取得部21取得的监视器画面的拍摄图像的指定范围(用坐标信息表示的处理图像的范围)识别数值，进行数值的识别处理。然后，匹配处理部26判断是否可以识别已登录的位数的数值。例如在图4的示例中，第1电流值的位数为，例如"0"、"5"、"6"、"5"、"5"的5位数，第2电流值的位数为"0"、"1"、"7"、"7"、"5"的5位数。因此，匹配处理部26在步骤S2中判断是否可以分别识别第1电流值及第2电流值的5位数的数值。

在可以识别数值的情况下，处理结果输出部27执行数据处理，例如，形成在指定文档的指定填写栏中输入了被识别的数值的文档的资料数据，通过图1所示的工厂内网络7，保存到数据库5中(步骤S3，步骤S4)。这样的数据处理结束后(步骤S4:是)，图5所示流程的全部处理结束。

另一方面，当例如监视器画面和摄像装置1的相对位置关系产生偏离时，根据监视器画面的摄像图像识别数值变得困难。在步骤S2中，当被判断为数值识别困难时(步骤S2:否)，匹配处理部26以例如3次或4次等规定次数反复尝试(步骤S5，步骤S6)。当进行了规定次数的尝试之后数值识别依然困难(步骤S5:是)时，模板制作部29将转移到步骤S7～步骤S9所示的模板图像的重新制作动作。

在此简单说明模板图像的重新制作动作的流程。模板制作部29作为一例变化检测部，首先对比正常识别数值的初期基准图像和当前的基准图像，检测两者之间的变化(步骤S7)。然后，模板制作部29根据检测到的变化(位置、倾斜度、大小、色调等)，重新制作模板图像(步骤S8)，基准图像登录部22将当前的基准图像重新存储到HDD14等的存储部(步骤S9)。

如此，基准图像识别部31基于重新存储的基准图像，进行基准图像的识别处理。匹配处理部26基于重新存储的模板图像，进行数值的识别处理。由此，便可以使得文字识别系统自动恢复到从监视器画面的摄像图像正确地识别数值的正常动作。

(模板图像的重新制作动作)

以下用图6详细说明模板图像的重新制作动作(步骤S7～步骤S9的动作)。首先，如上所述，在数值识别变得困难而进行了多次尝试，仍然难以进行数值识别的情况下，基准图像识别部28从数值识别困难的监视器画面的摄像图像中，尝试预先设定了位置、大小(尺寸)、以及色调的基准图像的识别(步骤S11)。

图7显示基准图像的初始位置。在该图7中，实线框显示了进行图案匹配处理的处理范围。在该图7的例子中，在实线的框内显示了"0"、"1"、"2"、"3"的数值。匹配处理部26参照模板图像，检测出该实线框内的数字。本例说明中以通过匹配处理来识别数字为例，除此之外，也可以识别字母文字、平假名文字、片假名文字、符号等其他文字。另外，以处理范围内通过进行模式匹配处理为例进行说明，但也可以将监视器画面的拍摄图像整体作为图案匹配处理的对象。

图7所示长方形状虚线框显示的是数值的检测范围。在对角线左上方离开该虚线框的左上角一定距离的位置上显示了第1基准图像KG1。同样，在对角线向右下方离开虚线框的右下角一定距离的位置上显示了第2基准图像KG2。

用围绕中心轴转动时无法获得相同形状的图像作为第1基准图像KG1及第2基准图像KG2。钥匙型形状(L字形状)的图像为第1基准图像KG1的一个示例。直角等腰三角形的图像为第2基准图像KG2的一个示例。第1基准图像KG1及第2基准图像KG2可以是相同形状，但通过使用不同的形状，可以使基准图像的识别率更高。

第1基准图像KG1及第2基准图像KG2上还分别配有不同的颜色。例如，第1个基准图像KG1为红色(R，G，B(各8位)＝255，0，0)，第2标准图像KG2为蓝色(R，G，B(各8位)＝0，0，255)。

在监视器画面的坐标位置上指定第1基准图像KG1和第2基准图像KG2的位置。将表示该坐标位置的坐标信息存储在HDD14等存储部中。基准图像识别部28根据存储在该存储部中的各基准图像KG1、KG2的坐标信息，进行第1基准图像KG1及第2基准图像KG2的识别。

在图6的流程图的步骤S11中，基准图像识别部28从监视器画面的摄像图像中判断是否检测到这两个个基准图像KG1、KG2。如果未检测到两个基准图像KG1、KG2(步骤S11:否)，处理进入步骤S21，基准图像识别部28判断是否能够检测到两个基准图像KG1、KG2之中的一个基准图像。

如果两个基准图像KG1、KG2均未能检测到(步骤S21:否)，处理进入步骤S31，处理图像识别部30尝试从整个监视器画面的摄像图像中检测图7中以虚线框显示的处理图像(数值检测范围的图像)。从监视器画面的拍摄图像整体中没有检测到处理图像(步骤S32:否)，意味着拍摄图像中没有处理图像。也就是说，意味着由于用户等接触到监视器装置或摄像装置1，监视器装置和摄像装置1的相对位置关系产生了相当大的偏离。此时，用户为了正确地拍摄监视器画面，重新调整图像的摄像装置1等的位置(步骤S34)，结束该图6所示流程的处理。

相反，如果从整个监视器画面的拍摄图像中检测到处理图像(步骤S32:是)，则基准图像识别部28对于被识别的处理图像设定各基准图像KG1、KG2。例如，如图7所示，基准图像识别部28在离开被识别的处理图像的左上角一定距离的位置上配置第1基准图像KG1，在离开被识别的处理图像的右下角一定距离的位置上配置第2基准图像KG2(步骤S33)。这样的处理图像的坐标信息、以及各基准图像KG1、KG2的坐标信息，通过基准图像登录部22或处理图像登录部23，重新存储到HDD14等的存储部(处理图像及各基准图像的重新设定)。

另外，如图8所示，即使重新配置第1基准图像KG1，因遮蔽物等依然难以检测时，可以在取消第1基准图像KG1的原始位置的坐标信息的同时，仅重新设定第2个基准图像KG2。即使只设定一个基准图像，在后述中还是可以进行处理图像的检测。

在进行了这样的处理图像及各基准图像KG1、KG2的再设定后，匹配处理部26在步骤S15中，根据重新设定的各基准图像KG1、KG2检测处理图像，再根据模板图像检测该检测到的处理图像中所包含的数字。该检测结果在步骤S16中由处理结果输出部27输出，如上所述，被输入到文档的规定输入栏中。

相反，如果如图9所示，可以从监视器画面的摄像图像中识别两个基准图像KG1，KG2中的一个的基准图像(步骤S21:是)，则基准图像识别部28对被识别的一方的基准图像进行位置确认(步骤S22，步骤S23)。基准图像登录部22将受到确定一方的基准图像(图9中为第1基准图像KG1)的坐标信息重新存储到存储部中。此时，取消另一个基准图像的坐标信息。处理图像登录部23根据确定的基准图像确定处理图像，并将处理图像的坐标信息重新存储到存储部中。

在进行了这样的处理图像以及任意一个基准图像的重新设定后，匹配处理部26在步骤S15，根据重新设定的一方的基准图像来检测处理图像，根据模板图像检测该检测到的处理图像中所包含的数字。该检测结果在步骤S16中由处理结果输出部27输出，如上所述，输入到文档的规定输入栏中。

另一方面，在步骤S11中，如果检测到两个基准图像KG1、KG2(步骤S11:是)，则处理进入步S12，基准图像识别部28的RGB判断部32判断在第1基准图像KG1和第2基准图像KG2的各色(RGB值)上是否产生干扰光引起的变化(步骤S12)。

图10显示因干扰光造成第1基准图像KG1和第2基准图像KG2的各色(RGB值)发生变化。第1基准图像KG1的RGB值在设定时为"255，0，0"，由于干扰光，变化为"255，127，127"。另外，第2基准图像KG2的RGB值在设定时为"0，0，255"，由于干扰光，变化为"130、127、255"。

当发生这种干扰光的影响时(步骤S12:否)，处理前往步骤S41，RGB判断部31进行各基准图像KG1、KG2的RGB值的确认。然后，模板制作部29制作应对各基准图像KG1、KG2的RGB值变化的模板图像(步骤S42)，并重新存储到HDD14等存储部中。

具体来说，在干扰光造成各基准图像KG1、KG2的显色变淡时，模板制作部29对各基准图像KG1、KG2相同，重新制作了颜色较淡的模板图像，并重新存储到HDD14等存储部中。相反，当干扰光使得各基准图像KG1、KG2的显色变深时，模板制作部29对各基准图像KG1、KG2相同，重新制作深色模板图像，并重新存储到HDD14等存储部中。

重新制作了应对这种干扰光造成变化的模板图像后，匹配处理部26在步骤S15，基于新制作的模板图像进行模板匹配处理，检测出处理图像中包含的数字。该检测结果在步骤S16中由处理结果输出部27输出，如上所述，输入到文档的规定输入栏中。

然后，经过判断有无干扰光影响(步骤S12:是)，在处理进入步骤S13后，基准图像识别部28的Zθ判断部32判断各基准图像KG1、KG2有无纵深方向(Z方向)，或者转动方向(θ方向)的位置偏离。

Zθ判断部32使用特征量提取算法，例如AKAZE(Accelerated KAZE)、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)、KAZE、ASIFT(Affine-SIFT)、FAST(Featuresfrom Accelerated SegmentTest)、RIFF(Rotation-Invariant Fast Feature)、BRIEF(Binary Robust Independent Elementary Features)、ORB(Oriented FAST and Rotated BRIEF)、BRISK(Binary Robust Invariant ScalableKeypoints)、或CARD(Compact And Real-time Descriptors)等，判断各基准图像KG1、KG2有无纵深方向(Z方向)以及转动方向(θ方向)的位置偏离。

图11是纵深方向(Z方向)发生位置偏移的示例。图11的例子是各基准图像KG1、KG2以及处理图像在缩小方向上发生位置偏移。Zθ判断部32根据上述特征量提取算法，如图12所示，检测出这种纵深方向(Z方向)上的位置偏离(步骤S13)，确认视器画面的摄像图像中各基准图像KG1、KG2的位置(步骤S51)。基准图像登录部22及处理图像登录部23将对应纵深方向(Z方向)的比例尺的各基准图像KG1、KG2及处理图像的坐标信息重新登录到HDD14等的存储部中。

模板作成部29重新形成与纵深方向(Z方向)的位置偏离相对应的比例尺的模板图像，并存储在HDD14等存储部中。如此重新制作了对应这种比例尺变化的模板图像后，匹配处理部26在步骤S15，根据新创建的模板图像进行模板匹配处理，检测包含在处理图像中的数字。该检测结果在步骤S16中由处理结果输出部27输出，如上所述，输入到文档的规定输入栏中。

与此相对，如图13所示，在各基准图像KG1、KG2中发生转动方向(θ方向)的位置偏离时，基准图像登录部22形成如图13及图14所示地形成未发生转动的模板图像，发生转动的模板图像的四个角位于该未发生转动的模板图像的四条边中任意一条边上。而后将未发生该转动的处理图像的坐标信息重新存储在存储部。

同样，模板制作部29如图13和图15的(a)、图15的(b)所示，形成未发生转动的模板图像，发生转动的模板图像的四个角位于该未发生转动的模板图像的四条边中任意一条边上，而后将该未发生转动的模板图像存储在HDD14等的存储部中(步骤S52)。重新制作了对应这种转动变化的模板图像后，匹配处理部26在步骤S15，根据新创建的模板图像进行模板匹配处理，检测包含在处理图像中的数字。该检测结果在步骤S16中由处理结果输出部27输出，如上所述，被输入到文档的规定输入栏中。

修正转动方向的位置偏离时，可以对各基准图像KG1、KG2、处理图像以及模板图像实施倾斜补偿处理，修正转动方向的位置偏移。

而后，在未检测到纵深方向(Z方向)及转动方向(θ方向)的位置偏离的情况下(步骤S13:是)，处理进入步骤S14，基准图像识别部28的XY判断部33判断各基准图像KG1、KG2有无横向(X方向)或纵向(Y方向)的位置偏离。

当各基准图像KG1、KG2上发生XY方向的位置偏离时(步骤S14:否)，处理图像登录部23在步骤S61中，将移动了XY方向上的偏离量的处理图像的坐标信息存储在HDD14等存储部中。另外，在XY方向的位置偏离发生时，模板制作部29不重新形成模板图像，而是直接使用预先登录的模板图像进行上述匹配处理。

在步骤S14中，当判断为各基准图像KG1、KG2的位置未发生偏离，以及随着XY方向的位置偏离而重新输入处理图像的坐标信息时，处理进入步骤S15及步骤S16。在该步骤S15及步骤S16中，如上所述，根据模板图像检测处理图像中包含的数字。该检测结果在步骤S16中由处理结果输出部27输出，如上所述，输入到文档的规定输入栏中。

(实施方式的效果)

从以上的说明可知，实施方式的文字识别系统通过使用模板图像的模板匹配处理，对识别对象，例如数字，进行识别。

在文字识别困难的情况下，如果通过图像处理进行修正，或者事先选择多个创建了的模板图案使用，则对文字识别用PC2的CPU11所施加的负荷变大，处理过程需要很长时间。而今后，在例如即使是便携式终端装置或单板计算机装置等配备了处理能力较低的CPU的设备中，为了使基于摄像图像的文字识别处理成为可能，将优选减小CPU所承受的负荷。

对此，本实施方式的文字识别系统通过对比处理图像内的数字和模板图像的数字来判断是否一致的模板匹配处理，大幅度减小了施加在文字识别用PC2的CPU11上的负荷。因此，即使是具备处理能力较低的CPU的设备，也能够基于摄像图像进行文字识别处理。

而且，本实施方式的文字识别系统在识别对象的数字的识别变得困难的情况下，检测过去和当前的各基准图像KG1、KG2之间发生的变化，根据该变化，对用于模板匹配处理的摄像图像或模板图像的至少其中之一进行预定的处理。对于拍摄图像所进行的预定处理，包括例如上述倾斜补偿处理、以及改变进行模板匹配处理的摄像图像中的规定范围的处理等。

进而，对于模板图像所进行的预定处理，例如如上所述，包括模板图像的生成，形成与基准图像的变化相对应的新模板图像，而后进行上述模板匹配处理。由此，可以在不对CPU施加较大负荷的情况下，对应各种变化形成模板图像，进行数字等识别对象的识别。

最后，上述实施方式是一个示例，并不对本发明的范围产生限制。该新的实施方式可以以其他各种方式实施，可以在不脱离发明的要旨的范围内进行各种省略、替换、变改。实施方式以及实施方式的变形包含在发明的范围和摘要中，同时也包含在专利请求范围限定的发明和其均等的范围内。

记号说明

1 摄像装置

2 文字识别用PC

3 结果显示用PC3

4 管理用PC

5 数据库

6 局域网络

7 工厂内网络

8 平板电脑终端

11 CPU

12 ROM

13 RAM

14 HDD

15 操作接口(操作I/F)

16 通信部

17 鼠标装置

18 键盘装置

21 图像取得部

22 基准图像登录部

23 处理图像登录部

26 匹配处理部

27 处理结果输出部

28 基础图像识别部

29 模板制作部

30 处理图像识别部

31 RGB判断部

32 Zθ判断部

33 XY判断部

Claims (14)

1.一种信息处理装置，其中具有，

基准图像存储部，用于存储摄有识别对象的摄像图像中包含的基准图像；

匹配处理部，用于对摄有所述识别对象的摄像图像进行基于所述识别对象的模板图像的图案匹配处理，识别所述摄像图像中包含的所述识别对象；

基准图像识别部，用于识别所述摄像图像中的所述基准图像；

变化检测部，用于检测经过所述基准图像识别部识别的所述基准图像的变化；

匹配调整部，用于根据检测到的所述基准图像的变化，对所述匹配处理部在所述图案匹配处理中使用的所述摄像图像和所述模板图像中至少某一方进行预定的处理。

2.根据权利要求1所述的信息处理装置，其中，所述匹配调整部包括模板制作部，该模板制作部用于根据检测到的所述变化，制作在所述匹配处理部中使用的所述识别对象的模板图像，所述匹配处理部用所述模板制作部制作的模板图像，进行所述图案匹配处理。

3.根据权利要求2所述的信息处理装置，其中，在所述变化检测部检测到所述基准图像的颜色发生变化时，所述模板制作部根据变化后的颜色，制作模板图像。

4.根据权利要求1所述的信息处理装置，其中，在所述变化检测部检测到所述基准图像的比例尺发生变化时，所述模板制作部制作与变化后的比例尺对应的模板图像。

5.根据权利要求1所述的信息处理装置，其中，所述变化检测部检测到所述基准图像在转动方向上发生变化时，所述模板制作部制作转动方向上未发生变化状态的模板图像，该模板图像的大小为包含转动方向发生变化的所述识别对象。

6.根据权利要求1至6中任意一项所述的信息处理装置，其中，所述匹配处理部对所述摄像图像的规定范围进行所述图案匹配处理。

7.根据权利要求6所述的信息处理装置，其中，所述基准图像与所述摄像图像中所述设别对象之间具有规定的位置关系，当所述变化检测部检测到所述基准图像在所述摄像图像中的位置发生变化时，所述匹配调整部改变所述摄像图像中进行图案匹配处理的预定范围，所述匹配处理部对经过所述匹配调整部更改后的所述预定范围进行所述图案匹配处理。

8.根据权利要求7所述的信息处理装置，其中，所述基准图像是围绕中心轴转动时不会成为相同形状的图像。

9.根据权利要求1至6中任意一项所述的信息处理装置，其中，当所述变化检测部检测到所述基准图像发生倾斜时，所述匹配调整部对所述摄像图像的倾斜进行修正，所述匹配处理部对经过所述匹配调整部修正后的所述摄像图像进行所述图案匹配处理。

10.根据权利要求1至9中任意一项所述的信息处理装置，其中，所述变化检测部以所述识别对象的识别率达到规定以下为时机，检测所述基准图像的变化。

11.一种由信息处理装置执行的信息处理方法，其中包括，

匹配处理步骤，对摄有识别对象的摄像图像进行基于所述识别对象的模板图像的图案匹配处理，识别所述摄像图像中包含的所述识别对象；

基准图像识别步骤，识别所述摄像图像中的基准图像；

变化检测步骤，检测所述基准图像的变化；

匹配调整步骤，根据检测到的所述基准图像的变化，对所述图案匹配处理中使用的所述摄像图像和所述模板图像中至少某一方进行预定的处理。

12.一种信息处理系统，其中具有权利要求1至10中任意一项所述的信息处理装置、以及数据形成装置，该数据形成装置用于形成在规定输入栏中输入了用所述信息处理装置识别的所述识别对象的状态的数据。

13.一种存储介质，其中存储程序，所述程序通过处理器执行，实现以下功能，

匹配处理部，用于对摄有所述识别对象的摄像图像进行基于所述识别对象的模板图像的图案匹配处理，识别所述摄像图像中包含的所述识别对象；

基准图像识别部，用于识别所述摄像图像中的所述基准图像；

变化检测部，用于检测所述基准图像的变化；

匹配调整部，用于根据检测到的所述基准图像的变化，对所述匹配处理部在所述图案匹配处理中使用的所述摄像图像和所述模板图像中至少某一方进行预定的处理。

14.一种计算机装置，其中包括，存储了程序的存储装置和处理器，所述程序通过处理器执行，实现以下功能，

匹配处理部，用于对摄有所述识别对象的摄像图像进行基于所述识别对象的模板图像的图案匹配处理，识别所述摄像图像中包含的所述识别对象；

基准图像识别部，用于识别所述摄像图像中的所述基准图像；

变化检测部，用于检测所述基准图像的变化；

匹配调整部，用于根据检测到的所述基准图像的变化，对所述匹配处理部在所述图案匹配处理中使用的所述摄像图像和所述模板图像中至少某一方进行预定的处理。

Images