发明的具体实施方式
下面,使用附图详细地说明本发明的实施例。
图1为示出把本发明的图像识别装置运用于金融机构的营业点窗口系统中时的系统的图。假定本实施例中的营业点窗口系统的运用环境为,在营业点10那样的闭空间内、在营业点的天井12上配有特性相似的照明器具11的情况。把多个图像识别装置20相邻地配置在营业点10内。图像识别装置20A、B具备:互相连接起来的台式图像扫描器30A、B;以及客户装置40A、B。通过LAN 50把各客户装置40A、B连接起来。此外,还把服务器装置60与LAN 50连接起来。为了把客户装置40A、B的交易结果经由WAN 70或专用线路发送给未图示的中心而使用服务器装置60。
台式图像扫描器30利用环境照明。因而,在营业点等存在着人物移动的场所中,人物成为障碍物80,有时障碍物80的影子90落到台式图像扫描器30上。此时,台式图像扫描器30由于照度不够,故不能进行图像的读取。另一方面,在照明器具11的电源成为OFF状态而处于照度不够的情况下,也不能进行图像的读取。在以单独的台式图像扫描器30进行运用的情况下,难以区别两者的主要原因。在本实施例的系统中,经由LAN 50取得用相邻的其它台式图像扫描器30读取的照度信息、加以组合,来判断状况。
图2为示出图1中的一个图像识别装置20A的结构的图。假定其它图像识别装置20B也同样构成。
在客户装置40中,安装了显示器41、CPU42、盘43、存储器44、LAN板45。显示装置41为输出后述的各种告警或通知的输出装置。此外,CUP42为按照存储器44的软件进行读取、OCR处理等控制的控制部。LAN板45为通信控制部,用于与连接到网络上的其它图像识别装置等进行通信。
盘43具有相关信息文件43-1及识别定义文件43-2。存储器44在起动时读入业务软件44-1、控制软件44-2、二进制化处理软件44-3、识别软件44-4。把这些软件存储在盘43内。LAN板45与LAN 50连接。
把台式图像扫描器30连接到客户装置40上。客户装置40A的存储器44内的控制软件44-2控制台式图像扫描器30A。作为在控制软件44-2的控制下起动的软件模块,有二进制化处理软件44-3及识别软件44-4。
二进制化处理软件44-3具有把通过台式图像扫描器30A取得的灰度图像、变换成识别软件44-4能够处理的二进制图像的功能。所谓二进制化参数是用于把灰度图像在各种阈值下分配给白像素及黑像素这二进制值的条件值。在不同的条件下生成二进制图像,通过在向二进制图像变换时、对二进制化处理软件44-3提供二进制化参数来进行。
识别软件44-4具有使用由二进制化处理软件44-3变换了的识别用图像、及包含每张帐票的识别用信息的识别定义文件43-2,来识别在图像中所包含的识别场的文字信息的功能。
控制软件44-2以按下台式图像扫描器30A的扫描器起动按钮为起点,执行OCR处理。所谓OCR处理指的是,在读取图像并利用二进制化处理软件44-3对灰度图像进行了二进制化之后,把该图像及识别定义文件43-2输入给识别软件44-4,以识别文字。
在本发明的实施例中,盘43具有记录照度信息、二进制化参数、及文字识别率的相关信息的相关信息文件43-1。把这些信息作为OCR处理的控制条件来使用。再有,把由一系列OCR处理求出的识别结果通知给业务软件44-1,作为业务处理的输入信息来使用。
图3为本实施例中使用的台式图像扫描器30的概观图。台式图像扫描器30应用了数码相机的原理。30具有放置读取对象的账票的读取台31、及读取图像的扫描器头部32。利用配置在内装于扫描器头部32中的照相单元上的CCD传感器,拍照放置在读取台31上的帐票。
除此之外,在台式图像扫描器30A、B中,还内装了扫描器起动按钮33及光学传感器34。扫描器起动按钮33是操作员用于进行读取指示的铵钮。如果按下扫描器起动按钮33,则把这一情况通过电缆35传输给图2的客户装置40。CUP42按照控制软件44-2对图3的台式图像扫描器30进行读取图像的指示,以取得所读取的图像信息。
光学传感器34用于测量台式图像扫描器30附近的照度。台式图像扫描器30在图像的读取处理时必须利用光学传感器34来接受光照度并判定是不是正常地读取图像的条件。在本实施例中,图2的客户装置40在取得与控制软件44-2的图像读取指示对应的图像信息之后,取得照度信息的读取。
在本实施例中,台式图像扫描器30例如每经30ms测量照度、把最新的照度信息存储在内装的存储器中,当按下起动按钮33时就把内装存储器的最新照度信息通知给客户装置40。客户装置40读取按下了起动按钮33的通知,例如在50ms之后对台式图像扫描器30指示读取图像并进行读取,进而在50ms之后读取存储的最新照度信息并将其保存在上述存储器中。而且,利用客户装置40进行已读取的图像信息及照度信息的判定。也可以构成为,该照度信息的读取在取得图像信息之前来进行。
使用图4,说明台式图像扫描器30的细节。图4为台式图像扫描器30的电路结构图。台式图像扫描器30的电路大致加以区分而具备底座部31、扫描器头部32、及控制箱部33。
首先,着眼于由操作员指示了读取的图像识别装置20(自己的台式图像扫描器30A及自己的客户装置40A)进行说明。
作为检测环境照明的照度的光学传感器34把光电二极管32-4内装于自己的台式图像扫描器30A的扫描器头部32中。使光电二极管32-7受光了的光通过光量监视电路32-8,作为电信号而输出。该电信号作为模拟信号而输出,但通过A/D变换器32-5A将其变换成数字信号、在适当的起点上通过多路转换器40-6发送给控制箱部42。在数字信号的发送中,把接口32-9及32-4作为通信窗口来使用。
在控制箱部31中,CUP31-3经由图像处理包31-5接收数字信号。把接收到的数字信号作为照度信息存储在存储器31-2中。在此,CPU31-3每经30ms对光电二极管32-7发出读取指示,每经30ms从光电二极管32-7读取照度信息,将其存储在存储器31-2中。
在自己的台式图像扫描器30A正常工作了时,LEO灯33-1成为点亮了的状态。在通过操作员按下起动按钮33而把读取开关33-2按下时,CUP31-3在表示按钮状态的信号从0N变或OFF的起点上认知按下了铵钮,经由电缆31-8把按下了按钮通知给客户装置40的控制软件44-2。自已的客户装置40A的控制软件44-2读取按下按钮的通知,在50ms之后对自己的台式图像扫描器30A指示读取图像。
自己的台式图像扫描器30A的CPU31-3一读取图像指示,就把读取开始指示提供给马达驱动电路31-1。马达驱动电路31-1与读取开始指示的接收一致地驱动马达32-2,使CCD传感器32-1平行移动。在此,CCD传感器32-1是配置在内装于图3的扫描器头部32中的照相单元上的CCD传感器。CCD传感器32-1读取通过透镜进入的帐票的反射光,但是,由于它是一次读取一行的传感器,故通过利用马达32-2使CCD传感器32-1平行移动依次读取足够合成帐票图像的行信息。
放大器32-3放大CCD传感器32-1输出的模拟信号,DC箝位器32-4及A/D变换器进而将其变换成数字信号。然后,经由接口32-9、31-4,将其发送给图像处理包31-5,在图像处理包31-5中,对帐票图像信息进行图像的噪声或失真校正。CPU32-3起动DMA控制器31-6,在DMA控制器31-6的控制下使扫描器头部32发送来的图像信息经由接口31-7、电缆31-8传送给客户装置40A。
自己的客户装置40A的控制软件44-2进而在50ms之后,为了对台式图像扫描器30读取照度信息而指示请求照度信息。
当从客户装置40的控制软件44-2出现了指示时,自己的台式图像扫描器30A的CUP 31-3从存储器31-2读取照度信息,把照度信息通过接口31-7、电缆31-8送给自己的客户装置40A。
其次,说明通过LAN 50与接受了读取图像的指示的图像识别装置20连接起来的其它图像识别装置21(其它台式图像扫描器30B及其它客户装置40B)。其它台式图像扫描器30B及其它客户装置40B的电路结构,与上述自己的台式图像扫描器30A及与自己的台式图像扫描器30A连接起来的自己的客户装置40A相同。
自己的客户装置40A在对自己的台式图像扫描器30A进行读取上述图像信息及照度信息时,还对其它客户装置40发出读取其它台式图像扫描器30B的图像信息及照度信息的指示。其它台式图像扫描器30B的CPU31-3根据该指示进行读取,与在自己的台式图像扫描器30A中说明的相同、把图像信息及存储在存储器31-2中的最新照度信息经由LAN 50送给自己的客户装置40A。这样一来,通过按下自己的台式图像扫描器30A的起动按钮33来读取自己的台式图像扫描器30A及其它台式图像扫描器30B的图像信息及照度信息,将其送给其它客户装置40的控制软件44-2,利用控制软件44-2进行图像及照度的判定。关于图像的判定,预先确定图像条件的阈值、根据图像信息对该阈值的上下而分类为「良好」及「较差」这样的属性。
图5为图2中的自己的客户装置40A的控制软件44-2所具有的处理程序。具体地说,图5示出了如何处理用自己的台式图像扫描器30A的光学传感器34测量的照度信息、及用与其它客户装置40B连接起来的相邻的其它台式图像扫描器30的光学传感器34测量的照度信息。在此/预先把可运用的照度条件的阈值例如确定为500勒克斯,根据照度对该阈值的上下而分为「亮」及「暗」这样的二种属性。
如图5所示,在自(自己的)/它(其它)台式图像扫描器的照度条件为亮/亮的情况下,由于作为图1的营业点10在照度条件方面没有问题,故可使用以前读取的图像信息来识别图像的文字。在自/它图像扫描器的照度条件为暗/亮的情况下,判断为由于自己的图像扫描器附近人物等障碍物80而成为间歇地照度不够,在经过一定时间之后、例如1秒之后进行指示,以便再次读取图像信息及照度信息。
在自/它图像扫描器的照度条件为亮/暗的情况下,利用自己的图像扫描器来读取图像是没有问题的,但是由于可判断为作为营业点周围较暗,故作为告警信息把这个意思报告给服务器装置60。服务器装置60通过经常收集这些告警信息,故可管理对营业点照度变动的倾向等。
在自/它图像扫描器的照度条件为暗/暗的情况下,由于可判断为整个营业点较暗,故可在客户装置的画面上显示催促改善环境照明的语句,或者作为告警信息向服务器装置60报告。
这样,由于通过取得营业点10中多个部位的照度信息、可从单个部位的照度信息综合地判断状况,故可提高依赖于环境的台式图像扫描器30的运用效率。
图6为示出相关信息文件43-1的图。相关信息文件43-1作为文件描述了:利用图2中的客户装置40的二进制化软件44-3把用台式图像扫描器30取得的灰度图像二进制化;将其输入给识别软件44-4;以及收集文字识别的结果信息。相关信息文件43-1记录了:帐票的种类信息(用[]表示的部分);照度信息(LIGHT);二进制化参数信息(SLICE-A/SLICE-B);以及文字识别结果对于把这些信息组合起来的条件项目的正答次数(OK)和误答次数(NG)。
可以把这种记录解释为表示对于在外部使用的条件参数的识别率,这样,通过积累相关信息可以知道在OCR处理中识别率变高那样的条件参数的组合。在OCR处理中,由于帐票的种类由业务确定、照度由环境照明确定,故在内部程序中可以变更的参数成为二进制化参数。控制软件44-2在执行OCR处理时,涉及到从灰度图像生成识别用图像时的二进制参数、可以通过参照相关信息文件43-1来选择使文字识别率变高那样的值而加以确定。
这样,通过把相关信息文件43-1导入,即使在运用台式图像扫描器30时环境照明存在着变动,通过自动地确定适当的二进制化参数也能够具有消除了对OCR处理的不良影响那样的效果。
在营业点10上构成的系统中,各客户装置40、41在各个OCR处理中更新了相关信息文件43-1,但是,由于一般来说在相关信息文件43-1中所包含的信息的积累量越多可靠性越高,故在积累了一定量的瞬间把自己的相关信息文件43-1分配给由LAN50连接起来的其它客户装置40B,各客户装置40通过把接收到的相关信息文件43-1与自己的相关信息文件43-1合并,也可以增加信息的积累量。
此外,还可以考虑下述形态,不是直接向各客户装置40分配相关信息文件43-1的方法,而是将其发送给服务器装置50、在服务器装置50内一元地进行管理,各客户装置40在OCR处理时参照在服务器装置50上管理的相关信息文件43-1。
另一方面,还可以考虑下述控制方法,不是在各客户装置40间进行对相关信息文件43-1共有化的处理形态,而是把各客户装置40内的相关信息文件43-1的内容共有化、使各个客户装置40的信息积累量具有差别。即下述控制方法,当在某一个客户装置40中进行OCR处理时向其它客户装置41分配灰度图像,使用各个客户装置40、41内的相关信息文件43-1进行文字识别,那一个客户装置40只回收其处理结果、与自己的处理结果互相对照。
此时,由于根据信息累积量不同的相关信息文件43-1进行文字识别故文字识别结果的可靠性也分别不同,但是希望通过采用处理结果的多数表决方式可提高文字识别率的精度。
相关信息文件共有化的前者的形态或采用处理结果的多数表决的后者的形态,都可以通过把多个台式图像扫描器在网络的环境下有机地结合来执行。关于依据于外部环境的设备的控制,使用网络进行多个设备的组控制的方式比进行单体设备的控制可提高信息的可靠性,此外,还能改善系统的运用效率。
图7为示出图2中的客户装置40的控制软件44-2的处理流程的图。下面,按照图7说明具体的处理流程。
在步骤700中,从业务软件取得帐票种类。其次,在步骤701中,通过检测到操作员按下了自己的扫描器起动按钮的状态而执行进行OCR处理的程序逻辑。
在OCR处理的处理(步骤702~709)中,进行用图7说明的各种处理。首先,在步骤702、703中,进行自己的台式图像扫描器30A附近及其它台式图像扫描器30B附近的照度测量。
在步骤704~709中,基于测量到的值、根据自己的台式图像扫描器30A及其它台式图像扫描器30B的照明状态,进行按照图5所示的控制矩阵的处理。如果在自己的图像扫描器中是能够读取图像的照度条件(即自己的图像扫描器的传感器状态为亮),则在步骤710中从自己的图像扫描器取得灰度图像。
如果是不能读取图像的照度条件(即自己的图像扫描器的传感器状态为暗),则进行到步骤707。在步骤707中,根据利用步骤703以得的其它扫描器的传感器状态,研究周围的装置是否亮。如果其它台式图像扫描器的传感器状态为亮状态,则等待规定的时间例如1分钟,从步骤703起再试行(步骤708)。不是这样时,进行到步骤709,要求改善环境照度。
在步骤711中,需要从灰度图像变换成识别用的二进制图像,但是此时所使用的二进制参数是读取相关信息文件43-1的内容、根据其内容确定的。由于利用到此为止的步骤确定了相关信息文件中的帐票种类信息及照度信息这二个外部参数,故如果确定了其余的作为外部参数的二进制化参数信息,即可。从相关信息文件可取得多个与上述二个外部参数一致的条件项目。
在把这些表格按取样数(正答次数与误答次数之和)的递升次序分类之后,着眼于最大取样数与最小取样数的数量之差,如果差为最大取样数的20%以上则选择识别率成为最大的二进制化参数,如果差不到20%则探索其它条件。
该处理是用于防止在选择了识别率最大的条件左右时发生的相关信息的偏差的准备。在差不到20%时着眼最小取样数的条件项目,该条件项目的识别率为80%以上时使用对应于该项目的二进制化参数。识别率不到80%时,着眼于第二最小取样数的条件项目,同样重复试行。
利用该方法求出满足保证实用的识别率的要求及防止相关信息文件的信息偏差的要求这二方面的二进制化参数。
在步骤712中,使用在步骤711中求出的二进制化参数,从灰度图像生成识别用的二进制图像,在步骤713中,起动识别软件44-4,进行图像中的文字识别。在步骤714中,把文字识别结果通知给业务软件44-1,在步骤715中,业务软件44-1在自己所具有的画面上与操作员对话,请求操作员判定在步骤714中取得的识别结果的正误,从业务软件44-1取得判定结果。
在步骤716中,利用从业务软件44-1取得的正误信息能够判定在步骤713中进行的识别处理结果的真伪,把该真伪(识别ON/NG)更新记录到相关信息文件43-1中。
而且,在步骤717中,当进行了一定次数的更新时,把自己的更新相关信息文件的内容与其它客户装置的更新相关信息文件合并,以共有化为目的,使用LAN50把自己的更新相关信息文件送给其它客户装置。
如以上说明了的那样,台式图像扫描器以环境照明为光源取得了图像,但是由于环境照明这样的外部主要原因的变动对于图像扫描器的运用产生不良的影响,故在运用时设置的条件等很严、有必要规定制约条件。但是,如本实施例那样,如果在LAN那样的网络环境中形成多台运用的系统环境,则由于可从每一个图像扫描器的光学传感器收集照度故可在面上掌握营业点等闭空间中的照度状态。如果与以图像扫描器装置单体来运用相比,在多台运用时通过以周围的客户装置的照度状态为参数、也能够比单体运用时更正确地判定自己的客户装置附近的照度不够的状态是否是间歇的异常状态。
此外,由于定期地把在每一个客户装置中取得的照度信息发送给服务器装置,故服务器装置通过以小时、日或周这样的时间为单位进行一元管理能够掌握营业点上的照度变动倾向,能够用于涉及照明设备恶化等的预防维护方面。
进而,涉及到作为取得帐票的图像并识别图像内的文字信息的OCR装置的运用,每一个客户装置具备自动地总计与帐票种类、照度、二进制化参数及文字识别率之间的相关关系的功能,能够把该信息用于提高文字识别率那样的二进制参数的选定方面。此外,由于通过把相关信息分配给其它客户装置或者使服务器装置具有进行一元管理的结构、可以使各客户装置的相关信息共有化,故可提高整个客户装置文字识别处理的精度。另一方面,通过采取下述方式也能够提高文字识别处理的精度,不是在各客户装置间进行相关信息的共有化,而是在文字识别处理时向各客户装置分配灰度图像,在各客户装置中使用各自的相关信息求出各自的识别结果,把这些识别结果互相对照,求出最终的结果。
这样,通过采用下述那样的控制方式可以期待使运用效率提高那样的效果,在网络环境中把台式图像扫描器按照逻辑加以连接且使控制用的信息共有化、或者不是使信息共有化而是把在每一个装置中得出的处理结果互相对照来提高结果的精度。
按照本发明可以得到在环境照明发生了变化的情况下进行与变化对应的处理的图像识别装置及其中使用的台式图像扫描器,该图像识别装置的构成为把客户装置与利用环境照明的多个台式图像扫描器的每一个连接起来、且通过网络把该客户装置互相间连接起来。此外,按照本发明可以得到掌握环境照明的变化的图像识别装置。此外,按照本发明可以得到可以提高图像识别时的识别率的图像识别装置。