数据媒体处理装置及数据媒体处理方法
本发明涉及媒体处理装置及涉及例如适用于金融机构文件处理的数据媒体处理方法,并特别涉及进行对诸如个人文件等具有各种格式的文件的处理的数据媒体处理装置及数据媒体处理方法。
近年来,作为阅读当作图象数据(一个图象)的字符信息并然后识别字符的装置,诸如光学字符阅读装置(OCR装置)得到发展,并在各种行业中,广泛使用图象数据阅读装置以便达到业务上效率的扩充等。
例如,在金融机构等的窗口操作的操作者通过使用上述图象数据阅读装置有效处理文件媒体(多个文件)而达到业务的扩充。
特别,为了在进行上述这种文件处理的业务中有效达到扩充,不仅需要同类型的文件媒体(专用于识别处理的媒体),而且还需要自动地处理具有不同格式的文件媒体。
这样,使用图象数据阅读装置的文件媒体的处理能够通过使用例如图115所示的文件处理装置对于多种文件媒体进行。
特别,参照图115,标号1001表示用于阅读文件的图象数据的图象数据阅读装置。图象数据阅读装置1001连接到计算机1002使得它能够在计算机1002的控制下进行图象数据的阅读操作。可注意的是,例如图象扫描器或者传真机用作为图象数据阅读装置1001。
同时,计算机1002作为用于控制图象数据阅读装置1001的控制装置由诸如键盘或者鼠标(图115中只示出键盘)用于从操作者输入指令、数据等的输入单元1002-1,计算机主机1002-2,及用于显示数据、控制信息等显示单元1002-3组成。可注意到,由图象数据阅读装置1001所阅读的图象数据的字符识别处理是由计算机主机1002-2进行的。
进而,标号硬盘1003表示一个硬盘。硬盘1003连接到计算机1002并预先存储信息(下面称为“定义对象的信息”)1003A到1003C,…,该信息对于例如图116所示的每一种类的文件,指定要被识别的字符数据的位置信息,及字符的类型,数目等等。
可注意的是,能够使用如图116或117所示的图象数据阅读和识别装置1005替代上述的图象数据阅读装置1001。图象数据阅读和识别装置1005能够进行类似于图象数据阅读装置1001的图象数据阅读操作以及字符识别。
为了使用图象数据阅读和识别装置1005识别出现在例如图116所示的电费付款通知单1004上的字符数据,通过操作者操作键盘1002-1指定文件类型(这种情形下,定义对象信息1003B对应于电费付款通知单1004(文件B))。
然后,计算机1002访问硬盘1003取得被指定的文件的定义对象信息1003B,并向图象数据阅读和识别装置1005报告该定义对象信息1003B。
继而,图象数据阅读和识别装置1005能够基于作为来自计算机1002的控制信息的定义对象信息1003B实现图象数据的阅读和字符识别的处理。
可是,在处理诸如参照图116上述的文件的过程中,由于定义对象信息是对每一要阅读的文件通过操作者的指定而被指定的,故加重了操作者的负担,并且此外,当定义对象在数量上增加时,可能出现指定的错误。在需要处理数千种文件的地方,对于操作者指定一个定义对象实际上是困难的。
因而,此间如图117所示还提出另一方法,在文件1004规定的位置处1004a记录用于标识一个文件以便同任何其它文件相区别的ID号码(这种情形下是′0102′),使得文件的阅读处理能够自动地进行而无需如上述那样由操作者指定文件类型。
由刚才所述的方法,当文件的图象数据要由图象数据阅读和识别装置1005阅读时,可通过首先识别在预定位置1004a所记录的ID号码,然后使用对应于所识别的ID号码的定义对象信息(这种情形下为1003B)实现字符的识别。
然而在要阅读图象数据时,如果在诸如图象数据阅读装置1001或者图象数据阅读和识别装置1005等光学阅读装置中(例如文件处理装置)文件等所放置的位置错位时,或甚至例如阅读与其定义对象信息预先存储在硬盘1003中的文件相同的文件,则由于字符数据区域,即字形等等区域对参照点(物理原点)的图象坐标不表现为与定义对象信息的图象相同的坐标,而在文件处理装置中等判断布局彼此不同。
在文件处理装置等中,除非在彼此调整了所阅读图象数据的布局和定义对象信息的布局之后进行图象数据的字符识别,否则有时不能正规地进行字符识别处理。因而,各个图象的参照点被提取,并且各个图象对该参照点的坐标彼此进行比较以实现布局之间的重合的鉴别。
这里,主要使用以下两者方法取得图象数据的参照点。要注意的是,作为先决条件,供阅读的对象文件是事先打印的文件并且文件在表格上的打印位置以高度精确管理。
根据第一方法,当文件的图象数据由图象数据阅读装置阅读时,表格端边缘1006的左上转角位置P确定为参照点,该装置中如图118(a)所示,被阅读的文件的表格端边缘1006与阅读背景1007能够彼此识别开。
根据第二方法,当文件的图象数据要由图象扫描器或者传真机阅读时,由于阅读背景1009与被阅读的表格端边缘1008如在图118(b)所见不能彼此识别开,故在对象文件表格上打印一个参照标号R供预先阅读,并且从图象数据抽取这个标号R且被判断为参照点。
第二个方法优点在于,由于参照点位置是作为参照标号R预先打印的,故即使在阅读装置中文件所放置的位置移动,参照点也能够被稳定地抽取。
然而,在文件处理装置等中,即使通过上述方法精确抽取了参照点,如果图象数据的阅读方向不是正确的方向,则图象数据的字符说明方向也不是正确的方向,因而字符识别处理不能进行。
例如如图119中所示,如果其上的信息是在水平方向所述一转帐票具(文件C)1010在错误的方向(在图119中垂直方向)上被阅读,则这样所阅读的转帐票具1010的图象数据是在错误的方向上显示的,如显示单元1002-3上参照符号1010A所示。
因而,由文件处理装置等进行字符识别处理时,操作者必须目视观察显示单元1002-3以判断文件阅读方向是否正确,并当文件的阅读方向不正确时,从键盘1002-1输入指令以便旋转所阅读的文件图象数据90度或180度,使得实现图象数据的旋转校正处理,以便文件的图象数据能够在如显示单元1002-3上由参照符号1010B标记的正确方向上显示。
顺便来说,在通常向银行帐户汇付工作中,操作者输入在文件上所述的帐户号码、姓名、款的数量等等信息,该文件是来自文件处理装置1000的键盘1002-1等的一个汇付请求票具。这时,操作者目视地交替观察文件及显示单元1002-3以便进行输入操作。
然而,在文件和显示单元1002-3目视被交替地观察以便按这样的方式进行输入操作的地方,由于涉及到操作者眼睛很多的运动,故问题在于目视可辨别性变坏并且有可能文件的条目和屏幕上的条目之间的匹配被搞错。
于是,又一种文件处理装置已经提出,其中文件由图象数据阅读装置1001等阅读,并且所阅读的图象数据本身与图象数据字符识别的结果一同显示在显示单元1002-3上。
使用文件处理装置,由于文件上描述的信息能够直接在显示单元1002-3上目视观察到,故可减少眼睛的运动,因而在对字符识别结果的确认和修改时能够减少字符识别的结果和图象数据之间匹配的差错。
同时,近年来,通过使用客户机-服务器系统的服务器以高速度集中方式进行数据处理的方法主要在金融机构等采用。
例如,提出把对于金融机构的每一个银行(业务办公室)安装的客户机与安装在地区中心的服务器通过专线或交换线互联而构成一个客户机-服务器系统,并通过服务器集中进行文件处理以达到业务效率的提高。
在以这种方式由服务器进行集中处理的地方,由于集中到服务器上的数据量变得非常大,操作者不能通过服务器进行文件处理。于是,必须设计其中无需操作者的干预服务器能够自动地进行文件处理的系统。
于是,如果其上描述文件上的ID号码的文件如上述参照图117所述的文件标识处理用于刚才所说明的客户机-服务器系统,则服务器能够自动地辨别文件的类型并进行文件的阅读处理。
继而,还是使用客户机-服务器系统,其中由图象数据阅读装置所阅读的图象数据本身与图象数据字符识别的结果一同显示在显示单元上,文件上所描述的信息能够直接在显示单元上目视观察,从而在对字符识别的结果的确认与修改时降低了字符识别的结果与图象数据之间的匹配出错。
可是,在处理参照图117的上述这种文件的技术中,可被阅读的文件媒体只是对于文件处理装置专用而生产的文件媒体,并且由于不能使用通常所使用的普通文件,这时问题就在于,专用的文件必须重新生成。
同时,在如上参照图118(a)所述这种第一参照点抽取方法中,由于在表格上文件的打印位置必须以高精确度进行管理,其中涉及例如由字处理器等打印的文件,如果人工放置表格,则在很多情形下每当进行打印时打印位置会变化。因而,这时问题就在于,设置表格端边缘1006的左上转角位置P为参照点是不适宜的。
进而,在如上参照图118(b)所述这种第二参照点抽取方法中,供阅读的对象文件是其上参照标记R被打印的专用文件,并且问题在于,涉及其上没有打印参照标记R的普通文件的地方,则参照点不能被抽取。
进而,又使用在用于文件阅读器等其中文件中表的特别点用作为参照点的识别技术中所采用的技术,则问题在于,供识别的对象文件的布局在一定程度上不能规定,该技术在功能上不是很有效的。
应当注意,即使在作为其图象先前已经被阅读过的同一文件再次阅读,由于在图象阅读时灰尘、模糊等原因,会发现所阅读的图象与先前的不同了,并在这种情形下,相同的参照点可能有时不能被抽取。
而且,为了使得服务器能够自动地进行参照图119所示的图象数据的那种旋转校正处理,这必须进行实际阅读的图象数据的字符识别,并然后依靠是否能够进行字符识别而进行辨别,看文件的阅读方向是对还是错,而这里它问题就在于,这大大地妨碍了工作效率的提高。
同时,在以上所描述的这种方法中,其中图象数据字符识别的结果与图象数据本身显示在显示单元上以便进行字符识别的结果的确认和修改,由于通过目视观察进行图象数据和确认条款之间匹配,于是问题在于,图象数据包含大量的待确认的条款,故错误的识别仍难于避免。
进而,在图象数据不能一次显示在显示单元时,显示屏必须滚屏以便向后查看数据,这种情形下,必须按动所需的键以便进行滚屏操作。于是问题在于操作复杂化了。
本发明是在看到如上述的诸问题而作出的,本发明的一个目的在于提供一种数据媒体处理装置和数据媒体处理方法,使用该装置和方法能够进行通常所使用的文件并具有如私人票具等各种格式的文件处理。
本发明的另一个目的在于,提供一种数据媒体处理方法,其中即使对于在由字处理器等在普通纸上所打印的文件,也无需使用如以往技术中诸如表格端边缘、参照标记等而能够从所打印的文件的图象数据自动地进行稳定正常的抽取参照点的处理。
本发明的又一个目的在于提供一种数据媒体处理方法,按这种方法,由图象数据阅读装置所阅读的图象数据的旋转校正处理能够自动地进行。
本发明的另一目的是为了提供一种数据媒体处理装置及数据媒体处理方法,其中强调图象数据部分基于事先定义的信息而显示以提高可识别性,并允许平稳地进行确认和修改处理。
本发明的又一个目的是提供一种数据媒体处理装置及数据媒体处理方法,其中在字符单元中的字符图象从文件单元中或者条款单元中的图象数据抽取,并且对字符图象进行编辑,以便减少打字的运动及比较的对象,此外允许高度精确性的确认,使得校正确认操作所需的劳动和时间能够显著减少。
根据本发明,基于从其信息是以任意格式描述的数据媒体而读出的图象,用于识别信息的数据媒体处理装置的特征在于,它包括以下装置:用于从所阅读的图象数据抽取包括格式在内的对于数据媒体唯有的特征并从这些特征规定被识别的信息所出现的位置的装置,以及用于识别由该装置所规定的位置处的图象数据以便鉴别信息的图象识别装置。
特别地,根据本发明,基于从其信息是以任意格式描述的数据媒体而读出的图象,用于识别信息的数据媒体处理装置的特征在于,它包括:布局分析处理部分用于抽取所阅读的图象布局的特征以分析布局的结构并基于所抽取的特征逻辑上表示该布局;备选布局存储部分,其中存储备选的的布局;以及布局的对比检验处理部分,用于使用由布局分析处理部分所抽取的布局特征作为限制检索项从备选布局存储部分检索备选布局以便对比检验是否出现了一个相符的备选布局。
其中,数据媒体处理装置可进而包括一个分析预处理部分,用于对图象进行所需的预处理,这在由布局分析处理部分进行布局分析处理之前形成一个识别对象。
或者布局分析处理部分至少能够包含一个布局特征抽取部分用于抽取图象的布局特征,以及一个布局分析部分用于基于由布局特征抽取部分所抽取的布局特征分析布局的结构。
进而,布局分析处理部分的构成使得,它首先抽取布局的特征,然后抽取布局的逻辑原点,且布局对比检验处理部分的构成使得,它参照由布局分析处理部分所抽取的逻辑原点对比检验是否有相符的备选布局。
这里,布局具有由划线所形成的表格结构,布局特征抽取部分包括用于抽取布局的划线的划线抽取部分,而布局分析部分包括基于由布局特征抽取部分所抽取的布局的划线用于分析由划线形成的表格结构的表格结构分析部分。同时,布局具有不包含划线的无划线表格结构,布局特征抽取部分包括一个条目数据抽取部分用于抽取布局的条目数据,同时布局分析部分包括表格结构分析部分用于基于由布局特征抽取部分所抽取的布局的条目数据分析无划线的表格结构。
进而,布局分析处理部分能够这样构造,使得它判断图象中的标题区域,识别标题区域中的的标题条目并判断对应的条目数据。
或者,数据媒体处理装置能够这样构造,使得备选布局存储部分的构造存储压缩的备选布局的信息,而布局对比检验处理部分压缩处理由布局分析处理部分所抽取的布局特征,并应用布局的压缩特征作为限制检索项从备选布局存储部分检索压缩的备选布局,以便对比检验是否出现了相符的备选布局。
又或者,备选布局存储部分可这样构造使得通过学习能够更新备选布局的信息。
在具有上述结构的本发明数据媒体处理装置中,在信息出现位置鉴定步骤,从所阅读的图象抽取包括格式在内的数据媒体唯有的特征,并从特征,鉴定待识别的信息所出现的位置,并在图象识别步骤中,识别在前面的步骤鉴定的位置处的图象,以便由此鉴别信息,基于从其上信息以任意格式描述的数据媒体所阅读的图象实现信息的识别。
特别,在本发明数据媒体处理装置中,在布局分析处理步骤中,抽取读取的图象布局的特征以便分析布局的结构,并基于所抽取的特征逻辑上表示该布局。并在布局对比检验步骤中,应用在布局分析处理步骤中所抽取的布局特征作为限制检索项而检索存储在备选布局存储部分的备选布局,以便由此对比检验符合的备选布局是否出现,以便基于从其上信息以任意格式描述的数据媒体读取的图象实现信息的识别。
在布局分析处理步骤中,可以首先抽取布局的特征并然后抽取布局逻辑原点,并在布局对比检验处理步骤中,可参照在布局分析处理步骤中所抽取的逻辑原点鉴别信息。
进而,在布局分析处理步骤中,可鉴别读取的图象布局是否在预定的方向,并可基于鉴别的结果转换读取的图象数据使得布局能够在预定的方向。读取的图象数据的转换处理可以是那种旋转布局的处理。
这里,布局具有由划线形成的表格结构,在布局分析处理步骤中,抽取布局的划线,并基于所抽取的布局划线分析由划线形成的表格结构。同时,在布局不包含划线的无划线表格结构之处,在布局分析处理步骤中,抽取布局的条款数据,并基于所抽取的布局的条款数据分析无划线的表格结构。
进而,在布局分析处理步骤中,能够确定图象中的标题区域,并能够确认标题区域中的标题条款信息及确定对应的条款数据。
在压缩的备选布局信息存储到备选布局存储部分之处,在布局对比检验处理步骤中,对在布局分析处理步骤中所抽取的布局特征进行压缩处理,并应用先前步骤中压缩的布局特征作为限制检索项从备选布局存储部分检索压缩的备选布局,并然后,基于检索的结果,对比检验是否出现了符合的备选布局。
进而,在备选布局中信息由备选布局存储部分通过学习而更新。
于是,本发明的数据媒体处理装置的优点在于,由于日常产生的各种文件或图象被电子化自动地分析,使用通常的输入系统(OCR输入系统,数据输入系统等等)的输入工作的效率能够大大提高。
进而,由于布局记录信息是基于任何类型的任意文件布局识别的结果而产生的,并通过学习寄存到备选布局存储部分,因而具有相同布局的文件鉴别能够自动地进行,于是可以降低用于产生专用文件所需的劳务和费用。进而,由于输入能够在学习之后立即进行,故达到基于本装置的系统的安装周期能够减小。
进而,由于文件的图象数据是正常分析处理的,故对于不同于专用的昂贵的OCR文件的文件自动识别处理,其裁剪错误或打印错误很少。
根据本发明,用于基于从其上的信息以任意格式描述的数据媒体读取的图象识别信息的数据媒体处理方法的特征在于,它包括抽取格式的逻辑原点的逻辑原点抽取步骤,参照在前面步骤抽取的逻辑原点抽取包括格式在内的数据媒体唯有的特征,并从特征确定待识别的信息出现的位置的信息出现位置确定步骤,以及当在前面的步骤确定的位置处的图象要被识别时,参照在逻辑原点抽取步骤所抽取的逻辑原点,鉴别信息的图象识别步骤。
在逻辑原点抽取步骤,不仅能够抽取格式的逻辑原点,而且能够抽取向逻辑原点提供辅助信息的逻辑原点辅助坐标信息,并在图象识别步骤,参照逻辑原点和逻辑原点辅助坐标信息能够鉴别信息。
布局具有由划线形成的表格结构之处,抽取有关定义表格结构的转角之一的坐标信息作为格式的逻辑原点。
这时,可以抽取有关其余转角的坐标信息作为逻辑原点辅助坐标信息。
特别,在布局具有由划线形成的表格结构之处,抽取具有最小X坐标和最小Y坐标定义表格结构转角之一的坐标信息作为格式的逻辑原点。
这时,可以抽取具有最大X坐标和最小Y坐标的另一个转角的坐标信息,以及具有最小X坐标和最大Y坐标的又一个转角的坐标信息以及具有最大X坐标和最大Y坐标的另外一个转角的坐标信息,作为逻辑原点辅助坐标信息。
另一方面,在布局具有不包含划线的无划线表格结构之处,抽取关于该布局中的条目数据的外接矩形转角之一的坐标信息作为该格式的逻辑原点。
这时,可以抽取关于该外接(circumscribed)矩形其它转角的坐标信息作为逻辑原点辅助坐标信息。
更特别地,在布局具有不包括划线的无划线表格结构之处,抽取具有最小X坐标和最小Y坐标的外接矩形转角之一的坐标信息作为该格式的逻辑原点。
这时,可以抽取具有最大X坐标和最小Y坐标的外接矩形的另一个转角的坐标信息,以及具有最小X坐标和最大Y坐标的另一个转角的坐标信息以及具有最大X坐标和最大Y坐标的另一个转角的坐标信息,作为逻辑原点辅助坐标信息。
于是,本发明的数据媒体处理方法的优点在于,由于处理对象文件的布局分析是基于划线条目或者从图象数据抽取的条目数据进行的,并且由布局分析所得的区域转角的坐标之中预定的坐标被确定为逻辑原点坐标和校正坐标,故逻辑原点坐标和校正坐标甚至可从普通文件而不是其上印制了参照标记等专用文件的图象数据抽取。
进而,由于在抽取逻辑原点时同时抽取校正坐标作为逻辑原点的附加信息,故在布局对比检验处理中逻辑原点的对比检验时能够可靠地检测到相一致。
特别,由于逻辑原点的对比检验是通过与所考虑的逻辑原点坐标相关的校正坐标的坐标对比检验进行的,故即使在图象阅读时位置发生变动,布局中的对比检验处理也可以可靠地进行。
进而,根据本发明,用于基于从其上信息以任意格式描述的数据媒体所读取的图象而识别信息的数据媒体处理方法的特征在于,包含格式在内的数据媒体唯有的特征从读取的图象数据中抽取并然后压缩处理,并使用该压缩处理的特征作为限制检索项检索存储在存储部分的参照压缩信息以便对比检验是否存在相符的参照压缩信息,然后基于对比检验的结果识别特定位置处的图象以便鉴别该信息。
这里在对特征压缩处理之前,可以对读取的图象数据进行偏斜校正或变形校正处理。
而且,在对特征进行压缩处理时,参照构成读取的图象数据的划线条款的水平划线对其上侧划线共同具有相同划线的那些划线条款进行Y坐标单一化处理,并参照构成读取的图象数据的划线条款的垂直划线对其左侧划线共同具有相同划线的那些划线条款进行X坐标单一化处理。
或者,在对特征进行压缩处理时,转换特征为对应的比特流,并对该比特流进行压缩处理并作为矩阵表格。
于是,根据本发明的数据媒体处理方法的优点在于,由于对作为布局成分之一的划线条款的布局进行压缩处理并表示为矩阵表格,并在布局对比检验时对这种矩阵表格彼此进行对比检验,故布局对比检验处理速度不依赖划线条款数目而仅对对比检验的一个对象的布局数目成正比线性地增加,并且大量文件的布局的对比检验处理可以高速进行。
进而,由于在其上划线条款的布局被反射的位表格的压缩处理之前,对读取的图象数据进行偏斜校正及变形校正处理,并对划线条款进行Y坐标单一化处理及X坐标单一化处理,故在阅读图象数据时发生的布局变化可被吸收。
进而,根据本发明,用于基于从其上信息以任意格式描述的数据媒体所读取的图象而识别信息的数据媒体处理方法其特征在于,它包括记录步骤,在该步骤进行:抽取所读取的图象的布局的特征,分析布局的结构,在一显示单元上显示所分析的布局结构,对显示的布局结构设定预定的特征数据识别区域,通过外部输入装置输入对应于该区域中的标志信息的代码数据,从特征数据识别区域和代码数据产生区域特征数据,并在与所分析的布局结构的链接关系中寄存区域特征数据;并包括对比检验步骤,在该步骤进行:抽取分别读取的图象的特征,分析布局结构,检索作为参照数据的在记录步骤所记录的区域特征数据及布局结构,并对比检验是否存在相符的区域特征数据。
这里,当对应于区域中的标志信息的代码数据在记录步骤输入时,输入具有对应于标志信息的有效性代码数据。
于是,根据本发明的数据媒体处理方法,由于扩展了类似于字符识别装置的区域图象特征抽取机制和特征对比检验机制,并与布局识别系统相结合,故指定区域中任意图形的图象的识别处理能够与布局识别处理以联锁关系进行。
进而,由于对比检验对象的区域特征数据记录在与布局信息的链接关系中,故对比检验的对象能够限制在一个布局的单元,因而不需要进行普通字符识别处理所需的大量的那种对比检验处理,故能够达到高识别速率。
此外,如果橡胶密封、签字等条款指定为特征数据识别条款,那么这种由普通字符识别所不能识别的橡胶密封、签字等条款则是能够识别的,并且对应的代码数据能够作为橡胶密封、签字等条款的特征区域识别的结果而获得。
进而,根据本发明,用于基于从其上信息以任意格式描述的数据媒体所读取的图象而识别信息的数据媒体处理方法的特征在于,它包括布局分析处理步骤,该步骤抽取对读取的图象布局特征,分析该布局的结构,基于所抽取的特征判定图象中的标题区域,识别标题区域中的标题条款信息,判定对应的条款数据并逻辑表示该布局;并包括布局对比检验处理步骤,该步骤使用在布局分析处理步骤中抽取的布局特征作为检索限制项检索存储在备选布局存储部分中的备选布局,以便对比检验是否存在相符的备选布局。
该数据媒体处理方法特征还在于,布局分析处理步骤包括:标题位置备选判定步骤,该步骤基于布局结构分析的结果判定标题位置备选;以及标题条款的对比检验步骤,该步骤与前面步骤所判定的标题位置备选进行对比检验标题区域中的标题条款信息。
在标题条款对比检验步骤中进行标题条款的对比检验时,在对要对比检验的图象数据进行规范化处理之后进行标题条款的对比检验处理。
于是,本发明的数据媒体处理方法的优点在于,由于通过从分析对象的文件图象划线条款结构进行检索和对比检验标题位置的标题分析处理而进行布局识别处理,能够标识标题条款和对应于标题条款的条款数据,以便自动地分析对应于文件上描述的标题的条款信息,故无需进行标题条款的字符识别处理即可立即进行条款数据的字符识别。
同时,根据本发明的数据媒体处理装置的特征在于,它包括:一个图象数据阅读装置,用于阅读作为具有以其一种格式描述的所需信息的数据媒体的文件的图象数据,一个图象数据存储器,用于存储由图象数据阅读装置所读取的文件的图象数据,文件标识信息抽取装置,用于从存储在图象数据存储器中的文件的图象数据抽取文件上所描述的所需的文件标识信息,一个文件标识字典,用于寄存由文件标识信息抽取装置作为对特定文件的文件标识信息而抽取的文件标识信息,参照装置,用于参照由图象数据阅读装置所读取并存储在图象数据存储器的任意文件的图象数据以便检测任意文件的图象数据是否包含寄存在文件标识字典中的文件标识信息,以及文件标识装置,用于基于由参照装置参照的结果标识该任意文件是否为特定的文件。
进而,根据本发明的数据媒体处理装置的特征在于,它包括:一个图象数据阅读装置用于阅读作为具有以其一种格式描述的所需信息的数据媒体的文件的图象数据,一个图象数据存储器和一个文件存储器用于存储由图象数据阅读装置所读取的文件的图象数据,文件标识信息抽取装置用于从存储在图象数据存储器中的文件的图象数据抽取文件上所描述的所需的文件标识信息,一个文件标识字典用于寄存由文件标识信息抽取装置作为对特定文件的文件标识信息而抽取的文件标识信息,验证装置用于读出存储在文件存储器中的特定文件的图象数据并验证该特定文件的图象数据是否包含寄存在文件标识字典中所寄存的文件标识信息,鉴别装置用于基于由验证装置验证的结果鉴别是否能够识别该特定的文件,参照装置用于参照由图象数据阅读装置所读取并存储在图象数据存储器的任意文件的图象数据以便检测任意文件的图象数据是否包含寄存在文件标识字典中的文件标识信息,以及文件标识装置用于基于由参照装置参照的结果标识该任意文件是否为特定的文件。
这里,参照装置也可作为验证装置,而文件标识装置也可作为鉴别装置。
在具有上述结构的本发明数据媒体处理装置中,从作为由图象数据阅读装置所阅读并具有以其格式描述的所需信息的数据媒体的特定文件的图象数据,抽取该特定文件上所描述的文件标识信息,并将该文件标识信息寄存到文件标识字典,并然后借助于图象数据阅读装置读取任意文件的图象数据,之后参照任意文件的图象数据以检测任意文件的图象数据是否包含寄存在文件标识字典中的文件标识信息,以便标识任意文件是否为特定文件。
进而,在本发明的数据媒体处理装置中,从作为由图象数据阅读装置所阅读并具有以其上格式描述的所需信息的数据媒体的特定文件的图象数据,抽取该特定文件上所描述的文件标识信息,并将该文件标识信息寄存到文件标识字典,并然后再次输入特定文件的图象数据,并验证输入的特定文件图象数据是否包含寄存在文件标识字典中的文件标识信息以鉴别特定文件的识别是否为可能,此后当能够识别特定文件时,借助于图象数据阅读装置读取任意文件的图象数据,并参照任意文件的图象数据以检测任意文件的图象数据是否包含寄存在文件标识字典中的文件标识信息,以便标识任意文件是否为特定文件。
这里当文件标识信息要寄存到文件标识字典中时,由图象数据阅读装置所阅读的特定文件的图象数据能够显示在显示单元上,并且能够从所显示的特定文件的图象数据中指定包含特定文件上所描述的文件标识信息的图象的区域,以便抽取文件标识信息。
或者当文件标识信息要寄存到文件标识字典中时,能够从由图象数据阅读装置所读取的特定文件图象数据自动地抽取在特定文件上所描述的特定文件标识信息。
又或者,当文件标识信息要寄存到文件标识字典中时,在文件标识信息寄存到文件标识字典中时,能够存储在寄存时所读取的特定文件的图象数据,并且当文件标识信息要寄存到文件标识字典中时,存储的特定文件图象数据能够再次作为特定文件的图象数据输入,并能够验证输入的特定文件的图象数据是否包含寄存在文件标识字典中的文件标识信息,以便鉴别该特定文件是否能够识别。
于是本发明的数据媒体处理装置的优点在于,由于即使多个类型的要由图象阅读装置阅读的文件以混合状态出现,也能够自动地验证其图象数据已经由图象数据阅读装置读取的文件的类型,于是操作者无需熟悉每一文件的定义而能够进行操作,因而预期能够改进工作效率。该数据媒体处理装置的优点还在于,用于标识文件自身的ID号码等不必在文件上描述,并可以使用普通的文件,因而该数据媒体处理装置能够自然适用于现有的系统。
进而,由于能够验证由操作者指定的文件标识信息是否正确,故该数据媒体处理装置的优点在于,文件的错误鉴别能够完全避免,因而改进了装置的可靠性。
此外,由于参照装置也作为验证装置,而文件标识装置也作为鉴别装置,故该数据媒体处理装置的优点在于能够简化装置的结构。
进而,改根据本发明的数据媒体处理装置的优点在于,它包括:一个图象阅读部分用于阅读具有标志信息的数据媒体的一个图象,一个标志识别部分用于识别由图象阅读部分所阅读的图象中的标志图象信息并转换该标志图象信息为对应的代码信息,一个显示单元用于以所读取的图象的状态显示标志图象信息,以及一个所读取的标志图象显示控制部分,用于当标志图象信息没有被成功地转换为对应的代码信息时,引起没有成功进行转换的不能识别的标志图象信息以所读取的图象状态同与不能识别的标志图象信息相关的标志图象信息一同显示在显示单元上,所读取的标志图象显示控制部分包含强调显示部分用于强调显示不能识别的标志图象信息。
这里,数据媒体处理装置还包括一个数据输入装置用于输入对应于不能识别的标志图象信息的正确回答数据,以及正确回答数据显示装置,用于当由数据输入装置的操作输入正确回答数据时,引起正确回答数据显示在显示单元上不同于不能识别的标志信息显示区域的正确回答数据显示区域中。
该数据媒体处理装置进而能够包括强调显示改变装置,用于当由数据输入装置的操作输入正确回答数据时,引起已经按强调显示的不能识别的标志图象信息以表明不能识别的标志图象信息已经被修改的不同的强调方式显示。
或者,该数据媒体处理装置进而能够包括强调显示改变装置,用于当正确回答数据由正确回答数据显示装置显示在显示单元上不同于不能识别的标志图象信息显示区域的正确回答数据显示区域中时,引起已经按强调显示的不能识别的标志图象信息以表明不能识别的标志图象信息已经被修改的不同的强调方式显示。
特别,根据本发明其中读取具有标志信息的数据媒体的图象并识别读取图象中的标志图象信息且转换为对应的代码信息的数据媒体处理装置的特征在于,当标志图象信息没有成功地转换为对应的代码信息时,没有被成功地转换的不能识别的标志信息以所读取的图象状态与同不能识别的标志图象信息相关的标志图象信息一同显示在显示单元上,并且不能识别的标志图象信息按强调方式显示,并然后当通过数据输入装置的操作输入对应于不能识别的标志图象信息的正确答案数据时,已经按强调方式显示的不能识别的标志图象信息以不同的强调方式显示,该方式表明不能识别的标志图象信息已经被修改。
简而言之,本发明的数据媒体处理装置的特征在于,它包括:一个图象阅读部分用于阅读具有标志信息的数据媒体图象,一个标志识别部分用于识别由图象阅读部分所读取的图象中的标志图象信息并转换该标志图象信息为对应的代码信息,一个显示单元用于以读取的图象状态显示标志图象信息,以及一个读取的标志图象显示控制部分用于当标志图象信息没有被成功转换为对应的代码信息时引起没有成功进行转换的不能识别的标志图象信息,在显示单元上以读取的图象状态与同不能识别的标志图象信息相关标志图象信息一同显示,强调显示部分用于引起不能识别的标志图象信息按强调方式显示,一个数据输入装置用于输入对应于不能识别的图象信息的正确答案数据,强调显示改变装置用于当正确答案数据由数据输入装置的操作输入时,引起直到这时已经被强调显示的不能识别的标志图象信息以表明修改完成不同的强调方式显示,以及识别信息修改装置用于当正确答案数据由数据输入装置的操作输入时基于正确答案数据而修改不能识别的标志信息。
在具有上述结构的本发明的数据媒体处理装置中,当读取了具有标志信息数据媒体图象并且识别读取的图象中标志图象信息且转换为对应的代码信息时,如果标志图象信息没有成功地转换为对应的代码信息,则没有成功被转换的不能识别的标志图象信息,在显示单元上以读取的图象状态与同不能识别的标志图象信息相关标志图象信息一同显示,并且不能识别的标志图象信息以强调方式显示。
进而,当对应于不能识别的标志图象信息的正确答案数据通过数据输入装置的操作输入时,正确答案数据显示在显示单元上不同于不能识别的标志图象信息的显示区域的正确答案数据显示区域中。
或者当对应于不能识别的标志图象信息的正确答案数据通过数据输入装置的操作输入时,已经按强调方式显示的不能识别的标志图象信息以不同的强调方式显示,该方式表明不能识别的标志图象信息已经被修改。
又或者当对应于不能识别的标志图象信息的正确答案数据通过数据输入装置的操作输入时,正确答案数据显示在显示单元上不同于不能识别的标志图象信息的显示区域的正确答案数据显示区域中,同时已经按强调方式显示的不能识别的标志图象信息以不同的强调方式显示,该方式表明不能识别的标志图象信息已经被修改。
于是,由本发明的数据媒体处理装置,当标志图象信息没有被成功转换为对应的代码信息时,没有成功进行转换的不能识别的标志图象信息在显示单元上以读取的图象状态与同不能识别的标志图象信息相关标志图象信息一同显示,并且不能识别的标志图象信息以强调方式显示。因而,该数据媒体处理装置的优点在于,即使例如因为大量的变形字符而标志图象信息不能被识别,可通过参照字符串中的前面及后继字符等的图象信息进行高精度的确认操作,于是用于正确与错误之间的确认操作所需的劳务和时间能够降低。
进而,当对应于不能识别的标志图象信息的正确答案数据通过数据输入装置的操作输入时,在显示单元上正确答案数据显示在不同于不能识别的标志图象信息显示区域的正确答案数据显示区域中,因而,标志图象信息与已经输入的正确答案数据可通过目视观察再确认。于是,该数据媒体处理装置的优点在于用于正确与错误之间的确认操作所需的劳务和时间能够降低,并可进行高精度的确认操作。
此外,当对应于不能识别的标志图象信息的正确答案数据通过数据输入装置的操作输入时,在显示单元上正确答案数据显示在不同于不能识别的标志图象信息显示区域的正确答案数据显示区域中,同时已经按强调方式显示的不能识别的标志图象信息以不同强调方式显示,该方式表明不能识别的标志图象信息已经被修改。于是,标志图象信息与已经输入的正确答案数据可通过目视观察再确认。因而,该数据媒体处理装置的优点在于可进行高精度的确认操作,并且对是否已经进行了对于不能识别的标志的输入或者修改为错误识别的标志的标识能够容易作出,结果是改进了目视的识别能力,防止了操作者等等双重修改等等,此外用于正确与错误之间的确认操作所需的劳务和时间能够降低。
进而,本发明的数据媒体处理装置的特征在于,它包括:一个图象阅读部分用于阅读具有标志信息的数据媒体图象,一个标志识别部分用于识别由图象阅读部分所读取的图象中的标志图象信息并转换该标志图象信息为对应的代码信息,一个显示单元用于以读取的图象状态显示标志图象信息,以及一个最小组合单元标志图象信息抽取部分用于抽取最小组合单元的标志图象信息,以便对于最小组合单元的每一片标志图象信息该图象信息被转换为图象中的代码信息,以及最小组合单元标志图象显示控制部分,用于引起由最小组合单元标志图象信息抽取部分所抽取的最小组合单元标志图象信息,按照与通过由标志图象信息转换所获得的代码信息表明的标志信息的对应关系被显示。
这里,最小组合单元标志图象显示控制部分可具有引起多片同类的最小组合单元标志图象信息,按照与通过由标志图象信息转换所获得的代码信息表明的标志信息的对应关系被显示,并包含强调显示装置用于引起仅是所希望的一片标志图象信息按强调方式显示。
或者,该数据媒体处理装置能够进而包括相关的标志图象显示装置用于显示一片标志图象信息使之以读取的图象状态与同一片标志图象信息相关的标志图象信息一同被显示在显示单元上,并且相关的标志图象显示装置能够包含强调显示装置用于引起一片标志图象信息以强调方式被显示。
又或者,该数据媒体处理装置能够进而包括一个数据输入装置用于输入对应于一片标志图象信息的正确答案数据,以及正确答案数据显示装置用于当正确答案数据通过数据输入装置的操作输入时引起正确答案数据被显示在一个正确答案数据显示区域中,该区域不同于一片标志图象信息和与一片标志图象信息相关的标志图象信息所显示的区域。
另外,该数据媒体处理装置还能够包括一个数据输入装置用于输入对应于一片标志图象信息的正确答案数据,以及强调显示改变装置用于当由数据输入装置的操作输入正确答案数据时引起已经以强调方式显示的一片标志图象信息以不同的强调方式显示,该方式表明一片标志图象信息已经被修改。
或另外,该数据媒体处理装置还能够包括一个数据输入装置用于输入对应于一片标志图象信息的正确答案数据,正确答案数据显示装置用于当正确答案数据通过数据输入装置的操作输入时引起正确答案数据被显示在一个正确答案数据显示区域中,该区域不同于一片标志图象信息和与一片标志图象信息相关的标志图象信息所显示的区域,以及强调显示改变装置用于当由数据输入装置的操作输入正确答案数据时引起已经以强调方式显示的一片标志图象信息以不同的强调方式显示,该方式表明一片标志图象信息已经被修改。
特别,根据本发明,其中阅读具有标志图象信息的数据媒体的图象、并识别所读取的图象中的标志图象信息、且转换为对应的代码信息的媒体处理方法的特征在于:要被转换为图象中的代码信息的多片同类的最小组合单元标志图象信息,按照与通过由标志图象信息转换所获得的代码信息表明的标志信息的对应关系被显示,同时仅是所希望的一片标志图象信息按强调方式显示,并然后当对应于该一片标志图象信息的正确答案数据通过数据输入装置的操作输入时,已经按强调方式显示的一片标志图象信息以不同的强调方式被显示,该方式表明一片标志图象信息已经被修改,从而对应于一片标志图象信息错误识别的信息基于正确答案数据被修改。
简而言之,本发明的数据媒体处理装置的特征在于,它包括:一个图象阅读部分用于阅读具有标志信息的数据媒体图象,一个标志识别部分用于识别由图象阅读部分所读取的图象中的标志图象信息并转换该标志图象信息为对应的代码信息,一个显示单元用于以读取的图象状态显示标志图象信息,以及一个最小组合单元标志图象信息抽取部分用于抽取最小组合单元的标志图象信息,以便对于最小组合单元的每一片标志图象信息该图象信息被转换为图象中的代码信息,一个最小组合单元标志图象显示控制部分,用于引起由最小组合单元标志图象信息抽取部分所抽取的最小组合单元的多片标志图象信息,按照与通过由标志图象信息转换所获得的代码信息表明的标志信息的对应关系被显示,强调显示装置用于引起仅是所希望的一片标志图象信息按强调方式显示,一个数据输入装置用于输入对应于一片标志图象信息的正确答案数据,强调显示改变装置用于当由数据输入装置的操作输入正确答案数据时引起直到这时已经以强调方式显示的一片标志图象信息以不同的强调方式显示,该方式表明一片标志图象信息完成修改,以及识别信息修改装置用于当由数据输入装置的操作输入正确答案数据时基于正确答案数据修改对应于一片标志图象信息的错误识别信息。
在具有上述结构的本发明的数据媒体处理装置中,当阅读具有标志信息的数据媒体图象并识别所读取的图象中的标志图象信息且转换为对应的代码信息时,在显示单元上以对应于由转换标志图象信息所获得的代码信息表示的标志信息的关系显示要被转换为图象中的代码信息最小组合单元的标志图象信息。
在相同类型的最小组合单元的多片标志图象信息以对应于由转换标志图象信息所获得的代码信息表示的标志信息的关系而显示之处,只有所希望的一片标志图象信息按强调方式显示。
或者,所希望的一片标志图象信息以所读取的图象状态在显示单元上与同该标志图象信息片相关的标志图象信息一同显示,并且该一片标志图象信息是按强调方式显示的。
而且,当对应于该一片标志图象信息的正确答案数据通过数据输入装置操作输入时,正确答案数据显示在正确答案数据显示区域中,该区域不同于该一片标志图象信息及与该一片标志图象信息相关的标志图象信息被显示的区域。
或者,当对应于该一片标志图象信息的正确答案数据通过数据输入装置操作输入时,已经以强调方式显示的该一片标志图象信息按不同的强调方式显示,该方式表明该一片标志图象信息已被修改。
又或者,当对应于该一片标志图象信息的正确答案数据通过数据输入装置操作输入时,正确答案数据显示在正确答案数据显示区域中,该区域不同于该一片标志图象信息及与该一片标志图象信息相关的标志图象信息被显示的区域,并且已经以强调方式显示的该一片标志图象信息按不同的强调方式显示,该方式表明该一片标志图象信息已被修改。
于是,由本发明的数据媒体处理装置,由于标志显示在允许这些标志易于目视观察的一个单元中,其显示方式使得只有相同的标志显示在显示单元的相同区域中,并且只有所希望的一片标志图象信息按强调方式显示,故操作者只要参照图象信息就能够确认识别的结果,而无需参照相关的图象信息,因而减少了操作者的眼睛的运动。而且,只有被处理的标志图象信息按强调方式显示以便减少比较的对象数目。因而,该数据媒体处理装置的优点在于,正确与错误之间的确认操作所需的劳务和时间能够显著降低。
而且,由于所希望的一片标志图象信息以所读取的图象状态与该片标志图象信息相关标志图象信息一同显示在显示单元中,并且一片标志图象信息是按强调方式显示的,故该数据媒体处理装置的优点在于,即使例如由于该标志图象信息是一个变形很大的字符而不能被识别,也能通过参照字符串中前面的及后面的字符等进行高精度的确认操作,因而正确与错误之间的确认操作所需的劳务和时间能够显著降低。
进而,当对应于该一片标志图象信息的正确答案数据通过数据输入装置操作输入时,正确答案数据显示在正确答案数据显示区域中,该区域不同于该一片标志图象信息及与该一片标志图象信息相关的标志图象信息被显示的区域,并且已经以强调方式显示的该一片标志图象信息按不同的强调方式显示,该方式表明该一片标志图象信息已被修改。于是,标志图象信息和输入的正确答案时间能够通过目视观察再确认。因而,该数据媒体处理装置的优点在于,能够进行高精度的确认操作,并且对于是否进行了对于一个不能识别的标志的输入或者修改为被错误识别的标志,能够易于作出标识,结果是改进了目视鉴别力而防止了操作者的双重修改等等,此外能够降低正确与错误之间的确认操作所需的劳务和时间。
而且,本发明的数据媒体处理装置的特征在于,它包括:一个图象数据输入装置用于输入包含多个条款信息在内的数据媒体图象数据,一个具有图象数据显示区域和条款显示区域的显示单元,条款显示区域具有多个条款数据输入显示区域部分,一个显示控制装置用于引起通过图象数据输入装置所获得的图象数据显示在图象数据显示区域中,并用于当对应于所希望的条款之一的图象数据部分的数据要由数据输入装置输入时,引起光标指示显示在条款显示区域中所希望的一个条款数据输入显示区域部分,以及一个图象数据局部强调显示装置用于在以下情形下引起只有所希望的条款对应的图象数据部分按强调方式显示,即当通过显示控制装置光标指示显示在条款显示区域中的条款数据输入显示区域部分的所希望的一个条款数据输入显示部分时,其状态为其中包含多个条款信息的图象数据显示在显示单元的图象数据显示区域中。
这里,显示控制装置除了图象数据局部强调显示装置之外,能够包含图象数据强调显示删除装置用于当光标指示通过光标移动操作装置移动到不同于所希望的条款数据输入显示区域部分的另一个条款数据输入显示区域部分时,删除对应于该条款的图象数据部分的强调显示,以及强调显示转变控制装置用于控制图象数据局部强调显示装置,使得响应图象数据强调显示删除装置,只有对应于不同的条款数据输入显示区域部分的不同条款的图象数据部分能够按强调方式显示。
或者,显示控制装置除了图象数据局部强调显示装置,图象数据强调显示删除装置和强调显示转变控制装置之外,能够包含显示屏滚屏装置用于引起没有在显示单元上显示的图象数据部分在显示单元上显示。
进而,该图象数据局部强调显示装置能够包含可响应来自外部的指令而改变强调显示部分的改变装置。
在具有上述结构的本发明的数据媒体处理装置中,当包含多个条款的信息数据媒体的图象数据显示在显示单元上时,只有对应于确定的一个条款的图象数据部分被强调显示。
当对应于所希望的一个条款的图象数据部分的数据要以这样的状态被输入,即其中包含多个条款信息的数据媒体的图象数据在显示单元上的图象数据显示区域中显示时,如果光标指示显示在显示单元上与图象数据显示区域分开设置的条款显示区域的所希望的一个条款输入显示区域部分,则只有对应的所希望的条款图象数据部分按强调显示,并当此后要输入对应于另一个条款的图象数据部分的数据时,如果光标指示从所希望的条款数据输入显示区域部分移动到不同的一个条款数据输入显示区域部分,则所希望条款的对应的图象数据部分的强调显示被删除,而不同的条款的对应的图象数据部分按强调显示。
或者,当对应于显示单元上显示的所希望的一个条款的图象数据部分的数据要按照这样的状态被输入,即其中包含多个条款的信息在内的数据媒体的图象数据部分显示在显示单元上图象数据显示区域中时,如果光标指示显示在显示单元上与图象数据显示区域分开设置的条款显示区域所希望的一个条款数据输入显示区域部分,那么只有对应的所希望的条款的图象数据部分按强调显示,并当此后对应于没有显示在显示单元上一个不同的条款的图象数据部分的数据被输入时,如果光标指示从所希望的条款数据输入显示区域部分移动到不同的一个条款数据输入显示区域部分,则所希望的条款的对应的图象数据部分的强调显示被删除,同时进行滚屏以便不同条款的图象数据部分能够显示在显示单元的图象数据显示区域中以便显示在显示单元的图象数据显示区域中显示不同条款的图象数据部分,并按强调方式显示该不同条款对应的图象数据部分。
于是,由本发明的数据媒体处理装置,如果光标指示显示在数据将向其输入的条款数据输入显示区域部分之一,则被同时参照的一个条款的图象数据部分按强调方式显示。于是,即使一个操作者先从显示单元移开其目光然后又观察显示单元,也能够防止该操作者观察到错误的条款。因而,该数据媒体处理装置的优点在于,防止了在参照图象数据时匹配中的错误识别,由此提高了目视鉴别力,能够防止输入操作所需的劳务和时间,同时防止误输入。
进而,当一个要被参照的条款的图象数据没有在显示单元上显示时,能够响应强调显示部分的运动进行自动滚屏。于是,该数据媒体处理装置的优点在于,例如能够减少按压键盘之类费时的操作。
此外,还能够使得操作者改变强调显示部分的类型或区域。因而,该数据媒体处理装置的优点在于它能够根据用途而使用。
图1是表示根据本发明的一个实施例数据媒体处理装置的一般结构的功能框图;
图2到图4是表示根据本发明的该实施例数据媒体处理装置处理过程的图示;
图5是表示本发明的该实施例数据媒体处理装置布局分析处理部分的结构的功能框图;
图6是表示根据本发明的该实施例数据媒体处理装置文件处理过程的图示;
图7是表示根据本发明的该实施例数据媒体处理装置的一个图象阅读器的简略透视图;
图8和图9是功能框图,其中标注出由根据本发明的该实施例数据媒体处理装置所进行的图象数据的旋转校正处理;
图10和图11是表示由根据本发明的该实施例数据媒体处理装置所处理的文件例子的图示;
图12和图13是表示根据本发明的该实施例数据媒体处理装置的图象数据旋转校正处理的流程图;
图14是表示根据本发明的该实施例数据媒体处理装置的原点抽取和对比检验处理应用的处理过程图示;
图15(a)和15(b),图16与图17是表示由根据本发明的该实施例数据媒体处理装置所处理的文件例子的图示;
图18是表示由根据本发明的该实施例数据媒体处理装置所进行的逻辑原点抽取处理的流程图;
图19是表示由根据本发明的该实施例数据媒体处理装置所进行的逻辑原点校正坐标的相符鉴别的图示;
图20(a)和20(b)是表示由根据本发明的该实施例数据媒体处理装置所处理的文件例子的图示;
图21是表示由根据本发明的该实施例数据媒体处理装置所进行的逻辑原点对比检验处理的流程图;
图22是处理过程示意图,其中标注了由根据本发明的该实施例数据媒体处理装置所进行的矩阵对比检验处理;
图23是表示由根据本发明的该实施例数据媒体处理装置所进行的矩阵表产生处理的图示;
图24(a)和24(b)是表示由根据本发明的该实施例数据媒体处理装置所进行的矩阵表格产生处理时对图象数据坐标规范化处理的图示;
图25到图27是表示由根据本发明的该实施例数据媒体处理装置所进行的矩阵表产生处理时位表格产生处理的图示;
图28是表示由根据本发明的该实施例数据媒体处理装置所产生的矩阵表格的图示;
图29和图30是表示由根据本发明的该实施例数据媒体处理装置所进行的矩阵表格对比检验处理的流程图;
图31(a)和31(b)是表示由根据本发明的该实施例数据媒体处理装置所进行的矩阵表格对比检验处理时矩阵信息的图示;
图32是处理过程示意图,其中标注出由根据本发明的该实施例数据媒体处理装置所进行的特征数据识别处理;
图33和图34是表示由根据本发明的该实施例数据媒体处理装置所进行的字符数据识别处理的图示;
图35和图36是表示由根据本发明的该实施例数据媒体处理装置所处理的交换一般转帐文件的图示;
图37是处理过程示意图,其中标注出由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理;
图38是表示用于由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理中所使用的划线条款结构信息的图示;
图39是表示用于由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理中所使用的划线条款结构信息的划线属性的图示;
图40和图41(a)到图41(d)是表示用于由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理中所使用的划线条款结构信息表格的图示;
图42、图43(a)及图43(b)是表示由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理中使用的对比检验位置搜寻规则的图示;
图44是表示由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理流程图;
图45是表示由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理结果的一例的图示;
图46(a)到图46(c),图47(a)到图47(c)及图48(a)到48(c)是表示由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理时标题的例子的图示;
图49是表示在由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理时规范化处理的一例的图示;
图50是表示用于由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理中所应用的条款标题词典的图示;
图51(a)及图51(b)是表示由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理时标题条款数据的对比检验结果的一例的图示;
图52(a)到图52(c)是表示由根据本发明的该实施例数据媒体处理装置所进行的标题分析处理时基于标题校正规则的对比检验结果的校正的图示;
图53是表示由根据本发明的该实施例数据媒体处理装置所进行的标题分析的流程图;
图54(a)到图54(h)及55(a)到图55(f)是表示由根据本发明的该实施例数据媒体处理装置所进行的标题分析中使用的标题部分划线条款与数据部分划线条款之间的连接规则的图示;
图56是表示在由根据本发明的该实施例数据媒体处理装置所进行的标题分析时对应于标题条款的条款数据位置判定结果分析的图示;
图57和图58是表示在由根据本发明的该实施例数据媒体处理装置所进行的标题分析时不同信息的链接关系的的图示;
图59(a)到图59(b)是表示在由根据本发明的该实施例数据媒体处理装置所进行的标题分析时链接到功能条款的条款数据的图示;
图60(a)到图60(f)是表示在由根据本发明的该实施例数据媒体处理装置所进行的标题分析时款数条款链接处理的图示;
图61是表示根据本发明的该实施例图象数据显示装置的结构的示意图;
图62和图63是表示根据本发明的该实施例图象数据显示装置的功能框图;
图64到图66是表示根据本发明的该实施例图象数据显示装置的操作的流程图;
图67是表示根据本发明的该实施例图象数据显示装置的显示单元的一个显示一例的图示;
图68是表示由根据本发明的该实施例图象数据显示装置所产生的相关信息的图示;
图69是表示由根据本发明的该实施例图象数据显示装置所产生的强调信息的图示;
图70到78是表示根据本发明的该实施例图象数据显示装置的显示单元的显示的例子的图示;
图79是表示由根据本发明的该实施例图象数据显示装置产生的强调信息的图示;
图80到图85是表示根据本发明的该实施例图象数据显示装置的显示单元的显示例子的图示;
图86是表示根据本发明的该实施例阅读标志显示-识别信息修改装置的结构的示意图;
图87到图89是根据本发明的该实施例阅读标志显示-识别信息修改装置的功能框图;
图90到图97是根据本发明的该实施例阅读标志显示-识别信息修改装置的操作的流程图;
图98是表示由根据本发明的该实施例阅读标志显示-识别信息修改装置所产生的整面图象的图示;
图99是表示由根据本发明的该实施例阅读标志显示-识别信息修改装置所产生的识别字符信息的图示;
图100是表示由根据本发明的该实施例阅读标志显示-识别信息修改装置所产生的相关信息的图示;
图101到图104是表示根据本发明的该实施例阅读标志显示-识别信息修改装置的显示例子的图示;
图105是表示根据本发明的该实施例第一变形的文件标识装置的框图;
图106是一控制框图,其中标注出根据本发明的该实施例第一变形的文件标识装置的操作;
图107是表示根据本发明的该实施例第一变形的文件标识装置在登记步骤操作时操作的流程图;
图108是表示根据本发明的该实施例第一变形的文件标识装置在登记步骤操作时操作的操作图示;
图109是一控制框图,其中标注出根据本发明的该实施例第一变形的文件标识装置在登记步骤操作时的操作;
图110是表示根据本发明的该实施例第一变形的文件标识装置在登记步骤操作时操作的操作的流程图;
图111是一控制框图,其中标注出根据本发明的该实施例第一变形的文件标识装置在登记步骤操作时的操作;
图112是表示根据本发明的该实施例第一变形的文件标识装置在应用步骤操作时操作的操作的流程图;
图113是表示根据本发明的该实施例第二变形的文件标识装置的控制框图;
图114是表示根据本发明的该实施例第二变形的文件标识装置的操作流程图;
图115是表示一文件识别装置结构的示意图;
图116是表示该文件识别装置操作的图示;
图117是表示对该文件识别装置操作的变形的图示;
图118(a)和118(b)是表示图象数据参照点抽取方法的图示;以及
图119是表示图象数据旋转校正处理的图示。
(a)本发明的实施例的说明
(a1)数据媒体处理装置的说明
图1是表示根据本发明的一个实施例数据媒体处理装置的一般结构的功能框图。
这里,图1中所示的数据媒体处理装置30实现基于从具有诸如个人票据等各种格式的文件媒体(文件)所读取的图象数据(图象)的信息识别。
数据媒体处理装置30具体由例如由安装在金融机构的每一分支办公室(业务办公室)的客户机(CL)35和安装在地区中心并通过交换线路36等连接到客户机35的服务器(SV)39组成,并且各个业务办公室的文件处理由地区中心的服务器39集中进行。
特别地,该数据媒体处理装置30不仅能够对于该文件处理装置产生的专用文件进行处理,而且通过分析文件的图象数据布局以识别对象文件的格式而能够处理其上信息以任意格式输入的文件,以便基于文件格式识别的结果处理和实现字符的识别。
数据媒体处理装置30如图1中所示在功能上包括一个布局识别处理模块16,一个字符识别处理模块17和一个操作者确认/校正处理模块18。
布局识别处理模块16实现对由一个图象数据阅读装置所读取的图象数据19的布局识别处理,并包含一个分析预处理部分1,一个布局分析处理部分2,一个布局对比检验处理部分3及一个布局编辑处理部分4。
分析预处理部分1产生一低密度图象用于在识别对象的图象数据19格式转换之后的分析处理,以便减少布局的变化因素以提高分析的精确度,并除去图象数据上在分析处理时造成精确度恶化的因素的灰尘等。
布局分析处理部分2参照分析词典13从读取的图象数据抽取作为布局特征的划线条款及条款数据,基于这样抽取的划线条款及条款数据而分析布局的结构并逻辑上表示该布局。
简而言之,布局分析处理部分2功能上是作为从所读取的图象数据抽取文件媒体特有的特征的装置,并基于该特征确定待识别的信息所出现的位置。
更具体来说,布局分析处理部分2分析识别对象图象的布局以抽取作为布局特征而构成该布局的各种成分(划线条款和条款数据),并从这样抽取的布局特征产生对该布局粗略限制项的该布局的关键信息,以便在随后阶段由布局对比检验处理部分3进行布局对比检验处理时检索已登记的布局信息。
如图5中所示,布局分析处理部分2至少包含用于抽取图象布局特征的布局特征抽取部分2A,及用于基于由布局特征抽取部分2A所抽取的布局特征而分析布局结构的布局分析部分2B。
布局特征抽取部分2A包括一个划线抽取部分2C和一个条款数据抽取部分2D,而布局分析部分2B包括一个表格结构分析部分2E。
在布局具有由划线所形成的表格结构之处,作为由布局的划线所形成的最小矩形的划线条款是由划线抽取部分2C抽取的,并且由划线条款形成的表格结构由表格结构分析部分2E基于所抽取的划线条款进行分析。
另一方面,在布局具有没有划线的无划线表格结构之处,布局的条款数据由条款数据抽取部分2D抽取,并且无划线的表格结构由表格结构分析部分2E基于这样抽取的布局条款数据进行分析。
而且,在抽取了划线条款和条款数据之后,布局分析处理部分2抽取布局的逻辑原点(logic origin)。
特别地,布局分析处理部分2通过标号处理实现(2-1)标号图象的产生,用于对比检验的(2-2)文件图象的逻辑原点和模糊级信息的抽取,(2-3)划线条款的抽取和由(上述的)划线条款所形成的表格结构的分析,(2-4)条款数据的抽取和没有划线出现(上述的)条款表格结构的分析,以及(2-5)标题区域的判定和标题条款的识别以及对应的条款数据的判定(标题分析处理)。
要注意的是,由(2-1)中标号处理所进行的标号图象的产生处理是从所输入的图象数据(二进制图象数据)计算连接成分(彼此连接的二进制图象成分),以产生具有适用于各个连接成分的标号的标号图象。例如这一标号处理由“连接区域抽取装置和方法”(日本专利公开申请No.Heisei 08-55219)得知。
同时,在(2-3)中的划线条款的抽取处理是从由划线所围绕的字符数据、图形形式等等抽取划线部分并对划线部分与数据部分彼此分开的处理。例如该划线条款的抽取处理可由“图象抽取系统”(日本专利公开中请No.Heisei 06-309498)得知。
进而,在(2-5)中的标题分析处理判定一个图象中的标题区(标题条款),识别标题区域中的标题条款信息并判定对应的条款数据。
特别地,在本实施例中,布局分析处理部分2标识标题条款及对应于标题条款的条款数据,使得条款数据的字符识别能够在没有由字符识别处理模块17进行标题条款的字符识别处理情形下立即进行。
以上所说明的处理(2-2)将在(a2)原点抽取与对比检验处理的说明中详细描述,而处理(2-5)将在(a6)标题分析处理的说明中详细描述。
顺便而言,布局对比检验处理部分3的功能是作为图象识别装置用于使用由布局分析处理部分2作为限制检索项所抽取的布局特征(划线条款和条款数据),而从布局数据库(布局DB)14检索备选布局,并对它们进行对比检验看是否存在一相符的备选布局,以便识别在由布局分析处理部分2所确定的一个位置处的一个图象而鉴别在所确定的位置处的信息。
布局DB14是在其中存储备选布局信息的备选布局存储部分,并在本实施例中,存储压缩的备选布局信息作为备选布局信息。要注意的是,这里的布局信息压缩处理将在以下详述。
布局DB14还具有布局校正信息用于校正由布局分析处理部分2所进行的布局分析结果的校正,布局分析的结果是使用布局校正信息由将在以下说明的布局编辑处理部分4校正的,使得随后的处理能够以高精度进行。
而且,布局DB14的内容是基于由布局识别处理模块16或操作者确认/校正处理模块18通过学习备选布局信息被更新的,因而消除了由操作者等向布局DB14进行备选布局信息记录操作的必要性,达到了操作的简化。
布局对比检验处理部分3参照由布局分析处理部分2所抽取的逻辑原点实现对比检验,以检验是否存在相符的备选布局。
特别地,布局对比检验处理部分3应用由布局分析处理部分2所产生的布局关键信息检索并对比检验存储在布局DB14中的布局信息以获得相符的布局信息。
而且,当上述的对比检验处理部分3实现布局的检索和对比检验时,它首先使用布局关键信息作为粗略限制项的检索限制项检索布局DB14,并然后对于作为检索的结果所获得的多个备选布局进行详细的对比检验以判定相符的布局。
更特别地,在与备选布局进行详细对比检验处理时,布局对比检验处理部分3限制项的细节程度的升序进行(3-1)划线条款位矩阵的对比检验,(3-2)划线条款位置与划线条款属性的细化对比检验,(3-3)条款数据位置的对比检验,(3-4)标题位置与标题内容的对比检验以及(3-5)区域图象(唯一图象)的特征数据的对比检验。
在这里划线条款位矩阵的对比检验(3-1)是通过对由布局分析处理部分2所抽取的布局特征的压缩处理,并应用已压缩处理的布局特征作为检索限制项从布局DB14检索压缩的备选布局而进行的对比检验。
特别地,在本实施例中,布局DB14具有存储在其中的压缩的备选布局信息,并且布局对比检验处理部分3产生压缩处理的布局信息并相互对比检验压缩的布局信息,以达到高速布局对比检验处理。
注意,处理(3-1)将在(a4)矩阵对比检验处理说明中详细描述,处理(3-2)到(3-4)将在(a6)标题分析处理说明中详细描述,以及处理(3-5)将在(b)本发明的实施例变型的说明中详细描述。
进而,在布局DB14中作为由布局对比检验处理部分3所进行的布局DB14的检索和对比检验的结果存在相符的布局之处,基于如上所述从布局DB14所得的布局校正信息布局编辑处理部分4校正布局分析的结果,并然后输出该校正的布局信息作为布局识别结果20。
要注意,其中使用了布局校正信息的校正的内容是标题位置及标题内容的校正,以及链接到标题的条款数据位置与条款数据属性的校正。
另一方面,在布局DB14中作为由布局对比检验处理部分3所进行的布局DB14的检索和对比检验的结果不存在相符的布局之处,布局编辑处理部分4判定布局分析的结果作为新的布局并作为其本来那样的布局信息(布局识别结果)输出该布局。
顺便而言,字符识别处理模块17对来自布局识别处理模块16的布局识别结果20进行字符识别处理,并包含一个字符识别定义产生部分5,字符识别处理部分6以及知识处理部分7。
字符识别定义产生部分5基于作为布局识别结果20输出的布局信息而产生一个字符识别定义(临时定义)21,该定义定义了要由字符识别处理部分6使用的字符识别对象条款数据位置和条款数据属性。
虽然布局识别结果20的条款数据信息是以对分析对象图象的左上角的绝对坐标输出的,但是分析对象图象左上角由于在图象阅读时形式位置的变化不一定与固定的位置相符。
因而,每当与分析对象图象一致时字符识别定义产生部分5动态地产生字符识别定义21。
字符识别处理部分6使用由字符识别定义产生部分5从布局信息所产生的字符识别定义21,对于字符识别对象的图象数据进行字符识别处理,并取得识别结果的代码数据。
知识处理部分7参照在其中记录了用于识别结果的校正信息的知识数据库(知识DB)15校正字符识别处理部分6的识别结果代码数据,并输出校正的代码数据作为字符识别结果22。
操作者确认/校正处理模块18是这样一个模块,其中布局识别结果20和字符识别结果22显示在终端单元(例如图1中的一个客户机10),并由操作者进行对图象数据处理结果的确认和修改处理,该模块还包含一个布局屏幕显示处理部分8及字符识别结果屏幕显示处理部分9。
基于布局识别结果20的布局信息,布局屏幕显示处理部分8显示识别对象图象及诸如标题位置和标题内容,对应的条款位置等分析的结果,以便允许操作者对布局识别结果20和字符识别结果22进行修改和确认。
本实施例中,如同以下在(a7)对识别字符的确认和修改处理中所详述那样,扩大了普通的修改和确认处理使得在对应的文件图象上的识别结果与标题内容的代码数据和/或条款数据按类似的形式显示在客户机10的显示单元上,以便能够对布局信息进行修改和确认处理。
字符识别结果屏幕显示处理部分9,在屏幕上与布局屏幕显示处理部分8的显示一致地显示对应于字符识别对象图象的识别条款的字符识别结果的代码数据。
而且,在客户机10中,由一操作者确认对应于显示单元上所显示的识别对象图象的布局识别结果20和/或字符识别结果22,并根据需要对布局识别结果20和字符识别结果22进行修改。
要注意,图1所示的数据媒体处理装置30除了布局识别除了模块16之外还包括字符识别处理模块17,和上述的操作者确认/校正处理模块18,布局登记信息产生处理部分11和知识登记信息产生处理部分12。
布局登记信息产生处理部分11把由操作者修改的内容作为校正数据加到布局识别结果20布局信息中(这由图4中的学习布局信息28表示,该图将在以下说明),以产生布局校正信息被存储到布局DB14中。要注意,这样产生的布局校正信息在其校正内容被鉴别之后由布局DB14进行学习并登记到其中。
而且,布局登记信息产生处理部分11把由操作者修改的内容作为校正数据加到布局识别结果20的布局信息中,以产生分析词典学习信息24(这在以下将说明的图4中由登记布局信息29表示)。这样产生的分析词典学习信息24在其校正内容被鉴别之后由分析词典13进行学习并登记到其中。
知识登记信息产生处理部分12把由操作者修改的内容作为校正数据加到字符识别结果22的代码数据中以产生用于知识DB15的知识学习信息23,并且这样产生的学习数据由知识DB15学习并登记到其中。
在具有上述结构的本发明该实施例的数据媒体处理装置30中,当阅读具有任意格式的文件的图象数据19时,对图象数据19的布局进行分析以识别对象文件的格式供处理之用,并且文件的字符识别基于文件的格式识别的结果进行。
然后,布局识别结果20和字符识别结果22由操作者确认并根据需要进行修改。
以下将参照图2到图4说明数据媒体处理装置30的操作。
首先,将参照图2说明当用于处理的对象文件的布局是一新出现的布局时的处理。
首先,在布局识别处理模块16的分析预处理部分1中,对用于处理的对象文件的图象数据进行分析预处理(步骤A1)。
然后,布局分析处理部分2从供识别的对象图象抽取作为布局成分的划线条款和条款数据,并参照分析词典13作为分析结果输出布局中的标题条款位置和对应于该条款内容的条款数据位置(步骤A2)。
这里,步骤A2的布局分析处理步骤是一学习出现位置确定步骤,其中从读取的图象数据抽取文件媒体所特有的特征,并基于这些特征确定待识别的信息的位置,并抽取读取的图象布局的特征,分析布局的结构并以抽取的特征逻辑表示该布局。
而且,布局分析处理步骤A2包括在抽取了布局的划线条款和条款数据之后抽取布局的逻辑原点的步骤,并进而包括鉴别读取的图象布局是否具有预定方向的步骤,以及基于该步骤鉴别的结果转换读取的图象数据的步骤,使得布局能够具有预定的方向。要注意,对于读取的图象数据的转换处理是使得布局旋转的处理,并且这一处理将在出现的以下(a3)图象数据的旋转校正处理的说明中详细说明。
这里,在布局具有由划线所形成的表格结构之处,布局分析处理步骤A2包括从图象数据抽取划线条款的步骤,和基于在该步骤所抽取的划线条款分析由划线所形成的表格结构的步骤。
另一方面,在布局具有没有划线的无划线表格结构之处,布局分析处理步骤A2包括从图象数据抽取条款数据的步骤,和基于在该步骤所抽取的条款数据分析无划线表格结构的步骤。
进而,布局分析处理步骤A2包括判定图象中标题区域、识别标题区域中的标题条款信息并判定对应的条款数据的步骤。
然后,布局对比检验处理部分3使用抽取的布局成分(划线条款和条款数据)作为检索项检索布局DB14。然而,由于供处理的对象文件是新文件,对应的布局在布局DB14中不存在,因而不能取得备选布局信息和布局校正信息(步骤A3)。
这里,在步骤A3中的布局对比检验处理步骤是一图象识别步骤,其中识别在步骤A2所确定的位置处的图象数据以判定在所确定的位置处的信息,并使用在步骤A2所抽取的布局的特征作为检索限制项而检索存储在布局DB14中的备选布局,以实现对比检验看是否存在相符的备选布局。
布局对比检验处理步骤A3包括参照在步骤A2所抽取的逻辑原点鉴别信息的步骤,并进而包括压缩处理在步骤A2中所抽取的布局特征的压缩处理步骤,使用在该步骤压缩的布局特征作为限制检索项从布局DB14检索压缩的备选布局的步骤,以及基于在该步骤的检索结果进行对比检验以检验是否存在相符的备选布局的步骤。
进而,布局编辑处理部分4以无校正校正信息状态(步骤A4)产生一布局识别结果20,由于在步骤A3没有得到作为对比检验一个结果的备选布局信息和布局校正信息。
字符识别处理模块17的字符识别识别定义产生部分5基于在步骤A4所产生的布局识别结果20产生一字符识别定义21(图4的步骤A14)。
此后,字符识别处理部分6使用在步骤A14所产生的字符识别定义21进行字符识别对象的条款数据的字符识别,以便取得识别结果的代码数据(图4的步骤A15)。
进而,参照在其中记录了用于识别结果的校正信息的知识DB15,知识处理部分7校正在步骤A15取得的识别结果代码数据,以产生字符识别结果22(图4的步骤A16)。
这里,操作者确认/校正处理模块18的布局屏幕显示处理部分8参照在步骤A4所产生的布局识别结果20并向客户机10的显示单元输出标题条款内容和对应于该标题的位置的条款数据位置(图4所示的布局分析信息26)。进而,布局屏幕显示处理部分8向客户机10的显示单元输出读取的图象数据(图4所示的屏幕显示图象27)(步骤A5)。
进而,字符识别结果屏幕显示处理部分9向客户机10的显示单元输出对应于字符识别对象图象的识别条款的字符识别结果22(该字符识别结果22在步骤A16中产生),该输出与布局屏幕显示处理部分8进行的显示是一致的。
这里,显示在客户机10的显示单元上的布局识别结果20和字符识别结果22的确认和修改操作是由操作者进行的(步骤A6)。
进而,布局信息产生处理部分11从来自操作者进行的确认和修改布局操作的结果产生对布局(布局登记信息)的校正信息。
要注意,步骤A7中所产生的布局登记信息是作为对该布局的校正信息[布局DB学习信息25(学习布局信息28)和分析词典学习信息24(登记布局信息29)]在布局DB14和分析词典13上被反映的,从而实现布局学习处理(步骤A8)。
特别地,在步骤A8中,备选布局信息通过在布局DB14中的学习而被更新。
继而,参照图2将说明供处理的对象文件的布局是再次出现的布局时的处理。
首先,布局识别处理模块16的分析预处理部分1进行如上所述的供处理的对象文件图象数据19的分析预处理(步骤A1)。
然后,布局分析处理部分2按类似于上述步骤A2中的方式分析布局,并输出该布局分析的结果(步骤A9)。
进而,布局对比检验处理部分3使用所抽取的布局成分(划线条款和条款数据)作为检索项检索布局DB14,以取得相符的布局的详细信息和布局校正信息(步骤A10)。
这时,由于供处理的对象文件再次出现,故对应的备选布局信息作为布局DB14检索的结果被报告,并且布局的详细信息与这样报告的备选布局进行对比检验以鉴别布局之间的一致性。
要注意,在鉴别出布局彼此一致的地方,布局编辑处理部分4实现在步骤A11到A13的处理判定该布局为一个已经存在的布局。另一方面,在作为对比检验的结果判定出不一致,则布局编辑处理部分4实现步骤A4到A8的处理判定该布局为一个新的布局。
这里,基于作为布局DB14检索的结果所取得的布局校正信息,布局编辑处理部分4校正布局分析的结果和对应于该数据的位置的数据位置,以产生布局识别结果20(步骤A11)。
字符识别处理模块17的处理类似于上述与图4的步骤A14到A15相关的处理。
这里,操作者确认/校正处理模块18的布局屏幕显示处理部分8参照在步骤A11中所产生的布局识别结果20,并向客户机10的显示器输出标题条款内容和对应于该标题位置的条款数据位置(图4中所示的布局分析信息26)。进而,布局屏幕显示处理部分8向客户机10的显示单元输出读取的图象数据(图4中所示的屏幕显示图象27)(步骤A12)。
同时,字符识别结果屏幕显示处理部分9与由布局屏幕显示处理部分8进行的显示一致地,向客户机10的显示单元输出对应于字符识别对象图象的识别条款的字符识别结果22(这字符识别结果22是在步骤A16产生的)。
这里,显示在客户机10的显示单元上的布局识别结果20的确认操作和/或字符识别结果22的确认与修改操作由操作者进行(步骤A13)。
要注意,供处理的对象文件的布局是一个现有的布局,由于对于分析对象图象的处理在当步骤A13中布局的确认操作完成时的时间点被完成的,故没有进行由布局登记信息产生处理部分11产生布局登记信息。
最后,将说明图6所示的数据媒体处理装置30进行文件处理。
这里,在每一医务室中,文件的图象数据由图象数据阅读装置(例如,电传机31,图象扫描器32或者如图6中所示的DATA-EXE 33或图6和7中所示的图象阅读器34)。
这里,由图象扫描器32、DATA-EXE 33或图象阅读器34读取的图象数据传送到客户机35。
然后,来自传真机31的图象数据通过交换机线路(ISDN/公共网络)36和传真机适配器37传送到地区中心服务器39,同时通过交换机线路(ISDN/公共网络)36和通信适配器38来自客户机35的图象数据传送到地区中心服务器39。
服务器39自动地并集中地进行从各个医务室传送的文件图象数据的分析处理,并存储私人票据识别软件成分40,包括知识数据库(知识dB)15,布局数据库(布局DB)14及集中的字符识别装置6。
服务器39具有对应于上述图1中所示布局识别处理模块16和字符识别处理模块17的功能,而作为提供了这些功能的软件私人票据识别软件成分40安装在硬盘上或者其它未示出的存储上,以便进行相应的处理。
进而,地区中心还包括客户机(CL)10以便确认和修改由服务器39进行的图象数据分析处理结果。
特别地,客户机10具有对应于上述图1所示的操作者确认/校正处理模块18的功能。在客户机10中,提供上述这种功能的适用的软件安装在硬盘上或者其它未示出的存储上,以便进行相应的处理。
然后,图象数据的布局和结果的字符识别显示在客户机10的显示单元上,而操作者可参照显示单元以实现对图象数据分析结果的确认或者修改。
要注意,为了允许诸如被引入到地区中心的票据文件的处理,图象阅读器34和DATA-EYE 33作为图象数据阅读装置连接到客户机10,使得由这些图象数据阅读装置所读取的文件的图象数据能够传送到服务器39。
进而,由服务器39分析的文件分析的结果通过分支服务器(BS)41传送到作为主机设备的主计算机(未示出)。
这样,利用根据本发明的该实施例的数据媒体处理装置30,通过自动地电子化地分析每天出现的各种文件或文件图象能够大大提高使用通常的输入系统(OCR输入系统,数据输入系统等)输入工作的效率。
特别地,利用根据本发明的数据媒体处理装置30,能够构成不仅能够处理用于普通输入系统的专用文件,而且能够处理现有的如其原样的各种各样任意文件的输入系统。
更特别地,通过自动地分析构成金融机构等的输入工作对象的私人一般转帐文件的布局(由最终用户所产生的一般转帐票据),能够直接进行字符识别处理和输入处理,并能够进行私人一般转帐票据的完全自动的识别处理。
通过基于任意票据任何各种各样类型的布局识别结果20产生布局登记信息并学习和记录该结果到布局DB14,此后能够自动地进行对于具有相同布局文件的鉴别,因而可降低对于产生专用文件所需的劳务和费用,并在学习之后能够立即输入。因而,能够达到降低包括现有装置30在内的系统引入周期。
进而,由于正常地对文件的图象数据进行分析,能够达到对不同于昂贵的专用OCR文件的文件的自动识别处理,由此减少了剪切错误或打印错误。
(a2)原点抽取与对比检验处理的说明
图14是表示由根据本发明的该实施例的数据媒体处理装置进行的原点抽取与对比检验处理的应用的处理示意图。
一般,即使使用光学阅读装置(扫描器,传真机等)阅读具有相同布局的图象,由于在阅读时位置的位移,各个布局的成分(划线条款与条款数据)对图象物理原点的坐标也不会出现出相等的数值。
于是,当比较布局的成分以鉴别布局的一致性时,必须使得从各个布局所抽取的逻辑原点的位置匹配,计算布局的各个成分对逻辑原点相对坐标并使用相对坐标对比检验这些布局。
由于在图象阅读时必须排除诸如灰尘或污物之类图象的任何变形因素而稳定地抽取这一逻辑原点,故必须选择能够以充分高的精度稳定抽取的坐标位置为逻辑原点。
因而,本实施例中,平行使用了多种抽取方法来抽取逻辑原点,使得即使在处理具有任意布局的文件时也能够抽取到正规稳定的逻辑原点。
这里,在根据本发明的该实施例的数据媒体处理装置30中,在图14中可见,由布局分析处理部分2进行的布局分析处理步骤A2(和A9)包括抽取格式的逻辑原点的逻辑原点抽取步骤M1,及参照步骤M1中抽取的逻辑原点抽取包括格式在内的媒体特有的特征,并从抽取的特征确定待识别的信息所出现的位置的信息出现位置确定步骤。
同时,由布局对比检验处理部分3进行的布局对比检验处理步骤A3(和A10)包括在信息出现位置确定步骤所确定的位置的图象识别时参照在逻辑原点抽取步骤M1(步骤M2)所抽取的逻辑原点进行布局对比检验的图象识别步骤,以鉴别所抽取的字符信息。
进而,在由布局分析处理部分2所进行的逻辑原点抽取步骤M1中,除了抽取格式的逻辑原点之外,还抽取向逻辑原点提供辅助信息的逻辑原点辅助坐标信息,并在由布局对比检验处理部分3所进行的图象识别步骤中,参照逻辑原点和逻辑原点辅助坐标信息(步骤M2)进行布局对比检验处理,以鉴别所抽取的特征信息。
这里,本实施例中,在具有其中由划线形成的表格结构之处,在定义了该表格结构的转角中抽取具有最小X坐标和最小Y坐标的转角的坐标信息[(图15(a)中所示的坐标A]作为格式的逻辑原点,并作为逻辑原点辅助坐标信息,抽取具有最大X坐标和最小Y坐标的另一个转角,具有最小X坐标和最大Y坐标的另一个转角以及具有最大X坐标和最大Y坐标的另一个转角[分别为图15(a)中所示的坐标Aa,Ab,Ac]。
在布局具有没有划线的无划线表格结构中,例如如图17所示,抽取在外接矩形的转角中具有最小X坐标和最小Y坐标的转角的坐标信息(图17中所示的坐标D)作为该格式的逻辑原点,并作为逻辑原点辅助坐标信息,抽取具有最大X坐标和最小Y坐标的外接矩形的另一个转角,具有最小X坐标和最大Y坐标的另一个转角以及具有最大X坐标和最大Y坐标的另一个转角(分别为图17中所示的坐标Da,Db,Dc)。
这里,将首先说明逻辑原点抽取处理。
逻辑原点的抽取处理是由图5所示的布局分析部分2B的表格结构分析部分2E具体进行的。
基于由布局特征抽取部分2A的划线抽取部分2C所抽取的划线条款和由布局特征抽取部分2A的条款数据抽取部分2D所抽取的条款数据,表格结构分析部分2E具体分析划线条款的外接矩形,由划线条款所形成的表格结构的最大外接矩形,和条款数据的外接矩形,从这些矩形抽取转角的坐标并设置预定的坐标为逻辑原点坐标和校正坐标。
以下将参照图18中所示的流程图说明这时布局分析处理部分2的操作。
首先在处理对象布局基于划线之处,作为逻辑原点抽取处理的预处理,布局特征抽取部分2A的划线抽取部分2C从作为抽取对象的图象数据抽取划线(步骤B1),并然后抽取由所抽取的划线形成的最小矩形作为划线条款(步骤B2)。
然后,布局分析部分2B的表格结构分析部分2E鉴别划线条款是否已经被抽取(步骤B3),并在划线条款已经被抽取且这样抽取的划线条款宽和高彼此近似相等地就位之处,这些划线条款被认为并分组为具有逻辑关系的一个划线条款组(步骤B4)。
进而,表格结构分析部分2E鉴别在该组中是否出现一个表格结构(这里表格结构表示由2行X2列或更多的划线条款组所形成的一个区域)(步骤B5)。
这里,在出现表格结构之处,表格结构分析部分2E抽取表格结构中象图15(a)中斜线部分I所示那种最大矩形区域并取得该矩形区域的四个转角的坐标(步骤B6)。
然后,该矩形的左上角坐标A(Xo,Yo)被设置为逻辑原点,而其余的右上角坐标Aa,左下角坐标Ab及右下角坐标Ac的三个位置设置为对逻辑原点的校正坐标(步骤B7和步骤B8)。
另一方面,在如图15(b)中所看到的出现多个表格结构之处,表格结构分析部分2E抽取各个表格结构(参照斜线部分I)并取得每一个矩形区域的四个转角的坐标(步骤B6)。
然后,当每一表格结构的逻辑原点在水平方向和垂直方向投影时的坐标B(最小X坐标,最小Y坐标)[这就是,(Xo,Yo)]被设置为逻辑原点,而三个位置即坐标Ba(最大X坐标,最小Y坐标),坐标Bb(最小X坐标,最大Y坐标)及坐标Bc(最大X坐标,最大Y坐标)被设置为对逻辑原点的校正坐标(步骤B7和步骤B8)。
进而,在任何划线条款组中不出现表格结构之处,表格结构分析部分2E抽取如图16中斜线部分I所示位于最外的划线条款的矩形区域之一,并取得每一个矩形区域的四个转角的坐标(步骤B12)。
然后,当每一矩形的逻辑原点在水平方向和垂直方向投影时的坐标C[(最小X坐标,最小Y坐标),这就是,(Xo,Yo)]被设置为逻辑原点,而三个位置即坐标Ca(最大X坐标,最小Y坐标),坐标Cb(最小X坐标,最大Y坐标)及坐标Cc(最大X坐标,最大Y坐标)被设置为对逻辑原点的校正坐标(步骤B13和步骤B14)。
顺便来说,在布局完全不包含划线条款之处,布局特征抽取部分2A的条款数据抽取部分2D抽取布局中的条款数据,而表格结构方向部分2E抽取那些如图17斜线I所示位于最外侧的条款数据的矩形区域,并取得每一个矩形区域的四个转角的坐标(步骤B9)。
然后,当每一矩形的逻辑原点在水平方向和垂直方向投影时的坐标D(最小X坐标,最小Y坐标),这就是,(Xo,Yo)]被设置为逻辑原点,而三个位置即坐标Da(最大X坐标,最小Y坐标),坐标Db(最小X坐标,最大Y坐标)及坐标Dc(最大X坐标,最大Y坐标)被设置为对逻辑原点的校正坐标(步骤B10和步骤B11)。
进而,表格结构方向部分2E不仅取得如上述方式所抽取的逻辑原点坐标和对逻辑原点的校正坐标,而且取得作为在抽取逻辑原点时所采用的方法的记录信息的逻辑原点抽取方法(即,表示每一逻辑原点已经从表格结构,划线条款及条款数据的哪一个抽取的信息)。
要注意,在以下的说明中,指示诸如上述逻辑原点抽取方法的逻辑原点可能被称为表格逻辑原点,划线条款逻辑原点或条款数据逻辑原点。
然后,布局分析处理部分2向布局对比检验处理部分3作为逻辑原点信息发送出逻辑原点抽取方法,逻辑原点坐标及逻辑原点校正坐标。
以下将说明逻辑原点对比检验处理。
该逻辑原点对比检验处理是由以上图1中所示的布局对比检验处理部分3进行的。
在进行布局之间的对比时,布局的布局成分坐标被转换为对逻辑原点的相对坐标,而该相对坐标彼此进行比较以实现从布局所抽取的逻辑原点的比较。
然而实际上,即使布局相同,由于在阅读时诸如对图象的污染或弄脏等变化因素可能有时也检测不到逻辑原点的一致性。
这时,基于一个逻辑原点的信息,再次动态地检测其它逻辑原点,并然后鉴别逻辑原点之间的一致性。
将参照图21所示的流程图说明这时布局对比检验处理部分3的操作。
首先,在本实施例中,由于使用多种方法由上述的布局分析处理部分2抽取抽取逻辑原点,故在对逻辑原点之间对比检验之前先要进行对逻辑原点抽取方法之间的一致性鉴别(步骤C1和C2)。
如果逻辑原点的抽取方法彼此之间是一致的,则如在图19所见,对布局L1和另一个布局L2的逻辑原点校正坐标彼此进行比较以鉴别逻辑原点校正坐标之间的一致性(步骤C3到C5)。
这里,在鉴别为校正坐标之间一致之处,基于布局L1的逻辑原点坐标E(最小X坐标,最小Y坐标)和布局L2的逻辑原点坐标F(最小X坐标,最小Y坐标)计算布局L1的Ea到Ec的校正坐标及布局L2的Fa到Fc的校正坐标的相对坐标(Ea′到Ec′及Fa′到Fc′),并通过相对坐标之间的一致性鉴别进行校正坐标之间的一致性鉴别。
特别地,通过作出包含逻辑原点坐标信息的校正坐标之间的一致性鉴别而鉴别逻辑坐标之间的一致性以便对布局进行对比检验(步骤C6)
相对坐标计算的表达式由以下表达式(1)到(6)给出:
(相对坐标Ea′)=(校正坐标Ea)-(逻辑原点坐标E)……(1)
(相对坐标Eb′)=(校正坐标Eb)-(逻辑原点坐标E)……(2)
(相对坐标Ec′)=(校正坐标Ec)-(逻辑原点坐标E)……(3)
(相对坐标Fa′)=(校正坐标Fa)-(逻辑原点坐标E)……(4)
(相对坐标Fb′)=(校正坐标Fb)-(逻辑原点坐标E)……(5)
(相对坐标Fc′)=(校正坐标Fc)-(逻辑原点坐标E)……(6)
进而,由以下表达式(7)到(9)给出对于相对坐标之间的一致性要求:
|(相对坐标Ea′)-(相对坐标Fa′)|≤ε
(ε:一致性范围)……(7)
|(相对坐标Eb′)-(相对坐标Fb′)|≤ε
(ε:一致性范围)……(8)
|(相对坐标Ec′)-(相对坐标Fc′)|≤ε
(ε:一致性范围)……(9)
另一方面,在逻辑原点抽取方法彼此不一致(参照步骤C2)或校正坐标彼此不一致(参照步骤C4)之处,则基于其它布局的逻辑原点信息进行布局之一的逻辑坐标再抽取。
这里,如果由于图20中所见对划线的污染布局L1部分地不能检测,则在图20(b)可见使用布局L1的逻辑原点信息(逻辑原点抽取方法,逻辑原点坐标G和校正坐标Ga到Gc)抽取布局L2的新的逻辑原点坐标H′和新的检测坐标H′a,Hb和Hc(步骤C7和C8)。
在这时逻辑原点信息再抽取时,在图20(a)和20(b)中可见首先从布局L1和布局L2的逻辑原点坐标和校正坐标分别计算X坐标之间的差Xa,Xb,和X′a,X′b,及Y坐标之间的差Ya,Yb,和Y′a,Y′b。
以下如表达式(10)到(17)给出计算这些差的表达式:
(布局L1)
差Xa=|(校正坐标Ga的X坐标)-(逻辑原点坐标G的X坐标)|……(10)
差Xb=|(校正坐标Gc的X坐标)-(校正坐标Gb的X坐标)|……(11)
差Ya=|(校正坐标Gb的Y坐标)-(逻辑原点坐标G的Y坐标)|……(12)
差Yb=|(校正坐标Gc的Y坐标)-(校正坐标Ga的Y坐标)|……(13)
(布局L2)
差X′a=|(校正坐标Ha的X坐标)-(逻辑原点坐标H的X坐标)|……(14)
差X′b=|(校正坐标Hc的X坐标)-(校正坐标Hb的X坐标)|……(15)
差Ya=|(校正坐标Hb的Y坐标)-(逻辑原点坐标H的Y坐标)|……(16)
差Yb=|(校正坐标Hc的Y坐标)-(校正坐标Ha的Y坐标)|……(17)
然后,所计算的差彼此进行比较以鉴别一些差是否一致。
这里,由于对于布局L1和布局L2,差Ya和Y′a不一致,并且差Yb和差Y′b不一致,故从布局L2的坐标中搜寻与布局L1的差Ya和Yb一致的差。
换言之,逻辑原点和校正坐标是从布局L2内根据对于布局L1的逻辑原点抽取方法搜寻的(参照步骤C7和C8)。
如果作为搜寻的结果成功地检测出一致的坐标,则在图20(a)可见这些坐标用作为逻辑原点H′和校正坐标H′a。
另一方面,如果如果作为搜寻的结果没有成功地检测出一致的坐标,那么按上述类似的方式逻辑原点和校正坐标是从布局L1内根据对于布局L2的逻辑原点抽取方法搜寻的(参照步骤C9和C10)。
要注意,如果用这一方法也不能成功地检测出一致的坐标,则不进行布局之间的对比检验(步骤C11)。
这样,由根据本发明的该实施例的原点抽取和对比检验处理,由于供处理的对象文件的布局分析是基于从图象数据所抽取的划线条款和条款数据进行的,并判定由布局分析所获得的区域的转角坐标中预定的坐标为逻辑原点坐标和校正坐标,故逻辑原点坐标和校正坐标也能够从不同于其上印制有标记等专用文件的普通文件的图象数据抽取。
而且,由于从多种逻辑原点抽取方法中动态地选择一个优化的方法,故能够进行适合于供处理的对象文件布局的逻辑原点抽取。
此外,由于在逻辑原点抽取时,同时抽取校正坐标作为逻辑原点的补充信息,故在布局对比检验处理中逻辑原点之间对比检验时,能够以一定的可靠性检验到一致性。
特别地,由于逻辑原点之间的对比检验是通过其中逻辑原点坐标相结合的校正坐标的相对坐标之间的对比检验进行的,故即使在图象阅读时发生位移,布局之间的对比检验处理也能够可靠地进行。
而且,即使在因为有灰尘、污染等而逻辑原点不能正确地抽取之处,由于使用校正坐标根据对其它布局的逻辑原点抽取方法进行逻辑原点的再抽取,故能够判定可被可靠地抽取的另一个点为逻辑原点。
要注意,虽然在本实施例中布局的左上转角处的点判定为逻辑原点,但逻辑原点并不限于此,而是右上转角,左下转角或右下转角也可判定为逻辑原点。
(a3)图象数据旋转校正处理的说明
一般,在文件处理装置等装置中,如果供阅读的对象文件的阅读方向是不正确的方向,那么不能进行字符识别处理,因为图象数据(图象)的字符表示方向不是一个正确的方向。
因而,在根据本发明的该实施例的数据媒体处理装置中,在上述的原点抽取处理时,判定所读取的图象的方向,而如果图象的方向是错误的,则对于图象要进行旋转校正处理,使得图象的方向能够变为正确的方向。因而,即使供阅读的对象文件的阅读方向是错误的,也能够进行如下所述的图象的布局分析处理和/或字符识别处理。
这里,图象数据的旋转校正处理是由上述图1和5中所示的布局分析处理部分2进行的。为了实现图象数据的旋转校正处理,布局分析处理部分2包括判定所读取的图象的布局是否指向预定的的方向的步骤,以及基于前面步骤中判定结果旋转所读取的图象数据的布局的步骤,使得该布局能够指向预定的方向。
这里,其中标注出由本发明的数据媒体处理装置30所进行的图象数据的旋转校正处理的功能框图示于图8和9。图8为其中具有划线条款的一文件要被处理的一功能框图,而图9是其中没有划线条款的另一文件要被处理的功能框图。
当有划线条款的一文件要被处理时,如图8所示在数据媒体处理装置30中,发挥作用的有以下部分:图象输入部分301,图象数据存储器302,旋转的图象数据存储器303,划线抽取部分(划线抽取部分)2C,划线条款信息存储部分304,划线条款分析部分(表格结构分析部分)2E,垂直/水平鉴别设置部分305,水平延伸划线条款存储部分306,图象90度旋转部分307,图象180度旋转部分308,及字符串识别模块(字符识别处理模块)17。
图象输入部分301读取文件的图象数据等。图象数据存储器302是供暂时存储所读取的图象数据的一个存储器。
旋转图象数据存储器303是一个用于存储对其已经进行了旋转校正处理的图象数据的存储器。后来的布局识别处理,字符识别处理等等使用存储在旋转的图象数据存储器303中的图象数据进行。
划线条款抽取部分(划线抽取部分)2C搜寻所读取的图象数据,以便自动地抽取构成由划线所形成的最小矩形的划线条款。划线条款信息存储部分304是用于存储由划线抽取部分2C所抽取的划线条款信息的一个存储器。
划线条款分析部分(表格结构分析部分)2E分析划线条款信息存储部分304中所存储的划线条款的形状是垂直延伸形状还是水平延伸形状,以便判定图象数据的阅读方向是垂直阅读方向还是水平阅读方向。
在银行、企业等中所处理的大部分票据、文件等通常是水平方向表示的。因而,划线条款在大多数情形下是水平延伸的,于是水平延伸的划线条款多于垂直延伸的划线条款的状态被设置为垂直/水平鉴别设置部分305的标准,并基于这样设置的标准,鉴别图象数据的阅读方向。
水平延伸划线条款存储部分306存储已经被表格结构分析处理部分2E判定为水平延伸的划线条款的划线条款。
在划线条款被表格结构分析处理部分2E判定为垂直延伸的划线条款时,图象90度旋转部分307旋转图象数据90度以实现对图象数据的旋转校正。
字符串识别处理部分17识别划线条款中的字符,并当字符识别不能由字符识串别部分17成功地进行时,图象180度旋转部分308旋转该图象数据180度以便实现对图象数据的旋转校正。
要注意,旋转校正的图象数据存储到图象数据存储器302中和旋转的图象数据存储器303中2,并类似于上述方式由划线条款抽取部分2C,划线条款分析部分2E以及字符串识别部分17进行处理。
另一方面,如图9中可见当无划线条款的另一文件要被处理时,在数据媒体处理装置30中,发挥作用的有以下部分:图象输入部分301,图象数据存储器302,旋转的图象数据存储器303,标记部分309,标记信息存储部分310,字符区域结合部分311,字符区域结合规则部分312,结合结果存储部分313,字符串垂直/水平鉴别设置部分314,图象90度旋转部分307,图象180度旋转部分308,及字符串识别模块(字符识别处理模块)17。
图象输入部分301,图象数据存储器302及旋转的图象数据存储器303具有上述类似的功能和结构。
标记部分309对于从象素信息抽取相继的点信息进行标记处理。标记信息存储部分310是用于存储由标记部分309所抽取的相继点信息的一个存储器。
字符区域结合部分311基于由标记部分309所抽取的相继点信息根据由字符区域结合规则部分312所设置的结合规则结合相继的字符为一字符串以抽取条款数据。结合结果存储部分313存储由字符区域结合部分311所抽取的条款数据。
特别地,标记部分309,标记信息存储部分310,字符区域结合部分311,字符区域结合规则部分312及结合结果存储部分313协同构成条款数据抽取部分2D。
字符串垂直/水平鉴别部分314分析由字符区域结合部分311所抽取的条款数据的形状是垂直延伸的形状还是水平延伸的形状以鉴别图象数据的阅读方向是垂直阅读方向还是水平阅读方向。
而且,当条款数据的字符串由字符串垂直/水平鉴别部分314判定为垂直延伸的字符串时,图象90度旋转部分307旋转该图象数据90度以实现对图象数据的旋转校正。
字符串识别部分17识别条款数据中的字符。当字符识别不能由字符串识别部分17成功地进行时,图象180度旋转部分308旋转图象数据180度以实现对图象数据的旋转校正。
要注意,旋转校正的图象数据存储到图象数据存储器302和旋转的图象数据存储器303并由标记部分309,字符区域结合部分311,字符串垂直/水平鉴别部分314和字符串识别部分17以类似于上述方式处理。
在具有上述结构的根据本发明该实施例的数据媒体处理装置中,如果图象数据从图象输入部分301输入,则划线条款或条款数据从图象数据抽取。
这里,在图象数据包含划线条款之处,划线条款由划线条款抽取部分2C抽取,并且由表格结构分析部分2E分析,由表格结构分析部分2E所抽取的划线条款的形状是垂直延伸形状还是水平延伸形状的哪一个。
然后,在分析出划线条款形状为垂直延伸形状之处,图象数据由图象90度旋转部分307旋转校正90度。
另一方面,在分析出划线条款的形状为水平延伸形状之处,划线条款的字符识别由字符串识别部分17进行,但是当字符识别不能成功地进行时,该图象数据由图象180旋转部分308旋转校正180度。
此外,在图象数据不包含划线条款之处,条款数据由字符区域结合部分311抽取,并由字符区域结合分析部分311分析由字符区域结合部分311所抽取的条款数据的形状是垂直延伸形状还是水平延伸形状的哪一个。
这里,在分析出条款数据的形状为水平延伸形状之处,划线条款的字符识别由字符串识别部分17进行,但是当字符识别不能成功地进行时,该图象数据由图象180旋转部分308旋转校正180度。
然后将参照图12和13所示的流程图进而说明该数据媒体处理装置30的图象数据旋转校正处理。
首先,进行待处理的供图象识别的票据,文件等的图象数据阅读(步骤G1)。要注意,票据、文件等的表可能从任何方向被阅读。
例如,当阅读具有如图10所示的这种划线条款的文件320时,所读取的图象数据一次存储到图象数据存储器302(步骤G2)。要注意,只有在第一次阅读时,同一图象数据也存储到旋转的图象数据存储器303中(步骤G3)。
然后,抽取图象数据中的划线条款(例如在图10中,表示出划线条款M)。
这里,如果成功地抽取了划线条款,则划线条款信息存储到划线条款信息存储部分304(步骤G5和G6)。
表格结构分析部分2E基于存储在划线条款信息存储部分304的划线条款信息分析每一划线条款的形状,并对划线条款是垂直延伸还是水平延伸的划线条款进行鉴别及分类(步骤G7和G8)。然后,在划线条款信息的划线条款为水平延伸的划线条款之处,它存储到水平延伸的划线条款存储部分306(步骤G9)。
进而,表格结构分析部分2E基于由垂直/水平鉴别设置部分305所设置的标准鉴别水平延伸的划线条款数目是否大于垂直延伸的划线条款数目以便鉴别图象数据的阅读方向是正确还是错误(步骤G10)。
这里,如果表格结构方向部分2E鉴别出水平延伸的划线条款较大,则由字符串识别部分17进行字符识别(从步骤G10的YES途径到步骤G11)。
如果由字符串识别部分17成功地进行了字符的识别,则判定图象数据的阅读方向是正常的(步骤G12的YES途径)。
另一方面,如果由字符串识别部分17没有成功地进行字符的识别,则由于有可能图象已经旋转了180度(即图象被垂直地反转),在图象数据一次存储到图象数据存储器302之后,图象180度旋转部分308对已旋转的图象数据存储器303的图象数据作180度的旋转校正(步骤G14)。于是,旋转180度之后的图象数据此后被存储到旋转图象数据存储器303并经受类似于上述处理的处理(步骤G4到G12)。
另一方面,如果由表格结构分析部分2E鉴别出垂直于是的划线条款数目较大,则待存储到图象数据存储器302的图象数据由图象90度旋转部分308进行90度的旋转校正(步骤G13)。于是,旋转后的图象数据此后被存储到旋转的图象数据存储器303并经受类似于上述的处理的处理(步骤G4到G12)。
然后,如果在进行了90度旋转校正处理之后对图象数据仍没有成功地由字符串识别部分17进行字符的识别,则由于有可能图象处于旋转了180度的状态,在图象数据一次存储到图象数据存储器302之后,图象180度旋转部分308对已旋转的图象数据存储器303的图象数据作180度的旋转校正(步骤G14)。于是,旋转180度之后的图象数据此后被存储到旋转图象数据存储器303并经受类似于上述处理的处理(步骤G4到G12)。
另一方面,如果在上述步骤G5没有成功地抽取划线条款,则由于其中存在这样的情形,例如读取到如图11所示没有划线条款的文件321,则进行以下的处理以抽取条款数据。
首先,标记部分309从存储在旋转的图象数据存储器303的图象数据抽取标记信息(例如图11中所示的标记信息N)(从步骤G5的NO途径到图13的步骤G15)。所抽取的标记信息存储到标记信息存储部分310(步骤G16)。
然后,字符区域结合部分311基于字符区域结合规则部分312的规则结合存储在标记信息存储部分310中的标记信息的各个片断为一个字符串。于是,抽取条款数据(例如,图11中,其中七个标记信息片断“出”,“张”,“旅”,“费”,“精”,“算”,和“书”被结合为一个字符串的字符区域的结合结果(“出张旅费精算书”)表示为条款数据)(步骤G17),并且该结合结果存储到结合结果存储部分313(步骤G18)。
进而,字符串垂直/水平鉴别部分314鉴别水平延伸的条款数据数目是否大于垂直延伸的条款数据的数目以鉴别图象数据的阅读方向是正确还是错误的(步骤G19)。
这里,如果由字符串垂直/水平鉴别部分314鉴别出水平延伸的条款数据的数目较大,则由字符串识别部分17进行字符识别(步骤G20)。
如果由字符串识别部分17成功地进行了字符识别,则判定图象数据的阅读方向是正常的(步骤G21)。
反之如果由字符串识别部分17没有成功地进行字符的识别,则由于有可能图象处于旋转了180度的状态,在图象数据一次存储到图象数据存储器302之后,对已旋转的图象数据存储器303的图象数据作180度的旋转校正(步骤G23)。于是,旋转180度之后的图象数据此后被存储到旋转图象数据存储器303并经受类似于上述处理的处理(步骤G15到G21)。
另一方面,如果由字符串垂直/水平鉴别部分314鉴别出垂直延伸的条款数据的数目较大,则存储在图象数据存储器302中的图象数据由图象80度旋转部分308旋转校正90度(步骤G22)。于是,旋转之后的图象数据此后存储到旋转的图象数据存储器303并经受类似于上述处理的处理(步骤G15到G21)。
然后,如果在90度旋转校正处理进行之后对图象数据仍不能由字符串识别部分17进行字符的识别,则由于有可能图象处于旋转了180度的状态,在图象数据一次存储到图象数据存储器302之后,由图象180度旋转部分308对已旋转的图象数据存储器303的图象数据作180度的旋转校正(步骤G23)。于是,旋转180度之后的图象数据此后被存储到旋转图象数据存储器303并经受类似于上述处理的处理(步骤G15到G21)。
这样,使用根据本发明的数据媒体处理装置30,从读取的图象数据中抽取划线条款或者条款数据,并鉴别所抽取的划线条款或条款数据的形状是为水平延伸形状还是垂直延伸形状。如果划线条款或条款数据的形状为垂直延伸形状,则对图象数据进行90度的旋转校正。然后,如果即使在划线条款或条款数据的形状为水平延伸的形状之处也不能成功地进行字符识别,则进行图象数据的180度旋转校正。于是,从图象数据究竟在什么方向被读取,可自动地鉴别图象数据的阅读方向,并当图象数据的阅读方向错误时,图象数据能够自动地被旋转校正。结果,数据媒体处理装置30的优点在于,可以避免由操作者进行确认和旋转校正操作,并可有效地由客户机-服务器系统进行文件的自动处理。
(a4)矩阵对比检验处理的说明
一般在文件处理装置等装置中,由于在供处理的对象文件的布局与存储在布局DB等之中的布局之间进行对比检验处理时,对各个布局的成分(划线条款,条款数据等)相继进行对比检验,以实现坐标,尺寸等等之间的比较,在布局的成分数(N)增加时,对比检验操作的次数增加得很多,因而大量文件的布局对比检验处理不能以高速进行。
于是,在根据本发明的该实施例的数据媒体处理装置30中,作为布局成分之一的划线条款布局被压缩处理并表示为矩阵表,并在布局之间对比检验时,它们的矩阵表彼此进行对比检验,使得大量文件布局的对比检验处理能够以高速进行。
这里,根据本发明的该实施例的数据媒体处理装置30是这样构造的:布局对比检验处理部分3对由布局分析处理部分2所抽取的划线条款的布局进行压缩处理以将其表示为一个矩阵表,并使用该矩阵表作为限制检索项目检索存储在布局DB14中参照矩阵表以便对比检验是否存在相符的矩阵表。基于对比检验的结果,字符识别处理模块17鉴别在特定位置的图象信息。
这里,在图22中示出其中标注了根据本实施例的数据媒体处理装置30的矩阵对比检验处理的处理过程示意图。
在数据媒体处理装置30中,如图22所示,如果首先阅读供处理的对象文件并输入分析对象的图象数据19,然后布局分析处理部分2分析所输入的图象数据以抽取划线部分并抽取由划线部分所形成的矩形作为划线条款。
这时,从划线部分等计算图象的倾斜度,并对所抽取的各个划线条款的坐标位置进行倾斜校正。进而,抽取布局的逻辑原点和校正坐标,并作为布局信息设置校正的划线条款的坐标位置,逻辑原点和校正坐标(步骤F1)。
然后,布局对比检验处理部分3对于对应于输入的图象数据产生一个10DPI(每英寸点数)的位表,并在位表上对应的位置处布局信息的最低行中标绘出各个划线条款的左上坐标和划线条款的右下坐标。
进而,根据在一行中是否存在数据对所产生的位表进行压缩处理,并根据行的构造规律在行方向上进行压缩处理以产生一矩阵表(步骤F2)。
这样压缩的矩阵表与其它布局信息一同存储到布局DB14(步骤F3)。
要注意,上述的步骤F1对应于图2所示的步骤A2,而上述的步骤F2和F3对应于图2所示的步骤A3。
进而,在数据媒体处理装置30中,如果读取了供对比检验的对象文件并输入了方向对象的图象数据19,那么布局分析处理部分2进行类似于上述步骤F1的处理,并设置划线条款的坐标位置,逻辑原点和校正坐标作为布局信息(步骤F4)。
然后,布局对比检验处理部分3对所输入的图象数据进行类似于上述步骤F2的处理以产生一矩阵表(步骤F5)。
这里,布局对比检验处理部分3从布局DB14读出对比检验对象的矩阵表并参照布局的各个逻辑原点以行为单元对比检验位位置,以实现在读取的对比检验对象的矩阵表与在上述步骤F5中产生的矩阵表之间的对比检验。
进而,从矩阵表的位位置对比检验的结果计算出的关于所有对比检验位的数目计算出相符的位数目,并作为矩阵表相符比例输出对比检验结果200(步骤F6)。
要注意,上述的步骤F4对应于图2中所示的步骤A9,而上述的步骤F5和F6对应于图2中所示的步骤A10。
这里,将参照图23说明上述步骤F2和F5中的矩阵表产生处理。
首先,从作为矩阵表产生对象的一个图象抽取划线,并从所抽取的划线抽取划线条款(由划线所形成的最小矩形区域)。这时,基于布局的倾向度信息对于所抽取的划线条款的各个坐标进行倾斜校正(步骤F21)。
然后,校验布局上的每一划线的线性以获得划线的变形率,并对在步骤F21中校正的划线条款倾斜的坐标进行变形校正(步骤F22)。
进而,参照形成划线条款的水平划线以设置其上面的划线共同具有相同的划线以至它们都具有相同的数值的那些划线条款的左上转角Y坐标数值,以实现如图24(a)中所见的Y坐标的正规化(步骤F23)。参照形成划线条款的垂直划线以设置其左侧的划线共同具有相同的划线以至它们都具有相同的数值的那些划线条款的左上转角X坐标数值,以实现如图24(b)中所见的X坐标的正规化(步骤F24)。
特别地,在本实施例中,在其上反映出划线条款的布局的位表压缩处理之前,对所读取的图象数据进行倾斜校正和变形校正处理(参照步骤F21和F22),并然后参照形成划线条款的水平划线,以便对其上面的划线共同具有相同的划线的那些划线条款进行Y坐标的归一化处理(参照步骤F23),此后参照形成划线条款的垂直划线,以便对其左侧划线共同具有相同划线的那些划线条款进行X坐标的归一化处理(参照步骤F24),以便吸收在阅读图象数据中所产生的布局中的变化。
进而,对于布局上的所有的划线条款,根据在具有相同Y坐标划线条款的单元中位表指定的分辨率对划线条款的左上转角的坐标进行坐标转换(位串转换),并在图25中所见的表对应的位置处设置位。
这时,设置被转换的划线条款的Y坐标之间的距离以便如图26中所见排列管理信息J(步骤F25)。
这里,对由步骤F25中的转换所产生的位表进行处理以便如图27中所见从顶行开始相继进行行的比较,并且具有相同位结构的相继的行在行方向被压缩为一行以产生压缩的系位信息K,并作为行压缩信息向行管理信息J设置压缩完成标志Q(步骤F26)。
然后如图28中所见,作为一个矩阵表设置这样产生的包含压缩行位信息K和行管理信息J的矩阵表信息S(步骤F27)。
特别地,在本实施例中,在划线条款的布局压缩处理时,划线条款的布局被转换为对应的位串,而对位串进行压缩处理。然后,这样压缩处理的位表设置为矩阵表。于是,在布局对比检验时对比检验操作的数目只是与对比检验对象的布局的数目成比例地线性增加,而不依赖于布局的成分数目(N),于是能够以高速进行大量文件布局的对比检验处理。
进而,将参照图29和30的流程图说明上述步骤F6中的矩阵表对比检验处理。
首先,布局对比检验处理部分3产生并获得例如在图31(a)中所见那样的对比检验源矩阵信息,并设置压缩的对比检验源矩阵信息的行位信息(K1)为对比检验源工作区域(步骤D1)。
进而,例如从布局DB14取得如图31(b)中所示的那种对比检验目标矩阵信息,并向一个对比检验目标工作区设置压缩的对比检验目标矩阵信息的行位信息(K′1)(步骤D2)。
然后,布局对比检验处理部分3相继地对压缩的行位信息(K1)和(K′1)从顶位开始进行比较和对比检验以实现对一行的对比检验(步骤D3)。
这里,如果压缩的行位信息(K1)和(K′1)表现不相符,则设置不相符作为对比检验的结果200(参照图22)(步骤D4和D10)。然而,由于这里的压缩的行位信息(K1)和(K′1)是相符的,故基于行管理信息J向对比检验源工作区设置对比检验源压缩的行位信息K(步骤D4和D5)。
在步骤D5,参照行管理信息J(步骤E1),并且如果对于对应的行管理信息J设置压缩完成标记Q,则鉴别出该行是压缩行,并向对比检验源工作区设置最后对比检验的行的压缩行位信息K(步骤E2和E4)。然而,如果对于行管理信息J的对应的行没有设置压缩完成标志Q,则鉴别出该行为非压缩行,并向对比检验源工作区设置新的的对应行的压缩行位信息K(步骤E2和E3)。
进而,还基于行管理信息J′向对比检验目标工作区设置对比检验目标压缩行位信息K′(步骤D6)。
而且在步骤D6,类似于上述步骤D5,参照行管理信息J′(步骤E1),并且如果对于对应的行管理信息J′设置压缩完成标记Q′,则鉴别出该行是压缩行,并向对比检验源工作区设置最后对比检验的行的压缩行位信息K′(步骤E2和E4)。然而,如果对于行管理信息J′的对应的行没有设置压缩完成标志Q′,则鉴别出该行为非压缩行,并向对比检验源工作区设置新的的对应行的压缩行位信息K′(步骤E2和E3)。
如果对于所有的行压缩行位信息K和K′标记的结果证实在固定区域内所有的行是彼此相符的,则设置一致性作为对比检验结果200(步骤D7到D9)。
反之,如果在比较处理中发现不一致或者比较对象之一的行位信息在比较完成之前结束,则设置不一致性作为对比检验结果200(步骤D7、D8和D10)。
这样,使用根据本发明的该实施例的媒体处理装置的矩阵对比检验处理,由于作为布局成分之一的划线条款的布局被压缩处理以至表示为矩阵表,并在布局比较时,对矩阵表彼此之间进行对比检验,故布局的对比检验处理速度仅仅对对象布局对比检验的数目成比例地增加,而不依赖于划线条款的数目。于是,能够以高速进行大量文件的布局对比检验处理。
这时,由于对比检验对象布局表示在构成布局的划线条款中,故布局可稳定地被表示。
而且,由于在其上反映出划线条款的布局的位表的压缩处理之前,对读取的图象数据进行倾斜校正和变形校正处理,并对各个划线条款进行Y坐标归一化处理及X坐标归一化处理,故在阅读图象时所产生的布局中的变化可被吸收。
进而,由于根据一阶文件的特征压缩位表,故文件中的布局成分的数目能够有效地压缩表示。
(a5)特征数据识别处理的说明
一般,在字符识别装置中,由于普通的字符构成一个识别对象,必须使用考虑了识别率的用于识别对象所产生的字典,而任意动态指定的图形形式是不能被识别的。
而且,由于识别对象事先假设为字符,就存在诸如识别对象区域方面的限制以及设定供识别的定义对象方面的限制,而任意的区域是不能设定为识别对象的。
因而,根据本发明该实施例的数据媒体处理装置30是这样构造的,使得包含在字符识别处理中不能识别字符的区域图象(布局),图形形式等作为特征数据被记录,同时对应于该特征数据的代码数据作为对布局附加的信息被记录,并在布局对比检验处理时,进行布局的特征数据之间的对比检验,并在发现相符的特征数据时,取得对应于特征数据的代码数据并在显示器上显示为识别的结果,于是在字符识别处理中不能被识别的字符,图形形式等。
其中标注了根据本发明该实施例的数据媒体处理装置30的特征数据识别处理的处理示意图示于图32中。
在根据本实施例的数据媒体处理装置30中,如图32所示,由右下步骤进行特征数据识别处理:通过学习处理向布局DB14记录特征数据的记录步骤(步骤H1,A6和H2),以及对比检验记录的特征数据是否包含与分开读取的图形相符的特征数据的对比检验步骤(步骤H3)。
在记录步骤中,抽取所读取的图象布局中的特征以便分析布局的结构(步骤H1),并且所分析的布局显示在一形式单元403上(步骤A6)。然后,如图33所示,进行布局学习处理(步骤H2),以便对于所显示的布局结构设置预定的的特征数据记录区域T(在图33中由斜线所表示),并且借助于外部输入装置404输入对应于区域T中的标记信息(在图33中“富士通株式会社”)的代码数据U[在图33中,“Fujitsu(Ltd)”],此后从特征数据识别区域T和代码数据U产生区域特征数据,并以同上述分析的布局结构相链接的状态被记录。
在根据本实施例的数据媒体处理装置30中,通过在区域特征数据的识别时对于特征数据识别区域T进行归一化处理,能够在对比检验步骤可靠地进行区域特征数据的对比检验,这将在以下说明。
在这一记录步骤,由于在输入对应于标记信息的代码数据U时向上述区域T输入了具有对应于标记信息意义的代码数据,故如果它识别出特征数据识别区域T,作为识别的结果数据媒体处理装置30能够在屏幕上显示出对应的代码数据。
另一方面,在对比检验步骤中,在上述的记录步骤之后,抽取分开读取的图象特征,并然后使用在记录步骤所记录的区域特征数据和布局结构作为参照数据检索布局DB14以便对比检验是否有相符的布局。
当具有上述结构的根据本发明该实施例的数据媒体处理装置30实现特征数据识别处理时,通过学习处理字符数据记录到布局DB14,并对比检验是否有某个记录的特征数据与分开读取的图象相符。然后,如果发现了相符的特征数据,则取得对应于该特征数据的代码数据并作为识别的结果显示在显示对于403上。
将参照图32到34更为详细地说明数据媒体处理装置30这时的操作。
特别地,如图32中所见,如果布局分析的一个对象文件图象19是新读取的,则布局分析处理部分2分析该对象文件的布局以产生布局信息(步骤H1)。
这里,在操作者确认/校正处理模块18(参照图1)中,一文件的图象及所分析的图象信息显示在显示对于403上,并且如图33中所见,由操作者设置一个特征数据识别区域T(“富士通株式会社”),并从外部输入装置404输入对应的代码数据U[“Fujitsu(Ltd)”](步骤H6)。
进而,布局记录信息产生处理部分11从由操作者指定的区域T和输入的代码数据U产生区域特征数据,并学习该区域特征数据,且作为布局校正数据与由布局识别处理模块16所取得的布局信息一同记录到布局DB14(步骤H2)。
于是,在记录步骤中的操作是由操作者确认/校正处理模块18和上述布局记录信息产生处理部分11进行的。
在区域特征数据这样记录到布局DB14之后,如果再次读取与上述处理的相同的文件图象19,则布局分析处理部分2分析该对象文件并产生布局信息。
进而,布局对比检验处理部分3使用所分析的布局信息作为检索项检索布局DB14以便取得对于在步骤H2学习和记录的文件的布局校正信息。
这里,对于所取得的布局校正信息的区域特征数据是否包含对应于要被分析的文件的图象的区域特征数据进行对比检验。如果对比检验的结果证实某个区域特征数据满足与要被分析的文件图象相符的项,则对应于该区域特征数据的代码数据U设置为布局识别结果(步骤H3)。
然后,在操作者确认/校正处理模块18中,所读取的文件图象和布局识别结果20显示在显示单元403上,并且如图34所见以类似于一般字符识别结果22的方式,在显示单元403上作为特征数据识别结果显示出特征数据识别区域T及对应的代码数据U(步骤A13)。
这样,利用根据本发明该实施例的媒体处理装置的特征数据识别处理,在功能上扩充了类似于字符识别装置的区域图象特征抽取机制和特征对比检验机制,并且与布局识别系统相结合,使得在记录步骤由操作者所指定的特征数据识别区域T和对应的代码数据U(识别结果代码)被动态地学习并与布局分析分结果一同记录到布局DB14,并在要对具有所学习布局相同布局的文件进行识别时,在对比检验步骤从布局DB14与布局信息一同取得区域特征数据,并对该区域特征数据与识别对象的文件图象的区域进行对比检验,此后取得对应的代码数据U作为对比检验的结果并作为识别的结果被设置且输出,于是允许在指定的区域中的图形形式的图象的识别处理与布局识别处理相关联地进行。
特别地,通过记录任意指定区域的图象作为识别对象区域,该任意区域可被识别以取得对应的代码数据而无需限于字符,并通过动态地对识别对象区域与布局信息一同学习到布局DB14中,当布局再次出现时,能够与布局识别处理相关联地进行识别对象区域的识别处理。
进而,在本实施例中,由于对比检验的对象的区域特征数据与布局信息相关联地被记录,故对比检验的对象能够限制在布局单元中,并从而无需进行如普通的字符识别装置所需的大量对比检验处理,而能够达到高的识别率。
此外,由于多个识别对象区域可设置在同一文件中,使得其数据具有关联关系,故能够彼此匹配地记录布局中识别对象区域的位置信息和数据结构。
要注意,上述这种特征数据识别处理也能够用于′kanji′条款的′kana′识别处理,或者交换一般转帐文件的客户/接受者(recipient)的识别处理。
特别地,当文件上的′kanji′条款要作为特征数据被识别时,则进入到′kanji′的条款的区域被指定为特征区域,并且对应的代码数据输入到′kana′,并且特征数据与代码数据被学习且与文件的布局信息一同被记录。
在采用这一对策之处,如果对具有与另一个被学习和识别的文件的布局相同布局的文件进行布局识别,则′kana′的代码数据能够作为′kanji′的条款的特征区域的识别结果而取得。
进而,类似于′kanji′的条款的特征数据识别处理的情形,如果橡皮图章、签字等的条款指定为特征数据识别条款,则不能通过普通字符识别被识别的橡皮图章、签字等的条款能够被识别,并且对应的代码数据能够作为橡皮图章、签字等的特征区域的识别结果而取得。
此外,在交换一般的转帐文件中,要被输入的客户的全名或者接受者的全名条款是没有任意组合的,但是具有与文件相关的关系(参见图35和36)。
于是,通过学习和记录,当客户或者接受者的全名要作为特征数据识别条款、在链接关系中它们的关系被学习和记录时,在特征数据对比检验时能够进行高精度的识别。
(a6)标题分析处理的说明
在根据本发明该数据媒体处理装置30中,是自动地进行标题分析处理的,其中从分析对象文件图象的划线条款结构和对应于文件上所输入的标题的条款信息搜寻并对比检验标题位置。
这里,根据本实施例的数据媒体处理装置30包括:布局分析处理步骤A2(或者A9)逻辑表示读取的图象布局,以及布局对比检验处理步骤A3(或者A10)对比检验在布局DB14中是否存在与读取的图象的布局相符的布局。该
布局分析处理步骤A2(或者A9)抽取读取的图象布局的划线条款,分析布局的结构,从抽取的划线条款判定图象中的标题区域,识别标题区域中的标题条款信息以判定对应的条款数据并逻辑表示该布局,而这些是由布局分析处理部分2的布局分析部分2B实现的。
该布局分析处理步骤A2(或者A9)包括:基于布局结构分析的结果判定标题位置备选项的标题位置备选判定步骤,以及标题条款对比检验步骤,在该步骤对标题区域中的标题条款信息与在标题位置备选判定步骤所判定的标题位置备选项进行对比检验。
要注意,标题条款对比检验步骤中的标题条款的对比检验处理,是在标题条款对比检验步骤中,对要被对比检验的图象数据按上述参照图49那种方式进行正规化处理之后实现的。
另一方面,布局对比检验处理步骤A3(或者A10)应用在布局分析处理步骤所抽取的布局的划线条款作为检索限制项而检索布局DB14中存储的备选布局,要被对比检验是否有相符的备选布局,而这是由布局对比检验处理部分3实现的。
这里,在图37中示出标注出根据本实施例的数据媒体处理装置30布局分析处理部分2的布局分析部分2B的标题分析处理的示意图。
如在图37中所见,布局分析部分2B进行作为标题位置备选判定步骤K9的处理,这包括划线条款结构分析处理(步骤K1)以及条款标题位置搜寻处理(步骤K2),并然后进行作为标题条款对比检验步骤K10的处理,这包括条款标题对比检验处理(K3),超复数特征数据抽取对比检验处理(步骤K4),标题对比检验结果校正处理(步骤K5),条款数据位置搜寻处理(步骤K6),条款数据部分链接处理(步骤K7)及款额条款链接处理(步骤K8)。
分析字典13存储标题搜寻规则505,条款标题字典507,标题校正规则508以及数据搜寻规则509。
在划线条款结构分析处理(步骤K1)中,参照通过布局分析所获得的划线条款信息502和表格结构信息(未示出)而产生一划线条款结构信息表(划线条款结构信息TBL)503作为以标题位置搜寻规则待评价的规则关键信息,这将在以下说明。
作为由布局分析部分2B的表格结构分析部分2E表格结构分析的一个结果,示于图38的这种结构信息被添加到各个划线条款中。
以下将参照图38说明划线条款信息502。划线条款ID是用于各个划线条款标识的ID信息,并在划线条款抽取时进行唯一的编号。组ID是当划线条款被分组时加到相同组的标识ID。块ID是用于各个单元之间标识的ID,同一组被划分为单元而具有相同划线条款结构。
表格结构表示由一个组ID标识的划线条款是否具有一表格结构,并为了防止表格结构的存在与不存在之间的鉴别被固定,表格结构的存在与不存在之间的鉴别以条款行数/条款列数进行。要注意,条款行数表示划线条款表格的行结构以一组的表格矩形出现,而条款列数表示划线条款表格的列结构以一组的表格矩形出现。
进而,划线条款属性是各个划线条款作为布局的成分的属性信息,并且属性与文件布局的对应关系示于图39中。
如在图39中所见,可得到以下条款作为不同于表格结构的划线条款的划线条款。
(a)1划线条款[1]
(b)2划线条款[2]
(c)块划线条款[B]
(d)嵌套划线条款[I]
同时,如在图39中所见,可获得以下条款作为表格结构划线条款。
(e)属于标题行的划线条款[H]
(f)属于脚注行的划线条款[F]
(g)属于本体行的划线条款[D]
(h)属于向上凸起的划线条款[U]
(i)属于向下凸起的划线条款[L]
要注意,由于图39所示的文件布局不包含脚注行,而且(f)属于脚注线的划线条款不出现。
同时,(a)到(i)的[]中出现的1,2,B,I,H,F,D,U和L为各个划线属性的代码。
顺便来说,行信息指示在划线条款表格中的划线条款行数,而列信息指示在划线条款表格中的划线条款列数。
例如如图39(d)中所示,同时,层次信息指示作为划线条款属性的具有嵌套结构的划线条款层次关系。
进而,顶/末指示同一组中划线条款的位置信息。
然后,参照通过布局分析所获得的上述这种划线条款信息502和表格结构信息而产生划线条款结构信息表格(TBL)503[参照图40和41(a)到41(d)]。
另一方面,在条款本体位置搜寻处理(步骤K2)中,在步骤K1中所产生的划线条款结构信息表格503的划线条款以标题位置搜寻规则评价[参见图42,43(a)和43(b)]以便判定标题位置备选项。
标题搜寻规则505设计为就供分析的对象文件在确认度中以它们较高阶的一个开始,而对象文件为交换一般转帐文件(第一阶表格)的标题搜寻规则505的一个例子给出如下。
首先,以下说明不是用于表格结构的标题位置搜寻规则。
非表格结构的划线条款可能包含向上凸起的划线条款,向下凸起的划线条款及包含属于同一组作为表格结构的脚注的划线条款,和属于非表格结构组的一组而且不形成一个表格的划线条款,并且以下将说明用于这些划线条款的标题位置搜寻规则。
(a)在涉及单个划线条款之处,标题部分出现在划线条款中(*数据部分共同存在)。
(b)在涉及一嵌套的划线条款之处,标题部分出现在该嵌套的左侧划线条款处。
(c)在涉及一嵌套的划线条款之处,标题部分出现在该嵌套的上侧划线条款处。
(d)在涉及两个或者更多划线条款之处,标题部分出现在顶部划线条款处。
(e)在涉及两个或者更多划线条款之处,标题部分出现在顶部划线条款及下一个划线条款处。
进而,以下将说明用于表格结构部分的标题搜寻规则505。
表格结构划线条款出现在包含一个表格矩形或者在同一组2行X2列或更多的划线条款中最大矩形部分,并且标头部分出现在最大矩形部分的顶行,同时本体2部分出现在随后的行部分。
以下将说明用于上述这种划线条款的标题位置搜寻规则。
(f)具有多个涉及部分的标题条款出现在表格结构部分的头行。
(g)在表格结构部分的头行中出现嵌套划线条款之处,在划线条款的上侧出现复标题。
(h)在表格结构部分的头行中出现嵌套划线条款之处,在划线条款的下侧出现子标题。
当布局分析部分2B在步骤K2实现条款标题位置搜寻处理时,例如基于上述这种标题搜寻规则505进行对构成标题对比检验对象的标题位置备选项的判定,并将参照图44的流程图说明这时的处理过程。
首先,从在步骤K1所产生的划线条款结构信息表503抽取划线条款信息(步骤J1)。
然后,基于标题搜寻规则505进行标题位置的评价(步骤J2),并记录评价的结果到划线条款结构信息表503(步骤J3)。
这里,要鉴别标题位置的评价是否已经基于所有的标题搜寻规则505进行过,并且如果保留有某个规则没有用于标题位置的评价,则标题位置的评价基于该规则进行(步骤J4到步骤J2和J3)。
进而,要鉴别标题位置的评价是否已经对于所有的划线条款信息进行过,并且如果保留有某个划线条款信息还没有用于评价,则对该保留的划线条款信息进行评价(步骤J5到步骤J1和J4)。
然后,在标题评价对于所有的划线条款信息已经完成之后,参照操作参数信息501中的评价参照数值判定标题位置备选项(步骤J6)。
例如,对于图39所示的文件,由图45中的网状(网格部分V)表示的划线条款判定为标题位置备选项。
进而,在条款标题对比检验处理中(步骤K3),对于基于标题搜寻规则505所判定的标题位置备选项进行对于超复杂特征数据的抽取对比检验处理以便使用条款标题字典507对比检验出现在划线条款中的条款数据(步骤K4)。然后,基于对比检验的结果判定标题位置备选项的划线条款的位置与对应于该标题的功能条款。
这里,将说明构成对比检验对象的标题条款数据(在标题划线条款中的条款数据)。标题位置备选项的划线条款可能包括多个标题条款数据。
这时,通过以下方法判定构成对比检验对象的标题条款数据。
首先,假设构成对比检验对象的标题条款数据为标题位置备选项的划线条款中最大条款数据,例如如图46(a)中所见。
这里,如果标题是单一功能标题,则由于在对比检验只有一个标题条款数据起作用,假设其余的条款数据为灰尘或某些装饰的原来单元,例如如图46(b)中所见。但是即使在标题为复功能标题之处,也要假设标题条款数据通常为连续出现的,例如如图46(c)中所见。
同时,在如图47(a)中所见垂直书写的标题或由如图47(b)或47(c)中那种多行组成的标题的情形,则假设对比检验对象的标题条款数据出现在包含连续条款数据的区域中。
特别地,假设垂直书写的条款数据是从与顶行的条款数据相同的X坐标相近的位置开始的,垂直书写的条款数据出现在与随后的条款数据结合的顶行条款数据的区域中。
然而,在如图48(a)或48(b)中所示的那种复标题的情形或如图所示48(c)多行标题情形,标题条款数据不能被正确地判定。
于是,在该处理中,只有在上述状态下结合的区域被视为条款数据处理。
顺便来说,在标题条款对比检验步骤K10中的超复杂特征数据抽取对比检验处理(步骤K4)中,对标题条款进行正规化处理。于是,即使在不同文件之间在字体或者印刷字体/印刷间距中存在差别,在对比检验时要被匹配的标题条款数据的所有图象仍能够存储到条款标题字典507中。
为了克服印刷字体中的差别,采取了一个对策以实现标题条款对比检验,这是通过重心划分为四部分(手写字符识别技术)的正规化处理之后由基于超复杂字符的对比检验进行的。
同时,为了克服印刷间距的差别,采取了一个对策以便对要被对比检验的标题条款数据字符之间的空隙正规化,如图49中所见使得它们能具有固定的大小(例如一个点)。
进而,为了克服条款标题的字体的的差别,采取了一个对策,使得表示标题表达方式的多种字体事先在条款标题字典507中。
作为超复杂特征信息在它们正规化处理之后,条款标题字典507事先存储从采样文件取得的标题条款数据的图象。进而,为了吸收标题之间字体的差别,指示相同功能的条款标题被分类并存储在相同的类别中,如图50中所见。
然后,当标题条款数据在步骤K4由字符通过比检验抽取处理进行对比检验时,类别ID、标题图象ID和各个备选标题的差度作为对比检验的结果按备选项的顺序报告,如图51(a)和51(b)中所见。
进而,参照操作参数信息501的标题对比检验参数(Th1和Th2)判定在标题条款位置的标题内容。
特别,满足对比检验结果的第一备选标题差度等于或低于对比检验参数(Th1)的要求,以及满足对比检验结果的第一备选项与具有不同类型ID的另一备选项之间的差度差别等于或高于对比检验参数(Th2)的差度差别要求的这些内容被判定为在标题条款位置处的的标题内容。
例如,在图51所示的例子中,如果在假设Th1=1,000和Th2=2,000之下进行评价,则获得以下的结果,并从而能够看到对比检验结果满足上述的两个要求(差度要求和差度差别要求)。
差度要求:
(350)≤(Th1=1,000)→OK
差度差别要求:
|2,700-350|≥(Th2=2,000)→OK
当在这种方式下进行标题条款数据的对比检验时,可能的结果情形是:(情形1),其中所有对比检验结果为OK标题条款的分析完全成功地进行,而另一种情形(情形2),其中对某些标题条款的分析不成功,并且另一情形是(情形3),其中对几乎所有的标题条款分析都不成功。
这里,在情形1的情形下,对比检验的结果报告它们是作为标题分析的结果,但是在情形3的情形下,判定标题分析结果是不成功的,并且报告文件识别的结果为不符合要求的本意。
另一方面,在情形2的情形下,进行标题对比检验结果的校正处理(步骤K5)。于是,在一特定情形下,能够对还没有进行分析的标题条款进行分析。
对于作为标题条款的对比检验的结果由表格结构部分的标题行所定义的基本标题条款,在以下情形下,根据标题校正规则508(使用标题校正规则508的标题对比检验结果校正处理,步骤K5)进行校正。要注意,只有在对比检验的结果没有定义时标题校正规则508才被采用,但是不能在拒绝对比检验结果的方式下使用。
这里,如在图52(a)所见在具有嵌套结构的复合标题条款之一不定义之处,如果使用标题校正规则508进行校正,则从复合标题条款的功能条款内容能够唯一地判定其余的功能条款(这是由于在复合标题条款的“NAMEOF FINANCIAL ORGAN”情形下,“NAME OF BANK”与“NAME OFBANK OFFICE”必定对应于嵌套的标题条款),能够对尚未成功地被分析的标题条款进行分析。
进而,如在图52(b)所见,例如如果在只有一般转帐文件的标题行中主要条款的标题之一不定义之处,使用标题校正规则508进行校正,则由于从功能名称信息表唯一地判定了要包含在标题行中的功能条款,故能够对尚未成功地被分析的标题条款(被嵌套部分W)进行分析。
此外,如果如图52(c)中所见在只有要被包含的非标题行的基本标题条款之一未定义,并且只有未定义的标题备选位置之一出现之处,使用使用标题校正规则508进行校正,则在标题位置备选项与基本标题条款数目彼此相符之处,能够对尚未成功地被分析的标题条款(被嵌套部分W)进行分析,因为它能够通过任何定义的标题的消除法被判定。
要注意,在图52(a)到52(c)中,尚未成功地被分析的任何标题条款由被嵌套部分W表示,而已经通过标题对比检验校正处理进行了分析的任何其它标题条款由另外的被嵌套部分W′表示。
同时,在条款数据位置搜寻处理(步骤K6)中,搜寻对应于作为标题条款对比检验结果最后定义的标题条款的条款数据的划线条款位置。
首先,类似于对标题条款(标题划线条款)位置的搜寻,通过使用数据搜寻规则509评价划线条款结构信息表503的各个划线条款,进行对应于标题部分的条款数据的划线条款位置的搜寻。
这里,条款数据位置的搜寻与标题条款位置的搜寻之不同在于,在条款数据位置搜寻情形下,由于标题条款已经被定义,故首先评价标题以便选择搜寻规则,并然后把该规则用于各个划线条款,而在标题条款位置搜寻的情形下,因为涉及标题条款的对比检验处理,故首先判定标题位置的备选项,在条款数据位置搜寻的情形下,条款数据位置必须作为搜寻处理的结果判定。
然后,在搜寻条款数据位置中,基于划线条款结构信息表503和数据搜寻规则509,判定对应于已经判定的标题条款的条款数据位置(条款数据的划线条款位置)。
然后将参照图53的流程图说明该操作。首先抽取通过标题分析所判定的标题条款信息(步骤L1),并判定对应于这样抽取的标题条款的数据搜寻规则509(步骤L2)。
此后,从划线条款结构信息表503抽取划线条款信息(步骤L3),并以数据搜寻规则509进行评价(步骤L4)。
然后,由该评价的结果判定条款数据位置,并作为功能名称信息设置所判定的条款数据位置的划线ID(步骤L5)。
进而,鉴别是否对于所有的划线条款信息已经完成评价,并且如果评价已经完成,则继而进行对于下一个划线条款信息的评价(步骤L6和L3到L5)。
进而,鉴别是否对应于所有的标题条款信息的条款数据位置都已经被判定,如果还遗留有其条款数据位置没有被判定的标题条款,则对下一个标题条款信息进行处理(步骤L7和L2到L6)。
这里,除非涉及表格结构,则标题部分划线条款与涉及部分划线条款之间的连接规则按以下方式定义。
(a)数据部分的划线条款为跟随标题部分的划线条款[参见图54(a)和54(b)]。
(b)在没有跟随标题部分的划线条款之处,数据部分出现在该标题部分的同一划线条款中[参见图54(c)]。
(c)在多个划线条款跟随标题部分之处,数据部分出现在直到另一个无关的标题出现的位置的划线条款中[参见图54(d)和54(e)]。
(d)在标题部分以嵌套的划线条款成对出现之处,数据部分出现在子划线条款中[参见图54(f)和54(g)]。
(e)在出现两个划线条款之处,有可能标题部分与数据部分会出现在同一划线条款中[参见图54(h)]。
同时,在涉及表格结构之处,标题部分划线条款与涉及部分划线条款之间的连接规则按以下方式定义。
(f)在表格为垂直的一维表格之处,数据部分跟随标题划线条款的列方向的划线条款[参见图55(a)]。
(g)在表格为垂直的一维表格并且标题包含两列之处,数据部分跟随标题划线条款的列方向的划线条款[参见图55(b)]。
(h)在表格为垂直的一维表格并且标题包含嵌套条款之处,数据部分跟随成对的标题划线条款方向的划线条款[参见图55(c)]。
(i)在表格为垂直的一维表格并且标题为复合标题之处,数据部分跟随复合标题划线条款列方向的划线条款[参见图55(d)]。
(j)在表格为水平一维表格之处,数据部分跟随标题划线条款的行方向的划线条款[参见图55(e)]。
(k)在表格为二维表格之处,数据部分跟随标题划线条款的列/行方向的划线条款[参见图55(f)]。
这里,对应于标题条款的条款数据位置的判定例子示于图56中。要注意,在图56中,每一标题条款的判定位置是由网格部分X指示的,同时条款数据位置由X′表示,标题条款判定位置与条款数据位置之间的链接关系由箭头标号表示。
进而,在条款数据部分链接处理(步骤K7)中,参照对应于标题划线条款的数据部分划线条款的位置而判定数据部分划线条款中条款数据的位置并设置它们之间的链接关系。
从标题部分到对应的条款数据部分的链接关系示于图57和58。
这里,在多于一个条款数据出现在划线条款中或者其中出现条款数据部分的矩形区域中之处,则根据操作参数信息501判定要与功能条款链接的条款数据。
在要从单一功能条款被链接之处,从指定的行和列位置根据操作参数信息501链接指定行数和指定列数条款数据[参见59(a)]。
这里,在要从单一功能条款被链接之处,条款数据链接的操作参数信息501包括以下信息。
(a)链接由一指定行开始的指定数目的行(*缺省:指定行=第一行,指定行数=一行)。然而,在条款数据行数目小于指定行数目之处,链接区域中所有的条款数据行。
(b)链接由一指定列开始的指定数目的列(*缺省:指定列=第一列,指定列数=所有的列数)。然而,在条款数据列数目小于指定列数目之处,链接区域中所有的条款数据列。
另一方面,在要从复合功能条款链接之处,根据操作参数信息501按功能条款的定义顺序链接来自指定行和指定列的指定行数和指定列数的条款数据[参见59图(b)]。
这里,在要从复合功能条款链接之处,条款数据链接的操作参数信息501包括以下信息。
(c)在N≥K并且M<K之处,条款数据行按功能条款链接顺序分配。
(d)在N<K并且M≥K之处,条款数据列按功能条款链接顺序分配。
(e)在N≥K并且M≥K之处,条款数据行按功能条款链接顺序分配。
(f)在N≥K并且M≥K之处,条款数据列按功能条款链接顺序分配。
(g)在N<K并且M<K之处,分配不可能,故条款数据不链接。
要注意,在以上说明中,N是条款行数,M是条款列数,而K是功能条款数。
然后,在款额链接处理(步骤K8)中,在被分析的标题条款的功能条款是一款额,一项服务费等之处,校验对应的条款数据属于其中的划线条款,并且如果该结构为列定界的划线条款,则各个单一列划线条款彼此连接而形成单一条款数据信息,并且条款数据链接到功能条款。
这里,在对应于标题部分的条款数据部分划分为三个或者更多的(根据操作参数指定数值)划线条款,且各个划线条款的尺寸低于操作参数设定值,此外判定了标题功能为一款额之处,则鉴别出划线条款为列定界划线条款[参见图60(a)和60(b)]。
然后,如果鉴别出条款数据部分的划线条款是由一列定界划线条款形成的,则各个划线条款链接之间的关系从顶列的划线条款开始相继设置,并作为相继的划线条款处理划线条款以连接这些划线条款[参见图60(c)]。
进而在条款数据部分的划线条款是由对列定界划线条款形成之处,由于各个划线条款中的条款数据也是被划分的状态,故对各个划条款数据组合处理以设置它们为单一条款数据,彼此连接这些条款数据[参见图60(d)]。
要注意,虽然以上说明了划线条款为一列定界划线条款的情形,三列对讲机划线条款也可以类似的方式处理。
又对于三列定界款额部分,划线条款与条款数据的连接按与单列定界款额部分的情形类似的方式进行。然而,由于三列定界款额部分具有较小的列宽度和较小的划线条款数,故设置了与单列定界款额部分不同的要求[参见图60(e)和60(f)]。
当具有上述结构的根据本发明的该实施例的数据媒体处理装置30进行标题分析处理时,在布局分析处理步骤A2(或A9)中,抽取所读取的图象的布局特征以便分析布局的结构,并校验所抽取的特征判定图象中的标题区域。然后,识别标题标题区域中的标题条款信息并判定对应的条款数据,并逻辑上表示该布局。
然后,在布局对比检验处理步骤A3(或A10)中,应用在布局分析处理步骤A2(或A9)所抽取的布局特征作为限制检索项,检索存储在布局DB14中的备选布局,以便对比检验是否存在相符的备选布局。
这样,应用根据本发明该实施例的数据媒体处理装置30,由于在供分析的对象文件上所描述的标题条款和对应于该标题条款的条款数据能够通过进行了标题分析处理之后的布局识别处理进行标识,其中在标题分析处理中,从文件的图象划线条款结构搜寻和对比检验标题位置并自动分析对应于文件上所描述的标题的条款信息,故在没有进行标题条款的字符识别处理之下能够立即进行条款数据的字符识别。
(a7)对识别结果的确认和修改处理的说明
(1)图象数据显示装置的说明
图61是表示本发明该实施例的图象数据显示装置640的结构的示意图。图象数据显示装置640通过作为图象数据显示其上描述了一个人(这个人由其姓名确定)要汇款,帐号(帐目No.),汇款额度等等的文件进行汇款请求处理,并通过操作者操作键盘等输入诸如帐号,姓名,及汇款额度等汇款数据,,或者通过操作者的目视观察进行确认由其它什么装置等所进行的图象数据(汇款数据)的字符识别结果是正确或错误并必要时对字符识别结果进行修改而进行汇款请求处理。图象数据显示装置640对应于图6所示的数据媒体处理装置的客户机10。
特别,图象数据显示装置640是这样构造的:虽然操作者能够目视观察显示在一显示单元上的图象数据并进行输入操作,但是例如当文件由诸如OCR装置这样的图象数据处理装置读取时,字符识别字符识别能够自动地进行,并且操作者能够进行仅涉及被错误识别的或尚未成功地识别的字符输入操作。
图61所示的图象数据显示装置640包括作为图象数据输入装置的一个图象扫描器621A和一个光学字符阅读装置(OCR装置)621B,一个作为数据输入装置的键盘631,一个作为显示控制装置的计算机主机629,一个显示单元630和一个硬盘622。
要注意,图象数据显示装置640是连接到图6所示的服务器39上的,其功能是作为工作站从图象扫描器621A向服务器39输出图象数据(汇款数据),检索由服务器39所识别的图象数据字符的字符识别结果,并在显示单元630上显示检索出的字符识别结果,并向服务器39输出由操作者确认和修改过的汇款数据。
图象扫描器621A阅读标号多个条款的银行的汇款请求票据等的文件,并向图象数据显示装置640输入图象数据。
OCR装置621B类似于图象扫描器6221A,阅读图象数据并进行所读取的图象数据的字符识别。
在本实施例中,对于图象数据显示装置640装设了图象扫描器621A和OCR装置621B这两者,以便能够处理各种格式的图象数据。
要注意,在图象数据由OCR装置621B阅读之处,图象数据的字符识别结果是显示在图象数据显示装置640的显示单元630上的。
显示单元630具有一个图象数据显示区域611和一个条款数据显示区域614,并如图70中所见那样显示输入的文件图象数据。
这里,图象数据显示区域611是这样一个区域部分,在其中要显示从图象扫描器621A或OCR装置621B输入的文件图象数据。
图象数据显示区域611显示包括多个条款信息的图象数据,并在图70中显示包括“帐号(帐户No.)”,“姓名”,“代理银行(交易)”和“款额”四个条款612的信息的图象数据。
设置条款数据显示区域614是为了使用键盘631输入对应于图象数据显示区域611所希望的一个条款612的图象数据部分的汇款数据。
条款数据显示区域614具有多个数据输入显示区域部分615。在图70中,图象数据显示区域614具有四个数据输入显示区域部分615即“条款1到条款4”,其中“条款1”对应于“帐号”;“条款2”对应于“姓名”;“条款3”对应于“交易”;和“条款4”对应于“款额”。
所希望的数据输入显示区部分615之一由光标指示器616表示,并能够输入显示在所希望的对应于它的条款612之一的图象数据部分的汇款数据。要注意,数据的输入能够使用作为数据输入装置的键盘631进行。
进而,图61中所示的图象数据显示装置640包括上述的硬盘622。硬盘622作为用于存储作为定义信息的图象数据分区信息定义存储部分。要注意,图象数据分区信息表示用于把从图象扫描器621A或者OCR装置621B输入的文件图象数据划分为多个条款612的图象数据部分的信息。
示于图61的计算机主机629功能是作为显示控制装置(以下计算机主机629能够称为显示控制装置629),并在图象数据显示区域611中显示通过从图象扫描器621A或者OCR装置621B输入的图象数据所获得的图象数据。进而计算机主机629还指示,当对应于所希望的条款612之一的图象数据部分的数据从键盘613被输入时,光标指示器616在用于条款数据显示区域614中所希望的条款612的数据输入显示区域615。
计算机主机629使用存储在硬盘622的图象数据分区信息,识别从图象扫描器621A或者OCR装置612B输入的文件的图象数据的划线,转换该划线为包含多个条款612图象数据部分的表格,并在图象数据显示区域611中显示通过转换所获得的图象数据。
进而,图61和62所示计算机主机629并作为显示控制装置包括一个强调信息产生处理部分623,一个作为图象数据局部强调显示装置的强调显示部分624,一个作为图象数据强调显示删除装置的强调显示删除部分625,一个作为强调显示转移控制装置的强调显示转移控制部分626和作为显示屏幕滚动装置的屏幕滚动部分627。
强调信息产生处理部分623参照从作为图象数据输入装置所输入的图象数据,或存储在硬盘622上的图象数据划分信息(定义信息),以产生相关信息P和强调信息Q。
如图68中所见,相关信息P是用于使得“条款1到条款4”在与“帐号”,“姓名”,“交易”和“款额”的对应关系中分别相关的信息。
强调信息Q是用于在图象数据显示区域611中进行强调显示的信息,并具有包含对应于指示条款612的科目“科目1到科目4”的强调显示类型的强调显示属性信息,以及一个强调显示区域。要注意,“科目1到科目4”分别对应于“帐号”,“姓名”,“交易”和“款额”。
进而,强调显示类型包括一个网格,一个装饰划线等等,并在本实施例中,作为强调显示,向对应于“科目1”和“科目3”的条款612显示设置一个宽框显示方式,并向对应于“科目2”和“科目4”的条款显示设置一个网格显示方式,使得“科目1到科目4”顺序地被强调显示,能够设置不同的强调显示以达到较高的可视性。
同时,强调显示区域使用包含X坐标和Y坐标的坐标(以点为单位)指示任何条款612的强调显示部分613的开始和结束,并且对于每一条款612可任意设置强调显示部分613的尺寸。
相关信息P和强调信息Q在图64所示的流程图的步骤A1′和A2′中产生。
如果在计算机主机629的控制之下,在其中包含多个条款的信息的图象数据显示在图象数据显示区域611中的状态下,在条款数据显示区域614中对于条款612数据输入显示区域部分615之内对于所希望的条款612之一的数据输入显示区域部分615之一之处,光标指示器616被指示,则强调显示部分624仅强调显示对应于如由标号613所指的数据输入显示区域部分615的所希望的条款612之一的图象数据部分。
特别地,当在用于所希望的条款612之一的数据输入显示区域部分615中指示光标指示器616时,当通过目视观察要进行图象数据与输入条款之间的匹配以允许进行平滑的输入操作时,则强调显示部分624仅强调显示对应于对带有提高可视性的网格、装饰划线等条款612的数据输入显示区域部分615的图象数据部分。
进而,强调显示删除部分625删除由强调显示部分624所强调的所希望的条款612之一的图象数据部分的强调显示部分613,以便转换条款612的显示为该强调显示之前的状态。特别地,如果光标指示器616通过光标移动操作移动到不同于对于所希望的条款612之一的数据输入显示区域部分615的对于另一个条款612之一的数据输入显示区域部分616,则强调显示删除部分625删除对应于该条款的图象数据部分的强调显示部分613。
强调显示转移控制部分626的作用在于与强调显示删除部分625的联锁关系,并进行控制,使得在强调显示删除部分625删除对应的一定的条款612之一的图象数据部分的强调显示部分613之后,移动光标指示器616到对于另一个条款612的数据输入显示区域部分615,并只有对应于对于由光标指示器616所指示的条款612的数据输入显示区域部分615的条款612的图象数据部分由强调显示部分624强调显示。
进而,屏幕滚动部分627从图象数据的部分显示在显示单元630的状态,显示在显示单元630上没有显示的那些图象数据。
强调显示部分624具有作为变化装置的变化部分628。变化部分628响应来自外部的指令,例如使用键盘,而改变强调显示类型或区域,并包含变化信息获取部分628A和强调信息变化部分628B。
变化信息获取部分628A获取以下将要说明的变化信息R。强调信息变化部分628B使用变化信息R更新将在以下说明的强调信息Q以便产生强调信息Q′。
实际上,能够向计算机主机629提供如同强调显示部分624,强调显示删除部分625,强调显示转移控制部分626及屏幕滚动部分627的功能的适当的软件安装到硬盘622或某种其它的存储器,以构成图象数据显示装置640。
根据本实施例具有上述结构的图象数据显示装置640以如下方式操作。
图67中示出当文件的图象数据从图62所示的图象数据划分装置621(图象扫描器621A或者OCR装置621B)输入并显示在显示单元(图62中未示出)时的一个初始屏幕。
这时,如图67中所见,包含多个条款信息的图象数据,即包含“帐号”,“姓名”,“交易”和“款额”四个条款信息的图象数据,显示在显示单元630的图象数据显示区域611中。
另一方面,当输入的汇款数据要被输入时,光标指示器616移动到所希望的一个数据输入显示区域部分615以输入对应于所希望的条款612之一的图象数据部分的汇款数据。这时,如在图70中所见,所希望的条款612的图象数据部分通过强调显示部分624以强调显示部分613被强调显示,并从图71到76可见,在光标指示器616移动时强调显示部分613也在图象数据显示区域611中移动。
要注意,虽然图象数据的字符识别结果没有在图67和70到76中所示的数据输入显示区域部分615中显示,它自然能够另外显示。
这里,在图70中,示出当“帐号(0001)”的条款612被强调显示时的显示单元。
如果在图70所见的那种状态下操作者借助于键盘631输入“0001”,然后人工操作键盘631在条款数据显示区域614中移动光标指示器616从“条款1”到“条款2”,然后强调显示部分613响应由强调显示转移控制部分626的操作在如图71中所见的图象数据显示区域611从“帐号(0001)”移动到“姓名(Taro Fuji)”。这种状态下,操作者将使用键盘631输入“Taro Fuji”。
类似地如果操作者借助于键盘631输入“Taro Fuji”并人工操作键盘631移动光标指示器616从“条款2”到“条款3”,则强调显示部分613如图72所见通过强调显示转移控制部分626从“姓名(Taro Fuji)”移动到“交易(010)”。然后,如果操作者进而输入“010”并移动光标指示器616从“条款3”到“条款4”,则强调显示部分613通过强调显示转移控制部分626如图73中所见从“交易(010)”移动到“款额(¥12,000)”。而且这时,操作者自然将使用键盘输入“010”和“ ¥12,000”。
例如,如果在这样输入作为对应于“条款4”的汇款数据的款额数据“¥12,000”之后按动了键盘631的回车键,则对应于“条款1到条款4”的汇款数据(帐号、姓名、交易和款额数据)示出到图6中所示的服务器39。
然后,响应回车键的按动,光标指示器616再次从“条款4”移动到“条款1”,并且通过强调显示转移控制部分626如图74中所见在第二行强调显示部分613从“款额(¥12,000)”移动到“帐号(0010)”。此后,每次重复上述的操作,图象数据显示区域611中的条款612可被一次又一次地强调显示。
换言之,对应于出现光标指示器616的数据输入显示区域部分615的条款612之一被强调显示,并在光标指示器616移动时,强调显示部分613在不同的条款612之间也移动。
同时,汇款数据的输入在具有光标指示器616的数据输入显示区域部分615处进行,并如果光标指示数据向其输入的数据输入显示区域部分615之一移动,则同时被参照的条款612的图象数据部分被强调显示。于是,能够防止当数据被参照时匹配中的错误识别要被增加目视的可视性,由此输入操作所需的劳务能够被降低并可防止汇款数据的误输入。
如果假设上述的汇款数据输入处理进而进行到如图75中所见显示单元630的图象数据显示区域611最低行中的“款额(¥1,765)”被强调显示,然后在没有在显示单元630上显示的某些条款612保持在低于“款额(¥1,765)”之处,如果光标指示器616在条款数据显示区域614中从“条款4”移动到“条款1”,则如图76中所示通过强调显示转移控制部分626,在图象数据显示区域611中显示屏幕627和强调显示部分613按对应关系从“款额(¥1,765)”移动到“帐号(2148)”。
换言之,在处于图象数据显示区域611的最低位置的条款612之一被强调显示而在显示单元630上没有被显示的某些条款612保持在低于条款612之处,则能够通过在数据输入显示区域部分615之间移动光标指示器616使得显示屏自动地滚屏。
要注意,虽然在图76中显示屏的滚动一个个条款地进行并且条款“帐号(2148)”被显示,但是显示滚动的方式不限于此,并且通过移动“帐号(2148)”到最上行使得低于它们的一屏的其它条款能够被显示,对于一屏(七个条款)的所有的条款能够被交替地滚动。
这里,如图70到76中所示这种强调显示的移动控制是由强调显示部分624、强调显示删除部分625、强调显示转移控制部分626以及屏幕滚动部分627进行的,并在以下参照图65更详细地说明这时的操作流。
例如,如果如图70到71中所见在条款数据显示区域614中光标指示器616从“条款1”移动到“条款2”,即如果构成图象数据显示区域611中的输入对象的条款612之一变为不同于已经是上一个输入对象的条款612之一,则鉴别在上一次输入时强调显示的属性(强调显示类型或者强调显示区域)是否已经发生变化(步骤B1′)。
然后,如果强调显示的属性已经发生变化,则强调显示删除625使得在先前的显示中条款612的图象数据显示部分的强调显示属性返回到普通显示属性(变化之前的属性)以删除强调显示(步骤B2′),并为下一个条款612取得相关信息(步骤B3′)。
此后,强调显示部分624参照相关信息P鉴别关于构成输入对象的该条款612的相关信息P是否出现(步骤B4′),如果关于构成输入对象的该条款612的相关信息P出现,则取得显示部分624取得强调信息Q,并且变化信息获取部分628A参照该强调信息Q而取得取得显示属性中的变化信息(步骤B5′)。
进而,鉴别对应于构成输入对象的条款612的图象数据部分是否在显示单元630上显示以鉴别是否需要自动滚屏(步骤B6′)。如果不需要自动滚屏,则强调信息改变部分628B以步骤B5′中所要求的变化信息改变图象数据部分的强调显示属性,并且如图70和71中所见,强调显示部分613从“帐号(0001)”移动到“姓名(Taro Fuji)”。
另一方面,如果在步骤B6′中鉴别出需要自动滚屏,则如图75和76中所见滚屏部分627响应强调显示部分613的移动进行自动滚屏处理(步骤B7′),并且强调信息改变部分628B以步骤B5′中所要求的变化信息改变图象数据部分的强调显示属性(步骤B8′)。
这样,强调显示的移动控制是这样进行的,即鉴别强调显示属性中的变化是否已经发生,并如果强调显示属性中的变化已经发生,则任何条款612的上一个强调显示被删除,并鉴别关于构成输入对象的条款612之一的相关信息P是否出现,并如果关于构成输入对象的条款612之一的相关信息P出现,则需要强调显示属性中的变化信息。
进而,鉴别是否需要自动滚屏,并如果不需要自动滚屏,则改变强调显示属性,但是如果需要自动滚屏,则进行自动滚屏处理并然后改变强调显示属性。
顺便来说,通过改变强调信息Q能够任意改变强调显示部分613的显示类型和显示区域。
这将通过例子的方式说明,其中例如在77中所示显示单元30上,作为图象数据显示区域611的最低阶处的条款612的“款额(¥4,321)”被强调显示。
这时,从图69和79的强调信息Q可见,“款额(¥4,321)”的条款612的强调显示部分613能够通过定义开始位置坐标(320,180)以及结束位置坐标(420,200)而唯一地判定。要注意,开始位置坐标(320,180)是在对应于“科目4(款额)”的“No.7开始”处所指示的坐标,而结束位置坐标(420,200)是在对应于“科目4(款额)”的“No.7结束”处所指示的坐标。
然后,如图78中所见,如果强调显示部分613的开始位置坐标(320,180)变为(360,180),则图77中所示的条款612的“款额(¥4,321)”的强调显示部分613的区域变为图78中所见的狭窄的区域。
通过改变强调信息Q的开始位置的坐标或者结束位置的坐标,能够任意设置强调显示部分613的区域的大小。
强调显示信息Q的这种改变能够这样进行,即通过使用作为数据输入装置的键盘或某些其它装置,向图象数据显示装置640输入改变强调显示属性的指令而改变图62和63中所示的部分628。
特别地,在改变部分628中,如果变化信息获取部分628A要求变化信息R,则强调信息改变部分628B更新强调信息Q以产生强调信息Q′,并在以下将参照图66说明这时的操作流程。
如果变化信息R输入,则变化信息获取部分628A首先进行强调信息改变开始识别处理(步骤C1′)及强调信息改变结束识别处理(步骤C2′),并然后进行改变信息获取处理(步骤C3′)以识别强调信息Q以什么方式已经被改变。
然后,例如如图79中所见,根据识别的结果,强调信息改变部分628B进行强调信息更新处理(步骤C4′)及强调信息改变处理(步骤C5′),以便更新强调信息而产生强调信息Q′。
由于强调显示部分613的显示类型和显示区域能够这样任意改变,故强调显示能够根据应用自由地进行。
要注意,虽然图象数据字符识别的结果没有显示在图77或78所示的数据输入显示区域部分615中,但数据自然能够被交替显示。
于是,由根据本实施例的图象数据显示装置640,如果改变指示移动到数据要被输入的数据输入显示区域部分615,则同时被参照的条款612的图象数据部分被强调显示。于是,即使操作者目光一时离开了显示单元630并然后又观看显示单元630,也能够防止操作者看错了条款612。于是,该图象数据显示装置640的优点在于,当图象数据被参照时防止了匹配中的误识别并改进了可视性,并此外降低了用于输入操作的劳务,防止了误输入。
进而,当要被参照条款612的图象数据没有显示在显示单元630上时,由于能够响应强调显示部分613的移动而自动滚屏,故图象数据显示装置640的优点还在于,例如可以减少诸如按键这种无益的操作。
进而,图象数据显示装置640的优点在于,强调显示部分613的类型或区域可以由操作者改变并可根据用途而使用。
要注意,虽然本实施例中当显示在显示单元上的文件的图象数据进行强调显示时,预定的条款612如图70中所见被整个地强调显示,但是强调显示方式不限于此,并且例如预定条款612的部分能够如图80所见以另外方式强调显示。
这里,在图80所示的显示单元630的图象数据显示区域611中,显示了包含五个条款“帐号”、“科目”“银行名字/分理处名字”、“接受者”及“款额”的信息的图象数据。
当要输入汇款数据时,光标指示器616被移动到所希望的一个数据输入显示部分615,并且对应的汇款数据输入到所希望的一个条款612的图象数据部分。这时,如图80中所见,所希望的条款612的图象数据部分以强调显示部分613被强调显示(在“银行名字/分理处名字(Fujitsu银行)”的位置),并在光标指示器616移动时,如图81和82中所见强调显示部分613也在图象数据显示区域611中移动。
要注意,虽然在图82中强调显示的是条款612的字符“接受者(IchiroYamada)”,但是如图83中所见,另外也可以对整个条款612强调显示。
进而,例如如图84中所见,文件的图象数据能够另外对各个信息在显示单元630上显示。
这里,在图84所示的显示单元630的图象数据显示区域611中,显示了包含七个条款“银行名字”、“分理处名字”、“帐号”、“科目”、“款额”、“接受者”及“客户”的信息的图象数据。
类似地,当要显示汇款数据时,光标指示器616移动到所希望的数据输入显示区域部分616,并且对应的汇款数据输入到所希望的条款612′的图象数据部分。这时,如图84中所见所希望的条款612′的图象数据部分以强调显示部分613(“科目(1)”的位置)被强调显示,并在光标指示器616移动时,如图85中所见,强调显示部分613也在图象数据显示区域611中移动。
而且在文件的图象数据这样显示之处,能够达到本实施例的类似的那些优点。
要注意,虽然如图80到85所示在数据输入显示区域部分615中没有显示出图象数据字符识别的结果,但是这里自然能够按其它方式显示。
进而,虽然在本实施例中,由图象数据输入装置阅读银行中所使用的文件并且作为图象数据在一个显示单元之类的屏幕上显示,但是数据媒体不限于此,而是某些其它类型的数据(例如一个名单)也可由图象数据输入装置阅读并作为图象数据在一个显示单元之类的屏幕上显示。而且这时,也可达到类似于本实施例的优点。
此外,虽然本实施例中操作者目视地观察读取的图象数据并进行输入操作,例如当文件由图象数据输入装置阅读文件时,字符识别能够以另外方式自动地进行,同时操作者仅对于包含被误识别的或者不能成功识别的字符的条款进行输入操作。
在采用上述结构之处,能够达到本实施例那些类似的优点,并且此外能够显著减少输入操作所需的劳务和时间。
(2)读取的符号显示-识别信息修改装置的说明
在上节(1)中详细说明的图象数据显示装置640中,由于图象数据的编辑和显示是以包含多个字符的条款单元进行的,当要对自动字符识别的结果是正确还是错误进行确认时,通过目视观察从相继出现在图象数据中的不同字符中进行对应于被识别的确认对象的字符的字符选择。因而,由于眼睛的移动和涉及许多比较对象,对于正确与错误之间的确认操作可能需要许多劳务和时间。
因而,这种情形下,付款请求处理能够使用如图86所示的那种读取符号显示-识别信息修改装置进行。
例如,读取符号显示-识别信息修改装置740取得其上作为图象写有诸如款项类别和要支付的款额的付款数据的文件,并通过自动字符识别转换付款数据的图象为代码信息以进行付款请求处理。然而,是由操作者使用键盘之类对在转换时不能识别或者误识别的字符(字符包括数字。这类似地适用于以下的说明)进行修改。
这里,读取符号显示-识别信息修改装置740对应于图6中所示的数据媒体处理装置30的客户机10,并且在它连接到图6所示的服务器39之处,它的作用是作为一个工作站进行对不能识别的字符或者误识别的字符的修改处理,这类似于对于由连接到服务器39的集中化的字符识别处理部分6进行的图象字符识别的结果,并向服务器39输出修改的结果。
为此目的,如图86所示,读取符号显示-识别信息修改装置740包括:一个作为图象移动部分的图象阅读器721,一个作为数据输入装置的键盘722,一个硬盘723,一个作为符号识别装置的计算机主机724和一个显示单元725。
图象阅读器721阅读全区域的图象P,该图象是具有诸如其上写出例如图98所示的付款数据的文件上的数字或者字符的符号信息的图象,并向计算机主机724输入作为数字、字符之类的图象信息的符号图象信息的全区域的图象P。
要注意,虽然该符号图象信息是由最小组成单元的的数字或者字符单元组成,但是它不限于此,并且能够使用数字和/或字符集合作为组成单元。进而,多个这种全区域图象P能够被聚集保持。
键盘722由操作者人工操作输入作为正确答案数据的适当的代码数据,该数据对应于没有被成功地自动识别或者被误识别的符号图象信息。
进而,显示单元725显示从图象阅读器由721在阅读图象状态所输入的符号图象信息,并包括一个不能识别的符号图象信息显示区域732A,一个符号图象信息显示区域733A,一个相关符号图象信息显示区域733B,及一个正确答案数据显示区域733C。
不能识别的符号图象信息显示区域732A与其周围的符号图象信息一同显示没有成功被自动识别的符号图象信息,并对于这种不能识别的符号图象信息采用取得显示,使得它能够从周围的符号图象信息被标识出。例如,在图101的屏幕A中,“1.′?′(拒绝字符)”所示的“2034”中的“3”是不能识别的符号图象信息,而“2”、“0”和“4”对应于周围的符号图象信息。
符号图象信息显示区域733A在一个要转换为代码信息的图象中显示最小组成单元的符号图象信息,这是按照由符号图象信息的转换所获得的代码信息表示的符号信息的对应关系显示的。
特别地,例如对于数字,从图101的屏幕A可见,作为通过划分一个图象所获得的最小组成单元的符号图象信息,提供了对应于“0”到“9”的区域,并且相同的符号显示在相同的区域,其方式是表示“1”的符号图象信息都显示在对应于“1”的区域中,以便能够减少眼睛的移动。
相关符号图象信息显示区域733B是这样构造的,例如当通过参照字符行的前后字符能够易于对自动字符识别的结果的正确和错误之间进行确认和修改时,围绕按强调显示的符号信息的图象信息响应例如键盘722的参照键的按动而被显示以供参照。例如,在图103的屏幕F中,“ 1175”的“7”为按强调显示的符号图象信息,而“1”、“1”和“5”是围绕它的图象信息。
正确答案数据显示区域733C显示从键盘722作为正确答案输入的适当的代码数据。例如,在图103的屏幕中,表示出“7”是被输入的。
进而,图86所示的读取符号显示-识别信息修改装置740包括上述的硬盘723。硬盘723作用是作为定义信息存储部分用于存储读取的指定信息作为定义信息。要注意,读取的指定信息表示有关全区域图象P的划分以及作为代码数据的识别的信息。
图86所示的计算机主机724功能是作为符号识别装置(计算机主机724以下可称为符号识别装置724),并识别从图象阅读器721输入的图象符号的图象信息,转换该符号的图象信息为代码数据,进行符号图象的预定处理并在显示单元725上显示该图象。
图86和87所示作为符号识别装置的计算机主机724包括一个作为符号识别部分的字符识别部分726,一个读取符号图象显示控制部分727,一个作为正确答案数据显示装置的正确答案数据显示部分728,一个作为最小组合单元符号图象信息抽取部分的字符图象抽取处理部分729,一个作为最小组合单元符号图象显示看错部分的字符图象显示处理部分730,一个作为相关符号图象显示装置的相关符号图象显示部分731,一个作为识别信息修改装置的识别信息修改部分752,以及一个相关信息产生部分741。
字符识别部分726识别由图象阅读器721所读取的图象中的符号图象信息,并转换它为对应的代码信息。字符识别部分726具有类似于例如字符识别装置之类的功能。
字符识别部分726参照由图象阅读装置721所读取的全区域图象P或存储在硬盘723上的读指定信息(定义信息)以产生识别字符信息S。
识别字符信息S表示由字符识别部分726识别的字符的代码数据并如图99中所见由“条款名称”、“条款列数”和“识别结果”表示。
“条款名称”对应于图98的全区域图象P中的“水价格”及“电费帐单”并具有条款“SUI-1到SUI-4”及“DEN-1到DEN-4”。
“条款列数”是一个条款的列的数目,并在这时设定为使得可输入六个字符和/或数字。“识别结果”表示识别为字符的代码数据的代码信息。要注意,从与另外所示的正确答案数据相比可见,“SUI-1”和“SUI-4”识别的结果分别是该识别为不可能和该识别有错误。
当符号图象信息没有成功地被转换为对应的代码信息时,读符号图象显示控制部分727在显示单元725上与读取的图象状态中的未识别的符号图象信息相关符号图象信息一同显示这一未识别的没有成功转换的符号图象信息。
特别地,读符号图象显示控制部分727在显示单元725上显示即没有被字符识别部分726识别也没有被成功转换为对应的代码信息的符号图象信息,该信息是作为未识别的符号图象信息与位于未识别的符号图象信息周围的相关的符号图象信息一同在未识别的符号图象信息显示区域732A中以读取的图象状态显示的。
进而,读取的符号图象显示控制部分727包括一个强调显示部分727A作为强调显示装置用于强调显示未识别的符号图象信息,以便使得易于由操作者识别出未识别的符号图象信息。
读符号图象显示控制部分727还包括一个强调显示改变部分727B作为强调显示改变装置,用于如果正确答案数据由正确答案数据显示部分728显示在显示单元725上不同于未识别的符号图象信息显示区域732A的正确答案数据显示区域733C中,则改变已经强调显示的未识别的符号图象信息的显示为表示完成修改的另一种强调显示。
字符图象抽取处理部分729抽取图象中最小组合单元的符号图象信息,以转换为用于最小组合单元符号图象信息每一片的代码信息。
特别地,字符图象抽取处理部分729划分并抽取其最小组合单元例如为数字或字符的符号图象信息为以数字或字符为单元的信息并作为这样的信息,并参照存储在硬盘723上的全区域图象P或者读指定信息(定义信息)以产生相关信息R。
字符图象信息和相关信息R通过执行图91所示的流程图的步骤B1″到B8″而产生。
特别地,全区域图象P划分为字符单元以产生字符图象信息(步骤B1″),并取得全区域图象P上的字符图象信息的位置(文件上的位置)信息(步骤B2″)。
然后,鉴别字符图象信息是否指定给预定的条款(水价格,电费帐单等),并如果字符图象信息指定给预定的条款,则字符图象信息对于各个条款被分类(步骤B4″),并设置各个图象信息在各个条款中的位置信息(步骤B5″)。
在字符图象信息没有指定给预定的条款之处,它对于有关作为条款的行的各个条款被分类(步骤B6″),并设置各个条款中的字符图象信息的位置信息(步骤B7″)。
使用这样设置的各个条款中的字符图象信息的位置信息产生相关信息R(步骤B8″)。要注意,相关信息R具有与被识别的字符相关的识别字符信息。
字符图象显示处理部分730具有引起由字符图象抽取处理部分729所抽取的最小组成单元的符号图象信息(例如以数字或者字符为单元的图象信息)按照与通过符号图象信息转换所获得的代码信息所代表的符号信息的对应关系而显示的功能,并具有引起相同类型的多片最小组合单元的符号图象信息按照与与通过符号图象信息转换所获得的代码信息所代表的符号信息的对应关系而显示的功能。
具体来说,例如字符图象显示处理部分730引起通过由字符图象抽取处理部分729所抽取的“1”的图象信息的转换所获得的代码信息,显示在在显示单元725上“0”到“9”等多个符号被显示的符号图象信息显示区域733A的部分内“1”这个符号信息要被显示的部分处。
字符图象显示处理部分730包括一个作为用于仅对于所希望的一个符号图象信息进行强调显示的强调显示装置的强调显示部分730A,使得易于识别当前正在被处理的图象信息。
进而,如果由作为数据输入装置的键盘722的操作而输入正确答案数据,则作为强调显示改变装置的强调显示改变部分730B进行另一个强调显示,该强调显示表示对于已经按强调方式被强调的一个符号的信息的修改的完成,以使得在修改之前该符号图象信息与修改之后该符号图象信息之间易于识别。
在显示单元725上相关的符号图象显示部分731一同显示符号图象的信息与读取的图象状态中的符号图象信息相关的符号信息。
具体来说,在显示单元725上的相关符号图象信息显示区域733B中,相关符号图象显示部分731一同显示一个符号图象的信息与位于读取的图象状态的符号图象信息周围的相关的符号图象信息,并当通过例如参照字符行中先前的和随后的字符而能够对字符自动识别的结果的修改的正确和错误之间易于进行确认时,则显示供参照而被强调显示的图象信息周围的图象信息。
进而,相关符号图象显示部分731包括作为强调显示装置用于对符号图象的信息进行强调显示的一个强调显示部分731A,并使得易于从相关的符号图象信息识别。
如果正确答案数据通过键盘722的操作输入,则正确答案显示部分728引起正确答案数据被显示在显示单元725上的正确答案数据显示区域733C中,该区域是不同于符号图象信息显示区域733A及相关符号图象信息显示区域733B的一个区域。
进而,如果从键盘722输入对于不能识别的符号图象信息或者误识别的符号图象信息的正确答案数据,则识别信息修改部分752寄存正确答案数据作为正确答案代码数据以实现对不能识别的符号图象信息或者误识别的符号图象信息的修改,并如图88中所见包括一个修改信息取得处理部分742和修改结果反映处理部分743。
相关信息产生部分741参照相关信息R和识别字符信息S以产生具有识别字符信息的相关信息R′。
如图100中所见,相关信息R′表示多个字符信息的“全区域图象上的位置和尺寸”,“对应的字符条款名称”,“对应的条款图象名称”,“条款内列位置”,“识别字符”,“字符识别信息中的位移”和“修改完成标志”。
这里,“全区域图象上的位置和尺寸”表示全区域图象P上的字符图象信息的位置信息并以比特单位表示。
“对应的字符条款名称”表示字符图象信息所属的条款(诸如“SUI-1到SUI-4”)。“对应的条款图象名称”表示字符图象信息所属的条款,并对应于“对应的字符条款名称”(诸如“SUI-1到SUI-4”)。
例如,虽然图99所示的条款“SUI-1”对应于识别字符信息“1050”,但它包含图100中所见的字符图象1到4的信息并具有“ISUI-1”的图象名称。
此外,“条款内列位置”表示在一个条款中字符图象信息的位置。“识别字符”表示表示字符信息S,并表示识别位置“1”在条款中第三列位置,“0”在第四列位置,“5”在第五列位置,并且“0”第六列位置。
进而,虽然在图100中“修改完成标志”都是“OFF”,当对不能识别的字符或误识别的字符进行修改时,对应于字符图象的信息的“修改完成标志”则变为“ON”使得表示出对其修改已经进行。
要注意,字符图象信息也由“字符识别信息中的位移”信息定义。
相关信息R′由诸如图92中所示的处理产生。
首先,对于由条款和/或行表示的各个位置信息对识别字符信息S进行分类(步骤C1′),而被分类的识别字符信息S加到对应的相关信息R上(步骤C2′)。然后,鉴别识别字符信息S的条款和/或行内字符的数目是否在相关信息R的条款或者行内字符数目之内(步骤C3′)。进而鉴别识别字符信息S的条款和/或行的数目是否在相关信息R的条款或者行数目之内(步骤C4′)。然后基于该鉴别,更新相关信息R以产生相关信息R′。
实际上,读符号显示-识别信息修改装置740是通过向计算机主机724装设适当的硬件构成的,这些硬件能够向硬盘提供上述功能部分,诸如字符识别部分726,读符号图象显示控制部分727,字符图象抽取处理部分729,字符图象显示处理部分730,相关符号图象显示部分731,正确答案数据图象显示部分728以及相关信息产生部分741。
根据本实施例具有上述结构的读符号显示-识别信息修改装置740操作方式如下。
供阅读的对象文件的全区域图象P由图87所示的图象阅读装置721产生,并且全区域图象P转换为字符图象信息,并应用读指定信息(定义信息)由符号识别装置724产生相关信息R′。
当应用相关信息R′字符图象信息显示在显示单元上时,显示单元725上的初始屏幕如图101的屏幕A那样。
这时,作为拒绝字符和位于该拒绝字符周围的“2034”和“1201”显示在不能识别的符号图象信息显示区域732A中,并且表示“0”到“9”的字符图象显示在符号图象信息显示区域733A中“0”到“9”的区域中。
要注意,显示在不能识别的符号图象信息显示区域732A中的“2034”以宽框强调显示,以便指示这些字符是修改对象,并且作为不能识别的字符的拒绝字符“3”以斜线强调显示。类似地,在不能识别的符号图象信息显示区域732A中显示的“1201”中,作为不能识别的字符的拒绝字符“2”以斜线强调显示。
这里,如图101到104中所示这种字符图象信息的显示是由图87中所示的符号识别这种724进行的,并且将参照图93说明这时的操作流程。
首先,符号识别这种724取得全区域图象P(步骤D1″),并复制相关信息R′且对其按识别字符信息S的顺序分类(步骤D2″)。
鉴别该识别字符是否为不能识别的拒绝字符(步骤D3″),并如果它为拒绝字符,则符号识别装置724取得围绕它的和/或一个条款的字符图象信息并在不能识别的符号图象信息显示区域732A中显示该信息(步骤D4″)。要注意,步骤D1″到D4″的操作按这种拒绝字符的数目重复(步骤D5″)。
另一方面,当识别字符不是拒绝字符时,符号识别装置724在符号图象信息显示区域733A的对应区域中显示该字符图象信息(步骤D6″),并且步骤D6″的操作按识别字符的数目重复(步骤D7″)。
如果操作者使用键盘722在图101所示的初始屏幕A那样的状态输入“3”作为正确答案数据,则“3”正确答案数据显示区域733C中,并然后例如如果按动确定键,则如屏幕B上所示,显示在不能识别的符号图象信息显示区域732A中的作为在“2034”的拒绝字符的“3”的位置的强调显示从斜线显示变为网格强调显示,这指示拒绝字符已经被修改。识别字符信息S与此一同被修改,并且相关信息R′被更新。
进而,在屏幕B上,相应指示“2034”中的拒绝字符“3”已经被修改的网格强调显示的变化,宽框的强调显示自动地施加到下一个修改对象的“1201”上。
进而,如果在上述屏幕B的那种状态下,操作者使用键盘722输入“2”作为正确答案数据,则“2”显示在正确答案数据显示区域733C中。然后,如果按动确定键,则显示在不能识别的符号图象信息显示区域732A中作为在“1201”的拒绝字符的“2”的位置的强调显示从斜线显示变为网格强调显示,这指示拒绝字符已经被修改。识别字符信息S对此响应而被修改,并且相关信息R′被更新。
顺便来说,在显示在符号图象信息显示区域733A的“0”到“9”区域中表示“0”到“9”字符图象的任何一个为不同之处,即在字符图象信息被误识别之处,例如如果操作者按动键盘722的Tab键,则宽框的强调显示从“1.′?′(即将字符)”移动到显示单元725的“2.′0′”的区域,如图102中所见。
进而,如果重复按动tab键,则如图103的屏幕E中所见宽框的强调显示移动到“3.′1′”区域。重复这样作,表示修改对象的宽框强调显示相继在显示单元725中移动。
特别地,当宽框的强调显示要在“0”到“9”的区域之间移动时,按动tab键以选择所希望的字符图象的信息,并在图103的屏幕E上作为误识别的结果而显示的字符图象信息“7”(即“7”的图象已经被转换为“1”的代码信息)以宽框强调显示。
这里,在“7”的字符图象信息是正确还是错误不能由其自身易于辨别之处,如果如图89所见操作者按动键盘722的参照键,则从如图103屏幕所见,作为相关符号图象显示装置的相关符号图象显示部分731参照相关信息R′在相关符号图象显示区域733B显示参照图象。
如果,在上述屏幕F这种状态下,操作者使用键盘722输入“7”作为正确答案数据并按动确定键,则“7”显示在正确答案数据显示区域733C中,并且“7”的字符图象信息的代码信息从误识别的“1”修改为“7”,如图104中所见。然后,表示这种修改已经进行的网格强调显示施加到“7”的字符图象信息上。
特别地,识别字符信息S和相关信息R′被更新,并且指示修改已经进行的的强调显示施加到“7”的修改的字符图象信息上。
这里,如图89中所示的参照图象显示处理如以上所述由相关符号图象显示部分731进行,并且将参照图97说明这时的操作流程。
首先,鉴别参照图象是否被显示(步骤H1′)。如果参照图象没有被显示,则相关符号图象显示部分731检索按强调显示的相关对象的字符图象信息的相关信息R′(步骤H2′)。
然后,取得围绕相关对象和/或条款的字符图象信息的图象信息(步骤H3′),并且设置参照图象要显示的位置为使得参照图象不会覆盖按强调显示的相关对象的字符图象信息的位置(步骤H4′)。然后,显示参照图象(步骤H5′)。
要注意,如果在参照图象显示时再次按动参照键,则参照图象被删除(步骤H6′)。
这里,通过图87和88中所示的相关信息获取处理部分742与相关结果反映处理部分743,以及作为强调显示改变装置的强调显示改变部分727B,进行对于如图101到104中所见的字符图象信息的这种修改,以下将参照图94到96说明这时的操作流程。
如图88中所见,如果操作者通过键盘722输入正确答案数据,则该正确答案数据作为修改信息输入到修改信息获取处理部分742,而修改结果反映处理部分743使用修改信息和相关信息R′产生识别字符信息S,并修改与更新相关信息R′。同时,强调显示改变部分727B参照修改信息向已经被修改的条款施加指示这种修改的强调显示。
这时,如图94中所见输入屏幕被显示(步骤E1″)那样,修改信息获取处理部分742鉴别识别字符是否为不能识别的字符的拒绝字符(步骤E2″)。如果识别字符为拒绝字符,则修改信息获取处理部分742向外围和/或条款图象信息施加表示该外/围条款图象信息为供修改的拒绝条款的宽框强调显示(步骤E3″),并向作为识别字符的该拒绝字符施加不同于宽框的斜线式的另一种强调显示(步骤E4″)。
反之,如果识别字符不是拒绝字符,则宽框的强调显示施加到该字符图象信息(步骤E5″)。
这里,例如如果由操作者操作键盘722按动TAB键或参照键(用于在由TAB键移动方向相反方向上移动光标的键)(步骤E6″),则指示修改对象的宽框的强调显示被移动而使得下一个字符图象信息能够被表示为修改对象(步骤E7″)。如果宽框的强调显示移动到最后的字符图象信息,然后这一操作由第一字符图象信息开始进行(步骤E8″)。
要注意,如果按动其它键,则向修改信息产生部分741报告修改信息(步骤E9″)。
另一方面,图88所示的修改结果反映处理部分743,如图95中所见,检索按强调显示的字符图象信息的相关信息R′(步骤F1″),修改识别字符(不能识别的字符或者误识别字符)(步骤F2″),修改相关信息R′的识别字符(步骤F3″),并显示或删除参照图象(步骤F4″)。
进而,图88所示的强调显示修改部分727B如图96中所见取得修改信息(步骤G1″)并施加表示修改已经进行的强调显示(步骤G2″)。
如上所述,由读符号显示-识别信息修改装置740对字符图象信息的显示与修改以及参照图象的显示,如图90中所见,是通过以下步骤进行的:获取作为全区域图象P的图象数据(步骤A1″),抽取字符图象信息(步骤A2″),获取识别字符图象信息(步骤A3″),产生相关信息(步骤A4″),显示字符图象信息(步骤A5″),获取修改信息(步骤A6″),按动数据键或参照键(步骤A7″),响应世界键的按动而反映修改结果(步骤A8″),强调显示修改的字符图象信息(步骤A9″),以及由计算机主机724响应参照键的按动而显示参照图象(步骤A10″),并且这一处理是对于所有被显示的字符图象信息进行的(步骤A11″)。
这样,使用根据本实施例的读符号显示-识别信息修改装置740,没有被计算机主机724成功地识别的不能识别的字符的图象信息,在读取的图象状态下在显示单元725上围绕不能识别的字符与字符图象信息一同显示,并且向不能识别的字符的图象信息施加强调显示。于是,的读符号显示-识别信息修改装置740的优点在于,通过参照字符行中前后的字符图象信息,能够进行高精确度的确认操作,并能够降低正确与错误之间的确认操作所需的劳务和时间。
进而,使用使用根据本实施例的读符号显示-识别信息修改装置740,如果对应于不能识别的字符或者误识别的字符的正确答案数据通过操作键盘722输入,则正确答案数据显示在显示单元725上,并且直到现在被强调强调显示的不能识别的字符或者误识别的图象信息以表示完成修改的不同的强调显示而被显示。于是,该读符号显示-识别信息修改装置740的优点在于,能够易于辨别:一个字符对其一个不能识别的字符的输入或者对一个误识别的字符的修改已经进行与另一个字符对其这种操作没有进行,于是提高了目视可辨别性而防止了被操作者双重修改等,从而显著降低了正确和错误之间的确认操作所需的劳务和时间。
此外,使用根据本实施例的读符号显示-识别信息修改装置740,符号能够以易于进行目视观察的单位被显示,使得只有相同的符号显示在显示单元上相同的区域中,并只向所希望的一个字符图象的信息施加强调显示。于是,读符号显示-识别信息修改装置740的优点在于,操作者只要参照图象信息而无需参照相关的外围字符图象的信息即能够确认识别结果为正确或者错误,于是能够显著减少操作者眼睛的移动,其优点还在于能够把强调显示仅施加到正在被处理的字符图象信息以减少比较对象,并且显著降低了正确和错误之间的确认操作所需的劳务和时间。
进而,使用根据本实施例的读符号显示-识别信息修改装置740,正确答案数据显示在正确答案数据显示区域中,该区域不同于其中显示如上述的一个字符图象信息和与该字符图象信息相关的周围字符图象信息的区域。于是,读符号显示-识别信息修改装置740的优点在于,能够通过目视观察对字符图象信息和输入的正确答案数据进行再确认,于是降低了正确和错误之间的确认操作所需的劳务和时间,此外确认操作能够以高精确度进行。
要注意,虽然本实施例中,当要修改不能识别的字符或者误识别的字符时,对于不能识别的字符或者误识别的字符所输入的正确答案数据显示在显示单元725的正确答案数据显示区域733C中,不能识别的字符或者误识别的字符能够以另外的方式被修改而不必对不能识别的字符或者误识别字符显示正确答案,或者另外只对于不能识别的字符和误识别的字符之一的正确答案能够被显示以修改不能识别的字符或者误识别的字符。
进而,虽然本实施例中,如图98中所见的那种表格格式的文件用作为其上描述存入数据的文件,都是其上描述存入数据的文件不限于此,而是可使用任何其它格式的文件。
(b)对本发明该实施例的修改的说明
(b1)根据对该实施例的第一修改的文件识别装置的说明
图105是表示根据对本发明的该实施例的第一修改的文件识别装置。而且图105所示的文件识别装置能够由以下装置组成:图象数据阅读装置811,计算机812(这一计算机812包括如下所述的一个输入部分812-1,一个显示单元812-2,及一个控制部分812-3),以及类似于上述图115的硬盘的一个硬盘813(参照标号1001,1002和1003)。
图象数据阅读装置811阅读文件的图象数据,并对于这一图象数据阅读装置811能够使用类似于参照图115上述的一个光学字符阅读装置(OCR装置),一个图象扫描器等。
基于由图象数据阅读装置811所读取的文件的图象数据,控制部分812-3进行作为文件数据的处理,并能够由作为CPU和存储器的计算机812的功能部分形成。
进而,类似于参照图115前面所述的部分,控制部分812-3连接到诸如键盘或鼠标等输入部分(参照在以下将说明的图106的标号812-1),该输入部分用于由操作者输入数据、指令等到控制部分812-3,并连接到一个显示单元(参照在以下将说明的图106的标号812-2),该显示单元用于显示由图象数据阅读装置811所阅读的图象数据等。
硬盘(文件存储器)813存储所有由图象数据阅读装置所读取的文件的图象数据。
顺便来说,如图105所示,控制部分812-3在功能上包括一个图象数据截取部分815,一个文件标识字典部分816,一个数据比较部分817,一个阈值设定部分818,一个文件鉴别部分819,一个定义尺寸部分820,一个定义存储表821,一个字符识别部分822,及一个字符识别结果存储部分823。
图象数据存储器814存储由图象数据阅读装置811曾经读取的文件的图象数据。图象数据截取部分815具有作为文件标识信息抽取装置的功能并形成一抽取对象,该抽取装置用于响应基于由操作者进行的输入部分812-1的操作的信息指令(标识信息),从存储在图象数据存储器814的文件的图象数据抽取在文件上描述的所希望的文件标识信息。
当上述的图象数据截取部分815从标识信息抽取所需的文件标识信息时,由图象数据阅读装置811读取的文件的图象数据显示(投影)在显示单元812-2上,并且操作者能够基于显示在显示单元812-2上的图象数据指令标识信息。
要注意,作为通过图象数据截取部分815构成抽取对象的信息,例如通过软件或固件处理操作者能够指令例如任何所述的信息,诸如字符信息,标记,文件上描述的印章或划线,并且图象数据截取部分815自动地抽取被指令的信息的坐标位置信息,所述信息大小信息及数据信息,作为文件标识信息。
进而,文件标识字典部分(文件标识字典)816记录由图象数据截取部分815作为特定文件的文件标识所抽取文件标识信息。
更具体来说,如图108所见,加有ID号码′0101′文件类型A的文件标识信息存储在区域816a中,而加有ID号码′0102′文件类型B的文件标识信息存储在区域816b中。
于是,作为从通过图象数据阅读装置811所读取的特定文件的图象数据抽取写在文件上的标识信息并向文件标识字典部分816记录文件标识信息的记录步骤的操作是由上述图象数据存储器814,图象数据截取部分815及文件标识字典部分816进行的。
要注意,虽然当文件标识信息要被记录到文件标识字典部分816时,由上述的图象数据阅读装置811所读取的文件的图象数据一度存储到图象数据存储器814中,但是由图象数据阅读装置所阅读的所有文件的图象数据是存储到硬盘813上的。
数据比较部分817具有作为校验装置的功能,用于读出存储在图象数据存储器814中的特定文件的图象数据并校验该特定文件的图象数据是否包含存储在文件标识字典部分816中记录的文件标识信息,并还具有作为参照装置的功能,用于检测由图象数据阅读装置811所读取的并存储在图象数据存储器814中的任意文件的图象数据是否包含存储在文件标识字典部分816中的文件标识信息,从而简化了装置的结构。
进而,文件鉴别部分819具有作为鉴别装置的功能,用于鉴别特定文件的识别是否能够基于由作为校验装置的数据比较部分817所校验的结果进行以便鉴别该特定文件是否已经被完全确定为一个文件,并具有作为文件标识装置的另一个功能,用于基于由作为参照装置的比较部分所进行的参照的结果辨别任意一个文件是否为一个特定的文件,从而简化了装置的结构。
更具体来说,作为校验装置的数据比较部分817,从文件标识字典部分816一个接一个图象地从存储在硬盘813有关所有文件的图象数据,相继抽取由图象数据截取部分815按文件的图象数据为单元所抽取的信息,以及对应的文件标识信息,并对比检验这些信息。作为鉴别装置的文件鉴别部分819,基于来自数据比较部分817的文件标识信息对比检验的结果,而鉴别该文件是否能够被唯一无误地确定。
进而,作为参照装置的数据比较部分817对由图象数据截取部分815从由图象数据阅读装置811输入的图象数据所抽取的信息,与来自文件标识字典部分816对应的文件标识信息进行对比检验,以便计算相符的程度。作为文件鉴别装置的文件鉴别部分819对于来自数据比较部分817的文件标识信息与来自阈值设定部分818的阈值进行比较,以鉴别从图象数据阅读装置811所输入的图象数据的文件是否能够被辨别。
于是,进行作为鉴别特定文件的识别是否可能的检验步骤的操作,并通过上述的文件标识字典部分816,数据比较部分817,阈值设置部分818和文件鉴别部分819进行作为鉴别任意文件是否为特定文件的操作步骤的操作。
换言之,上述的记录步骤对应于图3的<当布局第一次出现时>的处理(布局分析处理A2,操作者处理A6及布局学习处理A8),而上述的检验步骤和操作步骤对应于图3的<当布局再次出现时>的处理(布局分析处理A9,布局对比检验处理A10,和操作者处理A13)。
要注意,在基于来自上述阈值设定部分818的阈值信息由文件的鉴别部分819进行一致性鉴别时,来自上述阈值设定部分818的阈值信息设定为这样的程度,即使得鉴别的进行能够吸收在图象数据阅读注重811的阅读操作时的误差,文件自身的打印误差等等。
当文件鉴别部分819鉴别有关任意文件为特定文件时,即当系统操作时文件识别部分819成功地识别出其图象数据已经由图象数据阅读装置811读取的文件是一个对应于记录在文件识别字典部分816中的文件标识信息的特定文件时,定义存储部分820从定义存储表821读出用于文件上所描述的数据的识别的定义信息,并在其中存储该定义信息一次。
定义存储表821存储定义信息(例如,阅读位置信息,字符属性信息,阅读列数等等),该信息要用于对应于记录在文件标识字典部分816中文件标识信息的一个特定文件上所描述的内容的字符识别。
字符识别部分822接收存储在上述图象数据存储器814中的图象数据,且该数据与已经成功地被标识为记录在文件标识字典部分816中的一个特定文件的文件及对应于来自定义存储部分820的图象数据的定义信息相关,并且字符识别部分822根据该定义信息进行该图象数据的字符识别处理。
进而,字符识别结果存储部分823存储由字符识别部分822所识别的字符信息。
以下就上述的记录步骤,检验步骤和操作步骤,说明根据具有上述结构的本发明该实施例的第一修改的文件标识装置的的操作。
·记录步骤中的处理的说明
首先,以下参照标出了记录步骤中的操作的图106中所示的控制框图以及表示在图107和图108中所示的记录步骤中的操作的流程图,说明根据本实施例的文件标识装置在记录步骤中的操作。
具体来说,如图108中所见,如果响应操作者的操作由图象数据阅读装置811阅读电费缴纳通知文件824B的图象数据(图107的步骤B1),则所读取的图象数据一度存储到图象数据存储装置814中(图107的步骤B2),并且该图象数据也存储到硬盘813使得由图象数据阅读装置811读取的所有图象数据被存储(图107的步骤B3)。要注意,如图108中所见由图象数据阅读装置811读取的图象数据显示在显示单元812-2上(图107的步骤B4)。
这里,在存储在图象数据存储器814和硬盘813中的图象数据为有关对于第一时间所读取的一个文件的图象数据之处,文件标识信息存储到如下所述的文件标识字典部分816中。
具体而言,在操作者参照显示单元812-2并操作输入部分812-1时,构成抽取对象的多片信息被指令到图象数据截取部分815(图107的步骤B5)。
图象数据截取部分815从存储在图象数据存储器814中的文件的图象数据中自动地抽取文件上所描述的信息中的位置信息,尺寸信息及数据信息(图107的步骤B6),并作为文件的标识信息记录这些信息到文件标识字典部分816(图107的步骤B)。
例如,如图108中所见,操作者操作输入部分812-1指定表示缴纳通知的缴纳款项内容的“电费”为第一信息,并指定表示付费人的姓名的“IchiroFuji”为第二信息。于是,图象数据截取部分815存储上述第一信息的位置信息,尺寸信息和数据信息,并抽取第二信息的位置信息,尺寸信息和数据信息。
因而,所抽取的文件824B的文件标识信息作为其ID号码为“0102”的B类文件的文件标识信息存储到文件标识字典部分816的区域816b。
要注意,在根据本修改的文件标识装置中,由图象数据截取部分815所截取的图象数据通常仅用于文件的标识。
进而,在根据本修改的文件标识装置中,通过记录多片关于一个文件的文件标识信息,无需进行以上如(a5)特征数据识别处理中所述的图象数据的归一化处理,而能够在以下所述的的检验步骤和操作步骤标识一个文件。
·检验步骤中的处理的说明
接下来,以下将参照标出检验步骤操作的图109中所示的控制框图和表示检验步骤中的操作的图110中所示的流程图,说明根据本实施例的文件标识装置在检验步骤中的操作。
如上所述,在记录步骤,文件表示信息记录到文件表示字典部分816。然后,进行作为检验步骤的操作,在该步骤使用记录在文件标识字典部分816中的文件标识信息,检验存储在硬盘816上的所有文件的图象是否能够确定性地被标识。
具体而言,使用在记录步骤硬盘813操作时所存储的及记录在文件标识字典部分816中的所有文件的图象(全部文件的图象),对于一个文件的每一图象与记录在文件标识字典部分816中的文件标识信息进行对比检验。
更具体来说,来自硬盘813的文件的图象通过图象数据存储器814输出到图象数据截取部分815(图110的步骤C1),并且图象数据截取部分815基于文件标识字典部分816中的对应文件的文件标识信息的位置信息和尺寸信息抽取用于对比检验的数据。
数据比较部分817接收来自图象数据截取部分815的对比检验数据和作为来自文件标识字典部分816的文件标识信息的数据信息(图110的步骤C2和C3),并且参照它们之间数据的一致程度进行比较和对比检验(图110的步骤C4)。
文件鉴别部分819接收来自数据比较部分817的结果和来自阈值设定部分818的阈值,并当所有文件标识信息的一致性程度在阈值范围之内时,由于数据彼此吻合,故文件鉴别部分819鉴别出从硬盘813所抽取的文件的类型能够被唯一确定,并记录该确定的文件类型(从步骤C5的YES路线到步骤C6)。
另一方面,当来自数据比较部分817的文件标识信息的某些一致性程度不在阈值范围之内时,则数据彼此不吻合,故鉴别出文件的类型不能被确定(从步骤C5的NO路线到步骤C7)。然后,如果上述的处理没有对于文件标识字典部分816的所有文件类型完成,则对于记录在文件标识字典部分816中下一个文件类型的文件标识信息进行类似的处理(从步骤C7的NO路线到步骤C2)。于是,除非对于所有的文件类型确定了文件,不进行在步骤C6的处理。
然后,对于存储在硬盘813中的所有类型的文件图象按类似于上述方式进行文件标识信息的一致性程度的鉴别(步骤C8)。
进而,如果存储在硬盘813中的所有类型的文件图象已经成功地确定为各个不同的文件,则判定检验为OK,并且作为检验步骤的操作而结束(从步骤C9的YES路线到步骤C10)。然而在任何其它情形下,判定存储在文件标识字典部分816中的文件标识信息有缺陷,并且有缺陷的文件报告给操作者以便请求对于文件再指定文件标识信息(从步骤C9的NO路线到步骤C11)。
于是,如果在记录步骤之后从硬盘再次输入特定文件的图象数据,并由数据比较部分817检验该输入的特定文件是否包含记录在文件标识字典部分816中的文件标识信息,由图象数据截取部分815能够鉴别该特定文件的识别是否为可能。
·操作步骤操作的说明
接下来,参照标注出操作步骤的操作的图111中所示的控制框图以及表示操作步骤中的操作的图112中所示的流程图,将说明根据本实施例的文件标识装置在操作步骤中的操作。
如上所述,在检验步骤中,使用记录在文件标识字典部分816中的文件标识信息,检验存储在硬盘813上的所有文件的图象是否能够被确定。在检验结束之后,在装置的实际操作中,对于任意一个文件的图象数据进行诸如下述的确定文件类型的操作步骤的操作。
具体而言,如果一定的文件的图象数由操作者通过图象数据阅读装置811的操作而被阅读(图112的步骤D1),则所读取的图象数据一度存储到图象数据存储器814中(图112的步骤D2)。
然后,基于构成一定的文件的类型的文件标识信息的位置信息和尺寸信息,图象数据截取部分815从多个位置抽取并截取一度存储在图象数据存储器814中的图象数据(标识信息)(步骤D3和D4)。
然后,数据比较部分817计算由图象数据截取部分815所截取的所有图象数据的数据信息与构成该文件的标识信息的数据信息之间的一致性程度以实现比较和鉴别(步骤D5)。
进而,文件鉴别部分819比较作为来自数据比较部分817的比较和鉴别的结果而计算的一致性程度与对于一致性程度在阈值设定部分818中所设定的标准,以便鉴别从由图象数据阅读装置811所读取的图象数据与来自文件标识字典部分816的文件标识信息是否能够确定文件的类型(步骤D6)。
具体来说,当第一文件类型A的图象数据从图象数据阅读装置811读取,同时第二文件类型B的文件标识信息用作为构成比较对象的来自文件标识字典816文件标识信息时,鉴别不一致性,并且使用关于来自文件标识字典部分816的另一文件类型的文件标识信息进行一致程度的鉴别(从步骤D3的NO路线经过步骤D8的NO路线到步骤D3)。
另一方面,例如,当第一文件类型A的图象数据从图象数据阅读装置811读入时,如果来自文件标识字典部分816的构成比较对象的文件标识信息是关于第一文件类型A的信息,则对于该文件标识信息鉴别鉴别一致性,并且读入的图象数据确定为相关文件类型。这时所确定的文件类型存储到控制部分812-3中未示出的一个存储器中(从步骤D的YES路线到D7)。
要注意,在由上述的文件鉴别部分819进行鉴别时,如果由图象数据截取部分815所截取的多个位置的图象数据任何之一与来自文件标识字典部分816的文件标识信息不相符,则它被鉴别为不同类型的文件。
然后基于存储在文件标识字典部分816的所有各个类型的文件的文件标识信息,对来自由上述图象数据阅读部分811所读取图象数据的文件标识信息的一致性程度进行类似于上述鉴别的的鉴别(步骤D8)。
这里,如果由图象数据阅读部分811所读取图象数据已经由上述一致性程度鉴别成功地确定为一个文件类型的数据,则所确定的文件类型输出到定义存储部分820(参照图105)(从步骤D9的YES路线到步骤D10)。
然而,如果该图象数据没有被确定为一个文件类型的数据,则例如借助于显示单元812-2向操作者报告文件确定失败(从步骤D9的NO路线到步骤D11)。
要注意,如果确定为一个类型的文件类型输入到定义存储部分820,则定义存储部分820从定义存储表821读出对应于所确定的文件类型的定义信息(读位置信息,字符属性信息,读列数目等等)。
于是,字符识别部分822识别其图象数据已经由图象数据阅读装置811读取并存储在图象数据存储器814中的文件上所描述的定义信息和字符信息,并作为识别的结果存储该字符信息到字符识别结果存储部分823。
于是当特定文件已经在检验步骤被成功地识别时,通过借助于图象数据阅读装置811阅读任意文件的图象数据并参照任意文件的图象数据以检测该图象数据是否包含记录在文件标识字典部分816中的文件标识信息,能够标识该任意文件是否为特定文件并可进行字符识别。
这样,使用根据本发明的该实施例的第一修改的文件标识装置,由于它包含图象数据阅读装置811,图象数据存储器814,硬盘813,图象数据截取部分815,文件标识字典部分816,数据比较部分817及文件鉴别部分819,在该装置操作中,能够自动地标识其图象数据已经由图象数据阅读装置811读取的文件的类型。于是,即使要由图象数据阅读装置811读取的多种类型文件以混合状态出现,操作者无需知道每一文件的定义而能够处理这些文件。于是,该文件识别装置的优点在于能够达到工作的高效率。该文件识别装置的优点还在于,,用于标识文件本身的ID号码等无需在文件上说明而可使用普通的文件,于是该文件标识装置能够易于用于现有的系统。
进而,在向文件标识字典部分816记录文件识别信息时,只要操作者指定该信息同时目视观察投影在显示单元812-2上的供记录的对象文件的图象数据即能够自动地取得必要的文件标识信息。于是,易于产生用于文件标识的字典,并能够达到在工作效率的改进。
进而,由于该文件标识装置包含作为检验装置的数据比较部分817和作为鉴别装置的文件鉴别部分819,故能够检验由操作者所指定的文件标识信息是否正确。于是,该文件标识装置的优点在于,完全消除了文件标识中的错误并改进了装置的可靠性。
进而,在操作者指令一个文件中多个位置作为标识信息之处,能够比基于指定单个位置时的标识信息那样所抽取的文件标识信息更高的精度从基于标识信息所抽取的文件标识信息而标识文件。
(b2)根据该实施例的第二修改的文件标识装置的说明
图113是表示根据本发明该实施例第二修改的文件标识装置的一个框图,并具体示出其中标注出记录标注操作的控制框图。
图113中所示的文件标识装置具有基本上与参照图105上述文件标识装置类似的结构,所不同之处在于,文件标识信息抽取装置包含一个自动标题部分抽取部分815a,自动条款标题部分抽取部分815b和文件标识信息截取部分815c。
自动科目部分抽取部分815a自动地抽取有关存储在图象数据存储器814中的文件被视为科目部分的图象数据部分的位置信息(例如参照作为示于图108中上述第一文件标识信息的′电费率′)。
自动条款标题部分抽取部分815b自动地从存储在图象数据存储器814中的有关一个文件的图象数据抽取一个条款部分的位置信息。
基于来自自动科目部分抽取部分815a和自动条款标题部分抽取部分815b的位置信息,文件标识信息截取部分815c从存储在图象数据存储器814中的图象数据截取科目部分和条款部分尺寸信息及作为文件标识信息的数据信息。
使用具有上述结构根据本发明该实施例的第二修改的文件标识装置,作为类似于上述实施例的记录标步骤的操作,如果图象数据阅读装置811响应操作者的操作而读取一个文件的图象数据(图114的步骤E1),那么图象数据存储器814存储一度存储所读取的图象数据(图114的步骤E2),并且该图象数据还存储到硬盘813使得由图象数据一度装置811所读取的所有图象数据被存储(图114的步骤E3)。
然后,自动科目部分抽取部分815a自动地抽取似乎是文件科目的部分的位置信息(图114的步骤E4),并且自动条款标题部分抽取部分815b自动地抽取划线条款中所描述的条款标题的位置信息(图114的步骤E5)。
基于来自上述自动科目部分抽取部分815a和自动条款标题部分抽取部分815b的位置信息,文件标识信息截取部分815c抽取尺寸信息和数据信息(图114的步骤E6),并记录位置信息和尺寸信息以及对应于该位置信息作为文件标识信息的数据信息到文件标识字典部分816(图114的步骤E7)。
要注意,检验步骤或操作步骤中的操作基本上类似于上述实施例的操作。
于是,使用上述参照图105文件标识装置,虽然操作者根据本实施例参照显示单元812-2并操作输入部分812-1指定用于文件标识信息抽取的标识信息,但是特定文件上所描述的特定文件标识信息能够自动地从由图象数据阅读装置811所读取的特定文件的图象数据抽取并记录到文件标识字典部分816。于是,其中的优点在于,操作者的操作效率能够显著改进。
要注意,在上述参照图113的实施例中,虽然使用科目部分和条款部分作为用于文件标识信息抽取的标识信息,但是此外文件的任何其它部分(固定信息部分)也可使用。
(b3)其它
在上述本发明该实施例的修改中,作为检验装置的数据比较部分817和作为鉴别装置的文件鉴别部分819进行检验步骤的操作,这操作的进行是通过在记录步骤之后当特定文件的图象数据再次输入时检验输入的特定文件的图象数据是否包含记录在文件标识字典部分816中的文件标识信息以便鉴别该特定文件的识别是否可能。然而,即使省略检验步骤的操作,至少在装置的操作中,由于其图象数据由图象数据阅读装置811读取的文件的类型能够被自动地标识,即使要由图象数据阅读装置811读取的多个类型文件混合状态出现,操作者也能够处理这些文件而无需知道每一文件的定义。于是,其中的优点在于,科研改进工作效率。进而,用于标识文件本身的ID号码等不需要在文件上描述,于是能够使用普通的文件。于是另一个优点在于,易于用于现有的系统。
进而,在记录文件标识信息到文件标识字典816时,只要如果操作者在观察投影到显示单元812-2上的供记录的对象文件的图象数据时进行指定,则能够自动地取得必要的文件标识信息。于是,易于产生用于文件之间的标识的字典,并能够达到工作效率的改进。
如上所述,根据本发明的数据媒体处理装置和数据媒体处理方法适用于处理例如金融机构中的文件,并特别地,由于能够自动地处理具有各种格式的文件诸如私人文件等,故该数据媒体处理装置和数据媒体处理方法被认为有很高的可使用性。
按照条约第19条的修改
对比检验步骤(H3),在该步骤抽取分开读取的图象的特征,分析布局的结构,检索在记录步骤(H1,A6,H2)所记录的区域特征数据和布局结构作为参照数据,并对比检验是否存在相符的区域特征数据。
36.如权利要求35中所述的数据媒体处理方法,其特征在于,当对应于区域中的符号信息的代码数据在记录步骤(H1,A6,H2)输入时,输入具有对应于符号信息含义的代码数据。
37.一种数据媒体处理方法,用于基于从其上的信息以任意格式描述的数据媒体所读取的图象(19)而识别信息,其特征在于它包括:
标题分析处理步骤,在该步骤抽取读取的图象(19)的布局特征,分析布局的结构,基于所抽取的特征判定图象中的标题区域,识别标题区域中的标题条款信息并判定对应的条款数据。
38.如权利要求37中所述的数据媒体处理方法,其特征在于,标题分析处理步骤包括标题位置备选判定步骤(K9),在该步骤基于布局结构的分析结果判定标题位置备选项,还包括标题条款对比检验步骤(K10),在该步骤对比检验标题区域中的标题条款信息与在前面步骤(K9)所判定标题位置备选项。
39.如权利要求38中所述的数据媒体处理方法,其特征在于,在对标题条款对比检验步骤(K10)中标题条款对比检验时,对于要被对比检验的图象数据(19)标题条款的对比检验处理是在归一化处理进行之后进行的。
40.一种数据媒体处理方法,其特征在于它包括:
记录步骤(B1到B7),在该步骤,从作为由图象数据阅读装置(811)所读取数据媒体并在其上具有以格式描述的所需信息的特定文件(824B)的图象数据,抽取在该特定文件上所描述的文件标识信息,并记录该文件标识信息到一文件标识字典(816);以及
操作步骤(D1到D11),在该步骤,继记录步骤(B1到B7)之后,借助于所述图象数据阅读装置(811)阅读任意文件的图象数据,参照该任意文件的图象数据以检测该任意文件图象数据是否包含记录在所述文件标识字典(816)中的文件标识信息,以便标识该任意文件是否为特定文件(824B)。
希望的所述条款数据输入显示区域一部分(615);以及
图象数据局部强调显示装置(624),用于当光标指示(616)由所述显示控制装置(629)显示在所述条款显示区域(614)中所希望的一个所述条款数据输入显示区域部分(615)之处,其显示状态为包含多个条款信息的图象数据显示在所述显示单元(630)的所述图象数据显示区域(611)中时,引起只有所希望的条款(612)对应的图象数据部分被强调显示。
77.如权利要求76中所述的数据媒体处理装置,其特征在于所述显示控制装置(629)除了所述图象数据局部强调显示装置(624)之外还包括,
图象数据强调显示删除装置(625),用于当所述光标指示(616)通过光标移动操作装置(631)移动到不同于所希望的条款数据输入显示区域部分(615)的另一个条款数据输入显示区域部分(615)时,删除对应于条款(612)的图象数据部分的强调显示;以及
强调显示转移控制装置(626),用于控制所述图象数据局部强调显示装置(624),使得能够响应所述图象数据强调显示删除装置(625)只有对应于不同条款数据输入显示区域部分(615)的不同条款(612)的图象数据部分被强调显示。
78.如权利要求76中所述的数据媒体处理装置,其特征在于所述显示控制装置(629)除了所述图象数据局部强调显示装置(624),图象数据强调显示删除装置(625)及强调显示转移控制装置(626)之外还包括,
显示滚屏装置(627),用于引起没有显示在所述显示单元(630)上的图象数据部分显示在所述显示单元(630)上。
79.如权利要求76到78中所述的数据媒体处理装置,其特征在于所述图象数据局部强调显示装置(624)包括能够响应来自外部的指令而改变强调显示部分的改变部分(628)。
80.一种数据媒体处理装置(30),用于基于从其上的信息以任意格式描述的数据媒体所读取的图象(19)而识别信息,其特征在于它包括:
标题分析处理部分,用于抽取读取的图象(19)的布局特征,分析布局的结构,基于所抽取的特征判定图象中的标题区域,识别标题区域中的标题条款信息并判定对应的条款数据。