CN1261190A

CN1261190A - 从彩色图像数据抽取文字方法、装置及记录媒体

Info

Publication number: CN1261190A
Application number: CN00101119A
Authority: CN
Inventors: 水纳亨
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-01-19
Filing date: 2000-01-18
Publication date: 2000-07-26
Anticipated expiration: 2020-01-18
Also published as: JP3753357B2; US6701008B1; JP2000207489A; CN1133951C

Abstract

本发明涉及从彩色图像数据抽取文字的方法、装置及计算机能读取的记录媒体。上述装置包括:数据输入装置,彩色分离装置,将彩色成份数据变换成双值化数据的变换装置,对双值化彩色成份数据中的具有相同双值化值的连接像素制作外接矩形的外接矩形装置,矩形选择装置,合并所选择外接矩形内的双值化彩色成份数据的合并装置及数据输出装置。能从彩色图像数据同时高速抽取带有若干色彩的文字。

Description

从彩色图像数据抽取文字方法、装置及记录媒体

本发明涉及从彩色图像数据抽取文字的方法、抽取文字装置及计算机能读取的记录媒体。

抽取文字技术用作图像原稿的文字识别系统的预处理，例如在光读入装置中。抽取文字技术还用作图像编辑系统，例如删除图形中文字等。在本发明中，所谓“文字”包括英文字母、阿拉伯数字、罗马数字、日文假名、汉字或中文、阿拉伯文字等。

在特开平8-123901号公报中公开了一种抽取文字方法及文字抽取和识别装置。该装置包括彩色图像输入装置、彩色空间变换装置、彩色空间区分装置、将图像数据变换成二进制数据的装置、抽取文字装置及识别文字装置。在上述文字抽取识别装置中，输入的彩色图像数据被变换成若干彩色范围，利用该彩色范围识别文字。但是，上述文字抽取识别装置没有公开同时抽取带有若干彩色文字的方法。

另一方面，彩色原稿和彩色视觉媒体如彩色打印件、彩色复印件、网络中的卷筒纸等正在增加。例如，网络中的卷筒纸在各种型式基底、如色彩、式样、图形基底等上以各种彩色充满各种型式文字。因此，在包括图形的白色或彩色基底上抽取彩色文字的要求正在增加，在相对暗的基底上抽取白色或相对亮的彩色文字的要求正在增加。

本发明就是鉴于上述先有技术所存在的问题而提出来的，本发明的目的在于，提供能从彩色图像数据同时抽取带有若干色彩文字的抽取文字方法、抽取文字装置及计算机能读取的记录媒体。

本发明的另一个目的在于，提供能从彩色图像数据抽取在相对暗色彩基底上若干白色或相对亮色彩文字的抽取文字方法、抽取文字装置及计算机能读取的记录媒体。

为了实现上述目的，本发明提出从彩色图像数据抽取文字的方法、抽取文字装置及计算机能读取的记录媒体，其包括：

输入彩色图像数据；

将输入的彩色图像数据分离成若干彩色成份数据；

将若干彩色成份数据相应地变换成若干双值化彩色成份数据；

对上述若干双值化彩色成份数据中的具有相同双值化值的连接像素制作外接矩形；

在若干双值化彩色成份数据中，根据外接矩形尺寸选择外接矩形；

合并所选择外接矩形内的双值化彩色成份数据；

输出上述合并后的双值化图像数据。

为了实现上述目的，本发明还提出另一种从彩色图像数据抽取文字的方法、抽取文字装置及计算机能读取的记录媒体，其包括：

输入彩色图像数据；

将输入的彩色图像数据分离成若干彩色成份数据；

对上述若干双值化彩色成份数据中的具有光学意义上较暗的相同双值化值的连接像素制作外接矩形；

对上述若干双值化彩色成份数据中的具有光学意义上较亮的相同双值化值的连接像素制作外接矩形；

将光学意义上较暗的连接像素的外接矩形和光学意义上较亮的连接像素的外接矩形中的双值化彩色成份数据进行颠倒变换；

合并所选择外接矩形内的双值化彩色成份数据和经颠倒变换的双值化彩色成份数据；

输出上述合并后的双值化图像数据。

下面说明本发明的效果。

按照本发明的抽取文字方法、抽取文字装置及计算机能读取的记录媒体，通过在各色份之间进行简单的逻辑运算，能从彩色文书高速抽出浓文字。

按照本发明的抽取文字方法、抽取文字装置及计算机能读取的记录媒体，通过在各色份之间进行简单的逻辑运算，能从彩色文书高速抽出淡文字。

按照本发明的抽取文字方法、抽取文字装置及计算机能读取的记录媒体，能从彩色文书同时高速抽出浓文字和淡文字。

按照本发明的抽取文字方法、抽取文字装置及计算机能读取的记录媒体，通过考虑外接矩形尺寸等能更高精度地从彩色文书高速抽出文字。

附图简要说明如下：

图1表示计算机系统一例；

图2是根据本发明的用于实现抽取文字方法的上述计算机系统100的构成方框图；

图3是实行本发明的抽取文字方法的动作流程图；

图4表示原稿90的图像数据；

图5是表示图4中文字串和基底、彩色成份的明亮度、若干文字串和基底串的各图像色彩之间相对关系；

图6是表示某种彩色成份多电平像素值及对像素值进行计数的图线；

图7表示通过上述步骤S12R、S12G、S12B已被双值化的彩色成份值；

图8表示红色份90R上的双值化红色成份；

图9表示对文字串“Line1”91中的文字“e”的像素制作外接矩形；

图10表示对双值化红色份数据90R中具有相同双值化数据0数值制作外接矩形；

图11是图3中步骤S14、即选择外接矩形步骤的详细流程图；

图12表示通过逻辑OR运算对所选择外接矩形内的彩色成份的合并动作；

图13表示根据本发明从图3所示原稿抽取的文字串91K、92K和93K；

图14是图3用于抽取文字串区域的步骤S17的详细化；

图15表示通过上述方法由图4原稿抽取文字串区域；

图16是实行本发明的抽取暗基底上文字方法的动作流程图；

图17表示对在双值化数据红色份90R中具有相同双值化数据1的像素制作的外接矩形；

图18表示所抽取的文字；

图19是从图4所示原稿的彩色数据中抽取的相对亮的彩色文字串；

图20A和20B是用于实行根据本发明的文字抽取方法的动作步骤的流程图；

图21表示暗的彩色文字和亮的彩色文字的合并动作；

图22表示删除被围有暗的连接像素的外接矩形复盖的亮像素的动作；

图23是根据本发明实施例的彩色文字抽取装置200的方框图。

下面参照附图，详细说明本发明实施例。

图1表示计算机系统一例，图2是根据本发明的用于实现抽取文字方法的上述计算机系统100的构成方框图。如图1和图2所示，计算机系统100实现本发明的抽取文字方法，计算机壳体102收纳着母板104，该母板104包括CPU106、备用CPU106B及106C、存储器108(即DRAM、ROM、EPROM、EEPROM、SRAM、SDRAM及可消可再写入RAM)、局部总线132。母板104还包括用于控制显示器120的视频控制装置110、总线控制装置130、PCI总线134、SCSI控制装置136、SCSI总线138。母板104进一步包括串行数据通道152、平行数据通道154、其它备用目的逻辑装置(即ASIC)或可配置逻辑装置(即GAL和可重编程序FPGA)。

可更换的硬磁盘驱动器112、DVD驱动器118及卡插座146通过总线138与SCSI相连。硬磁盘驱动器112和DVD驱动器118分别按箭头A1、A2被设置在计算机壳体102内使用。鼠标器164与USB通道140相连，图像扫描器166与USB通道141相连。键盘122、接触区124、软盘驱动器114、LAN插口144、调制解调器与PCI总线134相连。通过与SCSI总线138、USB插口140及141或其它插口相连，计算机系统100还可包括光磁盘驱动器、磁带驱动器、小型磁盘读/写驱动器及打印器。该计算机系统100可经LAN通道144或调制解调器与网络系统相连。

如上所述，该计算机系统100至少包括一可由计算机读取的媒体。上述可由计算机读取的媒体可以是硬磁盘112、DVD-ROM磁盘182、DVD-RAM磁盘、小型磁盘、光磁盘、软盘、磁带、PROM(EPROM、EEPROM、可消可再写入RAM)、DRAM、SRAM、SDRAM等。存储在可由计算机读取的媒体之一或一组媒体存储用于控制计算机100的硬件以及人机对话的软件，这种软件可包括例如装置驱动、操作系统以及用户应用等。这些可由计算机读取的媒体还可进一步存储包括本发明用于抽取文字的计算机程序制作。本发明计算机代码装置可以是任何译码或代码器械。

图3是实行本发明的抽取文字方法的动作流程图。最初，控制计算机系统100实行步骤S10，在该步骤中，彩色图像数据输入计算机系统100。接着，在步骤S11，上述图像数据被分离成红(Red，以下简记为R)、蓝(Blue，以下简记为B)、绿(Green，以下简记为G)成份。单色份处理分别在步骤S12R、S12G、S12B中进行，在步骤S12R，单色份被变换成双值化数据，在步骤S13R，对具有若干上述双值化数据的连接像素(图像单元)制作外接矩形，在步骤S14R中，选择上述外接矩形，结果，各所选择矩形确定文字或文字单元。步骤S12G、S13G及S14G、和步骤S12B、S13B及S14B原理分别与上述步骤S12R、S13R及S14R相同。

在步骤S14R、S14G及S14B之后，控制进入步骤S16，在该步骤中，对在所选择矩形中R、G、B成份的双值化数据进行合并。在步骤S17，有选择地抽取文字串区域，在步骤S18，输出所抽取的文字串的文字和文字区域，输向例如硬磁盘装置112或通过LAN插口144经网络输向其它计算机等存储装置。

下面，将更详细地描述上述处理各步骤。

在步骤S10，CPU106输入例如图4所示原稿90的图像数据，该图像数据可以从例如图像扫描器166、DVD-ROM182、软盘184、或经LAN插口144或调制解调器142输入。该输出图像数据可以配置在存储器108的一部分中。此外，输出图像数据可以暂存于硬磁盘112、软盘184、DVD-RAM等。

该输出数据可由模拟信号构成，如NTSC型式、像素映像数据、或如JPEG那样数字压缩型式数据。当图像数据以模拟信号输出时，该输出信号被变换成像素映像数据型式的数字数据；当图像数据以压缩数字数据输出时，该压缩数据被展开成像素映像数据，在该像素映像数据中，各像素数据由若干彩色数据构成。例如，图像扫描器166输出像素映像数据，所以，当CPU106从图像扫描器166输入图像数据时，不需要进行数据变换。

图5是表示图4中文字串和基底、彩色成份的明亮度、若干文字串和基底串的各图像色彩之间相对关系。在图5中，“彩色成份强度”表示通过照射白光从原稿90反射的三原色光、即红、绿、蓝的强度。在“彩色成份强度”一栏中，数字范围从0-255，即一字节数据，数字0表示没有反射光的成份，数字255表示该成份的最大反射光。换句话说，各彩色成份的光强度被折算成栏中的数值。图像彩色表示在同一行中由三种彩色成份构成的文字串的色彩和文字串基底的色彩。

比较图4和图5，文字串“Line1”91红色成份为0，绿色成份为0，蓝色成份为255，于是，人眼看文字串“Line1”91时为蓝色。文字串“Line1”91之下的基底91H红色成份为255，绿色成份为225，蓝色成份为255，于是，人眼看基底91H时为白色。

同样，人眼看文字串“Line2”92时为在明亮绿基底92H上的簧色，看文字串“Line3”93时为在明亮蓝基底93H上的深红色。于是，人眼看文字串91、92、93时为在相对明亮彩色基底上相对暗的彩色文字串。

文字串“Line4”94被看作由暗的红基底94H围住的簧色，文字串“Line5“95被看作由暗的绿基底95H围住的明亮蓝色，文字串“Line6”96被看作由暗的蓝基底96H围住的明亮绿色。于是，人眼看文字串94、95、96时可看作由相对暗的彩色基底围住的明亮彩色文字串。

回到图3，在步骤S11，CPU106将输入的图像数据以预先设定的加权值如1/1/1分离成若干彩色成份，如红色成份、绿色成份和蓝色成份。上述加权值也可根据抽取文字的目的进行变换，如变换成1/2/1等。CPU106也可将输入的图像数据分离成其它型式若干彩色成份，如与打印原色有关的蓝绿色成份、深红色成份及簧色成份。

在本实施例中，通过例如设置多种CPU如CPU106、106B及106C的计算机由若干中央处理装置及多处理系统能同时对步骤S12R到S14R、步骤S12G到S14G、步骤S12B到S14B进行处理。此外，各并行步骤也可以通过分配同时由多台计算机在网络系统中进行。另外，上述步骤S12R到S14R、步骤S12G到S14G、步骤S12B到S14B也可按顺序进行处理。

在步骤S12R，CPU106对所分离的红色成份进行变换，其是一字节数据，将其变换为双值化或二进制式数据。为了将该分离的红色成份变换成双值化数据，步骤S12R可以使用阈值Th0，以便区分该已分离的红色成份。

下面作为一实例，描述CPU106确定阈值TH0的方法。

图6是表示某种彩色成份多电平像素值及对像素值进行计数的图线，水平轴表示像素值，即0-255范围的值，垂直轴表示对该色彩成份的像素进行计数。当图像数据的该色彩成份的全部像素被计数时，与像素值0-255相对应的各计数值以纵线表示在图6中。

表示在图6中作为TH的值用于区分像素值，即区分0-255范围，将该范围分为两组，左边组像素具有比TH值小的值，右边组具有比TH值大的值。接着，CPU106计算在小值组中的像素计数中的偏离值VS，以及在大值组中的像素计数中的偏离值VL。进而，CPU106计算在偏离值VS和偏离值VL之间的偏离值VT。该偏离值VT与值TH对应而不同，当值TH得到最大值VT时，CPU106将该TH值确定为阈值TH0，用以产生双值化数据。

CPU106还可通过其它方法确定阈值TH0，例如，在彩色成份的像素值中取中间值作为该值，或者取除计数为0之外像素值计数为最小的像素值作为TH0值。

当红色成份的像素值比阈值TH0小时，CPU106将该像素值变换为0，当像素值比阈值TH0大时，CPU106将该像素值变换为1。于是，多电平红色成份数据被变换成双值化数据，即1或0。同样，在步骤S12G，CPU106B将多电平绿色成份数据变换成双值化绿色数据，在步骤S12B，CPU106C将多电平蓝色成份数据变换成双值化蓝色数据。

图7表示通过上述步骤S12R、S12G、S12B已被双值化的彩色成份值，其所涉及的文字串和基底如图4所示。在图7中，“双值化彩色成份”表示三原色、即红、绿、蓝三彩色数据的已变换的双值化成份数据，也就是说，在该栏中的数值0或1表示三原色数据的已变换的双值化成份数据。数字0与反射光较低强度、即相对暗的图像相对应，数字1与反射光较高强度、即相对亮的图像相对应。

文字串“Line1”91红色成份的双值化数据为0，绿色成份的双值化数据为0，蓝色成份的双值化数据为1，所以，人眼看文字串“Line1”91为蓝色。文字串“Line1”91之下的基底91H红色成份的双值化数据为1，绿色成份的双值化数据为1，蓝色成份的双值化数据为1，于是，人眼看基底91H时为白色。

同样，人眼看文字串“Line2”92时为在白基底92H上的簧色，看文字串“Line3”93时为在白基底93H上的深红色。也就是说，文字串91、92、93可看作在白基底上的彩色文字串。

另一方面，已双值化的文字串“Line4”94可看作由黑基底94H围住的簧色，已双值化的文字串“Line5”95可看作由黑基底95H围住的白色，已双值化的文字串“Line6”96可看作由黑基底96H围住的白色。也就是说，文字串94、95、96可看作由黑基底围住的彩色或白色文字串。

图8表示红色份90R上的双值化红色成份。在本实施例中，这样的红色份与红色有关，同理，绿色份与绿色有关，蓝色份与蓝色有关，合并数据份与合成色有关。如图所示，文字串“Line1”91R红色成份为0，基底91RH红色成份为1，因此，文字串“Line1”91R在红色份90R上是可见的。另一方面，文字串“Line2”92和“Line3”93都是数值为1，基底为1，所以，文字串“Line2”92和“Line3”93不可见，也不能与基底区分。同样，文字串“Line4”94、“Line5”95及“Line6”96都是数值为1，基底为0，所以，文字串“Line4”94、“Line5”95及“Line6”96在红色份90R上是可见的。

在图3中的步骤S13R，CPU106对于在双值化红色成份数据图上具有相同双值化数据的像素制作外接矩形，所连接的像素值既可以是0，也可以是1。这样，在步骤S13R，CPU106对于具有相同双值化数据、例如0的像素制作外接矩形。

图9表示对例如文字串“Line1”91中的文字“e”的像素制作外接矩形，在图9中，具有0数值的像素以黑正方形BKP表示，具有1数值的像素以白正方形WTP表示。像素尺寸例如可从1/32英寸到1/1200英寸范围。如图所示，文字“e”由许多具有0数值的像素构成，因此，CPU106以点(虚)线对黑像素制作外接矩形91R5。其它文字也可用上述方法处理。

图10表示对双值化红色份数据90R中具有相同双值化数据0数值、即暗像素制作外接矩形。参看图10，外接矩形91R1-91R6用点线表示，它们对文字串“Line1”91R中的文字或文字单元制作外接矩形。外接矩形946R1是对文字串“Line4”94R、“Line5”95R及“Line6”96R中的基底所制作的外接矩形。

在图3的步骤S14R中，CPU106选择上述外接矩形，结果，各所选择矩形确定了文字或文字单元的外接矩形。为了选择外接矩形，CPU106使用阈值TH1-TH7。这些阈值TH1-TH7可根据实验确定，作为常数设于程序代码中。此外，这些阈值可以根据输入图像数据的文字或语言的型式进行变更。更进一步说，这些阈值可通过如键盘122、鼠标器164等输入装置由程序用户特定，也可根据输入图像数据的统计学动态分析进行确定。

图11是图3中步骤S14、即选择外接矩形步骤的详细流程图。参看图11，在步骤S14-1，CPU106选择上述图10中外接矩形91R1-91R6以及946R1之一以确定其是否可看作文字或文字单元的外接矩形。在步骤S14-2，CPU106判断该外接矩形的短边是否比第一阈值TH1大，以及判断该外接矩形的短边是否比第二阈值TH2小。当该外接矩形的短边比第一阈值TH1大且比第二阈值TH2小场合(步骤S14-2的“是”)，则进入步骤S14-3，若判断结果为步骤S14-2的“否“场合，则移入步骤S14-6。在图10中例如外接矩形946R1可比第二阈值TH2大，因此，移入步骤S14-6。其它外接矩形91R1-91R6的短边处于第一阈值TH1和第二阈值TH2之间，因此，当对外接矩形91R1-91R6进行判断时，进入步骤S14-3。

在步骤S14-3，CPU106判断该外接矩形的长边是否比第三阈值TH3大，以及判断该外接矩形的长边是否比第四阈值TH4小。当该外接矩形的长边比第三阈值TH3大且比第四阈值TH4小场合(步骤S14-3的“是”)，则进入步骤S14-4，若判断结果为步骤S14-3的“否”场合，则移入步骤S14-6。

在步骤S14-4，CPU106判断该外接矩形的长边与短边之比是否比第五阈值TH5大，以及判断该外接矩形的长边与短边之比是否比第六阈值TH6小。当该外接矩形的长边与短边之比比第五阈值TH5大且比第六阈值TH6小场合(步骤S14-4的“是”)，则进入步骤S14-5，若判断结果为步骤S14-4的“否”场合，则移入步骤S14-6。作为一个实例，外接矩形的图形单元通常是细长的，即外接矩形的长边与短边之比通常相当大，处于第五阈值TH5与第六阈值TH6之间，于是，进入步骤S14-5。

在步骤S14-5场合，CPU106判断该外接矩形中具有相同双值化数据值的像素数与该外接矩形中所有像素数之比是否比第七阈值TH7大。当上述比值比第七阈值TH7大场合(步骤S14-5的“是”)，则进入步骤S14-7，若判断结果为步骤S14-5的“否”场合，则移入步骤S14-6。

在步骤S14-6，CPU106删除在上述步骤S14-2/S14-3/S14-4/S14-5中不成立的外接矩形，因为其没有被判断为文字或文字单元的外接矩形。进行删除后，进入步骤S14-7。

在步骤S14-7，CPU106判断是否对所有外接矩形进行了确定，当判断结果为步骤S14-7的“是”场合，则进入图3中的步骤S16，若判断结果为步骤S14-7的“否”场合，则返回步骤S14-1，对其它外接矩形重复上述步骤。

举一个除文字或文字单元外的外接矩形例子，外接矩形的图像噪音在许多情况下比文字或文字单元的外接矩形小。图形图像的外接矩形通常比文字或文字单元的外接矩形大。关于图形单元，如线、圆、画等，其外接矩形的长边与短边之比通常与文字或文字单元场合不同。图形单元的外接矩形通常连接像素的密度低，即外接矩形中连接像素数与该外接矩形中所有像素数之比通常比文字或文字单元场合小。基于以上理由，除文字或文字单元外的外接矩形可以被识别而删除。

当图10中的所有外接矩形经过上述步骤后，外接矩形946R1被删除，而外接矩形91R1、91R2、91R3、91R4、91R5及91R6得到保留。于是，在红成份中，相对亮的彩色基底的文字或文字单元作为在被保留的外接矩形中的数据被抽取出来。

回到图3，步骤S12G、S13G及S14G、和步骤S12B、S13B及S14B原理分别与上述步骤S12R、S13R及S14R相同。结果，在双值化绿成份中，文字串“Line1”91G和“Line3”93G的外接矩形被选择，在双值化蓝成份中，文字串“Line2”92B的外接矩形被选择。

在步骤S16中，CPU106合并在红、绿、蓝成份下在所选择的外接矩形中的双值化图像数据，合并成合成双值化图像数据。为了合并这些图像数据，CPU106在双值化彩色数据中对所选取的各相同像素、即在红、绿、蓝单色的相同座标位置实行逻辑运算。可使用逻辑AND作为上述逻辑运算，具有双值化数据0的文字被合并。当CPU106实行逻辑OR运算时，具有双值化数据1的文字被合并

此外，如果暗像素被表示为1，为了合并在相对亮基底上的暗文字，使用逻辑OR运算。如果暗像素被表示为1，为了合并在相对暗基底上的亮文字、即具有双值化数据0的文字，使用逻辑AND运算。进一步说，为了抽取特定彩色文字或其它目的，可以使用逻辑NAND运算、逻辑NOR运算、逻辑EXCUSIVE OR运算等和/或它们的组合。

图12表示通过逻辑OR运算对所选择外接矩形内的彩色成份的合并动作。所选择的彩色成份数据为红色份90R中的红色成份91R、绿色份90G中的绿色成份91G和93G、蓝色份90B中的蓝色成份92B。合成份90K具有文字串91K、92K、93K，它们是通过对上述红、绿、蓝份上的双值化数据进行逻辑AND运算得到的。在合并份90K上也有用点线围绕合并文字的合并外接矩形。因此，抽取得到图3中原稿90上的相对亮基底上的文字。

图13表示根据本发明从图3所示原稿抽取的文字串91K、92K和93K。该所抽取的文字可以输出供给其它软件如文字识别程序、图像编辑程序等。在图13中用点线表示的合并外接矩形的数据也可以提供给上述程序。

回到图3，本发明的文字抽取方法进一步提供动作步骤S17。在步骤S17中，CPU106抽取文字串区域，如字区域、句区域、段区域等，以便有效利用所抽取的文字。

图14是图3用于抽取文字串区域的步骤S17的详细化。在步骤S17-1，CPU106对图13的合并份90K的左上外接矩形设定指示字P1，以便对合并后的外接矩形进行扫描。在步骤S17-2，CPU106判断从所指示的外接矩形到右侧外接矩形的距离是否小于阈值TH8。举一个例子，为了抽取英文、德文、法文、西班牙文等字区域，阈值TH8可以设定为比字母之间打字间隙小的值。此外，该阈值TH8也可以与图13的合成面90K中字母尺寸成比例。为了抽取英文、德文、法文、西班牙文等句子区域，阈值TH8可以设定为比字母宽度小的值。为了抽取日文、中文、朝鲜文等句子区域，阈值TH8可以设定为比文字宽度小的值。

当判断结果为步骤S17-2的“是“场合，则进入步骤S17-3，若判断结果为步骤S17-2的“否”场合，则移入步骤S17-4。在步骤S17-3，CPU106合并所指定的外接矩形和右侧外接矩形，在步骤S17-4，CPU106增加指示字P1，指定下一个右侧外接矩形。

在步骤S17-5，CPU106判断是否任何矩形都位于指示字P1右侧的左方，当判断结果为步骤S17-5的“是”场合，则返回步骤S17-2，若判断结果为步骤S17-5的“否”场合，则进入步骤S17-6。在步骤S17-6，CPU106移动指示字P1，指定现在所在行的底下一行的左侧矩形。在步骤S17-7，CPU106判断是否任何矩形都位于指示字P1位置的左侧，当判断结果为步骤S17-7的“是”场合，则返回步骤S17-2，若判断结果为步骤S17-7的“否”场合，则进入步骤S17-11。

从步骤S17-11到步骤S17-17用于抽取垂直排列文字串区域，例如以垂直方向写成的日文或中文句字。在步骤S17-11，CPU106对图13的合并份90K的最上右外接矩形设定指示字P2，以便对合并后的外接矩形进行扫描。在步骤S17-12，CPU106判断从所指示的外接矩形到下侧外接矩形的距离是否小于阈值TH9。该阈值TH9可以按上述TH8的确定方法进行确定。

当判断结果为步骤S17-12的“是”场合，则进入步骤S17-13，若判断结果为步骤S17-12的“否”场合，则移入步骤S17-14。在步骤S17-13，CPU106合并所指定的外接矩形和下侧外接矩形，在步骤S17-14，CPU106增加指示字P2，指定下侧外接矩形。

在步骤S17-15，CPU106判断是否任何矩形都位于指示字P2下侧的左方，当判断结果为步骤S17-15的“是”场合，则返回步骤S17-12，若判断结果为步骤S17-15的“否”场合，则进入步骤S17-16。在步骤S17-16，CPU106移动指示字P2，指定现在所在列的左面一列的上侧矩形。在步骤S17-17，CPU106判断是否任何矩形都位于指示字P2位置的左侧，当判断结果为步骤S17-17的“是”场合，则返回步骤S17-12，若判断结果为步骤S17-17的“否”场合，则进入图3中的步骤S18。

图15表示通过上述方法由图4原稿抽取文字串区域。在图15中，在合并份90K上产生对文字串画外接线的各多边形91KS1、92KS1、93KS1以及矩形91KS2、92KS2、93KS2。于是，其它程序、例如文字识别程序可以使用由上述多边形和矩形围成作为文字串的图像数据。

如上所述，描述了抽取在相对亮的彩色基底上的若干彩色文字或文字串。下面，描述抽取在相对暗的彩色基底上的若干彩色文字或文字串。

图16是实行本发明的抽取暗基底上文字方法的动作流程图。在图16中，与图3相同部分用相同标号表示，详细说明省略。参照图16，在步骤S13R、S13G、S13B中，当CPU106对在双值化数据红色成份中具有相同双值化数据的像素制作外接矩形时，CPU106对具有相同双值化数据1的像素制作外接矩形。

图17表示对在双值化数据红色份90R中具有相同双值化数据1的像素制作的外接矩形。参照图17，外接矩形94R1W-94R6W是用点线围住文字串“Line4”94R形成的，外接矩形96R1W-96R6W是用点线围住文字串“Line6”96R形成的，另外，对文字串“Line5”95R也用点线制作外接矩形，但是标号省略。矩形91R1W围住文字串“Line1 91R的文字e中的基底一部分。

回到图16，在步骤S14R、S14G、S14B中，CPU106选择外接矩形，与图11中所示处理相同，所选择的外接矩形围住文字或文字单元。结果，在双值化红色成份中，选择了文字串“Line4”94R、“Line5”95R、“Line6”96R的文字或文字单元的外接矩形。同样，在双值化绿色成份中，选择了文字串“Line4”94G、“Line5”95G、“Line6”96G的文字或文字单元的外接矩形，在双值化蓝色成份中，选择了文字串“Line5”95B、“Line6”96B的文字或文字单元的外接矩形。在图17中的矩形91R1W围住文字e中的基底一部分，类似矩形可出现在其它彩色成份中。这些相对小的矩形可通过图11所示步骤S14处理过程进行选择。

在CPU106选择在彩色成份中围住具有相同双值化数据1的连接像素的矩形之后，在步骤S15R中，CPU106对矩形中所有像素数据进行颠倒变换，同样，在步骤S15G中，CPU106G、在步骤S15B中，CPU106B对矩形中所有像素数据进行颠倒变换，或实行逻辑NOT运算，即双值化数据1被颠倒变换为0，双值化数据0被颠倒变换为1。

在步骤S16中，CPU106将上述在红、绿、蓝成份中所选取的矩形中已颠倒变换的双值化图像数据合并成合成的双值化图像数据。为了合并上述图像数据，CPU106对在红、绿、蓝成份中所选取的矩形中已颠倒变换的双值化图像数据进行逻辑AND运算。图18表示所抽取的文字94W、95W、96W，它们是从图4所示原稿的具有相对暗基底的彩色数据中抽取而得的。

回到图16，在步骤S17中，CPU106抽取文字串的区域，如字区域、句区域等，图19是从图4所示原稿的彩色数据中抽取的相对亮的彩色文字串，其包括点线多边形94WS1、95WS1、96WS1，点线矩形94WS2、95WS2、96WS2。

图20A和20B是用于实行根据本发明的文字抽取方法的动作步骤的流程图。在图20A和20B中，与图3所示步骤相同部分用同一标号表示。在步骤S11中，图像数据被分离成红、绿、蓝成份。单成份处理分别在步骤S12R、S12G、S12B中进行，在步骤S12R，单成份被变换成双值化数据，在步骤S13R，对具有双值化数据1的若干暗的连接像素、即光学上较暗像素制作外接矩形，在步骤S14R中，选择上述外接矩形，结果，各所选择矩形围住文字或文字单元。步骤S12G、S13G及S14G、和步骤S12B、S13B及S14B原理分别与上述步骤S12R、S13R及S14R相同。

在步骤S14R、S14G及S14B之后，控制进入步骤S16，在该步骤中，对在所选择矩形中R、G、B成份的双值化数据进行合并。在步骤S17，上述已合并的双值化数据被有选择地连接为文字串。在步骤S19R，对具有双值化数据0的若干亮的连接像素、即光学上较亮像素制作外接矩形，在步骤S20R中，选择上述外接矩形，结果，各所选择矩形围住文字或文字单元。在步骤S21R，对在选择外接矩形中的所有像素数据进行颠倒变换。步骤S19G、S20G及S21G、和步骤S19B、S20B及S21B原理分别与上述步骤S19R、S20R及S21R相同。

在步骤S22，在所选择外接矩形中被颠倒变换的双值化数据以红、绿、蓝成份被合并。在步骤S23，可选择地对上述合并的数据抽取亮文字串区域。在步骤S24，删除经颠倒变换的被围有暗的连接像素的外接矩形复盖的亮像素。在步骤S25，上述经合并的暗的连接像素和经合并的已颠倒变换的亮的连接像素被进一步合并。在步骤S26，输出所抽取的文字串。

图21表示暗的彩色文字和亮的彩色文字的合并动作。当CPU106通过图20A的步骤S17对图4所示图像数据进行处理后，在第二份90K上，形成多边形91KS1、92KS1、93KS1以及矩形91KS2、92KS2、93KS2，并且，由上述多边形和矩形所围住的暗的文字串被抽取出来。当CPU106通过图20B的步骤S23进行处理后，在第一份90W上，形成多边形94WS1、95WS1、96WS1以及矩形94WS2、95WS2、96WS2，并且，由上述多边形和矩形所围住的经颠倒变换的亮的文字串被抽取出来。在步骤S20R、S20G、S20B中，形成矩形91WS1、92WS1、93WS1，并且，根据矩形选择条件，由上述矩形所围住的亮的文字部分被抽取出来。

图22表示删除被围有暗的连接像素的外接矩形复盖的亮像素的动作。在图22中，矩形91WS1围住已颠倒变换的亮的连接像素(图中用像素W表示)，多边形93WS1围住暗的连接像素(图中用像素K表示)。已颠倒变换的亮的连接像素位于多边形93WS1之内，因此，CPU106在图20B的步骤S24中删除该像素W。此外，表示在图21中的矩形92WS1和93WS1中的已颠倒变换的亮的连接像素也同样删除。

在图21的第三份90F上，形成多边形91S1、92S1、93S1、94S1、95S1、96S1以及矩形91S2、92S2、93S2、94S2、95S2、96S2，并且，由上述多边形和矩形所围住的暗的和亮的文字串被抽取出来。

图23是根据本发明实施例的彩色文字抽取装置200的方框图，在图23中，该彩色文字抽取装置200包括：数据输入装置211，彩色分离装置212，变换装置221RK、221GK、221BK、221RW、221GW、221BW，外接矩形装置222RK、222GK、222BK、222RW、222GW、222BW，矩形选择装置223RK、223GK、223BK、223RW、223GW、223BW，颠倒变换装置215R、215G、215B，六输入“或”门224。

数据输入装置211接收到所输入的图像数据，彩色分离装置212将该输入的图像数据分离成若干彩色成份，如红、绿、蓝成份。像素的各分离的彩色成份以多电平值构成。被分离的红色数据输出到变换装置221RK和221RW，被分离的绿色数据输出到变换装置221GK和221GW，被分离的蓝色数据输出到变换装置221BK和221BW。各变换装置221RK、221GK、221BK、221RW、221GW、221BW将输入的多电平数据变换成双值化数据，向外接矩形装置222RK、222GK、222BK、222RW、222GW、222BW输出上述双值化数据。

各外接矩形装置222RK、222GK、222BK、222RW、222GW、222BW设有控制终端CTL，当该控制终端CTL被固定于0时，则各外接矩形装置对各具有双值数据0的连接像素、即暗的像素外接矩形。当该控制终端CTL被固定于1时，则各外接矩形装置对各具有双值数据1的连接像素、即亮的像素外接矩形。然后，各外接矩形装置222RK、222GK、222BK、222RW、222GW、222BW输出矩形数据，并且输出所围住的双值化的连接像素数据，将上述数据输向矩形选择装置223RK、223GK、223BK、223RW、223GW、223BW。

矩形选择装置223RK、223GK、223BK、223RW、223GW、223BW根据预先设定的参数选择所输入的矩形，例如，矩形长边和短边的长度，矩形长边与短边长度之比等。另外，在矩形中具有相同双值化数据的连接像素数与所有像素之比也可以作为上述参数之一。

矩形选择装置223RK、223GK、223BK向六输入“或”门224输出所选择矩形中具有双值数据0的连接像素。矩形选择装置223RW、223GW、223BW向颠倒变换装置215R、215G、215B输出所选择矩形中具有双值数据1的连接像素。颠倒变换装置215R、215G、215B颠倒变换所输入的数据，即将双值数据1颠倒变换成0，并且，反过来也行。六输入“或”门224向外部装置输出六输入的逻辑AND作为抽取文字数据。

如上所述，彩色文字抽取装置200设有六套变换装置、外接矩形装置、矩形选择装置。但是，彩色文字抽取装置200也可通过一套变换装置、外接矩形装置和矩形选择装置进行彩色文字抽取。在那种结构中，彩色文字抽取装置200对于各分离彩色成份的暗像素和亮像素顺序进行上述处理过程，进行彩色文字抽取。

当然，本发明并不局限于上述实施例，在本发明技术思想范围内可以对本发明作种种变型，这些都属于本发明保护范围。

Claims

1.一种从彩色图像数据抽取文字的方法，其特征在于，包括下列步骤：

输入彩色图像数据；

将输入的彩色图像数据分离成若干彩色成份数据；

合并所选择外接矩形内的双值化彩色成份数据；

输出上述合并后的双值化图像数据。

2.根据权利要求1中所述的抽取文字方法，其特征在于，具有相同双值化值的连接像素是双值化值中光学意义上较暗的像素。

3.根据权利要求1中所述的抽取文字方法，其特征在于，具有相同双值化值的连接像素是双值化值中光学意义上较亮的像素。

4.根据权利要求1中所述的抽取文字方法，其特征在于，分离步骤将输入的彩色图像数据分离成红色成份数据、绿色成份数据和蓝色成份数据。

5.根据权利要求1中所述的抽取文字方法，其特征在于，分离步骤将输入的彩色图像数据分离成蓝绿色成份数据、深红色成份数据和黄色成份数据。

6.根据权利要求1中所述的抽取文字方法，其特征在于，分离步骤通过以预定比率进行加权将输入的彩色图像数据分离成彩色成份数据。

7.根据权利要求1中所述的抽取文字方法，其特征在于，合并步骤包括逻辑运算。

8.根据权利要求1中所述的抽取文字方法，其特征在于，选择外接矩形步骤包括以矩形中连接像素数与全部像素数的比值选择矩形。

9.根据权利要求1中所述的抽取文字方法，其特征在于，选择外接矩形步骤包括以矩形的短边长度与长边长度之比值选择矩形。

10.根据权利要求1中所述的抽取文字方法，其特征在于，进一步包括：

合并若干所选择的矩形，合并后的轮廓线围住文字串；

输出合并后轮廓线内的图像数据。

11.一种从彩色图像数据抽取文字的方法，其特征在于，包括下列步骤：

输入彩色图像数据；

将输入的彩色图像数据分离成若干彩色成份数据；

输出上述合并后的双值化图像数据。

12.根据权利要求11中所述的抽取文字方法，其特征在于，进一步包括：

当一选择矩形在另一个矩形之内时，则在上述合并步骤之前删除该一选择矩形内的经颠倒变换的双值化彩色成份数据。

13.根据权利要求11中所述的抽取文字方法，其特征在于，分离步骤将输入的彩色图像数据分离成红色成份数据、绿色成份数据和蓝色成份数据。

14.根据权利要求11中所述的抽取文字方法，其特征在于，分离步骤将输入的彩色图像数据分离成蓝绿色成份数据、深红色成份数据和黄色成份数据。

15.根据权利要求11中所述的抽取文字方法，其特征在于，分离步骤通过以预定比率进行加权将输入的彩色图像数据分离成彩色成份数据。

16.根据权利要求11中所述的抽取文字方法，其特征在于，合并步骤包括逻辑运算。

17.根据权利要求11中所述的抽取文字方法，其特征在于，选择外接矩形步骤包括以矩形中连接像素数与全部像素数的比值选择矩形。

18.根据权利要求11中所述的抽取文字方法，其特征在于，选择外接矩形步骤包括以矩形的短边长度与长边长度之比值选择矩形。

19.根据权利要求11中所述的抽取文字方法，其特征在于，进一步包括：

合并若干所选择的矩形，合并后的轮廓线围住文字串；

输出合并后轮廓线内的图像数据。

20.一种可由计算机读取的记录媒体，载有用于从彩色图像数据中抽取文字的一或多个指令序列，该一或多个指令序列包括指令，当通过一或多个处理装置实行时，上述指令使一或多个处理装置实行下列步骤：

输入彩色图像数据；

将输入的彩色图像数据分离成若干彩色成份数据；

合并所选择外接矩形内的双值化彩色成份数据；

输出上述合并后的双值化图像数据。

21.一种可由计算机读取的记录媒体，载有用于从彩色图像数据中抽取文字的一或多个指令序列，该一或多个指令序列包括指令，当通过一或多个处理装置实行时，上述指令使一或多个处理装置实行下列步骤：

输入彩色图像数据；

将输入的彩色图像数据分离成若干彩色成份数据；

输出上述合并后的双值化图像数据。

22.一种从彩色图像数据抽取文字的装置，其特征在于，包括：

数据输入装置，用于输入彩色图像数据；

彩色分离装置，将输入的彩色图像数据分离成若干彩色成份数据；

变换装置，将若干彩色成份数据相应地变换成若干双值化彩色成份数据；

外接矩形装置，对上述若干双值化彩色成份数据中的具有相同双值化值的连接像素制作外接矩形；

矩形选择装置，在若干双值化彩色成份数据中，根据外接矩形尺寸选择外接矩形；

合并装置，合并所选择外接矩形内的双值化彩色成份数据；

数据输出装置，输出上述合并后的双值化图像数据。

23.一种从彩色图像数据抽取文字的装置，其特征在于，包括：

数据输入装置，用于输入彩色图像数据；

第一外接矩形装置，对上述若干双值化彩色成份数据中的具有光学意义上较暗的相同双值化值的连接像素制作外接矩形；

第二外接矩形装置，对上述若干双值化彩色成份数据中的具有光学意义上较亮的相同双值化值的连接像素制作外接矩形；

颠倒变换装置，将光学意义上较暗的连接像素的外接矩形和光学意义上较亮的连接像素的外接矩形中的双值化彩色成份数据进行颠倒变换；

合并装置，合并所选择外接矩形内的双值化彩色成份数据和经颠倒变换的双值化彩色成份数据；

数据输出装置，输出上述合并后的双值化图像数据。