CN1674035A - 图像处理设备和图像处理方法 - Google Patents

Abstract

用户从在背景图像内包含字符的目标图像中指定包含字符的目标识别区域。当目标识别区域中的像素具有接近目标识别区域轮廓上的像素颜色的颜色时，目标识别区域中的像素颜色被转换成预定颜色，即目标识别区域中的像素被变成透明的。随后，对其中已经转换像素颜色的目标识别区域对字符识别处理。根据本发明的设备和方法，有效消除了噪声和背景图像。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及用于字符识别的图像处理设备和图像处理方法。

背景技术

在用于在包含要进行字符识别的字符的图像中截取字符识别目标的方法中，用户指定包含字符识别目标的矩形区域。在用于截取字符识别目标的方法中，需要更加精确地指定字符区域和消除噪声以提高字符识别的精度。

例如，通常自动从图像中提取包含均匀密度的区域的矩形区域。这个方法确定在例如孤立点处其尺寸小于预定尺寸的矩形区域中不包含字符，于是从字符识别区域中排除这个区域。

另一方面，用于消除噪声的已知方法的例子包含设置二进制阈值以根据图像的密度分布，例如亮度分布将字符像素与其它像素区别开的方法，以及根据密度分布设置字符的上阈值和下阈值，并且排除超过这个范围的像素的方法。

近来，随着信息处理设备性能的提高，存在许多对彩色图像进行字符识别处理的情况。因此，已经提出针对彩色图像的噪声消除方法。

例如，日本专利公开说明书No.Hei 6-203204公开了这样的方法，其中通过允许用户从例如帐目表的颜色样本中选择颜色，或通过在先前为打印指定颜色而指定的标记区域上打印指定颜色，截取出字符。此外，在日本专利公开说明书No.Hei 5-28314中，3个颜色(RGB)被用作丢失(dropout)颜色，并且利用消除了RGB颜色的图像来提取字符。

然而，当对广告牌或杂志的摄影图像执行字符识别时，字符背景经常包含图片，说明或图案，使得难以提取字符信息。具体地，当字符和背景之间存在细小的对比度或色调差异时，难以根据密度分布设置阈值和利用阈值提取精确字符信息。

此外，在根据区域的尺寸确定字符区域的方法中，包含噪声的区域不具有足够的规则性，于是使用区域尺寸提取字符区域是有缺陷的。结果，存在这样的情况，其中假定不与目标字符相连的字符却连接到目标字符，或者假定与目标字符相连的字符却与目标字符分离；也就是说，字符区域的尺寸因图像质量而不同。因此，可能错误地将字符作为噪声从字符区域中排除。

此外，根据日本专利公开说明书No.Hei 6-203204和No.Hei 5-28314中公开的用于截取字符区域的方法，难以在除了帐目表之外的图像上精确截取字符区域。此外，这些方法相当麻烦，因为用户需要例如从颜色样本中指定颜色。

发明内容

为解决上述问题，本发明提供了一种从目标识别区域中有效消除噪声的图像处理设备和图像处理方法。此外，本发明的设备和方法不需要用户进行额外的工作。

例如，根据本发明，用于从目标图像中提取包含字符的目标识别区域的图像处理设备包含：用于显示目标图像的显示器；目标识别区域指定单元，用于允许用户指定显示器上显示的目标图像中目标识别区域的轮廓；比较单元，用于比较由目标识别区域指定单元指定的目标识别区域的轮廓上的像素颜色，和目标识别区域中的像素颜色；和颜色转换单元，用于在比较单元比较而得的像素之间的颜色差处于预定范围内时，将目标识别区域中的像素颜色转换成预定转换颜色。

通过以下结合附图进行的描述可理解本发明其它特征和优点，在其中的所有附图中，类似附图标记表示相同或类似的部分。

附图说明

并入说明书并且构成说明书组成部分的附图图解了本发明的实施例，并且和前面的说明一起被用来说明本发明的原理。

图1是使用基于本发明的图像处理设备的移动信息处理设备的外部视图。

图2是具有在图1示出的移动信息处理设备中输入坐标的功能的液晶显示器的透视图。

图3是图1示出的移动信息处理设备中的硬件结构的模块图。

图4是图1示出的移动信息处理设备执行的处理的模块图。

图5是图1示出的移动信息处理设备中执行的图像处理方法的流程图。

图6是图5示出的图像处理方法中的颜色转换处理的流程图。

图7是图5示出的图像处理的流程图。

图8是颜色转换处理的流程图。

具体实施方式

下面参照附图描述基于本发明的图像处理设备或识别目标截取设备的实施例。

图1是使用基于本发明的识别目标截取设备的移动信息处理设备的外部视图。虽然在实施例中以移动信息处理设备为示例，然而本发明的识别目标截取设备不限于此，并且可以在其它电子设备，例如台式计算机或笔记本计算机中使用本发明。

[移动信息处理设备]

现在参照图1，充当本发明的识别目标截取设备的移动信息处理设备包含液晶显示器201，其用于显示要处理的图像，各种数据，图形用户接口(GUI)等等。图2示出的用于指定坐标的数字化仪202被布置在液晶显示器201的表面上。

移动信息处理设备包含用于打开和关闭电源的电源开关101，光标键103，菜单键104，退出键105和返回键106。液晶显示器201上的这些单元和GUI允许例如向移动信息处理设备输入命令。

图2是具有在移动信息处理设备中输入坐标的功能的液晶显示器的透视图。在图2中，液晶显示器201是例如480点×640点并且对角线尺寸为3.5英寸的全色液晶显示器。

数字化仪202由例如用于输入坐标的已知电阻薄膜组成，并且被平行地布置在液晶显示器201的显示表面上(例如，数字化仪是触摸板)。通过用例如输入笔或针笔203的输入设备在数字化仪202的表面上施加压力，对数字化仪202进行输入。对压力的检测根据输入笔203按压的位置输入坐标。虽然在本实施例中输入笔203被用来输入坐标，然而也可以用例如鼠标的指示设备输入坐标。

图3是图1示出的移动信息处理设备中的硬件结构的模块图。参照图3，移动信息处理设备包含连接到总线4的微处理器或MPU1。MPU1执行各种计算和逻辑确定，并且控制连接到总线4的所有单元。

MPU1顺序执行存储在程序存储器2中的程序，以进行如下所述基于图5和6示出的流程图的处理。虽然在本实施例中执行基于本发明的处理的计算机程序被存储在程序存储器中，然而计算机程序也可以被存储在例如硬盘，磁光盘或快擦写存储器的各种存储介质中。

MPU1在处理中产生或使用的数据被存储在数据存储器3中。数据存储器3被分割为用于存储多个图像数据的图像存储器301，用于存储要处理的图像中目标识别区域的图像数据的目标识别图像存储器302，和用于存储处理图像所需的各种变量，乘数等等的处理寄存器303。

液晶显示器201和数字化仪202通过总线4或另一电缆连接到MPU1。本发明中要处理的图像数据可以通过例如网络接口从外部设备发送，或者可以利用例如存储器卡来捕捉。此外，移动信息处理设备可以包含数字摄像机，并且可以处理数字摄像机得到的图像。

[识别处理]

图4是图1示出的移动信息处理设备执行的处理的模块图。在图4示出的移动信息处理设备的识别处理中，从图像存储器301读取的要处理的图像被显示在液晶显示器201上，并且由用户利用数字化仪202指定要处理的图像内的、作为目标识别区域的、包含字符的区域(步骤S401)。

目标识别区域被写入目标识别图像存储器302中。根据用户指定的目标识别区域的轮廓上的像素的信息确定背景像素，并且背景像素被改变为预定颜色。例如，在步骤S402背景像素被变成透明的。背景像素可以被改变为白色或其它颜色。接着，在步骤S403对目标识别区域执行字符识别，从而获得识别结果404。

[用于截取识别目标的方法]

参照图5，详细描述在步骤S401和S402中截取字符识别目标的处理。

步骤S501：要处理的图像被显示在液晶显示器201上，并且处理处于后备状态，直到在步骤S502输入落笔(PenDown)信号，即在数字化仪202上按下输入笔203。

步骤S502：MPU1确定是否检测到落笔信号。当检测到落笔信号时，处理前进到步骤S503。例如，当目标识别区域为矩形时，通过在输入落笔信号之后拖拉输入笔来指定矩形区域的对角点。

步骤S503：获得在步骤S502输入的对角点的X坐标Xmax，Xmin和Y坐标Ymax，Ymin。

步骤S504：MPU1确定是否释放落笔信号。当释放落笔信号时，处理前进到步骤S505。当未释放落笔信号时，处理返回到步骤S503。

步骤S505：用户指定的目标识别区域被存储在缓冲区1(目标识别图像存储器302)中。

步骤S506：测量目标识别区域的宽度和高度，并且测量的宽度和高度被赋给要存储在处理寄存器303中的变量x和y内。

步骤S507：下面开始参照图6描述用于将像素变成透明的处理(颜色转换处理)。MPU1确定目标识别区域内的背景像素，并且对背景像素执行颜色转换处理。接着，处理前进到识别处理。

现在参照图6描述在步骤S507中的颜色转换处理。在图6中，XMAX＝Xmax-Xmin，并且YMAX＝Ymax-Ymin。在提取的目标识别区域中，左边为X＝0，右边为X＝Xmax，上边为Y＝0，并且下边为Y＝Ymax。

步骤S601：当在步骤S507开始颜色转换处理时，X和Y被初始化成零(X＝0，Y＝0)。因此，目标轮廓上的第一像素被初始化成具有坐标(0，0)，即位于目标识别区域的左上角的像素。

步骤S602：MPU1确定目标轮廓上的像素(X，Y)是否为透明的。当像素不透明时，处理前进到步骤S603。当像素透明时，处理前进到步骤S604，从而跳过步骤S603。

步骤S603：确定其颜色基本上与目标轮廓上的像素颜色相同的像素，并且这些确定的像素被变成透明的。接着，处理前进到步骤S604。

能够任意选择像素被变成的颜色(转换颜色)，只要字符在目标识别区域中得到良好限定。在本实施例中，像素被变成透明的。

当通过输入笔指定目标识别区域的轮廓时，其颜色与指定区域轮廓上像素的颜色基本相同的像素被改变为转换颜色。可选地，只有与指定区域轮廓连续并且其颜色与指定区域轮廓上的像素颜色基本相同的像素才可以被变成透明的。

例如利用颜色的RGB分量的汉明距离或分配有权重的RGB分量的汉明距离，确定颜色是否基本相同。

步骤S604：X被改变为X+1(X＝X+1)；即将X坐标加一以前进到步骤S605。

步骤S605：MPU1确定X是否已经达到XMAX(目标识别区域的右边)。当X＞XMAX时，处理前进到步骤S606。当X≤XMAX时，处理返回到步骤S602。

步骤S606：MPU1确定Y是否已经达到YMAY(目标识别区域的下边)。当Y＝YMAX时，处理前进到步骤S608。当Y＜YMAX时，处理移动到步骤S607。

步骤S607：YMAX被代入Y并且零被代入X，处理返回到步骤S602。

步骤S608：X和Y被初始化成零(X＝0，Y＝0)。因此，目标像素是目标识别区域中具有坐标(0，0)，即位于目标识别区域的左上角的像素。

步骤S609：MPU1确定目标轮廓上的像素(X，Y)是否为透明的。当目标轮廓上的像素不透明时，处理前进到步骤S610。当目标轮廓上的像素透明时，处理前进到步骤S611，从而跳过步骤S610。

步骤S610：确定其颜色基本上与目标轮廓上的像素的颜色相同的像素，并且这些确定的像素被变成透明的。接着，处理前进到步骤S611。可选地，只有与指定区域轮廓连续并且其颜色与指定区域轮廓上的像素颜色基本相同的像素才可以被变成透明的。

步骤S611：Y被改变成Y+1(Y＝Y+1)；即将Y坐标加一以前进到步骤S612。

步骤S612：MPU1确定Y是否已经达到YMAY(目标识别区域的下边)。当Y＞YMAX时，处理前进到步骤S613。当Y≤YMAX时，处理返回到步骤S609。

步骤S613：MPU1确定X是否已经达到XMAX(目标识别区域的右边)。当X＜XMAX时，处理前进到步骤S614。当X＝XMAX时，颜色转换处理终止。

步骤S614：XMAX被代入X并且零被代入Y，处理返回到步骤S609。

在上述颜色转换处理中，其颜色与通过输入笔指定的指定区域的轮廓上像素的颜色基本相同的像素被变成透明的。

图7示出了在其上执行基于本发明的处理的图像。在图7中，从图像存储器301读取的目标图像701在图像背景中包含http：//www.abcde.co.jp。用户在步骤S701指定包含字符的目标识别区域702。目标识别区域702被图7中目标图像701中的虚线710包围。

目标识别区域702被存储在目标识别图像存储器302中，并且被读取。目标识别区域702包含由背景图像中的像素组成的噪声N，于是这些构成目标识别区域702中的背景图像的像素被图6示出和如上所述的步骤S703中的颜色转换处理变成透明的。

颜色转换处理将目标识别区域702改变成无噪声图像704，于是目标识别区域702中的字符变得清楚。

图8的流程图图解了在步骤S603和步骤S610中的颜色转换处理。

颜色转换处理包含以下步骤。假定在步骤S602和步骤609中获得目标轮廓上进行颜色转换处理的像素颜色。

步骤S801：目标识别区域中要在颜色转换处理中进行比较的目标像素被初始化，即目标像素的坐标被改变为X＝0和Y＝0，并且处理前进到步骤S802。

步骤S802：MPU1确定目标像素是否为转换颜色(透明)。当目标像素具有转换颜色时，处理前进到步骤S805。当目标像素不具有转换颜色时，处理前进到步骤S803。

步骤S803：MPU1确定目标像素的颜色是否接近轮廓上的像素颜色。一个确定目标像素的颜色是否接近轮廓上的像素颜色的方法是汉明距离。当目标像素的颜色和轮廓上的像素颜色之间的汉明距离小于或等于预定距离(即目标识别区域轮廓上的像素和目标区域中的像素之间的颜色差处于预定范围内。可选地，目标识别区域中的像素与轮廓上的像素连续并且具有基本相同的颜色)时，处理前进到步骤S804。事先根据距离函数通过实验计算预定距离。当目标像素上的像素颜色和轮廓的像素颜色之间的汉明距离大于预定距离时，处理前进到步骤S805。可以使用其它用于确定目标像素的颜色是否接近轮廓上的像素颜色的方法(其它距离函数)，例如欧几里德距离。

步骤S804：目标像素被改变为转换颜色(在本实施例中为透明)，以前进到步骤S805。

步骤S805：将目标像素的X坐标加一以前进到步骤S806。

步骤S806：确定目标像素的X坐标是否超过XMAX。当X坐标超过XMAX时，处理前进到步骤S807。当X坐标未超过XMAX时，处理返回到步骤S802。

步骤S807：目标像素的X坐标被初始化成零，并且目标像素的Y坐标加一，以前进到步骤S808。

步骤S808：确定目标像素的Y坐标是否超过YMAX。当目标像素的Y坐标超过YMAX时，处理终止。当目标像素的Y坐标未超过YMAX时，处理返回到步骤S802。

如上所述，对于本发明的设备和方法，首先指定包含要进行字符识别的所有字符的目标识别区域。目标识别区域的轮廓上的像素被认为是噪声，目标识别区域内其颜色与轮廓上的像素的颜色基本相同的像素被变成转换颜色，从而消除目标识别区域中的噪声。

在上述处理中，当确定存在噪声时，排除不在目标识别区域的轮廓上的像素。为此，除上述处理之外，应用若干噪声消除算法以保证更加有效地截取识别目标(字符)。

虽然已经参照示例性实施例描述了本发明，然而应当理解，本发明不局限于公开的实施例。相反，本发明旨在覆盖所附权利要求书的实质和范围内包含的各种修改和等同方案。以下权利要求的范围应有最宽的解释，以便包括所有这种修改，等同结构和功能。

本申请要求于2004年3月22日提交的日本专利应用2004-08188的优先权，这里参考引用了所述专利申请。

Claims (16)

1.一种用于从目标图像中提取包含字符的目标识别区域的图像处理设备，该图像处理设备包括：

用于显示目标图像的显示器；

目标识别区域指定单元，用于允许用户在显示器上显示的目标图像中指定目标识别区域的轮廓；

比较单元，用于比较由目标识别区域指定单元指定的目标识别区域的轮廓上的像素的颜色，和目标识别区域中的像素的颜色；和

颜色转换单元，用于在比较单元比较而得的像素之间的颜色差处于预定范围内时，将目标识别区域中的像素的颜色转换成预定转换颜色。

2.如权利要求1所述的图像处理设备，其中目标识别区域中的像素被颜色转换单元变成透明的。

3.如权利要求1所述的图像处理设备，其中目标识别区域中的像素的颜色被颜色转换单元改变为白色。

4.如权利要求1所述的图像处理设备，其中当用户在目标识别区域指定单元中指定目标识别区域的轮廓时，使用数字化仪。

5.如权利要求1所述的图像处理设备，其中当用户在目标识别区域指定单元中指定目标识别区域的轮廓时，使用指示设备。

6.如权利要求1所述的图像处理设备，其中当比较单元比较而得的、目标识别区域的轮廓上的像素和目标识别区域中的像素之间的颜色差处于预定范围内，并且轮廓上的像素与目标识别区域的预定附近的像素连续时，颜色转换单元将目标识别区域中的像素的颜色改变为转换颜色。

7.如权利要求1所述的图像处理设备，还包括字符识别单元，用于对其中像素颜色已经被颜色转换单元改变的目标识别区域执行字符识别处理。

8.一种用于从目标图像中提取包含字符的目标识别区域的图像处理方法，该图像处理方法包括：

用于显示目标图像的显示步骤；

目标识别区域指定步骤，用于允许用户在显示步骤所显示的目标图像中指定目标识别区域的轮廓；

比较步骤，用于比较在目标识别区域指定步骤中指定的目标识别区域的轮廓上的像素的颜色，和目标识别区域中的像素的颜色；和

颜色转换步骤，用于在比较步骤比较而得的像素之间的颜色差处于预定范围内时，将目标识别区域中的像素的颜色转换成预定转换颜色。

9.如权利要求8所述的图像处理方法，其中目标识别区域中的像素被颜色转换步骤变成透明的。

10.如权利要求8所述的图像处理方法，其中目标识别区域中的像素被颜色转换步骤改变成白色。

11.如权利要求8所述的图像处理方法，其中当用户在目标识别区域指定步骤中指定目标识别区域的轮廓时，使用数字化仪。

12.如权利要求8所述的图像处理方法，其中当用户在目标识别区域指定步骤中指定目标识别区域的轮廓时，使用指示设备。

13.如权利要求8所述的图像处理方法，其中当比较步骤比较而得的、目标识别区域的轮廓上的像素和目标识别区域中的像素之间的颜色差处于预定范围内，并且轮廓上的像素与目标识别区域的预定附近的像素连续时，在颜色转换步骤中将目标识别区域中的像素的颜色改变为转换颜色。

14.如权利要求8所述的图像处理方法，还包括字符识别步骤，用于对其中像素颜色已经被颜色转换步骤改变的目标识别区域执行字符识别处理。

15.一种包括程序代码的计算机程序，所述程序代码允许计算机执行以下步骤：

用于显示目标图像的显示步骤；

目标识别区域指定步骤，用于允许用户在显示步骤所显示的目标图像中指定目标识别区域的轮廓；

比较步骤，用于比较在目标识别区域指定步骤中指定的目标识别区域的轮廓上的像素的颜色，和目标识别区域中的像素的颜色；和

颜色转换步骤，用于在比较步骤比较而得的像素之间的颜色差处于预定范围内时，将目标识别区域中的像素的颜色转换成预定转换颜色。

16.一种计算机可读存储介质，包括如权利要求15所述的计算机程序。

Images