CN100578530C - 图像处理设备和图像方向判定方法 - Google Patents

Abstract

本发明涉及图像处理设备，图像方向判定方法，和计算机程序产品。在本发明中，第一方向判定单元对于对应于包含文本的图像的图像数据中的每个方向，判定方向对应于预定的图像方向的确定度以获取具有最高确定度的第一方向和具有次高确定度的第二方向。当第一方向和第二方向相反时，第二方向判定单元根据从图像数据提取的文本行位置判定预定方向对应于第一方向还是第二方向。

Description

图像处理设备和图像方向判定方法

相关申请的交叉引用

本文件通过引用结合2006年3月14日在日本提交的日本优先权文本2006-068988和2006年9月1日在日本提交的日本优先权文本2006-238016的全部内容。

技术领域

本发明涉及图像处理设备，图像方向判定方法，和计算机程序产品。

背景技术

在众所周知的判定图像方向的技术中，字符从图像中被提取，并且其特征量被随后提取。然后，找到该字符与每个字符之间在字典中四个方向上的相似度。然后，具有最高相似度的方向被判定为图像方向。在这类技术中，用于判定方向的字符的相似度在所有四个方向上被加在一起以判定方向。因此，例如，以6和9为例，当字符与相反方向上的字符具有高相似度时，文本图像的方向可能因为相似度被累积在一起而被错误地判定。

为了解决这个问题，日本公开专利申请号2000-113103揭露了一种技术，其中文本区域从图像数据中被提取，并且对每个字符在四个方向上进行字符识别。然后，在每个方向上获取字符识别的相似度，仅将超出预定阈值的相似度相加，并且将具有最高相似度的方向判定为图像方向。

然而，如果传统技术被用来对在四个方向提取的字符执行字符识别，中央处理单元(CPU)会有很大的负荷。基于这个原因，在仅安装了一个相对个人计算机(PC)而言性能较低的CPU的成像装置，例如扫描仪，复印机，数码相机中计算机，当光学字符识别(OCR)处理被执行时，处理速度会不切实际地慢。

为了加快处理速度，一种技术被提出，其中根据图像数据中文本行的布局信息，可以判定图像的方向。在传统技术中，当四个方向，即，上，下，左和右被判定，图像的方向是在水平方向还是垂直方向可以被准确地判定。然而，对于判定为垂直方向的图像到底是向上还是向下的判断以及对于判定为水平方向的图像到底是向左还是向右的判断可能会因为布局信息的差别比较小而弄错。

发明内容

本发明的目的是至少部分地解决传统技术中的问题。

根据本发明的一方面，图像处理设备包括确定性测量单元，其关于与包含文本的图像相对应的图像数据中的各方向，测量与所述图像的预定方向相对应的方向的确定度，以获得具有最高确定度的第一方向和具有次高确定度的第二方向，和方向判定单元，其从所述图像数据中提取至少一个文本行，并且当第一方向与第二方向相反时，根据所述文本行的位置判定所述第一方向和第二方向之一是否对应于所述预定方向。

根据本发明的另一方面，图像方向判定方法包括从对应于包括文本的图像的图像数据中至少提取一个文本行，对于图像数据中的每个方向，测量方向对应于预定的图像方向的确定度以获取具有最高确定度的第一方向和具有次高确定度的第二方向，和当第一方向和第二方向相反时，根据文本行位置判定第一方向和第二方向之一是否对应于预定的方向。

根据本发明的又一个方面，包含具有嵌入介质的计算机可读取程序编码的计算机可用介质的计算机程序产品，当被执行时，使计算机施行上述的方法。

结合附图，通过下面对本发明的具体实施例详细地描述，本发明上述和其它的目的，特征，优点和技术以及产业上的重要性将很好地被了解。

附图说明

图1是根据本发明实施例的图像处理设备的方框图；

图2是由图像处理设备进行的方向判定和修正处理的流程图；

图3是图2所示的第一方向判定处理的详细流程图；

图4是图2所示的第二方向判定处理的详细流程图；

图5是方向待定的图像数据的一个实例；

图6是从图5所示的图像数据提取的文本行的一个实例；

图7是图1所示的第二方向判定单元所进行的另一个方向判定处理的流程图；

图8是提取的文本行产生简单区域的一个实例；和

图9是图像处理设备硬件结构的方框图。

具体实施方式

参考附图本发明的具体实施例将在前面被详细解释。本发明并不仅限于前面描述的实施例。

图1是根据本发明实施例的图像处理设备100的方框图。在下面所描述的实施例中，图像处理设备100被解释为，例如，PC。然而，图像处理设备100可以包括从原始材料，或者在其中储存数据的数据库读取数据的扫描仪。图像处理设备100也可以是打印机或者包括成像单元的多功能产品(MFP)。

图像处理设备100包括数据获取单元101，第一方向判定单元102，第二方向判定单元103，方向修正单元104，和输出单元105。例如，当文本通过扫描仪被读取，通过取任意方向为向上的方向产生文本的图像数据。因此，实际文本向上的方向可能与产生的图像数据向上的方向不一样。然而，为了在屏幕上显示图像数据，图像数据必须被显示在字符向上的方向上。同样地，为了打印图像数据，字符必须被打印在预定的方向上。图像处理设备100可以修正在方向上的这类错误。

数据获取单元101获取扫描仪读取的或者通过网络传输来的数据。在此假设所读取数据是包括字母或者字符的图像数据(在此以后，“文本图像数据”)。

第一方向判定单元102判定数据获取单元101获取的文本图像数据上下左右每个方向对应于文本图像数据的文本向上方向的确定度。文本图像数据的方向代表了字符的方向。例如，向上的方向表示在文本图像数据中包含的字符倾斜0度，也就是，字符向上。向左的方向表示在文本图像数据中包含的字符倾斜90度，也就是，字符向左倾斜。向下的方向表示在文本图像数据中包含的字符倾斜180度，也就是，字符颠倒。向右的方向表示在文本图像数据中包含的字符倾斜270度，也就是，字符向右倾斜。第一方向判定单元102提取包含在文本图像数据中的文本行作为垂直文本行或者水平文本行。

第二方向判定单元103仅在有限的方向判定文本图像数据的方向，也就是第一方向判定单元102判定的最高确定度的方向(列为最高确定度的方向)和第一方向判定单元102判定的次高确定度的方向(列为次高确定度的方向)。第二方向判定单元103包括文本行提取单元1031，坐标提取单元1032，和方向判定单元1033。文本行提取单元1031对于从第一方向判定单元102中提取的每个垂直或者水平文本行从文本图像数据中提取文本行。坐标提取单元1032寻找文本行的头坐标(此后，“头坐标”)和文本行的尾坐标(此后，“尾坐标”)以产生柱状图。方向判定单元1033根据文本行头坐标(头坐标分布)和尾坐标(尾坐标分布)的分布或分散度来判定文本图像数据的方向。

方向修正单元104根据用于修正的第二方向判定单元103判定的文本图像数据的方向来旋转文本图像数据。输出单元105打印或者在屏幕上输出通过方向修正单元104修正过的文本图像数据。

图2是图像处理设备100判定和修正方向的处理流程图。

数据获取单元101获取图像数据(步骤S201)。第一方向判定单元102然后通过第一方向判定处理判定上下左右各方向的确定度(步骤S202)。第一方向判定处理的详细内容将在下面解释。第二方向判定单元103然后判定四个方向也就是上下左右中的任一方向的判定度是否等于或者大于阈值(步骤S203)。如果四个方向中的任一方向的判定度等于或者大于阈值(步骤S203为是)，第二方向判定单元103将具有最高确定度的方向判定为文本图像数据的方向(步骤S204)。

如果四个方向中的没有一个方向的判定度等于或者大于阈值(步骤S203为否)，第二方向判定单元103判定第一级方向和第二级方向是否具有上下关系或者左右关系(步骤S205)。

如果第一级方向和第二级方向是上下关系或者左右关系(步骤S205为是)，第二方向判定单元103通过第二方向判定处理将第一级方向和第二级方向之一判定为文本图像数据的方向(步骤S206)。第二方向判定处理的详细内容将在下面解释。方向修正单元104根据判定的方向旋转图像数据来进行修正(步骤S207)。顺便提及，图像数据的旋转和修正的执行不仅可以通过旋转图像数据的坐标来修正，当图像数据是可移植文档格式(PDF)还可以通过在图像数据的开头写入相关旋转角的信息来进行修正。当图像数据是可交换图像文件格式(EXIF)，可以将相关旋转角的信息作为附加信息写入。为了显示和打印图像数据，当阅读器和打印程序支持PDF或者EXIF，不用改变图像数据的坐标图像数据通过旋转可以被显示和打印。

如果第一级方向和第二级方向没有上下关系或者左右关系(步骤S205为否)，第二方向判定单元103将文本图像数据的方向判定为未知(步骤S208)。输出单元105然后将图像数据输出到屏幕或者打印机上(步骤S209)。

以这种方法，如果，在第一方向判定处理中，上下左右方向的判定度不等于或者大于阈值，并且因此，文本图像数据的方向不能被判定或者可能被错误判定，图像文本数据的方向在不同于第一方向判定处理的第二方向判定处理中被再次判定，第一方向判定处理中判定的限定的两方向作为文本图像数据较高可能方向。以此，文本图像数据的正确方向可以被判定。同样，通过限制要在第二方向判定处理中判定的方向，判定正确方向的可能性被增加，并且处理时间也减少了。进一步，由于文本图像数据根据修正的判定方向而旋转，文本图像数据可以在使用者可以方便观看的方向上被显示在屏幕上，也就是，因此字符是向上的。进一步，同样在打印过程中，文本图像数据可以在某个方向被打印。

图3是第一方向判定单元102执行的第一方向判定处理的详细流程图(图2中步骤S202)。这里，将简要解释一下处理步骤。更详细的解释，可以参考日本专利申请公开号2005-077879。

第一方向判定单元102从图像数据中提取水平文本行(步骤S301)。接下来，第一方向判定单元102从图像数据中提取垂直文本行(步骤S302)。第一方向判定单元102从每个文本行中提取矩形特征体(步骤S303)。第一方向判定单元102将提取的矩形特征体与字典中写入的特征体匹配(步骤S304)。第一方向判定单元102判定这一匹配是否进行了上下左右方向上的四次(步骤S305)。

如果匹配没有进行四次(步骤S305为否)，第一方向判定单元102变换矩形的坐标，也就是，将矩形旋转90度(步骤S306)。如果匹配进行了四次(步骤S305为是)，第一方向判定单元102将具有最高特征匹配率的任一方向判定为文本行的方向(步骤S307)。第一方向判定单元102然后对每个方向上的文本行数进行计数(步骤S308)。第一方向判定单元102然后根据每个方向上文本行数计算每个方向的确定度(步骤S309)。

第一方向判定处理并不仅限于这里解释的处理。各方向上的确定度可以通过其它处理被找到。例如，比上述处理速度更快的方向判定处理可以被用来作为第一方向判定处理，这样可以进一步整体地降低处理速度。

图4是第二方向判定单元103执行的第二方向判定处理的详细流程图(图2中步骤S206)。

文本行提取单元1031提取文本行的判定区域(步骤S401)。特别地，当第一方向判定单元102判定的具有最高和次高确定度的文本图像数据的第一级和第二级方向是向上和下方向时，文本图像数据的方向被暂时地认为是向上的方向用于提取区域。另一方面，当第一方向判定单元102判定的具有最高和次高确定度的文本图像数据的第一级和第二级方向是向左和右方向时，文本图像数据的方向被暂时地认为是向左的方向用于提取区域。图5是等待判定方向的图像数据的一个实例。例如，在图5中，被点线包围的矩形区域51被提取作为矩形区域用于提取文本行。

文本行提取单元1031从提取的矩形区域51中提取文本行(步骤S402)。图6是从图5所示的文本图像数据中提取的文本行的一个实例。这个实例中第一方向判定单元102判定的具有最高和次高确定度的文本图像数据的第一级和第二级方向是向上和下方向，根据第一方向判定处理的结果，文本行在水平方向被提取。顺便提及，当文本行被提取，文本行的倾斜度可以被找到，考虑找到的倾斜度，头和尾坐标可以被找到。文本行的倾斜是从文本行中矩形分布的尾坐标的回归线找到的。因为众所周知，所以如何找到回归线在这里就不解释了。若需要可以参考例如I.Guttman和S.S.Wilks所著的“工程分析入门”(日译本由Baifukan有限公司出版)。

坐标提取单元1032提取了每个提取的文本行的头和尾坐标(步骤S403)。在图6的实例中，每个文本行头位置(左边)的x坐标和它的尾位置(右边)的x坐标被提取。方向判定单元1033生成文本行头尾坐标的柱形图(步骤S404)。在图6的实例中，文本行头x坐标的柱形图和其尾x坐标的柱形图生成。方向判定单元1033从生成的柱形图测量离差(步骤S405)。特别地，文本行头坐标分布和其尾坐标分布被测量。

这里，指示文本行开始点的柱形图具有下列特征之一：(1)坐标集中在同一个值上，和(2)坐标集中在两个地方，也就是，标记坐标(标记位置)和文本体头的坐标。另一方面，指示文本行结束点的柱形图具有下列特征之一：(1)坐标离差大，和(2)坐标集中在相同值上。这里，当头和尾坐标都集中在各自的相同值上，可以认为文本行的数量已经大到某一程度。因此，第一方向判定单元102可以判定具有高确定度的方向，并且它们超过了阈值。因此，判定中的难度在这里不会产生问题。

接下来，利用上述柱状图的特点，方向判定单元1033用测得的离差值来以条件表达式判定方向(步骤S406)。特别地，没有满足的文本行数(文本行头x坐标的平均值-头x坐标的离差值×2)和没有满足的文本行数(文本行尾x坐标的平均值-尾x坐标的离差值×2)被计算，并且计算所得数字大的被判定为文本行尾。在图6的实例中，文本行尾(右边)具有分散更多的X坐标，因此计算得较多的行。所以，文本行的右边被判定为尾。这种情况下，字符被认为是向上的，并且图像数据的方向被判定为向上的。

在步骤S401中，通过抽取每个段落作为判定区域，判定区域内第一文本行的头坐标和最后文本行的尾坐标的柱状图可以被找到用来判定文本图像数据的方向。以此，即使每一段的方向不同，也可以判定正确的方向。

在另一个实施例中，替代从文本行头坐标和尾坐标的分布来判定文本行的起点和结束点从而判定图像数据的方向，包括提取的文本行的矩形区域被发现。矩形区域的边界位置到每个文本行的头的距离和从其边界位置到每个文本行的尾的距离被找到，并且，基于距离的离差，可以判定图像数据的方向。这一处理将在下面解释。

代替上述的处理，第二方向判定单元103的坐标提取单元1032找到包括提取的文本行的矩形区域，并且然后测得矩形区域的边界位置到每个文本行的头的距离和其边界位置到每个文本行的尾的距离。坐标提取单元1032还找到至多个包括在矩形区域内的文本行头的距离和到其尾的距离以生成柱状图。代替上述的处理，方向判定单元1033根据从矩形区域到文本行头和从矩形区域到其尾的距离分散度来判定文本图像数据的方向。

图7是第二方向判定单元103所执行的另一个方向判定处理的流程图。在下述的方向判定处理中，根据关于第一方向判定单元102判定的文本行的信息，文本图像数据的方向被判定。

文本行提取单元1031选择由第一方向判定单元102判定为具有最高确定度和次高确定度的文本行(步骤S701)。文本行提取单元1031将这些选择出来的文本行统一以产生简单区域(步骤S702)。图8是提取的文本行产生简单区域的一个实例。在图8的实例中，文本图像数据的最高确定度方向和次高确定度方向在上下方向，并且文本行81及其它通过第一方向判定处理提取的文本行被统一以产生简单区域82。顺便提及，在具有最高确定度和次高确定度的文本行中，通过找到最小x和y坐标以及最大x和y坐标，通过最小x和y坐标以及最大x和y坐标定义的矩形可被获取作为判定区域。

坐标提取单元1032为每一文本行测量从简单区域到头的距离(此后，“头距离”)和从简单区域到尾的距离(此后，“尾距离”)(步骤S703)。在图8中，在文本行81中，例如，从简单区域82到文本行81头的距离是头距离83。同样，从简单区域82到文本行81尾的距离是尾距离84。方向判定单元1033测量头距离的离差和尾距离的离差(步骤S704)。顺便提及，在这种情况下，可以产生柱状图以测量离差。

方向判定单元1033用条件表达式来判定文本图像数据的方向(步骤S705)。其中有特征与上述文本行的头坐标和尾坐标的相似的特征，因此，使用这些特征的条件表达式被使用以判定文本图像数据的方向。特别地，没有满足的文本行数(头距离的平均值-头距离的离差值×2)和没有满足的文本行数(尾距离的平均值-尾距离的离差值×2)被计算，并且计算所得数字大的被判定为文本行尾。在图8的实例中，文本行尾(右边)具有分散较多的文本行尾距离，因此计算得较多的行。所以，文本行的右边被判定为尾。这种情况下，字符被认为是向上的，并且图像数据的方向被判定为向上的。

在上述的实施例中，第二方向判定单元103根据第一方向判定单元102提取的垂直方向或者水平方向文本行来判定文本行的头坐标和尾坐标。作为选择，第二方向判定单元103的文本行提取单元1031可独立地在垂直方向或者水平方向提取文本行。这种情况下，坐标提取单元1032找到垂直方向的文本行的头坐标和尾坐标以及水平方向的文本行的头坐标和尾坐标，然后找到四类坐标的每种的离差。因此，文本图像数据的方向被判定。

当找到从矩形区域到每个文本行头的距离以及矩形区域到其尾的距离，相似地，找到至垂直方向每个文本行的头和尾的距离以及到水平方向每个文本行的头和尾的距离。因此，找到四类距离的每种的离差，并且文本图像数据的方向被判定。

图9是图像处理设备100硬件结构的方框图。在图9所示的硬件结构中，如实施例所述的处理通过微处理器等的数字处理被执行。在图9中，图像处理设备100是计算机，例如PC，并且包括扫描仪901，CPU 902，硬盘903，显示装置904，光盘驱动器905，随机存取存储器(RAM)906，只读存储器(ROM)907，和打印装置908。CPU 902控制图像处理设备100的每个组件。ROM 907储存了用于启动CPU 902的计算机程序。硬盘903储存了扫描仪901读取的图像数据，操作系统，应用程序等。RAM 906作为工作区域，储存在硬盘903上的图像数据被载入用于字符方向识别的处理。显示装置904显示图像数据，输入状态等。打印装置908打印图像数据。光盘驱动器905读取储存在例如压缩盘只读介质(CD-ROMs)的各种光学信息记录介质上的计算机程序。在这些组件之间发送和接收的数据由总线控制器调节(没有显示)。

扫描仪901光学地读取原始材料，并且将读取的结果转换成电信号的图像数据。CPU902读取方向判定程序，其执行储存在ROM 907或者硬盘903中的方向判定处理，并且对作为工作区域的RAM 906中的文本图像数据执行图像处理。方向判定程序可以通过光盘驱动器905从例如CD-ROM或者软盘(FD)的储存介质读取。被处理过的图像数据在CPU902的控制下被储存在硬盘903中并且，如果需要，被显示在显示装置904上并由打印装置908输出。

图像处理设备100将图像方向判定程序作为应用程序储存在硬盘903中。即，硬盘903在其中储存图像方向判定程序。

一般地，要安装在硬盘903上的应用程序被储存在存储介质中。储存介质的实例包括各种类型的例如CD-ROM的光学信息记录介质和例如FD的磁介质。储存在存储介质上的应用程序被安装在硬盘903上。即，例如各种类型的包括CD-ROM的光学信息记录介质和包括FD的磁介质的便携储存介质，可以用来储存图像方向判定程序。图像方向判定处理也可以是，例如，通过通讯装置(没有显示)从外部下载并安装到硬盘903上。

综上所述，根据本发明的实施例，确定度测量单元对于对应于包含文本的图像的图像数据的每个方向，测量方向对应于预定的图像方向的确定度，并且获取具有最高确定度的第一方向和具有次高确定度的第二方向。方向判定单元从图像数据提取至少一个文本行，并且当第一方向和第二方向相反时，根据文本行判定第一方向和第二方向之一是否对应于预定的方向。即，对于图像数据中的每个方向判定确定度，并且根据两个方向判定图像数据的方向。因此，图像数据的方向可以精确并且高速地被判定。

虽然已对于用于完整清楚的披露的特定实施例说明了本发明，但是附加权利要求并不仅限于此，而要被解释为包含本领域技术人员可能想到的清楚地属于在此提出的基本教义的所有变化例和可替换结构。

Claims (6)

1.一种图像处理设备，其特征在于，包括：

确定性测量单元，所述确定性测量单元关于与包含文本的图像相对应的图像数据中的各方向，测量与所述图像的预定方向相对应的方向的确定度，以获得具有最高确定度的第一方向和具有次高确定度的第二方向；

方向判定单元，所述方向判定单元从所述图像数据中提取至少一个文本行，并且当第一方向与第二方向相反时，根据所述文本行的位置判定所述第一方向和第二方向之一是否对应于所述预定方向；和

提取所述文本行的头坐标和尾坐标的坐标提取单元；

其中所述方向判定单元根据所述头坐标和尾坐标来判定所述第一方向和第二方向之一是否对应于所述预定方向。

2.如权利要求1所述的图像处理设备，其特征在于，所述方向判定单元判定所述确定度是否等于或者小于阈值，并且在判定关于所有方向的所述确定度等于或者小于阈值的情况下，判定所述第一方向和第二方向之一是否对应于所述预定方向。

3.如权利要求1所述的图像处理设备，其特征在于，其中

所述图像数据包括多个文本行，

所述坐标提取单元提取各所述文本行的头坐标和尾坐标，并且获取头坐标分布和尾坐标分布，且

所述方向判定单元根据所述头坐标分布和尾坐标分布来判定所述第一方向和第二方向之一是否对应于所述预定方向。

4.一种图像方向判定方法，其特征在于，包括：

从与包含文本的图像相对应的图像数据中提取至少一个文本行；

关于所述图像数据中的各方向，测量与图像的预定方向相对应的方向的确定度，以获得具有最高确定度的第一方向和具有次高确定度的第二方向；

当所述第一方向与所述第二方向相反时，根据所述文本行的位置判定所述第一方向和第二方向之一是否对应于所述预定方向；和

获取所述文本行的头坐标和尾坐标，

其中所述判定包括根据所述头坐标和尾坐标来判定所述第一方向和第二方向之一是否对应于所述预定方向。

5.如权利要求4所述的图像方向判定方法，其特征在于，其中所述判定包括判定所述确定度是否等于或者小于阈值，并且当关于所有方向的所述确定度等于或者小于阈值时，判定所述第一方向和第二方向之一是否对应于所述预定方向。

6.如权利要求4所述的图像方向判定方法，其特征在于，其中

所述提取包括提取多个文本行，

所述获取包括获取各所述文本行的头坐标和尾坐标，并获取头坐标分布和尾坐标分布，和

所述判定包括根据所述头坐标分布和尾坐标分布来判定所述第一方向和第二方向之一是否对应于所述预定方向。

Images