CN103813050A - 图像处理设备和图像处理方法 - Google Patents

Abstract

公开了图像处理设备和方法。图像处理设备包括：第一检测单元，从图像检测边界；提取单元，从边界提取直线段；第二检测单元，检测跨越提取的直线段定位的附近像素的像素值之间的差大于预定第一值、或大于等于预定第一值的区域；分类单元，将检测到的区域中的直线段分类成四边形的四个边；第三检测单元，检测四个边的外部区域中的颜色或密度；选择单元，从可能形成四边形的四个边的组合中选择这样的组合：对应于组合中的直线段且检测到的颜色或密度之间的差小于等于预定第二值、或小于预定第二值；第四检测单元，检测组合中的直线段延伸时获得的四个顶点的坐标，从所选组合中检测满足条件的组合；校正单元，将检测到的组合形成的四边形校正为矩形。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备和一种图像处理方法。

背景技术

日本未审查专利申请公布No.2006-048626公开了一种图像处理设备。该图像处理设备的目的是不将台板图像的轮廓错误地判定为文档图像的轮廓，而是正确地获得文档图像的轮廓。图像处理设备预先捕获处于文档未置于台板上的状态中的图像并获得比较图像，该图像处理设备将处于文档置于台板上的状态中的尺寸缩小图像与比较图像进行比较并获得差分图像（differential image），并且该图像处理设备通过使用差分图像来消除台板图像的轮廓并获得文档图像的轮廓。

日本未审查专利申请公布No.2012-014430描述了这样的问题：当诸如照相机的图像捕获装置捕获文档图像时，由于倾斜而在文档处出现梯形失真，不得不检测文档框以校正失真；然而，如果多个直线成分出现在文档区域的外部，则难以估计文档框。因此，该公布公开了：当从直线成分的组合来估计文档框候选时，通过考虑在正交于直线的方向上的颜色梯度，能够减小文档框候选的数量。

发明内容

本发明的目的是提供一种图像处理设备和一种图像处理方法。当从图像提取四边形区域并将四边形校正至矩形时，如果四边形中的一个边区域相对于另一边区域的颜色或密度（density，浓度）具有不同颜色或不同密度，则该图像处理设备和该图像处理方法均防止错误提取四边形。

为实现该目的，通过本发明的以下方面来刻画本发明的特征。根据本发明的第一方面，一种图像处理设备包括：第一检测单元，其从图像检测边界；提取单元，其从由第一检测单元检测到的边界提取直线段；第二检测单元，其检测这样的区域：在该区域中，跨越由提取单元提取的直线段而定位的附近像素的像素值之间的差大于预定第一值、或者等于或大于预定第一值；分类单元，其将由第二检测单元检测到的区域中的直线段分类成四边形的四个边；第三检测单元，其检测由分类单元分类的四个边的外部区域中的颜色或密度；选择单元，其从可能形成四边形的四个边的组合中选择这样的组合：对应于组合中的直线段的且由第三检测单元检测到的颜色或密度之间的差等于或小于预定第二值、或者小于预定第二值；第四检测单元，其检测当组合中的直线段延伸时所获得的四个顶点的坐标，并且从由选择单元所选择的组合中检测由相应四个坐标形成的四边形的面积满足预定条件的组合；以及校正单元，其将通过由第四检测单元检测到的组合形成的四边形校正为矩形。

根据本发明的第二方面，图像处理设备还可以包括消除单元,如果一个边的直线段的端点和可能与这一个边的直线段相交的两个边的直线段的端点之间的距离大于预定第三值、或者等于或大于预定第三值，则消除单元从由分类单元分类成四个边的直线段中消除一个边的直线段。第三检测单元和选择单元可能不会将由消除单元消除的直线段作为目标。

根据本发明的第三方面，图像处理设备还可以包括设置单元，设置单元根据选择背景区域的颜色的变化的操作者的操作来设定由选择单元所使用的预定第二值。

本发明的第四方面可以是这样的图像处理设备：其中，如果所选择的组合形成的四边形的面积占图像的比率等于或小于预定第四值、或者小于预定第四值，则选择单元改变预定第二值并且再次执行选择处理。

本发明的第五方面可以是这样的图像处理设备：其中，第三检测单元检测四个边的端点附近的外部区域中的颜色或密度，并且其中，选择单元将由两个相邻边形成的顶点附近的外部区域中的通过第三检测单元检测到的颜色或密度作为目标。

本发明的第六方面可以是这样的图像处理设备：其中，第三检测单元检测三个顶点附近或两个对角顶点附近的外部区域中的颜色或密度。

根据本发明的第七方面，一种图像处理方法包括：从图像检测边界；从边界提取直线段；检测这样的区域：在该区域中，跨越直线段而定位的附近像素的像素值之间的差大于预定第一值、或者等于或大于预定第一值；将区域中的直线段分类成四边形的四个边；检测四个边的外部区域中的颜色或密度；从可能形成四边形的四个边的组合中选择这样的组合：对应于组合中的直线段的且在颜色或密度之间的差等于或小于预定第二值、或者小于预定第二值；从所说多个组合中检测这样的组合：当该组合中的直线段延伸时所获得的四个顶点的坐标、以及由该相应四个坐标形成的四边形的面积满足预定条件；以及将通过组合形成的四边形校正为矩形。

利用根据第一方面的图像处理设备，当从图像提取四边形的区域并且将四边形校正为矩形时，如果四边形中的边区域相对于另一个边区域的颜色或密度具有不同颜色或不同密度，则可以防止四边形的错误提取。

利用根据第二方面的图像处理设备，不形成矩形的直线段可被消除，并且之后可以执行处理。

利用根据第三方面的图像处理设备，可以根据由选择背景区域的颜色变化的操作者的操作设定预定第二值。

利用根据第四方面的图像处理设备，如果所选择的四边形的面积与图像的比率不合适，则可以再次选择四边形。

利用根据第五方面的图像处理设备，可以通过使用各边端点附近的外部区域中的颜色或密度来选择四边形。

利用根据第六方面的图像处理设备，可以执行选择处理，而无需检测四个顶点的外部区域中的颜色或密度。

利用根据第七方面的图像处理方法，当从图像提取四边形的区域并且将四边形校正为矩形时，如果四边形中的边区域相对于另一个边区域的颜色或密度具有不同颜色或不同密度，则可以防止四边形的错误提取。

附图说明

将基于以下附图对本发明的示例性实施例进行详细说明，其中：

图1是根据第一示例性实施例的配置示例的概念模块配置图。

图2是示出实施示例性实施例的图像处理设备的硬件配置示例的框图。

图3是示出根据第一示例性实施例的处理示例的流程图。

图4是示出根据第一示例性实施例的处理示例的解释性视图。

图5是示出根据第一示例性实施例的处理示例的解释性视图。

图6是示出根据第一示例性实施例的处理示例的解释性视图（直线段提取模块）。

图7是示出根据第一示例性实施例的处理示例的解释性视图（直线段提取模块）。

图8是示出根据第一示例性实施例的处理示例的解释性视图（直线段提取模块）。

图9A至图9D是示出根据第一示例性实施例的处理示例的解释性视图（阶梯边缘检测模块）。

图10是示出根据第一示例性实施例的处理示例的解释性视图（直线段分类模块）。

图11是示出根据第一示例性实施例的处理示例的解释性视图（直线段分类模块）。

图12是示出根据第一示例性实施例的处理示例的解释性视图（直线段分类模块）。

图13是示出根据第一示例性实施例的处理示例的解释性视图（附近颜色检测模块）。

图14是示出根据第一示例性实施例的处理示例的解释性视图（附近颜色检测模块）。

图15是示出线段信息表的数据结构示例的解释性视图。

图16是示出根据第一示例性实施例的处理示例的解释性视图（四边形候选选择模块）。

图17是示出根据第一示例性实施例的处理示例的解释性视图（形状校正模块）。

图18是示出根据第一示例性实施例的处理示例的解释性视图（形状校正模块）。

图19是示出根据第二示例性实施例的处理示例的解释性视图。

图20是根据第二示例性实施例的配置示例的概念模块配置图。

图21是示出根据第二示例性实施例的流程图的处理示例。

图22是示出根据第二示例性实施例的处理示例的解释性视图（孤立直线消除模块）。

图23是根据第三示例性实施例的配置示例的概念模块配置图。

图24是示出根据第三示例性实施例的处理示例的流程图。

图25是根据第四示例性实施例的配置示例的概念模块配置图。

图26是示出根据第四示例性实施例的处理示例的流程图。

图27是示出根据第四示例性实施例的处理示例的流程图。

图28是示出实施示例性实施例的计算机的硬件配置示例的框图。

图29A和图29B是示出当捕获文档图像等时出现的投影失真的示例的解释性视图。

具体实施方式

在解释示例性实施例之前，参考图29A和图29B描述基础技术。提供该解释说明以便更容易理解示例性实施例。

当通过照相机捕获诸如文档或白板等矩形对象的图像时，会发生投影失真。图像捕获装置通过照相机可以捕获由用户置于文档台上的文档的图像，存储由照相机捕获的文档的图像数据且执行图像处理，并且通过投影仪将文档的图像放大且投影在屏幕上。图像处理可以将投影失真校正至原始矩形。用于提取具有投影失真的四边形的处理例如可以是从图像数据检测直线成分的技术，并且当该技术从直线成分提取形成矩形的四条线时，该技术选择这样的四条线，这四条线的梯度方向在朝向内侧和外侧的方向之一上不是相同的。此外，存在这样的技术：在文档等被置于台板上的同时对其图像进行捕获，并且通过使用先前已捕获的仅台板的图像与带有文档的图像之间的差异来获得该文档的四条边。

这些技术基本上可以适用于具有简单布局的白板或文档。然而，例如，如图29A所示的文档图像2910，具有在其周边整个区域中带有颜色的标题2912的文档图像2910可以成为该技术的对象。在这种情况下，可能没有从图像2900检测到包括标题2912的文档图像2910。如图29B所示，可能从图像2900检测到的是文档图像（部分）2914。文档图像（部分）2914可以被无意地校正。

下面参考附图对期望用于实施本发明的各种示例性实施例进行描述。

第一示例性实施例

图1是根据第一示例性实施例的配置示例的概念模块配置图。

模块表示诸如软件（计算机程序）、硬件等的部件，其在理论上通常可以是独立的。因此，任一示例性实施例中的模块不局限于计算机程序中的模块，并且还表示硬件配置中的模块。因此，示例性实施例还描述了计算机程序（使计算机执行进程的程序、使计算机作为单元运行的程序、使计算机提供功能的程序）、系统和方法。在该解释说明中，使用了措词“存储”、“使存储”以及等同用语。当示例性实施例是针对计算机程序时，这些措词表示“使存储装置进行存储”或“控制存储装置以进行存储”。此外，模块可以一对一地对应于功能。然而，当安装时，一个模块可以由一个程序形成，多个模块可以由一个程序形成，或者一个模块可以由多个程序形成。此外，多个模块可以由一个计算机执行，或者一个模块可以在分布式环境或并行环境下由多个计算机执行。一个模块可以包括另一个模块。此外，在下面的解释说明中，措词“连接”可以用于物理连接和逻辑连接（对数据、指令、数据中的引用关系等进行传输和接收）。措词“预定”表示值是在对象处理之前预先确定的。除了根据示例性实施例的处理开始之前的情况，即使在根据示例性实施例的处理开始之后，只要是在对象处理之前的情况，就可以根据当前时刻的状态和条件或者截止到当前时刻的状态和条件来确定值。如果存在多个“预定值”，这些值可以彼此不同，或者两个或更多个值（当然，甚至所有值）可以是相等的。此外，表达式“如果为A，则执行B”表示“判定是否为A，并且在为A的情况下，执行B”，除非另外地无需判定是否为A。

此外，系统或设备可以通过经由诸如网络的通信措施（包括一对一的通信连接）来连接多个计算机、硬件、装置等形成，或者可以形成为具有一个计算机、硬件、装置等。“设备”和“系统”作为等同词语使用。当然，“系统”不包括作为人为规则的纯粹的“社会方案”（社会系统）。

此外，每当由每个模块进行每次处理时，或者当在模块中执行多步骤处理的情况下进行每次处理时，从存储装置读取对象信息，并且在处理之后，将处理结果写入存储装置中。因此，对于处理之前从存储装置进行读取和处理之后写入存储装置的解释说明有时可以省去。此处提及的存储装置可以包括硬盘、随机存取存储器（RAM）、外部存储介质、通过通信线路的存储装置和中央处理单元（CPU）中的寄存器。

根据第一示例性实施例的图像处理设备对具有投影失真的图像进行校正。如图1的示例中所示，图像处理模块100包括边缘检测模块110、直线段提取模块120、阶梯边缘检测模块130、直线段分类模块140、附近颜色检测模块150、四边形候选选择模块160、最大四边形检测模块170、形状校正模块180和输出模块190。

边缘检测模块110连接至直线段提取模块120。边缘检测模块110从图像检测边界（其称为边缘或轮廓，并且下文也称为边缘）。在图像中，捕获矩形（四边形（包括方形））文档、白板等，并且投影失真出现在矩形处。文档、白板等在此处作为例子；然而，只要对象的外部形状是矩形的，则可以应用任一这样的对象。此外，对象图像的接收例如包括：通过使用扫描仪或照相机（包括其位置相对于对象固定的照相机、由用户操作的数字照相机、和配备有照相机的移动电话）读取图像，经由通信线路通过使用传真等从外部装置接收图像，以及读取存储在硬盘（包括安装在计算机中的配置、或经由网络连接的配置）中的图像。图像可以是二值图像或多值图像（包括彩色图像）。将要接收的图像可以是一个图像或多个图像。此外，图像的内容可以是商业上使用的文档、用于广告的册子、或用于会议的白板等。

检测边界的方法可以使用被称为边缘检测的现有技术。例如，通过使用作为差分滤波器的索贝尔滤波器（Sobel filter）来检测具有预定强度或更高强度的边缘部分。

直线段提取模块120连接至边缘检测模块110和阶梯边缘检测模块130。直线段提取模块120从由边缘检测模块110检测的边界提取直线段。例如，直线段提取模块120检测形状上近似直线的边缘，并且获取每个边缘的倾斜度以及起始点和终点的位置信息。直线段提取模块120可以消除具有预定长度或更小长度的直线段。后面将参考图6至图8进行细节描述。

阶梯边缘检测模块130连接至直线段提取模块120和直线段分类模块140。阶梯边缘检测模块130检测这样的区域（下文也称为阶梯边缘区域）：在该区域中，跨越由直线段提取模块120提取的直线段而定位的附近像素的像素值之间的差大于预定第一值、或者等于或大于预定第一值。“跨越直线段而定位的附近像素的像素值之间的差”均为位于平面（其被直线段分成一个平面和另一个平面）中与直线段相距预定距离内的、位于该一个平面中的像素与位于该另一个平面中的像素的像素值之间的差。例如，从由直线段提取模块120提取的直线段中仅提取其相应边缘为阶梯类型的直线段。后面参考图9A至图9D将进行细节描述。

直线段分类模块140连接至阶梯边缘检测模块130和附近颜色检测模块150。直线段分类模块140将由阶梯边缘检测模块130检测的区域中的直线段分类成四边形的四个边。例如，直线段被分类成上边候选、下边候选、左边候选和右边候选。后面将参考图10至图12进行细节描述。

附近颜色检测模块150连接至直线段分类模块140和四边形候选选择模块160。附近颜色检测模块150检测由直线段分类模块140分类的四个边的外部区域中的颜色或密度。例如，附近颜色检测模块150测量并保持处于上边、下边、左边和右边候选的外部区域中、或者处于图像端部附近区域中的颜色或密度。后面将参考图13和图14进行细节描述。

四边形候选选择模块160连接至附近颜色检测模块150和最大四边形检测模块170。四边形候选选择模块160从可能形成四边形的四个边的组合（四边形）中选择这样的组合：与这些组合中的直线段对应的由附近颜色检测模块150检测的颜色或密度之间的差等于或小于预定第二值、或者小于预定第二值。“颜色或密度之间的差”均表示组合中的颜色或密度之间的差。例如，四边形候选选择模块160从所有上边、下边、左边和右边候选的组合中仅选择附近颜色接近的组合。附近颜色接近的状态表示在某个颜色空间中计算出的附近颜色之间的距离为预定值或更小值。后面将参考图15和图16进行细节描述。

最大四边形检测模块170连接至四边形候选选择模块160和形状校正模块180。最大四边形检测模块170检测当组合中的直线段延伸时所获得的四个顶点的坐标，并且从由四边形候选选择模块160所选择的各组合中检测由相应四个坐标形成的四边形的面积满足预定条件的组合。例如，最大四边形检测模块170获得当四个线段延伸时获得的四个顶点的坐标，并且从由四边形候选选择模块160输出的多个四条线段组合中获得由相应四个坐标形成的四边形的面积是最大面积的组合。“面积满足预定条件”的状态包括具有最大面积的四边形、以及其面积与图像具有预定比和更大比的四边形。下文对面积为最大的示例进行描述。

形状校正模块180连接至最大四边形检测模块170和输出模块190。形状校正模块180对由最大四边形检测模块170检测到的组合所形成的四边形进行校正。例如，执行投影变换，使得具有最大面积的四边形的四个顶点的坐标与校正后的矩形的四个顶点一致。后面将参考图17和图18进行细节描述。

输出模块190连接至形状校正模块180。输出模块190输出由形状校正模块180校正至矩形的图像。输出图像包括：由诸如打印机的打印装置打印图像，在诸如显示器的显示装置上显示图像，通过诸如传真机的图像传输装置传输图像，将图像写入诸如图像数据库的图像存储装置，将图像存储在诸如存储卡的存储介质中，以及将图像传输至其它信息处理装置。

图2是示出实施示例性实施例（包括第一示例性实施例和后面将描述的第二至第四示例性实施例）的图像处理设备的硬件配置示例的框图。

硬件配置包括图像处理模块100、图像接收模块210、控制模块220、存储器230、通信模块240、显示模块250和操作模块260。

图像处理模块100连接至图像接收模块210、控制模块220、存储器230、通信模块240和显示模块250。图1中作为例子示出的模块由图像处理模块100形成。

图像接收模块210连接至图像处理模块100。边缘检测模块110接收对象图像。例如，边缘检测模块110是上述照相机。

存储器230连接至图像处理模块100。存储器230存储对象图像、处理结果等。图像处理模块100通过使用存储器230执行处理。

通信模块240连接至图像处理模块100。图像处理模块100经由通信模块240将处理结果等输出至外部装置。

显示模块250连接至图像处理模块100。显示模块250是诸如液晶显示器的显示装置。图像处理模块100将处理结果等输出至显示模块250。

操作模块260连接至控制模块220。操作模块260是接收用户操作的键盘、鼠标、触控面板等，并且接收用于图像处理模块100的指令。例如，操作模块260接收开始由图像处理模块100进行处理的指令。图像处理模块100（特别地，附近颜色阈值设置模块2355）响应于接收到的指令执行处理。

控制模块220连接至图像处理模块100和操作模块260。控制模块220响应于由操作模块260接收到的指令使图像处理模块100执行处理。

图3是示出根据第一示例性实施例的处理示例的流程图。

在步骤S302中，边缘检测模块110使用索贝尔滤波器等，并且从由图像接收模块210接收到的图像检测出具有预定强度或更高强度的边缘部分。

在步骤S304中，直线段提取模块120检测形状上接近直线的边缘，并且获得每个边缘的倾斜度以及起始点和终点的位置信息。

在步骤S306中，阶梯边缘检测模块130从由直线段提取模块120提取的线中仅提取其相应边缘为阶梯类型的线。

在步骤S308中，直线段分类模块140根据每个直线的倾斜度和位置将直线分类成上边、下边、左边和右边候选。

在步骤S310中，附近颜色检测模块150测量并保持处于上边、下边、左边和右边候选的外部区域中或者图像端部附近的区域中的颜色或密度。

参考图4和图5中的示例给出解释说明。

在图4的示例中，测量并保持处于上边候选的上部区域（测量区域（上部区域）420）、下边候选的下部区域（测量区域（下部区域）424）、左边候选的左侧区域（测量区域（左侧区域）426）和右边候选的右侧区域（测量区域（右侧区域）422）中的颜色或密度。

在图5的示例中，测量和保持处于四个边端点附近的外部区域中的颜色或密度，更具体地为处于上边候选的上部区域（背景（右上区域A）520，背景（左上区域B）534）、下边候选的下部区域（背景（右下区域B）526，背景（左下区域A）528）、左边候选的左侧区域（背景（左下区域B）530，背景（左上区域A）532）和右边候选的右侧区域（背景（右上区域B）522，背景（右下区域A）524）中的颜色或密度。

替代地，附近颜色检测模块150可以检测处于三个顶点附近或两个对角顶点附近的外部区域中的颜色或密度。更具体地，三个顶点附近的外部区域表示四个组合（背景（右上区域A）520，背景（右上区域B）522）、（背景（右下区域A）524，背景（右下区域B）526）、（背景（左下区域A）528，背景（左下区域B）530）和（背景（左上区域A）532，背景（左上区域B）534）当中的三个组合。两个对角顶点附近的外部区域表示（背景（右上区域A）520，背景（右上区域B）522）和（背景（左下区域A）528，背景（左下区域B）530）、或者（背景（右下区域A）524，背景（右下区域B）526）和（背景（左上区域A）532，背景（左上区域B）534）。

在步骤S312中，四边形候选选择模块160从上边、下边、左边和右边候选的所有组合中仅选择附近颜色或附近密度相近的组合。

在图4的示例中，选择这样的组合作为四边形的候选：其中，上边候选的上部区域（测量区域（上部区域）420）、下边候选的下部区域（测量区域（下部区域）424）、左边候选的左侧区域（测量区域（左侧区域）426）和右边候选的右侧区域（测量区域（右侧区域）422）的四个区域中的颜色或密度基本相等（颜色或密度的差在预定值的范围内）。

在图5的示例中，由两个相邻边形成的顶点附近的外部区域中由附近颜色检测模块150检测到的颜色或密度被作为目标。即，从上边候选的上部区域（背景（右上区域A）520，背景（左上区域B）534）、下边候选的下部区域（背景（右下区域B）526，背景（左下区域A）528）、左边候选的左侧区域（背景（左下区域B）530，背景（左上区域A）532）和右边候选的右侧区域（背景（右上区域B）522，背景（右下区域A）524）中，处于相邻边的端点附近的外部区域中的颜色或密度接近的线被选择并用作矩形的候选。更具体地，在背景（右上区域A）520与背景（右上区域B）522之间、在背景（右下区域A）524与背景（右下区域B）526之间、在背景（左下区域A）528与背景（左下区域B）530之间和在背景（左上区域A）532与背景（左上区域B）534之间比较颜色或密度。此外，如上所述，如果附近颜色检测模块150检测三个顶点附近的外部区域中的颜色或密度，则在三个组合之间比较颜色或密度。如果附近颜色检测模块150检测两个对角顶点附近的外部区域中的颜色或密度，则在两个组合之间比较颜色或密度。该配置可以应用于复杂背景，例如，至少非单色的背景。存在下面的情况：背景（右上区域A）520和背景（右上区域B）522的颜色或密度基本相等并且背景（左下区域A）528和背景（左下区域B）530的颜色或密度基本相等；或者背景（右下区域A）524和背景（右下区域B）526的颜色或密度基本相等并且背景（左上区域A）532和背景（左上区域B）534的颜色或密度基本相等。因此，例如，背景（右上区域A）520和背景（左下区域A）528中的颜色或密度可以不同。

在步骤S314中，最大四边形检测模块170获得当四条线段延伸时得到的四个顶点的坐标，并且从由四边形候选选择模块160输出的多个四条线段组合中获得形成具有最大面积的四边形的组合。

在步骤S316中，形状校正模块180执行投影变换，使得具有最大面积的四边形的四个顶点的坐标与在预定校正之后的矩形的四个顶点一致。

在步骤S318中，输出模块190输出在投影变换之后的图像。

参考图6至图8描述由直线段提取模块120执行的处理的细节。

通过对由边缘检测模块110提取的边缘图像执行霍夫变换（Hough transform），直线段提取模块120可以获得倾斜度和与图像中直线边缘成分的原点的距离。例如，如果由边缘检测模块110提取的边缘图像是图6中作为例子示出的图像，则将要通过霍夫变换提取的直线段是如图7中作为例子示出的。

因为通过霍夫变换获得的线仅具有有关倾斜度和与实际直线边缘图像的原点的距离的信息，所以将通过霍夫变换获得的线和实际边缘图像彼此比较，并且获得出现在预定距离内的区域中的边缘图像的范围。这样，获得线段的两端（起始点和终点）的坐标。此时，起始点可以是两端中的任一个。对如上所述获得的直线成分进行编号、列出并存储。例如，如图8的示例中所示，将通过霍夫变换获得的单一直线820的位置与实际边缘810的位置进行比较。如果实际边缘810处于与由霍夫变换获得的单一直线820之间具有预定宽度的附近区域830中，则确定由霍夫变换获得的单一直线820对应于实际边缘810。实际边缘810的起始点和终点的坐标被用作由霍夫变换获得的单一直线820的起始点和终点。

参考图9A至图9D描述由阶梯边缘检测模块130执行的处理的细节。

如果跨越由直线段提取模块120提取的线段而定位的附近像素的像素值之间的差为预定值或更大值，则阶梯边缘检测模块130判断线段作为阶梯边缘，并且从列表中消除被判断为不是阶梯边缘的线段的信息。更具体地，边缘具有如图9A至图9D所示的四种类型。图9A所示的示例是阶梯边缘类型。图9B所示的示例是斜坡边缘类型。图9C所示的示例是脊状类型。图9D所示的示例是屋顶类型。在该示例性实施例中，斜坡边缘类型的边缘被判断为阶梯边缘。图像中画出的线等被检测为脊状类型或屋顶类型的边缘。取决于像素值的分布是否具有图9A至图9D的下部所示的图的形状中的任一个，来进行类型确定。

此外，对于阶梯边缘的判断可以使用跨越线段而定位的附近多个点或附近区域中的平均值。

参考图10至图12描述由直线段分类模块140执行的处理的细节。

直线段分类模块140将列表上剩余的线段分类成上边候选、下边候选、左边候选和右边候选的四个候选。首先，根据每个直线段的方向（倾斜度）将线段分类成纵向候选和横向候选。

在图10的示例中，如果直线段1010的倾斜度（角θ1020）处于从45至135度的范围内，则该直线段被认为是纵向候选，并且其它直线段被认为是横向候选。

接下来，纵向候选中的线段被分类成左边候选和右边候选。更具体地，如图11的示例所示，分类可以取决于直线段1110的中点是位于图像1100中的左半区域（左侧区域1120）还是位于右半区域（右侧区域1130）中而做出。替代地，除了使用中点以外，还可以取决于端点位于左端还是右端附近而进行分类。另外可替代地，如图12的示例中所示，图像1200可以被竖直线划分成三个部分（左侧区域1220、中间区域1230和右侧区域1240）。直线段1210在直线段1210的中点位于左侧区域中的情况下可以确定为左边候选，在中点位于右侧区域中的情况下可以确定为右边候选，或者在中点位于中间区域中的情况下既可以确定为左边候选又可以确定为右边候选。

这还可以应用于横向线段。分类可以取决于线段的中点是位于图像的上半区域还是位于图像的下半区域而做出。即，线段在线段的中点位于上半范围的区域中的情况下可以确定为上边候选，或者在中点位于下半范围的区域中的情况下可以确定为下边候选。

此时，假设左端点被认为是上边和下边候选的起始点并且上端点被认为是左边和右边候选的起始点，并且起始点存储在线信息的数据结构中，这将在后面参考图15的示例进行描述。这便于一致地记录起始点。

参考图13和图14描述由附近颜色检测模块150执行的处理的细节。

附近颜色检测模块150测量并保持处于上边、下边、左边和右边候选的外部区域中的附近颜色或密度。

对于测量区域，如图13的示例所示，可以在沿着作为上边候选的直线段1310的外部区域中的整个附近区域（测量区域（上部区域）1320）中进行测量。替代地，如图14的示例所示，可以仅仅测量直线段1410的中点附近区域（测量区域（中上区域）1430）和终点附近区域（测量区域（左上区域）1420，测量区域（右上区域）1440）。当然，测量区域在直线段为下边候选的情况下是直线段的下部区域，在直线段为左边候选的情况下是直线段的左侧区域，或者在直线段为右边候选的情况下是直线段的右侧区域。

如果对象线是文档图像中的真实边界，则测量区域的颜色或密度可以被认为是背景的颜色或密度。

参考图15和图16描述由四边形候选选择模块160执行的处理的细节。

线段信息表1500是保持每个直线段的信息的数据结构的示例。线段信息表1500包括线ID部分1502、相距原点的距离部分1504、倾斜度部分1506、起始点坐标部分1508、终点坐标部分1510、位置分类部分1512、附近颜色（整个区域）部分1514、附近颜色（中点）部分1516、附近颜色（起始点）部分1518和附近颜色（终点）部分1520。线ID部分1502存储了在该示例性实施例中允许对直线段进行唯一识别的信息（线识别（ID））。相距原点的距离部分1504存储用于霍夫变换的参数ρ。倾斜度部分1506存储用于霍夫变换的参数θ。起始点坐标部分1508存储直线段的起始点的坐标。终点坐标部分1510存储直线段的终点的坐标。位置分类部分1512存储表示上边、下边、左边和右边候选中哪一个与该直线段相对应的信息。附近颜色（整个区域）部分1514至附近颜色（终点）部分1520存储位于直线段的外部区域中的区域的颜色或密度。例如，更具体地，附近颜色（整个区域）部分1514至附近颜色（终点）部分1520存储RGB值。附近颜色（整个区域）部分1514存储整个区域（图13的示例中所示的测量区域（上部区域）1320）中的测量结果。附近颜色（中点）部分1516存储中点（图14的示例中所示的测量区域（中上区域）1430）处的测量结果。附近颜色（起始点）部分1518存储起始点（图14的示例所示的测量区域（左上区域）1420）处的测量结果。附近颜色（终点）部分1520存储终点（图14的示例所示的测量区域（右上区域）1440）处的测量结果。

线段信息表1500通过线的数量来列出。关于附近颜色（整个区域）部分1514至附近颜色（终点）部分1520，可以仅使用附近颜色（整个）部分1514和附近颜色（中点）部分1516中的一个；可以仅使用附近颜色（起始点）部分1518和附近颜色（终点）部分1520中的一个；或者可以仅使用附近颜色（中点）部分1516、附近颜色（起始点）部分1518和附近颜色（终点）部分1520中的一个。

图16示出由四边形候选选择模块160进行的处理示例的细节的流程图。本文中，N是直线段的总数，并且i、j、k和m是用于指定线ID的变量。在该流程图示例中，针对直线段的所有组合执行步骤S1620的判定处理。

在步骤S1602中，设定i=0。

在步骤S1604中，判定是否i<N。如果i<N，则处理进行至步骤S1606。否则，结束处理（步骤S1699）。

在步骤S1606中，设定j=j+1。

在步骤S1608中，判定是否j<N。如果j<N，则处理进行至步骤S1610。否则，处理进行至步骤S1630。

在步骤S1610中，设定k=j+1。

在步骤S1612中，判定是否k<N。如果k<N，则处理进行至步骤S1614。否则，处理进行至步骤S1628。

在步骤S1614中，设定m=k+1。

在步骤S1616中，判定是否m<N。如果m<N，则处理进行至步骤S1618。否则，处理进行至步骤S1626。

在步骤S1618中，判定所有分类（i）、分类（j）、分类（k）和分类（m）是否不同。如果所有分类不同，则处理进行至S1620。否则，处理进行至步骤S1624。分类（i）表示在上边、下边、左边和右边候选中线ID i的种类。

在步骤S1620中，判定四个角的附近颜色中的差是否是预定值或更小。如果差是预定值或更小，则处理进行至步骤S1622。否则，处理进行至步骤S1624。

在步骤S1622中，选择四边形（线ID i、j、k和m）的组合。

在步骤S1624中，将m加1，并且处理返回至步骤S1616。

在步骤S1626中，将k加1，并且处理返回至步骤S1612。

在步骤S1628中，将j加1，并且处理返回至步骤S1608。

在步骤S1630中，将i加1，并且处理返回至步骤S1604。

替代地，在步骤S1620中的判定处理可以判定三个角处的附近颜色之间的差是否是预定值或更小，或者可以判定对角线的两个角处的附近颜色之间的差是否是预定值或更小，如上所述。

参考图17和图18描述由形状校正模块180执行的处理的细节。

如果假设图18的示例所示的预定矩形的四个顶点的坐标为（x1，y1）、（x2，y2）、（x3，y3）和（x4，y4），并且图17的示例所示的由最大四边形检测模块170获得的四边形的四个顶点的坐标为（x1'，y1'）、（x2'，y2'）、（x3'，y3'）和（x4'，y4'），则通过投影变换的表达式1计算出表达式2。

表达式1

$x^{\&prime;}=\frac{\mathrm{ax}+\mathrm{by}+c}{\mathrm{px}+\mathrm{qy}+1},$ $y^{\&prime;}=\frac{\mathrm{dx}+\mathrm{ey}+f}{\mathrm{px}+\mathrm{qy}+1}$

表达式2

$\left(\begin{array}{cccccccc}{x1x1}^{\&prime;}& {y1y1}^{\&prime;}& -x1& -y1& -1& 0& 0& 0\\ {x2x2}^{\&prime;}& {y2y2}^{\&prime;}& -x2& -y2& -1& 0& 0& 0\\ {x3x3}^{\&prime;}& {y3y3}^{\&prime;}& -x3& -y3& -1& 0& 0& 0\\ {x4x4}^{\&prime;}& {y4y4}^{\&prime;}& -x4& -y4& -1& 0& 0& 0\\ {x1y1}^{\&prime;}& {y1y1}^{\&prime;}& 0& 0& 0& -x1& -y1& -1\\ {x2y2}^{\&prime;}& {y1y1}^{\&prime;}& 0& 0& 0& -x2& -y2& -1\\ {x3y3}^{\&prime;}& {y3y3}^{\&prime;}& 0& 0& 0& -x3& -y3& -1\\ {x4y4}^{\&prime;}& {y4y4}^{\&prime;}& 0& 0& 0& -x4& -y4& -1\end{array}\right)\left(\begin{array}{c}p\\ q\\ a\\ b\\ c\\ d\\ e\\ f\end{array}\right)=\left(\begin{array}{c}{-x1}^{\&prime;}\\ {-x2}^{\&prime;}\\ {-x3}^{\&prime;}\\ {-x4}^{\&prime;}\\ {-y1}^{\&prime;}\\ {-y2}^{\&prime;}\\ {-y3}^{\&prime;}\\ {-y4}^{\&prime;}\end{array}\right)$

通过求解表达式2，获得未知参数p、q、a、b、c、d、e和f。就几何校正而言，通过使用表达式1可以获得将要映射在坐标（x，y）上的原始图像的坐标（x'，y'）。

预定矩形的四个顶点的坐标可以是存储在存储装置中的值，可以由用户通过操作进行设定，并且可以根据接收图像的尺寸进行设定。

第二示例性实施例

图19是示出根据第二示例性实施例的处理示例的解释性视图。

除了图像1900中的对象四边形（由左边候选1910、上边候选1920、右边候选1930和下边候选1940形成的四边形）之外，如果目标物（目标图像1950，例如，文具盒或橡皮擦）也包括在图像1900中，则应用第二示例性实施例。

即，如果线的端点与相邻边候选的端点之间的距离的最小值为预定值或更大，则消除该线。例如，左边候选1910的相邻边是上边候选1920和上边候选1960。计算出左边候选1910的端点1912与上边候选1920的端点1922之间的距离，以及左边候选1910的端点1912与上边候选1960的端点1962之间的距离。之后，其计算出的距离为预定值或更大的上边候选1960被消除。

图20是根据第二示例性实施例的配置示例的概念模块配置图。相同的附图标记应用于与上述示例性实施例相似的种类部分，并且省略多余的解释说明（同样适用于下文）。

根据第二示例性实施例的图像处理设备对具有投影失真的图像进行校正。如图20的示例中所示，图像处理模块100包括边缘检测模块110、直线段提取模块120、阶梯边缘检测模块130、直线段分类模块140、孤立直线消除模块2045、附近颜色检测模块150、四边形候选选择模块160、最大四边形检测模块170、形状校正模块180和输出模块190。即，将孤立直线消除模块2045增加至第一示例性实施例。

直线段分类模块140连接至阶梯边缘检测模块130和孤立直线消除模块2045。

孤立直线消除模块2045连接至直线段分类模块140和附近颜色检测模块150。如果一个边的直线段的端点和可能与该一个边相交的来自被直线段分类模块140分类成四个边的直线段中的两个边的直线段的端点之间的距离大于预定第三值、或者等于或大于预定第三值，则孤立直线消除模块2045消除该一个边的直线段。即，从直线段分类模块140的处理结果中消除孤立直线段。“可能与直线段相交的两个边的直线段”具体地针对上边和下边候选中每一个而言为左边和右边候选，或者针对左边和右边候选中每一个而言为上边和下边候选。“端点之间的距离”具体地为在一个直线段的端点A和另一条直线段的两个端点当中的靠近端点A的端点之间的距离。此外，如果存在可能与一个边直线段相交的多组两个边直线段，关于可能与该一个边直线段相交的所有直线段的关系对应于大于第三值的距离、或者等于或大于第三值的距离，则消除该一个边直线段。

附近颜色检测模块150连接至孤立直线段消除模块2045和四边形候选选择模块160。

附近颜色检测模块150和四边形候选选择模块160不会将被孤立直线消除模块2045消除的直线段作为目标。即，具有被消除的直线段的组合不会成为目标。

图21是示出根据第二示例性实施例的处理示例的流程图。

在步骤S2102中，边缘检测模块110使用索贝尔滤波器等并且从由图像接收模块210接收到的图像检测具有预定强度或更高强度的边缘部分。

在步骤S2104中，直线段提取模块120检测形状上接近直线的边缘，并且获得每个边缘的倾斜度以及起始点和终点的位置信息。

在步骤S2106中，阶梯边缘检测模块130从由直线段提取模块120提取的线中仅提取其相应边缘为阶梯类型的线。

在步骤S2108中，直线段分类模块140根据每个直线的倾斜度和位置将直线分类成上边、下边、左边和右边候选。

在步骤S2110中，如果将要检查上边候选，则孤立直线消除模块2045核查上边候选的起始点和所有左边候选的起始点之间的距离，核查上边候选的终点和所有右边候选的起始点之间的距离，并且如果这些距离中的最小距离是预定值或更大，则假设上边是孤立直线，并且从列表中消除该上边。

在步骤S2112中，附近颜色检测模块150测量并保持处于上边、下边、左边和右边候选的外部区域中或者图像端部附近的区域中的颜色或密度。

在步骤S2114中，四边形候选选择模块160从上边、下边、左边和右边候选的所有组合中仅选择附近颜色相近的组合。附近颜色相近的状态表示在某个颜色空间中计算出的附近颜色之间的距离为预定值或更小。

在步骤S2116中，最大四边形检测模块170获得当四条线段延伸时得到的四个顶点的坐标，并且从由四边形候选选择模块160输出的多个四条线段组合中获得形成具有最大面积的四边形的组合。

在步骤S2118中，形状校正模块180执行投影变换，使得具有最大面积的四边形的四个顶点的坐标与在预定校正之后的矩形的四个顶点一致。

在步骤S2120中，输出模块190输出在投影变换之后的图像。

图22是示出根据第二示例性实施例的处理示例的解释性视图（孤立直线消除模块2045）。

如果将要检查上边候选，则孤立直线消除模块2045核查上边候选的起始点和所有左边候选的起始点之间的距离，核查上边候选的终点和所有右边候选的起始点之间的距离，并且如果这些距离中的最小距离为预定值或更大，则假设上边是孤立直线，并且从列表中消除该上边候选。例如，计算端点2232（其为上边候选2230的起始点）与端点2212（其为左边候选2210的起始点）之间的距离；计算端点2232（其为上边候选2230的起始点）与端点2222（其为左边候选2220的起始点）之间的距离；计算端点2234（其为上边候选2230的终点）与端点2252（其为右边候选2250的起始点）之间的距离；并且计算端点2234（其为上边候选2230的终点）与端点2262（其为右边候选2260的起始点）。如果所有计算出的距离等于或大于预定距离，则消除上边候选2230。上边候选2240的端点处于与左边候选2220和右边候选2250的端点相距小于预定距离的距离。因此，不消除上边候选2240。

第三示例性实施例

图23是根据第三示例性实施例的配置示例的概念模块配置图。

根据第三示例性实施例的图像处理设备对具有投影失真的图像进行校正。如图23的示例所示，图像处理模块100包括边缘检测模块110、直线段提取模块120、阶梯边缘检测模块130、直线段分类模块140、附近颜色检测模块150、附近颜色阈值设置模块2355、四边形候选选择模块160、最大四边形检测模块170、形状校正模块180和输出模块190。即，将附近颜色阈值设置模块2355增加至第一示例性实施例。

附近颜色检测模块150连接至直线段分类模块140和附近颜色阈值设置模块2355。

附近颜色阈值设置模块2355连接至附近颜色检测模块150和四边形候选选择模块160。附近颜色阈值设置模块2355根据选择背景区域的颜色变化的操作者所进行的操作来设定由四边形候选选择模块160使用的预定第二值。即，用于判断边候选的附近颜色的接近度的阈值是变量。“背景区域的颜色的变化”指出除作为对象的文档之外的背景区域的颜色是否快速变化。例如，如果捕获图像是放在其它什么东西都不存在的桌子上的文档，则背景的颜色几乎不发生变化。然而，如果捕获图像是白板，则背景的颜色快速变化。为便于操作者更容易操作，可以选择模式（“白板图像捕获模式”、“文档图像捕获模式”）。更具体地，在白板图像捕获模式中，各种物体可能出现在白板周围，并且背景区域颜色快速变化。在文档图像捕获模式中，例如桌子的颜色可能是恒定的，并且背景区域的颜色几乎不发生变化。在“白板图像捕获模式”中，由四边形候选选择模块160使用的预定第二值设定成大于标准值。在“文档图像捕获模式”中，由四边形候选选择模块160使用的预定第二值设定成小于标准值。

四边形候选选择模块160连接至附近颜色阈值设置模块2355和最大四边形检测模块170。

图24是示出根据第三示例性实施例的处理示例的流程图。

在步骤S2402中，边缘检测模块110使用索贝尔滤波器等，并且从由图像接收模块210接收到的图像检测具有预定强度或更高强度的边缘部分。

在步骤S2404中，直线段提取模块120检测形状上接近直线的边缘，并且获得每个边缘的倾斜度以及起始点和终点的位置信息。

在步骤S2406中，阶梯边缘检测模块130从由直线段提取模块120提取的线中仅提取其相应边缘为阶梯类型的线。

在步骤S2408中，直线段分类模块140根据每个直线的倾斜度和位置将直线分类成上边、下边、左边和右边候选。

在步骤S2410中，附近颜色检测模块150测量并保持处于上边、下边、左边和右边候选的外部区域中或者图像端部附近的区域中的颜色或密度。

在步骤S2412中，附近颜色阈值设置模块2355使用户选择图像捕获模式，并且根据图像捕获模式设定阈值。更具体地，在白板图像捕获模式中，由于各种物体可能出现在白板周围，因此阈值设定为大值，而在文档图像捕获模式中，由于在具有恒定颜色的地方（例如桌子）上捕获文档的图像，因此阈值设定为小值。

在步骤S2414中，四边形候选选择模块160从上边、下边、左边和右边候选的所有组合中仅选择附近颜色相近的组合。附近颜色接近的状态表示在某个颜色空间中计算出的附近颜色之间的距离为预定值或更小。

在步骤S2416中，最大四边形检测模块170获得当四条线段延伸时得到的四个顶点的坐标，并且从由四边形候选选择模块160输出的多个四条线段组合中获得形成具有最大面积的四边形的组合。

在步骤S2418中，形状校正模块180执行投影变换，使得具有最大面积的四边形的四个顶点的坐标与在预定校正之后的矩形的四个顶点一致。

在步骤S2420中，输出模块190输出在投影变换之后的图像。

第四示例性实施例

图25是根据第四示例性实施例的配置示例的概念模块配置图。

根据第四示例性实施例的图像处理设备对具有投影失真的图像进行校正。如图25的示例所示，图像处理模块100包括边缘检测模块110、直线段提取模块120、阶梯边缘检测模块130、直线段分类模块140、附近颜色检测模块150、四边形候选选择模块2560、最大四边形检测模块170、形状校正模块180和输出模块190。即，根据第一示例性实施例的四边形候选选择模块160由四边形候选选择模块2560替换。四边形候选选择模块2560包括四边形候选选择模块160的处理内容。

附近颜色检测模块150连接至直线段分类模块140和四边形候选选择模块2560。

四边形候选选择模块2560连接至附近颜色检测模块150和最大四边形检测模块170。如果由所选择的组合形成的四边形的面积与图像的面积的比等于或小于预定第四值、或者小于预定第四值，则四边形候选选择模块2560改变预定第二值并且再次执行选择处理。即，如果四边形候选选择模块2560不选择合适的四边形，则改变阈值（第二值），并且再次执行用于四边形候选的选择处理。参考图27示例性示出的流程图来描述该处理的细节。

最大四边形检测模块170连接至四边形候选选择模块2560和形状校正模块180。

图26是示出根据第四示例性实施例的处理示例的流程图。

在步骤S2602中，边缘检测模块110使用索贝尔滤波器等，并且从由图像接收模块210接收到的图像检测具有预定强度或更高强度的边缘部分。

在步骤S2604中，直线段提取模块120检测形状上接近直线的边缘，并且获得每个边缘的倾斜度以及起始点和终点的位置信息。

在步骤S2606中，阶梯边缘检测模块130从由直线段提取模块120提取的线中仅提取其相应边缘为阶梯类型的线。

在步骤S2608中，直线段分类模块140根据每个直线的倾斜度和位置将直线分类成上边、下边、左边和右边候选。

在步骤S2610中，附近颜色检测模块150测量并保持处于上边、下边、左边和右边候选的外部区域中或者图像端部附近的区域中的颜色或密度。

在步骤S2612中，四边形候选选择模块160从上边、下边、左边和右边候选的所有组合中仅选择附近颜色相近的组合。附近颜色接近的状态表示在某个颜色空间中计算出的附近颜色之间的距离为预定值或更小。如果四边形候选选择模块160未发现合适的四边形，则改变阈值，并且再次执行四边形候选选择处理。

在步骤S2614中，最大四边形检测模块170获得当四条线段延伸时得到的四个顶点的坐标，并且从由四边形候选选择模块160输出的多个四条线段组合中获得形成具有最大面积的四边形的组合。

在步骤S2616中，形状校正模块180执行投影变换，使得具有最大面积的四边形的四个顶点的坐标与在预定校正之后的矩形的四个顶点一致。

在步骤S2618中，输出模块190输出在投影变换之后的图像。

图27是示出根据第四示例性实施例的处理示例的流程图。本文中，N是直线段的总数，并且i、j、k和m是用于指定线ID的变量。α是预定值。在该流程图示例中，针对直线段的所有组合执行步骤S2724的判定处理。如果没有四边形被选择（在步骤S2736中为是），则在步骤S2704中将阈值增加α（第二值），使得四边形容易选择。

在步骤S2702中，设定阈值=初始阈值-α。

在步骤S2704中，将阈值增加α。

在步骤S2706中，设定i=0。

在步骤S2708中，判定是否i<N。如果i<N，则处理进行至步骤S2710。否则，结束处理（步骤S2798）。

在步骤S2710中，设定j=j+1。

在步骤S2712中，判定是否j<N。如果j<N，则处理进行至步骤S2714。否则，处理进行至步骤S2734。

在步骤S2714中，设定k=j+1。

在步骤S2716中，判定是否k<N。如果k<N，则处理进行至步骤S2718。否则，处理进行至步骤S2732。

在步骤S2718中，设定m=k+1。

在步骤S2720中，判定是否m<N。如果m<N，则处理进行至步骤S2722。否则，处理进行至步骤S2730。

在步骤S2722中，判定所有分类（i）、分类（j）、分类（k）和分类（m）是否不同。如果所有分类不同，则处理进行至S2724。否则，处理进行至步骤S2728。

在步骤S2724中，判定四个角的附近颜色之间的差是否是预定值或更小。如果差是预定值或更小，则处理进行至步骤S2726。否则，处理进行至步骤S2728。

在步骤S2726中，选择该四边形的组合。

在步骤S2728中，将m加1，并且处理返回至步骤S2720。

在步骤S2730中，将k加1，并且处理返回至步骤S2716。

在步骤S2732中，将j加1，并且处理返回至步骤S2712。

在步骤S2734中，将i加1，并且处理进行至步骤S2736。

在步骤S2736中，判定是否不存在用于选择的四边形的组合。如果没有四边形被选择，则处理返回至步骤S2704。否则，结束处理（步骤S2799）。

替代地，在步骤S2722中的判定处理可以判定三个角处的附近颜色之间的差是否是预定值或更小，或者可以判定对角线的两个角处的附近颜色之间的差是否是预定值或更小，如上所述。

参考图28描述根据该示例性实施例的图像处理设备的硬件配置示例。图28所示的配置例如由个人计算机（PC）形成，并且图28示出包括诸如扫描仪的数据读取单元2817和诸如打印机的数据输出单元2818的硬件配置示例。

中央处理单元（CPU）2801是根据计算机程序执行处理的控制器，其中模块的执行顺序已被写入计算机程序中，根据示例性实施例已对这些模块进行描述，例如，图像处理模块100、边缘检测模块110、直线段提取模块120、阶梯边缘检测模块130、直线段分类模块140、附近颜色检测模块150、四边形候选选择模块160、最大四边形检测模块170、形状校正模块180、输出模块190、孤立直线消除模块2045、附近颜色阈值设置模块2355和控制模块220。

只读存储器（ROM）2802存储由CPU2801使用的程序和算法参数。随机存取存储器（RAM）2803对应于上述存储器230，并且存储当由CPU2801执行时所使用的程序、和当执行该程序时适当地变化的参数。这些单元通过主机总线2804彼此连接，主机总线2804由CPU总线等形成。

主机总线2804通过桥接器2805连接至诸如外围部件互联/接口（PCI）总线的外部总线2806。

键盘2808和定位装置2809（例如鼠标）对应于上述操作模块260，并且成为由操作者进行操作的输入装置。显示器2810对应于上述显示模块250，并且可以是液晶显示器或阴极射线管（CRT）。显示器2810显示呈文本或图像信息形式的各种信息。

硬盘驱动器（HDD）2811在其中具有硬盘，其驱动硬盘，并且记录和复制由CPU2801执行的程序和硬盘中以及来自硬盘的信息。硬盘存储接收到的图像、最后处理结果和中间处理结果。进一步地，硬盘存储各种计算机程序，例如其它各种数据处理程序。

驱动器2812读取存储在可移除存储介质2813中的数据或程序，可移除存储介质2813例如为磁盘、光盘、磁光盘或安装在其上的半导体存储器。驱动器2812将数据或程序提供给RAM2803，RAM2803通过接口2807、外部总线2806、桥接器2805和主机总线2804而连接。可移除存储介质2813可以类似于硬盘用作数据记录区域。

连接端口2814是用于连接外部连接装置2815的端口，并且包括诸如USB和IEEE-1394的连接部分。连接端口2814通过接口2807、外部总线2806、桥接器2805和主机总线2804连接至CPU2801。通信单元2816对应于上述通信模块240。通信单元2816连接至通信线路，并且执行关于外部装置的数据通信处理。数据读取单元2817对应于上述图像接收模块210。例如，数据读取单元2817是扫描仪，并且执行对文档的读取处理。例如，数据输出单元2818是打印机，并且执行对文档数据的输出处理。

图28所示的图像处理设备的硬件配置仅仅是配置示例。示例性实施例不局限于图28所示的配置，并且可以具有任何配置，只要该配置可以执行根据示例性实施例已描述的模块即可。例如，模块可以部分地由专用硬件（例如，专用集成电路（ASIC））形成。替代地，模块可以部分地设置在外部系统中，并且可以通过通信线路连接。还可替代的是，图28所示的多个系统可以通过通信线路彼此连接，并且可以以相关联方式进行操作。进一步替代地，模块可以安装在复印机、传真机、扫描仪、打印机或多功能设备（具有扫描仪、打印机、复印机和传真机中至少两个功能的图像处理设备）中。

此外，在示例性实施例的描述中，当与预定值进行比较时，措词“等于或大于”、“等于或小于”、“大于”和“小于（更小）”可以分别改变成“大于”、“小于（更小）”、“等于或大于”和“等于或小于”，除非在组合中出现矛盾。

上述各种示例性实施例可以组合（例如，示例性实施例的模块可以增加至另一个示例性实施例，或者示例性实施例的模块可以由另一个示例性实施例的模块进行替换）。此外，可以采用相关领域的技术作为模块的处理内容。

所述程序在存储于存储介质中时可以提供，或者可以通过通信措施进行提供。在这种情况下，所述程序可以被认为是“存储程序的计算机可读存储介质”。

“存储程序的计算机可读存储介质”是存储用于程序的安装、执行、分配等的程序的计算机可读存储介质。

存储介质例如可以包括数字通用光盘（DVD），并且更具体地包括为在DVD论坛中限定的标准的“DVD-R，DVD-RW，DVD-RAM等”和为根据DVD+RW限定的标准的“DVD+R，DVD+RW等”；光盘（CD），并且更具体地包括CD只读存储器（CD-ROM）、可记录CD（CD-R）、可擦写CD（CD-RW）等；蓝光光盘（注册商标）；磁光盘（MO）；软盘（FD）；磁带；硬盘；只读存储器（ROM）；电可擦除可编程只读存储器（EEPROM，注册商标）；闪存存储器；随机存取存储器（RAM）；安全数字（SD）存储卡；等等。

程序或程序的一部分可以存储在存储介质中，并且可以保持或分配。替代地，程序或程序的一部分可以通过通信经由有线网络、无线网络和具有有线网络和无线网络的组合的传输介质进行传输，例如，局域网（LAN）、城域网（MAN）、广域网（WAN）、因特网、企业内部互联网、外联网等等。另外替代地，可以在载波上携载有程序或程序的一部分。

进一步地，程序可以是另一程序的一部分，或者程序可以与不同程序一起存储在存储介质中。进一步地，程序可以被划分并存储在多个存储介质中。进一步地，程序可以以任何形式存储，例如，压缩形式或加密形式，只要可恢复该程序。

为了解释和说明的目的已提供本发明的示例性实施例的上文描述。不旨在详尽地或将本发明限制到公开的精确形式。显然，许多修改和变型对于本领域技术人员而言将是显而易见的。为了最佳地解释本发明的原理及其实践应用选择并描述了实施例，由此使本领域技术人员能够理解本发明，以获得适于预期特定用途的各种实施例和各种变型。意图在于本发明的范围由所附权利要求和它们的等同物进行限定。

Claims (7)

1.一种图像处理设备，包括：

第一检测单元，其从图像检测边界；

提取单元，其从由所述第一检测单元检测到的边界提取直线段；

第二检测单元，其检测这样的区域：在所述区域中，跨越由所述提取单元提取的所述直线段而定位的附近像素的像素值之间的差大于预定第一值、或者等于或大于所述预定第一值；

分类单元，其将由所述第二检测单元检测到的所述区域中的直线段分类成四边形的四个边；

第三检测单元，其检测由所述分类单元分类的所述四个边的外部区域中的颜色或密度；

选择单元，其从可能形成四边形的四个边的组合中选择这样的多个组合：对应于所述组合中的直线段的且由所述第三检测单元检测到的所述颜色或所述密度之间的差等于或小于预定第二值、或者小于所述预定第二值；

第四检测单元，其检测当所述组合中的直线段延伸时所获得的四个顶点的坐标，并且从由所述选择单元所选择的多个组合中检测由相应四个坐标形成的四边形的面积满足预定条件的组合；以及

校正单元，其将通过由所述第四检测单元检测到的组合形成的四边形校正为矩形。

2.根据权利要求1所述的图像处理设备，还包括：

消除单元，如果一个边的直线段的端点和与所述一个边相交的两个边的直线段的端点之间的距离大于预定第三值、或者等于或大于所述预定第三值，则所述消除单元从由所述分类单元分类成四个边的直线段中消除所述一个边的直线段，

其中所述第三检测单元和所述选择单元不将由所述消除单元消除的直线段作为目标。

3.根据权利要求1所述的图像处理设备，还包括设置单元，所述设置单元根据选择背景区域的颜色的变化的操作者的操作设定由所述选择单元所使用的所述预定第二值。

4.根据权利要求1所述的图像处理设备，其中，如果所选择的组合形成的四边形的面积占所述图像的比率等于或小于预定第四值、或者小于所述预定第四值，则所述选择单元改变所述预定第二值并且再次执行选择处理。

5.根据权利要求1至4中任一项所述的图像处理设备，

其中所述第三检测单元检测所述四个边的端点附近的外部区域中的颜色或密度，以及

其中所述选择单元将由两个相邻边形成的顶点附近的外部区域中的通过所述第三检测单元检测到的颜色或密度作为目标。

6.根据权利要求5所述的图像处理设备，其中所述第三检测单元检测三个顶点附近或两个对角顶点附近的外部区域中的颜色或密度。

7.一种图像处理方法，包括：

从图像检测边界；

从所述边界提取直线段；

检测这样的区域：在所述区域中，跨越所述直线段而定位的附近像素的像素值之间的差大于预定第一值、或者等于或大于所述预定第一值；

将所述区域中的直线段分类成四边形的四个边；

检测所述四个边的外部区域中的颜色或密度；

从可能形成四边形的四个边的组合中选择这样的多个组合：对应于所述组合中的直线段的且在所述颜色或所述密度之间的差等于或小于预定第二值、或者小于所述预定第二值；

从所述多个组合中检测这样的组合：当该组合中的直线段延伸时所获得的四个顶点的坐标、并且由该相应的四个坐标形成的四边形的面积满足预定条件；以及

将通过所述组合形成的四边形校正成矩形。

Images