CN104079750A - 图像处理装置及区域确定方法 - Google Patents

Abstract

本发明提供一种能够从读取的图像中恰当地确定原稿图像的应当切出的区域的图像处理装置、区域确定方法。信息处理装置（20），包括：边缘像素提取部(201)，其从输入图像中提取边缘像素；区域检测部(202)，其检测出由边缘像素中连接的边缘像素围成的对象区域；直线检测部(204)，其在对象区域内，检测出多条直线；矩形检测部（205），其检测出由多条直线中两两大致正交的四条直线构成的矩形；区域确定部（206)，其在矩形与对象区域一致的情况下，将矩形确定为从输入图像中切出原稿图像的区域。

Description

图像处理装置及区域确定方法

技术领域

本发明涉及一种图像处理装置及区域确定方法，尤其涉及一种从输入图像中确定原稿图像的应当切出的区域的图像处理装置及区域确定方法。

【背景技术】

为了对作为用扫描仪装置等读取原稿的图像数据进行保存，有必要从读取了的图像中准确地检测出原稿区域。通常，在平板式或自动送纸式的扫描仪装置中，通过使用白色、黑色等单色的垫板，能够容易地区别原稿区域与其以外的区域。但是，例如，在原稿区域的颜色与垫板部的颜色相同的情况下，有可能无法准确地检测出原稿区域。

现已公开了一种从读取的图像中寻找原稿区域的图像读取装置。该图像读取装置基于包含从读取的图像中提取的全部对象物的第一矩形的顶点坐标与包含判定为是全部对象物中原稿内容物的全部对象物而作为面积最小的第二矩形的顶点坐标两者的一致度，来确定原稿区域（参照专利文献1）。

【现有技术文献】

【专利文献】

【专利文献1】日本专利特开2009-272676号公报

发明内容

【发明要解决的技术问题】

图像处理装置中，例如，对放置于木纹放置台上的原稿进行读取的情况下，对原稿端部与放置台的花纹准确地进行区别是较为困难的，存在将包住放置台的花纹的区域作为原稿区域错误地检测的情况。

本发明的目的在于，提供一种从读取的图像中能够恰当地确定原稿图像的应当切出的区域的图像处理装置及区域确定方法。

【解决技术问题的手段】

本发明所涉及的一种图像处理装置包括：边缘像素提取部，其从输入图像中提取边缘像素；区域检测部，其检测出由所述边缘像素中连接的边缘像素围成的对象区域；直线检测部，其在所述对象区域内，检测出多条直线；矩形检测部，其检测出由所述多条直线中两两大致正交的四条直线构成的矩形；以及区域确定部,其在所述矩形与所述对象区域一致的情况下,将所述矩形确定为从所述输入图像中切出原稿图像的区域。

又，本发明所涉及的一种区域确定方法包含：从输入图像中提取边缘像素的步骤；检测出由所述边缘像素中连接的边缘像素围成的对象区域的步骤；在所述对象区域内，检测出多条直线的步骤；检测出由所述多条直线中两两大致正交的四条直线构成的矩形的步骤；以及在所述矩形与所述对象区域一致的情况下,将所述矩形确定为从所述输入图像中切出原稿图像的区域的步骤。

【发明的效果】

通过本发明，能够提供一种从读取的图像中能够适当地确定原稿图像的区应当切出的区域的图像处理装置及区域确定方法。

附图说明

图1是应用本发明的图像处理系统的概略构成图。

图2是图像处理电路的概略构成图。

图3是示出图像读取处理的动作实例的流程图。

图4是示出原稿切出处理的动作的流程图。

图5是示出切出区域确定处理的动作实例的流程图。

图6是示出对象区域检测处理的动作实例的流程图。

图7A是输入图像实例。

图7B是缩小图像实例。

图7C是由连接的边缘像素围成的区域的实例。

图8是示出第一矩形检测处理的动作实例的流程图。

图9A是用于对近似直线进行说明的示意图。

图9B是用于对近似直线进行说明的示意图。

图10是用于对矩形候选的各角的评价点进行说明的示意图。

图11A是用于对包含近似直线的矩形进行说明的示意图。

图11B是用于对包含近似直线的矩形进行说明的示意图。

图12是示出由矩形检测部检测出的第一矩形的实例的示意图。

图13是示出第一矩形判定处理的运行实例的流程图。

图14是示出第二矩形判定处理的动作实例的流程图。

图15A是用于对第二矩形判定处理进行说明的示意图。

图15B是用于对第二矩形判定处理进行说明的示意图。

图16是示出放置台的花纹覆盖全部拍摄范围的情况下的输入图像的实例的图。

图17是用于说明检测范围的指定的示意图。

图18是另一图像处理系统的概略构成图。

具体实施方式

下面，参照附图，对本发明所涉及的图像处理装置及区域确定方法进行说明。但是，值得注意的是，本发明的技术上的范围并不被这些实施方式所限定，还涉及权利要求范围所记载的发明及其等同发明。

图1是示出应用本发明的图像处理系统的概略构成的图。如图1所示，图像处理系统1包括图像读取装置10、信息处理装置20。图像读取装置10是例如图像扫描仪、数码相机等，信息处理装置20是例如与图像读取装置10连接使用的个人电脑等。

图像读取装置10包括第一图像输入装置11、第一图像存储12、第一接口装置13、第一存储装置14、第一CPU15。下面，对图像读取装置10的各部分进行详细地说明。

图像输入装置11包括拍摄作为摄像对象物的原稿等的摄像传感器。该摄像传感器具有以一维或者二维排列的CCD、CMOS等摄像元件和将摄像对象物的像成像于摄像元件的光学系统，各个摄像元件输出与RGB各颜色对应的模拟值。图像输入装置11将摄像传感器输出的各个模拟值转换为数字值，生成像素数据，并生成由生成的各个像素数据构成的图像数据（下面称为RGB图像）。该RGB图像的各个像素数据为例如以8位来表示RGB各颜色中的每个颜色的合计24位RGB值所构成的彩色图像数据。

图像输入装置11生成将RGB图像的各个像素的RGB值转换为亮度值及色差值（YUV值）的图像（下面称为读取图像），保存在第一图像存储器12中。此外，例如根据以下的计算公式，能够计算出YUV值。

Y值=0.30×R值＋0.59×G值＋0.11×B值    （1）

U值=-0.17×R值－0.33×G值＋0.50×B值    （2）

V值=0.50×R值－0.42×G值－0.08×B值    （3）

第一图像存储器12包括非易失性半导体存储器、易失性半导体存储器、磁盘等存储装置。第一图像存储器12连接图像输入装置11，保存通过图像输入装置11生成的读取图像。

第一接口装置13具有例如USB等以串行总线为标准的接口电路，与信息处理装置20电连接，发送接收图像数据及各种信息。又，也可以将闪存等连接到第一接口装置13，暂时保存第一图像存储12中保存的图像数据，并拷贝到信息处理装置20。

第一存储装置14包括RAM、ROM等存储装置、硬盘等固定磁盘装置、或者软盘、光盘等可移动存储装置等。又，第一存储装置14中存储了用于图像读取装置10的各种处理的计算机程序、数据库、列表等。计算机程序也可以从例如CD-ROM、DVD-ROM等计算机可读取的可移动型存储介质使用公知的安装程序等被安装到第一存储装置14。

第一CPU15连接图像输入装置11、第一图像存储器12、第一接口装置13及第一存储装置14，并控制上述各部分。第一CPU15进行图像输入装置11的读取图像生成控制、第一图像存储器12的控制、通过第一接口装置13的与信息处理装置20的数据发送接收控制、第一存储装置14的控制等。

信息处理装置20包括第二接口装置21、第二图像存储器22、显示装置23、输入装置24、第二存储装置25、第二CPU26、图像处理电路27。下面，对信息处理装置20的各部分进行详细说明。

第二接口装置21包括和图像读取装置10的第一接口装置13同样的接口电路，并连接信息处理装置20和图像读取装置10。

第二图像存储器22包括和图像读取装置10的第一图像存储器12同样的存储装置。在第二图像存储器22中，保存有通过第二接口装置21从图像读取装置10接收的读取图像，并与图像处理电路27连接，保存通过图像处理电路27对读取图像进行了图像处理的各种处理图像。

显示装置23包括由液晶、有机EL等构成的显示器及向显示器输出图像数据的接口电路，与第二图像存储器22连接，并在显示器上显示保存在第二图像存储器22的图像数据。

输入装置24包括键盘、鼠标等输入装置及由输入装置取得信号的接口电路,将与使用者的操作相应的信号输出到第二CPU26。

第二存储装置25包括和图像读取装置10的第一存储装置14同样的存储装置、固定磁盘装置、可移动存储装置等。第二存储装置25中，存储了用于信息处理装置20的各种处理的计算机程序、数据库、列表等。计算机程序也可以从例如CD-ROM、DVD-ROM等计算机可读取的可移动型存储介质中使用公知的安装程序等被安装到第二存储装置25。

第二CPU26与第二接口装置21、第二图像存储器22、显示装置23、输入装置24、第二存储装置25及图像处理电路27连接，并控制上述各部分。第二CPU26进行通过第二接口装置21的与图像读取装置10的数据发送接收控制、第二图像存储器22的控制、显示装置23的显示控制、输入装置24的输入控制、第二存储装置25的控制、基于图像处理电路27的图像处理控制等。

图像处理电路27与第二图像存储器22连接,进行原稿切出处理。该图像处理电路27与第二CPU26连接，通过第二CPU26的控制，基于预先存储于第二存储装置25的程序进行动作。此外，图像处理电路27也可以由独立的集成电路、微处理器、固件等构成。

图2是示出图像处理电路27的概略构成的图。如图2所示的图像处理电路27包括第一边缘像素提取部201、区域检测部202、第二边缘像素提取部203、直线检测部204、矩形检测部205、区域确定部206及切出部207。上述各部分是通过在处理器上动作的软件而执行的功能模块。此外，上述各部分也可以由分别独立的集成电路、微处理器、固件等构成。

图3是示出基于图像读取装置10的图像读取处理的动作的流程图。下面，参照图3所示的流程图，对图像读取处理的动作进行说明。此外，下面说明的动作流程是基于预先存储在第一存储装置14中的程序，主要通过第一CPU15协同图像读取装置10的各个元件被实行。

首先，图像输入装置11生成拍摄了作为摄像对象物的原稿的读取图像，并保存在第一图像存储器12（步骤S101）。

然后，第一CPU15通过第一接口装置13将第一图像存储器12中保存的读取图像发送到信息处理装置20（步骤S102），并结束一系列步骤。

图4是示出基于信息处理装置20的原稿切出处理的动作的流程图。下面，参照图4所示的流程图，对原稿切出处理的动作进行说明。此外，下面说明的动作流程是基于预先存储在第二存储装置25中的程序，主要通过第二CPU26协同图像读取装置20的各个元件被实行。

最初，第二CPU26通过第二接口装置21，从图像读取装置10取得读取图像，并保存在第二图像存储22中（步骤S201）。

然后，图像处理电路27读出保存在第二图像存储器22中的读取图像，对于读取图像的亮度成分，生成在水平方向及垂直方向上间隙剔除了像素的输入图像，并保存在第二图像存储器22中（步骤S202）。

通常，因为信息处理装置20根据处理的图像像素数量而处理速度大不相同，所以间拔像素的比例根据第二CPU26等的处理能力和对信息处理装置20要求的处理速度而决定。此外，在即使不间隙剔除像素也满足所要求的处理速度的情况下，也可以照原样将读取图像的亮度成分作为输入图像。

然后，图像处理电路27的各部分对于输入图像实施切出区域确定处理（步骤S203）。在切出区域确定处理中，图像处理电路27的各部分从输入图像中确定切出原稿图像的切出区域。关于切出区域确定处理的详细内容将在后面叙述。

然后，在切出区域确定处理中，切出部207将确定的切出区域从输入图像中切出（步骤S204）。

然后，第二CPU26将切出部207切出的区域显示于显示装置23（步骤S205）,结束一系列的步骤。

图5是示出切出区域确定处理的动作实例的流程图。图5所示的动作流程在图4所示的流程图的步骤S203中被实行。

最初，第一边缘像素提取部201及区域检测部202对于输入图像实施对象区域检测处理（步骤S301）。在对象区域检测处理中，第一边缘像素提取部201从输入图像中提取边缘像素，区域检测部202检测出由提取的边缘像素中连接的边缘像素围成的对象区域。关于对象区域检测处理的详细内容将在后面叙述。

然后，区域检测部202判定在对象区域检测处理中是否检测出对象区域（步骤S302）。区域检测部202在完全没有检验出对象区域的情况下，不特别地进行处理，结束一系列的步骤,另一方面，在检验出对象区域的情况下,将处理切换到步骤S303。步骤S303～S315的处理针对各提取的对象区域实施。

然后，第二边缘像素提取部203、直线检测部204及矩形检测部205对于对象区域实施第一矩形检测处理（步骤S303）。在第一矩形检测处理中，第二边缘像素提取部203从对象区域中提取边缘像素，直线检测部204从提取的边缘像素中检测出多条直线，矩形检测部205检测出由检测出的多条直线中两两大致正交的四条直线构成的第一矩形。关于第一矩形检测处理的详细内容将在后面叙述。

然后，区域确定部206对于检测出的第一矩形实施第一矩形判定处理（步骤S304）。在第一矩形判定处理中，区域确定部206判定第一矩形与对象区域是否一致。关于第一矩形判定处理的详细内容将在后面叙述。

然后，区域确定部206判定检测出第一矩形且在第一矩形判定处理中是否将第一矩形判定为与对象区域一致(步骤S305)。区域确定部206在检测出第一矩形且将第一矩形判定为与对象区域一致的情况下,将该第一矩形判定为切出区域（步骤S306）。

另一方面，区域确定部206在没有检测出第一矩形的情况下,或者将第一矩形判定为与对象区域不一致的情况下，判定对象区域的端部是否与输入图像的端部接近（步骤S307）。区域确定部206对象区域的左端、右端、上端及下端的任一端在距输入图像的左端、右端、上端或者下端规定距离内的情况下,判定为彼此接近，没有在规定距离内的情况下,判定为彼此不接近。规定距离由距可能没有提取边缘像素的输入图像的端部的最大距离所决定，而与写入对象区域的内容与输入图像的端部是否相交无关，例如被定为相当于10mm的距离。

区域确定部206在对象区域端部没有与输入图像端部接近的情况下，将对象区域的外接矩形确定为切出区域（步骤S308）。此外，在这种情况下，区域确定部206至少可以将包含对象区域的区域作为切出区域，也可以将对象区域自身作为切出区域。

另一方面，在对象区域端部与输入图像端部接近的情况下，第二边缘像素提取部203、直线检测部204及矩形检测部205对于对象区域实施第二矩形检测处理（步骤S309）。在第二矩形检测处理中，直线检测部204除了第一矩形检测处理中检测出的直线,还检测出与对象区域端部接近的输入图像的端部作为直线，矩形检测部205检测出由包含输入图像端部的四条直线构成的第二矩形。关于第二矩形检测处理的详细内容将在后面叙述。

然后，区域确定部206对于检测出的第二矩形实施第二矩形判定处理（步骤S310）。在第二矩形判定处理中，区域确定部206判定第二矩形与对象区域是否一致。关于第二矩形判定处理的详细内容将在后面叙述。

然后，区域确定部206判定检测出第二矩形、并判定是否已在第二矩形判定处理中将第二矩形判定为与对象区域一致（步骤S311）。区域确定部206在检测出第二矩形且将第二矩形判定为与对象区域一致的情况下，将该第二矩形确定为切出区域（步骤S312）。

另一方面，区域确定部206在没有检测出第二矩形的情况下，或者将第二矩形判定为与对象区域不一致的情况下，判定在第一矩形检测处理中是否检测出第一矩形（步骤S313）。区域确定部206在检测出第一矩形的情况下，将该第一矩形确定为切出区域（步骤S314），在没有检测出第一矩形的情况下，将对象区域的外接矩形确定为切出区域（步骤S308）。

一旦在步骤S306、S308、S312或者S314中确定切出区域，图像处理电路27判定对于全部的对象区域，是否进行了处理（步骤S315）。图像处理电路27在存在尚未处理的对象区域的情况下，返回到步骤S303进行处理，重复进行步骤S303～S315的处理，在对于全部的对象区域进行了处理的情况下，结束一系列的步骤。

图6是示出对象区域检测处理的动作实例的流程图。图6所示的动作流程在图5所示的流程图的步骤S301中被实行。

最初，第一边缘像素提取部201由输入图像，在水平方向及垂直方向上生成间隙剔除了像素的缩小图像，并保存在第二图像存储器22中（步骤S401）。

图7A～图7C是用于对对象区域检测处理的各图像进行说明的示意图。图7A所示的图像700是输入图像的实例。如图7A所示，输入图像700是将放置于具有木纹等花纹702的放置台的书本作为原稿进行拍摄的图像。图7B所示的图像710是缩小图像的实例。将输入图像700转换为缩小图像710的间隙剔除率预先决定为，去除由于图像读取装置10的图像输入装置11的摄像元件及光学系统的影响而产生的随机噪声703，但不去除原稿内的阴影部分704、文字705等。

此外，第一边缘像素提取部201也可以通过对输入图像应用平滑过滤器，替代生成缩小图像来去除随机噪声703。或者，第一边缘像素提取部201也可以进一步地对缩小图像应用平滑过滤器。

然后，第一边缘像素提取部201对于缩小图像，提取在水平方向及垂直方向上的边缘像素。第一边缘像素提取部201在缩小图像的水平方向及垂直方向的任一方向上，生成由作为边缘像素提取的像素组成的第一边缘图像，并保存在第二图像存储器22中（步骤S402）。

第一边缘像素提取部201计算出缩小图像各像素的水平方向两邻的像素亮度值之差的绝对值（下面,称为相邻差分值）,在相邻差分值超过阈值Th1的情况下，将该图像上的像素作为垂直边缘像素。该阈值Th1例如可以设定为人能够用目视辨别图像上亮度差异的亮度值之差（例如20）。又，第一边缘像素提取部201对于各图像，在垂直方向上也进行相同的处理，提取水平边缘像素。此外，第一边缘像素提取部201也可以将注目像素及在该注目像素的水平方向、垂直方向及倾斜方向（8附近）上相邻的像素的分散值作为对于该注目像素的分散值，根据各像素的分散值的相邻差分值，提取垂直边缘像素及水平边缘像素。

此外，第一边缘像素提取部201也可以通过对提取的垂直边缘像素及水平边缘像素分别标记来进行分组，去除包含于水平方向的大小或者垂直方向的大小在阈值Th2以下的组中的边缘像素。将阈值Th2设定为作为原稿放置面的污渍被假设的数值（例如相当于3mm的值）。又，第一边缘像素提取部201也可以在各组的面积或者各组外接矩形的面积在阈值以下的情况下，将包含于该组的边缘像素去除。由此，能够去除由原稿放置面的污渍产生的边缘像素。

第一边缘像素提取部201在缩小图像中，将由作为垂直边缘像素或者水平边缘像素提取的像素组成的图像作为第一边缘图像来生成。此外，第一边缘像素提取部201也可以对生成的第一边缘图像实施膨胀/收缩处理。由此，即使没有将输入图像中连接部分的一部分作为边缘像素提取的情况下，在第一边缘图像中也能够使该部分连接。

然后，区域检测部202对于第一边缘图像，判定各边缘像素是否与其他边缘像素连接,并将连接的边缘像素作为一组进行标记（步骤S403）。可以由区域检测部202判断在水平方向、垂直方向或者倾斜方向（8附近）上相互相邻的边缘像素为连接。此外，也可由第一边缘像素提取部201判定仅在水平方向或者垂直方向上（4附近）相互相邻的边缘像素为连接。

然后，区域检测部202判定各组的水平方向及垂直方向双方的大小是否在阈值Th3一下，将包含于水平方向及垂直方向双方的大小在阈值Th3以下的组的边缘像素从第一边缘图像中去除（步骤S404）。将阈值Th3设定为保证信息处理装置40的检测的原稿最小尺寸（例如与1英寸相当的数值）。通过该处理，如图7B所示的放置台的花纹711，将比保证信息处理装置40的检测的原稿最小尺寸更小的边缘像素组去除。此外，区域检测部202也可以在各组的水平方向及垂直方向的任一方向的大小在阈值Th3以下的情况下,或者在各组的面积又或各组外接矩形的面积在阈值（例如与1平方英寸相当的值）的情况下去除边缘像素。

然后，区域检测部202判定各组是否包含于其他组，将包含于其他组的组中所包含的边缘像素从第一边缘图像中去除（步骤S405）。通过该处理，如图7B所示的内容712，将基于原稿内容而产生的边缘像素的组去除。

然后，区域检测部202对于没有被去除而剩余的各组，检测出由包含于该组的边缘像素围成的区域，检测出与检测出的区域相应的输入图像内的区域作为对象区域。区域检测部202将输入图像内的对象区域外接矩形保存在第二图像存储器22中（步骤S406），结束一系列的步骤。

图7C所示的图像720是由连接的边缘像素围成的区域的实例。如图7C所示，由连接的边缘像素围成的区域720是该连接的边缘像素组的最外侧外周721及其内侧的区域，在区域720中不只存在边缘像素，还包含存在于外周721的内侧的全部像素722。

此外，也可以将由连接的边缘像素围成的区域当作不包含连接的边缘像素组的最外侧外周的区域。或者，也可以将由连接的边缘像素围成的区域当作使连接的边缘像素组的最外侧外周及其内侧的区域仅规定像素部分膨胀或收缩后的区域。又，对于连接的边缘像素，如上所述，通过对边缘图像实施膨胀/收缩处理，也可以不只包含相互相邻的边缘像素，还包含相互位于规定距离内的边缘像素及位于其间的像素。又，位于连接的边缘像素两端的边缘像素存在于规定距离内的情况下，也可以包含于将位于两端的边缘像素之间的像素连接的边缘像素。该规定距离可以设为例如连接的边缘像素的长度乘以规定比率（例如80%）的长度。由此，例如在边缘像素以U字型连接的情况下，能够形成使两端的边缘像素连接围成的区域。

图8是示出第一矩形检测处理的动作实例的流程图。如图8所示的动作流程，在如图5所示的流程图的步骤S303中被实行。

最初，第二边缘像素提取部203在区域检测部202检测出的对象区域外接矩形内部中，提取垂直边缘像素及水平边缘像素（步骤S501）。第二边缘像素提取部203用与生成第一边缘图像的情况相同的方法提取垂直边缘像素及水平边缘像素。此外，与生成第一边缘图像的情况相同，第二边缘像素提取部203也可以从缩小图像提取垂直边缘像素及水平边缘像素。又，第二边缘像素提取部203也可以通过将提取的垂直边缘像素及水平边缘像素分别标记而进行分组，去除包含于大小在阈值Th2以下的组中的边缘像素。

或者，第二边缘像素提取部203也可以通过其他方法提取垂直边缘像素及水平边缘像素。例如，第二边缘像素提取部203由输入图像生成以各不相同的间隙剔除率间隙剔除像素的多幅间隙剔除图像，由输入图像及各间隙剔除图像分别提取垂直边缘像素并生成由垂直边缘像素组成的边缘图像。第二边缘像素提取部203将最小的间隙剔除图像生成的边缘图像扩大为与比其稍大的间隙剔除图像生成的边缘图像相同的分辨率，生成由在具有相同分辨率的两幅边缘图像中位于相同位置的垂直边缘像素构成的图像。第二边缘像素提取部203对生成的图像和比其稍大的间隙剔除图像生成的边缘图像重复进行相同的处理，最终，提取与输入图像生成的图像的垂直边缘像素存在于相同位置的垂直边缘像素。又，第二边缘像素提取部203也通过相同的处理提取水平边缘像素。由此，对噪声进行降低，并能够提取垂直边缘像素及水平边缘像素。

然后，直线检测部204从水平边缘像素生成的边缘图像（下面，称为水平边缘图像）及垂直边缘像素生成的边缘图像（下面，称为垂直边缘图像）中分别检测出多条直线（步骤S502）。此外，从水平边缘图像中检测出在水平方向上延伸的直线，从垂直边缘图像中检测出在垂直方向上延伸的直线。

直线检测部204用霍夫变换检测直线。此外，直线检测部204也可以用最小二乘法检测直线。或者，直线检测部204也可以对在用霍夫变换检测出的直线规定距离内存在的边缘像素，用最小二乘法检测直线。该规定距离根据图像处理系统1的使用环境等适当地被设定，例如设定为与2mm相当的距离。

然后，直线检测部204从水平边缘图像及垂直边缘图像中检测出各自的近似直线（步骤S503）。

图9A及图9B用于对近似直线进行说明的示意图。在拍摄如图9A所示的书籍原稿的输入图像900中，虽然相对于书籍原稿的装订部901平行的端部902作为直线被检测出，但是也存在相对于装订部901垂直的端部903在装订部901的附近发生变形，而没有被作为直线被检测出的情况。

因此，直线检测部204如图9B的边缘图像910所示，通过标记相互相邻的边缘像素911，集中为一组912。直线检测部204在包含于该组912的边缘像素中，检测出连结位于水平方向或者垂直方向的两端的边缘像素913及边缘像素914的直线915作为近似直线。

然后，矩形检测部205检测出由直线检测部204检测出的直线或者近似直线组成的第一矩形（步骤S504）。

矩形检测部205提取由直线检测部204检测出的多条直线中两两大致正交的四条直线构成的多个矩形候选。矩形检测部205首先选择一条水平方向的直线（下面，称为第一水平线），提取与选择的直线大致平行（例如，±3°以内）并且相距超过阈值Th4的水平方向的直线（下面，称为第二水平线）。然后，矩形检测部205提取与第一水平线大致正交（例如对于90°，±3°以内）的垂直方向的直线（下面,称为第一垂直线）。然后，矩形检测部205提取与第一水平线大致正交，并且与第一垂直线相距阈值超过Th5的垂直方向的直线（下面，称为第二垂直线）。此外，阈值Th4及阈值Th5根据作为图像读取装置10读取对象的原稿的尺寸预先确定，也可以设为相同的数值。

矩形检测部205对于直线检测部204检测出的全部直线，提取满足上述条件的第一水平线、第二水平线、第一垂直线及第二垂直线的全部组合，并将由提取的各组合构成的矩形作为矩形候选进行提取。矩形检测部205对于提取的矩形候选计算出面积，并检测出面积最大的矩形候选作为第一矩形。此外，矩形检测部205对于各矩形候选，也可以计算出与距矩形候选的各边规定距离内存在的全部像素的数量对应的规定距离内存在的边缘像素的数量的比例，将矩形候选的面积乘以该比例进行加权。由此，能够检测出由明确表示原稿边界的直线构成的矩形。或者，矩形检测部205对于各矩形候选，也可以计算出表示矩形候选各角的似角的程度的评价点,利用评价点对矩形候选的面积进行加权。

图10是用于对矩形候选的各角的评价点进行说明的示意图。图10所示的图像1000中，点1001表示矩形候选的角，直线1002、1003表示矩形候选的各边。在该直线1002、1003的端部相互连接连的情况下，认为点1001像是矩形的角，在没有与直线1002、1003的端部接连的情况下，或者在直线1002、1003交叉的情况下，则认为点1001不像是矩形的角。

评价点以0点为基准。然后，距角1001附近的边1002规定距离内的区域1004中，针对各水平方向的线，对是否存在边缘像素进行判定，在水平方向的线上存在边缘像素的情况下，评价点加1。此外，各角的附近范围及距各边的规定距离根据图像处理系统1的使用环境等被适当地决定，例如可以设定为相当于距各角5mm的距离内的范围，以及相当于距各边2mm的距离。同样地，距角1001的附近的边1003规定距离内的区域1005中，针对各垂直方向的线，对是否存在边缘像素进行判定，在垂直方向的线上存在边缘像素的情况下，评价点加1。又，距角1001附近的边1002的延长线规定距离内的区域1006中，针对各水平方向的线，对是否存在边缘像素进行判定，在水平方向的线上存在边缘像素的情况下，评价点减1。同样地，距角1001附近的边1003的延长线规定距离内的区域1007中，针对各垂直方向的线，对是否存在边缘像素进行判定，在垂直方向的线上存在边缘像素的情况下，评价点减1。矩形检测部205以评价点能取的最低值为0，能取的最高值为1的方式计算出将评价点归一化的值，并通过将矩形候选的面积乘以该值进行加权，能够检测出明确表示四角的矩形。

此外，矩形检测部205在检测出的矩形的任一边是近似直线的情况下，以将包含于与该近似直线的对应的标记组的全部边缘像素包含进该矩形的方式，对由该近似直线而生成的边进行校正。

图11A、图11B是用于对包含近似直线的矩形进行说明的示意图。如图11A的图像1100所示，在对于原稿1101检测出的矩形1102的边1103、1104是近似直线的情况下，近似直线1103、1104与原稿1101与原稿1101重合，存在矩形1102没有包含原稿1101的全部区域的可能性。因此，矩形检测部205如图11B的图像1110所示，将近似直线1103、1104校正为构成与各近似直线对应的组1115、1116的外接矩形的边之中，与各近似直线大致平行，从原稿1111来看位于外侧的边1113、1114。由此，将矩形1102校正为矩形1112，从而能够包含原稿1111的全部区域。

图12是示出由矩形检测部205检测出的第一矩形的实例的示意图。图12所示的实例中，在对象区域1200的外接矩形1201内，检测出矩形1202～1204矩形候选，并检测出其中面积最大的矩形1202作为第一矩形。

图13是示出第一矩形判定处理的动作实例的流程图。图13所示的动作流程在图5所示的流程图的步骤S304中被实行。

最初，区域确定部206计算出矩形检测部205检测出的第一矩形的面积相对于区域检测部202检测出的对象区域的面积之比（步骤S601）。

然后，区域确定部206对计算出的面积之比是否超过阈值Th6进行判定（步骤S602）。区域确定部206在计算出的面积之比超过阈值Th6的情况下，判定对象区域与第一矩形一致（步骤S603），另一方面，在没有达到阈值Th6的情况下，判定对象区域与第一矩形不一致（步骤S604），结束一系列的步骤。

由此，所谓“对象区域与矩形一致”意味不只是对象区域与矩形完全一致，还包含大致一致，相对于对象区域大小的矩形大小的比超过预先设定的阈值Th6。阈值Th6被设定为至少比0.5大的数值（例如0.8）。阈值Th6例如被设定成想定为读取对象的原稿尺寸相对于想定为读取对象的原稿尺寸与假设作为原稿放置台花纹的最大尺寸的合计的比。

此外，寻求比的对象区域及矩形大小不被面积限定，也可以为外接矩形面积、或者外接矩形的水平或垂直方向的长度。或者，也可以在对象区域和矩形的形状大致一致的情况下判定对象区域和矩形一致。这种情况下，区域确定部206在相对于对象区域外接矩形的水平及垂直方向的长度比的矩形水平及垂直方向的长度比的比例在规定范围内（例如0.8～1.0）的情况下，判定对象区域和矩形一致，不在规定范围的情况下，判定为不一致。进一步地，区域确定部206也可以将上述值之中的两个以上进行组合来使用，判定对象区域和矩形是否一致。

此外，如上所述，第一矩形检测处理中，矩形检测部205仅检测出一个第一矩形，但也可以检测出多个第一矩形。这种情况下，第一矩形判定处理中，区域确定部206判定对于检测出的全部第一矩形，与对象区域是否一致。然后，图3的步骤S305中，区域确定部206判定对于检测出的全部第一矩形，是否判定为与对象区域一致，在没有一个第一矩形与对象区域一致情况下，使处理转移到步骤S306。

下面，对在图5的步骤S309中实行的第二矩形检测处理的动作进行说明。

第二矩形检测处理的动作与图8所示的第一矩形检测处理的运行大致相同。但是，图8的步骤S502中，直线检测部204除了第一矩形检测处理中检测出的直线，还检测出图5的步骤S308中区域确定部206判定为与对象区域端部接近的输入图像的端部作为直线。然后，图8的步骤S504中，矩形检测部205检测出由至少包含作为直线被检测出的输入图像的端部的四条直线构成的第二矩形。

图14是示出第二矩形判定处理的动作实例的流程图。图14所示的动作流程在图5所示的流程图的步骤S310中被实行。

最初，区域确定部206计算出矩形检测部205检测出的第二矩形的面积相对于区域检测部202检测出的对象区域的面积之比（步骤S701）。

然后，区域确定部206判定计算出的面积之比是否超过阈值Th7（步骤S702）。阈值Th7与阈值Th6相同，被设定为至少比0.5大的数值（例如0.8），被预先设定为对应于假设作为读取对象的原稿尺寸和假设作为原稿放置台花纹的最大尺寸的合计的假设的原稿尺寸之比。此外，与第一矩形判定处理相同，区域确定部206也可以使用面积比以外的值对对象区域和第二矩形进行比较。

区域确定部206在计算出的面积比超过阈值Th7的情况下,检测出沿与输入图像的端部大致正交的第二矩形的边的，与输入图像的端部相交的第二矩形的角的附近区域。区域确定部206在检测出的附近区域中，计算出构成该边的像素之中在与该边正交的方向上存在边缘像素的像素数量相对于构成第二矩形的边的像素数量之比（步骤S703）。

图15A是用于对第二矩形判定处理进行说明的示意图。图15A所示的实例中，以在输入图像1500中不纳入原稿1501的方式进行拍摄，由原稿1501的上端1511及下端1512、输入图像1500的左端1513及右端1514构成第二矩形1515。

区域确定部206首先检测出与输入图像1500的左端1513相交的第二矩形1515的左上角1521的附近区域1525。附近区域是沿与输入图像1500的左端1513大致正交的第二矩形1515的上端1511的区域，并规定：与上端1511正交的方向的长度是例如相当于2mm的长度，与上端1511平行的方向的长度是例如相当于10mm的长度。区域确定部206在附近区域1525，对在通过各构成第二矩形1515的上端1511的像素且在与上端1511正交（大致垂直方向的）的线上是否存在边缘像素进行判定。然后，区域确定部206计算出判定为构成上端1511的像素中与上端1511正交的线上存在边缘像素的像素数量相对于构成上端1511的像素数量的比。

同样地，区域确定部206检测出与输入图像1500的左端1513相交的第二矩形1515的左下角1522的附近区域1526。进一步地，区域确定部206检测出与输入图像1500的右端1514相交的第二矩形1515的右上角1523的附近区域1527及右下角1524的附近区域1528。区域确定部206对于各附近区域，计算出构成各边的像素之中与各边正交的（大致垂直方向的）线上存在边缘像素的像素数量相对于构成第二矩形1515的（大致水平方向的）各边的像素数量的比。

此外，在由原稿左端及右端、输入图像上端及下端构成第二矩形的情况下，第二矩形的左上角及左下角的附近区域是沿第二矩形左端的区域，第二矩形的右上角及右下角的附近区域是沿第二矩形右端的区域。在那种情况下，区域确定部206对于各附近区域，计算出构成各边的像素之中在与各边正交的（大致水平方向的）线上存在边缘像素的像素数量相对于构成第二矩形的（大致垂直方向的）各边的像素数量的比。

然后，区域确定部206判定对于各附近区域计算出的像素数量的比是否超过阈值Th8（步骤S704）。阈值Th8被设定为能够对各附近区域是否显示有原稿端部进行识别的值，例如，被设定为0.8。

图15B是用于对第二矩形判定处理进行说明的示意图。图15B所示的实例中，虽然在输入图像1530中收入了原稿1531，但使用者的手1532及1533按住了原稿1531。该实例中，由原稿1531的上端1541及下端1542、输入图像1530的左端1543及右端1544构成第二矩形1545。

如图15A所示，通过在输入图像原稿1501中不收入原稿1501而检测第二矩形1515的情况下,为了在1525～1528显示原稿端部，计算出的像素比是接近1的值。另一方面，如图15B所示，虽然原稿1531没有直接与输入图像1530连接，但是通过使用者的手连接的情况下，由于没有在各附近区域1555～1558显示原稿的端部，因此计算得到的像素比接近于0。

在各附近区域计算出的像素数量的比全部超过阈值Th8的情况下，区域确定部206判定对象区域与第二矩形一致（步骤S705），结束一系列步骤。另一方面，区域确定部206在任何一个附近区域计算出的像素数量的比没有达到阈值的情况下，或者在步骤S702判定了面积比没有达到阈值Th7的情况下,判定对象区域与第二矩形不一致（步骤S706），结束一系列步骤。

如上所述，区域确定部206对在检测出的附近区域，基于沿第二矩形的边分布的边缘像素，第二矩形与对象区域是否一致进行判定。此外，区域确定部206也可以根据边缘像素数量相对于检测出的附近区域的全部像素数量的比是否超过阈值，判定第二矩形与对象区域是否一致。

下面，对图5的步骤S306、S308、S312及S314的各图像的状态进行说明。

步骤S306中,因为第一矩形与对象区域一致，如图12所示，所以认为第一矩形是由原稿而得到的矩形1202，对象区域是由原稿而得到的矩形1202以及与矩形1202相连的放置台的花纹构成的对象区域1200。在这种情况下，因为将对象区域当作切出区域的话，会导致与原稿相连的放置台的花纹也被包含在内，所以区域确定部206将第一矩形1202当作切出区域，以使切出区域中不包含放置台的花纹。由此，即使信息处理装置20在原稿的放置台存在花纹的情况下，也能够适当地仅切出显示原稿的部分。

另一方面，步骤S308中，因为第一矩形与对象区域不一致，所以认为将呈非矩形的形状的原稿作为对象区域检测出了。在这种情况下，区域确定部206将对象区域的外接矩形作为切出区域,以使切出区域中包含呈非矩形形状的原稿整体。由此，信息处理装置20即使在原稿形状不为矩形的情况下，也能够可靠地切出原稿整体。

另一方面，步骤S312中，第二矩形与对象区域一致。在这种情况下，如图15A所示，认为在输入图像1500中不纳入原稿1501，由原稿1501而得到的对象区域，与输入图像1500的端部1513、1514所相交，与第二矩形1515一致。在这种情况下，区域确定部206将第二矩形1515作为切出区域,以使切出区域中包含显示于输入图像的原稿整体。由此，即使在输入图像中没有收入原稿的情况下，信息处理装置20也能够抑制将原稿内的一部分内容误当作原稿整体检测并切出的情况。

另一方面，步骤S314中，虽然第一矩形及第二矩形与对象区域不一致，但对象区域与输入的端部接近,且存在第一矩形。在这种情况下，认为与原稿相连的放置台的花纹和输入图像的端部相交。通常，在将原稿放置于放置台等并利用图像读取装置拍摄原稿的情况下，使用者有将原稿放置于拍摄范围的中心位置并进行拍摄的倾向。因而，在与原稿相连的放置台的花纹和输入图像的端部相交的情况下，放置台的花纹覆盖全部拍摄范围的可能性较高。

图16是示出放置台的花纹涉及到全部拍摄范围的情况下的输入图像实例的示意图。图16所示的实例中，虽然原稿1601显示于输入图像1600，但放置台的花纹1602涉及到全部输入图像1600。在这种情况下，区域确定部206将由原稿1601而得到的第一矩形1603作为切出区域，以使切出区域中不包含放置台的花纹1602。由此，即使在原稿的放置台的花纹涉及到大范围的情况下，信息处理装置20也能够适当地仅切出显示原稿的部分。

此外，在图14的步骤S704中像素数量比被判定为不超过阈值Th8并转移到步骤S314的情况下，如图15B所示，原稿1531和使用者的手1532、1533等相连成为对象区域的可能性较高。因而，在这种情况下，区域确定部206将由原稿1531得到的第一矩形作为切出区域，以使切出区域中尽可能地不包含使用者的手1532、1533等。由此，即使在使用者的手等显示于输入图像的情况下，信息处理装置20也能够适当地仅切出显示原稿的部分。

此外，虽然第一矩形及第二矩形与对象区域不一致，但对象区域与输入图像的端部接近，且存在第一矩形的情况下,也有以输入图像中不纳入具有矩形花纹的呈非矩形形状的原稿的方式进行拍摄的可能性。因而，在这种情况下，区域确定部206也可以将对象区域的外接矩形作为切出区域，以使对象区域中包含呈非矩形形状的原稿整体。

如上详述，通过按照图4～图6、图8、图13、图14所示的流程图进行动作，信息处理装置20能够适当地确定从输入图像中应切出原稿图像的区域。

简单地将由连接的边缘像素围成的区域当作切出区域的话，在原稿放置台上具有花纹的情况下，存在将与原稿相连的原稿放置台的花纹包含进切出区域中的可能性。为了防止这种情况，如果将原稿放置台的花纹作为噪声去除的话，存在将原稿端部的一部分一起去除的可能性。信息处理装置20-通过将对象区域与对象区域内的矩形进行比较能够适当地确定切出区域,因为没有通过噪声去除处理将原稿放置台的花纹去除的必要，能够防止原稿端部的去除。

此外，图像处理电路27确定切出区域的范围也可以按使用者能够从输入装置24进行输入的方式确定。这种情况下，图像处理电路27的各部分在输入范围内检测出对象区域、各直线或者各矩形，确定切出区域。

图17是用于对指定了确定切出区域的范围的情况下的处理进行说明的示意图。如图17的图像1700所示，原稿1701中的范围1702被使用者指定的话，检测出范围1702中的各区域1703～1706作为对象区域，没有在范围1702中的各区域1707～1708不作为对象区域被检测出。由此，信息处理装置20在拍摄相册等情况下，能够自动地对相册中的各照片进行切出。又，通过对确定切出区域的范围进行限定，能够适当地去除存在于应当切出的区域外侧的噪声，并能够适当地确定切出区域。

图18是示出另一图像处理系统2的概略构成的图。如图18所示的图像处理系统2与图1所示的图像处理系统1的差异在于构成图像处理电路的装置不同。即是说，图像处理系统2中，不是信息处理装置40而是图像读取装置30具有图像处理电路36。该图像处理电路36具有与信息处理装置20的图像处理电路27相同的功能。

图18所示的图像处理系统2中，能够实行与上述的图3、图4所示的处理大致相同的处理。下面，对如何适用图3的流程图所示的图像读取处理以及图4的流程图所示的直线检测处理及矩形检测处理进行说明。图像处理系统2中，步骤S101的处理及步骤S202～S204的处理基于预先存储在第一存储装置34中的程序，主要通过第一CPU35协同图像读取装置30的各个元件被实行。另一方面，步骤S205的处理基于预先存储在第二存储装置45中的程序，主要通过第二CPU46协同图像读取装置40的各个元件被实行。

步骤S101中，图像读取装置30的图像输入装置31生成对摄像对象物进行拍摄的读取图像，并保存在第一图像存储器32中。因为原稿切出处理在图像读取装置30被实施，所以省略步骤S102、S201的读取图像发送接收处理。

步骤S202～S204的处理通过图像读取装置30的图像处理电路36被实行。上述处理的动作与对于图像处理系统1已说明的，通过信息处理装置20的图像处理电路27被实行的情况相同。图像读取装置30的图像处理电路36通过第一接口装置33，将切出区域发送到信息处理装置40。另一方面，步骤S205中，信息处理装置40的第二CPU46将已接收的区域显示于显示装置43。

由此，在图像读取装置30具有图像处理电路36并实行原稿切出处理的情况下，也能够得到与信息处理装置设置图像处理电路并实行原稿切出处理的情况下相同的效果。

以上，对本发明的适宜的实施方式进行了说明，但本发明并不被这些实施方式所限定。例如，图像读取装置和信息处理装置的功能分担并不被图1及图18所示的图像处理系统的实例所限定，可以适当地进行变更，将包含图像处理电路中的各部分在内的图像读取装置及信息处理装置的各部分配置于图像读取装置或信息处理装置。或者，也可以用一体装置来构成图像读取装置和信息处理装置。

又，在图1所示的图像处理系统1中，不直接连接图像读取装置10的第一接口装置13和信息处理装置20的第二接口装置21，也可以通过互联网、电话线路网（包含便携终端线路网、普通电话线路网）、内联网等网络进行连接。在那种情况下，在第一接口装置13及第二接口装置21设置连接网络的通信接口电路。又，在那种情况下，也可以在网络上将多个信息处理装置20分散配置，各信息处理装置20协作来分担直线检测处理、矩形检测处理等，使得能够以云计算的方式提供图像处理的服务。由此，对于多个图像读取装置10读取的读取图像，图像处理系统1能够更高效率地实施原稿切出处理。

同样地，在图18所示的图像处理系统2中，也可以通过网络将图像读取装置30的第一接口装置33与信息处理装置40的第二接口装置41连接。

【符号说明】

1、2 图像处理系统

10、30 图像读取装置

20、40 信息处理装置

201 第一边缘像素提取部

202 区域检测部

203 第二边缘像素提取部

204 直线检测部

205 矩形检测部

206 区域确定部

207 切出部。

Claims (7)

1.一种图像处理装置，其特征在于，包括：

边缘像素提取部，其从输入图像中提取边缘像素；

区域检测部，其检测出由所述边缘像素中连接的边缘像素围成的对象区域；

直线检测部，其在所述对象区域内，检测出多条直线；

矩形检测部，其检测出由所述多条直线中两两大致正交的四条直线构成的矩形；以及

区域确定部,其在所述矩形与所述对象区域一致的情况下,将所述矩形确定为从所述输入图像中切出原稿图像的区域。

2.如权利要求1所述的图像处理装置，其特征在于，所述区域确定部在所述矩形检测部检测出的任何一个矩形都与所述对象区域不一致的情况下，将至少包含所述对象区域的区域确定为从所述输入图像中切出原稿图像的区域。

3.如权利要求1或2所述的图像处理装置，其特征在于，所述直线检测部在所述对象区域的端部与所述输入图像的端部接近的情况下,检测出所述输入图像的端部作为所述多条直线中的一条直线。

4.如权利要求3所述的图像处理装置，其特征在于，所述区域确定部在所述矩形包含所述输入图像的端部的情况下,基于在所述矩形的角的附近区域沿所述矩形的边分布的边缘像素，对所述矩形与所述对象区域是否一致进行判定，所述矩形的角的附近区域是沿与所述输入图像的端部大致正交的所述矩形的边的、与所述输入图像的端部相交的区域。

5.如权利要求4所述的图像处理装置，其特征在于，所述区域确定部在所述矩形包含所述输入图像的端部的情况下，基于在所述附近区域中、构成所述矩形的边的像素中在与该边正交的方向上存在边缘像素的像素数量相对于构成该边的像素数量的比，对所述矩形与所述对象区域是否一致进行判定。

6.如权利要求1或2所述的图像处理装置，其特征在于，所述区域确定部在所述对象区域的端部与所述输入图像的端部接近的情况下,即使所述矩形与所述对象区域不一致,也将所述矩形确定为从所述输入图像中切出原稿图像的区域。

7.一种区域确定方法，其特征在于，包含：

从输入图像中提取边缘像素的步骤；

检测出由所述边缘像素中连接的边缘像素围成的对象区域的步骤；

在所述对象区域内，检测出多条直线的步骤；

检测出由所述多条直线中两两大致正交的四条直线构成的矩形的步骤；以及

在所述矩形与所述对象区域一致的情况下,将所述矩形确定为从所述输入图像中切出原稿图像的区域的步骤。