CN102915534B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明涉及从摄像图像中检测四边形区域的图像处理装置以及图像处理方法。摄像装置(100)具备：图像取得部(4a)，其取得由摄像部(1)摄像而得到的摄像图像的图像数据；明度变化区域检测部(4b)，其基于所取得的摄像图像的图像数据，来对该摄像图像内明度以规定周期而变化的明度变化区域进行检测；直线确定部(4c)，其对所取得的摄像图像的图像数据实施用于检测直线的直线检测处理，来确定与明度变化区域对应的对应区域中所含的直线；以及候选区域确定部(4d)，其将摄像图像内包括所确定的直线而构成的四边形区域确定为提取候选区域。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及从摄像图像中检测四边形区域的图像处理装置以及图像处理方法。

背景技术

现有技术中，具备对纸件或名片等文件、白板上所书写的文字或图形、液晶显示装置中所显示的显示画面等进行摄像并保存为图像数据的功能的摄像装置是公知的(例如，参照作为日本公开专利公报的特开2005-267457号公报)。具体而言，摄像装置在通过针对摄像图像的图像数据的四边形检测处理来检测四边形区域，并提取出该四边形区域的图像后，执行用于进行梯形校正处理来变换成矩形图像的处理。

然而，在上述现有技术的情况下，通过四边形检测处理中的用于检测摄像图像内的直线的直线检测处理，还会检测出摄像图像中所含的、位于显示画面的外侧的直线。其结果是，存在还将包括位于显示画面的外侧的直线而构成的四边形区域确定为四边形区域的图像的提取的候选区域的问题。

发明内容

本发明为了解决上述现有技术的课题而提出，其目的在于，提供一种能从摄像图像中效率良好地检测四边形区域的图像处理装置以及图像处理方法。

在一种形态中，构成为使图像处理装置具备：取得单元，其取得由摄像单元摄像而得到的摄像图像的图像数据；检测单元，其基于由该取得单元取得的摄像图像的图像数据，来对该摄像图像内明度以规定的时间周期而变化的明度变化区域进行检测；第1确定单元，其对由所述取得单元取得的摄像图像的图像数据实施用于检测直线的直线检测处理，来确定与所述明度变化区域对应的对应区域中所含的直线；和第2确定单元，其将所述摄像图像内包括由所述第1确定单元确定的直线而构成的四边形区域确定为提取候选区域。

另外，在另一形态中，作为图像处理方法，提供一种包括如下处理的图像处理方法，取得由摄像单元摄像的摄像图像的图像数据的处理；基于所取得的摄像图像的图像数据，来对该摄像图像内明度以规定的时间周期而变化的明度变化区域进行检测的处理；对所取得的摄像图像的图像数据实施用于检测直线的直线检测处理，来确定与明度变化区域对应的对应区域中所含的直线的处理；和将所述摄像图像内包括所确定的直线而构成的四边形区域确定为提取候选区域的处理。

附图文字

图1是表示应用了本发明的一实施方式的摄像装置的概略构成的框图。

图2是表示由图1的摄像装置执行的摄像处理所涉及的动作的一例的流程图。

图3是表示图2的摄像处理中的明度变化区域检测处理所涉及的动作的一例的流程图。

图4是表示图2的摄像处理中的提取候选区域确定处理所涉及的动作的一例的流程图。

图5A、图5B是示意地表示图2的摄像处理所涉及的图像的一例的图。

图6A、图6B是示意地表示图2的摄像处理所涉及的图像的一例的图。

具体实施方式

以下，针对本发明，使用附图来说明具体的形态。其中，发明的范围不局限于图示例。

本实施方式的摄像装置100基于由摄像部1摄像而得到的摄像图像的图像数据，来检测该摄像图像内明度以规定周期而变化的明度变化区域A。然后，摄像装置100对摄像图像的图像数据实施用于检测直线L的直线检测处理，确定与明度变化区域A对应的对应区域B中所含的直线L，并将该摄像图像内包括所确定的直线L而构成的四边形区域确定为提取候选区域C。

图1是表示应用了本发明的一实施方式的摄像装置100的概略构成的框图。

如图1所示，摄像装置100具体而言，具备：摄像部1、摄像控制部2、图像生成部3、图像处理部4、显示部5、显示控制部6、记录介质控制部7、操作输入部8、存储器部9、以及中央控制部10等。

另外，摄像控制部2、图像生成部3、图像处理部4、显示控制部6、记录介质控制部7、存储器部9、中央控制部10经由总线11而连接。

摄像部1构成了用于对被摄体进行摄像的摄像单元。具体而言，摄像部1例如将显示装置200的显示画面201(参照图5A)作为被摄体进行摄像。

在此，说明显示装置200。

显示装置200能应用以规定的时间周期来重写显示内容并显示于显示画面201的公知的装置。具体而言，例如，尽管省略图示，但显示装置200具有由CRT(阴极射线管)、液晶显示面板、有机EL显示面板等构成的显示画面201。而且，显示装置200例如生成文字、数值或动作状态等由人的视觉识别的各种信息的视频信号，以与刷新速率(例如，每秒70Hz等)对应的规定的帧速率来重写各种信息所涉及的图像并显示于显示画面201。即，显示装置200按照对应于刷新速率来以每单位时间重写规定次数(例如，每秒70次等)的方式从显示画面201输出各种信息所涉及的图像。

如此，显示装置200构成了以规定的重写周期来输出图像的输出装置。

此外，尽管例示了显示装置200的显示画面201作为被摄体，但这只是一例，只要是以规定的重写周期从输出装置输出的图像，就不局限于此。即，例如可以将按照通过从投影装置(图示略)对显示屏或壁面等进行投影来以规定的周期进行重写的方式而显示的投影图像应用为被摄体。

另外，摄像部1具体而言，具备：透镜(lens)部1a、电子摄像部1b以及单元电路部1c。

透镜部1a，例如，尽管省略图示，但具有变焦透镜、对焦透镜、光圈等，并使通过了这些透镜的被摄体的光学像成像。

电子摄像部1b例如由CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)等的图像传感器等构成，按每个与摄像帧速率相应的规定的摄像周期将通过了透镜部1a的各种透镜的光学像变换成二维的图像信号(RGB图像数据)，并输出至单元电路部1c。

单元电路部1c，例如，尽管省略图示，但具备：CDS(Correlated DoubleSampling：相关双取样电路)、AGC(Auto Gain Control：增益调整放大器)、ADC(Analog to Digital Converter：模拟/数字转换器)等。该单元电路部1c在将从电子摄像部1b输出且与所输入的被摄体的光学像相应的模拟的图像信号由CDS保持，并将该图像信号由AGC放大后，将放大后的图像信号通过ADC而变换成数字的图像信号。然后，单元电路部1c将数字的图像信号发送至图像生成部3。

摄像控制部2对构成摄像部1的透镜部1a、电子摄像部1b以及单元电路部1c等的动作进行控制。

即，摄像控制部2例如具备电动机等的驱动源、以及用于驱动该驱动源的驱动器等(均省略图示)，使沿光轴方向驱动透镜部1a的变焦透镜或对焦透镜。另外，摄像控制部2例如具备用于进行透镜部1a的光圈的扩径或缩径的光圈驱动部(图示略)，并对应于曝光调整条件来进行光圈的扩径或缩径。

另外，摄像控制部2例如具备摄像帧速率设定部2a、TG(定时信号发生器；图示略)、用于驱动电子摄像部1b的驱动器(图示略)等，并依照摄像帧速率或各种摄像条件(例如，曝光时间等)，经由TG以及驱动器来对电子摄像部1b或单元电路部1c的动作定时进行控制。

摄像帧速率设定部2a将电子摄像部1b或单元电路部1c的驱动周期所涉及的摄像帧速率设定为规定的值。

具体而言，摄像帧速率设定部2a在摄像处理的明度变化区域检测处理(后述)中，较之于与拍摄通常的运动图像的通常拍摄对应的摄像帧速率(例如，15fps等)，设定为与增多了每单位时间的帧图像F(参照图5A)的摄像次数的高速拍摄对应的摄像帧速率(例如，120fps等)。此时，摄像帧速率设定部2a既可以从与通常拍摄对应的摄像帧速率切换为与高速拍摄对应的摄像帧速率来进行设定，也可以从与通常拍摄对应的摄像帧速率起连续地，或者，分段地使摄像帧速率变化，来设定为与高速拍摄对应的摄像帧速率。

另外，在用户预先知道作为被摄体的显示装置200等输出装置的刷新速率(例如，40Hz等)的情况下，摄像帧速率设定部2a可以基于由该用户执行的操作输入部8的规定操作，来设定为与该刷新速率对应的摄像帧速率(例如，40fps等)。

然后，摄像控制部2基于由摄像帧速率设定部2a设定的摄像帧速率或各种摄像条件(例如，曝光时间等)，以规定的定时使电子摄像部1b动作，并将通过了透镜部1a的被摄体的光学像变换成模拟的图像信号。另外，摄像控制部2以规定的定时使单元电路部1c动作，将从电子摄像部1b输出而被输入的各帧图像F相关的模拟的图像信号变换成数字的图像信号。

即，摄像控制部2对摄像部1的电子摄像部1b以及单元电路部1c进行控制，来使它们以与摄像帧速率相应的规定的摄像周期对多个帧图像F，…的图像数据进行摄像。

图像生成部3根据从单元电路部1c送来的数字的图像信号来生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。

具体而言，图像生成部3在对按每个规定的周期从单元电路部1c送来的各帧图像F的数字的图像数据，通过色彩处理电路(图示略)分别进行包括像素插值处理以及γ校正处理在内的色彩处理处理后，依次生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。

然后，图像生成部3将所生成的亮度色差信号的图像数据输出至图像处理部4。

图像处理部4具备通过规定的编码方式(例如，Motion-JPEG方式、JPEG方式等)来对由图像生成部3生成的各帧图像F的图像数据(YUV数据)进行压缩/编码的编码部、以及通过与该编码方式对应的解码方式来对从记录介质控制部7读出的经编码的图像数据进行解码的解码部等(均省略图示)。

另外，图像处理部4具备：图像取得部4a、明度变化区域检测部4b、直线确定部4c、候选区域确定部4d、直角四边形图像生成部4e。

图像取得部4a取得由摄像部1摄像而得到的摄像图像的图像数据。

即，图像取得部4a依次取得由摄像部1以规定的摄像周期摄像而得到的帧图像F的图像数据。具体而言，图像取得部4a依次取得通过由摄像部1以规定的摄像周期对作为被摄体的显示装置200的显示画面201，也就是，在规定位置(例如，大致整面的区域)显示有各种信息的显示画面201进行摄像，来由图像生成部3依次生成且被输出的多个帧图像F，…的YUV数据。

此外，尽管例示了由摄像部1以规定的摄像周期摄像而得到的摄像图像的图像数据来作为由图像取得部4a取得的摄像图像(帧图像F)的图像数据，但这只是一例，并不局限于此。即，若后述的明度变化区域检测部4b能检测摄像图像内明度以规定周期而变化的明度变化区域，则例如可以是由摄像部1以规定的定时摄像而得到的摄像图像的图像数据。

进而，在此情况下，图像取得部4a既可以按照使与由摄像部1的摄像图像的摄像定时对应的方式，取得以规定的定时断断续续地摄像而得到的规定数目的摄像图像的图像数据，也可以取得以规定的定时摄像而得到的一个摄像图像的图像数据。

如此，图像取得部4a构成了取得由摄像部1摄像而得到的摄像图像的图像数据的取得单元。

另外，图像取得部4a基于由用户执行的操作输入部8的快门按钮8a的完全按下操作，来取得由摄像部1摄像而得到的摄像图像(记录用图像G)的图像数据。

具体而言，图像取得部4a基于由用户执行的快门按钮8a的完全按下操作，通过用于由明度变化区域检测部4b执行的明度变化区域A(参照图5B；后述)的检测中的与以规定的摄像周期摄像而得到的多个帧图像F，…大致相等的构图，来取得规定数目(例如，一个)由摄像部1摄像且由图像生成部3生成的记录用图像G的图像数据(YUV数据)。

明度变化区域检测部4b检测帧图像F内明度以规定周期而变化的明度变化区域A。

即，在显示装置200的显示画面201以规定的重写周期所显示的各种信息的图像中，各像素的明度(亮度)周期性地变化。特别是在刷新速率相对低的显示装置200中，显示图像的各像素的明度的时间性的变化成为细微的忽隐忽现(闪烁)来呈现。

明度变化区域检测部4b在将以规定的重写周期显示于显示装置200的显示画面201中的图像(参照图5A)作为被摄体进行摄像的情况下，基于由图像取得部4a依次取得的多个帧图像F，…的图像数据，来检测帧图像F内明度以规定的时间周期而变化的明度变化区域A。具体而言，明度变化区域检测部4b例如在以与高速运动图像拍摄对应的摄像帧速率(例如，120fps等)摄像而得到的多个帧图像F，…中，将前后两个帧图像F、F的图像数据作为一组，计算该各组的帧图像F、F的图像数据中所含的亮度分量(例如，亮度信号Y)的差分，并确定在后的帧图像F相对于在前的帧图像F的针对各像素的明度的变化量。然后，明度变化区域检测部4b基于针对全部的帧图像F而确定的各像素的明度的变化量，确定明度以时间周期性地变化的全部的像素，并将由该像素构成的区域确定为明度变化区域A(参照图5B)。此外，在图5B中，示意地以虚线来表示了明度变化区域A的各像素的明度变化的状态。

另外，明度变化区域检测部4b取得表示帧图像F内明度变化区域A的位置的信息(例如，构成明度变化区域A的全部的像素的座标等)，并临时地存储于规定的存储单元(例如，缓冲存储器9a等)。

此外，上述的明度变化区域A的检测方法只是一例，并不局限于此，只要是公知的，就可以应用任何一种检测方法。

另外，在基于电源频率(例如，50Hz或60Hz)的光量变动的光源(例如，荧光灯)下进行摄像的情况下，明度变化区域检测部4b可以通过排除与该电源频率对应的时间周期地确定各像素的明度的变化的时间周期，来检测明度变化区域A。此外，若显示装置200的刷新速率与电源频率一致，则构成帧图像F的全部的像素的明度变化，因此在此情况下，明度变化区域检测部4b判断为是光源的影响，另一方面，在帧图像F中的一部分(例如，显示装置200的显示画面201等)的像素的明度变化的情况下，可以判断为不是光源的影响。

此外，作为由明度变化区域检测部4b执行的摄像图像内的明度变化区域A的检测方法，尽管例示了基于由图像取得部4a依次取得的多个摄像图像的图像数据而执行的方法，但这只是一例，并不局限于此，例如，可以基于由图像取得部4a取得的一个摄像图像的图像数据来进行。

即，在电子摄像部1b例如由CMOS图像传感器构成的情况下，根据像素的位置而电荷信号的读出定时，也就是，开始电荷的蓄积的定时不同。于是，明度变化区域检测部4b基于由图像取得部4a取得的一个帧图像F的图像数据，计算在CMOS图像传感器的摄像区域中的规定位置上与相邻的像素彼此对应的亮度分量(例如，亮度信号Y)的差分、或者与被设定为在规定方向(例如，垂直方向)上分割摄像区域而成的多个区域彼此对应的亮度分量的差分等，并以该亮度分量的差分为基准来检测帧图像F内明度变化区域A。

另外，在电子摄像部1b例如由CCD图像传感器构成的情况下，摄像控制部2对按多个区域(例如，摄像区域中的多个像素在规定方向上排列而成的各行等)的每一个赋予时间差来从CCD图像传感器读出一个帧图像F所涉及的电荷，明度变化区域检测部4b可以计算与该多个区域彼此对应的图像数据的亮度分量的差分，并以该亮度分量的差分为基准来在帧图像F内检测明度变化区域A。

如此，明度变化区域检测部4b构成了基于由图像取得部4a取得的摄像图像的图像数据来检测该摄像图像内明度以规定周期而变化的明度变化区域A的检测单元。

直线确定部4c确定记录用图像G内的与明度变化区域A对应的对应区域B中所含的直线L。

另外，直线确定部4c具备排除部c1，该排除部c1从由图像取得部4a取得的记录用图像G中所含的全部的直线L中，排除从明度变化区域A以外的区域检测出的直线L2。

具体而言，直线确定部4c进行将处理对象区域作为记录用图像G的图像区域整体来检测该摄像图像中所含的全部的直线L的直线检测处理。例如，直线确定部4c取得由图像取得部4a取得的记录用图像G的图像数据中所含的亮度分量(例如，亮度信号Y)，对该亮度分量实施直线检测处理(例如，霍夫变换处理等)，并检测该记录用图像G内的全部的直线L。

然后，直线确定部4c从存储单元(例如，缓冲存储器9a等)取得表示明度变化区域A的位置的信息，并在与用于由明度变化区域检测部4b执行的明度变化区域A的检测的帧图像F大致相等的构图的记录用图像G内，确定与明度变化区域A对应的对应区域B的位置。其后，排除部c1在记录用图像G中所含的全部的直线L中确定了从与明度变化区域A对应的对应区域B以外的区域检测出的直线L2后，从全部的直线L中排除从对应区域B以外的区域检测出的直线L2(图6A中，以双点划线示意地表示)。由此，直线确定部4c确定显示装置200的显示画面201的记录用图像G内的与明度变化区域A对应的对应区域B中所含的候选直线L1(图6A中，以单点划线示意地表示)。

此外，尽管例示了霍夫变换处理作为直线检测处理，但这只是一例，并不局限于此，能适当地任意变更为边缘检测处理等。此外，霍夫变换处理和边缘检测处理是公知的技术，因此在此省略详细的说明。

如此，直线确定部4c构成了对由图像取得部4a取得的摄像图像的图像数据实施用于检测直线L的直线检测处理来确定与明度变化区域A对应的对应区域B中所含的直线L的第1确定单元。

候选区域确定部4d确定成为从记录用图像G提取的图像的候选区域的提取候选区域C。

即，候选区域确定部4d将记录用图像G内包括由直线确定部4c确定的直线L(候选直线L1)而构成的四边形区域确定为提取候选区域C。具体而言，候选区域确定部4d从识别显示于显示部5的多个四边形区域中确定提取候选区域C。例如，候选区域确定部4d确定由直线确定部4c确定的全部候选直线L1中的、沿规定方向延伸的4条候选直线L1，…所形成的各四边形区域(参照图6A)。然后，候选区域确定部4d在所确定的全部的四边形区域(例如，多个四边形区域等)中，将基于由用户执行的操作输入部8的选择按钮8b或决定按钮8c等的规定操作而指定的四边形区域确定为提取候选区域C。

在此，候选区域确定部4d构成了将摄像图像内包括由直线确定部4c确定的直线L而构成的四边形区域确定为提取候选区域C的第2确定单元。

直角四边形图像生成部4e生成四边形区域的图像的直角四边形图像R(参照图6B)。

即，直角四边形图像生成部4e对由候选区域确定部4d确定为提取候选区域C的四边形区域的图像进行直角四边形变换处理，来生成直角四边形图像R。具体而言，直角四边形图像生成部4e在从记录用图像G提取出提取候选区域C(四边形区域)内的图像区域后，对该图像区域的图像数据进行直角四边形变换处理(例如，梯形校正处理等)，来生成直角四边形图像R(例如，矩形图像、正方形图像等)。也就是，直角四边形图像生成部4e例如在提取候选区域C内的图像区域中进行按照使短边侧与长边侧一致的方式相对地扩大的处理或按照使长边侧与短边侧一致的方式相对地缩小的处理等，来生成直角四边形图像R。

此外，图6B示意地表示，通过对与图6A所示的提取候选区域C(四边形区域)对应的图像数据进行直角四边形变换处理而生成的直角四边形图像R。

在此，直角四边形图像生成部4e构成了对由候选区域确定部4d确定为提取候选区域C的四边形区域的图像进行直角四边形变换处理来生成直角四边形图像R的生成单元。

显示部5例如由液晶显示面板或有机EL显示面板等构成。而且，显示部5在显示控制部6的控制下，在显示画面中显示各种信息所涉及的图像。

显示控制部6进行如下控制：读出临时存储于存储器部9的缓冲存储器9a中的显示用的图像数据，并使其显示于显示部5。

具体而言，显示控制部6具备VRAM(Video Random Access Memory)，VRAM控制器、数字视频编码器等。而且，数字视频编码器将从缓冲存储器9a读出而存储于VRAM(图示略)的多个帧图像F，…的亮度信号Y以及色差信号Cb、Cr，经由VRAM控制器而以规定的重放帧速率从VRAM读出，并基于这些数据来生成视频信号，并输出至显示部5。由此，显示部5在摄像部1进行被摄体的摄像时，在将多个帧图像F，…以规定的重放帧速率依次更新的同时，将实时取景图像显示于显示画面。

另外，显示控制部6将由摄像部1摄像而得到的记录用图像G的记录浏览(record view)用的图像的视频信号输出至显示部5，并使记录浏览图像显示于显示部5的显示画面。

另外，显示控制部6在由摄像部1摄像而得到的记录用图像G内，使由候选区域确定部4d确定的多个四边形区域以规定的顺序识别显示于显示部5。

即，显示控制部6将记录用图像G内多个四边形区域以相对于与明度变化区域A对应的对应区域B的距离为基准且以规定的顺序识别显示于显示部5。具体而言，显示控制部6例如基于由用户执行的操作输入部8的快门按钮8a的完全按下操作，来将由摄像部1摄像且由图像生成部3生成的记录用图像G的图像数据作为记录浏览用的图像数据而取得。然后，显示控制部6按照使与该记录用图像G的记录浏览图像重叠的方式，在多个四边形区域中以与明度变化区域A对应的对应区域B的位置为基准而相对于该对应区域B最近的位置上的一个四边形区域的边缘部以规定颜色对识别框进行OSD显示。其后，若基于由用户执行的操作输入部8的选择按钮8b或决定按钮8c等规定操作而下一个四边形区域的显示被指示，则显示控制部6按照使与记录用图像G的记录浏览图像重叠的方式，在多个四边形区域中相对于与明度变化区域A对应的对应区域B第二近的位置上的一个四边形区域的边缘部对识别框进行OSD显示。此外，四边形区域相对于对应区域B的距离的判定例如可以以中心位置或四角的位置等为基准来进行。

如此，显示控制部6将摄像图像内由候选区域确定部4d确定的多个四边形区域的每一个，从相对于与明度变化区域A对应的对应区域B最近的位置上的四边形区域起按顺序识别显示于显示部6。

此外，作为摄像图像的记录浏览图像内的四边形区域的显示方式，例示的识别框的OSD显示只是一例，并不局限于此，只要是能识别四边形区域的方式，就能适当地任意变更。

如此，显示控制部6构成了将摄像图像内由候选区域确定部4d确定的多个四边形区域的每一个以相对于与明度变化区域A对应的对应区域B的距离为基准且以规定的顺序识别显示于显示部5的显示控制单元。

记录介质控制部7对于装卸自由地安装的记录介质M，控制来自安装好的记录介质M的数据的读出或针对记录介质M的数据的写入。

此外，记录介质M例如由非易失性存储器(闪存)等构成，但这只是一例，并不局限于此，能够适当地任意变更。

操作输入部8用于进行该摄像装置100的规定操作。具体而言，操作输入部8与被摄体的拍摄指示相关，具备能进行半按下以及完全按下操作的快门按钮8a、摄像模式或功能等的选择指示所涉及的选择按钮8b、摄像模式或功能等的决定指示所涉及的决定按钮8c等，并对应于这些按钮的操作来将规定的操作信号输出至中央控制部10。

存储器部9具备：缓冲存储器9a、以及程序存储器9b。

缓冲存储器9a既是临时保存图像数据等的缓存，又作为中央控制部10的工作存储器等进行使用。

在程序存储器9b中存储有该摄像装置100的功能所涉及的各种程序或数据。

中央控制部10对摄像装置100的各部分进行控制。具体而言，中央控制部10具备对摄像装置100的各部分进行控制的CPU(图示略)，并依照各种处理程序(图示略)来进行各种控制动作。

接下来，参照图2～图6来说明由摄像装置100执行的摄像处理。

图2是表示摄像处理所涉及的动作的一例的流程图。

此外，以下的摄像处理在如下情况下执行：基于由用户执行的操作输入部8的选择按钮8b或决定按钮8c等的规定操作，来执行选择指示了例如将纸件、名片、白板、显示装置200的显示画面201以及来自投影装置的投影图像等作为被摄体的摄像模式。

如图2所示，首先，显示控制部6基于由摄像部1进行被摄体的摄像且由图像生成部3生成的多个帧图像F，…，来进行使实时取景图像显示于显示部5的显示画面中的处理(步骤S1；参照图5A)。

然后，中央控制部10的CPU判定是否在实时取景显示处理中输入了由用户执行的操作输入部8的快门按钮8a的半按下操作所涉及的操作信号(步骤S2)。

在此，在判定为未输入半按下操作所涉及的操作信号的情况下(步骤S2；否)，中央控制部10的CPU使处理转移至步骤S1，并反复进行使实时取景图像显示的处理。

另一方面，若在步骤S2中判定为已输入半按下操作所涉及的操作信号(步骤S2；是)，则中央控制部10的CPU对明度变化区域检测处理(参照图3)的执行进行控制(步骤S3)。

在此，参照图3来说明明度变化区域检测处理。

图3是表示明度变化区域检测处理所涉及的动作的一例的流程图。

如图3所示，首先，摄像控制部2的摄像帧速率设定部2a将摄像帧速率设定为规定的值(步骤S21)。具体而言，摄像帧速率设定部2a例如较之于与通常拍摄对应的摄像帧速率(例如，15fps等)，设定为与增多了每单位时间的帧图像F的摄像次数的高速拍摄对应的摄像帧速率(例如，120fps等)。由此，摄像部1以与所设定的摄像帧速率相应的规定的摄像周期来对被摄体(例如，显示装置200的显示画面201等)进行摄像。

接下来，图像处理部4的图像取得部4a依次取得由摄像部1以规定的摄像周期摄像且由图像生成部3生成的多个帧图像F，…的图像数据(步骤S22)。

接着，图像处理部4的明度变化区域检测部4b检测由图像取得部4a依次取得的多个帧图像F，…内明度以规定的时间周期变化的明度变化区域A(步骤S23)。具体而言，明度变化区域检测部4b针对由图像取得部4a取得的多个帧图像F，…的每一个，计算与前一个帧图像F在亮度分量(例如，亮度信号Y)上的差分，来确定各像素的明度相对于之前的帧图像F的变化量。然后，明度变化区域检测部4b基于针对全部的帧图像F而确定的各像素的明度的变化量，确定明度以时间周期性地变化的全部的像素，并将由该像素组成的区域确定为明度变化区域A(参照图5B)。

由此，结束明度变化区域检测处理。

此外，在明度变化区域检测处理已结束的情况下，摄像帧速率设定部2a可以重新设定为摄像帧速率变为与通常拍摄对应的摄像帧速率(例如，15fps等)。

回到图2，图像处理部4判定是否由明度变化区域检测部4b检测出明度变化区域A(步骤S4)。

在此，在判定为检测出明度变化区域A的情况下(步骤S4；是)，即，在将显示装置200的显示画面201等的明度以规定的时间周期而变化的对象作为被摄体进行摄像的情况下，明度变化区域检测部4b取得表示帧图像F内明度变化区域A的位置的信息，并临时记录于缓冲存储器9a(步骤S5)。

接下来，中央控制部10的CPU判定是否输入了由用户执行的操作输入部8的快门按钮8a的完全按下操作所涉及的操作信号(步骤S6)。

另外，在步骤S4中判定为未检测出明度变化区域A的情况下(步骤S4；否)，中央控制部10的CPU跳过步骤S5的处理，在步骤S6中进行是否输入了完全按下操作所涉及的操作信号的判定。

若在步骤S6中判定为未输入完全按下操作所涉及的操作信号(步骤S6；否)，则中央控制部10的CPU判定是否已解除由用户执行的操作输入部8的快门按钮8a的半按下操作(步骤S7)。

在步骤S7中判定为还未解除半按下操作的情况下(步骤S7；否)，中央控制部10的CPU使处理转移至步骤S6，进行是否输入了完全按下操作所涉及的操作信号的判定。

另一方面，若判定为已解除半按下操作(步骤S7；是)，则中央控制部10的CPU使处理转移至步骤S1，进行使实时取景图像显示于显示部5的显示画面中的处理。

若在步骤S6中判定为输入了完全按下操作所涉及的操作信号(步骤S6；是)，则摄像部1在由摄像控制部2调整后的规定的摄像条件下，通过与用于明度变化区域A的检测的多个帧图像F，…大致相等的构图来摄像，从而图像取得部4a取得由图像生成部3生成的记录用图像G的图像数据(YUV数据)(步骤S8)。

接下来，中央控制部10的CPU对提取候选区域确定处理(参照图4)的执行进行控制(步骤S9)。

在此，参照图4来说明提取候选区域确定处理。

图4是表示提取候选区域确定处理所涉及的动作的一例的流程图。

如图4所示，首先，图像处理部4的直线确定部4c对由图像取得部4a取得的记录用图像G的图像数据实施直线检测处理，来检测该图像内的全部的直线L(步骤S31)。具体而言，直线确定部4c取得记录用图像G的图像数据中所含的亮度分量(例如，亮度信号Y)，对该亮度分量实施直线检测处理(例如，霍夫变换处理等)来检测该记录用图像G内的全部的直线L。

接下来，直线确定部4c判定是否在缓冲存储器9a中记录了表示明度变化区域A的位置的信息(步骤S32)。

在此，在判定为记录了表示明度变化区域A的位置的信息的情况下(步骤S32；是)，即，将显示装置200的显示画面201等的明度以规定周期而变化的画面作为被摄体进行摄像的情况下，直线确定部4c从缓冲存储器9a取得表示明度变化区域A的位置的信息，并在确定了记录用图像G内与明度变化区域A对应的对应区域B的位置后，在检测出的全部的直线L中依照规定的指定条件来指定任意一条直线L(步骤S33)。

接下来，直线确定部4c的排除部c1判定所指定的直线L是否存在于记录用图像G中的与明度变化区域A对应的对应区域B内(步骤S34)。

在此，若判定为所指定的直线L存在于对应区域B内(步骤S34；是)，则直线确定部4c将该直线L指定为四边形区域的确定用的候选直线L1(步骤S35)。另一方面，若判定为所指定的直线L(例如，直线L2等)不存在于对应区域B内(步骤S34；否)，则直线确定部4c的排除部c1从四边形区域的确定用的候选中排除该直线L(步骤S36)。

其后，直线确定部4c判定是否已针对从记录用图像G内检测出的全部的直线L进行了步骤S34中的判定处理(步骤S37)。

若在步骤S37中判定为还未针对全部的直线L进行判定处理(步骤S37；否)，则直线确定部4c依照规定的指定条件来指定成为处理对象的下一条直线L(步骤S38)，并使处理转移至步骤S34。

通过直到在步骤S37中判定为已针对全部的直线L进行了处理(步骤S37；是)为止都反复上述的处理，从而直线确定部4c确定记录用图像G内的与明度变化区域A对应的对应区域B中所含的候选直线L(参照图6A)。

接下来，图像处理部4的候选区域确定部4d基于由直线确定部4c确定的候选直线L1，来确定记录用图像G内包括该候选直线L1而构成的四边形区域(步骤S39)。具体而言，候选区域确定部4d确定由直线确定部4c确定的全部的候选直线L1中沿规定方向延伸的4条候选直线L1，…所形成的各四边形区域。

接着，候选区域确定部4d在所确定的规定数目的四边形区域中，指定相对于与明度变化区域A对应的对应区域B最近的位置上的四边形区域(步骤S40)。然后，显示控制部6以可识别的形态使记录用图像G内由候选区域确定部4d指定的四边形区域显示于显示部5(步骤S41)。具体而言，显示控制部6按照使与记录用图像G的记录浏览图像重叠的方式，在四边形区域的边缘部对识别框进行OSD显示。

接下来，候选区域确定部4d对应于由用户操作的操作输入部8的操作按钮，来使处理产生分支(步骤S42)。

具体而言，若用户对操作输入部8的选择按钮8b进行了规定操作(步骤S42；选择按钮)，则候选区域确定部4d在所确定的规定数目的四边形区域中指定了所识别显示的四边形区域离对应区域B第二近的位置上的四边形区域后(步骤S43)，使处理转移至步骤S41。由此，显示控制部6以可识别的形态使记录用图像G内由候选区域确定部4d新指定的四边形区域显示于显示部5(步骤S41)。

另一方面，若在步骤S42中用户对操作输入部8的决定按钮8c进行了规定操作(步骤S42；决定按钮)，则候选区域确定部4d将以可识别的形态显示于显示部5中的四边形区域确定为提取候选区域C(步骤S44；参照图6A)，并结束提取候选区域确定处理。

另一方面，在步骤S32中判定为未记录有表示明度变化区域A的位置的信息的情况下(步骤S32；否)，即，在将纸件、名片、白板等明度不以规定周期而变化的对象作为被摄体进行摄像的情况下，候选区域确定部4d基于由直线确定部4c确定的全部的直线L，来确定记录用图像G内包括该直线L而构成的四边形区域(步骤S45)。具体而言，候选区域确定部4d确定由直线确定部4c确定的全部的直线L中沿规定方向延伸的4条直线L，…所形成的各四边形区域。

接着，候选区域确定部4d在所确定的规定数目的四边形区域中依照规定的指定条件来指定一个四边形区域(步骤S46)。然后，显示控制部6以可识别的形态使记录用图像G内由候选区域确定部4d指定的四边形区域显示于显示部5(步骤S47)。

接下来，候选区域确定部4d对应于由用户操作的操作输入部8的操作按钮来使处理进行分支(步骤S48)。

具体而言，若用户对操作输入部8的选择按钮8b进行了规定操作(步骤S48；选择按钮)，则候选区域确定部4d在所确定的规定数目的四边形区域中依照规定的指定条件指定了成为处理对象的下一个四边形区域后(步骤S49)，使处理转移至步骤S47。由此，显示控制部6以可识别的形态使记录用图像G内由候选区域确定部4d新指定的四边形区域显示于显示部5(步骤S47)。

另一方面，若在步骤S48中用户对操作输入部8的决定按钮8c进行了规定操作(步骤S48；决定按钮)，则候选区域确定部4d使处理转移至步骤S44，将以可识别的形态显示于显示部5中的四边形区域确定为提取候选区域C(步骤S44)，并结束提取候选区域确定处理。

回到图2，图像处理部4的直角四边形图像生成部4e对通过提取候选区域确定处理而确定的提取候选区域C(四边形区域)的图像进行直角四边形变换处理来生成直角四边形图像R(步骤S10；参照图6B)。具体而言，直角四边形图像生成部4e在从记录用图像G中提取出提取候选区域C内的图像区域后，对该图像区域的图像数据进行直角四边形变换处理，并生成直角四边形图像R。

其后，图像处理部4将所生成的直角四边形图像R的图像数据转发至记录介质控制部7，记录介质控制部7使该直角四边形图像R的图像数据与记录用图像G的图像数据对应关联地记录于记录介质M(步骤S11)。

由此，结束摄像处理。

如上所述，根据本实施方式的摄像装置100，由于对记录用图像G的图像数据实施用于检测直线L的直线检测处理，确定与明度以规定周期而变化的明度变化区域A对应的对应区域B中所含的候选直线L1，并将该记录用图像G内包括候选直线L1而构成的四边形区域确定为提取候选区域C，因此，例如，在将以规定的重写周期从输出装置输出的图像(例如，显示装置200的显示画面201内的图像)作为主要被摄体的情况下，能将记录用图像G内确定为提取候选区域C的四边形区域限定为包括与明度变化区域A对应的对应区域B中所含的候选直线L1而构成的四边形区域。即，能够在记录用图像G内将包括存在于与明度变化区域A对应的对应区域B的外侧的直线L而构成的、最终从记录用图像G提取出来的可能性低的四边形区域除外，而将包括与明度变化区域A对应的对应区域B中所含的候选直线L1而构成的、从该记录用图像G提取出来的可能性高的四边形区域确定为提取候选区域C。

如此，能够辅助记录用图像G内的四边形区域的确定来效率良好地进行来自该记录用图像G的四边形区域的图像的提取。

另外，通过从将直线检测处理的处理对象区域作为记录用图像G的图像区域整体而检测出的该记录用图像G中所含的全部的直线L中，排除从与明度变化区域A对应的对应区域B以外的区域检测出的直线L2，能效率良好地进行与明度变化区域A对应的对应区域B中所含的候选直线L1的确定，其结果是，能效率良好地将记录用图像G内包括该候选直线L1而构成的四边形区域确定为提取候选区域C。

另外，由于将记录用图像G内由候选区域确定部4d确定的多个四边形区域的每一个以相对于与明度变化区域A对应的对应区域B的距离为基准来以规定的顺序识别显示于显示部5，因此能将多个四边形区域中用户期望的四边形区域确定为提取候选区域C。特别地，例如通过将多个四边形区域的每一个按照相对于与明度变化区域A对应的对应区域B的位置的距离从近到远的顺序来优先地识别显示，从而对用户而言，将相对于该对应区域B的位置的距离相对近的四边形区域选择指定为提取候选区域C变得容易，因此能效率良好地进行来自该记录用图像G的四边形区域的图像的提取。

另外，由于对确定为提取候选区域C的四边形区域的图像进行直角四边形变换处理来生成直角四边形图像R，因此能取得修正了四边形区域的失真的直角四边形图像R。

此外，本发明不局限于上述实施方式，可以在不脱离本发明的主旨的范围内进行各种改良以及设计的变更。

例如，在上述实施方式中，作为记录用图像G内的与明度变化区域A对应的对应区域B中所含的直线L的确定方法，设为：直线确定部4c在确定了记录用图像G中所含的全部的直线L后，排除从与明度变化区域A对应的对应区域B以外的区域检测出的直线L2，但这只是一例，并不局限于此，能适当地任意变更。即，直线确定部4c可以不具备排除部c1，而将直线检测处理的处理对象区域设为记录用图像G的与明度变化区域A对应的对应区域B来确定多条该对应区域B中所含的直线L(候选直线L1)。

由此，能效率良好地进行与明度变化区域A对应的对应区域B中所含的候选直线L1的确定，其结果是，能效率良好地将记录用图像G内包括该候选直线L1而构成的四边形区域确定为提取候选区域C。

另外，在上述实施方式中，候选区域确定部4d将基于由用户执行的操作输入部8的选择按钮8b或决定按钮8c等的规定操作而指定的四边形区域确定为提取候选区域C，但提取候选区域C(四边形区域)的确定方法只是一例，并不局限于此，能适当地任意变更。

即，候选区域确定部4d可以设为如下构成：基于规定条件来自动地确定成为提取候选区域C的四边形区域。例如，候选区域确定部4d可以确定包括由直线确定部4c确定的直线L(候选直线L1)在内的多个四边形区域，在该多个四边形区域中，以与明度变化区域A对应的对应区域B的位置为基准，将相对于该对应区域B最近的位置上的一个四边形区域自动地确定为提取候选区域C。

因此，由于能够在记录用图像G内以与明度变化区域A对应的对应区域B的位置为基准来将一个四边形区域自动地确定为提取候选区域C，因此提取候选区域C的确定将不需要由用户执行的操作输入部8的规定操作，从而能简化该提取候选区域C的确定。

进而，在上述实施方式中，例示了例如将纸件、名片、白板、显示装置200的显示画面201以及来自投影装置的投影图像等作为被摄体的摄像处理(参照图2)来进行说明，但也可以进行将显示装置200的显示画面201以及来自投影装置的投影图像等的明度以规定周期而变化的对象作为被摄体的专用的摄像处理。

即，在设置明度以规定周期而变化的被摄体专用的摄像模式、且通过由用户执行的操作输入部8的规定操作来选择指示该摄像模式的情况下，摄像装置100将不需要进行如下处理：上述摄像处理(参照图2)中的是否由明度变化区域检测部4b检测出明度变化区域A的判定处理(步骤S4)、提取候选区域确定处理(参照图4)中的是否记录了表示明度变化区域A的位置的信息的判定处理(步骤S32)、在该判定的结果是判定为未记录有表示明度变化区域A的位置的信息的情况下(步骤S32；否)所继续进行的各种处理(步骤S45～S49)。

另外，在上述实施方式中，对确定为提取候选区域C的四边形区域的图像进行直角四边形变换处理来生成直角四边形图像R，但是否生成直角四边形图像R能适当地任意变更。即，摄像装置100不必具备生成直角四边形图像R的直角四边形图像生成部4e，只要能将记录用图像G内包括由直线确定部4c确定的候选直线L1而构成的四边形区域确定为提取候选区域C，就可以是任意的构成。

进而，在上述实施方式的摄像处理(参照图2)中，是在确定了帧图像F内的明度变化区域后对记录用图像G进行摄像，但处理的顺序只是一例，并不限于此，能适当地任意变更。即，可以在记录用图像G的摄像后，以大致相等的构图对帧图像F进行摄像，来确定该帧图像内的明度变化区域。

另外，在上述实施方式中，从帧图像F检测明度变化区域A，并在记录用图像G内确定四边形区域(提取候选区域C)，即，明度变化区域A的检测对象的摄像图像与四边形区域(提取候选区域C)的确定对象的摄像图像不同，但也可以利用相同的摄像图像来进行明度变化区域A的检测以及四边形区域(提取候选区域C)的确定。

即，例如，可以基于由图像取得部4a取得的记录用图像G的图像数据来进行明度变化区域A的检测以及四边形区域(提取候选区域C)的确定。另外，例如可以基于由图像取得部4a取得的至少一个帧图像F的图像数据来进行明度变化区域A的检测以及四边形区域(提取候选区域C)的确定。

进而，关于作为图像处理装置而例示的摄像装置100的构成，上述实施方式所例示的只是一例，并不局限于此，只要是至少具备取得单元、检测单元、第1确定单元、第2确定单元的构成，就能够适当地任意变更。

此外，在上述实施方式中，构成为在中央控制部10的控制下，由图像取得部4a、明度变化区域检测部4b、直线确定部4c、候选区域确定部4d进行驱动来实现作为取得单元、检测单元、第1确定单元、第2确定单元的功能，但并不局限于此，也可以构成为通过由中央控制部10的CPU执行规定的程序等来实现。

即，在存储程序的程序存储器9b中预先存储包括取得处理子程序、检测处理子程序、第1确定处理子程序、第2确定处理子程序在内的程序。而且，可以通过取得处理子程序来使中央控制部10的CPU作为用于取得由摄像单元摄像而得到的摄像图像的图像数据的取得单元发挥功能。另外，可以通过检测处理子程序来使中央控制部10的CPU作为用于基于由取得单元取得的摄像图像的图像数据来检测该摄像图像内明度以规定周期而变化的明度变化区域A的检测单元发挥功能。另外，可以通过第1确定处理子程序来使中央控制部10的CPU作为用于对由取得单元取得的摄像图像的图像数据实施用于检测直线L的直线检测处理、且确定与明度变化区域A对应的对应区域B中所含的直线L的第1确定单元发挥功能。另外，可以通过第2确定处理子程序来使中央控制部10的CPU作为将摄像图像内包括由第1确定单元确定的直线L而构成的四边形区域确定为提取候选区域C的第2确定单元发挥功能。

同样，针对排除单元、显示控制单元、生成单元，也可以构成为通过由中央控制部10的CPU执行规定的程序等来实现。

进而，作为存储有用于执行上述各处理的程序的计算机可读取的介质，除了ROM或硬盘等，还能应用闪存等的非易失性存储器、CD-ROM等的可移动型记录介质。另外，作为经由规定的通信线路来提供程序的数据的介质，还应用载波(搬运波)。

〔附记〕

尽管说明了本发明的几种实施方式，但本发明的范围不局限于上述的实施方式，还包括权利要求书中所记载的发明的范围以及其均等的范围。

以下，对最初添加于本申请的申请文件中的权利要求书中所记载的发明进行附记。附记中记载的权利要求的编号与最初添加于本申请的申请文件中的权利要求书相同。

<技术方案1>

一种图像处理装置，其中具备：

取得单元，其取得由摄像单元摄像而得到的摄像图像的图像数据；

检测单元，其基于由该取得单元取得的摄像图像的图像数据，来对该摄像图像内明度以规定的时间周期而变化的明度变化区域进行检测；

第1确定单元，其对由所述取得单元取得的摄像图像的图像数据实施用于检测直线的直线检测处理，来确定与所述明度变化区域对应的对应区域中所含的直线；和

第2确定单元，其将所述摄像图像内包括由所述第1确定单元确定的直线而构成的四边形区域确定为提取候选区域。

<技术方案2>

在技术方案1所述的图像处理装置中，其中，

所述取得单元包括依次取得摄像图像的图像数据的单元，所述摄像图像是由所述摄像单元以规定的摄像周期对以规定的重写周期从输出装置输出的图像进行摄像而得到的，

所述检测单元基于由所述取得单元依次取得的多个摄像图像的图像数据，来对该摄像图像内明度以规定的时间周期而变化的明度变化区域进行检测。

<技术方案3>

在技术方案1或2所述的图像处理装置中，其中，

所述第1确定单元具有：排除单元，其从将所述直线检测处理的处理对象区域作为所述摄像图像的图像区域整体而检测出的该摄像图像中所含的全部直线中，排除从与所述明度变化区域对应的对应区域以外的区域检测出的直线。

<技术方案4>

在技术方案1或2所述的图像处理装置中，其中，

所述第1确定单元将所述直线检测处理的处理对象区域作为与所述摄像图像的所述明度变化区域对应的对应区域，来确定该对应区域中所含的直线。

<技术方案5>

在技术方案1～4中任一项所述的图像处理装置中，其中，

所述第2确定单元包括用于对包括由所述第1确定单元确定的直线而构成的多个四边形区域进行确定的单元，

所述图像处理装置还具备：显示控制单元，其将所述摄像图像内由所述第2确定单元确定的多个四边形区域的每一个，以相对于与所述明度变化区域对应的对应区域的距离为基准以规定的顺序识别显示于显示单元，

所述第2确定单元从识别显示于所述显示单元的多个四边形区域中确定所述提取候选区域。

<技术方案6>

在技术方案5所述的图像处理装置中，其中，

所述显示控制单元将所述摄像图像内由所述第2确定单元确定的多个四边形区域的每一个，从相对于与所述明度变化区域对应的对应区域最近的位置上的四边形区域起按顺序地识别显示于所述显示单元。

<技术方案7>

在技术方案1～4中任一项所述的图像处理装置中，其中，

所述第2确定单元包括用于对包括由所述第1确定单元确定的直线而构成的多个四边形区域进行确定的单元，

所述第2确定单元将所述多个四边形区域中相对于与所述明度变化区域对应的对应区域最近的位置上的一个四边形区域确定为所述提取候选区域。

<技术方案8>

在技术方案1～7中任一项所述的图像处理装置中，其中，

所述图像处理装置还具备：生成单元，其对由所述第2确定单元确定为所述提取候选区域的四边形区域的图像进行直角四边形变换处理，来生成直角四边形图像。

<技术方案9>

一种使用了图像处理装置的图像处理方法，该图像处理方法的特征在于包括：

取得由摄像单元摄像而得到的摄像图像的图像数据的处理；

基于所取得的摄像图像的图像数据，来对该摄像图像内明度以规定的时间周期而变化的明度变化区域进行检测的处理；

对所取得的摄像图像的图像数据实施用于检测直线的直线检测处理，来确定与明度变化区域对应的对应区域中所含的直线的处理；和

将所述摄像图像内包括所确定的直线而构成的四边形区域确定为提取候选区域的处理。

Claims (9)

1.一种图像处理装置，其特征在于，

具备：

取得单元，其取得由摄像单元摄像而得到的摄像图像的图像数据；

检测单元，其基于由该取得单元取得的摄像图像的图像数据，来对该摄像图像内明度以规定的时间周期而变化的明度变化区域进行检测；

第1确定单元，其对由所述取得单元取得的摄像图像的图像数据实施用于检测直线的直线检测处理，来确定不包括在与所述明度变化区域对应的对应区域以外所存在的直线在内的直线；和

第2确定单元，其将所述摄像图像内包括由所述第1确定单元确定的直线而构成的四边形区域确定为提取候选区域。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述取得单元包括依次取得摄像图像的图像数据的单元，所述摄像图像是由所述摄像单元以规定的摄像周期对以规定的重写周期从输出装置输出的图像进行摄像而得到的，

所述检测单元基于由所述取得单元依次取得的多个摄像图像的图像数据，来对该摄像图像内明度以规定的时间周期而变化的明度变化区域进行检测。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述第1确定单元具有：排除单元，其从将所述直线检测处理的处理对象区域作为所述摄像图像的图像区域整体而检测出的该摄像图像中所含的直线中，排除从与所述明度变化区域对应的对应区域以外的区域检测出的直线，

所述第2确定单元将由不包括被所述排除单元排除的直线在内的直线构成的四边形区域确定为提取候选区域。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述第1确定单元将所述直线检测处理的处理对象区域作为与所述摄像图像的所述明度变化区域对应的对应区域，来确定该对应区域中所含的直线。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述第2确定单元包括用于对包括由所述第1确定单元确定的直线而构成的多个四边形区域进行确定的单元，

所述图像处理装置还具备：显示控制单元，其将所述摄像图像内由所述第2确定单元确定的多个四边形区域的每一个，以相对于与所述明度变化区域对应的对应区域的距离为基准以规定的顺序识别显示于显示单元，

所述第2确定单元从识别显示于所述显示单元的多个四边形区域中确定所述提取候选区域。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述显示控制单元将所述摄像图像内由所述第2确定单元确定的多个四边形区域的每一个，从相对于与所述明度变化区域对应的对应区域最近的位置上的四边形区域起按顺序地识别显示于所述显示单元。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述第2确定单元包括用于对包括由所述第1确定单元确定的直线而构成的多个四边形区域进行确定的单元，

所述第2确定单元将所述多个四边形区域中相对于与所述明度变化区域对应的对应区域最近的位置上的一个四边形区域确定为所述提取候选区域。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：生成单元，其对由所述第2确定单元确定为所述提取候选区域的四边形区域的图像进行直角四边形变换处理，来生成直角四边形图像。

9.一种使用了图像处理装置的图像处理方法，该图像处理方法的特征在于，

包括：

取得由摄像单元摄像而得到的摄像图像的图像数据的处理；

基于所取得的摄像图像的图像数据，来对该摄像图像内明度以规定的时间周期而变化的明度变化区域进行检测的处理；

对所取得的摄像图像的图像数据实施用于检测直线的直线检测处理，来确定不包括在与明度变化区域对应的对应区域以外所存在直线在内的直线的处理；和

将所述摄像图像内包括所确定的直线而构成的四边形区域确定为提取候选区域的处理。