CN103297788B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置和图像处理方法。针对各个第一单位区域，从捕获的图像数据中提取CFA模式。根据CFA模式的周期性的扰乱检测第一改变区域，第一改变区域是从与捕获的图像数据不同的图像数据向捕获的图像数据进行了复制的图像区域。针对大小与第一单位区域不同的各个第二单位区域，提取捕获的图像数据的特征量。比较针对各个第二单位区域的特征量，以检测第二改变区域，第二改变区域是从捕获的图像数据向捕获的图像数据进行了复制的图像区域。作为捕获的图像数据中的改变检测结果，输出关于第一改变区域和第二改变区域的信息。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及一种图像处理装置和图像处理方法，更特别地，涉及一种检测捕获的图像中的改变位置的图像处理装置和图像处理方法。

背景技术

提出了以下检测由紧凑型数字照相机、单镜头反射数字照相机等捕获的图像中的改变的技术。这些技术被设计为：不在捕获的图像中未嵌入诸如数字水印的任何附加信息，而是分析原本包含在捕获的图像中的模式或者比较各个区域的特征量，来检测改变。这些技术不嵌入诸如数字水印的任何附加信息，因此具有如下优点：能够检测改变而不会由于附加信息的嵌入而使捕获的图像的图像质量劣化或者增加处理时间。

Ahmet Emir Dirik，Nasir Memon，“IMAGE TAMPER DETECTIONBASED ON DEMOSAICING ARTIFACTS”ICIP2009，pp.1497-1500（文献1）被设计为：根据捕获的图像估计并分析照相机的诸如CMOS传感器或者CCD（电荷耦合器件）的图像传感器的彩色滤光器阵列（CFA，color filter array）模式，并且使用该模式来检测改变。CFA例如是RGB彩色滤光器排列，其指示图像传感器的各个胞元（与图像的像素相对应的单位）的RGB光接收模式。为了降低成本，市场上的许多图像传感器被配置为使各个胞元获取RGB颜色信息中的任意一个。图像传感器使用以拜耳排列为代表的CFA来有效地获取颜色信息，并且从入射光获取颜色信息。CFA具有例如以2×2个胞元的正方形排列为单位在图像传感器上规则并且周期性地排列的胞元。

由图像传感器生成的图像（下文中称为“RAW（原始）图像”）的各个像素仅具有RGB颜色信息中的一个。为了生成各个像素具有全部RGB颜色信息的全色图像，需要对原始图像进行去马赛克处理。去马赛克处理通过诸如双线性插值的线性插值，根据邻近像素对在各个像素中丢失的颜色信息进行插值。

例如，将另一图像的区域复制到改变目标图像（下文中称为“外部复制”），将使另一图像的CFA模式与目标图像的CFA模式在改变位置处混合。其结果是，周期性CFA模式在改变图像中的改变位置处被打断。文献1中的技术被设计为：通过根据全色图像估计图像传感器的CFA模式并且检测CFA模式的周期性被扰乱的位置，来检测改变。

另外，一些改变以改变目标图像的部分区域被复制到该图像中的另一区域（下文中称为“内部复制”）的方式进行。根据内部复制，部分复制源区域的特征量与部分复制目的地区域的特征量匹配。在Alin C.Popescu，Hany Farid，“Exposing Digital Forgeries by Detecting DuplicatedImage Regions”，TR2004-515，Dartmouth College，Computer Science（文献2）中公开的技术，通过经由主成分分析提取捕获的图像中的各个部分区域（例如各个32×32像素区域）的特征量，并且检测同一图像内特征量彼此匹配的区域对（副本对），来检测改变。

使用文献1中的技术，能够检测由于外部复制而发生的改变，但是难以检测由于CFA模式不易被打断的内部复制而发生的改变。相反，文献2中的技术能够检测由于内部复制而发生的改变，但是不能检测由于各个区域的特征量彼此不匹配的外部复制而发生的任意改变。因此，为了检测由于内部复制而发生的改变和由于外部复制而发生的改变两者，使用利用CFA模式的技术和利用部分区域的特征量的技术的组合是有效的。

当使用CFA模式时，将捕获的图像划分为例如各自由64×64像素构成的相对大的块，并且通过针对各个块估计CFA模式来检测改变。由于该原因，虽然这种技术检测改变，但是其不能检测改变区域的形状，而最多仅能够检测近似改变位置。相对于此，使用小的部分区域的特征量还能够检测改变区域的形状。

然而，使用32×32个像素的部分区域的特征量的处理，需要比在使用由64×64个像素构成的块的CFA模式时大约长100倍的处理时间。也就是说，基于使用CFA模式的技术和使用部分区域的特征量的技术的组合的改变检测，强烈地依赖于使用部分区域的特征量的技术的处理时间，而需要长的时间段。

发明内容

在一个方面，图像处理装置包括：第一检测器，被配置为针对各个第一单位区域，从捕获的图像数据中提取彩色滤光器阵列的模式，并且根据所述模式的周期性的扰乱检测第一改变区域，其中，所述第一改变区域是从与所述捕获的图像数据不同的图像数据向所述捕获的图像数据进行了复制的图像区域；第二检测器，被配置为针对大小与所述第一单位区域不同的各个第二单位区域，提取所述捕获的图像数据的特征量，并且比较针对所述各个第二单位区域的特征量，以检测第二改变区域，其中，所述第二改变区域是从所述捕获的图像数据向所述捕获的图像数据进行了复制的图像区域；以及输出部，被配置为作为所述捕获的图像数据中的改变检测结果，输出关于所述第一改变区域的信息和关于所述第二改变区域的信息，其中，所述第二检测器基于排除了所述第一改变区域的所述捕获的图像数据，检测所述第二改变区域。

在另一方面，图像处理方法包括如下步骤：针对各个第一单位区域，从捕获的图像数据中提取彩色滤光器阵列的模式；第一检测步骤，根据所述模式的周期性的扰乱检测第一改变区域，其中，所述第一改变区域是从与所述捕获的图像数据不同的图像数据向所述捕获的图像数据进行了复制的图像区域；针对大小与所述第一单位区域不同的各个第二单位区域，提取所述捕获的图像数据的特征量；第二检测步骤，比较针对所述各个第二单位区域的特征量，以检测第二改变区域，其中，所述第二改变区域是从所述捕获的图像数据向所述捕获的图像数据进行了复制的图像区域；以及输出步骤，作为所述捕获的图像数据中的改变检测结果，输出关于所述第一改变区域的信息和关于所述第二改变区域的信息，其中，在所述第二检测步骤中，基于排除了所述第一改变区域的所述捕获的图像数据，检测所述第二改变区域。

根据这些方面，能够有效地检测图像数据的改变。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据实施例的图像处理装置的布置的框图。

图2是用于说明图像处理装置的功能布置的框图。

图3是用于说明副本对的检测的视图。

图4A至4G是示出CFA的示例的视图。

图5是用于说明数字照相机在进行图像捕获时进行的处理的流程图。

图6A至6D是用于说明外部复制的检测的视图。

图7A至7E是用于说明修正作为外部复制区域检测到的区域（改变检测区域）的方法的视图。

图8是用于说明改变检测处理的流程图。

图9A至9D是用于说明缩小改变检测区域的示例的视图。

图10A至10D是用于说明第二实施例中的改变检测区域的修正处理的视图。

图11是用于说明第二实施例中的改变检测处理的流程图。

图12是用于说明根据第三实施例的图像处理装置的功能布置的框图。

图13是用于说明第三实施例中的改变检测处理的流程图。

图14是用于说明根据第四实施例的图像处理装置的功能布置的框图。

图15是用于说明第四实施例中的改变检测处理的流程图。

图16是用于说明第四实施例中的另一改变检测处理的流程图。

图17A和17B是用于说明改变检测区域的扩大处理的流程图。

图18A和18B是用于说明改变检测区域的缩小处理的流程图。

图19是用于说明根据改变图上的值在改变检测区域的扩大处理和缩小处理之间进行切换的处理的流程图。

具体实施方式

下面，参照附图，详细描述根据本发明的实施例的图像处理装置和图像处理方法。

第一实施例

[装置的布置]

图1的框图示出了根据实施例的图像处理装置100的布置。

微处理器（CPU）101通过使用存储器103作为工作存储器执行存储在存储器103或者硬盘驱动器（107）中的程序，来控制图像处理装置100的操作中的全部或者一部分。注意，存储器103包括随机存取存储器（RAM）和只读存储器（ROM）。视频控制器（VC）102根据来自CPU101的指令进行控制，以在监视器110上显示至少一个由图像、字符等构成的窗口。

存储器控制器集线器（MCH）104是所谓的“北桥”，其通过链接111至114控制CPU101、VC102、存储器103和输入/输出控制器集线器（ICH）105之间的数据传输。ICH105是所谓的“南桥”，其通过链接115至117控制网络接口卡（NIC）106、HDD107和外部连接端口108之间的数据传输。注意，链接111至117是诸如PCI（外围设备组件互连）和PCI express（PCI快捷）的并行总线或者诸如串行ATA和USB（通用串行总线）的串行总线。

NIC106是用于到有线或无线网络120的连接的通信接口。HDD107存储由CPU101执行的OS（操作系统）和各种程序以及由CPU101使用的各种数据等。外部连接端口108是用于将外部设备连接到图像处理装置100的诸如USB或者IEEE1394的串行总线的端口。将输入设备109连接到外部连接端口108使得图像处理装置100能够从输入设备109获取数据。注意，输入设备109是通过外部连接端口108向图像处理装置100输入数据的设备，其例如包括键盘、诸如鼠标的指示设备、诸如数字照相机的摄像装置以及图像输入设备。另外，准备（高清多媒体接口）端口作为外部连接端口108能够将监视器110连接到外部连接端口108。

注意，图像处理装置100能够通过例如向个人计算机提供用来实现稍后要描述的处理的程序来实现。

[功能布置]

参照图2的框图来描述图像处理装置100的功能布置。CPU101通过执行本实施例中的图像处理程序来实现该功能布置。

图像输入单元201通过外部连接端口108从输入设备109输入图像数据，并且将输入的图像数据存储在存储器103或者HDD107中的预定区域中。输入的图像数据是表示由数字照相机捕获的图像的图像数据。输入的图像数据的数据格式是JPEG（联合图片专家组）、TIFF（标记图像文件格式）或者RAW。

·内部复制的检测

特征量提取单元202提取由输入图像数据表示的图像的各个第一单位区域的特征量。第一单位区域是X×X个像素的正方形区域。如果例如X=4，则单位区域由4×4个像素构成，而如果X=8，则单位区域由8×8个像素构成。例如使用主成分分析来提取特征量。假设由输入图像数据表示的图像包括512×512个像素，并且第一单位区域由4×4个像素构成。在这种情况下，特征量提取单元202提取与总共128个块相对应的特征量。

虽然可以在提取特征量时以第一单位区域彼此不重叠的形式划分图像，但是可以以各个第一单位区域逐个像素水平或者垂直移动的方式划分图像。假设图像由512×512个像素构成，并且第一单位区域由4×4个像素构成。在这种情况下，如果各个第一单位区域逐个像素水平地移动总共512-4+1次，并且还逐个像素垂直地移动总共512-4+1次，则特征量提取单元202提取与总共509×509个块相对应的特征量。这时，随着第一单位区域增大，特征量提取所需的处理时间增加。其结果是，提取与所有块相对应的特征量所需的时间大大增加。因此，第一单位区域越小越好。例如，优选第一单位区域由4×4个像素构成。

作为第一检测单元的内部复制检测单元203使用由特征量提取单元202提取的特征量，检测包含在输入图像数据中的在内部复制的区域对（副本对）。参照图3描述副本对的检测。也就是说，内部复制检测单元203将与输入图像数据900的第一单位区域相对应的目标块901的特征量，和另一块（比较块）902的特征量进行比较。如果两个区域的特征量彼此匹配（或者它们之间的差等于或小于预定阈值），则内部复制检测单元203确定目标块901和比较块902是副本对。内部复制检测单元203将该副本对的各个块的左上像素坐标和第一单位区域的大小，作为检测结果存储在存储器103等中的预定区域中。

注意，有时将复制源块组、复制目的地块组以及复制源区域和复制目的地区域的组合分别称为“复制源区域”、“复制目的地区域”和“内部复制区域（第一改变区域）”。

·外部复制的检测

图4A至4G示出了CFA的示例。图4A至4D示出了拜耳排列。图4E示出了用翡翠绿元素E替换了两个绿元素G中的一个的CFA（彩色滤光器阵列）。CFA的元素规则地排列在图像传感器上，例如如图4F所示。

参照图5的流程图，描述在进行图像捕获时由数字照相机进行的处理。图像捕获将被摄体的光图像光电转换为数字信号（S1101）。作为RAW图像数据获取该数字信号（S1102）。RAW图像数据的颜色信息取决于图像传感器的CFA模式。在图4A所示的CFA中，RAW图像数据的各个像素具有如图4F所示的颜色信息。

如上所述，RAW图像数据的各个像素仅具有一个颜色信息，因此需要使各个像素具有RGB颜色信息（到全色信息的转换）。为了对各个像素提供RGB颜色信息，装置根据邻近像素对丢失的颜色成分进行插值（S1103）。例如，由于图4G所示的目标像素1001仅具有R成分，因此装置根据四个邻近像素B对丢失的B成分进行插值，并且根据四个邻近像素G对丢失的G成分进行插值。进行包括该插值处理的显影处理将根据RAW图像数据获取全色图像数据（S1104）。将该颜色成分插值处理称为“去马赛克”。

作为第二检测单元的外部复制检测单元204通过根据输入图像数据估计用来进行图像捕获的数字照相机的CFA模式，来检测改变。注意，如果输入图像数据是RAW图像数据，则各个像素的颜色信息的模式是按原样的CFA模式。如果输入图像数据是全色图像数据，则由于各个像素具有所有颜色成分，因此需要估计CFA模式。

针对各个第二单位区域进行CFA模式估计。第二单位区域是Y×Y个像素的正方形区域，其是具有满足“第一单位区域的大小”<“第二单位区域的大小”的大小的区域。如果例如第一单位区域由4×4个像素构成，则第二单位区域可以在Y=64的情况下由64×64个像素构成。如果第二单位区域小，则可能错误地估计CFA模式。因此，第二单位区域越大越好。

装置针对各个第二单位区域估计全色图像数据的CFA模式对应于图4A至4D所示的四个拜耳排列中的哪一个。在进行该估计时，装置针对各个第二单位区域，根据四个拜耳排列对全色图像进行诸如双线性插值的简单线性插值（下文中称为“再去马赛克”）。然后，装置计算再去马赛克之后的四个图像数据和原始全色图像数据之中的G成分的最小二乘误差，并且将与展示最小的最小二乘误差的图像数据相对应的再去马赛克使用的拜耳排列设置为关注第二单位区域的CFA模式。

参照图6A至6D描述外部复制的检测。例如，装置通过使用图4A至4D所示的四个拜耳排列对图6C所示的图像数据中的目标区域（第二单位区域）2001进行再去马赛克，来生成四组图像数据。如果与该图像数据和目标区域2001之中的G成分的最小的最小二乘误差相对应的图像数据，和使用图4A所示的拜耳排列进行了再去马赛克的图像数据匹配，则装置估计目标区域2001的CFA模式是图4A所示的模式。

如图6D所示，装置使用再去马赛克针对所有第二单位区域进行CFA模式估计，以估计所有第二单位区域的CFA模式2003。关于作为全部全色图像数据的原始CFA模式的估计的CFA模式中的最多数（在图6D的情况下是图4A中的CFA模式），装置检测到估计了与原始CFA模式不同的CFA模式2004的第二单位区域2005作为改变位置。

也就是说，如果在具有如图6A所示的CFA模式的输入图像数据中进行了由于外部复制而发生的改变，则另一图像数据的CFA模式在改变位置与其混合。如图6B所示，装置在与改变位置1201相对应的块1202中检测到了CFA模式的规则性的扰乱。外部复制检测单元204检测到CFA模式的规则性被扰乱的块1202作为改变区域。为了简单起见，图6A至6D示出了就像针对一个第二单位区域排列了一个CFA模式。然而，实际上，在第二单位区域中以布置小片的方式排列了2×2个像素的CFA模式。

作为检测模式的规则性的扰乱的另一方法，可使用利用原始全色图像数据的各个块、和通过根据由全部全色图像估计的CFA模式对该各个块进行再去马赛克而获得的结果之中的G成分的最小二乘误差的方法。也就是说，将展示等于或大于预定阈值的最小二乘误差的块，视为具有从估计的CFA模式偏离的CFA模式的块。装置将该块确定为模式的规则性被扰乱的块。外部复制检测单元204将该块的左上像素坐标和大小，作为检测结果存储在存储器103等中的预定区域中。

注意，有时将从另一图像复制的块组称为“外部复制区域（第二改变区域）”。

·改变检测区域的修正

参照图7A至7E，描述修正作为外部复制区域检测到的区域（下文中称为“改变检测区域”）的方法。图7A所示的图像包括改变区域1301。外部复制检测单元204通过估计具有相对大的大小（例如64×64个像素）的各个块（第二单位区域）的CFA模式来检测改变区域。由于该原因，外部复制检测单元204检测包括许多改变区域的块1302作为改变区域。另一方面，改变区域1301顶部的圆形区域和下部的倒三角形的面积没有充分地大于该块，因此这些区域没有被检测为改变区域。

在改变区域中，通常形成具有作为诸如人物图像的副本或者物品图像的副本的像素集合的含义的对象。因此，存在如下趋势：在改变图像中，虽然相邻像素的颜色信息、边缘等近似，但是位于改变区域和非改变区域之间的边界处的相邻像素的颜色信息和边缘的连续性降低。例如，图7A中的改变区域1301中的各个像素具有相同的颜色信息，但是改变区域1301外部的部分是白色的，颜色信息的连续性没有跨越边界。使用这种特性，通过向改变检测区域添加具有与改变检测区域的特征量近似的特征量的区域，来扩大改变检测区域。

也就是说，区域修正单元205使用由外部复制检测单元204获得的改变区域检测结果和由特征量提取单元202提取的特征量，根据改变区域的形状，扩大改变检测区域。下面是特征量提取单元202提取8×8个像素的各个小块的特征量，并且外部复制检测单元204使用64×64个像素的块检测改变区域的情况。

区域修正单元205将位于块1302的边界处的8×8个像素的小块1303的特征量，和跨越边界并且与小块1303相邻的8×8个像素的小块1304的特征量进行比较（图7B）。如果这些特征量之间的差等于或小于预定阈值，则区域修正单元205向改变检测区域添加小块1304。在与位于块1302的边界处的所有小块进行比较后，区域修正单元205向改变检测区域添加与块1302的边界相邻的小块组1305，如图7C所示。

区域修正单元205重复比较向改变检测区域添加的小块组1305的各个小块的特征量和与各个小块相邻的小块的特征量。如果这些特征量之间的差等于或小于阈值，则区域修正单元205向改变检测区域添加相应的小块。区域修正单元205重复该处理来扩大改变检测区域，直到没有要向改变检测区域添加的小块为止（图7D）。这使得能够提取与改变区域1301的形状更紧密地匹配的改变检测区域，如图7D所示。区域修正单元205将构成改变检测区域的各个块的左上像素坐标和大小，作为检测结果存储在存储器103等中的预定区域中。

输出单元206输出由内部复制检测单元203获得的检测结果以及通过由外部复制检测单元204进行的检测和由区域修正单元205进行的修正而获得的检测结果。监视器110将检测结果作为输入图像数据的改变检测结果进行可视化显示。该可视化例如通过在由输入图像数据表示的图像上叠加指示构成改变检测区域的块的矩形框、该区域的轮廓、指示内部复制源块和复制目的地块的矩形框、复制源和复制目的地轮廓等来实现。

[改变检测处理]

参照图8的流程图描述改变检测处理。

图像输入单元201输入捕获的图像的图像数据（S301）。特征量提取单元202从输入图像数据中提取各个块的特征量（S302）。内部复制检测单元203使用提取的特征量，检测包含在由输入图像数据表示的图像中的副本对（S303）。

外部复制检测单元204使用CFA模式，检测包含在由输入图像数据表示的图像中的改变区域（S304）。当外部复制检测单元204检测到改变区域时，区域修正单元205使用提取的特征量对改变检测区域进行修正（在这种情况下为扩大）（S305），以获得与改变区域的形状更紧密地匹配的改变检测区域。

然后，输出单元206输出由内部复制检测单元203获得的检测结果以及通过由外部复制检测单元204进行的检测和由区域修正单元205进行的修正而获得的检测结果（S306）。

参照图17A和17B的流程图，描述在修正改变检测区域（图8中的S305）时扩大改变检测区域的处理。

区域修正单元205提取位于在步骤S304中检测到的改变检测区域的边界处的第一单位区域（下文中称为“第一小块”）（S1701），并且提取第一小块的特征量（S1702）。区域修正单元205进一步提取与提取的第一小块相邻的非改变检测区域的第一单位区域（下文中称为“第二小块”）（S1703），并且提取第二小块的特征量（S1704）。

区域修正单元205确定从第一小块和第二小块提取的特征量是否彼此近似（S1705）。如果第一小块的特征量和第二小块的特征量之间的差等于或小于预定阈值，则区域修正单元205确定特征量彼此近似。如果差超过了阈值，则区域修正单元205确定特征量彼此不近似。在确定特征量彼此近似时，区域修正单元205向改变检测区域添加第二小块（S1706）。在确定特征量彼此不近似时，区域修正单元205不向改变检测区域添加块。

然后，区域修正单元205确定是否针对与第一小块相邻的非改变检测区域的所有第二小块，进行了基于上述近似确定和确定结果的添加处理（S1707）。如果存在任何未处理的第二小块，则处理返回到步骤S1703。如果区域修正单元205确定不存在未处理的第二小块，则处理前进到步骤S1708。然后，区域修正单元205确定是否针对位于扩大之前的改变检测区域（换句话说，在步骤S304中检测到的区域）的边界处的所有第一小块，进行了S1701至S1707中的处理（S1708）。如果存在任何未处理的第一小块，则处理返回到步骤S1701。

在完成步骤S1701至S1708中的处理后，区域修正单元205提取向改变检测区域添加的小块（称为“第三小块”）（S1711），并且提取第三小块的特征量（S1712）。区域修正单元205提取与提取的第三小块相邻的非改变检测区域的第一单位区域（下文中称为“第四小块”）（S1713），并且提取第四小块的特征量（S1714）。

区域修正单元205对第三小块和第四小块的特征量，进行与步骤S1705中的近似确定类似的近似确定（S1715）。在确定特征量彼此近似时，区域修正单元205向改变检测区域添加第四小块（S1716）。在确定特征量彼此不近似时，区域修正单元205不向改变检测区域添加块。

区域修正单元205确定是否针对与第三小块相邻的非改变检测区域的所有第四小块，进行了基于上述近似确定和确定结果的添加处理（S1717）。如果存在任何未处理的第四小块，则处理返回到步骤S1713。如果区域修正单元205确定不存在未处理的第四小块，则处理前进到步骤S1718。然后，区域修正单元205确定是否针对向改变检测区域添加的所有小块（即添加的第二小块和第四小块），进行了从步骤S1711到步骤S1717的处理（S1718）。如果存在任何未处理的添加的小块，则处理返回到步骤S1711。

以这种方式，区域修正单元205重复从步骤S1711到步骤S1718的处理，直到不存在向改变检测区域新添加的小块为止。

[改变检测区域的缩小]

上面的描述例示了扩大改变检测区域的情况。下面，参照图9A至9D，描述缩小改变检测区域的情况。

如图9A所示，依据外部复制检测单元204的阈值和输入图像数据，改变检测区域1402有时覆盖整个改变区域1401。在这种情况下，为了使改变检测区域1402与改变区域1401的形状更紧密地匹配，需要缩小改变检测区域1402。

区域修正单元205具有缩小改变检测区域1402，以使其与改变区域1401的形状更紧密地匹配的功能。与扩大处理相似，使用改变区域1401中的相邻块（例如8×8个像素的块）的特征量彼此近似，并且改变区域1401外部的相邻块的特征量也彼此近似的特性，来实现该缩小。另外，跨越改变区域1401和非改变区域之间的边界的相邻块之间的特征量的相似性变低。

当以与在扩大处理中相反的方式进行缩小时，区域修正单元205将位于改变检测区域1402的边界外部的小块1403的特征量，和在跨越边界时与小块1403相邻的小块1404（改变检测区域1402中的小块）的特征量进行比较（图9B）。如果这些特征量之间的差等于或小于预定阈值，则区域修正单元205从改变检测区域1402中排除小块1404。针对位于改变检测区域1402的边界处的所有小块进行该排除处理，将通过从改变检测区域1402中排除小块组1405，而使改变检测区域1402缩小，如图9C所示。

另外，区域修正单元205重复基于与小块组1405相邻的小块（进一步位于改变检测区域1402内部的小块）的特征量之间的比较的上述处理，直到不存在要排除的小块为止。如图9D所示，通过缩小改变检测区域，能够使改变检测区域1402与改变区域1401的形状更紧密地匹配。

除了区域修正单元205使用提取的特征量对改变检测区域进行缩小（修正）（S305），并且使改变区域1401的形状与改变检测区域更紧密地匹配之外，缩小改变检测区域的改变检测处理与图8所示的处理相同。

参照图18A和18B的流程图，描述在修正改变检测区域（图8中的步骤S305）时缩小改变检测区域的处理。

区域修正单元205提取位于在步骤S304中检测到的改变检测区域的边界处的第一单位区域（称为“第一小块”）（S1801），并且提取第一小块的特征量（S1802）。区域修正单元205提取与提取的第一小块相邻的非改变检测区域的第一单位区域（称为“第二小块”）（S1803），并且提取第二小块的特征量（S1804）。

然后，区域修正单元205对第一小块和第二小块的特征量进行与在步骤S1705中类似的近似确定（S1805），并且在确定特征量彼此近似时，从改变检测区域中排除第一小块（S1806）。处理前进到步骤S1808。如果区域修正单元205确定特征量彼此不近似，则在不从改变检测区域中排除任何块的情况下，处理前进到步骤S1807。

在步骤S1805中确定第一小块和第二小块的特征量彼此不近似时，区域修正单元205确定是否针对与第一小块相邻的非改变检测区域的所有第二小块，进行了上述近似确定（S1807）。如果存在任何未确定的第二小块，则处理返回到步骤S1803。

在步骤S1806中排除了第一小块，或者在步骤S1807中的近似确定中确定不存在未确定的第二小块时，区域修正单元205确定是否针对位于缩小之前（换句话说，在步骤S304中检测到）的改变检测区域的边界处的所有第一小块，进行了从步骤S1801到步骤S1807的处理（S1808）。如果存在任何未处理的第一小块，则处理返回到步骤S1801。

在完成从步骤S1801到步骤S1808的处理后，区域修正单元205提取从改变检测区域中排除的小块（称为“第三小块”）（S1811），并且提取第三小块的特征量（S1812）。区域修正单元205提取与提取的第三小块相邻的改变检测区域的第一单位区域（称为“第四小块”）（S1813），并且提取第四小块的特征量（S1814）。

然后，区域修正单元205对第三小块和第四小块的特征量进行与在步骤S1705中类似的近似确定（S1815）。在确定特征量彼此近似时，区域修正单元205从改变检测区域中排除第四小块（S1816）。在确定特征量彼此不近似时，区域修正单元205不从改变检测区域中排除块。

然后，区域修正单元205确定是否针对与第三小块相邻的改变检测区域的所有第四小块，进行了基于上述近似确定和确定结果的排除处理（S1817）。如果存在任何未处理的第四小块，则处理返回到步骤S1813。如果区域修正单元205确定不存在未处理的小块，则处理前进到步骤S1818。然后，区域修正单元205确定是否针对从改变检测区域中排除的所有小块（即排除的第一小块和第四小块），进行了从步骤S1811到步骤S1817的处理（S1818）。如果存在任何未处理的小块，则处理返回到步骤S1811。

以这种方式，区域修正单元205重复从步骤S1811到步骤S1818的处理，直到不存在要从改变检测区域中排除的小块为止。

[输出单元]

输出单元206不需要一起输出处理结果，而可以按照获得处理结果的顺序（通常来说，按照对外部复制的检测结果、基于外部复制的改变检测区域的修正结果和对内部复制的检测结果的顺序），来输出处理结果。当对处理结果进行可视化显示时，监视器110例如显示由于外部复制而发生的改变的检测区域，对改变检测区域进行修正，并且显示由于内部复制而发生的改变的检测区域。

注意，如果没有检测到外部复制，则输出单元206输出指示没有检测到由于外部复制而发生的改变的信息。如果没有检测到内部复制，则输出单元206输出指示没有检测到由于内部复制而发生的改变的信息。

以这种方式，装置能够在短时间段内输出外部复制检测结果，并且能够以高精度输出内部复制检测结果，由此高效并且准确地检测捕获的图像数据中的改变。另外，对由于外部复制而发生的改变的检测区域进行修正处理，能够提高外部复制检测结果的精度。

第二实施例

下面，描述根据本发明的第二实施例的图像处理装置和图像处理方法。与第一实施例中相同的附图标记表示第二实施例的相同的部件，并且省略其详细描述。

参照图10A至10D，描述第二实施例中的对改变检测区域的修正处理。如果图10A所示的改变区域1502和非改变区域1501的颜色信息类似，则在第二实施例中，不向改变检测区域添加非改变区域1501的小块。在这种情况下，该实施例被配置为使用指示与图像数据的各个区域的改变的可能性相对应的值的图（下文中称为“改变图”），来限制修正处理的目标区域，并且抑制该区域的过度扩大，该图能够在使用CFA模式进行改变检测时获取。

外部复制检测单元204通过以与在第一实施例中相同的方式检测外部复制，进一步生成改变图。当例如装置使用64×64个像素的块估计CFA模式时，改变图指示各个64×64个像素的块改变的可能性。改变的可能性被表示为数值，例如，各个块的G成分的最小二乘误差和阈值之间的比率。更具体来说，如果给定块的G成分的最小二乘误差是“90”，而阈值是“100”，则将该块的可能性表示为值90（=90÷100×100）。检测G成分的最小二乘误差等于或大于阈值的块作为改变块。因此，数值越大，改变的可能性越高。

例如，针对改变图像1503获得如图10B所示的改变图1504。注意，通过使用CFA模式的改变检测获得的检测结果，仅指示G成分的最小二乘误差等于或大于上述阈值，并且改变图1504上的数值等于或大于100的块。虽然检测结果不指示其它块，但是改变图1504上的数值越大，改变的可能性越高。将改变图与检测结果一起存储在存储器103等中的预定区域中，并由区域修正单元205使用。

在使用改变图限制扩大区域后，区域修正单元205对改变检测区域进行修正。也就是说，区域修正单元205通过从扩大目标中排除任何在改变图上展示低改变可能性的块，来防止不必要的扩大。假设将块分类到展示低改变可能性的块中的阈值是“50”。在图10B所示的改变图1504的情况下，改变可能性是85、75、65、60和60的五个块是扩大目标，从扩大目标中排除其它块。

参照图11的流程图，描述第二实施例中的改变检测处理。注意，与在图8所示的第一实施例中相同的步骤编号，表示在第二实施例中相同的处理，并且省略其详细描述。

外部复制检测单元204使用CFA模式检测包含在由输入图像数据表示的图像中的改变区域，并且生成改变图（S311）。

如果外部复制检测单元204检测到改变区域，则区域修正单元205通过参照改变图，来决定要应用对改变检测区域的修正（在这种情况下为扩大）的块（S312）。也就是说，外部复制检测单元204决定改变的可能性例如超过阈值“50”的块，作为要应用修正的块。

然后，区域修正单元205确定是否存在要应用修正的任何块（S313）。如果存在要应用修正的任何块，则区域修正单元205使用提取的特征量对改变检测区域进行修正（S305）。也就是说，在这种情况下，区域修正单元205对在步骤S312中决定为要应用修正的块的块，应用图17A和17B所示的改变检测区域扩大处理。

如果在步骤S313中确定不存在要应用修正的块，则区域修正单元205不执行改变检测区域修正（S305）。

[改变检测区域的缩小]

上面的描述例示了扩大改变检测区域的情况。下面例示缩小改变检测区域的情况。

如上所述，区域修正单元205具有缩小改变检测区域1402，以使其与改变区域1401的形状更紧密地匹配的功能。在这种情况下，区域修正单元205通过经由参照改变图限制修正处理的目标区域，来抑制过度区域缩小。

如上所述，改变图用数值来表示各个块改变的可能性。缩小处理的目的是从检测结果中排除非改变区域。给定块在改变图上展示越小的数值，也就是说，改变的可能性越低，从改变检测区域中排除该块的必要性越大。

图10C示出了展示等于或大于100的数值的块对应于改变检测区域的改变图的示例。区域修正单元205通过用包含在改变图中的最大数值（在图10C的情况下为150）将各个块的数值正规化，来生成改变图（图10D）。区域修正单元205对正规化值等于或小于预定阈值的各个块进行缩小处理。换句话说，缩小处理目标局限于正规化值等于或小于预定值的块。

另外，如果预定阈值例如是“70”，则区域修正单元205相对于改变检测区域的面积（100%），将要缩小的面积限制为100-70=30%。也就是说，在图10D的情况下，区域修正单元205对正规化值是“67”、“69”和“70”的块按照所列出的顺序进行缩小处理，直到改变检测区域缩小到限值（在这种情况下为70%）为止。

该处理降低了从展示高改变可能性的块中排除小块的比率，而增加了从展示低改变可能性的块中排除小块的比率。这使得能够降低从展示高改变可能性的块中排除小块的可能性。

除了下面的点之外，缩小改变检测区域的改变检测处理与图11所示的处理相同。也就是说，区域修正单元205通过参照改变图，决定要应用改变检测区域缩小（修正）处理的块（S312）。如果存在要应用缩小处理的任何块（S313），则区域修正单元205使用提取的特征量，对改变检测区域进行缩小（修正）（S305）。也就是说，在这种情况下，区域修正单元205对在步骤S312中决定为要应用缩小处理的块的各个块，执行图18A和18B所示的改变检测区域缩小处理。

在步骤S313中确定不存在要应用缩小处理的块时，区域修正单元205不执行改变检测区域修正（S305）。

实施例的变型

第一和第二实施例例示了将使用CFA模式的外部复制检测与使用特征量的内部复制检测组合，以检测外部复制和内部复制两者的情况。然而，能够仅使用利用CFA模式的检测。在这种情况下，装置不使用内部复制检测单元203进行任何处理，而使外部复制检测单元204进行处理，并且使区域修正单元205使用由特征量提取单元202提取的特征量扩大或缩小改变检测区域。

另外，图8和11示出了装置在检测内部复制之后检测外部复制的情况。然而，装置可以在检测外部复制之后，检测内部复制。

此外，在上述情况下，在与由区域修正单元205进行的改变检测区域的修正整合后，将外部复制检测结果发送给输出单元206。然而，外部复制检测单元204可以直接向输出单元206发送检测结果。在这种情况下，区域修正单元205向输出单元206发送向改变检测区域添加的区域的信息或者从改变检测区域中排除的区域的信息。然后，输出单元206输出通过将检测结果与要添加或排除的区域整合而获得的结果。

第三实施例

下面，描述根据本发明的第三实施例的图像处理装置和图像处理方法。与在第一和第二实施例中相同的附图标记表示在第三实施例中相同的部件，并且省略其详细描述。

第一和第二实施例例示了扩大或缩小改变检测区域，以获取与改变区域的形状更紧密地匹配的检测结果的情况。第三实施例被配置为在将外部复制检测与内部复制检测组合时，通过避免对改变检测区域的双重检查，来加速处理。

通过外部复制检测而检测到的改变检测区域是来自另一图像的复制区域。在该区域中不需要进行内部复制检测。由于该原因，装置在通过外部复制检测而检测到的改变检测区域之外的区域中，进行内部复制检测。另外，由于内部复制检测需要长处理时间，因此加速该处理将缩短外部复制检测和内部复制检测的组合所需的总体处理时间。

[功能布置]

参照图12的框图，描述根据第三实施例的图像处理装置100的功能布置。CPU101通过执行该实施例中的图像处理程序，来实现该功能布置。

该功能布置与图2所示的布置的不同之处在于改变区域消除单元501。改变区域消除单元501通过从由输入图像数据表示的图像中消除由外部复制检测单元204检测到的改变检测区域，来生成图像数据。将生成的图像数据存储在存储器103等中的预定区域中，并用于特征量提取单元202进行的处理。

在生成图像数据的方法中，例如，装置将输入图像数据划分为块，并且排除与由外部复制检测单元204检测到的改变检测区域相对应的块。也就是说，外部复制检测单元204将块的图像数据设置为范围内的最小值RGB=(0,0,0)或者最大值（例如RGB=（255,255,255））。然而，该方法是示例，能够使用能够在输入图像数据中指定改变检测区域，并且从特征量提取目标中排除该区域的任意方法。

[改变检测处理]

参照图13的流程图，描述第三实施例中的改变检测处理。

图像输入单元201输入捕获的图像的图像数据（S601）。外部复制检测单元204使用CFA模式检测包含在由输入图像数据表示的图像中的改变区域（S602）。

改变区域消除单元501通过从由输入图像数据表示的图像中消除由外部复制检测单元204检测到的改变检测区域，来生成图像数据（S603）。特征量提取单元202从输出自改变区域消除单元501中的图像数据中，提取各个块的特征量（S604）。

内部复制检测单元203使用提取的特征量，检测包含在由从改变区域消除单元501输出的图像数据表示的图像中的副本对（S605）。输出单元206输出由内部复制检测单元203和外部复制检测单元204获得的检测结果（S606）。

[改变图的使用]

上面的描述例示了装置仅从输入图像数据中消除由外部复制检测单元204检测到的改变检测区域的情况。然而，存在一种区域，虽然该区域没有包含在由外部复制检测单元204检测到的改变检测区域中，但是在该区域中外部复制的可能性高。

因此，装置将改变图上的值等于或大于预定阈值的块确定为外部复制的可能性高的块，并且从由输入图像数据表示的图像中消除该块。如果例如改变区域消除单元501排除了改变图上的值等于或大于50的任何块，则在图10B所示的情况下，装置排除值为85、75、65、60和60的五个块。

除了下面的点之外，使用改变图的改变检测处理与图13所示的处理相同。也就是说，外部复制检测单元204在检测到改变检测区域时，生成改变图（S602）。改变区域消除单元501通过从由输入图像数据表示的图像中消除改变检测区域和改变图上的值等于或大于阈值的块，来生成图像数据（S603）。

第四实施例

下面，描述根据本发明的第四实施例的图像处理装置和图像处理方法。注意，与在第一至第三实施例中相同的附图标记表示在第四实施例中相同的部件，并且省略其详细描述。

将第一实施例中的处理与第三实施例中的处理组合，能够获得与改变区域的形状更紧密地匹配的改变检测区域，并且能够以高速获得改变检测结果。

[功能布置]

参照图14的框图，描述根据第四实施例的图像处理装置100的功能布置。CPU101通过执行该实施例中的图像处理程序，来实现该功能布置。参照图14，改变区域消除单元701之外的功能与在第一至第三实施例中描述的功能相同。

改变区域消除单元701通过从由输入图像数据表示的图像中消除由外部复制检测单元204检测到的改变检测区域，来生成图像数据。在这种情况下，改变区域消除单元701不消除用于修正改变检测区域所需的特征量提取的任何块。

如在第一实施例中所描述，装置使用由外部复制检测单元204检测到的改变检测区域的边界内部的小块1303（参见图7B）的特征量，进行扩大处理。如在第三实施例中的改变区域消除单元501的情况，消除对于内部复制检测不必要的所有区域，将消除与小块1303相对应的区域。因此，第四实施例中的改变区域消除单元701消除图7E所示的阴影部分1306，而不消除改变检测区域的边界内部的与小块1303相对应的区域（下文中称为“边界部分”）。通过该操作，特征量提取单元202提取边界部分的特征量，以使得区域修正单元205能够进行修正处理。

在缩小改变检测区域时，仅能够排除未被消除而剩余的边界部分。当例如去除了边界部分上的所有小块1303时，区域修正单元205进行诸如使特征量提取单元202从输入图像数据中提取位于比与小块1303相对应的区域进一步内部的小块的特征量的处理。注意，通过使得能够指定提取位于内部的小块的特征量的次数的上限，能够限制在改变检测区域内部多远重复缩小处理。

[改变检测处理]

参照图15的流程图，描述第四实施例中的改变检测处理。注意，与在图13所示的第三实施例中相同的步骤编号，表示在第四实施例中相同的处理，并且省略其详细描述。

改变区域消除单元701从除了提取用于改变检测区域的修正的特征量的块（图7B所示的小块1303）之外的输入图像数据中，消除改变检测区域（S611）。区域修正单元205对改变检测区域进行修正（S612）。

[改变图的使用]

虽然上面描述了第一和第三实施例的组合，但是能够将第二实施例与第三实施例组合。也就是说，能够使用改变图来限制改变检测区域的修正。

参照图16的流程图，描述第四实施例中的不同的改变检测处理。注意，与在图15中相同的步骤编号表示在第四实施例中相同的处理，并且省略其详细描述。

外部复制检测单元204使用CFA模式检测包含在由输入图像数据表示的图像中的改变区域，并且生成改变图（S621）。区域修正单元205通过参照改变图来决定应用改变检测区域的修正的块（S622）。如果存在要应用修正的任何块（S623），则区域修正单元205对改变检测区域进行修正（S612）。也就是说，在这种情况下，区域修正单元205对在步骤S622中决定为要应用修正的块的各个块，执行改变检测区域修正处理。

实施例的变型

·小块的消除

第四实施例例示了改变区域消除单元701不消除修正改变检测区域所需的小块1303的情况。然而，当在也消除小块1303之后对改变检测区域进行修正时，装置可以使特征量提取单元202从存储在存储器103等中的输入图像数据中，提取需要的区域的特征量。

·检测精度和处理速度

在第四实施例中，当与改变区域的检测精度相比，对加速处理给予更高的重要性时，能够通过跳过由区域修正单元205进行的区域修正处理，在消除由外部复制检测单元204检测到的整个改变检测区域后，进行内部复制检测。在这种情况下，不提取区域修正所需的特征量，因此不对由外部复制检测单元204检测到的改变检测区域进行修正（扩大或缩小）。如果例如由外部复制检测单元204检测到的区域大，则存在许多提取扩大/缩小所需的特征量的块，导致处理时间增加。然而，跳过区域修正处理仅需要执行区域消除，并且消除了提取用于修正处理的特征量的必要性。因此，这使得能够最大限度地加速处理。

另外，如果由外部复制检测单元204检测到的区域大小等于或大于预定大小，则跳过区域修正处理，而如果区域大小小于预定大小，则执行区域修正处理。这使得能够动态地控制区域修正处理的跳过。这能够有效地控制改变区域的检测精度和处理速度之间的平衡。

·CFA模式的代用

第一至第四实施例例示了使用CFA模式来检测外部复制的情况。然而，对于外部复制检测，也能够使用在从图像数据中提取图像传感器特有的噪声后，进行改变检测处理的技术。

·扩大处理和缩小处理之间的切换

使用在第二和第四实施例中生成的改变图，能够在改变检测区域的扩大处理和缩小处理之间进行正确地切换。参照图19的流程图，描述对第二实施例中的处理应用扩大处理和缩小处理之间的切换的情况。注意，与在图11所示的第二实施例中相同的步骤编号，表示在该变型中相同的处理，并且省略其详细描述。

当外部复制检测单元204检测到改变区域并且生成改变图（S311）时，区域修正单元205获取包含在改变检测区域中的一个第二单位区域（下文中称为“第一块”）（S1901）。区域修正单元205获取与第一块相对应的改变图中的指示改变可能性的值P（S1902），并且将值P与阈值Th1进行比较（S1903）。区域修正单元205还将值P与阈值Th2（<Th1）进行比较（S1904）。

如果P≥Th1，则区域修正单元205对第一块执行改变检测区域扩大处理（S1905）。如果P<Th1并且P≤Th2，则区域修正单元205对第一块执行改变检测区域缩小处理（S1906）。如果Th2<P<Th1，则区域修正单元205不对第一块执行改变检测区域修正处理（不进行修正）。注意，步骤S1905中的扩大处理对应于图17A和17B中的处理，而步骤S1906中的缩小处理对应于图18A和18B中的处理。

区域修正单元205重复上述处理（从步骤S1901到步骤S1906），直到在步骤S1907中确定针对包含在改变检测区域中的所有第一块执行了上述处理（从步骤S1901到步骤S1906）为止。也就是说，区域修正单元205根据改变的可能性，针对各个第一块在扩大处理、缩小处理和不进行修正之间进行切换。由于区域修正单元205根据改变的可能性，针对各个第一块在扩大处理、缩小处理和不进行修正之间进行切换，因此能够更准确地对改变检测区域进行修正。

很明显，可以对第四实施例中的处理应用上述切换操作。省略对向第四实施例中的处理应用上述切换操作的情况的描述。

上述切换方法仅仅是示例。例如，区域修正单元205可以使用以下切换方法。例如，区域修正单元205在不确定对各个第一块进行扩大还是缩小的情况下，获取与所有第一块相对应的改变图上的指示改变可能性的值（步骤S1902和S1904）。然后，区域修正单元205计算获取的值的统计值（平均值或中间值）。区域修正单元205基于统计值与阈值Th1和Th2之间的比较，对所有第一块执行扩大处理、缩小处理或者不进行修正。

·内部复制的检测

虽然描述了使用第一单位区域的特征量进行内部复制检测的情况，但是能够通过确定第一单位区域中的各个像素的像素值（例如亮度或者RGB成分值）是否彼此相似，来检测内部复制。另外，即使在内部复制中，CFA模式也可能被打断。在这种情况下，外部复制检测单元204能够检测到由于内部复制而产生的改变区域。

·输入图像数据

只要装置检测到内部复制，则输入图像数据不限于捕获的图像。

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机（或诸如CPU或MPU的装置）、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如通过网络或者从用作存储装置的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (10)

1.一种图像处理装置，其包括：

第一检测器，被配置为针对各个第一单位区域，提取捕获的图像数据的特征量，并且比较针对所述各个第一单位区域的特征量，以检测第一改变区域，其中，所述第一改变区域是从所述捕获的图像数据向所述捕获的图像数据进行了复制的图像区域；

第二检测器，被配置为针对大小与所述第一单位区域不同的各个第二单位区域，从所述捕获的图像数据中提取彩色滤光器阵列的模式，并且根据所述模式的周期性的扰乱检测第二改变区域，其中，所述第二改变区域是从与所述捕获的图像数据不同的图像数据向所述捕获的图像数据进行了复制的图像区域；以及

输出部，被配置为作为所述捕获的图像数据中的改变检测结果，输出关于所述第一改变区域的信息和关于所述第二改变区域的信息，

其中，所述第一检测器基于排除了所述第二改变区域的所述捕获的图像数据，检测所述第一改变区域，并且，所述第二单位区域的大小大于所述第一单位区域的大小。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：消除器，被配置为通过从所述捕获的图像数据中消除所述第二改变区域的图像数据，来生成图像数据，

其中，所述第一检测器通过针对所述各个第一单位区域，提取消除了所述第二改变区域的图像数据的捕获的图像数据的特征量，来检测所述第一改变区域。

3.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：修正器，被配置为使用所述各个第一单位区域的特征量，对所述第二改变区域进行修正，

其中，所述输出部输出关于修正后的所述第二改变区域的信息。

4.根据权利要求3所述的图像处理装置，其中，所述修正器基于包含在所述第二改变区域中的所述各个第一单位区域的特征量和与所述第二改变区域相邻的区域中的所述各个第一单位区域的特征量之间的比较结果，对所述第二改变区域进行修正。

5.根据权利要求3所述的图像处理装置，其中，所述修正器基于通过比较包含在所述第二改变区域中的所述各个第一单位区域的特征量而获得的结果，对所述第二改变区域进行修正。

6.一种图像处理方法，其包括如下步骤：

针对各个第一单位区域，提取捕获的图像数据的特征量；

第一检测步骤，比较针对所述各个第一单位区域的特征量，以检测第一改变区域，其中，所述第一改变区域是从所述捕获的图像数据向所述捕获的图像数据进行了复制的图像区域；

针对大小与所述第一单位区域不同的各个第二单位区域，从所述捕获的图像数据中提取彩色滤光器阵列的模式；

第二检测步骤，根据所述模式的周期性的扰乱检测第二改变区域，其中，所述第二改变区域是从与所述捕获的图像数据不同的图像数据向所述捕获的图像数据进行了复制的图像区域；以及

输出步骤，作为所述捕获的图像数据中的改变检测结果，输出关于所述第一改变区域的信息和关于所述第二改变区域的信息，

其中，在所述第一检测步骤中，基于排除了所述第二改变区域的所述捕获的图像数据，检测所述第一改变区域，并且，所述第二单位区域的大小大于所述第一单位区域的大小。

7.根据权利要求6所述的图像处理方法，所述图像处理方法还包括：通过从所述捕获的图像数据中消除所述第二改变区域的图像数据，来生成图像数据的步骤，

其中，在所述第一检测步骤中，通过针对所述各个第一单位区域，提取消除了所述第二改变区域的图像数据的捕获的图像数据的特征量，来检测所述第一改变区域。

8.根据权利要求6所述的图像处理方法，所述图像处理方法还包括：

修正步骤，使用所述各个第一单位区域的特征量，对所述第二改变区域进行修正，

其中，在所述输出步骤中，输出关于修正后的所述第二改变区域的信息。

9.根据权利要求8所述的图像处理方法，其中，在所述修正步骤中，基于包含在所述第二改变区域中的所述各个第一单位区域的特征量和与所述第二改变区域相邻的区域中的所述各个第一单位区域的特征量之间的比较结果，对所述第二改变区域进行修正。

10.根据权利要求8所述的图像处理方法，其中，在所述修正步骤中，基于通过比较包含在所述第二改变区域中的所述各个第一单位区域的特征量而获得的结果，对所述第二改变区域进行修正。