CN103052971A - 空间中的变化区域检测装置以及方法 - Google Patents

Abstract

本发明提供不使用定位传感器也能够高精度地检测空间中的变化区域的变化区域检测装置（10）。变化区域检测装置（10）包括：对应点搜索用特征点选择单元（13），从输入图像（拍摄图像）的特征点中选择用于确定参考图像的特征点；几何变换参数计算用特征点选择单元（18），从输入图像的特征点和参考图像的特征点中选择用于计算几何变换参数的特征点；以及相似度计算用特征点选择单元（20），从输入图像的特征点和参考图像的特征点中选择用于求拍摄图像与参考图像的相似度的特征点。

Description

空间中的变化区域检测装置以及方法

技术领域

本发明涉及从可移动照相机拍摄的拍摄图像中检测空间内的变化区域的装置以及方法。

背景技术

近年来，使用可佩带照相机等进行监视的系统得到实用化。作为该监视系统之一，有基于保安佩带的可佩带照相机的图像检测物品的拿走以及遗弃的系统。通过检测在登记图像中存在但在拍摄图像中不存在的物品来实现物品的拿走（例如相当于失盗）的检测。另一方面，通过检测在登记图像中不存在但在拍摄图像中存在的物品来实现物品的遗弃（例如相当于炸弹等危险物的设置）的检测。

另外，由可佩带照相机拍摄的拍摄图像根据该可佩带照相机的位置或朝向等发生变化，因而需要表示对哪个空间进行拍摄的信息（定位信息）。即，可佩带照相机中搭载有GPS、陀螺传感器、磁方位传感器等传感器类，通过该传感器获取作为拍摄图像的属性信息的定位信息。并且，从登记图像中选择与定位信息对应的图像（以下将该图像称为参考图像）。即，通过定位信息确定与拍摄图像拍摄了相同空间的参考图像。接着，通过比较参考图像和拍摄图像来检测空间中的变化区域，基于该检测结果判定上述的拿走或遗弃等。

为了如上所述那样使用由移动照相机拍摄的拍摄图像和参考图像检测空间中的变化区域，首先需要进行拍摄图像与参考图像的对位。即，需要选择与拍摄图像对应的参考图像。

作为该对位的方法，可以考虑如下两种方法：

·上述的使用GPS等传感器的方法

·使用图像的图案匹配（pattern matching）等图像处理的方法。

关于使用图像处理的对位，例如有专利文献1中记载的技术。

现有技术文献

专利文献

专利文献1：日本特开2003-242509号公报

非专利文献

非专利文献1：D.Lowe,“Distinctive Image Features fromScale-Invariant Keypoiunts”,International Journal of Computer Vision,Vol.60,No.2,pp.91-110,2004

非专利文献2：N.Katayama and S.Satoh,“The SR-tree:An IndexStructure for High-Dimensional Nearest Neighbor Queries”,Proceedingsof the1997ACM SIGMOD International Conference on Management ofData,pp.369-380,1997

发明内容

发明要解决的问题

但是，专利文献1中记载的技术原本并未设想在拍摄图像中包含相对参考图像发生变化的变化区域的前提下，选择与拍摄图像相同空间的参考图像。即，在以专利文献1为代表的以往的图像处理中，并未考虑拍摄图像的一部分相对于参考图像发生了变化，因而若通过图案匹配选择与拍摄图像相同空间的参考图像，则有可能无法选择准确的参考图像。尤其是，专利文献1中记载的技术是进行局部特征之间的图案匹配的技术，因而容易受到拍摄图像的变化区域的影响，其结果是，选择错误的参考图像的可能性较高。即，若进行局部特征之间的图案匹配，则拍摄图像中存在但参考图像中不存在的物体、或者相反参考图像中存在但拍摄图像中不存在的物体对图案匹配的结果造成影响，因而对于选择相同空间的参考图像并不理想。

若无法选择准确的参考图像（即无法选择与拍摄图像相同空间的参考图像），则变化区域的检测精度当然也会降低。

另一方面，GPS等定位传感器存在可使用位置受到限制的缺点。GPS的情况下只能在室外使用。除了GPS以外还有基于UWB的定位方法，但在此情况下，需要在设施内设置接收机，因而系统变得复杂。在任一种情况下，在使用传感器进行拍摄图像与参考图像的对位的情况下，与通过图像处理进行对位的情况相比，都存在可使用位置受到限制及/或除了照相机以外还需要复杂的结构等缺点。

本发明的目的在于提供不使用定位传感器也能够高精度地检测空间中的变化区域的检测装置以及方法。

解决问题的方案

本发明的变化区域检测装置的一个形态包括：特征点检测单元，检测拍摄图像的特征点；登记图像数据库，存储多个登记图像；第一特征点选择单元，从所述拍摄图像的特征点中，选择用于确定参考图像的特征点；参考图像判定单元，使用由所述第一特征点选择单元选择的特征点和所述登记图像数据库中存储的各登记图像的特征点，进行所述拍摄图像与各登记图像之间的匹配判定，从而将所述多个登记图像中与所述拍摄图像匹配程度最高的图像确定为参考图像；第二特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；几何变换参数计算单元，使用由所述第二特征点选择单元选择的特征点，计算几何变换参数；第三特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点；相似度计算单元，使用由所述几何变换参数计算单元计算出的几何变换参数，对由所述第三特征点选择单元选择的特征点进行几何变换，计算几何变换后的、所述拍摄图像的特征点与所述参考图像的特征点的相似度；以及变化区域判定单元，基于由所述相似度计算单元获取的相似度，判定变化区域。

本发明的变化区域检测方法的一个形态为，计算拍摄图像与参考图像之间的相似度，基于该相似度检测所述拍摄图像中的变化区域的变化区域检测方法，包括：第一特征点选择步骤，从所述拍摄图像的特征点中，选择用于确定所述参考图像的特征点；第二特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；以及第三特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点。

发明的效果

根据本发明，能够独立地进行适于参考图像的特征点选择、适于计算几何变换参数的特征点选择、以及适于计算相似度的特征点选择，因而能够不进行无谓的计算而求出准确的参考图像、准确的几何变换参数、以及准确的相似度。其结果是，能够以较少的计算量，高精度地求出变化区域。

附图说明

图1是表示本发明实施方式的变化区域检测装置的结构的方框图。

图2A是表示SR-tree的树结构的图。

图2B是表示叶子的数据结构的图。

图3是表示对应点搜索单元的处理步骤的流程图。

图4是表示登记图像数据库中存储的信息的图。

图5是表示参考图像判定单元的处理步骤的流程图。

图6A是表示相似度计算单元的处理步骤的流程图。

图6B是表示相似度计算单元的处理步骤的流程图。

图7是表示变化区域检测装置的变化区域检测处理的示意图。

标号说明

10变化区域检测装置

11特征点检测单元

12特征量计算单元

13对应点搜索用特征点选择单元

14对应点搜索单元

15特征量索引单元

16参考图像判定单元

17登记图像数据库

18几何变换参数计算用特征点选择单元

19几何变换参数计算单元

20相似度计算用特征点选择单元

21相似度计算单元

22变化区域判定单元

具体实施方式

以下，参照附图详细地说明本发明的实施方式。

图1表示本发明实施方式的变化区域检测装置的结构。变化区域检测装置10将拍摄图像S1输入到特征点检测单元11。拍摄图像S1是用可佩带照相机等可移动照相机拍摄的图像。

特征点检测单元11检测拍摄图像S1的特征点。这里，例如从SIFT（Scale-Invariant Feature Transform，尺度不变特征变换）中使用的、由不同的平滑图像之差分生成的多个DOG（Difference of Gaussian，高斯差分）图像中，作为极值的点检测特征点即可。基于DOG的特征点提取是记载在例如非专利文献1中的已知技术，因此省略此处的说明。特征点检测单元11从一张拍摄图像中检测出多个特征点。检测出的特征点信息S2被传送至特征量计算单元12。

特征量计算单元12对于由特征点检测单元11检测出的各特征点，计算特征量S3并输出。计算出的特征量优选为例如在SIFT中使用的、旋转以及尺度不变的特征量。在本实施方式的情况下，特征量是特征点附近的梯度信息（多维矢量信息）。

对应点搜索用特征点选择单元13从由特征点检测单元11检测出的特征点中，选择由对应点搜索单元14使用的特征点。具体而言，对应点搜索用特征点选择单元13在由特征点检测单元11检测出的特征点中，仅选择在由特征量计算单元12计算出的特征量的空间中稀疏的特征点。所谓稀疏的特征点，是附近不存在其他特征点的特征点。此外，可以将由对应点搜索用特征点选择单元13选择的稀疏的特征点，换称为比由后述的相似度计算用特征点选择单元20选择的特征点更稀疏的特征点。

通过以此方式选择稀疏的特征点，在输入图像（拍摄图像）中有新出现的物体或消失的物体的情况下，也能够选择准确的参考图像。即，通过选择稀疏的特征点，不易受到输入图像的局部变化的影响，其结果是能够降低选择错误的参考图像的可能性。

对应点搜索单元14对于输入图像的Nf个特征点的每个特征点，搜索特征量间的距离为阈值以下的登记图像的特征点（对应点）。此处的特征量间的距离是欧氏距离。在本实施方式的情况下，并不直接使用登记图像，而是基于特征量索引单元中存储的特征量索引来搜索对应点。由此，与直接使用登记图像相比，能够高效率地搜索对应点。

特征量索引单元15存储登记图像数据库17中存储的各登记图像所具有的全部特征点的特征量。为了高效率地搜索对应点，特征量索引单元15例如具有SR-tree（Sphere/Rectangle-tree）这样的索引结构。SR-tree是记载在专利文献2等中的公知技术，因此省略此处的说明。

图2A中示出SR-tree的树结构，图2B中示出叶子的数据结构。如图2B所示，在SR-tree的叶子的各项目中，除了特征量以外，还存储具有该特征量的原始的登记图像的识别编号（ID）。

图3中示出对应点搜索单元14的处理步骤。对应点搜索单元14对于拍摄图像的每一个特征点，从登记图像中搜索多个对应点。例如，假设对拍摄图像的第p特征点的、登记图像的对应点的个数为Kp个。对应点搜索单元14在步骤ST11中，选择输入图像（参考图像）中的一个特征点，获取其特征量。在步骤ST12中，通过最近邻搜索，获取步骤ST11中获取的特征量的Kp个最近邻特征点作为登记图像的对应点。在步骤ST13中，判断是否搜索了输入图像（拍摄图像）的全部特征点的对应点。若步骤ST13中得到否定结果（步骤ST：否），则通过反复执行步骤ST11至ST12，搜索关于下一个特征点的对应点，若步骤ST13中得到肯定结果（步骤ST：是），则结束对应点搜索处理。

此外，在本实施方式中，设置了特征量索引单元15，但也可以从登记图像直接搜索对应点。

参考图像判定单元16使用来自对应点搜索单元14的对应点信息和来自登记图像数据库17的登记图像信息，对于由对应点搜索单元14搜索的对应点，对具有该对应点的原始登记图像投一票。参考图像判定单元16对关于输入图像（参考图像）的全部特征点分别搜索得到的全部对应点，反复进行该投票处理。接着，参考图像判定单元16将得票数最多的登记图像确定为对输入图像的参考图像。

这里，更为理想的是，参考图像判定单元16附加与对应点搜索单元14计算的特征量间的距离相对应的权重进行投票。通过这样做，获取考虑了对应点的准确率的得票结果，因而选择更准确的登记图像作为参考图像。

如图4所示，登记图像数据库17存储登记图像的ID、从登记图像检测出的特征点的ID、特征点的坐标、以及特征点的特征量作为1记录。另外，登记图像数据库17对于一张登记图像，具有与从该登记图像中检测出的多个特征点对应的多个记录。

图5中示出参考图像判定单元16的处理步骤。参考图像判定单元16在步骤ST21中，将通过对应点搜索获取的全部对应点写入搜索结果列表中。所谓搜索结果列表，是由对应点的特征点ID、以及输入图像的特征点与对应点的特征量之间的距离构成的列表。在步骤ST22中，从搜索结果列表中获取一个对应点。在步骤ST23中，从登记图像数据库17获取对应点的原始图像的图像ID。

在接着的步骤ST24中，判断参考图像候选列表中是否有所获取的图像ID。所谓参考图像候选列表，是由登记图像的图像ID和得票数构成的列表。即，是各登记图像的得票数的列表。若在步骤ST24中得到肯定结果（步骤ST24：是），则转至步骤ST25，对参考图像候选列表的相应图像ID的得票数进行相加。另一方面，若在步骤ST24中得到否定结果（步骤ST24：否），则转至步骤ST26，对参考图像候选列表追加相应图像ID。

在步骤ST27中，判断是否对搜索结果列表中包含的全部特征点进行了处理。若在步骤ST27中得到肯定结果（步骤ST27：是），则转至步骤ST28，将参考图像候选列表中得票数最多的登记图像确定为参考图像。另一方面，若在步骤ST27中得到否定结果（步骤ST27：否），则返回到步骤ST22。

几何变换参数计算用特征点选择单元18选择几何变换参数计算单元19中使用的作为基准的特征点。具体而言，几何变换参数计算用特征点选择单元18在由特征点检测单元11检测出的输入图像的特征点中，从与对应点搜索单元14搜索的参考图像的特征点之间的特征量距离最小的组合开始，选择一定数量的特征点。此时，不选择相对于已经选择的特征点，在坐标空间中比一定距离近的特征点。

换言之，几何变换参数计算用特征点选择单元18选择输入图像的特征点与参考图像的特征点之间的相似度为规定值以上的特征点。由此，能够提高输入图像与参考图像的对应的精度。另外，几何变换参数计算用特征点选择单元18选择输入图像的特征点与参考图像的特征点之间的坐标空间上的距离为规定值以上的特征点。由此，能够提高几何变换的精度。

几何变换参数计算单元19计算表示从输入图像到参考图像的几何学变化的几何变换参数。在本实施方式中，说明作为几何变换进行仿射（affine）变换的情况。几何变换参数计算单元19将输入图像的特征点和与其对应的参考图像的特征点作为双方的基准点，准备多个这种基准点的组，利用最小二乘法计算仿射变换参数。其中，基准点的组采用由几何变换参数计算用特征点选择单元18选择的特征点。对应的参考图像的特征点不存在的输入图像的特征点不放入基准点的组中。至少有三组以上的基准点的组，则能够通过最小二乘法解出仿射变换参数。此外，还计算仿射变换的逆变换。所谓仿射变换的逆变换，是从参考图像到输入图像的几何变换。

可以用下式表示仿射变换式。

x’＝ax＋by＋c

y’＝dx＋ey＋f    …（1）

其中，（x，y）表示输入图像（拍摄图像）的特征点的坐标，（x'，y'）表示参考图像的特征点的坐标。

相似度计算用特征点选择单元20选择相似度计算单元21中使用的输入图像以及参考图像各自的特征点。具体而言，相似度计算用特征点选择单元20在输入图像的特征点中，不选择与通过对应点搜索而搜索出的参考图像的特征点之间的特征量距离比一定阈值大的特征点。换言之，在输入图像的特征点中，仅选择与通过对应点搜索而搜索出的参考图像的特征点之间的特征量距离为一定阈值以下的特征点，作为相似度计算单元21中使用的特征点。另外，相似度计算用特征点选择单元20不选择相对于已经选择的特征点，在坐标空间中比一定距离近的特征点。据此，能够将图像明显未发生变化的区域的特征点、或坐标空间中过度密集的特征点排除在外，因而能够抑制无用的相似度计算。

相似度计算单元21在输入图像与参考图像之间，计算对应的特征点的特征量之间的距离，将其作为相似度。具体而言，相似度计算单元21首先利用由几何变换参数计算单元19计算出的变换参数，对输入图像的特征点进行仿射变换。接着，相似度计算单元21搜索进行了仿射变换的输入图像的特征点的坐标附近存在的参考图像的特征点，计算这些特征点的特征量之间的距离。

相反，相似度计算单元21也搜索在对参考图像的特征点进行逆变换得到的坐标附近存在的输入图像的特征点，同样也计算这些特征点的特征量之间的距离。

接着，相似度计算单元21生成由输入图像的特征点坐标、以及与对应于该特征点的参考图像的特征点之间的特征量距离构成的对应点列表。在对应点列表中，若不存在与参考图像的特征点对应的输入图像的特征点，则将从参考图像进行仿射变换而计算出的坐标点作为输入图像的特征点坐标。另外，在对应点列表中，在从输入图像对参考图像，或者从参考图像对输入图像不存在对应的特征点的情况下，视为此时的特征量间距离是足够大的值（=相似度低）。

图6A以及图6B中示出相似度计算单元21的处理步骤。在步骤ST31中，相似度计算单元21从输入图像中选择一个特征点。在接着的步骤ST32中，判断特征点是否不是基准点。此处的基准点是指在几何变换参数计算单元19的参数计算中使用过的基准点。相似度计算单元21判断为特征点不是基准点时（步骤ST32：是），转至步骤ST33。另一方面，相似度计算单元21判断为特征点是基准点时（步骤ST32：否），转至步骤ST40。

在步骤ST33中，计算对特征点进行了仿射变换的坐标点。在接着的步骤ST34中，判断在参考图像内是否存在进行了仿射变换的坐标点。相似度计算单元21判断为在参考图像内存在进行了仿射变换的坐标点时（步骤ST34：是），转至步骤ST35。另一方面，相似度计算单元21判断为在参考图像内不存在进行了仿射变换的坐标点时（步骤ST34：否），转至步骤ST40。

在步骤ST35中，搜索与进行了仿射变换的坐标点距离最近的、参考图像的特征点。在接着的步骤ST36中，判断在步骤ST35中搜索出的参考图像的特征点的坐标与进行了仿射变换的坐标点之间的坐标空间的距离是否在阈值以内。这里，阈值被设定为考虑了仿射变换的误差的值。即，在步骤ST36中得到肯定结果（步骤ST36：是）意味着存在与进行了仿射变换的输入图像的特征点对应的登记图像的特征点，此时转至步骤ST37。另一方面，在步骤ST36中得到否定结果（步骤ST36：否）意味着即使考虑了仿射变换的误差，也不存在与进行了仿射变换的输入图像的特征点对应的登记图像的特征点，此时转至步骤ST39。

在步骤ST37中，计算进行了仿射变换的输入图像的特征点与对应于该特征点的参考图像的特征点之间的特征量间的距离。接着，在步骤ST38中，将特征点的坐标和特征量间的距离追加到对应点列表中。

另一方面，在步骤ST39中，将特征点的坐标和足够大的值的特征量距离追加到对应点列表中。其中，所谓足够大的值的特征量距离，是指能够由后面的变化区域判定单元22判定为变化区域的值。顺带而言，特征量距离越大，相似度越低。

在接着的步骤ST40中，判断是否完成对输入图像的全部特征点的处理，在完成的情况下（步骤ST40：是），进入步骤ST41。另一方面，在未完成的情况下（步骤ST40：否），返回到步骤ST31，对下一个特征点反复执行相同的处理。

这里，步骤ST31至ST40的处理相当于用于检测物品的遗弃这样的、登记图像中不存在但拍摄图像中存在的物品（即变化区域）的处理。具体而言，对这种变化区域，在步骤ST39中，设定能够由后面的变化区域判定单元22判定为变化区域的值的、大的值的特征量距离。

与此相对，以下说明的步骤ST41至ST50的处理相当于用于检测物品的拿走这样的、登记图像中存在但拍摄图像中不存在的物品（即变化区域）的处理。

相似度计算单元21在步骤ST41中，从参考图像中选择一个特征点。在接着的步骤ST42中，判断在对应点列表中是否不存在步骤ST41中选择的特征点。相似度计算单元21判断为在对应点列表中不存在特征点时（步骤ST42：是），转至步骤ST43。另一方面，相似度计算单元21判断为在对应点列表中存在特征点时（步骤ST42：否），转至步骤ST50。

在步骤ST43中，计算对特征点进行了仿射变换的坐标点。在接着的步骤ST44中，判断在输入图像内是否存在进行了仿射变换的坐标点。相似度计算单元21判断为在输入图像内存在进行了仿射变换的坐标点时（步骤ST44：是），转至步骤ST45。另一方面，相似度计算单元21判断为在输入图像内不存在进行了仿射变换的坐标点时（步骤ST44：否），转至步骤ST50。

在步骤ST45中，搜索与进行了仿射变换的坐标点距离最近的、输入图像的特征点。在接着的步骤ST46中，判断步骤ST45中搜索的输入图像的特征点的坐标与进行了仿射变换的坐标点之间的坐标空间的距离是否在阈值以内。这里，阈值被设定为考虑了仿射变换的误差的值。即，在步骤ST46中得到肯定结果（步骤ST46：是）意味着存在与进行了仿射变换的参考图像的特征点对应的输入图像的特征点，此时转至步骤ST47。另一方面，在步骤ST46中得到否定结果（步骤ST46：否）意味着即使考虑了仿射变换的误差，也不存在与进行了仿射变换的参考图像的特征点对应的输入图像的特征点，此时转至步骤ST49。

在步骤ST47中，计算进行了仿射变换的参考图像的特征点与对应于该特征点的输入图像的特征点之间的特征量间的距离。接着，在步骤ST48中，将特征点的坐标和特征量间的距离追加到对应点列表中。

另一方面，在步骤ST49中，以进行了仿射变换的坐标点为特征点坐标，将特征点的坐标和足够大的值的特征量距离追加到对应点列表中。其中，所谓足够大的值的特征量距离，是指能够由后面的变化区域判定单元22判定为变化区域的值。

在接着的步骤ST50中，判断是否完成对参考图像的全部特征点的处理，在未完成的情况下（步骤ST50：否），返回到步骤ST41，对下一个特征点反复执行相同的处理。

以上述方式，相似度计算单元21建立对应点列表。在输入图像与参考图像之间存在对应的特征点的情况下，对于该对应点列表写入比较小的值的特征量间距离。相反，在输入图像与参考图像之间不存在对应的特征点的情况下，对于对应点列表写入足够大的值的特征量间距离。特征量间距离越小，则相似度越大。

变化区域判定单元22基于由相似度计算单元21建立的对应点列表，将特征量间距离大（＝相似度低）的特征点集中的局部区域判定为变化区域。具体而言，变化区域判定单元22将输入图像分割为格子状，对于由相似度计算单元21计算出的特征量间距离为阈值以上的特征点，对该特征点所处的格子区域进行投票。相似度计算单元21对全部特征点反复执行该投票处理，将得票数为阈值以上的格子区域判定为变化区域。

此外，这里，描述了通过将输入图像分割为格子状，并对格子区域进行投票，从而判定了变化区域的情况，但并不限定于此，例如，也可以通过检测特征量间距离为阈值以上的特征点密集的区域，检测变化区域。

图7中示出本实施方式的变化区域检测装置10的变化区域检测处理的示意图。

图7A-1表示输入图像（拍摄图像），图7B-1表示参考图像。图7A-2表示输入图像中的特征点，图7B-2表示参考图像中的特征点。图7B-3是表示参考图像中存在特征量间距离大的特征点的情况（即，参考图像中存在了输入图像中不存在的特征点的情况）的图。在此情况下，由变化区域判定单元22判定为图7A-3的粗框所示的区域为变化（异常）区域。即，在图示的例子中，文件被拿走。

如以上所说明，根据本实施方式，设置：对应点搜索用特征点选择单元13，从输入图像（拍摄图像）的特征点中选择用于确定参考图像的特征点；几何变换参数计算用特征点选择单元18，从输入图像的特征点和参考图像的特征点中选择用于计算几何变换参数的特征点；以及相似度计算用特征点选择单元20，从输入图像的特征点和参考图像的特征点中选择用于求出拍摄图像与参考图像的相似度的特征点，通过各特征点选择单元13、18和20，独立地进行适于确定参考图像的特征点选择、适于计算几何变换参数的特征点选择、以及适于计算相似度的特征点选择。由此，无需进行无谓的计算，能够求出准确的参考图像、准确的几何变换参数、以及准确的相似度。其结果是，能够以较少的计算量，高精度地求出变化区域。

在2010年7月30日提交的日本专利申请特愿第2010-172379号所包含的说明书、附图以及说明书摘要的公开内容，全部被引用于本申请。

工业实用性

本发明的变化区域检测装置以及方法适合适用于例如使用可佩带照相机的监视系统。

权利要求书(按照条约第19条的修改)

1.(修改后)变化区域检测装置，包括：

第一特征点选择单元，从拍摄图像的特征点和参考图像的特征点中，选择用于计算几何变换参数的特征点；

几何变换参数计算单元，使用由所述第一特征点选择单元选择的特征点，计算几何变换参数；

第二特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像的相似度的特征点；以及

相似度计算单元，使用由所述几何变换参数计算单元计算出的几何变换参数，对由所述第二特征点选择单元选择的特征点进行几何变换，计算几何变换后的、所述拍摄图像的特征点与所述参考图像的特征点的相似度。

2.(修改后)如权利要求1所述的变化区域检测装置，包括：

特征点检测单元，检测所述拍摄图像的特征点；

登记图像数据库，存储多个登记图像；

第三特征点选择单元，从所述拍摄图像的特征点中，选择用于确定参考图像的特征点；

参考图像判定单元，使用由所述第三特征点选择单元选择的特征点和所述登记图像数据库中存储的各登记图像的特征点，进行所述拍摄图像与各登记图像之间的匹配判定，从而将所述多个登记图像中与所述拍摄图像匹配程度最高的图像确定为所述参考图像；以及

变化区域判定单元，基于由所述相似度计算单元获取的相似度，判定变化区域。

3.(修改后)如权利要求2所述的变化区域检测装置，

由所述第三特征点选择单元选择的特征点比由所述第二特征点选择单元选择的特征点稀疏。

4.(修改后)如权利要求1或2所述的变化区域检测装置，

所述第一特征点选择单元选择所述拍摄图像的特征点与所述参考图像的特征点之间的相似度为规定值以上的特征点。

5.(修改后)如权利要求1所述的变化区域检测装置，

所述第一特征点选择单元选择所述拍摄图像的特征点与所述参考图像的特征点之间的坐标空间上的距离为规定值以上的特征点。

6.(修改后)如权利要求1或2所述的变化区域检测装置，

所述第一特征点选择单元选择所述拍摄图像的特征点与所述参考图像的特征点之间的相似度小于规定值的特征点。

7.(修改后)如权利要求1所述的变化区域检测装置，所述第一特征点选择单元选择所述拍摄图像的特征点与所述参考图像的特征点之间的坐标空间上的距离为规定值以上的特征点。

8.(追加)变化区域检测装置，包括：

第一特征点选择单元，从所述拍摄图像的特征点中，选择用于确定所述参考图像的特征点；

第二特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；以及

第三特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点。

9.(追加)变化区域检测方法，计算拍摄图像与参考图像之间的相似度，基于该相似度检测所述拍摄图像中的变化区域，包括：

第一特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；

几何变换参数计算步骤，使用由所述第一特征点选择单元选择的特征点，计算几何变换参数；

第二特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点；以及

相似度计算步骤，使用通过所述几何变换参数计算步骤计算出的几何变换参数，对通过所述第二特征点选择步骤选择的特征点进行几何变换，计算几何变换后的、所述拍摄图像的特征点与所述参考图像的特征点之间的相似度。

10.(追加)变化区域检测方法，计算拍摄图像与参考图像的相似度，基于该相似度检测所述拍摄图像中的变化区域，包括：

第一特征点选择步骤，从所述拍摄图像的特征点中，选择用于确定所述参考图像的特征点；

第二特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；以及

第三特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点。

Claims (7)

1.变化区域检测装置，包括：

特征点检测单元，检测拍摄图像的特征点；

登记图像数据库，存储多个登记图像；

第一特征点选择单元，从所述拍摄图像的特征点中，选择用于确定参考图像的特征点；

参考图像判定单元，使用由所述第一特征点选择单元选择的特征点和所述登记图像数据库中存储的各登记图像的特征点，进行所述拍摄图像与各登记图像之间的匹配判定，从而将所述多个登记图像中与所述拍摄图像匹配程度最高的图像确定为参考图像；

第二特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；

几何变换参数计算单元，使用由所述第二特征点选择单元选择的特征点，计算几何变换参数；

第三特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点；

相似度计算单元，使用由所述几何变换参数计算单元计算出的几何变换参数，对由所述第三特征点选择单元选择的特征点进行几何变换，计算几何变换后的、所述拍摄图像的特征点与所述参考图像的特征点的相似度；以及

变化区域判定单元，基于由所述相似度计算单元获取的相似度，判定变化区域。

2.如权利要求1所述的变化区域检测装置，

由所述第一特征点选择单元选择的特征点比由所述第三特征点选择单元选择的特征点稀疏。

3.如权利要求1所述的变化区域检测装置，

所述第二特征点选择单元选择所述拍摄图像的特征点与所述参考图像的特征点之间的相似度为规定值以上的特征点。

4.如权利要求1所述的变化区域检测装置，

所述第二特征点选择单元选择所述拍摄图像的特征点与所述参考图像的特征点之间的坐标空间上的距离为规定值以上的特征点。

5.如权利要求1所述的变化区域检测装置，

所述第三特征点选择单元选择所述拍摄图像的特征点与所述参考图像的特征点之间的相似度小于规定值的特征点。

6.如权利要求1所述的变化区域检测装置，

所述第三特征点选择单元选择所述拍摄图像的特征点与所述参考图像的特征点之间的坐标空间上的距离为规定值以上的特征点。

7.变化区域检测方法，计算拍摄图像与参考图像之间的相似度，基于该相似度检测所述拍摄图像中的变化区域，包括：

第一特征点选择步骤，从所述拍摄图像的特征点中，选择用于确定所述参考图像的特征点；

第二特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；以及

第三特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点。

Images