CN102473312B - 标记生成装置、标记生成检测系统、标记生成检测装置及标记生成方法 - Google Patents

Abstract

本发明提供一种标记生成装置、标记生成检测系统、标记生成检测装置、标记、标记生成方法及其程序。该标记生成装置具有：测量单元，其根据背景图像来测量该图像中的物体的姿态变化；不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点；特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；和标记生成单元，其使用所述特殊特征来生成标记。

Description

标记生成装置、标记生成检测系统、标记生成检测装置及标记生成方法

技术领域

本发明涉及生成标记的标记生成装置、具有标记生成功能的标记生成检测系统、标记生成检测装置、该标记、生成该标记的标记生成方法以及标记生成程序。 

背景技术

作为用于识别在某空间中是否存在所希望的物体的技术，一般公知的标记检测方法为：预先对成为对象的物体赋予规定形状的标记，并根据该空间的背景影像中有无标记来判别对象物体是否存在。 

例如，在专利文献1中，公开有以下技术：从不含标记的背景影像中提取特征点，并生成根据该提取出的特征点导出的由在背景影像中未出现的图像特征构成的标记。 

具体而言，在准备阶段，对对象物体预先赋予与由这样的方法生成的标记相同的图案，在检测阶段，当从规定的空间影像中检测出该图案时，能够判别为对象物体在该空间中存在。 

然而，在检测阶段中，拍摄该空间的照相机的方向随着其它环境的变化，有时赋予物体的标记的图案会发生变化。 

因此，产生了赋予物体的标记的图案与应检测的标记的图案不一致而不能恰当地检测出标记的问题。 

因此，在专利文献2中，公开有以下技术：在准备阶段中，按照每个物体预先存储了物体固有的物体识别信息代码(与所述标记对应)和所对应的第一几何学不变量，在检测阶段中，从多个视点获取赋予了物体识别信息代码的物体的图像，并从由这些图像中所产生的独立的多个图像中提取特征点位置来求出第二几何学不变量，通过检测出与该第二几何学不变量最接近的第一几何学不变量，来检测所对应的物体。 

也就是说，根据这样的技术，通过根据不依赖于多个视点的不变量进行物体识别信息的对比，能够识别从某方向获取到的物体识别信息与从其它方向获取到的识别信息的同一性。 

因此，即使歪斜地获取到影像，也能够正确地检测对象物体，因此上述问题能够解决。 

(现有技术文献) 

(专利文献) 

专利文献1：国际公开第2008/090908号发行册 

专利文献2：JP特开2003-223639号公报 

(发明概要) 

(发明所要解决的技术问题) 

然而，在上述任一种技术中，对于在标记中可能发生的各种姿态变化并未对应。例如，有时根据对象物体的形状或其环境，标记会平行移动、旋转、放大/缩小，或者进行旋转。 

此外，由于进行影像输入的照相机等的拍摄元件(特别是，依次读出动态图像的CMOS元件等)，有时会发生剪切变形等光学变形。 

而且，有时由于拍摄对象与照相机等的相对位置关系，也会产生上述所有的姿态变化。 

因此，当这样各种姿态变化发生时，在上述相关的技术中，无法正确地检测出标记，其结果是，缺少检测物体的稳定性或可靠性而成为问题。 

发明内容

本发明的目的在于，鉴于上述情况，提供一种总括地防止可能产生各种姿态变化的标记的检测遗漏、并且通过生成适合于姿态变化的种类的标记来抑制标记生成·检测时的负荷并实现正确的物体检测的标记生成装置、标记生成检测系统、标记生成检测装置、标记、标记生成方法以及标记生成程序。 

本发明的标记生成装置，具有：测量单元，其根据背景图像来测量该图像中的物体的姿态变化；不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出 的特征点；特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；和标记生成单元，其使用所述特殊特征来生成标记。 

本发明的标记生成检测系统，具有：标记生成装置和标记检测装置，所述标记生成装置，具有：测量单元，其根据背景图像来测量该图像中的物体的姿态变化；不变特征变换单元，其通过与所述姿态变化对应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点；特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；和标记生成单元，其使用所述特殊特征来生成标记。所述标记检测装置，具有：标记存储单元，其存储所生成的所述标记，和对照单元，其判断：在所述不变量特征空间中示出从用于检测所述标记的背景图像中提取出的特征点的不变量特征群的配置中，是否存在所述标记的特殊特征的配置。 

本发明的标记生成检测装置，具有：测量单元，其根据背景图像来测量该图像中的物体的姿态变化；不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点；特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；和标记生成单元，其使用所述特殊特征来生成标记；标记存储单元，其存储所生成的所述标记，和对照单元，其判断：在所述不变量特征空间中示出从用于检测所述标记的背景图像中提取出的特征点的不变量特征群的配置中，是否存在所述标记的特殊特征的配置。 

本发明的标记，其通过与从该图像测量的姿态变化相应的规定的变换处理，在不变量特征空间中示出背景图像的特征点，且该标记是使用在该不变量特征空间中未示出所述特征点的部分来生成的。 

本发明的标记生成方法，具有：测量工序，根据背景图像来测量该图像中的物体的姿态变化；通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点的工序；在所述不变量特征控制中，将未示出所述特征点的部分选择为特殊特征的工序，和使用所述特殊特征来生成标记的工序。 

本发明的标记生成程序，使信息处理装置作为以下单元来发挥功能：根据背景图像来测量该图像中的物体的姿态变化的单元；通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点的单元；在所述不变量特征空间中，将未示出所述特征点的部分选择为特殊特征的单元；以及使用所述特殊特征来生成标记的单元。 

根据本发明的标记生成装置、标记生成检测系统、标记生成检测装置、标记、标记生成方法以及标记生成程序，能够抑制标记生成·检测时的负荷，能够检测出正确的物体。 

附图说明

图1是表示本发明的第一实施方式中的标记生成装置的结构的方框图。 

图2是表示本发明的第一实施方式中的标记生成装置的详细结构的方框图。 

图3是表示由多个帧图像构成的背景影像的图。 

图4是表示配置了多个特征点的特征空间的图。 

图5是表示对被配置在特征空间中的特征点赋予号码的情形的图。 

图6是表示特征点信息表的结构的图表。 

图7是表示以特征点5号为基，在不变量特征空间中映现各特征点的情形的图。 

图8是表示以特征点15号为基、在不变量特征空间中映现各特征点的情形的图。 

图9是表示基数为1时在不变量特征空间中映现所有特征点的情形的图。 

图10是表示将特征点6号作为第一基，将特征点2号作为第二基，在不变量特征空间中映现各特征点的情形的图。 

图11是表示将特征点33号作为第一基，将特征点34号作为第二基，在不变量特征空间中映现各特征点的情形的图。 

图12是表示将特征点5号作为第一基，将特征点4号作为第二基， 将特征点14号作为第三基，在不变量特征空间中映现各特征点的情形的图。 

图13是表示将特征点47号作为第一基，将特征点49号作为第二基，将特征点7号作为第三基，在不变量特征空间中映现各特征点的情形的图。 

图14是表示在不变量特征空间中赋予了区划线时的图。 

图15表示对不变特征数为1以上的区划进行了全面填涂的不变量特征空间的图。 

图16是表示在不变量特征空间中映现的标记图案生成范围的图。 

图17是表示标记生成范围中的按每个区划的特征点的个数的图。 

图18是表示特殊特征配置图的结构的图。 

图19是表示特殊特征配置图的其它结构的图。 

图20是表示标记的生成例的图。 

图21是表示基数设定表的图。 

图22是表示本发明的第一实施方式中的标记生成装置的工作步骤(标记生成方法)的流程图。 

图23是表示本发明的第二实施方式中的标记生成装置的结构的方框图。 

图24是表示本发明的第二实施方式中的标记生成装置的详细的结构的方框图。 

图25是用于说明根据帧图像中所包含的特征点来检测自由度的方法的说明图。 

图26是用于进行与仿射变换相关的说明的图。 

图27是表示本发明的第二实施方式中的标记生成装置的工作步骤(标记生成方法)的流程图。 

图28是表示本发明的第三实施方式中的标记生成装置的详细的结构的方框图。 

图29是表示本发明的第三实施方式中的标记生成装置的工作步骤(标记生成方法)的流程图。 

图30是表示标记检测装置的结构的方框图。 

图31是表示标记检测装置的详细结构的方框图。 

图32是表示检测对象的示例的图。 

图33是表示从检测对象影像中所提取的特征点的示例的图。 

图34是用于说明由不变特征所进行的标记检测的说明图。 

图35是表示标记检测方法的步骤的流程图。 

图36是表示标记生成检测装置的结构的方框图。 

图37是表示标记生成检测装置的详细的结构的方框图。、 

图38是表示标记生成检测系统的结构的方框图。 

具体实施方式

以下，针对本发明的标记生成装置、标记生成系统、标记生成检测装置、标记、标记生成方法以及标记生成程序的优选实施方式，参照附图来进行说明。 

[标记生成装置以及标记生成方法的第一实施方式] 

首先，针对本发明的标记生成装置以及标记生成方法的第一实施方式，参照图1来进行说明。该图1是表示本实施方式的标记生成装置的结构的方框图。 

如图1所示，标记生成装置1a具有：影像输入单元10；特征提取单元20；不变特征变换单元30；特殊特征选择单元40；标记生成单元50；和自由度测量单元60a(测量单元)。 

影像输入单元10，如图2所示，具有影像输入部11和影像存储部12。 

影像输入部11对在实际使用本实施方式中所生成的标记之处的背景图像进行输入。例如，当有对带有标记的物体进行输送的带式输送机时，相当于对未输送该物体的状态的带式输送机及其周边进行了拍摄的影像等。 

该背景图像可以是动态图像(影像)，或者也可以是以规定的时间间隔所拍摄的多张静止图像。而且，在背景图像中，能够包括直播影像、录像影像、发送影像等。 

此外，影像输入部11，自身能够具有摄像设备。此时，影像输入部11能够将设置有该标记生成装置1a之处的周围的情形处理为背景图像。 

而且，影像输入部11，能够经由通信网络或通信线缆等来输入由该标记生成装置1a以外的装置所获取的背景图像。

图3(i-11)～(i-15)表示通过该影像输入部11所输入的背景图像的示例。 

影像存储部12，将背景图像存储为被数字化的帧图像。被数字化的帧图像，例如，是指构成图3(i-11)～(i-15)所示的背景的影像的一张一张静止图像帧。 

此外，影像存储部12对分别赋予多个帧图像的号码(例如，连续号码)进行存储。该号码唯一地确定一张帧图像。在图3中，相当于(i-11)、(i-12)、(i-13)、...。 

而且，影像存储部12能够存储对拍摄到帧图像的时刻进行确定的信息。 

特征提取单元20，如图2所示，具有特征提取部21和特征存储部22。 

特征提取部21，从影像存储部12取出背景图像，即帧图像。然后，特征提取部21提取所取出的帧图像中的包含特征性图案的图像特征。 

作为图像特征，例如，能够使用将图形上的特征性特性进行了数值化后得到的特征。这个可以使用在1998年IEEE计算机影像·图案识别会议预稿集中所公开的方法。该方法能够提取图像中的物体形状的顶点、线状的物体的交叉点、端点等。并且，能够将这些点的图像上的位置坐标信息的系列作为图形上的特征。例如，若针对图3(i-11)的帧图像通过该方法来提取特征点，则如图4所示，要配置多个特征点。每一个特征点能够通过坐标进行管理。 

而且，将配置有特征点的空间称为特征空间。 

此外，作为其它方法，例如有由Montanari于1971年在Communications of ACM，14卷中所公开的“On the option detection of curves in noisy pictures”中所记载的方法。它能够使用存储距基准点的距离、相对概率的R表的内容作为特征。此时，通过针对所有的特征位置来设定基准点，预先网罗地提取特征，从而使检测标记耐抗部分特征的缺损。 

而且，作为其它的特征提取方法，例如，有将图像上的各像素的亮度 值或者色差值作为特征的方法。

接着，特征提取部21，如图5所示，对各个特征点赋予序列号码。该序列号码，例如，能够从位于最上的号码按顺序赋予1、2、3、4....。 

接着，特征提取部21求出各个特征点的坐标。坐标，如图5所示，能够在特征空间中设定X轴和Y轴，并将距Y轴的距离设为X坐标，将距X轴的距离作为Y坐标。 

然后，特征提取部21将这些特征点的序列号码或坐标存储在特征存储部22中。 

特征存储部22，如图6所示，能够将这些序列号码或坐标等存储为“特征点信息表”。 

“特征点信息表”，如该图所示，能够构成为以下项目：“帧图像的序列号码”(A)、“特征点的序列号码”(B)、“特征点的x坐标”(C)、“特征点的y坐标”(D)、和“与特征点相关的信息”(E)。 

“帧图像的序列号码”是表示赋予提取了特征点的帧图像的号码。 

“与特征点相关的信息”，例如能够包括：作为特征被识别的要素(边缘、交叉处等)；特征点所位于的像素的色调、明亮度、彩度等。 

不变特征变换单元30，如图2所示，具有不变特征变换部31和不变特征存储部32。 

不变特征变换部31，从特征存储部22取出特征点的坐标，而通过规定的变换处理在不变量特征空间中映现那些特征点。

具体而言，从特征空间上的特征点中选择基准点，以使该基准点来到不变量特征空间的基准坐标之处的方式进行配置，且针对其它所有特征点，也以相同的变换规则在不变量特征空间进行配置。以下，将该基准点称为“基”。 

该基是根据背景影像中的物体(object)的姿态变化的种类来确定其个数的。将该个数称为“基数”。 

在本实施方式中，将姿态变化的种类称为“自由度”，由后述的基数设定部62来决定与该自由度对应的1～3的基数。 

此外，不变特征变换部31根据基数来变换特征点的不变量特征空间的映现方法。 

因此，针对根据基的特征点的映现方法来进行每个基数的说明。 

而且，从某帧图像提取的特征点，如图4所示，被配置在特征空间，并将这些特征点作为在不变量特征空间中进行映现的特征点。 

(基数1时的映现) 

在根据基数1的基进行映现时，不变特征变换部31将一个特征点确定为基，以使该基来到不变量空间上的一个基准坐标之处的方式进行移动，且针对其它所有的特征点，也以该移动量在不变量特征空间进行移动。 

例如，如图7所示，将序列号码5号的特征点作为基，以使该5号特征点到不变量特征空间的坐标(0，0)处的方式平行移动所有的特征点。由此，在不变量特征空间，要如该图右侧那样来配置特征点。将配置于该不变量特征空间的特征点称为“不变特征”。 

此外，如图8所示，若将序列号码15号的特征点作为基，且以使该15号特征点来到不变量特征空间的坐标(0，0)之处的方式平行移动所有特征点，则要如该图右侧的不变量特征空间那样来配置不变特征群。 

如此，每当依次将各特征点确定为基，就进行将一个特征点确定为基、且伴随向不变量特征空间的原点移动该基而使所有特征点平行移动的处理，使这些移动后的特征点重叠，由此在不变量特征空间中映现特征点。 

通过上述方法在不变量特征空间中映现图4所示的特征点的结果如图9所示。这是当基数为1时在不变量特征空间中配置了不变特征的状态。 

(基数2时的映现) 

在根据基数2的基进行映现时，不变特征变换部31将两个特征点确定为基，以使各个基来到不变量空间上所对应的两个基准坐标之处的方式进行移动，且伴随于此，使所有的特征点一边维持相对的位置关系一边在不变量特征空间中进行移动。然后，针对由可从所有特征点中选择的两点的组合所构成的各基进行该移动。 

例如，如图10所示，当将序列号码6号的特征点作为第一基，将序列号码2号的特征点作为第二基时，伴随使第一基向不变量特征空间的坐标O(0，0)进行移动，使第二基向坐标A(1，0)进行移动，按照相同变换规则使其它所有的特征点进行移动。 

其结果是，在不变量特征空间中，如图右侧所示，配置了特征点。 

此外，如图11所示，当将序列号码33号的特征点作为第一基，将序列号码34号的特征点作为第二基时，伴随使第一基向不变量特征空间的坐标O(0，0)进行移动，使第二基向坐标A(1，0)进行移动，按照相同变换规则使其它所有的特征点进行移动。 

其结果是，在不变量特征空间中，如图右侧所示，配置了特征点。 

如此，每当依次将各特征点的组合确定为基，就进行将两个特征点确定为基，且伴随向不变量特征空间的两个基准点移动这些基而使所有特征点平行移动或旋转或放大/缩小的处理，以使这些移动后的特征点重叠，由此，在不变量特征空间中映现特征点。 

(基数3时的映现) 

在根据基数3的基进行映现时，不变特征变换部31将三个特征点确定为基，以使各个基来到不变量空间上所对应的三个基准坐标之处的方式进行移动，且伴随于此，使所有的特征点一边维持相对的位置关系一边在不变量特征空间中进行移动。然后，针对由可从所有特征点中选择的三点的组合所构成的各基进行该移动。 

例如，如图12所示，当将序列号码5号的特征点作为第一基，将序列号码4号的特征点作为第二基，将序列号码14号的特征点作为第三基时，伴随使第一基向不变量特征空间的坐标O(0，0)进行移动，使第二基向坐标A(1，0)进行移动，使第三基向坐标B(0，1)进行移动，按照相同变换规则使其它所有的特征点移动。 

其结果是，在不变量特征空间中，如图右侧所示，配置了特征点。 

此外，如图13所示，当将序列号码7号的特征点作为第一基，将序列号码49号的特征点作为第二基，将序列号码7号的特征点作为第三基时，伴随使第一基向不变量特征空间的坐标O(0，0)进行移动，使第二基向坐标A(1，0)进行移动，使第三基向坐标B(0，1)进行移动，按照相同变换规则使其它所有的特征点进行移动。 

其结果是，在不变量特征空间中，如图右侧所示，配置了特征点。 

如此，每当依次将各特征点的组合确定为基，就进行将三个特征点确定为基，且伴随向不变量特征空间的三个基准点移动这些基而使所有特征点平行移动或旋转或放大/缩小或剪切变形的处理，以使这些移动后的特 征点重叠，由此，在不变量特征空间中映现特征点。 

而且，所谓“剪切变形”是指虽不保持直行性但保持平行性的变形，例如，使正方形成为如平行四边形的变形。 

接着，不变特征变换部31，如图14所示，以格子状的网眼将不变量特征空间划分为多个区划。然后，不变特征变换部31按照各个区划求出不变特征的个数。 

而且，为了易于理解地说明，图15表示对不变特征数为1以上的区划进行填涂后得到的不变量特征空间。 

不变特征存储部32保持了规定的存储器区域。该不变特征存储部32存储由不变特征变换部31求出的各种数据。在各种数据中，例如，包含被配置在不变量特征空间中的各不变特征的坐标、各区划的坐标(范围)、和按各个区划的不变特征数等。 

特殊特征选择单元40，如图2所示，具有特殊特征选择部41和特殊特征存储部42。 

特殊特征选择部41，如图16所示，在不变量特征空间中，将进行标记图案的生成的范围决定为标记图案生成范围。该标记图案生成范围，能够设定为与静止图像帧的大小相同的大小。接着，特殊特征选择部41从不变特征存储部32中取出该标记图案生成范围的按各个区划的不变特征数。 

接着，特殊特征选择部41在所取出的不变特征数之中，选择与0或规定值以下对应的区划作为特殊特征。在本实施方式中，在图17的标记图案生成范围所示的不变特征数分布中，设为选择记载有“0”的区划。由此，特殊特征选择部41能够选择由影像输入单元10所输入的背景影像中未出现的图像特征作为特殊特征。 

如此，特殊特征选择部41能够从与背景图案不一致的特征，即从以背景影像提取的特征群未出现的特征空间的部位为基础的不变特征，选择特殊特征。 

该特殊特征的选择，由于能够视为等同于从不变量特殊空间的不变特征的分布中发现大的空白的问题，所以例如，可以使用2003年文书解析识别国际会议预稿集中所公开的“An algorithm for Finding Maximal  Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis”等的算法，提取大的空白区域，也可以将不包含所得到的不变特征在内的矩形区域的中心作为特殊特征。 

作为其它的方法，可以用特定大小的网格(区划)对不变量特征空间进行量化，并生成一维或多维的直方图，将不变特征的发生频度为0的区划的中心作为特殊特征等。也可以当频度为0的区划不存在时，可以缩小区划宽度，来取直方图，当出现了频度为0的区划时，根据此时的区划来选择特殊特征。当未发现频度为0的网格时，可以通过既定值来对直方图进行阈值处理，并从规定值以下的网格中选择特殊特征。 

图18、图19表示特殊特征选择部41选择的特殊特征的其它示例。在图18所示的特殊特征配置图中，以白色表示被作为特殊特征的区划，以灰色网格表示未被作为特殊特征的区划。图19是根据图18所示的特殊特征配置图，以“●”表示出特殊特征的中心与特殊特征配置图的中心点的图。 

而且，在图17中，虽然特殊特征(特殊特征数为0的区划)被四个分散地配置，但为了易于说明标记图案的生成处理，特殊特征被设为根据图18、图19所示的配置来选择。 

特殊特征选择部41求出所选择的特殊特征的坐标。例如，特殊特征选择部41在图18所示的特殊特征配置图中，将特殊特征的坐标设为(2，6)、(5，2)、(5，4)、(5，5)、(7，6)。 

特殊特征存储部42存储由特殊特征选择部41所选择的特殊特征的坐标。 

标记生成单元50，如图2所示，具有标记图案生成部51。 

标记图案生成部51，从特殊特征存储部42取出特殊特征的坐标，并根据该特殊特征的坐标来生成标记图案。 

在标记图案的生成方法中，有各种方法。 

例如，以使用图像中的顶点、交叉点、端点作为特殊特征的情况为例进行说明。 

在根据所述的“On the option detection of curves in noisy pictures”中记载的方法等的情况下，生成标记图案时所需要的特殊特征群的检测，依 赖于由特征提取单元20所使用的特征点提取算法。 

例如，作为示例而列举如下述的标记图案的生成方法。 

(1)在特殊特征位置处配置有交叉点的图案(图20(1)) 

(2)求出特殊特征的凸包，以特定的颜色填涂内部。而且，使用在凸包中未使用的特殊特征来再次求出凸包，并且用其它颜色填涂内部。直至所有的特殊特征被使用为止，反复这样的处理而生成的图案(图20(2)) 

(3)在顶点处有特殊特征位置，且具有水平垂直的边缘，由填涂后的矩形的集合构成的图案(图20(3)) 

(4)以线段连结了特殊特征点的最相邻近点之间的图案(图20(4)) 

而且，特殊特征单元40在使用明亮度值或色差值来提取特征时，物体上带标记的装置，可以用与特殊特征对应的明亮度值、与色差值对应的涂料来印刷标记。 

此外，能够并用利用顶点、交叉点、端点作为图形的特征的方法和利用明亮度值或色差值作为特征的方法。此时，标记图案生成部51只要生成与对应于所选定的特殊特征的明亮度、颜色、形状对应的标记即可。 

而且，如上所述，在本实施方式中，虽然使用几何学的不变量来进行不变特征变换的方式，但也能够使用其它不变量的方式。 

例如，能够使用物体颜色不变量。 

物体的颜色，即使是同一物体，也会依赖于拍摄环境中存在的光源色，而以不同的颜色被拍摄。因此，能够通过从图像上分离并去除光源色变动的影响，得到实际的物体颜色。 

因此，能够使用如此得到的实际的物体颜色作为物体颜色不变量。 

此时，由于对于镜面反射之处而言，光源色的影响是支配性的，且亮度值在光源色成分中易于饱和，因此，也可以将它看作光源色，而不选择与饱和之处对应的颜色成分作为不变特征。 

其它，作为从图像中推定物体颜色的方法，可以使用基于Robby T.Tan and Katsushi Ikeuchi的IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，VOL.27，NO.2，FEBRUARY 2005，pp.178-193所记载的“Separating Reflection Components of Textured Surfaces Using a Single lmage”、或基于Graham D.Finlayson，Steven  D.Hordley，Cheng Lu，and Mark S.Drew的IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，VOL.28，NO.1，JANUARY 2006，pp.59-68所记载的“On the Removal of Shadows from Images”等。 

此外，能够使用纹理(texture)不变量。 

针对图像的部分区域的亮度分布实施数值运算，将所得到的数值或向量作为特征量。纹理不变量与图形量不变量相同，由于易于受到照相机与拍摄对象的相对位置关系的影响，因此，计算出难以受该影响的特征量，作为纹理不变量。例如，对于照相机与对象的距离或变焦镜头而言不变的特征量，将所关注的部分图像变换为极坐标，并能够通过在同径方向上取功率谱(power spectrum)来安装。而且，若针对上述功率谱在方位角方向上再次求出功率谱，则成为针对照相机的光轴周围的旋转而言不变的特征量。另外，也可以采用由Chi-Man Pun and Moon-Chuen Lee的IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，VOL.25，MAY 2003记载的“Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification”等的方法。 

而且，针对几何学的不变量，也可以使用如由Richard Hartley and Andrew Zisserman的“Multiple View Geometry in Computer Vision”等中所记载的那样的其它几何学的不变量。由多个照相机来观测同一场景时，通过该文献中记载的方法，虽然能够得到距离或深度方向的相对位置关系的信息，但此时，若将不位于同一平面上的四个点选择为基，且将不变量空间设为三维，则能够制成三维的几何学的不变量。此时，将从特征点群中选择出的作为基的四个点之中的一点作为不变量空间的原点，求出其它基的特征点与不变量空间中的位置坐标建立对应的变换映现，使用该变换映现在不变量空间中映现其它特征。 

而且，可以组合包括本实施方式中的几何学的不变量在内的上述各不变量之中的两种以上来使用。 

自由度测量单元60a(测量单元)，如图2所示，具有自由度检测部61和基数设定部62。 

自由度检测部61根据背景影像，求出包括该背景影像中所示出的物 体(包含标记)在内的图像环境中的姿态变化(自由度)。 

具体而言，能够从由影像输入单元10的影像存储部12进行标记检测之处的背景影像之中，取出时刻不同的二个以上的帧图像，并求出在该帧图像中出现的图案形状或线的姿态变化。 

基数设定部62，根据自由度检测部61检测出的自由度来决定基数。 

具体而言，根据图21所示的基数设定表，决定以下的基数。 

(a)在仅测量了平行移动的情况下→基数：1 

(b)在测量了放大、缩小或旋转的任一种以上的姿态变化或该姿态变化与平行移动的组合的姿态变化的情况下→基数：2 

(c)在测量了剪切变形或剪切变形与平行移动、放大、缩小、旋转的任一种以上的组合的姿态变化的情况下→基数：3 

然后，根据所决定的基数的基，通过不变特征变换处理以及特殊特征选择处理，由标记生成单元50生成标记。 

而且，一般而言，基数越多，虽然能够与标记的姿态变化相对应，但标记生成时的运算负荷越大。 

另一方面，基数越少，虽然标记生成所需的运算负荷被减轻，但难以与标记的姿态变化相对应。 

因此，根据本实施方式的标记生成装置1a，由于预先从使用标记的背景图像中测量其自由度，并通过与该自由度相应的基数来进行标记生成，因此，能够不会使标记超过所要地复杂化，并且，具有一定的可靠性来检测标记。 

接着，针对本实施方式的标记生成装置的动作(标记生成方法)，参照图22来进行说明。 

该图是表示本实施方式的标记生成方法的处理步骤的流程图。 

在标记生成装置1a中，影像输入单元10的影像输入部11，输入实际使用标记之处的背景图像(步骤101)。例如，在有输送带有标记的物体的带式输送机的情况下，输入对该带式输送机以及其周边进行拍摄的影像等。 

由此，如图3所示，输入时刻不同的2个以上的静止图像的帧图像。影像输入单元10的影像存储部12存储由影像输入部11所输入的影像的 帧图像。 

自由度测量单元60a的自由度检测部61，从影像存储部12取出各帧图像，并根据帧图像中所包含的特征性的图形、线、点等的几何学的变位，来检测出自由度，以作为表示姿态变化的种类的指标(步骤102)。例如，通过对时刻不同的相同的两个图像进行对比，检测出与在该图像中出现的物体相关的平行移动、放大、缩小、旋转、剪切变形等的姿态变化。 

接着，自由度测量单元60a的基数设定部62，根据所检测出的自由度来决定基数(步骤103)。 

另一方面，特征提取单元20的特征提取部21，从影像存储部12取出帧图像，并从该帧图像中提取特征点(步骤104)。 

此外，特征提取部21，求出所提取的特征点的坐标，并将该坐标存储在特征存储部22中。 

接着，不变特征变换单元30的不变特征变换部31，根据基数设定部62所决定的基数的基，在不变量特征空间中映现各特征点(步骤105)。 

接着，不变特征变换部31，在不变量空间中绘制网格进行区划(步骤106)。 

接着，不变特征变换部31按照各个区划来计算不变特征数(步骤107)。不变特征存储部32存储所计算出的按各个区划的不变特征数。 

接着，特殊特征选择单元40的特殊特征选择部41，从不变特征存储部32中取出按各个区划的不变特征数。 

接着，特殊特征选择部41，从按各个区划的不变特征数之中，选择为0者，并将该区划设为特殊特征(步骤108)。特殊特征存储部42，存储在特殊特征选择部41被作为特殊特征的区划的坐标。 

接着，标记生成单元50的标记图案生成部51，从特殊特征存储部42中取出特殊特征的坐标，并根据该特殊特征的坐标来生成标记图案(步骤109)。 

以上，如所说明的那样，根据本实施方式的标记生成装置以及标记生成方法，将在背景图像中不存在的图案生成为标记。 

因此，能够避免将在背景影像中存在的图案误认为标记、并且在出现了规定的标记时，可靠地检测出它。 

而且，在本实施方式中，虽然针对从不变特征数为0的区划中选择特殊特征的方法进行了说明，但不局限于该方法。例如，也可以从不变特征数为规定数以下的区划中选择特殊特征。 

此外，根据本实施方式的标记生成装置以及标记生成方法，求出使用标记之处的姿态变化(自由度)，并根据与该自由度相应的基数来生成标记。 

因此，能够生成与检测标记之处的背景图像或在该背景中出现的物体的姿态变化的种类相符合的精度的标记。即，对姿态变化的种类而言，能够与抑制了基数的简单的标记对应，能够在标记生成时或检测时，一边抑制所需的负荷，一边保持一定的检测精度。 

另一方面，通过生成增加了基数的标记，也能够与各种姿态变化对应，且能够实现可靠性、稳定性出色的标记检测。 

[标记生成装置以及标记生成方法的第二实施方式] 

接着，针对本发明的标记生成装置以及标记生成方法的第二实施方式，参照图23进行说明。 

图23是表示本实施方式的标记生成装置的结构的方框图。 

此外，图24是表示本实施方式的标记生成装置的详细结构的方框图。 

本实施方式与第一实施方式相比较，在自由度的测定方法中具有特征。 

具体而言，本实施方式的标记生成装置1b的自由度测量单元60b(测量单元)，根据成为背景图像的帧图像的特征点的位置信息来测量自由度。其它结构要素与第一实施方式相同。 

因此，在图23以及图24中，针对与图1以及图2相同的构成部分赋予相同的符号，省略其详细的说明。 

图24所示的自由度测量单元60b的自由度检测部61，根据背景影像，通过分析在该背景图像中映出的物体(包括标记)的特征点的坐标的变位，求出该物体或周边的姿态变化。 

在此，针对基于特征点的自由度计算方法的一个示例进行以下说明。 

图25是用于说明从图3所示的帧图像之中抽出(i-11)和(i-15)，并根据这些图像中所包含的特征点来计算自由度的方法的说明图。 

如该图所示，自由度检测部61从特征存储部22中取出(i-11)的帧图像的特征点和(i-15)的帧图像的特征点。 

具体而言，从在特征存储部22中存储的“特征点信息表”中取出(i-11)的序列号码42号、67号、73号的坐标(x1，y1)、(x2，y2)、(x3，y3)，和(i-15)所对应的坐标(u1，v1)、(u2，v2)、(u3，v3)。而且，各特征点的对应关系的建立，通过相关法或残差依次检定法等已知的方法来进行，省略其详细的说明。 

接着，将取出的各坐标代入图26(a)所示的仿射变换矩阵。 

由此，得到以下算式 

(1)u1＝a(x1)+b(y1)+c 

(2)u2＝a(x2)+b(y2)+c 

(3)u3＝a(x3)+b(y3)+c 

(4)v1＝d(x1)+e(y1)+f 

(5)v2＝d(x2)+e(y2)+f 

(6)v3＝d(x3)+e(y3)+f 

在此，能够通过求解基于(1)～(3)的算式的三维联立方程式，计算出a～c的仿射变换系数。此外，同样地，能够基于(4)～(6)的算式来计算出d～f的仿射变换系数。 

然后，能够通过将计算出的各仿射变换系数与图26(b)所示的仿射变换系数表的各参数对照，来检测出平行移动、旋转移动、放大/缩小或剪切变形的任一种或其组合作为自由度。 

而且，在上述示例中，虽然针对根据三个特征点来检测自由度、并求出基数的示例进行了说明，但特征点的个数越多，自由度的检测精度越高，能够判定合适的基数来进行设定。 

此外，在本实施方式中，虽然针对利用仿射变换的自由度的检测方法进行了说明，但并不特别局限于该方法。例如，也可以利用射影变换、相似变换等其它几何学的变换方法。 

接着，针对本实施方式的标记生成装置的动作(标记生成方法)，参照图27来进行说明。该图是表示本实施方式的标记生成方法的处理步骤的流程图。 

在标记生成装置1b中，影像输入单元10的影像输入部11，输入实际使用标记之处的背景图像(步骤201)。影像输入单元10的影像存储部12，存储由影像输入部11输入的背景图像(帧图像)。 

特征提取单元20的特征提取部21，从影像存储部12中取出各帧图像，并提取其特征点(步骤202)。然后，特征提取部21将提取出的各特征点的坐标存储在特征存储部22中。 

接着，自由度测量单元60b的自由度检测部61从特征存储部22中取出各帧图像的特征点的坐标。然后，自由度检测部61根据相互对应的特征点的坐标的变位来检测出自由度(步骤203)。 

接着，自由度测量单元60b的基数设定部62根据所检测出的自由度来决定基数(步骤204)。 

不变特征变换单元30的不变特征变换部31，从特征存储部22中取出帧图像的特征点的坐标，并根据基数设定部62所决定的基数的基，使各特征点在不变量特征空间中进行映现(步骤205)。 

接着，不变特征变换部31，在不变量空间中绘制网格来进行区划(步骤206)。 

接着，不变特征变换部31，按照各区划来计算出不变特征数(步骤207)。不变特征存储部32存储所计算出的各个区划的不变特征数。 

接着，特殊特征选择单元40的特殊特征选择部41，从不变特征存储部32中取出按各个区划的不变特征数。 

接着，特殊特征选择部41，从按各个区划的不变特征数之中，选择0或规定个数以下的特征数，并将该区划设为特殊特征(步骤208)。特殊特征存储部42，存储由特殊特征选择部41设为特殊特征的区划的坐标。 

接着，标记生成单元50的标记图案生成部51，从特殊特征存储部42取出特殊特征的坐标，并根据该特殊特征的坐标来生成标记图案(步骤209)。 

以上，如所说明那样，根据本实施方式的标记生成装置以及标记生成方法，能够从标记检测环境中的背景影像中提取特征点而在标记图案的形成中进行利用，并利用这些特征点来检测标记及检测环境的自由度。 

因此，不仅能够发挥与第一实施方式相同的作用/效果，还能够谋求 基于资源共享的作业的效率化或成本降低。 

[标记生成装置以及标记生成方法的第三实施方式] 

接着，针对本发明的标记生成装置以及标记生成方法的第三实施方式，参照图28来进行说明。图28是表示本实施方式的标记生成装置1c的详细的结构的方框图。 

本实施方式，其特征在于，根据实际使用标记的状况来判断是否更新标记，并在需要时更新标记。 

具体而言，本实施方式的标记生成装置1c，在实际使用标记之处求出自由度，并计算出与该自由度相应的合适的基数。 

然后，判断该计算出的基数是否与之前刚生成、且当前正在使用的标记的基数一致，在不一致时，根据该计算出的基数来生成新的标记，在一致时，进行不生成新标记的动作。 

因此，根据本实施方式，能够实时生成并维持与标记的使用环境相应的合适的标记。其它构成要素与第一实施方式相同。 

因此，在图28中，针对与图2相同的构成部分赋予相同的符号，省略其详细的说明。 

如图28所示，标记生成装置1c的标记生成单元50c，具有标记存储部52。 

标记存储部52，存储与由标记图案生成部51所生成的标记相关的数据。在本实施方式中，通过与基数设定部62的协作，存储与之前刚生成的标记相关的基数。即，预先存储当前使用中的标记的生成时的不变特征变换处理中所使用的基数。 

自由度测量单元60c(测量单元)，如图28所示，具有：自由度检测部61；基数设定部62；基数计算部63；和基数判定部64。 

自由度检测部61，从特征提取单元20的特征存储部22中取出任意的帧图像的特征点，并检测自由度。 

基数计算部63计算出与该检测出的自由度相应的基数。 

针对基数的计算，如在所述第一实施方式所说明那样，使用规定的基数设定表(参照图21)。 

基数判定部64判定根据自由度而计算出的基数与先前的标记生成时 所使用的基数是否一致，并根据该判定结果来决定基数。 

具体而言，将基数计算部63所计算出的基数(第一基准点个数)与存储在标记存储部52中的基数(第二基准点个数)进行比较，来判定是否一致。 

该判定的结果是，当判定为第一基准点个数与第二基准点个数不一致时，基数设定部62将第一基准点个数决定为生成标记时使用的基数。 

然后，不变特征变换单元30使用所决定的基数，在不变量特征空间中映现特征点，特殊特征选择单元40从被映现后的不变特征中选择特殊特征，标记生成单元50根据特殊特征来生成新的标记。 

即，此时，看作标记的使用环境发生了变化，并进行与该环境相应的新的标记的生成。 

而且，在此所决定的基数被存储在标记存储部52中。基数通过覆写来进行存储，由此总是能够将与之前刚生成的标记相关的基数用于上述判定。 

另一方面，当第一基准点个数与第二基准点个数一致时，不变特征变化单元30，直至判定为这些基准点个数一致为止，停止执行，在此之前不进行标记的生成。 

即，此时，看作标记的使用环境未发生变化，不进行生成用于标记更新的新的标记的处理。 

接着，针对本实施方式的标记生成装置的动作，参照图29来进行说明。 

该图是表示本实施方式的标记生成方法的处理步骤的流程图。 

首先，判断是否进行标记的生成或更新(步骤301)。实际上，通过未图示的定时器所设定的时刻或间隔、或者根据与规定操作相应的时刻进入生成标记或标记更新的程序。 

在进行标记生成时(S301：是)，影像输入单元10的影像输入部11，输入实际使用标记之处的背景图像(步骤302)。影像输入单元10的影像存储部12，将由影像输入部11所输入的背景图像存储为帧图像。 

特征提取单元20的特征提取部21，从影像存储部12中取出各帧图像，并提取其特征点(步骤303)。特征提取部21，将提取出的各特征点 的坐标存储在特征存储部22中。 

自由度检测单元60c是由自由度检测部61检测自由度，由基数算定部63计算出与该自由度相应的基数(步骤304)。 

在此，基数判定部64，对所计算出的基数(第一基准点个数)和存储在标记存储部52中的基数(第二基准点个数)进行比较(步骤305)。 

比较的结果，当第一基准点个数与第二基准点个数一致时(S305：一致)，返回步骤301。即，直至确认这些基数不一致为止，重复S301～S305的处理。 

另一方面，当第一基准点个数与第二基准点个数不一致时(S305：不一致)，基数设定部62，将第一基准点个数决定为标记生成中所使用的基的基数(S306)。所决定的基数被存储在标记存储部52中。 

不变特征变换单元30的不变特征变换部31，根据所决定的基数的基，在不变量特征空间中映现各特征点(步骤307)。 

接着，不变特征变换部31，在不变量特征空间绘制网格来进行区划(步骤308)。 

接着，不变特征变换部31，按照各个区划来求出不变特征数，计算出按每个区划的不变特征数(步骤309)。不变特征存储部32，存储按每个计算出的区划的不变特征数。 

特殊特征选择单元40的特殊特征选择部41，从不变特征存储部32中取出按每个区划的不变特征数。 

然后，特殊特征选择部41，从按每个区划的不变特征数之中，选择0或规定数以下者，并将该区划设为特殊特征(步骤310)。特殊特征存储部42，存储由特殊特征选择部41设为特殊特征的区划的坐标。 

标记生成单元50c的标记图案生成部51，从特殊特征存储部42中取出特殊特征的坐标，并根据该特殊特征的坐标来生成标记图案(步骤311)。 

而且，在标记生成后，返回步骤301，继续等待标记生成的机会。 

以上，如所说明的那样，根据本实施方式的标记生成装置以及标记生成方法，预先在标记存储部52中存储用于生成已经由标记生成单元50c生成、且实际正被使用的标记的基数。 

除此之外，自由度测量单元60c，根据包含该标记的背景图像来测量标记或标记周边的自由度。 

此外，自由度测量单元60c，判断根据自由度而计算出的基数(第一基准点个数)是否与用于生成前一个标记时所使用的基数(第二基准点个数)一致。 

然后，仅限于在这些基数不一致时，借助基于所计算出的基数的基的变换处理来生成新的标记。 

因此，通过本实施方式，不仅能够发挥与所述的实施方式相同的作用·结构，而且还节省了生成标记的浪费。即，在标记的使用环境中，仅在姿态变化中有变动时才生成新的标记，另一方面，能够在没有姿态变化的变动时，不进行生成标记的处理。 

因此，在一体化使用标记的生成和检测的方式中，能够谋求各个处理的省力化。 

[标记检测装置以及标记检测方法] 

(标记检测装置) 

接着，针对标记检测装置，参照图30、图31来进行说明。 

图30是表示标记检测装置的结构的方框图。 

此外，图31是表示标记检测装置的详细的结构的方框图。 

如图30所示，标记检测装置100具有：影像输入单元110；特征提取单元120；不变特征变换单元130；标记存储单元140；对照单元150和报知单元160。 

影像输入单元110，如图31所示，具有影像输入部111和影像存储部112。 

影像输入部111，输入实际使用标记之处的背景图像。 

例如，如图32所示，输入包含标记的背景图像。 

影像存储部112，将输入的背景图像存储为被数字化的帧图像。 

特征提取单元120，如图31所示，具有特征提取部121和特征存储部122。 

特征提取部121从影像存储部112中取出帧图像。 

然后，特征提取部121，提取所取出的帧图像中含特征性图案的图像 特征。例如，在帧图像为图32所示的图像时，特征提取部121从该帧图像中提取如图33所示的特征点。 

特征存储部122，存储由特征提取部121提取出的特征点的各坐标。 

不变特征变换单元130，如图31所示，具有不变特征变换部131和不变特征存储部132。 

不变特征变换部131，从特征存储部122取出特征点的坐标，并在不变量特征空间中映现该特征点。而且，不变特征变换部131，根据与要检测出的标记的生成时的基数相同数的基来进行所述映现处理。因此，不变特征变换部131，取出预先存储在标记存储单元150中的已有的标记生成时所使用的基数，根据与该取出的基数相同数的基来进行映现处理。 

此外，不变特征变换部131，通过格子状的网格将不变量特征空间划分为多个区划。 

不变特征存储部132，存储由不变特征变换部131求出的各种数据。在各种数据中，例如包含被配置在不变量特征空间中的各不变特征的坐标、各区划的坐标(范围)等。 

标记存储单元140，存储要检测的标记关联信息。

此外，标记存储单元140，存储该标记图案生成时所使用的基数。具体而言，作为在不变特征变换处理时所使用的基数，将1～3的任一个数值存储为标记关联信息。 

对照单元150，如图31所示，具有对照部151。 

对照部151，从不变特征存储部132中取出基于检测对象影像的不变特征群的各坐标，并且，从标记存储部142中取出标记图案，并将它们进行对照。 

然后，对照部151，判断是否从基于检测对象影像的不变特征群中检测与标记图案一致的不变特征。 

具体而言，对照部151，在标记设计时在频度为0的网格中基于检测对象影像的不变特征即使仅被投影了一次时，也作为来自标记图案的作用而确定检测，能够高速进行标记检测。例如，如图34(a)所示，在标记图案的规定坐标位置上即使仅在一处标绘了检测对象影像的不变特征时，也确定标记的检测。另一方面，如图34(b)所示，在标记图案的规定坐 标位置上没有一处标绘不变特征时，判断为不进行标记的检测。 

而且，为了避免由噪声或特征提取计算的误差引起的标记的误检测，可以将接受的投影的频度设定为一次以上的既定值。 

此外，对照部151根据对照的结果，对报知单元160进行报知信号的送出。具体而言，在从基于检测对象影像的不变特征群中检测出与标记图案一致的不变特征时，发送报知信号。 

报知单元160，若从对照部151接受到报知信号，则向外部报知在标记图案的特殊特征的规定位置标绘了不变特征，即，检测出标记。在该报知的方法中，例如有声音输出或画面显示等。 

(标记检测方法) 

接着，针对本实施方式的标记检测方法，参照图35来进行说明。 

标记存储单元140，预先存储与标记相关的数据(步骤401)。具体而言，存储由标记生成装置1a～1c生成的标记图案。此外，存储作为该标记图案生成的前处理而进行的不变特征变换中所使用的基数。 

在此，影像输入单元110的影像输入部111，输入实际使用标记之处的背景图像(包含标记)(步骤402)。 

影像存储部112，将输入的背景图像存储为被数字化的帧图像。 

接着，特征提取单元120的特征提取部121，从影像存储部112中取出帧图像。然后，特征提取部121从所取出的帧图像中提取特征点(步骤403)。特征存储部122存储由特征提取部121所提取的特征点的各坐标。 

接着，不变特征变换单元130的不变特征变换部131，从特征存储部122中取出特征点，并根据存储在标记存储单元140中的基数，将各特征点在不变量特征空间中进行映现(步骤404)。不变特征存储部132，存储在不变量特征空间中所映现的特征点(不变特征)的坐标。 

接着，对照单元150的对照部151，尝试从基于在不变量特征空间中所映现的检测对象影像的不变特征群中检测与标记图案一致的不变特征(步骤405)。 

该对照的结果是，在从基于在不变量特征空间中所映现的检测对象影像的不变特征群中检测出与标记图案一致的不变特征时(S405，是)，报知单元160向外部报知检测出标记(步骤406)。 

之后，判断是否结束(步骤407)，在未结束时，重复步骤401～步骤407的处理。 

如以上所说明，根据本实施方式的标记检测装置以及标记检测方法，能够使用由标记生成装置所生成的标记图案来可靠地检测出在检测对象影像中映出的标记。 

[标记生成检测装置以及标记生成检测系统] 

(标记生成检测装置) 

接着，针对标记生成检测装置，参照图36来进行说明。 

图36是表示标记生成检测装置的结构的方框图。 

如图36所示，标记生成检测装置1000具有标记生成装置1和标记检测装置100。 

在此，标记生成装置1，能够使用所述第一实施方式至第三实施方式的任一种标记生成装置。 

此外，标记检测装置100能够使用上述图30所示的标记检测装置100。 

如此，标记生成装置1000，能够构成为将标记生成装置1和标记检测装置100一体化。 

此外，标记生成装置1和标记检测装置100，由于具有能够共享化的功能，因此能够设为如图37所示的结构。 

例如，标记生成检测装置1000具有：影像输入单元10；特征提取单元20；不变特征变换单元30；特殊特征选择单元40；标记生成单元50；自由度测量单元60；对照单元150；和报知单元160。 

它们之中，影像输入单元10、特征提取单元20、不变特征变换单元30、特殊特征选择单元40、标记生成单元50和自由度测量单元60，具有作为标记生成装置的功能。 

另一方面，影像输入单元10、特征提取单元20、不变特征变换单元30、标记存储部52、对照单元150和报知单元160，具有作为标记检测装置的功能。 

然后，影像输入单元10、特征提取单元20、不变特征变换单元30和标记存储部52是在标记生成装置与标记检测装置中公共的部分。 

标记生成装置中的标记生成方法，与所述第一实施方式～第三实施方 式中的标记生成方法相同。 

此外，标记检测装置中的标记检测方法，与所述实施方式中的标记检测方法相同。 

(标记生成检测系统) 

接着，针对本实施方式的标记生成检测系统，参照图38进行说明。如该图所示，标记生成检测系统2000具有标记生成装置1和标记检测装置100。这些标记生成装置1和标记检测装置100能够用通信网络或通信线缆300等进行连接。 

标记生成装置1具有：影像输入单元10；特征提取单元20；不变特征变换单元30；特殊特征选择单元40；标记生成单元50；自由度测量单元60；和通信单元70。 

通信单元70取出与存储在标记生成单元50中的标记相关的数据(标记图案、用于生成该标记的基数)，并将它发送给标记检测装置100。 

标记检测装置100具有：影像输入单元110；特征提取单元120；不变特征变换单元130；标记存储单元140；对照单元150；报知单元160和通信单元170。 

通信单元170接收从标记生成装置1发送来的与标记相关的数据。此外，通信单元170使该接收到的与标记相关的数据存储在标记存储单元140中。 

如以上所说明，根据标记生成检测装置以及标记检测系统，能够在标记生成检测装置或标记生成检测系统的标记生成功能中，求出与标记检测环境的自由度(姿态变化)相应的基数，并在根据该基数的基而将特征点映现为不变特征的基础上求出特殊特征，并在此基础上进行标记生成。 

因此，能够提供使标记生成功能和标记检测功能一体化的系统。 

[标记生成程序以及标记检测程序] 

接着，针对标记生成程序以及标记检测程序来进行说明。 

上述各实施方式中的计算机(标记生成装置、标记检测装置、标记生成检测装置、标记检测系统)的标记生成功能(用于执行标记生成方法的功能)或标记检测功能(用于执行标记检测方法的功能)，通过存储单元(例如，ROM(Read Only Memory)或硬盘等)中所存储的标记生成程 序或标记检测程序来实现。 

标记生成程序以及标记检测程序，通过被读入计算机的控制单元(CPU(Central Processing Unit)等)，而向计算机的构成各部发送指令，进行规定的处理，例如，标记生成装置的影像输入处理、特征提取处理、不变特征变换处理、特殊特征选择处理、标记生成处理、自由度测量处理、标记检测装置的影像输入处理、特征提取处理、不变特征变换处理、对照处理和报知处理等。 

由此，标记生成功能或标记检测功能，通过作为软件的标记生成程序与作为硬件资源的计算机(标记生成单元(标记生成装置、标记生成服务器、标记生成网络或标记生成系统等))的各构成单元协同动作来实现。 

而且，用于实现标记生成功能或标记检测功能的标记生成程序，除了能存储在计算机的ROM或硬盘等中，还能够存储在计算机可读取的记录介质中，例如外部存储装置以及可移动记录介质中。 

所谓外部存储装置，是指内置CD-ROM(Compact disc-Read Only Memory)等记录介质，与标记生成装置外部连接的存储器增设装置。另一方面，所谓可移动记录介质，是指能够安装在记录介质驱动装置(驱动装置)中，并且是可移动的记录介质，例如，软盘、存储卡、磁盘等。 

并且，记录于记录介质中的程序，被加载在计算机的RAM(Random Access Memory)等中，通过CPU(控制单元)来执行。通过该执行，来实现上述各实施方式的标记生成装置的功能。 

而且，当通过计算机来加载标记生成程序时，还能够利用通信线路将由其它计算机保有的标记生成程序下载到自身具有的RAM或外部存储装置中。该被下载的标记生成程序，也由CPU执行，实现上述各实施方式的标记生成装置的标记生成功能。 

如以上所说明，根据本实施方式的标记生成装置、标记生成检测系统、标记生成检测装置、标记、标记生成方法以及标记生成程序，能够避免将实际上不存在的所希望的物体误判断为在该空间内存在。 

此外，能够通过生成物体或标记等的检测物或与该使用环境的姿态变化相应的标记，来谋求标记生成的负荷与标记检测的精度的合理的调和。 

即，当姿态变化不大时，能够减少设定基数来减轻标记生成的处理的 负荷。 

此外，当姿态变化大时，能够增加设定基数来提高标记的检测精度。 

此外，上述实施方式的内容，还能如以下表现。 

(附注1)一种标记生成装置，具有： 

测量单元，其根据背景图像来测量该图像中的物体的姿态变化； 

不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点； 

特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；和 

标记生成单元，其使用所述特殊特征来生成标记。 

(附注2)根据附注1所述的标记生成装置，其中，具有： 

影像输入单元，其输入背景图像；和 

特征提取单元，其从所输入的所述背景图像中提取特征点， 

所述测量单元具有基数设定部，该基数设定部根据所输入的所述背景图像来测量该图像中的物体的姿态变化的种类，并根据所述姿态变化的种类，决定所对应的基准点的个数， 

所述不变特征变换单元通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点，以作为所述规定的变换处理， 

所述特殊特征选择单元将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征， 

所述标记生成单元使用所述特殊特征来生成标记。 

(附注3)根据附记2所述的标记生成装置，其中， 

所述测量单元测量平行移动、放大、缩小、旋转或剪切变形的任一种或它们的组合，以作为所述姿态变化的种类， 

所述基数设定部，当作为所述姿态变化的种类而仅测量到平行移动时将所述基准点的个数决定为1，当作为所述姿态变化的种类而测量到放大、缩小或旋转的任一种以上的姿态变化或该姿态变化与平行移动的组合的姿态变化时，将所述基准点的个数决定为2，当作为所述姿态变化的种类而测量到剪切变形或剪切变形与平行移动、放大、缩小、旋转的任一种 以上的组合的姿态变化时，将所述基准点的个数决定为3。 

(附注4)根据附注2或3所述的标记生成装置，其中， 

所述特征提取单元具有提取所述特征点的位置信息的特征提取部，‘ 

所述影像输入单元，输入不同时刻所对应的二个以上的背景图像， 

所述测量单元，根据从所述二个以上的背景图像中提取的特征点的位置变化来测量所述姿态变化的种类。 

(附注5)根据附注2～4的任一项所述的标记生成装置，其中， 

所述测量单元具有： 

基数计算部，其根据通过该测量单元所测量的姿态变化的种类来计算所述基准点的个数；和 

基数判定部，其根据所述基数计算部的处理，判定该计算出的第一基准点个数是否与在先前生成标记时的所述变换处理中所使用的基准所涉及的第二基准点个数一致， 

所述基数设定部，当判定为所述第一基准点个数与所述第二基准点个数不一致时，将所述第一基准点个数决定为所述变换处理中所使用的基准点的个数， 

所述不变特征变换单元执行使用了所述第一基准点个数的映现处理。 

(附注6)根据附注5所述的标记生成装置，其中， 

所述不变特征变换单元， 

当判定为所述第一基准点个数与所述第二基准点个数一致时，之后直至判定这些的基准点个数不一致为止，停止执行所述规定的变换处理。 

(附注7)根据附注2～6的任一项所述的标记生成装置，其中， 

所述基数设定部，根据输入操作，将所述基准点的个数决定为1～3的任一者。 

(附注8)一种标记生成检测系统，具有标记生成装置和标记检测装置， 

所述标记生成装置，具有： 

测量单元，其根据背景图像来测量该图像中的物体的姿态变化； 

不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点； 

特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；和 

标记生成单元，其使用所述特殊特征来生成标记。 

所述标记检测装置，具有： 

标记存储单元，其存储所生成的所述标记；和 

对照单元，其判断：在所述不变量特征空间中示出从用于检测所述标记的背景图像中提取出的特征点的不变量特征群的配置中，是否存在所述标记的特殊特征的配置。 

(附注9)根据附注8所述的标记生成检测系统，其中， 

所述标记生成装置，具有： 

影像输入单元，其输入背景图像；和 

特征提取单元，其从所输入的所述背景图像中提取特征点， 

所述测量单元具有基数设定部，该基数设定部根据所输入的背景图像来测量该图像中的物体的姿态变化的种类，并根据该姿态变化的种类，决定所对应的基准点的个数， 

所述不变特征变换单元，通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点，以作为所述规定的变换处理， 

所述特殊特征选择单元将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征， 

所述标记生成单元使用所述特殊特征来生成标记。 

(附注10)一种标记生成检测装置，具有： 

测量单元，其根据背景图像来测量该图像中的物体的姿态变化； 

不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点； 

特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征； 

标记生成单元，其使用所述特殊特征来生成标记； 

标记存储单元，其存储所生成的所述标记；和 

对照单元，其判断：在所述不变量特征空间中示出从用于检测所述标 记的背景图像中提取出的特征点的不变量特征群的配置中，是否存在所述标记的特殊特征的配置。 

(附注11)根据附注10所述的标记生成检测装置，其中，具有： 

影像输入单元，其输入背景图像；和 

特征提取单元，其从所输入的所述背景图像提取特征点， 

所述测量单元具有基数设定部，该基数设定部根据所输入的背景图像来测量该图像中的物体的姿态变化的种类，并根据该姿态变化的种类，决定所对应的基准点的个数， 

所述不变特征变换单元通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点，以作为所述规定的变换处理， 

所述特殊特征选择单元将在该不变量特征空间中未示出所述特征点的部分选择为特殊特征， 

所述标记生成单元使用该特殊特征来生成标记。 

(附注12)一种标记，其通过与从该图像测量的姿态变化相应的规定的变换处理，在不变量特征空间中示出背景图像的特征点，且该标记是使用在该不变量特征空间中未示出所述特征点的部分来生成的。 

(附注13)根据附注12所述的标记，其中， 

使用根据所述姿态变化的种类而决定的个数的基准点的映现处理，在不变量特征空间中示出背景图像的特征点，且所述标记是使用在该不变量特征空间中未出现所述特征点的部分来生成的。 

(14)一种标记生成方法，具有： 

根据背景图像来测量该图像中的物体的姿态变化的工序； 

通过与所述姿态变化相应的规定的变换处理，而在不变量特征空间中示出从所述背景图像中提取出的特征点的工序； 

将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征的工序；和 

使用所述特殊特征来生成标记的工序。 

(附注15)根据附注14所述的标记生成方法，其中，具有： 

输入背景图像的工序； 

从所输入的所述背景图像中提取特征点的工序； 

根据所输入的所述背景图像来测量该图像中的物体的姿态变化的种类，并根据该姿态变化的种类来决定所对应的基准点的个数的工序； 

通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点，以作为所述规定的变换处理的工序； 

将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征的工序；和 

使用所述特殊特征来生成标记的工序。 

(附注16)一种标记生成程序，使信息处理装置作为以下单元来发挥功能： 

根据背景图像来测量该图像中的物体的姿态变化的单元； 

通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点的单元； 

将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征的单元；以及 

使用所述特殊特征来生成标记的单元。 

(附注17)根据附注16所述的标记生成程序，其中，使所述信息处理装置作为以下单元来发挥功能： 

输入背景图像的单元； 

从所输入的所述背景图像中提取特征点的单元； 

根据所输入的所述背景图像，测量该图像中的物体的姿态变化的种类，并根据该姿态变化的种类，决定所对应的基准点的个数的单元；通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点的单元； 

将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征的单元；以及 

使用所述特殊特征来生成标记的单元。 

以上，虽然对本发明的标记生成装置、标记生成检测系统、标记生成检测装置、标记、标记生成方法以及标记生成程序的优选实施方式进行了 说明，但本发明的标记生成装置、标记生成检测系统、标记生成检测装置、标记、标记生成方法以及标记生成程序并不局限于上述实施方式，能够在本发明的范围内实施各种变更。 

例如，虽然在上述实施方式中，设为标记生成单元仅生成一个标记，但也能够生成多个标记。 

本申请，主张将于2009年7月23日申请的日本申请特愿2009-171837号作为基础的优先权，并在此引入其所有公开内容。 

(产业上的可利用性) 

本发明，由于是与标记的生成相关的发明，因此，能够在进行标记的生成的装置或设备、而且在以物品管理、物理安全为代表的影像监控、自动影像、复合实现感UI、内容生成应用这样用途中得以利用。 

附图符号说明： 

1-标记生成装置 

10-影像输入单元 

20-特征提取单元 

30-不变特征变换单元 

40-特殊特征变换单元 

50-标记生成单元 

60-自由度测量单元 

61-自由度检测部 

62-基数设定部 

63-基数运算部 

64-基数判定部 

100-标记检测装置 

1000-标记生成检测装置 

2000-标记生成检测系统 

Claims (9)

1.一种标记生成装置，具有：

测量单元，其根据背景图像来测量该图像中的物体的姿态变化；

不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点；

特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；

标记生成单元，其使用所述特殊特征来生成标记；

影像输入单元，其输入背景图像；和

特征提取单元，其从所输入的所述背景图像中提取特征点，

所述测量单元具有基数设定部，该基数设定部根据所输入的所述背景图像来测量该图像中的物体的姿态变化的种类，并根据所述姿态变化的种类，决定所对应的基准点的个数，

所述不变特征变换单元通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点，以作为所述规定的变换处理，

所述特殊特征选择单元将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征，

所述标记生成单元使用所述特殊特征来生成标记。

2.根据权利要求1所述的标记生成装置，其中，

所述测量单元测量平行移动、放大、缩小、旋转或剪切变形的任一种或它们的组合，以作为所述姿态变化的种类，

所述基数设定部，当作为所述姿态变化的种类而仅测量到平行移动时，将所述基准点的个数决定为1，当作为所述姿态变化的种类而测量到放大、缩小或旋转的任一种以上的姿态变化或该姿态变化与平行移动的组合的姿态变化时，将所述基准点的个数决定为2，当作为所述姿态变化的种类而测量到剪切变形或剪切变形与平行移动、放大、缩小、旋转的任一种以上的组合的姿态变化时，将所述基准点的个数决定为3。

3.根据权利要求1或2所述的标记生成装置，其中，

所述特征提取单元具有提取所述特征点的位置信息的特征提取部，

所述影像输入单元，输入不同时刻所对应的二个以上的背景图像，

所述测量单元，根据从所述二个以上的背景图像中提取的特征点的位置变化来测量所述姿态变化的种类。

4.根据权利要求1所述的标记生成装置，其中，

所述测量单元具有：

基数计算部，其根据通过该测量单元所测量的姿态变化的种类来计算出所述基准点的个数；和

基数判定部，其根据所述基数计算部的处理，判定该计算出的第一基准点个数是否与在先前生成标记时的所述变换处理中所使用的基准所涉及的第二基准点个数一致，

所述基数设定部，当判定为所述第一基准点个数与所述第二基准点个数不一致时，将所述第一基准点个数决定为所述变换处理中所使用的基准点的个数，

所述不变特征变换单元执行使用了所述第一基准点个数的映现处理。

5.根据权利要求4所述的标记生成装置，其中，

所述不变特征变换单元，

当判定为所述第一基准点个数与所述第二基准点个数一致时，之后直至判定这些基准点个数不一致为止，停止执行所述规定的变换处理。

6.根据权利要求1所述的标记生成装置，其中，

所述基数设定部，根据输入操作，将所述基准点的个数决定为1～3的任一者。

7.一种标记生成检测系统，具有标记生成装置和标记检测装置，

所述标记生成装置，具有：

测量单元，其根据背景图像来测量该图像中的物体的姿态变化；

不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点；

特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；和

标记生成单元，其使用所述特殊特征来生成标记，

所述标记检测装置，具有：

标记存储单元，其存储所生成的所述标记；和

对照单元，其判断：在所述不变量特征空间中示出从用于检测所述标记的背景图像中提取出的特征点的不变量特征群的配置中，是否存在所述标记的特殊特征的配置，

所述标记生成装置，具有：

影像输入单元，其输入背景图像；和

特征提取单元，其从所输入的所述背景图像中提取特征点，

所述测量单元具有基数设定部，该基数设定部根据所输入的所述背景图像来测量该图像中的物体的姿态变化的种类，并根据该姿态变化的种类，决定所对应的基准点的个数，

所述不变特征变换单元通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点，以作为所述规定的变换处理，

所述特殊特征选择单元将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征，

所述标记生成单元使用所述特殊特征来生成标记。

8.一种标记生成检测装置，具有：

测量单元，其根据背景图像来测量该图像中的物体的姿态变化；

不变特征变换单元，其通过与所述姿态变化相应的规定的变换处理，在不变量特征空间中示出从所述背景图像中提取出的特征点；

特殊特征选择单元，其将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征；

标记生成单元，其使用所述特殊特征来生成标记；

标记存储单元，其存储所生成的所述标记；

对照单元，其判断：在所述不变量特征空间中示出从用于检测所述标记的背景图像中提取出的特征点的不变量特征群的配置中，是否存在所述标记的特殊特征的配置；

影像输入单元，其输入背景图像；和

特征提取单元，其从所输入的所述背景图像提取特征点，

所述测量单元具有基数设定部，该基数设定部根据所输入的所述背景图像来测量该图像中的物体的姿态变化的种类，并根据该姿态变化的种类，决定所对应的基准点的个数，

作为所述规定的变换处理，所述不变特征变换单元通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点，

所述特殊特征选择单元将在该不变量特征空间中未示出所述特征点的部分选择为特殊特征，

所述标记生成单元使用该特殊特征来生成标记。

9.一种标记生成方法，具有：

根据背景图像来测量该图像中的物体的姿态变化的工序；

通过与所述姿态变化相应的规定的变换处理，而在不变量特征空间中示出从所述背景图像中提取出的特征点的工序；

将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征的工序；

使用所述特殊特征来生成标记的工序；

输入背景图像的工序；

从所输入的所述背景图像中提取特征点的工序；

根据所输入的所述背景图像来测量该图像中的物体的姿态变化的种类，并根据该姿态变化的种类来决定所对应的基准点的个数的工序；

通过使用已决定的所述个数的基准点的映现处理，在不变量特征空间中示出从所述背景图像中提取出的各特征点，以作为所述规定的变换处理的工序；

将在所述不变量特征空间中未示出所述特征点的部分选择为特殊特征的工序；和

使用所述特殊特征来生成标记的工序。