CN101295353A - 确定相似图像的装置和方法 - Google Patents

Abstract

公开了一种确定相似图像的装置，该装置包括：对象区域检测单元，用于从接收到的图像中检测对象区域；像素值分布生成单元，用于生成在由对象区域检测单元检测到的对象区域内包括的像素的像素值分布；以及确定单元，用于基于由像素值分布生成单元生成的像素值分布和以前注册的对象图像的注册像素值分布，确定与对象区域有关的图像是否与以前注册的对象图像相似。

Description

确定相似图像的装置和方法

技术领域

本发明涉及一种确定相似图像的装置和方法、其程序产品以及记录该程序产品的记录介质。

背景技术

伴随着诸如硬盘、光盘和存储卡的存储介质的容量的增加以及价格的降低，数字化图像数据被更容易地存储。但是，如果存储介质内存储大量图像数据，则难以容易地搜索图像。例如，难以从多种图像中容易地搜索对象的任何相似图像，或者从视频中容易地搜索与相似对象相关的场景。

日本专利申请公布No.2005-327065已经公开：为了能够从与图像相关的数据库中搜索任何相似图像，将图像分成多个块，对每个块执行匹配计算，并且综合这些计算结果以便可搜索到相似图像。日本专利申请公布No.2006-58959已经公开：计算图像之间的任何差别，并且用直方图示出差别的值，从而基于直方图确定该图像是否是相似图像。

发明内容

但是，如果如日本专利申请公布No.2005-327065内公开的那样，图像被分成多个块并且对每个块执行匹配计算，则难以在图像的大小已经被改变的情况下或者根据当将图像分成块时块内的相位状态正确地确定相似图像。如果如日本专利申请公布No.2006-58959内公开的那样，使用图像之间的差别执行确定，则由于当对象的图像内的相位在某种程度上并不相互一致时差值变为其较大的值，所以难以正确地确定相似图像。

希望提供一种确定相似图像的装置和方法、其程序产品和记录该程序产品的记录介质，它们能够正确地确定相同或相似图像。

根据本发明的一个实施例，提供了一种确定相似图像的装置。该装置包括：对象区域检测单元，用于从接收到的图像中检测对象区域；像素值分布生成单元，用于生成在由对象区域检测单元检测到的对象区域内包括的像素的像素值分布；以及确定单元，用于基于由像素值分布生成单元生成的像素值分布和以前注册的对象图像的注册像素值分布，确定与对象区域有关的图像是否与以前注册的对象图像相似。

利用作为本发明的一个实施例的确定相似图像的装置，即使对象具有不同大小和/或相位，仍可通过从接收到的图像中检测对象区域来提取对象的图像。另外，通过比较对象区域内包括的像素的像素值分布与先前注册的对象图像的注册像素值分布，可确定与对象区域有关的图像是否与注册对象图像相似。

根据本发明的另一个实施例，提供了一种确定相似图像的方法。该方法包括：从接收到的图像中检测对象区域的对象区域检测步骤；生成在对象区域检测步骤中检测到的对象区域内包括的像素的像素值分布的像素值分布生成步骤；以及确定步骤，该确定步骤基于在像素值分布生成步骤中生成的像素值分布和以前注册的对象图像的注册像素值分布，确定与对象区域有关的图像是否与以前注册的对象图像相似。

根据本发明的再一个实施例，提供了一种使计算机执行确定相似图像的方法的程序产品和记录该程序产品的记录介质。

利用本发明的实施例，从接收到的图像中检测对象区域，并且通过确定对象区域内包括的像素的像素值分布与以前注册的对象图像的注册像素值分布是否相似，可确定与对象区域有关的图像是否与注册对象图像相似。

因此，即使对象图像在接收到的图像内占据不同位置，仍可正确地确定接收到的图像内的对象图像是否与注册对象图像相似，而尽可能地不被不同位置影响。

此申请的结论部分尤其指出并且直接要求了本发明的主题。但是，本领域技术人员通过考虑到附图阅读本说明书的剩余部分，将最好地理解本发明的构造和操作方法以及本发明的其它优点和目标，在附图中类似的标号指示类似元件。

附图说明

图1是示出相似图像确定装置的配置示例的框图；

图2是示出对象区域检测单元的配置示例的框图；

图3A至3E是分别示出对象区域检测单元的操作的图；

图4是示出对象区域检测单元的另一种配置示例的框图；

图5A至5E是分别示出对象区域检测单元的其它操作的图；

图6是示出对象区域检测单元的其它配置示例的框图；

图7A至7C是分别示出像素值分布生成单元的操作的图；

图8A和8B是分别示出确定单元的操作的图；

图9A至9D是示出图像的大小与排序波形之间的关系的图；

图10A至10C是分别说明排序波形内的像素数的校正处理的图；

图11A至11C是分别示出像素值分布生成单元的其它操作的图；

图12A至12C是分别示出确定单元的其它操作的图；

图13是示出在相似图像确定由软件执行的情况下的配置示例的图；

图14是示出相似图像确定操作的流程图；

图15是示出对象区域检测操作的流程图；以及

图16是示出其它对象区域检测操作的流程图。

具体实施方式

下文将参照附图说明本发明的实施例。图1示出根据本发明的相似图像确定装置10的一个实施例的配置示例。

相似图像确定装置10包括对象区域检测单元11、像素值分布生成单元12和确定单元13。对象区域检测单元11和像素值分布生成单元12分别接收输入图像的图像信号SDin。对象区域检测单元11通过使用图像信号SDin检测对象区域，生成指示检测到的对象区域的区域信号SE，并且将该区域信号SE提供给像素值分布生成单元12。像素值分布生成单元12继而从图像信号SDin中提取由该区域信号SE指示的对象区域的像素信号，基于提取出的像素信号生成像素值分布JA，然后将该像素值分布JA提供给确定单元13。

确定单元13通过使用从像素值分布生成单元12接收到的像素值分布和预先注册的对象图像的注册像素值分布，确定检测到的对象区域的图像是否与该注册的对象图像相似，从而提供确定结果信号SDc。

接下来，下文将依次说明装置的部件的配置示例和操作。图2示出对象区域检测单元11的配置示例。对象区域检测单元11包括轮廓提取部分111、标记部分115a和区域信息生成部分116。

对象区域检测单元11内的轮廓提取部分111从输入图像的图像信号SDin中提取输入图像内的轮廓，并且生成指示轮廓的图像(下文被称为“差分图像”)的图像信号SDdf。轮廓提取部分111针对每个像素，执行当前像素和相邻像素之间的像素值差值计算，并且比较其计算结果与阈值以提取对象的轮廓。

基于例如等式1计算目标像素的特征值V。

V＝|4×Lo-La-Lb-Lc-Ld|                    (1)

其中Lo是目标像素的像素值，La是其左侧相邻像素的像素值，Lb是其右侧相邻像素的像素值，Lc是其上部相邻像素的像素值，并且Ld是其下部相邻像素的像素值。

轮廓提取部分111比较此计算出的特征值V与预定阈值，并且如果特征值V大于阈值，则将目标像素的像素值设置为第一标识值，例如在差分图像的图像信号用8比特表示的情况下为“255”。另一方面，如果特征值V不大于阈值，则轮廓提取部分111将目标像素的像素值设置为第二标识值“0”。通过对每个像素执行这种处理获得的二进制信号对应于指示轮廓的图像信号，并且因此被用作差分图像的图像信号SDdf。应注意，在图像信号SDdf中，第一标识值的像素对应于轮廓的像素，而第二标识值的像素对应于除了轮廓之外的部分的像素。

标记部分115a通过使用轮廓提取部分111生成的差分图像的图像信号SDdf执行标记处理。如果差分图像包括第一标识值“255”的像素，则标记部分115a为此像素赋予一个标记号码。另外，标记部分115a检测在与被这样标记的像素向上或向下、向左或向右或斜向相邻的像素中的未被标记的第一标识值“255”的像素，并且为检测到的像素赋予相同的标记号码。然后，如果不再检测到可向其赋予相同标记号码的像素，则标记部分115a改变标记号码(例如，把标记号码加起来)以设置新的标记，并且检测未被标记的第一标识值“255”的像素。如果已经检测到未被标记的第一标识值“255”的像素，则标记部分115a为检测到的像素赋予新的标记号码。另外，标记部分115a为具有第一标识值“255”并且与被赋予该标记号码的像素向上或向下、向左或向右或者斜向地相邻的未被标记的像素赋予该新的标记号码。类似地，如果不再检测到可为其赋予相同标记号码的像素，则标记部分115a改变标记号码以重复上述处理，从而标记部分115a能够为所有第一标识值“255”的像素赋予标记号码。通过这样赋予标记号码，可为连续的轮廓赋予一个标记号码。

接下来，标记部分115a对属于每个标记号码的像素的数量计数，除了最长的连续轮廓之外，将除了具有像素数最大的标记号码的那些像素之外的像素的像素值从第一标识值“255”改变为第二标识值“0”，并且将在标记处理之后得到的标记处理信号SD1a提供给区域信息生成部分116。

区域信息生成部分116由在标记部分115a完成标记处理时获得的标记处理信号SD1a生成指示对象区域的区域信号SE。区域信息生成部分116提取被最长连续轮廓包围的区域，即被第一标识值“255”的像素包围的区域，作为对象区域，将此对象区域内的像素的第二标识值“0”改变为第一标识值“255”，并且提供其作为区域信号SE。例如，通过检测在第二标识值“0”的像素的向上和向下、向左和向右以及斜向的所有方向上是否存在第一标识值“255”的像素，可以确定该像素是否被包括在对象区域内。如果在所有方向上存在第一标识值“255”的像素，则该象素被设置为位于对象区域内。应注意，在区域信号SE内，第一标识值的像素被指示为位于对象区域内，并且第二标识值的像素被指示为在对象区域之外。

图3A至3E示出对象区域检测单元11的操作。图3A给出了输入图像的例子，即如果与此输入图像有关的输入信号SDin被输入对象区域检测单元11，则轮廓提取部分111计算每个目标像素的特征值V，并且对于每个像素比较计算出的特征值与预定阈值。因此，从轮廓提取部分111提供给标记部分115a的图像信号SDdf指示图3B内所示的差分图像。应注意，在图3B中，第二标识值“0”的像素被示出为“黑”而第一标识值“255”的像素被示出为“白”。

标记部分115a通过使用差分图像的图像信号SDdf执行标记处理。如图3C所示为第一标识值“255”的像素赋予标记号码LB1-LB5。然后，标记部分115a将除了具有标记号码LB1的像素之外的具有标记号码LB2-LB5的像素的第一标识值“255”改变为第二标识值“0”，其中标记号码LB1被赋予给数量最多的像素，从而提供标记处理信号SD1a。因此，从标记部分115a提供给区域信息生成部分116的标记处理信号SD1a给出图3D内所示的图像，其中仅示出具有最长连续长度的轮廓(具有标记号码LB1的像素)。

区域信息生成部分116由标记处理信号SD1a生成指示对象区域的区域信号SE。区域信息生成部分116提取由第一标识值“255”的像素包围的区域作为对象的区域并且将该区域内的第二标识值“0”改变为第一标识值“255”。因此，从区域信息生成部分116输出的区域信号SE指示对象区域，其是如图3E所示的第一标识值“255”的区域。

尽管图2内所示的对象区域检测单元11已经基于通过轮廓提取获得的差分图像，生成了指示对象区域的区域信号SE，但是对象区域的检测并不局限于执行轮廓提取的情况。图4示出对象区域检测单元的另一种配置，其中使用运动矢量来检测对象区域。

此对象区域检测单元11a包括延迟部分112、运动矢量检测部分113、运动区域提取部分114、标记部分115b和区域信息生成部分116。延迟部分112和运动矢量检测部分113分别接收输入图像的图像信号SDin。

延迟部分112使图像信号SDin延迟一帧，并且将其作为延迟图像信号SDa提供给运动矢量检测部分113。

运动矢量检测部分113从图像信号SDin和延迟图像信号SDa中检测运动矢量MV。运动矢量检测部分113将图像信号SDin分成例如64(＝8×8)个块，并且在延迟图像信号SDa的预定搜索内检测差值的绝对值之和变得最小的位置，从而检测每个块的运动矢量MV。

基于运动矢量检测部分113检测到的运动矢量MV，运动区域提取部分114提取与在根据每个运动矢量的像素数对运动矢量MV排序时位于预定顺序范围内的运动矢量有关的图像区域作为运动区域。例如，运动区域提取部分114生成指示每个运动矢量的像素数的直方图。运动区域提取部分114提取具有最大像素数的运动矢量作为背景运动，并且提取具有在预定顺序范围内的像素数的图像区域-例如具有第二多到第十五多像素数的运动矢量的图像区域-作为对象的运动区域。然后，运动区域提取部分114将具有例如第二多到第十五多像素数的运动矢量设置为对象的运动矢量范围，并且将属于对象的此运动矢量范围的像素设置为第一标识值“255”。运动区域提取部分114还将不属于对象的此运动矢量范围的像素设置为第二标识值“0”。通过这种处理获得的二进制信号被提供为运动区域提取信号SDeg。应注意，在运动区域提取信号SDeg中，第一标识值的像素被指示为对应于对象的运动的像素，而第二标识值的像素被指示为不对应于对象的运动的像素。

标记部分115b对从运动区域提取部分114接收的运动区域提取信号SDeg执行与上述标记部分115a对图像信号SDdf执行的处理类似的处理，以生成标记处理信号SD1a。此外，如上所述，区域信息生成部分116执行从标记处理信号SD1a生成指示对象区域的区域信号SE的处理。

图5A至5E示出作为对象区域检测单元的其它操作的对象区域检测单元11a的操作。图5A给出了输入图像的例子。应注意，在图5A中，虚线指示前一帧中对象(人)的图像位置。当接收到与此输入图像有关的图像信号SDin时，运动矢量检测部分113从图像信号SDin和延迟图像信号SDa中检测运动矢量，并且将该运动矢量提供给运动区域提取部分114。

基于接收到的运动矢量MV，运动区域提取部分114生成图5B内所示的图像，其中像素被分成属于对象的运动矢量范围的运动矢量的像素，以及不属于对象的运动矢量范围的运动矢量的像素，并且将指示此图像的运动区域提取信号SDeg提供给标记部分115b。

标记部分115b通过使用从运动区域提取部分114接收的运动区域提取信号SDeg，执行如上所述的标记处理。例如，如图5C所示，为第一标识值“255”的像素赋予标记号码LB1和LB2。然后，标记部分115b将具有除了最大数量的像素的标记号码之外的标记号码的像素的第一标识值“255”改变为第二标识值“0”。因此，具有标记号码LB2的像素的第一标识值“255”被改变为第二标识值“0”，因此从标记部分115b提供给区域信息生成部分116的标记处理信号SD1a指示图5D所示的在标记处理之后获得的图像。

区域信息生成部分116生成指示对象区域的区域信号SE。区域信息生成部分116如上所述提取被第一标识值“255”的像素包围的区域作为对象区域，并且将此区域内的像素的第二标识值“0”改变为第一标识值“255”。因此，从区域信息生成部分116输出的区域信号SE将这样的对象区域指示为如图5E所示的第一标识值“255”的对象区域。

此外，在对象区域检测单元内，如果通过使用基于通过轮廓提取获得的图像的区域检测的结果和基于运动矢量的区域检测的结果两者来确定对象区域，则可更可确实和精确地检测到对象区域。

图6示出对象区域检测单元的其它配置示例，利用该对象区域检测单元，通过使用基于通过轮廓提取获得的图像的区域检测结果和基于运动矢量的区域检测结果两者来确定对象区域。应注意，在图6所示的对象区域检测单元11b内，与图2和4内的部件相对应的部件用相同标号指示，并且将省略对它们的详细说明。

图6内的区域信息生成部分117由从标记部分115a接收到的标记处理信号SD1a-a中提取由第一标识值“255”的像素包围的区域，并且将此对象区域内的像素的第二标识值“0”改变为第一标识值“255”，从而提供第一区域检测结果。区域信息生成部分117还由从标记部分115b接收到的标记处理信号SD1a-b中提取被第一标识值“255”的像素包围的区域，并且将此对象区域内的像素的第二标识值“0”改变为第一标识值“255”，从而提供第二区域检测结果。如果，在第一区域检测结果和第二区域检测结果中，第一标识值“255”的像素区域相互重叠，则第二区域检测结果指示的第一标识值“255”的区域被认为是对象区域。另一方面，如果第一标识值“255”的像素区域没有相互重叠，则它们各自的像素区域被认为是对象区域，从而生成指示这些对象区域的区域信号SE。

通过这样使用基于通过轮廓提取获得的图像的区域检测结果和基于运动矢量的区域检测结果两者确定对象区域，不管对象是运动还是静止，都可以检测到其中包括此对象的对象区域。此外，通过优先使用基于运动矢量检测到的区域，可非常精确地检测到运动对象的区域。

此外，如果对象区域检测单元预先将输入图像分成运动图像区域和静止图像区域，在静止图像区域的情况下基于通过轮廓提取获得的图像检测对象区域和在运动图像区域的情况下基于运动矢量检测对象区域，则也可获得几乎相同的效果。

接下来，图1内所示的像素值分布生成单元12基于从对象区域检测单元11接收到的区域信号SE从图像信号SDin中提取与对象区域有关的像素信号，并且基于提取出的像素信号，生成对象区域的像素的像素值分布。

图7A至7C示出像素值分布生成单元12的操作。应注意，在图7A至7C中，示出在生成通过将对象区域内的像素按其像素值的顺序进行排序而获得的排序波形作为像素值分布的情况下的操作。图7A示出与对象区域检测单元11检测到的对象区域相结合的基于图像信号SDin的输入图像，其中该对象区域中包括输入图像中的对象图像。应注意，图7A示出其中使用图5E所示的对象区域的情况。

像素值分布生成单元12按光栅扫描顺序从图像信号SDin中提取对象区域的像素值信号。这里，如果在纵轴上给出像素值并且在横轴上给出提取出的像素的像素次序，则像素值的分布将如图7B所示。此外，像素值分布生成单元12按像素值的升序对提取出的像素排序。在此情况下，图7B内所示的分布被变换成图7C的分布。像素值分布生成单元12将作为像素值分布的、在信号排序之后获得的图7C的分布(下文称为“排序波形”)和指示此像素值分布的信息信号JA提供给如图1所示的确定单元13。

确定单元13由从像素值分布生成单元12接收到的信息信号JA指示的像素值分布和预先注册的对象图像的注册像素值分布，确定对象区域的图像是否与预先注册的对象图像相似，并且输出确定结果信号SDc。例如，如果信息信号JA指示的像素值分布和注册像素值分布均显示排序波形，则确定单元13计算作为信息信号JA指示的像素值分布的排序波形和作为注册像素值分布的排序波形之间的差值的绝对值之和。另外，如果存在对象图像的多个注册像素值分布，则确定单元13针对每个注册排序波形，计算差值的绝对值的总和。

图8A和8B示出确定单元13的操作。图8A给出了作为由从像素值分布生成单元12提供的信息信号JA指示的像素值分布的排序波形的示例，并且图8B给出了作为在确定单元13内注册的注册像素值分布的排序波形的示例。确定单元13计算信息信号JA指示的排序波形和注册像素值分布的排序波形之间的差值的绝对值的总和。

在此情况下，如果对象区域的图像与注册对象图像相似，则它们的排序后的图像彼此相似，从而差值的绝对值的总和减小。因此，确定单元13可基于差值的绝对值的总和确定对象区域图像是否与预先注册的对象图像相似。另外，通过识别差值的绝对值的总和可能被最小化的这种排序波形，可在预先注册的多个对象图像中选择与对象区域的图像最相似的对象图像。

此外，通过除了识别差值的绝对值的总和可能被最小化的这种排序波形之外，还确定波形是否小于预定的阈值，可提高识别相同对象的精确性。例如，如果排序波形未被注册，当排序波形仅在差值的绝对值的总和被最小化的条件下被确定时，该排序波形由与输入图像内的对象区域的图像类似的对象图像生成，则即使是与输入图像内的对象区域的图像不同的对象图像也可能被确定为与对应于差值的绝对值的总和可能被最小化的这种排序波形的对象图像最相似。因此，如果建立了差值的绝对值的总和小于预定阈值的条件，则通过预先设置小于与输入图像内的对象区域的图像不同的对象图像的排序波形的差值的绝对值的总和的阈值，可防止不同的对象图像被确定为与该对象区域的图像最相似，从而提高了确定精确性。

从确定单元13输出的确定结果信号SDc可指示这样的信息，即该信息指示对象区域的图像是否与预先注册的对象图像相似的确定结果，或者指示最相似对象图像的图像信号。另外，如果指示与相似对象图像或者其记录位置相关的信息，例如，诸如在其面部是对象图像的情况下个人的姓名或地址的信息，可迅速获得关于由对象区域的图像指示的个人的信息。另外，如果存储部件内存储有运动图像，则当再现该运动图像时，通过指示再现开始定时，在此定时处相似对象图像被包括在帧图像内，可迅速再现例如其中出现由对象区域的图像指示的个人的场景。另外，通过指示其中包括相似对象图像的运动图像的信息，例如诸如标题或记录日期/时间的信息，可容易地搜索到例如其中出现由对象区域的图像指示的个人的节目。

如果对象区域的图像的图像大小与预先注册的对象图像的大小不同，则那些图像即使是相同对象的图像仍会具有不同的排序波形。图9A至9D示出图像的大小和排序波形之间的关系。这里，假设图9A的对象区域的图像的排序波形将是图9B所示的波形。如果如图9C所示，注册对象图像的图像大小小于图9A的图像大小，则像素的数量减小，从而排序波形可能是图9D内所示的波形，其中图9B内所示的排序波形在横轴方向上缩短。因此，如果确定单元13没有注册由具有不同图像大小的对象图像生成的排序波形，则不能针对一些像素计算排序波形之间的差值的绝对值。但是，如果确定单元13预先注册了具有不同图像大小的对象图像的排序波形，则将被注册的排序波形增加，从而需要高容量的存储装置。这还会导致确定相似排序波形的时间延长。

因此，如果对象区域的图像的像素值分布内的像素数与注册像素值分布内的像素数不同，则执行校正处理以校正像素值分布，以便像素值的数量可彼此相等。即，通过执行像素数校正处理以使信息信号JA指示的排序波形的像素数等于预先注册的像素值分布的排序波形的像素数，并且比较在像素数校正处理之后获得的排序波形与预先注册的像素值分布的排序波形，则不管对象区域的图像的图像大小如何，都可确定相似的排序波形。应注意，可在像素值分布生成单元12或确定单元13中执行归一化处理。

图10A至10C示出排序波形内的像素数的校正处理。例如，如图10A所示，如果排序波形的像素数大于预先设置的像素数RCT，则以特定间隔使像素信号稀疏化，以便排序波形的像素数等于预先设置的像素数RCT，从而将排序波形转换成如图10C内所示的预先设置的像素数RCT的排序波形。另一方面，如图10B所示，如果排序波形的像素数小于预先设置的像素数RCT，则以特定间隔对像素信号内插，以便排序波形的像素数等于预先设置的像素数RCT，从而将排序波形转换成如图10C内所示的预先设置的像素数RCT的排序波形。应注意，图10A内的箭头指示以特定间隔进行的像素信号的稀疏化，而图10B内的箭头指示以特定间隔进行的像素信号的内插。此外，在像素信号的内插中，例如，目标像素位置被内插在相邻两个像素之间。

通过对排序波形这样以特定间隔执行稀疏化或内插，可控制排序波形的像素数为预定的像素数，而波形的特性整体上不会发生很大变化，这是因为排序波形的锐度变化很小。

下文参照图11A至11C说明在像素值分布生成单元12中，对象区域的像素根据它们的像素值被分到各等级中的情况。

图11A示出与对象区域检测单元11检测到的对象区域相结合的基于图像信号SDin的输入图像。应注意，图11A示出其中使用如图5E所示的对象区域的情况。

像素值分布生成单元12按光栅扫描顺序从图像信号SDin中提取对象区域的像素信号。此外，可确定被提取的像素信号的信号电平所属的等级，并且对信号电平所属的那些等级的频率计数，从而生成如图11B所示的直方图。应注意，该直方图可由图11C内所示的排序波形生成。在此情况下，由于在排序波形中像素按像素值的降序排列，所以该直方图可被容易地生成。

确定单元13由作为从像素值分布生成单元12提供的信息信号JA所指示的像素值分布的直方图和作为预先注册的对象图像的注册像素值分布的直方图，确定对象区域的图像是否类似于预先注册的对象图像，然后输出确定结果信号SDc。

基于两个直方图的逻辑与(AND)区域与它们的逻辑或(OR)区域的比率，确定单元13确定对象区域的图像是否类似于预先注册的对象图像。

图12A至12C示出确定单元13的其它操作。图12A示出这样的直方图，即该直方图是从像素值分布生成单元12提供的信息信号JA所指示的像素值分布，而图12B示出这样的直方图，即该直方图是在确定单元13内注册的注册像素值分布。这两个直方图在它们的等级彼此相等的情况下相互重叠，从而得到如图12C所示的直方图。在图12C中，阴影线区域提供了作为像素值分布的直方图的区域与注册信息指示的直方图的区域的AND区域，而阴影线区域加上无阴影线区域提供了作为像素值分布的直方图的区域或注册信息指示的直方图的区域的OR区域。

在此情况下，如果对象区域图像与注册对象图像相似，则它们的直方图也相互相似。因此，确定单元13可基于AND区域相对于OR区域的比率，确定对象区域图像是否与预先注册的对象图像相似。此外，确定单元13可通过识别AND区域相对于OR区域的比率可能被最大化的这种直方图，在预先注册的多个对象图像中选择与对象图像区域最相似的对象图像。此外，确定单元13可以以与使用排序波形的情况相同的方式设置阈值，并且识别AND区域相对于OR区域的比率可能大于该阈值的这种直方图，从而提高识别相同对象的准确度。

此外，在当图像具有不同大小时使用直方图作为像素值分布的情况下，可对排序波形执行像素数校正处理，然后由在这样执行像素数校正处理之后获得的排序波形生成直方图。对排序波形执行像素数校正处理可防止波形的特性整体上发生很大变化。因此，在执行像素值校正处理之后获得的直方图可防止在执行像素数校正处理之前像素值分布发生很大改变。如果使用直方图作为像素值分布，则在校正时，每个等级的频率可与对应于像素值分布的像素数中的差别的系数相乘，从而像素值分布内的像素数可被校正为预定的像素数。

如上所述，相似图像确定装置10从输入图像中提取对象区域的像素，并且由基于被提取像素的像素值的像素值分布(例如，排序波形和直方图)和确定单元13内预先注册的像素值分布，确定对象区域图像是否相似。因此，即使对象图像在帧图像内具有不同的位置，也就是，即使对象的相位改变，仍可通过从检测到的对象区域中提取像素来正确地确定对象图像。此外，即使图像具有不同大小，仍可对像素值分布执行像素数校正处理，从而可在像素大小的差别导致的影响被减小的条件下正确地确定相似对象图像。

上述处理不仅可使用硬件实现，还可用软件实现。在此情况下，图13示出这种配置示例。计算机包括中央处理单元(CPU)301。只读存储器(ROM)302、随机存取存储器(RAM)303、硬盘驱动器(HDD)304和输入/输出接口305经由总线320连接到此CPU 301。此外，输入单元311、记录介质驱动器312、通信单元313、图像信号输入单元314和输出单元315连接到输入/输出接口305。

如果从外部装置或由操纵设备-例如，键盘或鼠标-或例如麦克风的音频输入设备构成的输入单元311输入指令，则CPU 301经由输入/输出接口305接收此指令。

CPU 301通过执行ROM 302或RAM 303或硬盘驱动器304内存储的程序，根据接收到的指令执行处理。此外，ROM 302或RAM303或硬盘驱动器304预先存储图像处理程序和图像数据库，以便使得计算机执行与上述相似图像确定装置执行的处理相同的处理。然后CPU基于输入图像信号输入单元314的图像信号SDin，从输出单元315输出与相似于目标对象图像的对象图像有关的图像信号或与相似对象图像相关的信息等作为确定结果信号SDc。此外，确定结果信号SDc可配置成从通信单元313等输出。另外，如果HDD 304内存储运动图像，则帧图像内的其中可能包括此相似对象图像的运动图像可被从输出单元315再现和输出。此外，如果图像被存储在任何其它存储设备内，则与相似对象图像相关的信息或者相似对象图像的记录位置、或者在该处相似对象图像被包括在帧图像内的再现开始定时，可作为确定结果信号SDc被从通信单元313或输出单元315提供给另一个存储设备，从而例如可再现该相似对象图像。

另外，通过将图像处理程序和图像数据库存储在存储介质内，记录介质驱动器312从存储介质中读出图像处理程序，并且然后，计算机通过使用记录介质内记录的图像数据库内注册的信息执行该图像处理程序来确定相似对象图像。此外，通信单元313可经由传输路径传递图像处理程序和图像数据库，并且计算机如果接收到图像处理程序则可执行该程序。

图14是示出CPU 301执行的相似图像确定操作的流程图。在步骤ST1，CPU 301检测对象区域并且生成区域信息。

图15是示出对象区域检测操作的流程图。在步骤ST111，CPU301生成差分图像。CPU 301如上所述通过使用图像信号SDin计算特征值V，比较此特征值V与预定阈值，并且基于比较结果生成指示轮廓像素的差分图像。

在步骤ST115，CPU 301执行标记。CPU 301为差分图像的轮廓像素赋予标记号码，并且还为与被赋予此标记号码的像素向上或向下、向左或向右或倾斜相邻的轮廓像素赋予相同标记号码。此外，如果未被检测到任何可被赋予相同标记号码的像素，则CPU 301将该标记号码改变为新标记号码，并且赋予此新标记号码。如果已经完全赋予了标记号码，则CPU 301对属于相同标记号码的像素的数量计数，并且生成仅保留具有像素数最大的标记号码的像素的图像。

在步骤ST116，CPU 301生成区域信息。CPU 301将被具有最大像素数的标记号码包围的区域识别为对象区域，并且生成指示此对象区域的区域信息。

图16是示出对象图像检测的其它操作的流程图。在步骤ST113，CPU 301检测运动矢量。CPU 301通过执行例如图像信号SDin和被延迟一帧的延迟图像信号SDa之间的块匹配，检测运动矢量。

在步骤ST114，CPU 301提取运动矢量。CPU 301从在步骤ST113检测到的运动矢量中提取在根据每个运动矢量的像素数对那些运动矢量排序时建立的预定顺序范围内的运动矢量，例如具有第二多到第十五多的像素数的运动矢量，并且将具有那些运动矢量的像素设置为运动区域的像素。

接下来，在步骤ST115，CPU 301执行标记以如上所述为运动区域的像素赋予标记号码，并且生成仅保留具有像素数最大的标记号码的像素的图像。接下来，在步骤ST116，CPU 301如上所述生成区域信息，以生成指示对象区域的区域信息。

返回参照图14，在步骤ST2，CPU 301生成像素值分布。CPU 301提取在步骤ST1获得的区域信息所指示的对象区域的像素，以生成基于被提取像素的像素值的像素值分布，例如排序波形或直方图。

在步骤ST3，CPU 301执行确定处理。在此确定处理中，CPU 301读取预先在数据库内注册的像素值分布，并且生成关于步骤ST2内生成的像素值分布是否与这样读取的注册像素值分布相似的确定信息。例如，在使用排序波形作为像素值分布的情况下，CPU 301计算例如注册像素值分布内指示的排序信息与基于对象区域的像素的排序波形之间的差值的绝对值的总和，并且将计算结果设置为确定信息。此外，在使用直方图作为像素值分布的情况下，CPU 301计算例如注册像素值分布的直方图与基于对象区域的像素的直方图的AND区域相对于它们的OR区域的比率，然后将此比率设置为确定信息。

在步骤ST4，CPU 301确定是否对于所有注册像素值分布已完成了确定处理。在此情况下，如果已生成基于对象区域的像素的像素值分布的确定信息和所有注册像素值分布的确定信息，则CPU 301转到步骤ST5。此外，如果没有生成所有注册像素值分布的确定信息，则CPU 301返回步骤ST3，以读取新的注册像素值分布并且生成确定信息。

在步骤ST5，CPU 301确定对象图像。CPU 301从通过执行步骤ST3和ST4的处理获得的确定信息，检测与基于对象区域的像素的像素值分布最相似的注册像素值分布，然后将对应于此注册像素值分布的图像确定为与对象区域的图像最相似的对象图像。例如，CPU 301将与差值的绝对值的总和可被减小为“0”或被最小化的这种注册信息或者AND区域的比率可能被最大化的这种注册像素值分布相对应的对象图像确定为与对象区域的图像最相似的对象图像。

此外，CPU 301可比较确定信息与预先设置的阈值，并且基于此比较的结果，确定最相似的对象图像。例如，CPU 301将与差值的绝对值的总和可能小于阈值的这种注册信息相对应的图像或与AND区域的比率可能大于阈值的这种注册信息相对应的图像确定为该对象图像。

应注意，上述实施例可在对输入图像执行噪声消除、亮度调节和除去干扰因素的其他普通处理之后执行。此外，如果提取多个对象区域，则该处理可仅对最大的一个对象区域执行，或者由于存在一个以上的对象，所以还可对多个对象执行。

本发明包括与2007年4月24日向日本专利局提交的日本专利申请JP 2007-114305相关的主题，该专利申请全文并入此作为参考文献。

此外，本发明可进行多种改变而不会严重背离本发明的主旨。

本领域那些技术人员应理解，在所附权利要求及其等同物的范围内，可根据设计要求以及其它因素实现多种修改、组合、子组合和变型。

Claims (13)

1.一种确定相似图像的装置，所述装置包括：

对象区域检测单元，用于从接收到的图像中检测对象区域；

像素值分布生成单元，用于生成在由所述对象区域检测单元检测到的所述对象区域内包括的像素的像素值分布；以及

确定单元，用于基于由所述像素值分布生成单元生成的所述像素值分布和以前注册的对象图像的注册像素值分布，确定与所述对象区域有关的图像是否与所述以前注册的对象图像相似。

2.根据权利要求1的确定相似图像的装置，其中所述对象区域检测单元包括：从所述接收到的图像中提取对象的轮廓的轮廓提取部分，并且

其中所述对象区域检测单元将由最长连续轮廓包围的区域检测为所述对象区域。

3.根据权利要求2的确定相似图像的装置，其中所述轮廓提取部分针对每个像素，执行目标像素和相邻像素之间的像素值的差值计算，并且比较所述差值计算的计算结果与阈值，以提取所述对象的轮廓。

4.根据权利要求1的确定相似图像的装置，其中所述对象区域检测单元包括：

运动矢量检测部分，用于检测在所述接收到的图像内的运动矢量；以及

运动区域提取部分，用于提取与在根据每个运动矢量的像素数对所述运动矢量排序时位于预定顺序范围内的运动矢量有关的图像区域，并且

其中所述对象区域检测单元将由具有最长长度的连续运动区域包围的区域检测为所述对象区域。

5.根据权利要求1的确定相似图像的装置，其中所述像素值分布生成单元生成排序波形作为所述像素值分布，在所述排序波形中按像素值的顺序排序在所述对象区域内包括的像素的像素值。

6.根据权利要求5的确定相似图像的装置，其中所述确定单元通过使用在由所述像素值分布生成单元生成为像素值分布的所述排序波形和与注册像素值分布有关的排序波形之间的差值的绝对值之和，确定与所述对象区域有关的图像是否与所述以前注册的对象图像相似。

7.根据权利要求5的确定相似图像的装置，其中所述像素值分布生成单元对所述排序波形执行稀疏化处理和内插处理中的任何一个，以使得由所述像素值分布生成单元生成为像素值分布的所述排序波形中的像素数等于与所述注册像素值分布有关的排序波形的像素数。

8.根据权利要求5的确定相似图像的装置，其中所述确定单元对所述排序波形执行稀疏化处理和内插处理中的任何一个，以使得由所述像素值分布生成单元生成为像素值分布的所述排序波形中的像素数等于与所述注册像素值分布有关的排序波形的像素数。

9.根据权利要求1的确定相似图像的装置，其中所述像素值分布生成单元生成直方图作为所述像素值分布，在所述直方图中在所述对象区域内包括的像素被分布到各类中，每一类对应于一个像素值。

10.根据权利要求9的确定相似图像的装置，其中所述确定单元通过使用由所述像素值分布生成单元生成为像素值分布的所述直方图和与注册像素值分布有关的直方图的逻辑与区域相对于由所述像素值分布生成单元生成为像素值分布的所述直方图和与所述注册像素值分布有关的所述直方图的逻辑或区域的比值，确定与所述对象区域有关的图像是否与所述以前注册的对象图像相似。

11.根据权利要求10的确定相似图像的装置，其中所述像素值分布生成单元校正所述直方图以使由所述像素值分布生成单元生成为像素值分布的所述直方图内的像素数等于与所述注册像素值分布有关的所述直方图的像素数。

12.根据权利要求10的确定相似图像的装置，其中所述确定单元校正所述直方图以使由所述像素值分布生成单元生成为像素值分布的所述直方图内的像素数等于与所述注册像素值分布有关的所述直方图内的像素数。

13.一种确定相似图像的方法，所述方法包括：

从接收到的图像中检测对象区域的对象区域检测步骤；

生成在所述对象区域检测步骤中检测到的所述对象区域内包括的像素的像素值分布的像素值分布生成步骤；以及

确定步骤，该确定步骤基于在所述像素值分布生成步骤中生成的所述像素值分布和以前注册的对象图像的注册像素值分布，确定与所述对象区域有关的图像是否与所述以前注册的对象图像相似。

Images