CN102017606B - 图像处理设备、相机、图像处理方法和程序 - Google Patents

Abstract

本发明使得能够利用简单的结构和简化的操作来检测并跟踪特定被摄体，而不用登记被摄体的特性信息。本发明包括：被摄体检测装置，其从图像检测被摄体图像；被摄体识别信息存储装置，其存储被摄体图像的识别ID以及第一位置，该第一位置是被摄体图像在图像内上次被检测到的位置；以及识别ID指派装置，其将识别ID指派给被摄体图像，其中如果第一位置位于离被摄体检测装置检测到被摄体图像的位置预定义距离之内，则识别ID指派装置将与第一位置相对应的识别ID指派给被摄体图像。

Description

图像处理设备、相机、图像处理方法和程序

技术领域

本发明涉及可以检测并跟踪特定被摄体(specific subject)的图像处理设备、相机、图像处理方法和程序。 

背景技术

人的脸部是数字静止相机(下面称为“相机”)和数字摄像机的主要被摄体。因此，在拍摄时，需要检测人的脸部并执行适合于人的脸部的自动聚焦控制或自动曝光控制的技术。 

此外，在实际拍摄中，除了要被拍摄的人的脸部以外，还同时会拍摄到其它人的脸部。为此，还需要检测并仅跟踪多个脸部中的特定脸部的技术。 

专利文献1公开了一种技术，其通过预先登记与被摄体的特定部分(例如脸部)的图像有关的特性信息并且将该信息与监视器上的屏幕图像相比较来检测并仅跟踪登记过的被摄体。 

专利文献2公开了一种技术，其中，移动电话从被拍摄的运动图像中提取人的脸部图像并将其发送给服务器；并且服务器将其与预先登记的脸部图像相比较，将关于与在比较中一致的脸部图像相对应的人的适当信息发送给移动电话并使其被显示。 

专利文献1：日本专利申请早期公开No.2006-101186 

专利文献2：日本专利申请早期公开No.2006-293912 

专利文献3：日本专利申请早期公开No.1993-334411 

发明内容

技术问题 

然而，专利文献1公开的技术具有下面的问题。 

(1)由于需要存储被摄体的特性信息的装置，因此相机的结构变得复杂。为此，相机的生产成本增加。 

(2)由于用户需要预先登记被摄体的特性信息，因此相机的操作过程变得复杂。为此，用户的负担增加。 

此外，专利文献2公开的技术具有下面的问题。 

(3)由于需要存储被摄体的脸部图像的服务器，因此产生了服务器的引入和操作成本。为此，系统的引入和操作成本增加。 

(4)由于需要发送和接收图像数据，因此产生了通信成本。为此，系统的操作成本增加。 

本发明的一个目的是提供解决上面提到的问题的图像处理设备、相机、图像处理方法和程序。 

技术方案 

根据本发明示例性方面的图像处理设备包括： 

被摄体检测装置，用于从图像检测被摄体图像； 

被摄体识别信息存储装置，用于存储被摄体图像的识别ID、示出所述被摄体图像是否被检测到的检测标志以及第一位置，该第一位置是被摄体图像在图像内上次被检测到的位置；以及 

识别ID指派装置，用于将识别ID指派给被摄体图像，其中 

如果第一位置位于离被摄体检测装置检测到被摄体图像的位置预定义距离之内，则识别ID指派装置将与第一位置相对应的识别ID指派给被摄体图像并将指示所述被摄体图像被检测到的值设置到所述检测标志，并且 

当所述检测标志指示所述被摄体图像被检测到时，框被叠加在所述被摄体图像上并显示。 

根据本发明示例性方面的相机包括： 

成像装置，用于拍摄被摄体； 

上述图像处理设备；以及 

显示装置，其显示成像装置拍摄的图像以及与图像处理设备生成的被摄体有关的信息。 

根据本发明示例性方面的图像处理方法包括： 

存储被摄体图像的识别ID、示出所述被摄体图像是否被检测到的检测标志以及第一位置，该第一位置是被摄体图像在图像内上次被检测到的位置； 

从图像检测被摄体图像； 

如果第一位置位于离被摄体图像被检测到的位置预定义距离之内，则将与第一位置相对应的识别ID指派给被摄体图像并将指示所述被摄体图像被检测到的值设置到所述检测标志；以及 

当所述检测标志指示所述被摄体图像被检测到时，框被叠加在所述被摄体图像上并显示。 

根据本发明示例性方面的图像处理程序使得计算机执行图像处理，该图像处理的特征在于包括： 

存储被摄体图像的识别ID以及第一位置，该第一位置是被摄体图像在图像内上次被检测到的位置； 

从图像检测被摄体图像；以及 

如果第一位置位于离被摄体图像被检测到的位置预定义距离之内，则将与第一位置相对应的识别ID指派给被摄体图像。 

有益效果 

根据本发明的图像处理设备、相机、图像处理方法和程序使得能够利用简单的结构和简化的操作来检测并跟踪特定被摄体。 

附图说明

图1是示出根据本发明第一示例性实施例的相机的图像处理单元的功能结构的框图。 

图2是示出根据第一示例性实施例的整个相机的功能结构的框图。 

图3是示出存储在图1和2的被摄体识别信息表中的信息的示例的示图。 

图4是图示出第一示例性实施例中的被摄体图像识别处理操作的流程图。 

图5A是示出第一示例性实施例中紧接着被摄体图像识别处理之后显示在监视器屏幕上的图像的示图(部分1)。 

图5B是示出第一示例性实施例中紧接着被摄体图像识别处理之后的被摄体识别信息表的内容的示图(部分1)。 

图6A是示出第一示例性实施例中紧接着被摄体图像识别处理之后显示在监视器屏幕上的图像的示图(部分2)。 

图6B是示出第一示例性实施例中紧接着被摄体图像识别处理之后的被摄体识别信息表的内容的示图(部分2)。 

图7A是示出第一示例性实施例中紧接着被摄体图像识别处理之后显示在监视器屏幕上的图像的示图(部分3)。 

图7B是示出第一示例性实施例中紧接着被摄体图像识别处理之后的被摄体识别信息表的内容的示图(部分3)。 

图8A是示出第一示例性实施例中紧接着被摄体图像识别处理之后显示在监视器屏幕上的图像的示图(部分4)。 

图8B是示出第一示例性实施例中紧接着被摄体图像识别处理之后的被摄体识别信息表的内容的示图(部分4)。 

图9A是示出第一示例性实施例中紧接着被摄体图像识别处理之后显示在监视器屏幕上的图像的示图(部分5)。 

图9B是示出第一示例性实施例中紧接着被摄体图像识别处理之后的被摄体识别信息表的内容的示图(部分5)。 

图10是示出根据第二示例性实施例的整个相机的功能结构的框图。 

图11是示出存储在图10的被摄体识别信息表中的信息的示例的示图。 

图12是图示出第二示例性实施例中的被摄体图像识别处理操作的流程图。 

图13是图示出第三示例性实施例中的被摄体图像识别处理操作的流程图。 

图14A是示出第三示例性实施例中紧接着被摄体图像识别处理之后显示在监视器屏幕上的图像的示图。 

图14B是示出第三示例性实施例中紧接着被摄体图像识别处理之后的 被摄体识别信息表的内容的示图。 

标号说明 

1    相机 

10   图像处理单元 

101  被摄体检测单元 

102  识别ID指派单元 

103  被摄体识别信息表 

104  被摄体识别信息删除单元 

11   成像单元 

12   监视器屏幕 

13   键输入单元 

14   控制处理单元 

21   输入图像数据 

22   输出图像数据 

具体实施方式

接下来，将参考附图描述本发明的示例性实施例。 

(第一示例性实施例) 

图1是示出根据本发明第一示例性实施例的在相机内执行被摄体的图像数据处理的图像处理单元10的功能结构的框图。图像处理单元10包括被摄体检测单元101、识别ID(Identification，标识)指派单元102和被摄体识别信息表103。被摄体识别信息表103也称为被摄体识别信息存储单元。被摄体检测单元101从所输入的输入图像数据21中检测被摄体的图像。被摄体识别信息表103存储被摄体的识别ID和位置坐标。识别ID指派单元102在被摄体识别信息表103中搜索离所检测到的被摄体图像的位置坐标预定义距离内的位置坐标。如果相应的位置坐标存在于被摄体识别信息表103中，则识别ID指派单元102将与位置坐标相对应的识别ID指派给被摄体图像。这些组件可以由硬件或软件构成。输出图像数据22包括与被摄体有关的信息，例如识别ID。 

因此，通过将被摄体的所检测到的位置坐标与被摄体识别信息表103存储的位置坐标相比较，图像处理单元10总是将相同的识别ID指派给相同的被摄体。通过这样做，图像处理单元10使得能够检测并跟踪特定被摄体而不用存储被摄体的特性信息。 

接下来，将参考图2描述包括图像处理单元10的根据本发明第一示例性实施例的相机的整体结构。图2是示出根据第一示例性实施例的相机1的主要功能结构的框图。成像单元11包括镜头、聚焦设备和CCD(电荷耦合器件)等，并且拍摄被摄体并生成作为数字数据的图像数据。监视器屏幕12是诸如液晶显示器之类的显示设备，并且显示要被拍摄的被摄体的图像、关于被摄体的信息或者关于相机的操作的信息。键输入单元13是用户用来设置相机1或给出指示的输入设备，并且包括例如光标键、数字键和输入键。控制处理单元14包括系统时钟生成设备、CPU等，并且对设备的一般控制进行操作。图像处理单元10处理从成像单元11输入的图像数据，并且将其输出并显示在监视器屏幕12上。此外，由于作为图像处理单元10的组件的被摄体检测单元101、识别ID指派单元102和被摄体识别信息表103已经被描述，因此省略其描述。 

这里，将参考图3描述存储在被摄体识别信息表103中的信息。被摄体识别信息表103包括识别ID、上次检测到的位置坐标、示出其是否被检测到的检测标志以及跟踪对象标志，作为被摄体图像识别处理执行时的信息。该信息被称为“被摄体识别信息”。位置坐标表示脸部图像在图像数据中所占据的区域。即，例如，由矩形区域的一个顶点的坐标和位于经过该顶点的对角线上的另一顶点的坐标来表达的{(Xm，Ym)，(Xn，Yn)}。进一步地，下面将描述被摄体图像识别处理。 

根据本发明第一示例性实施例的相机从输入图像数据中检测被摄体的特定部分的图像，并且利用所检测到的图像的位置坐标作为关键字来搜索被摄体识别信息表。并且该相机将离所检测到的图像的距离在预定义距离之内并具有最接近位置坐标的被摄体识别信息判定为指示所检测到的图像的被摄体识别信息。这一系列处理被称为“被摄体图像识别处理”。下面将参考图4描述第一示例性实施例中的被摄体图像识别处理操作。此外， 尽管被摄体图像识别处理是与被摄体的特定部分的图像有关的处理，然而在第一示例性实施例的以下描述中，假设该特定部分是人的脸部。 

图4是图示出第一示例性实施例中的被摄体图像识别处理的流程图。当自前一被摄体图像识别处理起过去了固定时间时，控制处理单元14向图像处理单元10指示开始被摄体图像识别处理。当接收到此时，首先，被摄体检测单元101从自成像单元11取得的图像数据中检测被摄体的人的脸部图像(步骤S111)。该检测处理例如是通过在图像数据中搜索如下区域来执行的，在所述区域中，构成脸部的要素(头发、眼睛、鼻子、嘴巴等)的形状和颜色以与实际脸部相同的位置关系存在。当脸部图像被检测到时，被摄体检测单元101输出图像数据中的所检测到的脸部图像的位置坐标。如果多个脸部图像被包括在图像数据中，则被摄体检测单元101检测所有的脸部图像。 

当脸部图像的检测处理完成时，识别ID指派单元102执行下面的处理。首先，识别ID指派单元102清除被摄体识别信息表103中的所有被摄体识别信息的检测标志(步骤S112)。接下来，识别ID指派单元102提取被摄体检测单元101所检测到的那些脸部图像中的尚未被处理的一个脸部图像(步骤S113)。并且识别ID指派单元102在被摄体识别信息表103中搜索离提取出的脸部图像的距离在预定义距离之内并且具有最接近的位置坐标的被摄体识别信息(步骤S114)。该处理例如是通过计算所提取的脸部图像的中心坐标与被摄体识别信息的中心坐标之间的距离来执行的。此外，可以通过算术表达式{(Xm+Xn)/2，(Ym+Yn)/2}来计算位置坐标{(Xm，Ym)，(Xn，Yn)}所表示的区域的中心坐标。作为搜索的结果，识别ID指派单元102判断是否存在相应的被摄体识别信息(步骤S115)。如果存在，则识别ID指派单元102利用所提取脸部图像的位置坐标的值来更新该相应的被摄体识别信息的位置坐标，并且将“Y”设置给检测标志(步骤S116)。如果相应的被摄体识别信息不存在，则识别ID指派单元102指派新的识别ID。并且该识别ID、所提取脸部图像的位置坐标的值以及检测标志＝“Y”另外地被登记到被摄体识别信息表103中作为新的被摄体识别信息(步骤S117)。 

这里，图像处理单元10判断是否针对在步骤S111中检测到的所有脸部图像完成了处理(步骤S118)。如果未完成，则返回步骤S113并且针对尚未被处理的脸部图像重复相同的处理。如果已完成，则被摄体图像识别处理结束。 

因此，在被摄体图像识别处理中，图像处理单元10将这次检测到的位置坐标与上次检测的位置坐标接近的被摄体判定为相同被摄体。通过执行这样的处理，第一示例性实施例中的相机连续地将相同的识别ID指派给多个被摄体以及它们中的每个，而不用登记被摄体的特性信息。由此，可以从多个所检测到的被摄体中选出并跟踪特定被摄体。 

这里，执行被摄体图像识别处理的周期不必与成像单元11生成图像数据的周期(帧率)相同。然而，执行处理的周期变得越长，处理之间的被摄体的移动距离将越大。这使得在上述方法“将这次检测到的位置坐标与上次检测的位置坐标接近的被摄体判定为相同被摄体”中误判的可能性高。因此，希望执行被摄体图像识别处理的周期短到误判可能不会发生的程度。 

接下来，将参考图5-9以时间顺序描述第一示例性实施例中的被摄体图像识别处理操作。 

当被摄体图像识别处理结束时，图像处理单元10输出与被摄体有关的信息，例如识别ID。该信息与被摄体的图像一起显示在监视器屏幕12上。图5示出了紧接着被摄体图像识别处理结束之后的相机1的状态。图5A示出了监视器屏幕12显示的图像。图5B示出了被摄体识别信息表103的内容。这些也适用于图6-9。 

三个人1201-1203被显示在图5A的监视器屏幕12上。此外，指示这些人的脸部图像被检测到的位置的框1211-1213被叠加在相应的脸部图像上并被显示。此外，表示被指派给脸部图像的识别ID(“1”-“3”)的代码1221-1223被显示在相应的脸部图像的附近。此外，在下面的描述中，被指派了识别ID“1”的脸部图像被称为“脸部图像‘1’”。 

框1213被显示出与其它框不同的粗度或不同的颜色，以使得可将其与其它框区分开。这示出框1213所指示的脸部图像“3”被设置为跟踪对 象。可由用户通过在脸部图像“3”被检测到的状态中执行选择脸部图像“3”的操作来进行该设置。该操作例如是按压键输入单元13的相应数字键(键“3”)、利用光标键将光标(未示出)调整到脸部图像“3”，等等。 

图5B的被摄体识别信息表103保存了与三个脸部图像有关的被摄体识别信息。各条记录被设置了识别ID“1”-“3”以及脸部图像被检测到的位置坐标：{(X11，Y11)，(X12，Y12)}、{(X21，Y21)，(X22，Y22)}和{(X31，Y31)，(X32，Y32)}。“Y”被设置给示出它们被检测到的所有记录的检测标志。此外，仅对于识别ID“3”的记录，将“Y”设置给跟踪对象标志。这示出了脸部图像“3”被设置为跟踪对象。 

图6示出了紧接着被摄体图像识别处理在图5的时刻后被执行并且结束之后的相机1的状态。 

参考图6A，新显示出这次新检测到的两个人1204和1205。新的识别ID“4”和“5”被指派给这些脸部图像，并且框1214和1215以及代码1224和1225被显示出。此外，如果新检测到多个脸部图像，则可以基于脸部图像大小的顺序或在显示器上的位置(例如离左上角的距离的顺序)来对识别ID编号。 

另一方面，人1202已经移出了框。因此，脸部图像“2”未被检测到。此外，与上次相同的识别ID“1”和“3”分别被指派给人1201和1203的脸部图像。这是因为，在被摄体图像识别处理中，人1201和1203的脸部图像因为它们位于离上次检测到的位置坐标较短的距离内而被链接到相应的被摄体识别信息。 

参考图6B，新添加了两条被摄体识别信息的记录。识别ID“4”和“5”以及脸部图像被检测到的位置坐标{(X41，Y41)，(X42，Y42)}和{(X51，Y51)，(X52，Y52)}被设置给这两条记录。另一方面，对于与这次未被检测到的脸部图像有关的识别ID“2”的被摄体识别信息记录，检测标志被清除。此外，脸部图像“2”上次被检测到时的值{(X21，Y21)，(X22，Y22)}继续被设置为位置坐标。 

图7示出了紧接着被摄体图像识别处理在图6的时刻后被执行并结束 之后的相机1的状态。 

参考图7A，人1203正向后看。因此，脸部图像“3”未被检测到。此外，人1204已移动到挡住了人1205的前面的位置。因此，脸部图像“5”也未被检测到。由于与识别ID“2”、“3”和“5”相对应的脸部图像未被检测到，因此指示脸部图像“2”、“3”和“5”的框和代码不被显示。 

参考图7B，对于与这次未被检测到的脸部图像有关的识别ID“2”、“3”和“5”的被摄体识别信息记录，检测标志被清除。此外，脸部图像“2”、“3”和“5”上次被检测到时的值{(X21，Y21)，(X22，Y22)}、{(X31，Y31)，(X32，Y32)}和{(X51，Y51)，(X52，Y52)}继续被设置为位置坐标。另一方面，作为脸部图像的移动目的地的新的位置坐标{(X41`，Y41`)，(X42`，Y42`)}被设置到识别ID“4”的记录。此外，{(X41`，Y41`)，(X42`，Y42`)}是位于短到如下程度的距离内的位置坐标，即短到足以被判定为与上次位于{(X41，Y41)，(X42，Y42)}处的脸部图像相同的被摄体的距离内。 

此刻，被设置为跟踪对象的脸部图像“3”未被检测到。因此，在此刻，不存在跟踪对象的脸部图像。然而，在被摄体识别信息表103中继续将“Y”设置给识别ID“3”的记录中的跟踪对象标志。 

图8示出了紧接着被摄体图像识别处理在图7的时刻后被执行并结束之后的相机1的状态。 

参考图8A，人1202再次移动到框内。此外，人1204再次移动，并且被挡住的人1205再次出现。因此，上次未被检测到的人1202和人1205的脸部图像被检测到。与之前被检测到时相同的识别ID“2”和“5”分别被指派给人1202和1205的脸部图像。这是因为，在被摄体图像识别处理中，人1202和1205的脸部图像因为它们位于离上次检测到的位置坐标较短的距离内而被链接到相应的被摄体识别信息。另一方面，由于人1203仍然在向后看的状态中，因此脸部图像“3”未被检测到。 

参考图8B，“Y”再次被设置给与这次再次被检测到的脸部图像有关的识别ID“2”和“5”的被摄体识别信息记录的检测标志。此外，作为脸部图像的移动目的地的新的位置坐标{(X21`，Y21`)，(X22`，Y22`)}和{(X41``， Y41``)，(X42``，Y42``)}被设置给识别ID“2”和“4”的记录。 

此刻，被设置为跟踪对象的脸部图像“3”也未被检测到。因此，在此刻，也不存在跟踪对象的脸部图像。 

图9示出了紧接着被摄体图像识别处理在图8的时刻后被执行并结束之后的相机1的状态。 

参考图9A，人1203再次向前看。因此，上次未被检测到的人1203的脸部图像被检测到。与之前被检测到时相同的识别ID“3”被指派给人1203的脸部图像。这是因为，在被摄体图像识别处理中，人1203的脸部图像被链接到相应的被摄体识别信息，因为它位于离上次检测到的位置坐标较短的距离内。此外，与脸部图像“3”变得未被检测到之前相同地，示出了其被设置为跟踪对象并且以与其它框不同的粗度或颜色显示出的框1213被显示。这是因为，即使在脸部图像“3”变得未被检测到时，在被摄体识别信息表103中，“Y”也被设置给了识别ID“3”的记录的跟踪对象标志。 

参考图9B，“Y”再次被设置给与这次再次被检测到的脸部图像有关的识别ID“3”的被摄体识别信息记录的检测标志。此外，“Y”继续被设置给该跟踪对象标志。 

如上所述，根据第一示例性实施例的相机不用登记被摄体的特性信息，并且对于所检测到的多个被摄体的脸部图像，持续将相同的识别ID指派给它们中的每个。原因在于识别ID指派单元102通过比较所检测到的脸部图像的位置坐标与被摄体识别信息表103中的位置坐标而将所检测到的脸部图像与相应的被摄体识别信息链接起来。 

此外，即使当被摄体的脸部图像暂时变得未被检测到并且此后再次被检测到时，根据第一示例性实施例的相机也可以针对所检测到的多个被摄体的脸部图像，持续将相同的识别ID指派给它们中的每个。原因在于，即使对于未被检测到的被摄体，被摄体识别信息表103保存了该被摄体上次被检测到的位置坐标以及该被摄体的识别ID。 

此外，即使当被设为跟踪对象的被摄体的脸部图像暂时变得未被检测到并且此后再次被检测到时，根据第一示例性实施例的相机也可以自动地 恢复跟踪。原因在于，即使对于未被检测到的被摄体，被摄体识别信息表103也保存了该被摄体的跟踪对象标志以及该被摄体的识别ID。 

此外，与专利文献1公开的相机相比，根据第一示例性实施例的相机可以通过更简单的结构来实现数据存储和比较处理。原因在于，与关于被摄体的图像的特性信息相比，位置坐标需要较少的数据容量并且比较处理也简单。 

(第二示例性实施例) 

接下来，将描述本发明第二示例性实施例。 

在本发明第一示例性实施例中，被摄体识别信息一旦被登记，此后就不会被删除。然而，在本发明的第二示例性实施例中，当长时间未检测到被摄体的图像时，与第一示例性实施例的不同点在于，则相应的被摄体识别信息被删除。 

图10是示出根据第二示例性实施例的相机1的主要功能结构的框图。此外，在图10的框图中，被指派了与图2的框图中的标号代码相同的标号代码的组件与图2中描述的组件相同。图10的相机1包括了作为新组件的被摄体识别信息删除单元104。 

图11是示出存储在第二示例性实施例的被摄体识别信息表103中的信息的示图。作为新的项，被摄体识别信息表103包括删除时间。此外，其他项与图3的相同。 

接下来，将参考图12描述第二示例性实施例中的被摄体图像识别处理操作。 

图12是图示出第二示例性实施例中的被摄体图像识别处理的流程图。此外，在图12的流程图中，被指派了与图4的流程图中的标号代码相同的标号代码的步骤与图4中描述的步骤相同。因此，省略关于这些相同步骤的描述。在图12中，图4的步骤S116和S117分别被步骤S216和S217所替代，并且新添加了步骤S219。 

在步骤S216，识别ID指派单元102除了更新位置坐标和检测标志以外，还利用当前时间的值来更新删除时间。此外，在步骤S217，识别ID指派单元102除了设置识别ID、位置坐标和检测标志以外，还将当前时间 的值设置给删除时间。此外，识别ID指派单元102可以从相机1的内置时钟(未示出)获取当前时间的值。 

而且，当在步骤S118中判定已针对所有脸部图像完成了处理时，被摄体识别信息删除单元104提取自该删除时间起经过了预定义时间的所有被摄体识别信息并且删除它们(步骤S219)。该提取处理例如通过将当前时间与所检测的时间的值相比较并且判断它们的差是否大于预定义值来执行。此后，被摄体图像识别处理结束。 

如上所述，根据第二示例性实施例的相机删除未被检测到达预定义时间的被摄体识别信息。结果，可以防止长时间未被检测到的被摄体识别信息堆积从而导致被摄体识别信息表103的可用空间变得短缺并且不再执行向脸部图像指派识别ID。 

(第三示例性实施例) 

接下来，将描述本发明的第三示例性实施例。 

在本发明的第一示例性实施例中，被摄体是人的脸部。在本发明的第三示例性实施例中，与第一示例性实施例的不同点在于被摄体是穿着特定服装的人的图像。 

由于根据本发明第三示例性实施例的相机的功能结构与图1和2的相同，因此将省略其描述。此外，由于存储在被摄体识别信息表103中的信息也与图3的相同，因此省略其描述。 

接下来，将参考图13描述第三示例性实施例中的被摄体图像识别处理操作。 

图13是图示出第三示例性实施例中的被摄体图像识别处理的流程图。此外，在图13的流程图中，被指派了与图4的流程图中的标号代码相同的标号代码的步骤与图4中描述的步骤相同。因此，省略关于这些相同步骤的描述。在图13中，图4的步骤S111被步骤S311替代。 

当被摄体图像识别处理开始时，首先，被摄体检测单元101从取自成像单元11的图像数据中检测穿着特定服装的人的图像。例如，被摄体检测单元101检测身体上部穿着黄色短袖衬衫并且身体下部穿着绿色短裤的人的图像(步骤S311)。该检测处理例如通过在图像数据中搜索如下区域 在执行：在该区域中，具有黄颜色和短袖衬衫形状的部分与具有绿颜色和短裤形状的部分彼此邻近地存在。当这样的服装的图像被检测到时，被摄体检测单元101输出图像数据中所检测到的服装的图像的位置坐标。当多个这样的服装的图像被包括在图像数据中时，被摄体检测单元101检测所有的服装的图像。由于除了被摄体是服装的图像而非脸部图像这点以外，下面的处理与图4的相同，因此省略其描述。 

接下来，将参考图14描述紧接着第三示例性实施例中的被摄体图像识别处理结束之后的相机1的状态。分别地，图14A示出了监视器屏幕12的图像，并且图14B示出了被摄体识别信息表103的内容。而且，在下面的描述中，假设被摄体检测单元101检测身体上部穿着黄色短袖衬衫并且身体下部穿着绿色短裤的人的图像。 

四个人1206-1209显示在图14A的监视器屏幕12上。其中，人1206和1207的身体上部穿着黄色短袖衬衫并且身体下部穿着绿色短裤。另一方面，人1208和1209穿着与他们不同的服装(例如，蓝色短袖衬衫和白色短裤)。 

被摄体检测单元101检测人1206和1207的服装的图像。指示这些服装的图像被检测到的位置的框1216和1217以及表示被指派给该服装的图像的识别ID(“6”、“7”)的代码1226和1227被显示在监视器屏幕12上。 

图14B的被摄体识别信息表103保存了与所检测到的两个服装的图像有关的被摄体识别信息。 

如上所述，根据第三示例性实施例的相机将第一示例性实施例的相机的功能应用于人的特定服装的图像，而非人的脸部图像。结果，当在体育比赛中拍摄时，例如，仅穿着特定队的制服的人可被检测到并被跟踪。 

此外，第一示例性实施例的相机的功能可被应用于诸如猫或狗之类的特定动物、诸如车或飞机之类的特定交通工具，或者另外地，其形状或颜色具有特定特性的被摄体。 

如上所述，已经以向被摄体指派识别ID的相机为例描述了本发明的示例性实施例。然而，根据本发明的图像处理设备也可以应用于被包括在 蜂窝电话或PDA(个人数字助理)等中的相机功能。此外，根据本发明的图像处理设备也可以应用于具有拍摄运动图像功能的相机。此外，根据本发明的图像处理设备也可以应用于例如分析所记录的图像并且不具有成像手段的图像分析设备。 

尽管已参考本发明的示例性实施例描述了本发明，然而本发明不限于这些实施例。本领域普通技术人员将理解，在不脱离本发明的精神和范围的情况下可以对实施例的形式和细节作出改变。 

本申请基于2008年4月23日提交的日本专利申请No.2008-112813并要求其优先权，该申请的公开通过引用被整体结合于此。 

Claims (11)

1.一种图像处理设备，包括：

被摄体检测单元，所述被摄体检测单元从图像检测被摄体图像；

被摄体识别信息存储单元，所述被摄体识别信息存储单元存储所述被摄体图像的识别ID、示出所述被摄体图像是否被检测到的检测标志、示出所述被摄体图像是否被设置为跟踪对象的跟踪对象标志以及第一位置，所述第一位置是所述被摄体图像在所述图像内上次被检测到的位置；以及

识别ID指派单元，所述识别ID指派单元将识别ID指派给所述被摄体图像，其中

如果所述第一位置位于离所述被摄体检测单元检测到所述被摄体图像的位置预定义距离之内，则所述识别ID指派单元将与所述第一位置相对应的识别ID指派给所述被摄体图像并将指示所述被摄体图像被检测到的值设置到所述检测标志，

当所述检测标志指示所述被摄体图像被检测到时，框被叠加在所述被摄体图像上并显示，并且

当所述跟踪对象标志指示所述被摄体图像被设置为跟踪对象时，所述框以与所述跟踪对象标志指示所述被摄体图像未被设置为跟踪对象时显示的框不同的粗度或颜色被显示。

2.根据权利要求1所述的图像处理设备，其中，如果所述第一位置未位于离所述被摄体检测单元检测到所述被摄体图像的位置预定义距离之内，则所述识别ID指派单元将新的识别ID指派给所述被摄体图像并将指示所述被摄体图像被检测到的值设置到所述检测标志。

3.根据权利要求1所述的图像处理设备，其中

所述被摄体识别信息存储单元存储第一时间，所述第一时间是所述被摄体图像上次被检测到时的时间；并且

所述图像处理设备还包括

被摄体识别信息删除单元，当自所述第一时间起经过了预定义时间时，所述被摄体识别信息删除单元从所述被摄体识别信息存储单元删除所述第一时间、与所述第一时间相对应的所述识别ID、所述检测标志、所述跟踪对象标志和所述第一位置。

4.根据权利要求1所述的图像处理设备，其中，所述被摄体图像为人的脸部图像。

5.根据权利要求1所述的图像处理设备，其中，所述被摄体图像为人的特定服装的图像。

6.一种相机，包括：

成像单元，用于拍摄被摄体；

根据权利要求1所述的图像处理设备；以及

显示设备，其显示所述成像单元拍摄的图像以及与所述图像处理设备生成的所述被摄体有关的信息。

7.一种图像处理方法，包括：

存储被摄体图像的识别ID、示出所述被摄体图像是否被检测到的检测标志、示出所述被摄体图像是否被设置为跟踪对象的跟踪对象标志以及第一位置，所述第一位置是所述被摄体图像在图像内上次被检测到的位置；

从所述图像检测所述被摄体图像；

如果所述第一位置位于离所述被摄体图像被检测到的位置预定义距离之内，则将与所述第一位置相对应的识别ID指派给所述被摄体图像并将指示所述被摄体图像被检测到的值设置到所述检测标志；

当所述检测标志指示所述被摄体图像被检测到时，将框叠加在所述被摄体图像上并显示；以及

当所述跟踪对象标志指示所述被摄体图像被设置为跟踪对象时，将所述框以与所述跟踪对象标志指示所述被摄体图像未被设置为跟踪对象时显示的框不同的粗度或颜色来显示。

8.根据权利要求7所述的图像处理方法，其中，如果所述第一位置未位于离所述被摄体图像被检测到的位置预定义距离之内，则将新的识别ID指派给所述被摄体图像并将指示所述被摄体图像被检测到的值设置到所述检测标志。

9.根据权利要求7所述的图像处理方法，包括：

存储第一时间，所述第一时间是所述被摄体图像上次被检测到时的时间；并且

当自所述第一时间起经过了预定义时间时，删除所述第一时间以及与所述第一时间相对应的所述识别ID、所述检测标志、所述跟踪对象标志和所述第一位置。

10.根据权利要求7所述的图像处理方法，其中，所述被摄体图像为人的脸部图像。

11.根据权利要求7所述的图像处理方法，其中，所述被摄体图像为人的特定服装的图像。

Images