CN101739552A - 宠物图像检测系统及其控制方法 - Google Patents

Abstract

从被摄对象的图像中检测人物的图像，并且识别已经检测到的人物图像中的人物。从个人信息表中找到与所识别出的人物相关的宠物信息，所述个人信息表指示人物和与这些人物相关联的宠物信息之间的对应关系。从被摄对象的图像中找到所查找到的宠物信息中的宠物的图像。这样，检测到了与该特定人物相关联的宠物的图像，而不是找到包含于所述被摄对象图像中的所有动物。因此，能以相对简单的方式检测到宠物图像。

Description

宠物图像检测系统及其控制方法

技术领域

本发明涉及一种宠物图像检测系统及控制该系统的方法。

背景技术

存在着具有脸识别功能的数码相机等设备。为了达到此目标，已经开发出具有脸识别能力的设备(见日本专利特许公开申请第2004-302644号)。

以与检测人脸相同的方法来考虑对宠物的检测。然而，当试图提升检测速度时，需要大量的数据并且会产生高速的检测错误。

发明内容

本发明的目的是检测宠物图像。

根据本发明，上述目标通过提供图像检测系统而获得，该系统包括：用于检测包含在被摄对象的图像中的人物图像的人物图像检测装置；用于识别人物图像检测装置所检测到的人物图像中的人物的人物识别装置；用于从宠物图像数据库中查找宠物信息的宠物信息检测装置，该宠物信息与人物识别装置所识别出的人物相关联，在所述宠物数据库中与人相对应地存储有与该人物相关联的宠物信息；以及用于从被摄对象图像中检测出通过宠物信息检测装置已经检测出的宠物信息中的宠物图像的宠物图像检测装置。

本发明还提供了一种适合上述宠物图像检测系统的操作控制方法。该方法包括如下步骤：检测包含在被摄对象的图像内的人物图像；识别所检测到的人物图像中的人物；从宠物图像数据库中查找宠物信息，该宠物信息与所识别出的人相联系，在宠物图像数据库中，与人相对应地存储有与该人物相关联的宠物信息；以及从被摄对象的图像中检测出所找到的宠物信息的宠物图像。

根据本发明，检测包含在被摄对象的图像中的人物图像，同时识别所检测到的人物图像中的人物。宠物信息与人(比如饲养该宠物的人)相关联并与该人物相对应地存储到宠物信息数据库中。从宠物信息数据库中查找与所识别的人物相关联的宠物信息，并且在宠物信息中检测所找到的宠物信息中的宠物图像。当人物的图像和动物图像在被摄对象的图像中同时出现时，该动物图像很可能是与该人物相关联的宠物图像。因此，如果识别出被摄对象的图像中的人物，那么就从该被摄对象的图像内检测与所识别出的人物相关联的宠物图像。因为仅需要从被摄对象的图像而并非动物图像中查找特定宠物的图像，所以能相对简单地找到宠物图像。

宠物图像检测装置使用宠物字典数据来检测宠物图像，该宠物字典数据代表与宠物信息检测装置所检测到的宠物信息相对应的宠物特征，其中宠物字典数据与宠物或该宠物的种类相对应地存储在宠物信息数据库中。

该系统进一步可以包括计时器，用来从宠物图像检测装置开始宠物图像检测处理时进行计时；以及停止装置，用来根据计时器中的固定时间段的消逝来控制宠物图像检测装置，以便停止宠物图像检测处理。

该系统还可以包括报警装置，用来指示信息的输入，以响应于通过宠物信息检测装置没有找到宠物信息；以及用来输入宠物信息以响应于报警装置的指示的宠物输入装置。

举例说明，宠物图像检测装置从被摄对象图像中检测宠物信息中的宠物图像，该宠物信息从通过宠物信息输入装置输入。

举例说明，宠物图像检测装置从被摄对象图像中检测通过宠物信息检测装置检测到的宠物信息中的宠物图像，以及从被摄对象图像中检测除了宠物信息中的宠物图像之外的宠物信息检测装置检测到的动物图像。在这种情况下，该系统优选地进一步包括宠物信息存储装置，用于将宠物图像检测装置检测到的动物图像中的动物存储为与人物识别装置所识别出的人物相对应的宠物信息。

本发明的其他特征和优点通过以下描述和附图显而易见，其中

在所有附图中相同的参考标号表明相同的或者类似的部件。

附图说明

图1是说明根据本发明的第一实施例的宠物图像检测系统的电子配置的框图；

图2是人物信息表的实例；

图3是个人信息表的实例；

图4是人脸字典表的实例；

图5到图7是被摄对象图像的实例；

图8是说明第一实施例的宠物图像检测系统所执行的处理的流程图；

图9是说明根据本发明的第二实施例的宠物图像检测系统的电子配置的框图；

图10是说明根据第二实施例的宠物图像检测系统所执行的处理的流程图；

图11是说明根据本发明的第三实施例的宠物图像检测系统的电子配置的框图；

图12是说明第三实施例的宠物图像检测系统所执行的处理的流程图；

图13是说明根据本发明的第四实施例的宠物图像检测系统的电子配置的框图；

图14是说明根据第四实施例的宠物图像检测系统所执行的处理的流程图。

具体实施方式

现在参照图样描述本发明的实施例。

图1是说明根据本发明的第一实施例的宠物图像检测系统1的电子配置的框图。

输入到通信系统1的被摄对象图像数据被输入到个人识别单元4、脸检测单元7和显示控制单元8。个人识别单元4包括脸图像检测器(图中未显示)和存储人物信息表的存储器(图中未显示)。个人识别单元4从由被摄对象图像数据代表的被摄对象的图像中检测人脸的图像(或者人的图像本身)。当检测到脸图像时，利用人物信息表从所检测到的脸图像中识别包括在被摄对象的图像中的人物图像中的人物。

图2是存储在个人识别单元4中的人物信息表的实例。

人物信息表用来从检测到的脸图像中识别带有脸图像的脸的人物。与眉毛、眼睛、鼻子、嘴巴和其他面部特征相应地存储在该表中的是具有这些面部特征的人物的姓名。这样，具有所检测到的脸的图像的脸的人物就基于能够从所检测到的脸的图像中确定出来的脸的特征被识别出来。

再次参照图1，当包含在被摄对象的图像中的人物在个人识别单元4中被识别出时，代表所识别出来的人物的姓名的数据被输入到个人信息获取单元5。个人信息表已存储在个人信息数据库2中。

图3是个人信息表的实例。

与人物相关联地存储在个人信息表中的是已经与这些人建立关联的宠物信息。(例如，宠物信息是关于这些人正在饲养的宠物的信息，但宠物并非必须要这些人来饲养。宠物信息可以是有关被其他的人(比如这些人的家庭成员)来饲养的宠物的信息。举例说明，这样就可以理解了，A先生和一只宠物猫相关联，B先生和一只宠物狗相关联，C先生和一只宠物狗以及一只宠物猫相关联。如果能够确定人物，那么通过查阅个人信息表就能够确定与该人物相关联的宠物。

在图3所示的例子中，与人相对应地存储与人物相关联的宠物，但是，也可以与人相对应地存储宠物的种类。

再参考图1，当表示在个人识别单元4中识别出的人物的姓名的数据输入到个人信息获取单元5时，从个人信息数据库2中读出已经与该数据表示的人物建立关联的宠物信息。所读出的宠物信息从个人信息获取单元5输入到脸字典控制单元6。

脸字典表已存储在脸字典数据库3中。

图4是脸字典表的例子。

每个宠物和宠物种类的特征数据(脸字典)存储在脸字典表中。如果已知宠物名字或宠物种类，那么可以确定为了检测到该宠物或宠物种类的宠物图像所必需的特征数据。因此，特定宠物或者特定宠物种类的宠物图像可以通过特征数据来检测。

再参考图1，宠物信息输入到脸字典控制单元6，脸字典控制单元6使用与宠物信息相应的特征数据来控制脸检测单元7，通过这种方式从被摄对象图像中检测出宠物的脸图像。将表示所检测到的宠物的脸图像的位置的数据施加给显示控制单元8。被摄对象图像通过显示控制单元8显示在显示单元9的显示屏上，这样，所检测到的宠物的脸图像周围显示出边框。

图5到图7是被摄对象图像的实例。

如图5所示，人物图像11和宠物图像12包含在被摄对象图像10中。如果宠物的脸图像不能被检测到，则在人物图像11的脸图像部分周围显示出边框13，以使只有人脸图像将被检测到。例如，可以进行亮度调整等，使得在边框13内的脸图像部分会有适当的亮度。

类似地，如图6所示，人物图像11和宠物图像12包含在被摄对象图像10中。这里，假定人物图像11中的人物从脸图像部分识别出是A先生。在此实施例中，可以确定与A先生相关联的宠物是一只猫，因此，采用猫的特征数据来检测被摄对象图像10是否包括猫的图像12。如果包括猫的图像12，那么在猫的脸图像部分周围显示出边框14。由于从被摄对象图像10中检测出与A先生相关联的宠物猫的图像，而并非所有动物的图像，因此可以得到相对较高的检测精度。

如图7所示，人物图像16和猫图像12包含在被摄对象图像15中。这里，假定人物图像16中的人物从人脸图像部分识别出来是B先生。由于与B先生相关联的宠物是一只狗，所以采用狗的特征数据(而不用猫的特征数据)来检测被摄对象图像15是否包含狗图像。尽管被摄对象图像15包含猫图像12，但是系统并不会因为被摄对象图像15不包含狗图像而检测猫图像12。

图8是说明宠物检测系统所执行的处理的流程图。

包括在被摄对象的图像中的人物图像(或者脸图像)从被摄对象的图像中被检测出来(第21步)。如果检测到人物图像，则采用个人信息表来识别所检测到的人物图像中的人物(第22步)。如果识别出人物，那么从个人信息表中查找有关所识别出的人物的宠物信息(第23步)。这样，就确定了已经与包含在被摄对象图像中的人物建立关联的宠物。

对脸字典数据库3进行控制，使得能够从脸字典表中读取特征数据(也就是，使得不能读取其他特征数据)，该特征数据与找到的宠物信息中的宠物或宠物种类相对应。[换句话说，脸字典(特征数据)被激活或失效](第24步)。采用激活的特征数据来检测包含在被摄对象图像中的宠物图像(宠物的脸图像)。

因此，宠物的脸图像能够被检测到并且能够在脸图像部分周围显示出边框14，如图6所示。通过将代表人脸的特征数据预先存储在脸字典表中并激活该数据的读取，还能够检测出人物的脸图像，同时还能在人物的脸图像部分周围显示出边框13，如图6所示。就此而言，因为人的脸图像部分在个人识别单元4中已经被检测出来，所以通过将来自个人识别单元4的表示所检测到的脸图像部分的位置的数据提供给显示控制单元8，能够显示人物的脸图像部分周围的边框。

如果在被摄对象图像中不能检测到人物图像，则可以在激活默认宠物信息的脸字典之后进行宠物图像检测处理，或者可以在激活所有宠物信息的脸字典之后进行宠物图像检测处理。优选的是在从被摄对象图像中检测到多个人物图像的情况下，在激活关于宠物的宠物信息的脸字典之后进行宠物图像检测处理，所述宠物与所检测到的多个人物图像中的多个人物相关联。进一步，可以在激活一个宠物的宠物信息的脸字典之后进行脸图像检测处理，该宠物同时与多个人物相关联，以及可以在激活一个宠物的宠物信息的脸字典之后进行脸图像检测处理，该宠物与特定的人物相关联(比如，被摄对象图像中心的人物或者在被摄对象图像中具有最大尺寸的人物)。

在将上述宠物图像检测系统应用于数字静态相机的情况下，可以在回放时候，以及在录制的时候，当在成像模式下被摄对象图像作为动态图像显示时实施该系统。在成像模式下，当被摄对象图像作为动态图像显示的情况下，在快门释放按钮被按下的时间里，上述过程可以重复进行。因此，能够实现脸图像和宠物图像的跟踪。

图9和图10示出本发明的第二实施例。

图9是说明根据第二实施例的宠物图像检测系统1A的电子配置的框图。图9中与图1中同样的组成部分由类似的参考字母标明，不需要再对这些组成部分进行描述。

图9所示的宠物图像检测系统1A具有计时器31。从在脸检测单元7中检测宠物图像的处理开始时计时器31开始计时。当在计时器31中经过固定的时间段时，表明该时间流逝的数据从计时器31提供给脸字典控制单元6。作为回应，脸字典控制单元(停止部件)6通过脸检测单元7停止脸检测处理。因此检测宠物图像的过程可以限制在固定的时间段内。

图10是说明宠物图像检测系统1A所执行的处理的流程图。图10中与图8中相同的处理步骤标有相同的步骤号码，不必再次对这些处理步骤进行描述。

当如上所述的检测宠物图像的处理通过采用激活的脸字典来执行时，计时器31开始计时(步骤41)。如果不能检测到宠物图像(在步骤42为“否”)，则检查是否经过了预设的时间段(步骤43)。执行用于检测宠物图像的处理，直到经过了预设的时间段(在步骤43为“否”)。当经过了预设时间段，检测宠物图像的处理停止(步骤44)。

当检测到宠物图像时(步骤42为“是”)，图10中所示的处理结束。不言而喻，计时器31被复位，以响应于宠物图像的检测或者预设的时间段的流逝。

图11和图12说明本发明的第三实施例。

图11是说明根据第三实施例的宠物图像检测系统1B的电子配置的框图。

图11中与图1中相同的组成部分标有相同参考字母，不必再对这些组成部分进行描述。

图11所示的宠物图像检测系统1B具有一个键盘(宠物信息输入部件)32和用来指示用户输入宠物信息的显示单元(报警部件)33。当系统检测不到包含在被摄对象图像中的人物图像所指的人物的宠物信息时，通过个人信息获取单元5在显示单元33上显示宠物信息输入指示。通过查看输入指示，用户从键盘32输入宠物信息和人物的姓名。所输入的宠物信息与该人物相对应地存储在个人信息表中。鉴于用户能够确定还没输入宠物信息，所以用户能够输入宠物信息。

图12是说明宠物图像检测系统1B所执行的处理的流程图。图12中与图8中相同的处理步骤标有相同数字，不必再对这些处理步骤进行描述。

如果不能找到所识别出来的人物的宠物信息(步骤51为“否”)，则以上述方式显示输入宠物信息的指示(步骤52)。当宠物信息被输入时(步骤53)，输入的宠物信息与人相对应地被加入到个人信息表中(步骤54)。此后，加入的宠物信息的脸字典被激活(步骤55)并且执行用于检测宠物图像的处理(步骤25)。

图13和图14说明本发明的第四实施例。

图13是说明根据第四实施例的宠物图像检测系统1C的电子配置的框图。图13中与图1中相同的部件标有相同参考字母，不必再对这些部件进行描述。

该实例包括个人信息设置单元34。在上述实施例中，从个人信息表中检测出与从被摄对象图像中识别出的人物相关联的宠物，所检测到的宠物的脸字典被激活并且宠物图像被检测到。也就是说，只有从存储在个人信息表中的宠物信息中确定的宠物图像才能在被摄对象图像中被检测到。在第四实施例中，在从存储在个人信息表中的宠物信息中确定的宠物图像被检测到以后，执行包含在被摄对象图像中的所有动物的图像检测处理。如果检测到除了从存储在个人信息表中的宠物信息中确定的宠物之外的动物的图像时，那么从脸检测单元7向个人信息设置单元34提供代表这些被检测到的动物的图像数据。被检测到的动物通过个人信息设置单元34作为宠物重新存储在个人信息表中。

图14是说明宠物图像检测系统1C所执行的处理的流程图。图14中与图8中相同的处理步骤标有相同数字，不必再对这些步骤进行描述。

如上所述，当使用激活的脸字典来检测宠物图像时，在该实施例中，通过采用宠物信息的所有脸字典来对包含被摄对象图像中的动物图像进行检测(第61步)。如果一个动物的图像被找到(步骤62为“是”)，那么所找到的动物会作为宠物信息被存储在个人信息表中(步骤63)。

例如，如图7所示，在被摄对象图像15中包含有B先生的情况下，基于个人信息表，与B先生相关联的宠物是狗，这个事实就意味着即便在被摄对象图像15中包含猫图像12，但是也检测不到猫图像。然而，在该实施例中，猫图像12被检测到，并且将猫作为与B先生相关联的宠物信息添加。因此，下一次猫图像和狗图像都能被检测到。

由于上述的处理需要相当长的时间，因此优选的是图像回放时执行该处理。

由于在不脱离本发明的实质和范围的情况下，能够形成本发明的许多显然不同的实施例，因此，可以理解，本发明并不局限于具体的实施例，而是由所附的权利要求进行限定。

Claims (6)

1.一种宠物信息检测系统，其包括：

人物图像检测装置，用来检测包含于被摄对象的图像中的人物图像；

人物识别装置，用来识别通过所述人物图像检测装置所检测到的人物图像中的人物；

宠物图像检测装置，用来从宠物图像数据库中查找宠物信息，该宠物信息与所述人物识别装置所识别的人物相关联，在所述宠物图像数据库中与人相对应地存储了与该人物相关联的宠物信息；以及

宠物图像检测装置，用于从被摄对象图像中检测所述宠物信息检测装置所检测到的宠物信息中的宠物图像。

2.根据权利要求1所述的系统，其中所述宠物图像检测装置使用与所述宠物信息检测装置所检测到的宠物信息相对应的表示宠物特征的宠物字典数据来检测宠物图像，其中在宠物信息检测装置中与宠物或者宠物种类相对应地存储了宠物字典数据。

3.根据权利要求1所述的系统，还包括计时器，用于在所述宠物图像检测装置开始宠物图像检测处理时开始计时；以及

停止装置，用于根据所述计时器中固定时间段的流逝来控制所述宠物图像检测设备，以便停止宠物图像检测处理。

4.根据权利要求1所述的系统，还包括

报警装置，用于指示信息的输入，以响应于所述宠物信息检测装置没有找到宠物信息；以及

宠物输入装置，用于输入宠物信息，以响应于所述报警装置的指示；

其中所述宠物图像检测装置从被摄对象图像中检测从所述宠物信息输入装置输入的宠物信息的宠物图像。

5.根据权利要求1所述的系统，其中所述宠物图像检测装置从被摄对象图像中检测通过所述宠物信息检测装置已经检测到的宠物信息的宠物图像，以及，从被摄对象图像中检测除了所述宠物信息检测装置已经检测到的宠物信息的宠物图像之外的动物图像；并且所述系统还包括：

宠物信息存储装置，用于将所述宠物图像检测装置所检测到的动物图像中的动物作为与所述人物识别装置所识别的人物相对应的宠物信息存储起来。

6.一种控制宠物图像检测系统的操作的方法，包括如下步骤：

检测包含在被摄对象图像中的人物图像；

识别所检测到的人物图像中的人物；

从宠物图像数据库中查找与所识别出的人相关联的宠物信息，在宠物图像数据库中，与人对应地存储了与该人物相关联的宠物信息；以及

从被摄对象图像中检测所查找到的宠物信息的宠物图像。

Images