CN109858319A - 图像处理设备及控制方法和非暂时性计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像处理设备及控制方法和非暂时性计算机可读存储介质。在第一检测处理和第二检测处理之间,执行第一检测处理和第二检测处理中的、与同摄像装置的安装有关的设置相对应的检测处理，其中在第一检测处理中，在不使用表示移动体是否是预定物体的辨别结果的情况下执行与该移动体有关的检测处理，以及在第二检测处理中，通过使用辨别结果来执行检测处理。

Description

图像处理设备及控制方法和非暂时性计算机可读存储介质

技术领域

本发明涉及图像处理设备及其控制方法和非暂时性计算机可读存储介质，尤其涉及用于执行与拍摄图像中的移动体有关的检测处理的技术。

背景技术

存在一种在由监视照相机拍摄的视频中检测和追踪物体或人体的技术。在由监视照相机拍摄的视频中，由于被摄体的面部或人体的特征可能不总是出现在易于检测的方向上，因此难以连续检测到面部或人体。因此，为了进行局限于诸如面部或人体等的特定物体的追踪，提出了一种用于判断与面部或人体相关联的移动体的通过的方法。

另外，使用鱼眼透镜的监视照相机可以通过使用比普通广角透镜宽得多的视角来进行摄像。然而，由于使用鱼眼透镜的监视照相机所拍摄的视频的形状是圆形的，因此视频周围的部分可能被浪费地显示为黑框，或者根据视频拍摄中所使用的视角而可能获取到由于透镜的失真而大幅失真的拍摄视频。

因此，在查看器中进行用于根据对所接收到的拍摄视频的失真的校正之后所接收到的拍摄视频来创建矩形形状的视频的操作，或者进行监视照相机发送在监视照相机内部进行图像处理之后的失真校正后的视频的操作。

日本特征2012-103752公开了一种将移动体的检测结果与人体的检测结果相关联并通过向过去追溯到与人体相关联的移动体的位置信息来判断移动体的通过的方法。此外，日本特开2016-25516公开了如下方法：自动估计照相机的安装方向，并且通过与估计结果相对应的方法来校正拍摄图像的失真。

在日本特开2016-39539所公开的发明中，根据照相机的安装方向来确定在鱼眼透镜所拍摄的视频中要开始人体检测处理的区域。随后，在执行与照相机的安装方向相对应的失真校正处理之后，从与所确定的优先区域相对应的部分起执行人体检测处理。

日本特开2014-204375公开了一种通过使用多个照相机来检测特定物体的方法。日本特开2014-204375中所公开的发明通过安装在天花板上的照相机来估计人的移动方向和面部的方向，在人的正面被估计为要面对照相机的情况下进行面部检测处理，并且在人的背面被估计为要面对照相机的情况下进行人体检测处理。

然而，由于日本特开2012-103752中所公开的发明执行对所累积的轨迹数据的检测处理，因此需要许多存储区域来记录轨迹。另外，日本特开2012-103752没有提到视频的外观根据照相机的安装方向的差异，并且特别地没有考虑到在鱼眼透镜用于视频拍摄的情况下的特定物体的检测精度。因此，存在如下问题：在由鱼眼透镜所拍摄的视频的情况下，通过判断的精度将根据物体的检测位置和照相机的安装方向而劣化。

在日本特开2016-25516和2016-39539分别公开的发明中，在照相机安装在天花板上的情况下，在照相机中进行利用双全景方法的失真校正处理。双全景方法通常用于校正鱼眼透镜的失真，但是问题在于照相机正下方的区域是无法进行检测的盲点。日本特开2014-204375所公开的发明需要两个或更多个照相机来精确地检测人，并且无法由单个照相机支持。

发明内容

本发明是考虑到上述问题而做出的，并且提供了更容易进行与拍摄图像中的移动体有关的检测处理的技术。

根据本发明的第一方面，提供一种图像处理设备，包括：执行单元，其被配置为在第一检测处理和第二检测处理之间，执行所述第一检测处理和所述第二检测处理中的、与同摄像装置的安装有关的设置相对应的检测处理，其中在所述第一检测处理中，在不使用表示所述摄像装置所拍摄的拍摄图像中的移动体是否是预定物体的辨别结果的情况下执行与该移动体有关的检测处理，以及在所述第二检测处理中，通过使用所述辨别结果来执行与该移动体有关的检测处理；以及输出单元，其被配置为输出所述执行单元的执行结果。

根据本发明的第二方面，提供一种图像处理设备的控制方法，所述控制方法包括：在第一检测处理和第二检测处理之间，执行所述第一检测处理和所述第二检测处理中的、与同摄像装置的安装有关的设置相对应的检测处理，其中在所述第一检测处理中，在不使用表示所述摄像装置所拍摄的拍摄图像中的移动体是否是预定物体的辨别结果的情况下执行与该移动体有关的检测处理，以及在所述第二检测处理中，通过使用所述辨别结果来执行与该移动体有关的检测处理；以及输出执行结果。

根据本发明的第三方面，提供一种非暂时性计算机可读存储介质，其存储用于使计算机执行图像处理设备的控制方法的计算机程序，所述控制方法包括：在第一检测处理和第二检测处理之间，执行所述第一检测处理和所述第二检测处理中的、与同摄像装置的安装有关的设置相对应的检测处理，其中在所述第一检测处理中，在不使用表示所述摄像装置所拍摄的拍摄图像中的移动体是否是预定物体的辨别结果的情况下执行与该移动体有关的检测处理，以及在所述第二检测处理中，通过使用所述辨别结果来执行与该移动体有关的检测处理；以及输出执行结果。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出系统结构的示例的框图；

图2是移动体通过检测处理的流程图；

图3是示出步骤S212中所进行的处理的细节的流程图；

图4A和4B分别是用于说明步骤S202和S203的处理的图；

图5是示出系统结构的示例的框图；

图6是用于说明人体检测处理的图；以及

图7是示出根据第二实施例的处理的流程图。

具体实施方式

现在将参考附图来描述本发明的实施例。注意，下面要描述的实施例是本发明的详细实现的示例或所附权利要求中所描述的布置的详细示例。

[第一实施例]

首先，将通过使用图1的框图来描述根据第一实施例的系统的结构的示例。如图1所示，根据本实施例的系统包括诸如布置在实际空间中的监视照相机等的照相机装置1000以及经由无线或有线网络连接到照相机装置1000的终端装置2000。

将首先描述终端装置2000。终端装置2000是诸如智能电话、平板终端装置或PC(个人计算机)等的计算机装置，并且进行对照相机装置1000的设置和控制以及显示由照相机装置1000拍摄的视频。

CPU 201通过使用存储在RAM 202和ROM 203中的计算机程序和数据来执行各种处理。这使得CPU 201能够控制终端装置2000整体的操作以及控制或执行后述的各处理操作作为要由终端装置2000执行的处理操作。

RAM 202包括用于存储从ROM 203和外部存储装置206加载的计算机程和数据、以及经由I/F(接口)207从照相机装置1000接收到的视频等的区域。此外，RAM 202包括CPU201用以执行各种处理的工作区域。以这种方式，RAM 202可以适当地提供各种区域。ROM203存储不需要重写的计算机程序和数据，诸如终端装置2000的设置数据和基本程序等。

操作单元204包括诸如键盘和鼠标等的用户接口，并且用户可以操作该操作单元以向CPU 201输入各种指示。

显示单元205由CRT和液晶屏等形成，并且可以通过使用图像和字符显示CPU 201的处理结果。例如，显示单元205显示从照相机装置1000接收到的视频和用于进行照相机装置1000的各种设置的GUI(图形用户界面)。注意，操作单元204和显示单元205可以一体地形成触摸面板屏幕。

外部存储装置206是由硬盘驱动装置表示的大容量信息存储装置。在外部存储装置206中，存储OS(操作系统)、以及用于使CPU 201执行或控制将被描述为终端装置2000所进行的处理操作的各处理操作的计算机程序和数据等。外部存储装置206中所存储的计算机程序包括上述GUI的计算机程序、以及用以显示从照相机装置1000接收到的视频等的查看器的计算机程序等。外部存储装置206中所存储的数据包括终端装置2000在以下说明中作为已知信息所要处理的数据、以及上述GUI和查看器的数据等。外部存储装置206中所存储的各计算机程序和数据在CPU 201的控制下被适当地加载到RAM 202，并且成为CPU 201的处理对象。

I/F 207用作用以执行与照相机装置1000的数据通信的通信接口，并且终端装置2000通过该I/F 207与照相机装置1000交换数据。

CPU 201、RAM 202、ROM 203、操作单元204、显示单元205、外部存储装置206和I/F207全都连接到总线208。注意，图1所示的终端装置2000的结构仅仅是示例，并且可以采用任何类型的结构，只要可以执行稍后被描述为终端装置2000所进行的处理操作的处理操作即可。

接着将描述照相机装置1000。照相机装置1000是可以用作监视照相机的摄像装置，该监视照相机可以安装到墙壁或天花板并且可以拍摄摄像范围内的视频。照相机装置进行用于检测在摄像范围内物体是否已经通过的通过检测处理，并将通过检测处理的结果发送到终端装置2000。照相机装置1000可以是单个装置或者是包含在诸如智能电话或平板终端装置等的装置中的装置。

摄像单元101拍摄外部环境的视频并输出图像的各帧的图像(拍摄图像)。判断单元102判断照相机装置1000的安装方向。图像转换单元103根据判断单元102所判断出的照相机装置1000的安装方向，来输出来自摄像单元101的拍摄图像和通过对拍摄图像进行失真校正而获取到的拍摄图像其中之一。

图像编码单元104对从图像转换单元103输出的拍摄图像进行编码。控制单元105包括诸如CPU和MPU等的一个或多个处理器、以及用于保持处理器所要执行的计算机程序和数据的存储器。控制单元通过使一个或多个处理器通过使用存储在存储器中的计算机程序和数据执行处理，来控制包括图1所示的照相机装置1000的各功能单元的照相机装置1000整体的操作。I/F(接口)单元106用作用于经由网络与终端装置2000执行数据通信的通信接口。

移动体检测单元107从自图像转换单元103输出的拍摄图像中检测移动体。移动体追踪单元108通过在帧之间关联同一移动体来追踪该移动体。人体检测单元109从自图像转换单元103输出的拍摄图像中检测人(人体)。

关联单元110将从拍摄图像检测到的移动体与从拍摄图像检测到的人体相关联。保持单元111保持用于检测从图像转换单元103输出的拍摄图像中的移动体的通过的参数。通过判断单元112基于保持单元111中保持的参数来进行从图像转换单元103输出的拍摄图像中的移动体的通过的检测处理。管理单元113管理没有与人体相关联的各移动体。

接着将根据图2的流程图来描述照相机装置1000所进行的移动体通过检测处理。注意，在图2的流程图中，假设摄像单元101包括鱼眼透镜并输出鱼眼图像作为各帧的拍摄图像。

在步骤S201中，判断单元102判断照相机装置1000的安装方向。针对用于判断照相机装置1000的安装方向的结构，可以考虑各种结构，并且在本实施例中可以采用任何类型的结构。

例如，在照相机装置1000包括方向传感器的情况下，判断单元102将通过该方向传感器所测量到的“照相机装置1000的当前方向(照相机方向)”判断为照相机装置1000的安装方向。

还可以从终端装置2000获取照相机装置1000的安装方向。例如，操作者可以通过操作终端装置2000的操作单元204来设置“照相机装置1000的安装方向”，并且在设置了安装方向之后通过操作操作单元204来输入发送指示。在检测到发送指示时，终端装置2000的CPU 201经由I/F207向照相机装置1000发送已经设置的“照相机装置1000的安装方向”。这使得判断单元102能够从终端装置2000获取“照相机装置1000的安装方向”。

另外，操作者可以通过操作操作单元204来设置照相机装置1000的安装位置。在这种情况下，终端装置2000将照相机装置1000的安装位置发送到照相机装置1000。

例如，在照相机装置1000的安装位置是“墙面”的情况下，判断单元102判断为“水平方向”是照相机装置1000的安装方向，并且在安装位置是“天花板”的情况下，判断单元102判断为“铅直向下方向”是照相机装置1000的安装方向。在这种情况下，需要在照相机装置1000中预先登记示出了各安装位置与各安装方法之间的关联的表，并且判断单元102将通过参考该表来获取与照相机装置1000的安装位置相对应的安装方向。在照相机装置1000的安装位置是“墙面”并且“水平方向”被判断为安装方向的情况下，将要拍摄的区域的中心的方向设置为水平方向。在照相机装置1000的安装位置是“天花板”并且“铅直向下方向”被判断为照相机装置1000的安装方向的情况下，要拍摄的区域的中心的方向将被设置为铅直向下方向。

注意，“水平方向”并不意图与平行于地面的方向(垂直于墙面的方向)完全一致，并且相对于平行于地面的方向(垂直于墙面的方向)具有落入预定角度范围内的角度的方向也是允许的。以同样的方式，“铅直向下方向”并不意图与垂直于地面的(向下)方向完全一致，并且相对于垂直于地面的(向下)方向具有落入预定角度范围内的角度的方向也是允许的。

作为示例，图2的流程图假设“水平方向”或“铅直向下方向”作为照相机装置1000的安装方向。如果判断单元102判断为照相机装置1000的安装方向是“水平方向”，则处理进入步骤S202。如果判断单元102判断为照相机装置1000的安装方向是“铅直向下方向”，则处理进入步骤S203。

在步骤S202中，图像转换单元103根据从摄像单元101输出的鱼眼图像来生成单个全景图像，并输出所生成的单个全景图像作为处理对象图像。另一方面，在步骤S203中，图像转换单元103输出从摄像单元101输出的鱼眼图像作为处理对象图像。

在步骤S202中，例如，如图4A所示，图像转换单元103对从摄像单元101已输出的鱼眼图像401的中心的图像区域402进行失真校正，并且切出校正后的图像区域以生成单个全景图像403。图像转换单元103随后输出所生成的单个全景图像403作为处理对象图像。尽管在单个全景图像403的生成中将切出鱼眼图像401的上部和下部，但是由于上部主要拍摄天花板并且下部主要拍摄摄像单元101正下方的区域，因此这两个部分都不是人体检测所必需的区域。

在步骤S203中，如图4B所示，图像转换单元103将从摄像单元101已输出的鱼眼图像404在无需不对该鱼眼图像404进行失真校正的情况下输出作为处理对象图像。尽管人可以根据他/她在鱼眼图像404中的位置而表现出横向或颠倒，但是每一个视角都包括在图像中。远离摄像单元101的被摄体看起来更靠近图像的周边，并且摄像单元101附近的被摄体看起来更接近图像的中央。因此，根据绘制检测线的位置，图像的中央也可能成为重要检测区域。

注意，还可以在步骤S202和S203中对图像适当地进行诸如颜色校正等的图像处理。

返回参考图2，在下一步骤S205中，移动体检测单元107从自图像转换单元103已输出的处理对象图像中检测移动体(移动体区域)。可以采用各种方法作为用于检测图像中的移动体的方法，并且检测方法不限于特定方法。例如，可以保持由摄像单元101预先拍摄的背景图像(不包括人体的拍摄图像)，并且移动体检测单元107可以从图像转换单元103获取处理对象图像，并生成处理对象图像和背景图像的差图像。随后，移动体检测单元107可以检测如下区域作为移动体区域，其中该区域由在差图像中等于或大于预定值的差值作为各个像素值的像素形成。

接着，在步骤S206中，控制单元105判断移动体检测单元107是否已从处理对象图像中检测到一个或多个移动体。作为该判断的结果，如果已经从处理对象图像中检测到一个或多个移动体，则处理进入步骤S207。否则，处理返回到步骤S201。

在步骤S207中，移动体追踪单元108通过将步骤S205中检测到的移动体和从紧前的帧的处理对象图像中所检测到的移动体与同一移动体相关联来追踪帧之间的各移动体。该追踪处理是已知技术，并且将省略其详细描述。

接着，在上述步骤S201中判断单元102判断为照相机装置1000的安装方向是“水平方向”的情况下，处理经由步骤S208进入步骤S212。另一方面，在上述步骤S201中判断单元102判断为照相机装置1000的安装方向是“铅直向下方向”的情况下，处理经由步骤S208进入步骤S210。

在步骤S210中，通过判断单元112读出保持单元111所保持的“用于规定处理对象图像上的检测线的参数”。保持单元111所保持的参数是表示检测线的两端的图像坐标位置的参数。注意，保持单元111还可以存储用于规定检测区域的参数。在检测区域是矩形的情况下，该参数是表示矩形的四个角的图像坐标集的参数(可选地，例如，参数可以是表示矩形的两个对角的图像坐标集的参数，或者可以是表示矩形的一个角的图像坐标集以及垂直和水平尺寸的参数)。在检测区域是圆形的情况下，该参数是表示圆的中心的图像坐标位置和半径的参数。保持单元111所保持的参数还可以包括用于规定作为通过检测对象的移动体的参数。

操作者可以操作包括在照相机装置1000中的操作单元(未示出)来设置要保持在保持单元111中的参数，或者可以在终端装置2000的操作者操作操作单元204以设置参数之后将参数发送到照相机装置1000。在任一设置方法中，通过控制单元105来获取所设置的参数，并且将所获取到的参数存储在保持单元111中。可以适当地编辑这些参数。

通过判断单元112判断由移动体追踪单元108所追踪的移动体的移动轨迹是否已经通过由保持单元111中所保持的参数而定义的检测线(和/或检测区域)(通过检测处理)。注意，在保持单元111包括用于规定要作为通过检测对象的移动体的参数的情况下，通过判断单元112对上述步骤S205中检测到的移动体中的与该参数相对应的移动体进行通过检测处理。例如，假设保持单元111存储表示“H个垂直像素×W个水平像素”作为要成为通过检测处理对象的移动体的尺寸的参数。此时，通过判断单元112在上述步骤S205中检测到的移动体中执行尺寸等于或大于“H个垂直像素×W个水平像素”的各移动体的通过检测处理。在保持单元111存储用于规定移动体的属性(性别、衣服颜色或移动速度等)的参数的情况下，通过判断单元112对上述步骤S205中所检测到的移动体中的与该属性相对应的各移动体进行通过检测处理。

在步骤S211中，控制单元105经由I/F单元106将通过判断单元112的判断结果发送到终端装置2000。例如，在通过判断单元112检测到一个或多个移动体已经通过检测线和/或检测区域的情况下，控制单元105将通知信息发送到终端装置2000以向终端装置2000的操作者通知该通过。通知信息可以是例如表示一个或多个移动体已经通过检测线和/或检测区域的消息(这可以是文本或图像)，或者可以是包围已经通过检测线和/或检测区域的各移动体的区域的框的信息(框信息)。另外，在通过声音输出来向终端装置2000的操作者通知一个或多个移动体通过了检测线和/或检测区域的情况下，通知信息可以是与通知内容相对应的声音数据。

已经接收到这样的通知信息的终端装置2000的CPU 201进行与通知信息相对应的信息通知处理。例如，在通知信息是上述消息的情况下，CPU 201在显示单元205上显示该消息。在通知信息是框信息的情况下，CPU 201在显示单元205的显示画面上，在由框信息表示的位置(通过了检测线和/或检测区域的移动体的区域的位置)显示由框信息表示的框图像。在诸如扬声器等的声音输出装置连接到终端装置2000的情况下，CPU201使得基于通知信息中所包括的声音数据的声音从声音输出装置输出。随后，处理返回到步骤S201。

另一方面，在步骤S212中，根据图3的流程图来对处理对象图像进行通过检测处理。将根据图3的流程图来描述步骤S212的处理的细节。

在步骤S301中，人体检测单元109判断处理对象图像中的各移动体区域(图像区域)是否是人体区域。可以采用各种处理作为用于判断处理对象图像中的各移动体区域是否是人体区域的处理，并且该处理不限于特定处理。

例如，如果移动体区域的图像特征量与预先收集的人体区域的图像特征量之间的相似度等于或大于阈值，则人体检测单元109可以判断为该移动体区域是人体区域。如果相似度小于阈值，则人体检测单元判断为移动体区域不是人体区域。

此外，例如，人体检测单元109可以基于通过将移动体区域的图像特征量输入到已经学习了预先收集的人体区域的图像特征量的学习装置而获取到的学习装置的输出，来判断该移动体区域是否是人体区域。

以这种方式，可以通过步骤S301的处理来指定处理对象图像中的各移动体区域是否是人体区域。因此，在步骤S302中，通过关联单元110将处理对象图像的移动体区域中的已经被判断为人体区域的移动体区域与“表示人体区域的信息”(人体属性)相关联。通过关联单元110将处理对象图像中的未与人体属性相关联的各移动体区域与非人体属性相关联。关联单元110所执行的该关联处理对应于移动体区域和人体区域的关联处理。

注意，可以设置为使得：人体检测单元109将在步骤S301中针对处理对象图像整体执行用以检测人体区域的处理，并且关联单元110将在步骤S302将人体属性与到处理对象图像中的人体区域的距离小于阈值的各移动体区域相关联。另外，可以设置为使得：如果移动体区域整体的面积和“与人体区域重叠的面积”的比等于或大于预定值，则关联单元110将人体属性关联到该移动体区域。

注意，在处理对象图像包括彼此重叠的多个人体的情况下，存在如下可能性：在处理对象图像中，多个人体将被检测为一个移动体区域。在一个移动体区域中可以包括多个人体区域的情况下，关联单元110可以根据各人体区域来分割一个移动体区域，并将人体属性关联到各人体区域。以这种方式，通过将图像中看起来像人体区域的移动体区域与人体属性相关联，可以在后续处理中将通过检测处理的对象缩小到人体。

步骤S301和S302的处理不限于特定处理，只要将人体属性与处理对象图像中看起来像人体区域的移动体区域相关联、并且将非人体属性与在处理对象图像中看起来不像人体区域的移动体区域相关联。

在步骤S303中，通过判断单元112判断处理对象图像的移动体区域中是否剩余尚未被选择作为通过检测对象的移动体区域。作为该判断的结果，如果存在尚未被选择的剩余移动体区域，则处理进入步骤S304。否则，处理进入步骤S308。

在步骤S304中，通过判断单元112判断处理对象图像中与人体属性相关联的移动体区域中是否剩余尚未被选择作为通过检测处理对象的移动体。作为该判断的结果，如果存在尚未被选择的剩余移动体区域，则处理进入步骤S305。否则，处理进入步骤S306。

在步骤S305中，通过判断单元112在处理对象图像中已经与人体属性相关联的移动体区域中选择尚未被选择作为通过检测处理对象的移动体区域作为选中移动体区域，并且对选中移动体区域进行通过检测处理。注意，如上所述，在保持单元111保持用于规定要作为通过检测对象的移动体的参数的情况下，将与人体属性相关联的移动体区域中的与该参数相对应的移动体区域设置为选择对象。

在步骤S305中所进行的通过检测处理中，由于将对被判断为人体的各移动体进行通过检测处理，因此可以进行监视对象局限于人体的处理，诸如用以对已经通过检测线和/或检测区域的人体的数量进行计数的处理等。

将通过判断单元112的通过检测处理的结果(判断结果)由控制单元105经由I/F单元106发送到终端装置2000。该处理随后返回到步骤S303。

另一方面，在步骤S306中，通过判断单元112判断在处理对象区域中已经与非人体属性相关联的移动体区域中是否剩余尚未被选择作为通过检测处理对象的移动体区域。作为该判断的结果，如果存在尚未被选择的剩余移动体区域，则处理进入步骤S307。否则，处理返回到步骤S303。

在步骤S307中，通过判断单元112在处理对象图像中已经与非人体属性相关联的移动体区域中选择尚未被选择作为通过检测处理对象的一个移动体区域作为选中移动体区域，并且对选中移动体区域进行上述通过检测处理。注意，如上所述，在保持单元111保持用于规定要作为通过检测对象的移动体的参数的情况下，将与非人体属性相关联的移动体区域中的与该参数相对应的移动体区域设置为选择对象。管理单元113将“处理对象图像中与非人体属性相关联的移动体区域”及其对应的“对移动体区域的通过检测处理的结果(暂时判断结果)”作为集合进行保持。该处理随后返回到步骤S303。

在步骤S308中，管理单元113判断是否正在管理一个或多个集合。作为该判断的结果，如果管理单元113正在管理一个或多个集合，则处理进入步骤S309。另一方面，如果管理单元113没有正在管理上述集合，则处理进入步骤S201。

在步骤S309中，管理单元113判断在管理单元113所管理的集合中是否存在从当前帧的处理对象图像中未检测到的移动体区域的集合。作为该判断的结果，如果在管理单元113所管理的集合中存在从当前帧的处理对象图像中未检测到的移动体区域的集合，则处理进入步骤S310。另一方面，如果在管理单元113所管理的集合中不存在从当前帧的处理对象图像中未检测到的移动体区域的集合，则处理进入步骤S311。

在步骤S310中，管理单元113从正在管理的集合中删除从当前帧的处理对象图像中未检测到的移动体区域的集合。该处理随后返回到步骤S308。

另一方面，在步骤S311中，管理单元113判断管理单元自身正在管理的集合中是否存在具有与从当前帧的处理对象图像检测到的移动体区域(与人体属性相关联的移动体区域)相同的移动体区域的集合。作为该判断的结果，如果存在该集合，则处理进入步骤S312。否则，处理进入步骤S314。

在步骤S312中，控制单元105经由I/F单元106向终端装置2000发送管理单元113所管理的集合中的具有与从当前帧的处理对象图像检测到的移动体区域(与人体属性相关联的移动体区域)相同的移动体区域的集合中所包括的通过检测处理的结果。注意，在步骤S312中，控制单元105和/或通过判断单元112可以经由I/F单元106向终端装置2000发送从当前帧的处理对象图像检测到的移动体区域(与人体属性相关联的移动体区域)的通过检测处理结果中的与管理单元113所管理的集合相对应的通过检测处理结果。

在步骤S313中，管理单元113从正在管理的集合中删除具有与从当前帧的处理对象图像检测到的移动体区域(与人体属性相关联的移动体区域)相同的移动体区域的集合。

在步骤S314中，控制单元105判断管理单元113所管理的集合中是否存在到期集合。例如，控制单元105判断为：在管理单元113所管理的集合中，从管理单元的管理开始起经过了预定时间以上的集合是到期集合。作为该判断的结果，如果在管理单元113所管理的集合中存在到期集合，则处理进行到步骤S315，以及如果在管理单元113所管理的集合中不存在到期集合，则处理进入步骤S308。在步骤S315中，管理单元113删除到期集合。该处理随后返回到步骤S308。

以这种方式，根据本实施例，可以针对相同的判断参数进行适合于照相机的安装方向的通过判断处理，并且可以在使得能够容易地进行设置的同时精确地判断人的通过。

[第二实施例]

在第一实施例中，由于在照相机装置1000的安装方向是铅直向下方向的情况下没有进行图像中的人体区域辨别，因此没有进行考虑到人体区域的通过检测处理。在第二实施例中，在照相机装置1000中登记了用于人体区域辨别的词典的情况下，即使照相机装置1000的安装方向是铅直向下方向，由于可以辨别图像中的人体区域，因此将进行考虑到人体区域的通过检测处理。在下文中将仅描述与第一实施例的不同之处，并且除非特别提及，否则将假设与第一实施例的结构相同的结构。

以下将参考图5的框图来描述根据本实施例的系统的结构的示例。如图5所示，图5所示的结构是通过将判断单元115和添加单元114添加到图1所示的结构中的照相机装置1000而形成的结构。

在第一实施例和第二实施例中，在照相机装置1000中，预先登记了作为用于在处理对象图像中辨别直立人体(从图像的上部到下部从头到脚拍摄到的人体(下文中称为直立人体))的词典的正立方向词典(frontal direction dictionary)。此外，在第一实施例以及本实施例中，人体检测单元109可以使用该正立方向词典从处理对象图像中辨别直立人体区域。

除此之外，本实施例还包括用于将附加词典登记到照相机装置1000以使得能够辨别在图像中旋转的人体区域的结构。添加单元114是用于将这样的附加词典添加并登记到照相机装置1000的单元。对于向照相机装置1000登记附加词典的方法可以考虑各种方法，并且在本实施例中可以采用任何方法。例如，在诸如SD卡或USB存储器等的存储器装置安装到照相机装置1000的情况下，添加单元114可以从存储器装置读出附加词典并且在照相机装置1000中登记该附加词典。在已经从终端装置2000发送了附加词典的情况下，添加单元114接收所发送的该词典并将该词典登记在照相机装置1000中。

例如，在图6所示的鱼眼图像601的环形区域的部分区域602中拍摄到人体h1和h2，在部分区域603中拍摄到人体h3，在部分区域605中拍摄到人体h4，并且在部分区域604中没有拍摄到人体。另外，在鱼眼图像601的中央的部分区域中拍摄到人体h5。

部分区域602中拍摄到的人体h1和h2都是直立人体。因此，人体检测单元109可以使用正立方向词典来进行人体辨别处理，结果可以从部分区域602辨别出人体h1和h2。

部分区域603中拍摄到的人体h3是从鱼眼图像601的左端到右端从头到脚拍摄到的人体(以下称为横向人体)。因此，添加单元114可以将用于辨别这样的横向人体的词典(横方向词典)作为附加词典登记到照相机装置1000，使得人体检测单元109可以使用横方向词典来进行人体辨别处理，结果可以从部分区域603辨别出人体h3。

部分区域605拍摄到的人体h4是从鱼眼图像601的下部到上部从头到脚拍摄到的人体(下文中称为倒立人体)。因此，添加单元114可以将用于辨别这样的倒立人体的词典(倒立方向词典)作为附加词典登记到照相机装置1000，使得人体检测单元109可以使用倒立方向词典来进行人体辨别处理，结果从部分区域605辨别出人体h4。

在本实施例中，假设添加单元114新将横方向词典和倒立方向词典作为附加词典附加地登记到已经预先登记了正立方向词典的照相机装置1000。因此，可以进行用于辨别移动体是否是人体的处理，只要移动体位于部分区域602、603、604和605之一中即可。

虽然这里如上所述在鱼眼图像601的中央区域拍摄到人体h5，但是由于该人体不是正立人体、横向人体或倒立人体，因此即使使用正立方向词典、横方向词典和倒立方向词典之一，人体h5也不被辨别为人体。然而，由于该人体h5将被检测为移动体，因此它将与非人体属性相关联。

在本实施例中，在根据图2的流程图的处理开始之前，执行根据图7的流程图的处理。在步骤S701中，判断单元102通过与上述步骤S201中的处理相同的处理来判断照相机装置1000的安装方向。作为该判断的结果，如果照相机装置1000的安装方向被设置为水平方向，则处理进入步骤S702。如果照相机装置1000的安装方向被设置为铅直向下方向，则处理进入步骤S704。

在步骤S702中，判断单元115判断为可以对处理对象图像进行人体辨别处理。另一方面，在步骤S704中，判断单元115判断是否已经通过添加单元114将横方向词典和倒立方向词典附加地登记到照相机装置1000。作为该判断的结果，如果判断已经通过添加单元114附加地登记了横方向词典和倒立方向词典，则处理进入步骤S705。如果判断为添加单元114没有附加地登记横方向词典和倒立方向词典，则处理进入步骤S706。

在步骤S705中，判断单元115判断为可以对处理对象图像进行人体辨别处理。另一方面，在步骤S706中，判断单元115判断为无法对处理对象图像进行人体辨别处理。

如上所述，由于如果照相机装置1000的安装方向是水平方向、则判断单元115将判断为“可以对处理对象图像进行人体辨别处理”，因此在图2的步骤S212中，将以与第一实施例相同的方式进行根据图3的流程图的处理。注意，正立方向词典是此时人体检测单元109将使用的词典。

另一方面，即使照相机装置1000的安装方向是铅直向下方向，在如上所述登记了横方向词典和倒立方向词典的情况下，判断单元115也将判断为“可以对处理对象图像进行人体辨别处理”。因此，在这种情况下，在步骤S210中，人体检测单元109将进行与图3的流程图相对应的处理。在该处理期间，在步骤S301中，除了正立方向词典之外，还将使用横方向词典和倒立方向词典来执行用以判断各移动体是否是人体的处理。此外，在这种情况下，可以省略步骤S211的处理。

在照相机装置1000的安装方向是铅直向下方向但是尚未登记横方向词典和倒立方向词典的情况下，判断单元115将判断为“无法对处理对象图像进行人体辨别处理”。因此，在这种情况下，在步骤S210中，人体检测单元109将进行与第一实施例中的处理相同的处理。

以这种方式，根据第二实施例，由于基于附加人体词典的存在/不存在来判断执行人体检测的可能性，因此即使在照相机装置1000的安装方向是水平或铅直向下的情况下，也可以在添加了人体词典时判断已经与人体属性相关联的移动体的通过。

[第三实施例]

图1和5各自所示的照相机装置1000的功能单元可以通过硬件来实现，或者一些功能单元可以通过软件来实现。例如，可以在控制单元105所包括的存储器中存储用于使控制单元105执行除摄像单元101、控制单元105、I/F单元106和保持单元111以外的一个或多个功能单元的功能的计算机程序。在这种情况下，该计算机程序由包括在控制单元105中的处理器执行，由此使得控制单元105能够实现相应功能单元的功能。

图1和5各自所示的照相机装置1000可以通过两个或更多个装置形成。例如，图1和5各自所示的照相机装置1000可以由用作摄像单元101的摄像装置以及包括摄像单元101以外的功能单元组的计算机装置形成。在这种情况下，摄像装置和上面已经描述的终端装置2000连接到计算机装置。摄像装置和计算机装置可以协同操作以用作上述照相机装置1000。

图1和5各自所示的照相机装置1000的结构可以适当地改变。例如，在图1和5的结构中，尽管通过图像编码单元104对从图像转换单元103输出的图像进行压缩编码，但是也可以省略图像编码单元104，并且可以在无需进行压缩编码处理的情况下将从图像转换单元103输出的图像发送到终端装置2000。还可以设置为使得可以根据来自用户等的指示来切换利用图像编码单元104的压缩编码的执行。另外，即使在要执行压缩编码的情况下，压缩编码方法也不特别限于特定的压缩编码方法。

尽管在图1和图5各自中照相机装置1000和终端装置2000各自的数量是一个，但是照相机装置1000和终端装置2000各自的数量不限于一个，并且可以是两个或更多个。终端装置2000以外的装置也可以连接到照相机装置1000。

另外，代替第一实施例和第二实施例中的“人体区域”，也可以将诸如“动物”、“车辆”和“建筑物”等的其它类型的物体区域设置为对象。此外，在第一实施例和第二实施例中，视频可以是运动图像或者定期或不定期拍摄到的静止图像的集合。

另外，由于与图3相对应的处理可以获取已经与非人体属性相关联的移动体区域的通过检测结果，因此可以向操作者通知该情况。也就是说，通过检测处理的人体区域检测结果的使用方法不特别限于特定使用方法。

另外，第一实施例和第二实施例假设在照相机装置1000的安装方向是铅直向下方向的情况以及不存在人体辨别词典的情况下将不进行用于辨别移动体是否是人体的处理。这种状态也可能在图像中的移动体难以辨别或无法被辨别为人体的情况下引起。因此，除根据照相机装置1000的安装方向以及是否存在人体辨别词典之外，可以根据照相机装置1000的摄像条件是否处于难以辨别人体的状态来切换是否进行人体辨别。“照相机装置1000的摄像条件处于难以辨别人体的状态”的情形例如包括摄像单元101的摄像环境的亮度太暗或太亮以及存在浓雾等的情形。例如，在步骤S208中，如果摄像条件处于难以辨别人体的状态，则可以设置为使得处理进入步骤S210。如果摄像条件处于不难辨别人体的状态，则可以设置为使得处理进入步骤S212。

注意，在与摄像条件是否处于“难以辨别人体的状态”有关的判断中，例如可以设置为使得：在照相机装置1000中所包括的传感器检测到预定水平以下的亮度或预定水平以上的亮度的情况下，将判断为“难以辨别人体的状态”。另外，可以设置为使得：在拍摄图像中存在大量模糊的情况下，将判断为“难以辨别人体的状态”。注意，可以适当地组合上述实施例中的一些或全部。还要注意，可以选择性地使用上述实施例中的一些或全部。

另外，除通过检测处理以外，本发明还可适用于对包括在拍摄图像中的物体的数量进行计数的计数处理。也就是说，可以设置为使得：将与摄像装置的摄像条件相对应地执行第一计数处理和第二计数处理其中之一，其中，在第一计数处理中，在不使用表示各物体是否是特定物体(例如，人体)的辨别结果的情况下对拍摄图像中所包括的物体的数量进行计数，以及在第二计数处理中，通过使用表示各物体是否是特定物体(例如，人体)的辨别结果来对拍摄图像中所包括的物体的数量进行计数。也就是说，在摄像装置的安装方向是铅直向下方向的情况下，将执行第一计数处理，以及在摄像装置的安装方向是水平方向的情况下，将执行第二计数处理。

假设：在第一计数处理中与是否是人体无关地对移动体(或前景物体)进行计数，以及在第二计数处理中将仅对被判断为人体的移动体进行计数。例如，在步骤S210中将执行第一计数处理，并且在步骤S212中将执行第二计数处理。控制单元105将基于来自移动体检测单元107、移动体追踪单元108、人体检测单元109和关联单元110的输出来执行上述计数处理操作中的各计数处理操作。

此外，在上述说明中，作为图像处理设备的终端装置2000可以执行被描述为由作为图像处理设备的照相机装置1000所要进行的处理的处理操作(例如，分别与图2、3和7的流程图相对应的处理操作)中的一些或所有处理操作。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种图像处理设备，包括：

执行单元，其被配置为在第一检测处理和第二检测处理之间，执行所述第一检测处理和所述第二检测处理中的、与同摄像装置的安装有关的设置相对应的检测处理，其中在所述第一检测处理中，在不使用表示所述摄像装置所拍摄的拍摄图像中的移动体是否是预定物体的辨别结果的情况下执行与该移动体有关的检测处理，以及在所述第二检测处理中，通过使用所述辨别结果来执行与该移动体有关的检测处理；以及

输出单元，其被配置为输出所述执行单元的执行结果。

2.根据权利要求1所述的图像处理设备，其中，在所述摄像装置的安装方向被设置为铅直向下方向的情况下，所述执行单元执行所述第一检测处理，以及在所述摄像装置的安装方向被设置为水平方向的情况下，所述执行单元执行所述第二检测处理。

3.根据权利要求1所述的图像处理设备，其中，即使在所述摄像装置的安装方向被设置为铅直向下方向的情况下，如果在所述图像处理设备中登记了用于辨别的词典，则所述执行单元也执行所述第二检测处理。

4.根据权利要求3所述的图像处理设备，其中，所述词典是与所述拍摄图像中的移动体的方向相对应的词典。

5.根据权利要求3所述的图像处理设备，还包括：

被配置为登记所述词典的单元。

6.根据权利要求1所述的图像处理设备，其中，在所述摄像装置的摄像环境比预定亮度暗的情况下，所述执行单元执行所述第一检测处理，以及在所述摄像装置的摄像环境比预定亮度亮的情况下，所述执行单元执行所述第二检测处理。

7.根据权利要求1所述的图像处理设备，其中，作为所述第二检测处理，所述执行单元执行用以检测所述拍摄图像的移动体中已被辨别为预定物体的移动体通过所述拍摄图像中的预定位置的处理。

8.根据权利要求1所述的图像处理设备，其中，所述输出单元向外部装置发送表示所述执行单元的执行结果的信息。

9.根据权利要求1所述的图像处理设备，其中，与所述移动体有关的检测处理是用以检测所述拍摄图像中的移动体是否通过预定位置的通过检测处理。

10.一种图像处理设备的控制方法，所述控制方法包括：

在第一检测处理和第二检测处理之间，执行所述第一检测处理和所述第二检测处理中的、与同摄像装置的安装有关的设置相对应的检测处理，其中在所述第一检测处理中，在不使用表示所述摄像装置所拍摄的拍摄图像中的移动体是否是预定物体的辨别结果的情况下执行与该移动体有关的检测处理，以及在所述第二检测处理中，通过使用所述辨别结果来执行与该移动体有关的检测处理；以及

输出执行结果。

11.一种非暂时性计算机可读存储介质，其存储用于使计算机执行图像处理设备的控制方法的计算机程序，所述控制方法包括：

在第一检测处理和第二检测处理之间，执行所述第一检测处理和所述第二检测处理中的、与同摄像装置的安装有关的设置相对应的检测处理，其中在所述第一检测处理中，在不使用表示所述摄像装置所拍摄的拍摄图像中的移动体是否是预定物体的辨别结果的情况下执行与该移动体有关的检测处理，以及在所述第二检测处理中，通过使用所述辨别结果来执行与该移动体有关的检测处理；以及

输出执行结果。