CN109286755A - 信息处理装置及控制图像捕获装置的控制方法 - Google Patents

Abstract

本发明公开了一种信息处理装置及控制图像捕获装置的控制方法。所述信息处理装置包括：显示控制单元，其被构造为使显示单元在相机拍摄的第一图像上叠加显示表示最大尺寸的第一向导和表示最小尺寸的第二向导，所述最大尺寸和最小尺寸中的每一个，能够基于所述第一向导和第二向导被叠加显示在所述第一图像上的时候所执行的用户操作而改变；以及基于所述用户操作而设置所述最大尺寸和最小尺寸，所设置的最大尺寸和最小尺寸被用于从所述相机在与所述第一图像不同时间拍摄的第二图像中检测其尺寸在所设置的最大尺寸和最小尺寸之间的物体。

Description

信息处理装置及控制图像捕获装置的控制方法

本申请是在2015年1月23日提交的、申请号为2015100398742的发明创造名称为“控制装置及控制方法”的发明专利申请的分案申请。

技术领域

本发明涉及一种信息处理装置及控制图像捕获装置的控制方法。

背景技术

在监视系统和监视照相机系统中，有一种利用视频图像识别处理来检测视频图像中的运动物体的技术。而且，有一种用于持续拍摄检测到的运动物体的识别技术。该技术被称之为运动物体追踪技术。

此外，日本特开第2012-242970号公报讨论了一种视频识别，通过该视频识别来检测尺寸大于预定的最小检测尺寸的物体。然而，当变焦倍率被改变时，存在可能不会恰当地执行视频图像识别处理的可能性。

例如，在设置了要通过识别处理来检测的物体的最大尺寸和最小尺寸之后，变焦倍率可能被改变。在这种情况下，由于变焦倍率的改变，可能不能继续检测到在变焦倍率保持不变时能够被检测到的物体。而且，例如，在设置了物体的最大尺寸和最小尺寸之后，变焦倍率可能被改变。在这种情况下，由于变焦倍率的改变，则可能会检测到在变焦倍率保持不变时不能被检测到的物体。

发明内容

根据本发明的一个方面，提供了一种信息处理装置，包括：显示控制单元，其被构造为使显示单元在相机拍摄的第一图像上叠加显示表示最大尺寸的第一向导和表示最小尺寸的第二向导，所述最大尺寸和最小尺寸中的每一个，能够基于所述第一向导和第二向导被叠加显示在所述第一图像上的时候所执行的用户操作而改变；以及基于所述用户操作而设置所述最大尺寸和最小尺寸，所设置的最大尺寸和最小尺寸被用于从所述相机在与所述第一图像不同时间拍摄的第二图像中检测其尺寸在所设置的最大尺寸和最小尺寸之间的物体。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示视频图像处理系统的配置的图。

图2是例示控制装置的配置示例的框图。

图3是例示通过轨迹管理单元管理的信息的结构示例的图。

图4A和图4B是例示物体和人体之间的关联的示例的图。

图5A、图5B和图5C是例示当设置人体检测尺寸时使用的画面的示例的图。

图6A和图6B是例示用于视频图像识别处理的参数的结构示例的图；

图7是例示由控制装置执行的处理的流程图。

图8是例示由参数控制单元执行的处理的流程图。

具体实施方式

以下将参照附图详细描述本发明的各示例性实施例、特征和方面。以下在示例性实施例中描述的配置仅仅是示例，并且本发明的范围不局限于以下的配置。

图1是例示视频图像处理系统的配置的图。视频图像处理系统包括照相机101和108、诸如局域网(LAN)的网络102、个人计算机(PC)104和106以及显示器105和107。每一个照相机101和108都包括光学变焦机构。显示器105和107基于来自照相机101和108的图像数据来显示图像以及显示PC 104和106的处理结果。而且，每一个显示器105和107都能够提供当做出根据本发明的视频图像识别处理的设置时所使用的用户界面。

下面参照图2来描述第一示例性实施例的控制装置200的配置示例。在本示例性实施例的描述中，控制装置200被安装在照相机(例如，图1所示的照相机101或照相机108)中。然而，控制装置200的功能可以由例如PC(对应于图1所示的PC 104或PC 106)或安装在能拍摄运动图像的照相机内的图像处理电路来执行。另选地，控制装置200的功能可以由其他设备执行。控制装置200不仅具有在显示设备210的显示画面上显示用于设置视频图像识别处理(例如人体检测)的参数的设置画面的功能，还具有对参数设置画面设置与来自用户的指令相对应的参数的功能。在本示例性实施例中，图2所示的显示设备210对应于显示器105或107。

控制装置200包括图像获取单元201、物体检测单元202、物体追踪单元203、人体检测单元204、参数设置单元205、物体关联单元206、轨迹管理单元207、轨迹信息确定单元208和外部输出单元209。此外，控制装置200包括控制照相机的变焦机构的变焦控制单元211，以及根据变焦倍率(变焦值)控制参数的参数控制单元212。控制装置200连接于显示设备210，所述显示设备210包括例如阴极射线管(CRT)以及液晶显示器。显示设备210利用图像和字符来显示控制装置200的处理结果。下文，将主要给出在显示设备210的显示画面上显示运动图像的情况的描述。

图像获取单元201从内部摄像传感器或外部单元获取运动图像或静止图像，并且将所获取的运动图像或静止图像发送至物体检测单元202。

在获取到运动图像时，图像获取单元201顺次将构成该运动图像的每一个帧图像发送至物体检测单元202。另一方面，在获取到静止图像时，图像获取单元201将所获取的静止图像发送至物体检测单元202。运动图像或静止图像的供给源并不局限于内部摄像传感器或外部单元。例如，运动图像或静止图像可以以有线或无线方式由服务器装置或摄像装置提供。另选地，替代外部单元，可以从控制装置200内部的存储器获取运动图像或静止图像。在下面的描述中，无论图像获取单元201已获取到运动图像还是静止图像，物体检测单元202都会接收一幅图像。如果图像获取单元201获取到运动图像，则物体检测单元202接收到与该运动图像的每一帧相对应的一幅图像。另一方面，如果图像获取单元201获取到静止图像，则物体检测单元202接收到与该静止图像相对应的一幅图像。

物体检测单元202使用背景减去技术(background subtraction technique)以从图像获取单元201获取到的帧图像中检测物体。也就是说，物体检测单元202将通过图像获取单元201获取的帧图像与预定的帧图像(背景图像)进行比较以检测所述物体。然后，物体检测单元202根据所检测的物体生成物体信息。该物体信息包括：关于物体在画面上的位置、外切矩形和物体尺寸的信息。尽管物体检测单元202具有利用背景减去技术从图像中检测物体的功能，但是检测技术不局限于此。

物体追踪单元203根据与多个帧图像对应的物体信息，将从多个帧图像中的各个检测到的物体彼此关联。例如，物体检测单元202可以从目标帧中的图像检测到物体，该物体与从目标帧的前一个帧中的图像检测到的物体相对应。在这种情况下，物体追踪单元203将各帧中的物体彼此关联。

例如，物体追踪单元203对物体检测单元202从目标帧的前一个帧中的图像检测到的物体分配“物体标识(ID)＝A”。如果物体检测单元202从目标帧中的图像检测到与具有“物体ID＝A”的物体对应的物体，则物体追踪单元203也对该物体分配“物体ID＝A”。由此，如果检测到与多个帧的每一帧对应的物体时，则物体追踪单元203对这样的每一个物体分配相同的物体ID。物体追踪单元203对目标帧中新检测到的物体分配新的物体ID。

物体追踪单元203能够利用如下的方法来确定在不同帧中的物体是否彼此对应。根据该确定方法，如果通过利用所检测物体的运动向量来识别的物体的预测运动位置和所检测物体的位置被设置在一定距离之内，则物体追踪单元203确定这些物体实质上相同。也就是，物体追踪单元203识别从帧图像检测到的物体的位置和基于关于该帧图像的运动向量信息所识别的物体的位置之间的距离。如果所识别的距离小于阈值，则物体追踪单元203将该物体与其他帧图像中的物体相关联。

然而，物体关联方法不局限于此。例如，物体追踪单元203可以使用物体的颜色、形状及尺寸(面积)以将一个物体与另一个物体相关联。在这种情况下，在帧之间具有高相关性的物体被关联。而且，运动向量信息与诸如物体的颜色、形状及尺寸等的信息的组合可以用于物体关联。物体追踪单元203根据预定的条件将在多个帧中所检测的物体彼此关联，并且追踪所关联的物体。例如，在多个帧中检测到同一个人的情况下，物体追踪单元203对这个人分配相同的物体ID。物体关联方法不局限于特定的方法。可以使用执行类似于上述的处理的各种方法。

人体检测单元204对物体检测单元202从参数设置单元205所设置的物体检测区域当中检测到物体的区域，执行人体检测处理，从而检测人体。本示例性实施例的人体检测单元204对包含检测到物体的区域及其周围的区域(人体检测区域)执行人体检测处理。例如，人体检测单元204在帧中可以检测以坐标(X,Y)为中心的具有宽高为20像素×100像素的物体。在这种情况下，人体检测单元204对该帧的以坐标(X,Y)为中心的具有宽和高分别为30像素和150像素的区域，执行人体检测处理。

此外，人体检测单元204参照由参数设置单元205所设置的用于人体检测的最大尺寸和最小尺寸。因此，人体检测单元204可以在最大尺寸和最小尺寸的范围之外省略人体检测处理。也就是说，在由物体的检测而识别的人体检测区域中，如果人体检测区域大于最大尺寸，则人体检测单元204可以省略人体检测处理。如果人体检测区域小于最小尺寸，则人体检测单元204也可以省略人体检测处理。然而，人体检测单元204可以执行人体检测处理，而不执行上述省略，然后可以从人体检测处理的处理结果中排除大于最大尺寸的人体的检测结果以及小于最小尺寸的人体的检测结果。

人体检测单元204比较人体的图案图像与帧图像，以从帧图像中检测人体。然而，人体检测方法不局限于此。除此之外，在本示例性实施例中，检测目标是人体。然而，检测目标不局限于此。另选地，检测目标可以是人脸、自行车和动物。而且，人体检测单元204能够同时执行多种类型的检测处理从而检测到多种类型的特定物体。也就是说，本示例性实施例的人体检测单元204利用识别处理从图像数据中不仅能够检测人体，还能够检测各种预定的物体。

此外，可以不必基于物体检测单元202已检测到物体的区域来确定人体检测区域。例如，人体检测单元204可以根据参数设置单元205所设置的参数来识别人体检测区域，从而执行人体检测处理。在这种情况下，物体检测单元202可以省略物体检测处理。

参数设置单元205设置例如关于在每个帧中人体检测处理的检测处理范围(人体检测区域)的参数，以及关于用于人体检测的最大尺寸和最小尺寸的参数。

除了人体检测的设置以外，参数设置单元205可以类似地设置关于将要由物体检测单元202执行的检测处理的参数。例如，参数设置单元205能够将关于物体检测区域以及用于物体检测的最大尺寸和最小尺寸的参数设置为用于物体检测单元202的参数。然而，在本示例性实施例中，物体检测区域是由图像获取单元201获取的整个图像。通常，物体检测区域越小，处理速度越快。

物体关联单元206将物体检测单元202检测的物体与人体检测单元204检测的人体相关联。参照图4A和图4B来描述物体与人体的这种关联的示例。图4A例示了在由物体检测单元202所检测的物体的外切矩形401不包含由人体检测单元204所检测的人体的外切矩形402的示例情况。本示例性实施例的物体检测单元202对整个帧执行物体检测处理。人体检测单元204对用作人体检测区域的、包括由物体检测单元202所检测的物体的外切矩形的周围的区域，执行人体检测处理。

当如图4A所示，检测到物体和人体时，如果重叠率超过事先设置的阈值，则物体关联单元206将该物体与人体相关联。所述重叠率是人体的外切矩形402与物体的外切矩形401的比率。也就是说，如果物体的外切矩形401与人体的外切矩形402重叠的重叠面积、跟人体的外切矩形402的面积的比率超过阈值，则物体关联单元206将对应于外切矩形401的物体和对应于外切矩形402的人体进行关联。

另一方面，图4B例示了在从所检测到的物体的外切矩形403中检测到多个人体的示例情况。在这种情况下，如果物体的外切矩形403与人体的外切矩形404重叠的重叠面积、跟外切矩形404的面积的比率超过阈值，则物体关联单元206将对应于外切矩形403的物体和对应于外切矩形404的人体进行关联。此外，如果物体的外切矩形403与人体的外切矩形405重叠的重叠面积、跟外切矩形405的面积的比率超过阈值，则物体关联单元206将对应于外切矩形403的物体和对应于外切矩形405的人体进行关联。存在物体关联单元206将一个物体与多个人体相关联的情况。物体与人体的关联并不局限于上述方法。

轨迹管理单元207从物体检测单元202、物体追踪单元203及物体关联单元206获取关于物体的信息，以管理所获取的信息作为针对每个物体的管理信息。将参照图3描述由轨迹管理单元207管理的管理信息301的示例。如图3所示，本示例性实施例的轨迹管理单元207针对每个物体ID管理物体信息302。对应于一个物体ID的物体信息302包括表示当生成物体信息时的日期和时间的时间戳。所述物体信息302还包括检测到物体的每个帧的信息303。信息303包括当生成该信息时的时间戳、所检测到的物体的坐标位置(Position)、表示包括所检测到的物体的区域的外切矩形的信息(Bounding box(边界框))、物体的尺寸以及物体的属性。然而，信息303所要包括的信息不局限于上述信息。信息303可以包括其他的信息。轨迹信息确定单元208使用以上由轨迹管理单元207所管理的管理信息301。

轨迹管理单元207根据物体关联单元206的关联结果来更新物体的属性(Attribute)。此外，轨迹管理单元207可以根据该关联结果来更新过去的物体(pastobject)的属性(Attribute)。轨迹管理单元207可以根据该关联结果来更新后续物体的属性(Attribute)。利用上述处理，具有相同物体ID的物体的追踪结果能够在任何时候具有相同的属性。

轨迹信息确定处理208起到通过物体检测单元(passing object detectionunit)的作用。轨迹信息确定单元208根据由参数设置单元205设置的参数和由轨迹管理单元207所管理的管理信息，执行用于确定物体是否通过检测线(detection line)的处理。所述检测线可由用户设置。例如，用户能够在显示设备210的参数设置画面上操作用户界面来设置检测线。例如，本示例性实施例的参数设置单元205能够将用于识别由用户所设置的线段(line segment)的信息设置为轨迹信息确定单元208中的参数。

轨迹信息确定单元208确定运动向量是否与用于通过检测(passage detection)的线段交叉，所述运动向量表示从目标帧的前一个帧中的人体属性物体的外切矩形到目标帧中的人体属性物体的外切矩形的运动。在本示例性实施例中，人体属性物体表示由物体关联单元206与人体相关联的物体。而且，以上交叉确定对应于人体属性物体是否已经通过用于通过检测的线段的确定。由轨迹信息确定单元208做出的确定结果可以经由外部输出单元209输出至外部单元(例如，显示设备210)。而且，外部输出单元209可以具有包括CRT或液晶显示屏的显示单元的功能。在这种情况下，替代显示设备210，可以通过使用外部输出单元209来显示确定结果。

已经利用轨迹信息确定单元208检测到人体属性物体已经通过预定线段的示例情况描述了本示例性实施例。然而，本示例性实施例不限于上述的示例情况。例如，在预定区域被设置为参数的情况下，轨迹信息确定单元208可以检测人体属性物体已经侵入到该区域。而且，替代人体属性物体，轨迹信息确定单元208可以检测动物物体已经侵入到该区域。此外，轨迹信息确定单元208可以利用轨迹信息和事件检测的参数来执行各种检测处理。

接下来，将参照图5A、图5B、图5C、图6A和图6B来描述根据第一示例性实施例的视频图像识别处理。

图5A到图5C是例示人体检测尺寸的设置的图。例如，在图5A至图5C中的各个所示的参数设置画面被显示在显示设备210上。

图5A例示了设置用于人体检测的最大尺寸和最小尺寸的画面的示例。

在图5A中，设置画面500用作设置人体检测的参数的画面。在图5A所示的画面500上，示出了街道、人体501和人体502。街道从画面500的左上向右下延伸。人体501显示在左上(远方)，而人体502显示在右下(近方)。设置矩形503用作用于设置人体检测的最大尺寸的用户界面(UI)。类似地，设置矩形504用作用于设置用于人体检测的最小尺寸的UI。

本示例性实施例的人体检测单元204将人体的图案图像与帧图像进行比较，以从帧图像中检测人体。具体地，人体检测单元204根据设置矩形503和504的尺寸来重新缩放帧图像。然后，人体检测单元204将重新缩放的帧图像与人体的图案图像进行比较以检测人物。例如，人体检测单元204根据设置矩形503和504的尺寸，生成分别被重新缩放到1/2、1/3以及1/4的帧图像。然后，人体检测单元204将所生成的各个图像与人体的图案图像进行比较从而检测人体。

在这种情况下，当用户执行操作以减少变焦倍率时，人体检测单元204控制帧图像的倍率，以使得甚至在变焦倍率被改变之后也可以检测到在变焦倍率减小之前所检测到的人物。具体地，人体检测单元204生成例如分别被重新缩放到1/3、1/4及1/6的帧图像。随后，人体检测单元204将所生成的各个图像与人体的图案图像进行比较，从而检测人体。

用于人体的检测方法并不局限于上述方法。例如，人体检测单元204可以根据设置矩形503和504的尺寸来重新缩放人体的图案图像，以便可以将人体的重新缩放的图案图像和帧图像进行比较以检测人体。

由此，执行人体检测处理以使得只检测在所设置的人体检测尺寸的范围内的人体。这能够提高处理的速度或精确度。能够通过操作者所执行的鼠标操作来改变设置矩形503和504的尺寸。鼠标操作包括拖拽设置矩形503和504的边框或节点。已经利用在设置用于人体检测的最大尺寸和最小尺寸的示例情况对图5A所示的图进行了描述。然而，可以只设置最大尺寸或最小尺寸。

图5B是如下画面的显示示例，在该画面上图5A所示的画面的一个区域被放大。图5A中所示的矩形变焦范围505对应于图5B所示的画面。因此，当图5A中所示的变焦范围505被放大时，得到图5B中所示的画面510。在图5B中，图5A所示的变焦范围505被放大2.5倍。

图6A和图6B是例示由参数设置单元205所设置的设置参数的结构示例的图。例如，控制装置200能够在显示设备210上显示图6A和图6B所示的参数显示画面。

图6A是设置矩形503和504的设置值的图。

在图6A中，用于人体检测的最大尺寸(Max Size)被设置为宽和高为(900，900)像素，而用于人体检测的最小尺寸(Min Size)被设置为宽和高为(250，250)像素。画面500具有宽和高为(1280，1024)的分辨率。这里，变焦倍率是等尺寸倍率。

这里，假设图6A所示的设置值照原样被应用于图5B所示的变焦画面。

如图5B中的画面510所示，使用放大操作来放大要被拍摄的人体的图像。在放大操作之后，可以想到能够拍摄尺寸大于设置矩形503的尺寸(图6A中的最大尺寸)的人体的图像。然而，在用于人体检测的最大尺寸(900，900)被照原样应用的情况下，存在可能不会检测到大的人体的可能性。

此外，例如，在被放大之前具有比用于人体检测的最小尺寸小的物体不应该经过人体检测处理。然而，在被放大之后，上述物体可能会变为用于人体检测处理的目标物体。在这种情况下，可能会执行用户不期望执行的人体检测处理，从而导致处理负荷的增加。

当物体被缩小时也会发生上述问题。也就是，当使用缩小操作缩小帧中人体的尺寸时，在缩小操作之前和缩小操作之后，可能不会改变用于人体检测的最小尺寸的参数。在这种情况下，存在可能不会检测到人体的可能性。此外，在缩小操作之前和缩小操作之后可能不改变用于人体检测的最大尺寸。在这种情况下，需要对在被缩小之前不具有检测目标尺寸的人体执行人体检测处理，从而导致消耗不必要的处理时间。

本示例性实施例的参数控制单元212根据变焦倍率的变化来改变要在视频图像识别处理中使用的参数。该参数是例如用于人体检测的最大尺寸和最小尺寸。在参数改变的情况下，参数控制单元212甚至在变焦倍率被改变之后也能够执行合适的识别处理。如上所述，本示例性实施例的人体检测单元204将人体的图案图像与多个重新缩放的帧图像进行比较，从而检测人体。在本示例中，根据变焦倍率的变化来改变用于重新缩放帧图像的缩放因子(scale factor)。也就是说，参数控制单元212根据变焦倍率的变化来改变要用于人体检测的帧图像的最大尺寸和最小尺寸。

此外，人体检测单元204重新缩放人体的图案图像，并且将缩放后的图案图像和帧图像进行比较以检测人体。当人体检测单元204执行这种人体检测时，用于重新缩放人体的图案图像的缩放因子根据变焦倍率的变化而改变。也就是说，参数控制单元212根据变焦倍率的变化来改变要用于人体检测的图案图像的最大尺寸和最小尺寸。

图5C是当图5A所示的画面500被放大以及图6A所示的设置值根据变焦倍率被改变时所显示的画面的示例。通过以下将要描述的处理，图6A所示的参数被改变为图6B所示的参数。人体检测单元204基于改变后的参数执行人体检测处理。

当图5A所示的画面500被变焦至图5C所示的画面520时，变焦倍率从等尺寸改变为2.5倍。本示例性实施例的参数控制单元212根据变焦倍率的这种变化来改变用于人体检测的最大尺寸和最小尺寸。参数控制单元212将用于人体检测的最小尺寸改变为图6B所示的尺寸(625，625)，也就是图6A所示的(250，250)的2.5倍。因此，在变焦倍率被改变之后，应用图6B所示的最小尺寸。类似地，用于人体检测的最大尺寸应该被改变为图6A所示的尺寸的2.5倍。然而，因为这种尺寸超过了画面范围，因此本示例性实施例的参数控制单元212将最大尺寸改变为画面520的高度是上限的尺寸(1024，1024)。

在每次从变焦控制单元211接收到变焦倍率信息时，本示例性实施例的参数控制单元212执行这种参数改变处理。此外，在每次改变该参数时，参数控制单元212向参数设置工具侧通知改变后的参数。这使得能够根据变焦倍率的变化而动态地改变UI。

图5C是例示参数设置工具的UI的图，在根据变焦倍率的变化来改变用于人体检测处理的最大尺寸和最小尺寸之后显示该UI。图5C所示的矩形522对应于图5A所示的设置矩形503，而图5C所示的矩形521对应于图5A所示的设置矩形504。

如上所述，当指定用于人体检测的最大尺寸或最小尺寸之后执行增加变焦倍率的变焦控制时，本示例性实施例的参数控制单元212将最大尺寸和最小尺寸控制为大于变焦控制之前的最大尺寸和最小尺寸。此外，当在指定用于人体检测的最大尺寸或最小尺寸之后执行减小变焦倍率的变焦控制时，参数控制单元212将最大尺寸和最小尺寸控制为小于变焦控制之前的最大尺寸和最小尺寸。

另选地，当根据变焦倍率的变化来改变参数时，参数控制单元212可以在画面上显示关于参数的变化的消息。另选地，在改变参数之前，参数控制单元212可以在画面上显示参数改变通知，以便参数控制单元212可以在接收到用户的认可后改变参数。

此外，在本示例性实施例中，与用于人体检测的最大尺寸和最小尺寸相关的参数根据变焦倍率而改变。然而，在改变后的尺寸超过预定的阈值的情况下，可能停止或取消人体检测处理。另选地，替代停止或取消人体检测处理，可以显示诸如警告消息等的消息。所以，例如，可以防止识别处理的参数的错误。

已经通过利用矩形设置人体检测尺寸的示例情况对本示例性实施例进行了描述。然而，可以使用诸如多边形和圆形等的其他形状。

此外，在本示例性实施例中，由参数控制单元212改变的参数用作用于人体检测的最大尺寸和最小尺寸。然而，可以使用取决于拍摄图像的尺寸或图像的位置的其他参数。在上述描述中，例如，如果从帧图像中检测的物体的位置和通过与该帧图像相关的运动向量所识别的物体的位置之间的距离小于阈值，则物体追踪单元203将该物体与其他帧图像的物体相关联。然而，该阈值可以是根据变焦倍率的变化而改变的参数。

此外，例如，用于轨迹信息确定单元208进行的事件检测的参数(用于通过检测的区域或线段)可以根据变焦倍率的变化而改变。更具体地，参数控制单元212能够根据变焦倍率的变化，来改变用于通过检测的线段的位置或长度以及用于侵入检测的区域的位置或尺寸。

此外，例如，物体检测范围可以被用作根据变焦倍率的变化而改变的参数。在本示例性实施例中，已将物体检测范围描述为整个画面。

此外，在以上描述中，例如，如果重叠率超过阈值，则物体关联单元206将物体与人体进行关联。所述重叠率表示物体的外切矩形与人体的外切矩形相重叠的重叠面积、跟人体的外切矩形的面积的比率。这种情况下的阈值可以被设置为根据变焦倍率的变化而改变的参数。因为诸如重叠率的比率是对面积进行比较，所以根据本示例性实施例该比率不通过基于影响人体检测尺寸的变焦倍率的等倍率来进行变换。本示例性实施例的参数控制单元212使用将变焦倍率和重叠率相关联的表，从而改变不通过等倍率而变换的参数。

通过示例情况已经对本示例性实施例进行了描述，在所述示例情况中，将经由用户界面指定的用于人体检测的最大尺寸或最小尺寸作为基准值，根据变焦倍率的变化来相对地变换参数。也就是说，在以上描述中，例如，如果在利用用户界面设置了用于人体检测的最大尺寸(基准尺寸)之后变焦倍率加倍，则用于人体检测的最大尺寸被增加到该基准值的两倍的值。然而，本示例性实施例不局限于此。

例如，假设能够获取绝对的范围三维区域和绝对的尺寸范围。在绝对的范围三维区域中，识别相机位置和检测目标物体(这里指人体)能够存在的位置。绝对的尺寸范围是在绝对的范围三维区域内能够得到检测目标对象的范围。绝对的范围三维区域和绝对的尺寸范围的获取使得参数控制单元212能够识别针对变焦值的合适的参数(这里是用于人体检测的最大尺寸和最小尺寸)。另外，通过在确定参数时将该变焦值用作基准值，参数控制单元212能够根据变焦倍率的后续改变来改变识别参数。

另外，在图5A、图5B和图5C中，相机的角度被设置为使得物体尺寸的下限是有限的。也就是说，利用相机位置、俯视角和检测目标物体被设置以使要在视频图像上拍摄的人体的尺寸的上限和下限是有限的示例情况来描述本示例性实施例。然而，例如，在物体位于无限远的情况下，理论上可以考虑可以不根据相机位置、相机的朝向以及要被检测的物体的类型来设置最大尺寸和最小尺寸。在这种情况下，根据变焦值(变焦倍率)的改变的物体检测参数不应该被改变，或者可以有意地设置最小尺寸。另选地，相机安装地点或相机安装方向可以被改变。本示例性实施例的控制装置200能够基于用户的操作来选择是否根据变焦倍率的变化来改变参数。

在本示例性实施例中，光学变焦被用作相机的变焦机制。然而，可以使用数字变焦。下文中，给出当应用数字变焦作为相机的变焦机制时所执行的处理的描述。

当执行数字变焦时，画面500上的变焦范围505被显示为如画面510所示的那样。在这种情况下，与光学变焦类似，参数控制单元212根据数字变焦倍率来改变设置矩形503和504。例如，如果通过数字变焦将变焦倍率从等尺寸改变为2倍，则参数控制单元212改变用于物体检测的最大尺寸和最小尺寸并将其放大2倍。然后，参数控制单元212向显示设备210通知改变后的参数。因此，用户界面的显示能够被改变为如图5C所示的那样。由此，数字变焦操作和用户界面被链接，从而用户可以根据变焦倍率的改变来识别出参数已经被改变。然而，在数字变焦操作中，存在这种情况：实际上由人体检测单元204处理的图像是在被变焦之前所拍摄的图像，而不是数字变焦的图像。在这种情况下，参数不应该根据变焦倍率的变化而改变。也就是说，参数控制单元212确定用作视频图像识别处理目标的图像区域在变焦倍率改变之前和之后是否被改变。如果图像区域没有被改变，则参数控制单元212不根据变焦倍率的变化而改变识别处理的参数。

下文中，描述由人体检测单元204处理的图像是被数字变焦后裁剪的图像的情况。如果用于人体检测的最大尺寸超过所裁剪的图像范围，则参数控制单元212可以改变参数，以使得用于人体检测的最大尺寸缩小到所裁剪图像的范围。例如，在数字变焦操作之前用于人体检测的最大尺寸是(1000，1000)并且要通过数字变焦操作裁剪的图像的尺寸是(800，800)的情况下，参数控制单元212可以将最大尺寸改变到(800，800)。另选地，如果用于人体检测的最小尺寸超过所裁剪的图像范围，则参数控制单元212可以停止或取消人体检测处理。

接下来，将参照图7所示的流程图描述根据第一示例性实施例的控制装置200的操作。本示例性实施例的控制装置200通过使用作控制单元的中央处理单元(CPU)从存储器读取用于图7所示的处理的控制程序并且执行所读取的程序来执行图7中所示的处理。此外，因为本示例性实施例的控制装置200被安装在相机中，所以在启动相机时开始图7所示的处理。另选地，控制装置200可以是与相机相独立的其他装置。控制装置200可以被安装在诸如显示由相机所拍摄的图像的PC和移动终端等的设备上。在步骤S701中，控制装置200的控制单元(未示出)确定是否应该继续图7所示的处理。例如，当用户给出应该结束图7所示的处理的指示时，控制单元确定图7所示的处理需要被结束。当用户没有提供以上指示时，控制单元确定应该继续图7所示的处理。由此，如果控制单元确定应该继续处理(步骤S701为“是”)，则操作推进至步骤S702。另一方面，如果控制单元确定不应该继续处理(步骤S701为“否”)，则处理结束。

在步骤S702中，图像获取单元201获取输入至控制装置200的图像数据。在步骤S703中，物体检测单元202对图像获取单元201获取的图像执行物体检测处理。在步骤S704中，物体检测单元202确定在步骤S703中是否检测到物体。如果物体检测单元202确定检测到物体(步骤S704中为“是”)，则操作推进至步骤S705。另一方面，如果物体检测单元202确定没有检测到物体(步骤S704中为“否”)，则操作返回至步骤S701。

在步骤S705中，物体追踪单元203执行物体追踪处理。也就是说，物体追踪单元203根据预定的条件将从该帧检测到的物体与从其他帧检测到的物体相关联。例如，如果在多个帧中的每一个帧中存在相同的物体，则根据物体追踪处理来关联该物体。

在步骤S706中，轨迹管理单元207根据步骤S705中执行的追踪处理的结果来更新轨迹信息。轨迹信息的更新对应于图3所示的信息303的添加。

在步骤S707中，人体检测单元204使用通过参数设置单元205所设置的参数，以对物体检测单元202所检测到的物体和该物体附近的区域执行人体检测处理。

这里，参照图8所示的流程图来详细描述由本示例性实施例的控制装置200执行的人体检测处理。

在步骤S801中，参数控制单元212获取由参数设置单元205所设置的设置参数(诸如用于人体检测的最大尺寸和最小尺寸的设置信息)。设置参数不局限于用于人体检测的最大尺寸和最小尺寸的信息。也就是说，在步骤S801中，参数控制单元212获取用于执行视频图像识别处理的参数。另外，参数控制单元212获取关于当前变焦倍率的信息。本示例性实施例的控制装置200被安装在相机中，并且参数控制单元212从相机内部的存储单元获取关于变焦倍率的信息。然而，参数控制单元212可以从与相机相连接的PC 104获取关于变焦倍率的信息。

在步骤S802中，参数控制单元212确定变焦倍率是否被变焦控制单元211改变。也就是说，参数控制单元212确定上次获取的关于变焦倍率的信息是否不同于本次获取的关于变焦倍率的信息。如果参数控制单元212确定检测到变焦倍率的改变(步骤S802中为“是”)，则操作推进至步骤S803。另一方面，如果参数控制单元212确定没有检测到变焦倍率的改变(步骤S802中为“否”)，则操作推进至步骤S804。

在步骤S803中，参数控制单元212从步骤S801中获取的参数以及步骤S801中获取的变焦倍率，确定要在步骤S804中的人体检测处理中使用的参数。例如，当变焦倍率从等尺寸变化至2倍时，参数控制单元212确定用于人体检测的最大尺寸要被改变至2倍。然而，这仅仅是一个示例。也就是说，参数控制单元212根据摄像单元的变焦倍率的变化来改变步骤S801中所获取的参数。

此外，本示例性实施例的参数控制单元212向显示设备210发送通知。该通知包括表示根据变焦倍率的变化已经改变识别处理的参数、以及通知改变后的参数的消息。结果，显示设备210能够在参数设置画面上显示该消息以及改变后的参数(例如，与用于人体检测的最大尺寸或最小尺寸对应的矩形)。这里，可以显示表示已经改变视频图像识别处理的参数的消息。

在步骤S804中，人体检测处理204使用步骤S803中确定的参数(如果变焦倍率没有改变，则根据用户所设置的设定的参数)来执行人体检测处理。在完成步骤S804中的人体检测处理时，操作推进到图7所示的流程图中的步骤S708。

在步骤S708中，人体检测单元204确定步骤S707中是否检测到人体。如果人体检测单元204确定检测到人体(步骤S708为“是”)，则操作推进至步骤S709。另一方面，如果人体检测单元204确定没有检测到人体(步骤S708中为“否”)，则操作推进至步骤S711。

在步骤S709中，物体关联单元206将步骤S703中检测到的物体与步骤S707中检测到的人体相关联。由此，如上所述，物体关联单元206根据物体的外切矩形和人体的外切矩形之间的重叠区域，将该物体与人体相关联。

在步骤S710中，轨迹管理单元207基于步骤S709中执行的关联处理的结果来更新轨迹信息。轨迹信息的更新对应于图3所示的信息303的添加。在步骤S711中，轨迹信息确定单元208执行轨迹信息确定处理以确定物体是否通过检测线。轨迹信息确定单元208确定物体是否通过该检测线。轨迹信息确定单元208基于运动向量是否已经与用于通过检测的线段交叉来确定物体的通过。该运动向量表示从目标帧的前一帧中的人体属性物体到目标帧中人体属性物体的运动。人体属性物体表示被确定为被关联的物体并且由物体追踪单元203提供相同的物体ID的物体。

在步骤S712中，外部输出单元209向外部单元输出关于视频图像识别处理的处理结果。然后，操作返回至步骤S712。例如，外部输出单元209向显示设备210输出外切矩形的位置信息，以使得被检测物体的外切矩形和被检测人体被显示在显示所拍摄图像的画面上。此外，例如，如果检测到通过检测线的人体的通过或侵入检测区域，则外部输出单元209向显示设备210输出检测结果，以使得将与检测结果对应的消息显示在显示设备210的显示画面上。

因此，根据本示例性实施例，视频图像识别处理的参数根据变焦倍率的变化而改变。由此，能够对具有改变变焦倍率的功能的摄像单元所拍摄的图像，更加合适的执行识别处理。利用用于人体检测的最大尺寸和最小尺寸作为参数的示例，主要描述了上述示例性实施例。然而，检测目标可以是除了人体以外的预定的物体，例如自行车、人脸和动物。如果将自行车用作检测目标，则用于自行车检测的最大尺寸和最小尺寸被设置为用于识别处理的参数。这种参数可以根据变焦倍率的变化而改变。

因此，根据本发明，对具有改变变焦倍率的功能的摄像单元所拍摄的视频图像，更合适地执行识别处理。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经结合示例性实施例描述了本发明，但应当认识到，本发明并不局限于公开的示例性实施例。下列权利要求的范围应当适合最广泛的解释，以便使其涵盖所有变形、等同结构和功能。

Claims (18)

1.一种信息处理装置，所述信息处理装置包括：

显示控制单元，其被构造为使显示单元在相机拍摄的第一图像上叠加显示表示最大尺寸的第一向导和表示最小尺寸的第二向导，

其中，所述最大尺寸和最小尺寸中的每一个，能够基于所述第一向导和第二向导被叠加显示在所述第一图像上的时候所执行的用户操作而改变；以及

基于所述用户操作而设置所述最大尺寸和最小尺寸，

其中，所设置的最大尺寸和最小尺寸被用于从所述相机在与所述第一图像不同时间拍摄的第二图像中检测其尺寸在所设置的最大尺寸和最小尺寸之间的物体。

2.根据权利要求1所述的信息处理装置，其中，所述信息处理装置还包括：

跟踪单元，其被构造为在从所述第一图像中检测的第一物体和从所述第二图像中检测的第二物体之间的距离短于阈值的情况下，将所述第一图像中的第一物体与第二图像中的第二物体相关联。

3.根据权利要求1所述的信息处理装置，其中，

所述显示控制单元，使所述显示单元显示用户界面，其中，所述第一向导的尺寸和所述第二向导的尺寸中的每一个，能够通过使用所述用户界面拖拽边界或节点而被改变。

4.根据权利要求1所述的信息处理装置，其中，

从所述相机拍摄的第二图像中检测的物体是人体图像。

5.根据权利要求1所述的信息处理装置，其中，

所述信息处理装置作为被构造为接收用于设置物体的检测区域的操作信息的接收单元的功能。

6.根据权利要求1所述的信息处理装置，其中，

所述第一向导和第二向导是矩形的。

7.根据权利要求1所述的信息处理装置，其中

所述第一图像和第二图像中的每一个是形成运动图像的图像帧。

8.根据权利要求1所述的信息处理装置，

其中，所述信息处理装置用作所述相机之外的控制装置的功能，以及

其中，所述设置单元响应于所述用户操作，对所述相机设置所述最大尺寸和最小尺寸。

9.根据权利要求1所述的信息处理装置，其中

所述最大尺寸和最小尺寸中的每一个能够通过拖拽用户操作各向导的边界或节点而改变。

10.一种用于控制图像捕获装置的控制方法，所述方法包括：

在相机拍摄的第一图像上叠加显示表示最大尺寸的第一向导和表示最小尺寸的第二向导，

其中，所述最大尺寸和最小尺寸中的每一个，能够基于所述第一向导和第二向导被叠加显示在所述第一图像上的时候所执行的用户操作而改变；以及

基于所述用户操作而设置所述最大尺寸和最小尺寸，

其中，所设置的最大尺寸和最小尺寸被用于从所述相机在与所述第一图像不同时间拍摄的第二图像中检测其尺寸在所设置的最大尺寸和最小尺寸之间的物体。

11.根据权利要求10所述的方法，其中，所述方法还包括：

跟踪从所述第一图像中检测的第一物体和从所述第二图像中检测的第二物体，以及

在从所述第一图像中检测的第一物体和从所述第二图像中检测的第二物体之间的距离短于阈值的情况下，将所述第一图像中的第一物体与第二图像中的第二物体相关联。

12.根据权利要求10所述的方法，还包括：

显示用户界面，其中，所述第一向导的尺寸和所述第二向导的尺寸中的每一个，能够通过使用所述用户界面拖拽边界或节点而被改变。

13.根据权利要求10所述的方法，其中，

从所述相机拍摄的第二图像中检测的物体是人体图像。

14.根据权利要求10所述的方法，还包括：

接收用于设置物体的检测区域的操作信息。

15.根据权利要求10所述的方法，其中，

所述第一向导和第二向导是矩形的。

16.根据权利要求10所述的方法，其中

所述第一图像和第二图像中的每一个是形成运动图像的图像帧。

17.根据权利要求10所述的方法，还包括：

响应于所述用户操作，对所述相机设置所述最大尺寸和最小尺寸。

18.根据权利要求10所述的方法，其中

所述最大尺寸和最小尺寸中的每一个能够通过拖拽用户操作各向导的边界或节点而改变。