CN104781848B - 用于估计单体的倾斜度的图像监测装置及其方法 - Google Patents

Abstract

公开一种用于估计单体的倾斜度的图像监测装置及其方法。本发明的实施方式涉及一种用于估计单体的倾斜度的图像监测装置及其方法。更具体地，提供通过估计对象的表面面积、宽度和高度来检测拍摄到的图像内的单体、提取单体的特征向量以及通过所提取的特征向量计算消失点的位置来估计单体的倾斜度即姿势的用于图像监测的装置和方法。

Description

用于估计单体的倾斜度的图像监测装置及其方法

技术领域

本公开在某些实施方式中涉及一种用于估计单体的倾斜度的图像监视或监测装置和方法。更具体地，本公开涉及图像监测装置和方法，其用于通过估计捕捉到的图像中的对象的面积、宽度和高度来检测单体，提取单体的特征向量以及基于所提取的特征向量计算消失点的位置来估计单体的倾斜度和姿势。

背景技术

这部分的陈述仅仅提供与本公开相关的背景信息并且可能不一定构成现有技术。

图像中对象的大小通常被用来增强图像监测系统的图像分析算法的准确性。例如，当只有人类被设置为关注的对象时，可以在系统中预设人类的大约尺寸，使得非人类对象(动物、车辆等)从待检测的目标对象中排除。

为了估计对象的大小，需要精确的相机校准。然而，这就要求复杂的处理，因此不适合实际应用。

由于透视效果，对象在图像监测系统的图像中的大小依赖于其在该图像中的坐标而不同。传统技术涉及用户亲自输入在图像中的几个不同的点处的关注对象的大小，对所输入的对象大小信息进行插值以进行估计并使用图像中的在各个坐标处的对象的大小。

然而，通过这种方法获得的结果根据用户输入的样本而不同，因此系统的准确性依赖于用户的能力水平。另外，为了将要求来自用户的输入的方法应用于采用多个摄像机的大规模系统，需要大量的劳动力。

图像监测技术可能只考虑对象的大小。然而，对象的姿势在提高算法的精确度上也起着重要作用。例如，在用于估计人的数目的基于区域的算法中，个人在图像中占据的面积作为缩放因子起着非常重要的作用。如果个人的姿势发生倾斜，则相应对象的最小定界矩形或框的大小与对象的实际面积大大不同，这将使得算法的精确度降低。另外，当使用基于识别的技术时，除非对象被输入为做出与分类器在用于识别的学习处理中使用的图像相同的姿势，识别性能可以退化。

发明内容

技术问题

因此，已经努力做出本公开来提供一种图像监测装置和方法，该图像监测装置和方法用于通过估计捕捉到的图像中的对象的面积、宽度和高度来检测单体、提取单体的特征向量以及基于所提取的特征向量计算消失点的位置来估计单体的倾斜度和姿势。

解决方案

根据本公开的某些实施方式，一种图像监测装置包括：单体选择器，该单体选择器被构造成从所获取的图像中的多个对象中选择至少一个单体；单一前景图像生成器，该单一前景图像生成器被构造成生成单体的单一前景图像；特征向量提取器，该特征向量提取器被构造成利用包含在单一前景图像中的前景单体的矩心、前景单体的像素的数目以及像素的坐标值中的至少一方来提取前景单体的特征向量；消失点位置计算器，该消失点位置计算器被构造成通过将图像中的预定点连接到前景单体的矩心来生成基准向量并且当该预定点使基准向量和特征向量之间的角度最小化时将该预定点确定为消失点；以及倾斜度确定器，该倾斜度确定器被构造成利用该消失点确定前景单体的倾斜度并且校正前景单体的最小定界框的倾斜。

根据本公开的另一实施方式，一种用于通过图像监测装置测量图像中的单体的倾斜度的方法，该方法包括以下步骤：从所获取的图像中的多个对象中选择至少一个单体；生成该至少一个单体的单一前景图像；利用前景单体的矩心、前景单体的像素的数目以及像素的坐标值中的至少一方来提取包含在单一前景图像中的前景单体的特征向量；通过将图像中的预定点连接到前景单体的矩心来生成基准向量并且当该预定点使基准向量和特征向量之间的角度最小化时将该预定点确定为消失点；以及利用该消失点确定前景单体的倾斜度并且校正前景单体的最小定界框的倾斜。

有益效果

根据如上所述的本公开，即使出现在图像中的对象由于相机视角或相机角度相对于垂直方向是倾斜的，对象的姿势或倾斜度也可以自动识别。另外，根据某些实施方式的图像监测装置使得对象的大小和形状的描述更加准确，从而提高图像分析的准确性。

附图说明

图1是根据本公开的至少一个实施方式的视频图像监测装置的示意性框图。

图2是根据至少一个实施方式的用于估计单体的倾斜度的图像监测装置的示意性框图。

图3是根据至少一个实施方式的由图像监测装置执行的用于检测单体的操作的流程图。

图4是根据至少一个实施方式的用于通过估计单体的倾斜度来监测视频图像的方法的流程图。

图5是根据至少一个实施方式的由图像监测装置执行的用于将捕捉的图像划分成单独的前景像素和背景像素的操作的图。

图6是根据至少一个实施方式的由包括在图像监测装置中的降噪器执行的利用前景像素的直方图的降噪操作的图。

图7是根据至少一个实施方式的由图像监测装置执行的用于通过执行聚类确定单体的操作的图。

图8是根据至少一个实施方式的要由图像监测装置使用的用于单体检测的前景像素的聚类的结果的图。

图9是根据至少一个实施方式的由图像监测装置执行的用于计算单体的面积的操作的图。

图10是根据至少一个实施方式的通过利用图像监测装置来估计单体的大小而检测的单体的示例性图像。

图11是根据至少一个实施方式的图像监测装置中的前景单体的前景图像的图。

图12是根据至少一个实施方式的由图像监测装置执行的用于估计某个前景单体的倾斜度的操作的图。

图13是根据至少一个实施方式的由图像监测装置执行的用于通过使用单体的特征向量来估计某个前景单体的倾斜度的操作的图。

图14是根据至少一个实施方式的通过利用图像监测装置来估计各个单体的倾斜度校正前景单体的大小的结果图像输出的图。

具体实施方式

下面，将参照附图详细描述本公开的至少一个实施方式。在下面的描述中，相同的附图标记指定相同的元件，尽管这些元件被示出在不同的附图中。另外，在至少一个实施方式的下面的描述中，为了清晰和简洁的目的，将省略本文中包括的已知功能和结构的详细说明。

此外，在描述本发明的部件时，使用如同第一、第二、A、B、(a)和(b)的术语。这些仅仅是为了将一个部件与另一个部件进行区分，并且本领域技术人员将理解这些术语并不隐含或暗示物质、部件的次序或顺序。如果描述部件与另一部件“连接”、“耦接”或“链接”，本领域技术人员将理解的是，这些部件不一定是直接“连接”、“耦接”或“链接”而是经由第三个部件间接地“连接”、“耦接”或“链接”。

图1是根据本公开的至少一个实施方式的视频图像监测装置的示意性框图。

根据本公开的某些实施方式，用于估计单体的倾斜度的视频监控系统包括图像捕捉器110、图像监测装置120和监测单元150。这里，图像监测装置120包括图像数据处理器130、单体检测器140和倾斜度估计器142。

图像捕捉器110是指能够捕捉图像的装置。根据某些实施方式，图像捕捉器110可以被实现为能够捕捉图像来监测预定大小的运动对象的CCTV摄像机、监控摄像机等。图像捕捉器110向图像监测装置120发送捕捉到的图像，用于监测运动对象。由图像捕捉器捕捉的图像可以是一个帧。然而，本公开的实施方式不限于此。捕捉到的图像可以包括多个帧。

图像监测装置120是用于从图像捕捉器110接收捕捉到的图像并通过在捕捉到的图像中检测预定大小的运动对象来监测图像的装置。

图像数据处理器130从图像捕捉器110接收捕捉到的图像，在该捕捉到的图像中确定像素的像素值，并且通过去除不呈现特定运动的背景的背景像素，将运动对象的前景像素分离来生成前景图像。另外，图像数据处理器130通过测量分离出的前景图像中的前景对象的像素的数目和前景像素的坐标值来生成前景对象信息。这里，如果前景对象信息的数据的量小于预定的基准数据量，则图像数据处理器130可以根据预定的时间和数据量反复测量前景对象的像素的数目和前景像素的坐标值，来生成前景对象信息。

单体检测器140对由图像数据处理器130生成的前景对象信息降噪，并且通过利用前景对象信息将降噪后的前景对象信息聚类成两个组。然后，单体检测器140将其中一个组确定为包括单体的组，并检测关于单体的单体信息。另外，单体检测器140利用该单体信息来估计预定的面积计算函数，并且通过应用包含在单体信息中的单体的y坐标值来计算各个单体的面积、宽度和高度。因此，单体检测器140生成关于单体的大小的信息。

倾斜度估计器142根据由单体检测器140生成的结果性单体信息来选择预定的前景单体，并且估计所选择的前景单体的倾斜度或姿势来校正最小定界框的大小和前景单体的倾斜度。定界框可以是框形形状的四边形，但是本公开的实施方式并不限于此。代替四边形形状，定界框可以具有椭圆形、圆形、三角形等的形状。

根据本公开的某些实施方式，倾斜度估计器142根据管理者的输入或预定的基准大小从其面积、宽度和高度已经被计算出的单体中选择前景单体，并且通过使用协方差矩阵提取所选择的前景单体的特征向量。另外，倾斜度估计器142计算捕捉到的图像中的某个点作为消失点的位置，该某个点使通过将该点连接到前景单体的矩心而生成的基准向量和所提取的特征向量之间的角度最小化。这里，倾斜度估计器142可以反复地将捕捉到的图像中的某些或全部的像素设置为该某个点，来计算消失点的位置。另外，倾斜度估计器142通过使用计算出的消失点来确定倾斜度，即各个前景单体的姿势。利用该倾斜度，倾斜度估计器142调整对象的最小定界框的倾斜，并且在将该最小定界框的大小校正为与对象的实际大小相似之后将该最小定界框显示在监测单元150上。

监测单元150是指管理者在根据前景单体的倾斜度校正前景单体的最小定界框的倾斜、面积、宽度和高度之后，以诸如四边形、椭圆形和三角形的各种形状来显示由图像监测装置120估计的前景单体的装置。

虽然监测单元150被例示为只显示单体，但是待显示的对象可以根据管理者设置的构造而是多种多样的。另外，监测单元150可以被实现为例如通过无线LAN、Bluetooth或ZigBee进行短距离通信，以从图像监测装置120接收关于单体的信息。虽然监测单元150被例示为独立于图1中的图像监测装置120而实现，但是本公开的实施方式并不限于此。监测单元150和图像监测装置120可以通过具有并入到图像监测装置120中的显示器的单个设备来实现。

图2是根据至少一个实施方式的用于估计单体的倾斜度的图像监测装置的示意性框图。

根据本公开的这一实施方式，图像监测装置120包括图像获取单元210、前景/背景分离器220、前景对象信息生成器230、降噪器240、聚合单元250、单体信息检测器260、单体估计计算器270、单体结果单元272、单体选择器280、特征向量提取器282、消失点位置计算器284、倾斜度确定器286和通信器288。

图像获取单元210获取由连接到图像监测装置120的图像捕捉器110捕捉的图像。这里，捕捉到的图像可以由一帧或多个帧构成。虽然图像获取单元210被例示为通过直接接收图像来获取由图像捕捉器110捕捉的图像，但是本公开的实施方式并不限于此。图像获取单元210还可以用来获取由图像捕捉器110预先捕捉并存储的图像，来估计图像中的对象的大小。

前景/背景分离器220通过去除与不运动的背景相对应的背景像素来将与运动对象相对应的前景像素与捕捉到的图像中的像素相分离。更具体地，前景/背景分离器220通过将未从先前捕捉的图像发生变化的像素指定为背景像素来生成背景模型，并且将由图像获取单元210获取的捕捉到的图像与该背景模型比较来确定并分离与该背景模型不对应的像素作为前景像素。前景/背景分离器220可以通过利用多个分离出的前景像素来生成只显示运动对象的前景图像。这里，前景/背景分离器220可以通过在捕捉到的图像中的像素中将与背景像素相对应的区域设置为0以及针对运动对象的前景像素的区域设置为1，来分离与运动对象相对应的前景图像。

前景/背景分离器220还可以通过利用高斯混合模型(GMM)来分离前景像素。前景/背景分离器220指定具有权重大于预定基准值的多个高斯模式的像素作为背景像素，并且通过去除所指定的背景像素来分离与运动对象相对应的前景像素。例如，如果存在多人在捕捉到的图像上运动，则前景/背景分离器220可以测量高斯模式的权重，指定针对具有高权重的静止背景的背景像素，并且通过将所指定的背景像素从捕捉到的图像的像素中去除来分离与多人相对应的前景像素。因此，前景/背景分离器220可以生成针对多个运动的人的前景图像。

前景对象信息生成器230通过在由前景/背景分离器220分离出的前景图像中测量像素的数目和前景对象的坐标值来生成前景对象信息。这里，前景对象信息生成器230可以测量针对前景图像中的每个前景对象的像素的数据，并且使用测量到的像素的数目作为相应前景对象的面积。

前景对象信息生成器230可以针对前景对象的坐标值测量前景对象的最小定界框的中心点，但是本公开的实施方式并不限于此。可以针对前景对象的坐标值来测量存在于前景对象的最小定界框的边缘处的预定点的坐标值。这里，前景对象的坐标值可以是用于识别前景对象的视角的所需要的y坐标。定界框可以具有矩形形状，但是本公开的实施方式并不限于此。定界框可以具有诸如椭圆形、圆形、三角形等的其它形状。

另外，前景对象信息生成器230通过使用前景对象信息来确定是否能够进行图像监测。如果数据量小于预定基准量，则前景对象信息生成器230可以根据预定时间和数据量反复测量前景对象的像素的数目和坐标值，来生成前景对象信息。例如，如果前景对象信息包括针对500个或更多个前景对象的数据，并且最大信息收集时间被设置为2秒钟，则可以生成500或更多条前景对象信息，或者在该五分钟的信息收集时间之后生成的前景对象信息可以被用于图像监测。

降噪器240将前景对象信息中的大小无法测量或不需要测量的噪声去除。

根据本公开的某些实施方式，降噪器240可以通过利用前景对象的面积直方图来降噪或者通过利用包括在前景对象信息中的坐标值来降噪来去除噪声。

如果由前景对象的像素的数目表示的前景对象的面积小于预定量，则降噪器240将该前景对象确定为噪声并且去除该噪声。例如，降噪器240可以基于包括在前景对象信息中的每个前景对象的像素的数目的统计信息来编译直方图。如果前景对象的像素的数目在预设范围内或者小于预定基准值，则降噪器240可以将这些像素确定为噪声并且将该噪声从前景对象信息中去除。

在另一情况下，如果在捕捉到的图像中可见的不是前景对象的整个形状而是其一部分其中前景对象的上边缘、下边缘、左边缘或右边缘被从捕捉到的图像中裁剪掉，则降噪器240可以根据前景对象的坐标值将该前景对象确定为噪声并且去除该噪声。

聚类单元250将降噪后的前景对象信息聚类成两个组。更具体地，为了在降噪后的前景对象信息中确定关于由单个对象构造的单体的信息，聚类单元250通过利用包括前景对象信息的高宽比、前景对象信息的填充比以及二次矩在内的图像特征中的至少一个的值来将降噪后的前景对象信息聚类成两个组。这里，前景对象信息的高宽比是指最小定界框的宽度与最小定界框的高度的比，并且前景对象信息的填充比是指通过将降噪后的前景对象的像素的总数目除以包括在相应最小定界中的像素的数目而计算出的值。二次矩是指利用包括在前景对象中的像素的坐标值而计算出的值。二次矩M可以通过利用下面的算式1来计算。

[算式1]

(M：表示二次矩，μ：包括在前景对象中的前景像素的坐标值的平均数，N：前景对象的像素的数目，(x，y)：前景图像中的像素的坐标，(x0，y0)：前景对象的矩心的坐标，并且f(x，y)：1(前景)或0(背景)。)

这里，二次矩M可以通过使用包括在前景对象中的前景像素的坐标值的平均数的决定因素来计算。

根据本公开的某些实施方式，聚类单元250可以通过使用k均值聚类法来将前景对象的高宽比和填充比以及二次矩中的至少一个划分成两个组。然而，本公开的实施方式不限于此。可以使用任何聚类方法，包括层级聚类法、非层级聚类法以及基于模型的方法，这些方法可以通过利用预定特征将前景对象划分成预定组数目。这里，k均值聚类法是指设置初始值的方法，该初始值用于通过使用前景像素的高宽比、前景对象的填充比和二次矩中的至少一个来将前景对象聚类成两个组并创建相似的组。由于k均值聚类方法被广泛使用，因此将省略其更加详细的说明。

单体信息检测器260确定包括在通过聚类生成的两个组中的单体的单体组，并检测单体信息。更具体地，单体信息检测器260通过使用最小二乘法来估计表示由聚类单元250聚类的前景像素的y坐标和前景对象的像素的数目之间的关系的预定线性函数，并且通过使用利用预定线性函数估计出的前景对象的像素的数目和前景对象的像素的实际数目来计算每个组中的像素的数目中的平均误差，以确定具有较小误差的组作为包括单体的组。因此，单体信息检测器260检测关于所确定的组中的单体的信息。

通过下面的算式2限定表示由单体信息检测器260聚类的前景像素的y坐标和相应的前景对象的像素的数目之间的关系的预定线性函数。

[算式2]

a＝p₁+p₂×y

(a：前景对象的估计的像素数目，p₁：预定线性函数的y截距，p₂：预定线性函数的斜率，并且y：前景像素的y坐标。)

单体信息检测器260通过将前景像素的y坐标代入式2来估计前景对象的像素的数目。这里，单体信息检测器260利用各个前景对象的计算出的像素数目和各个前景对象的实际的像素数目来计算各个前景对象的像素的数目中的误差，通过比较两个组中的像素的数目中的平均误差来确定具有比另一个组小的像素数目的误差的一个组作为包括单体的组，并且检测关于包括在所确定的组中的单体的单体信息。这里，单体信息可以包括单体的像素的坐标和单体的像素的数目。

通过利用算式3计算包括在各个组中的前景对象的像素的数目中的误差的平均误差值e_c。

[算式3]

(e_c：组中的平均误差，N_c：c组中的前景对象的数目，a_i：前景对象的像素的实际数目，并且(p₁+p₂×y_i)：在式1中估计出的前景对象的像素的数目。)

单体估计计算器270通过利用非线性优化来估计针对由单体信息检测器260检测的单体信息的预定非线性函数，并且根据该预定非线性函数计算各个单体的大小的估值。更具体地，单体估计计算器270通过非线性优化来估计表示包括在单体信息中的单体的像素的y坐标和单体的像素的数目之间的关系的预定非线性函数，并且通过利用该预定非线性函数来计算单体的面积。这里，可以根据预定非线性函数来计算与单体的大小相对应的单体的面积、宽度和高度的估值，用于计算单体的面积。

另外，由于单体的像素的y坐标和单体的像素的数目之间的关系依赖于镜头的性能、图像捕捉器110的观察角度和安装角度而可以是非线性的，单体估计计算器270使用非线性优化。然而，本公开的实施方式不限于此。单体估计计算器270可以使用线性优化。

下面的算式4给出由单体估计计算器270估计的针对包括在单体信息中的单体的像素的y坐标和单体的像素的数目之间的关系的预定非线性函数。

[算式4]

(a：估计的单体的面积，p_a1：预定非线性函数的y截距，p_a2：预定非线性函数的该斜率，p_a3：预定非线性函数的曲率，并且y：单体的y坐标。)

在算式4中，参数p_a1、p_a2和p_a3可以被设置为通过利用非线性优化使在下面的算式5中计算出的误差e_a最小化的值。

[算式5]

(e_a：单体组中的像素的数目中的误差，N_c：单体组中的前景对象的数目，a_i：单体组中的各个前景对象的像素的实际数目，并且(p_a1+p_a2×y^Pa3)：在式4中估计出的单体组中的前景对象的像素的数目。)

通过下面给出的算式6限定函数，单体估计计算器270利用该函数基于算式4计算的单体的大小相关地计算单体的宽度。为了计算单体的宽度，可以应用用来在算式4中估计单体的面积的单体组。然而，本公开的实施方式不限于此。某些实施方式可以仅使用面积与所估计的单体面积相差预定阀值以下的单体。例如，可以选择实际面积测量a_i与算式4中所估计的面积‘a’相差至10％的任意单体i来进行宽度和高度估计。

[算式6]

(w：表示与单体的大小相对应的单体的宽度，p_w1：用于计算宽度的函数的y截距，p_w2：用于计算宽度的函数的斜率，p_w3：用于计算宽度的函数的曲率，并且y：单体的y坐标。)

在算式6中，参数p_w1、p_w2和p_w3可以被设置为通过非线性优化使在下面的算式7中计算出的误差e_w最小化的值。

[算式7]

(e_w：单体组中的宽度误差，N_a：像素数目的误差中小于或等于阀值的单体组中的前景对象的数目，w_i：单体组中的前景对象的实际宽度，并且(p_w1+p_w2×y^Pw3)：在算式6中估计的单体组中的、像素的数目中的误差小于或等于阀值的前景对象的宽度。)

通过下面的式8限定利用其单体估计计算器270根据式算4计算与单体的大小相对应的各个单体的高度的函数。

[算式8]

(w：与单体的大小相对应的单体的高度，p_w1：用于计算高度的函数的y截距，p_w2：用于计算高度的函数的斜率，p_w3：用于计算高度的函数的曲率，并且y：单体的y坐标。)

在算式8中，参数p_h1、p_h2和p_h3可以被设置为通过非线性优化使在下面的算式9中计算出的误差e_h最小化的值。

[算式9]

(e_h：单体组中的高度误差，N_a：像素数目中的误差小于或等于阀值的单体组中的前景对象的数目，h_i：单体组中的前景对象的实际高度，并且(p_h1+p_h2×y^Ph3)：算式8中所估计的单体组中的、在前景对象中像素的数目的误差小于或等于阀值的前景对象的高度。)

单体结果单元272生成关于具有由单体估计计算器270计算出的面积、宽度和高度的单体的单体结果性信息。

单体选择器280根据由单体结果单元272生成的结果性单体信息来生成单体的单一前景图像，并且在该前景图像中选择至少一个前景单体。这里，前景单体可以通过来自管理者的输入来选择。然而，本公开的实施方式不限于此。当单体的大小在预设的基准范围之内时，该单体可以被选择为前景单体。

特征向量提取器282提取由单体选择器280选择的前景单体的特征向量。该特征向量包括与前景单体的像素的主方向对齐的第一特征向量以及垂直于该第一特征向量的第二特征向量。这里，主方向是指平行于单体的高度的方向。

特征向量提取器282可以通过使用协方差矩阵来计算该特征向量。这里，协方差矩阵是表示两个随机变量之间的相关的矩阵。根据本公开的某些实施方式，协方差矩阵C可以使用下面的算式10进行计算。

[算式10]

(其中，C：协方差矩阵，M：前景单体中的像素的数目，X_i：前景单体中第i个像素的坐标的二维向量，并且m：前景单体中像素的矩心的坐标的二维向量。)

当在算式10中计算出协方差矩阵C时，可以计算并提取满足C·x＝λ·x(其中λ是C的特征值)的‘x’作为前景单体的特征向量。这里，该特征向量通常与前景单体的像素的主方向对齐，并且由二维的两个垂直向量构成。

消失点位置计算器284计算一个消失点的位置，在该位置处在单一前景图像中的前景单体的特征向量相交。

根据本公开的某些实施方式，消失点位置计算器284计算通过将捕捉到的图像中的任意点连接到前景单体的矩心而产生的基准向量和由特征向量提取器282提取的特征向量之间的角度，并且计算使两个向量之间的角度最小化的一个点作为该消失点的位置。更具体地，当捕捉到的图像中的点被定义为v_z，并且第i个前景单体的矩心被定义为m_i时，通过将捕捉到的图像中的点连接到前景单体的矩心而产生的基准向量可以由v_z-m_i来表示。消失点位置计算器284计算该基准向量v_z-m_i和由特征向量提取器282提取的特征向量e_i之间的角度并且确定使两个向量v_z-m_i和e_i之间的角度最小化的点v_z作为消失点。

消失点位置计算器284根据下面的算式11计算使通过将捕捉到的图像中点连接到前景单体的矩心而产生的基准向量与前景单体的特征向量之间的角度最小化的角度差值e²。

[算式11]

(ε²：基准向量和特征向量之间的角度中的误差，θ：基准向量和特征向量之间的角度，v_z：所捕捉到的图像中的点，v_z-m_i：基准向量，并且e_i：特征向量。)

通过使用非线性优化方法，可以获得使基准向量和特征向量之间的角度几乎为零的算式11。根据本公开的某些实施方式，消失点位置计算器284可以使用内尔德-米德单纯形法来执行非线性优化。然而，本公开的实施方式不限于此。

倾斜度确定器286通过使用由消失点位置计算器284计算出的消失点来确定关于各个前景单体的倾斜度信息，即各个前景单体的姿势，并且校正所识别对象的大小。

根据本公开的某些实施方式，倾斜度确定器286确定各个前景单体的倾斜度，调整相应对象的最小定界框的倾斜，并且校正该最小定界框的大小，使得校正后的最小定界框的大小与对象的实际大小相似。

通信器288向监测单元150发送其倾斜和大小由倾斜度确定器286校正后的前景单体的最小定界框，使得该最小定界框利用指示的最小定界框的经调整的倾斜和校正后的大小在监测单元150上显示。

图3是根据至少一个实施方式由图像监测装置执行的用于检测单体的操作的流程图。

图像监测装置120获取由图像捕捉器110捕捉的图像或者预先捕捉并存储的图像(S310)。

图像监测装置120根据预定标准确定捕捉到的图像中的像素的像素值(S320)。

图像监测装置120基于在步骤S320中所确定的像素值，将不呈现特定运动的背景的背景像素和运动对象的前景像素相分离(S322)。这里，图像监测装置120根据先前捕捉的图像通过将未发生变化的像素指定为背景像素来生成背景模型，并且将所获取的捕捉到的图像与该背景模型进行比较来确定并分离不与该背景模型相对应的像素作为前景像素。

图像监测装置120通过测量在步骤S3322中分离的前景像素的坐标值和前景对象的像素的数目来生成前景对象信息(S330)。这里，图像监测装置120可以根据预设的时间和数据量来反复测量前景对象的像素的数目以及前景像素的坐标值。

图像监测装置120根据预定的时间和信息量来确定对象信息是否可用于对象感测(S340)。

如果作为步骤S340中的确定的结果对象信息对应于预设的基准信息，则图像监测装置120利用对象信息的直方图对前景对象进行降噪(S350)，然后利用包括在对象信息中的坐标值对前景对象进行降噪(S352)。

图像监测装置120利用对象信息提取前景对象的特征并将该对象信息聚类成两个组(S360)。

图像监测装置120确定单体组在步骤S360中创建的两个组中，并检测关于单体的单体信息(S370)。这里，图像监测装置120利用最小二乘法来估计表示由聚类单元250聚类的前景像素的y坐标和前景对象的像素的数目之间的关系的预定线性函数，将利用该预定线性函数估计出的前景对象的像素的数目与前景对象的像素的实际数目进行比较来确定两个组中具有较小误差的组作为包括单体的组，并且检测关于单体的单体信息。

图像监测装置120利用单体信息生成用于估计单体的大小的预定函数(S380)。图像监测装置120可以通过单体信息的非线性优化来生成预定非线性函数。

图像监测装置120使用单体信息来计算单体的面积、宽度和高度(S382)。这里，图像监测装置120可以利用预定非线性函数来计算与单体的大小相对应的单体的面积、宽度和高度。

图像监测装置120通过利用在步骤S382中计算出的单体的面积、宽度和高度来估计单体的大小(S390)。这里，可以使用监测单元150以与所估计的单体的大小相对应的诸如四边形、椭圆形和三角形的各种图形的形状来突出并显示单体。

虽然描述了步骤S310至S390在图3中按顺序执行，但仅仅是例示本公开在某些实施方式中的概念，本领域普通技术人员将理解，在不背离本公开的本质特征的情况下，这些步骤可以以修改后的顺序来执行，或步骤S310至S390中的两个或更多个步骤可以并行地进行。因此，图3中的步骤不限于时间顺序方式。

图4是根据至少一个实施方式的用于通过估计单体的倾斜度来监测视频图像的方法的流程图。

图像监测装置120从多个单体中选择预定的单体作为前景单体(S410)。这里，图像监测装置120可以将利用单体的面积、宽度和高度中的至少一个测得的值估计出的各个单体的大小与预设基准值比较，并且如果所估计的单体的大小大于或小于预设基准值，则图像监测装置120可以选择该单体作为前景单体。

图像监测装置120提取该前景单体的特征向量(S420)该。特征向量包括与前景单体的像素的主方向对齐的第一特征向量以及垂直于该第一特征向量的第二特征向量。这里，主方向是指平行于单体的高度的方向。

图像监测装置120使用在步骤S420中提取的特征向量来计算消失点的位置(S430)。这里，图像监测装置120计算通过将捕捉到的图像中的任意点连接到前景单体的矩心而产生的基准向量和在步骤S420中提取的特征向量之间的角度，并且计算使两个向量之间的角度最小化的一个点作为消失点的位置。

图像监测装置120根据前景单体的矩心和特征向量以及消失点来确定前景单体的倾斜度(S440)。

图像监测装置120根据在步骤S440中确定的倾斜度来校正前景单体的最小定界框的倾斜和大小并将其发送到监测单元150以显示该前景单体(S450)。

虽然描述了步骤S410至S450在图4中按顺序执行，但仅仅是例示本公开在某些实施方式中的理念，本领域普通技术人员将理解，在不背离本公开的本质特征的情况下，这些步骤可以以修改的顺序来执行或者步骤S410至S450中的两个或更多个步骤可以并行地进行。因此，图4中的步骤不限于时间顺序方式。

图5是根据至少一个实施方式的由图像监测装置执行的用于将捕捉的图像划分成单独的前景像素和背景像素的操作的图。

图5的(a)示出图像监测装置120从图像捕捉器110接收的捕捉到的图像，图5的(b)示出在图像监测装置120将背景像素从捕捉到的图像的像素中去除之后仅使用前景像素而生成的前景图像。

例如，图5的(a)示出通过在城市中在人行道上方安装的CCTV捕捉的多个行人的图像。这里，第一对象510表示独自行走的行人，第二对象520表示一起行走的两个相邻的行人。第一对象510和第二对象520可以被显示为图5的(b)的分开的前景图像，作为第一前景对象530和第二前景对象540。这里，图像监测装置120可以通过进行聚类确定第一前景对象530是单体，并测量第一前景对象530的像素的坐标值和数目。另一方面，图像监测装置120可以通过进行聚类确定第二前景对象540不是单体，并且将第二前景对象540从单体中排除。

图6是根据至少一个实施方式的由包括在图像监测装置中的降噪器执行的利用前景像素的直方图的降噪操作的图。

根据该实施方式的降噪器240使用关于前景对象的前景对象信息生成面积直方图，并且如果所生成的直方图数据中的面积在预设范围内或者小于预定的基准值(例如，直方图数据的最低5％)，则降噪器240可以将该前景对象信息610确定为噪声并去除该噪声。

在图6的曲线图中，x轴表示对象大小(面积)，y轴表示出现频率。例如，降噪器240可以去除出现在包括前景图像的图像捕捉、转换、分离和校准在内的图像处理中的较小的噪声。

图7是根据至少一个实施方式的由图像监测装置执行的用于通过聚类确定单体的操作的图。

如图7中所示，当在前景图像中存在第一前景对象710、第二前景对象720、第三前景对象730和第四前景对象740时，图像监测装置120利用预设得的聚类技术将前景对象划分成两个组。这里，两个组中的其中一个组是指单体组，另一个组是指包括一个或更多个对象的前景对象的组。例如，第一前景对象710和第二前景对象720可以包括在单体组中，并且第三前景对象730和第四前景对象740可以包括在多个对象的组中。这里，图像监测装置120可以仅使用关于包括在单体组中的第一前景对象710和第二前景对象720的单体信息来计算单体的面积，并且通过监测单元150输出该面积。

图8是根据至少一个实施方式的由图像监测装置执行的用于单体检测的前景像素的聚类的结果的图。

图8的曲线图示出由图像监测装置120利用k均值聚类方法进行的将包括在前景图像中的前景像素聚类成两个组的结果。两个组中的一个组通过“◆”指示，另一个组通过“×”指示。

如图8中所示，图像监测装置120可以利用最小二乘法来估计表示聚类的前景像素的y坐标和前景对象的像素的数目之间的关系的预定线性函数，并且将通过使用利用预定线性函数估计出的前景对象的像素的数目的组中的像素的数目中的平均误差与前景对象的像素的实际数目比较，从而确定具有较小误差的组作为包括单体的组810。

图9是根据至少一个实施方式的由图像监测装置执行的用于计算单体的面积的操作的图。

图9的曲线图表示由图像监测装置120使用针对单体信息的非线性优化进行的预定非线性函数910的估计的结果。与单体信息相关的全部信息由“○”指示，对应于与预定非线性函数910相对应的单体的面积的信息由“·”指示。

图像监测装置120可以根据预定非线性函数910来计算与单体的大小有关的单体的宽度和高度。

图10是根据至少一个实施方式的通过利用图像监测装置来估计单体的大小而检测的单体的示例性图像。

图10示出包含利用由图像监测装置120计算出的各个单体的面积、宽度和高度所指示的单体的显示图像。这里，可以利用如图10中所示的单体的宽度和高度以四边形、椭圆形和三角形的形状来突出和显示单体。

图11是根据至少一个实施方式的图像监测装置中的前景单体的前景图像的图。

图11的(a)示出图像监测装置120从图像捕捉器110获取的捕捉到的图像，图11的(b)示出与由图像监测装置120提取的单体相对应的前景单体的单一前景图像。

例如，图11的(b)中示出的前景单体可以通过第一前景单体1110和第二前景单体1120来指示。这里，第一前景单体1110和第二前景单体1120可以是从其面积、宽度和高度通过图像监测装置120进行聚类而估计的单体中选择的前景单体。

图12是根据至少一个实施方式的由图像监测装置执行的用于估计特定前景单体的倾斜度的操作的图。

根据某些实施方式，由图像监测装置120选择的第一前景单体1110具有利用协方差矩阵提取的第一特征向量1210和第二特征向量1220。这里，第一特征向量1210是指示与第一前景单体1110的高度平行的主方向的向量，第二特征向量1220是指示与第一特征向量1210垂直的向量。

图像监测装置120利用预定误差函数计算通过将图像中的任何点1230连接到第一前景单体1110的矩心1240而产生的基准向量1250与第一特征向量1210之间的角1230，并且如果点1230使角1230最小化，则确定该点1230作为前景单体的消失点。

图13是根据至少一个实施方式的由图像监测装置执行的用于通过使用单体的特征向量来估计某个前景单体的倾斜度的操作的图。

图13示出多个前景单体1310和1320的特征向量以及通过将消失点连接到各个前景单体的矩心而产生的基准向量，图像监测装置120使用这些基准向量来估计各个单体的倾斜度。

图14是根据至少一个实施方式的通过利用图像监测装置来估计各个单体的倾斜度校正前景单体的大小的结果图像输出的图。

图像监测装置120利用各个前景单体的矩心和特征向量以及消失点来确定前景单体的倾斜度，即，前景单体的姿势，并校正各个所确定单体的大小。

如图14中所示，图像监测装置120可以通过确定各个单体的倾斜度来调整前景单体的最小定界框的倾斜，然后通过将各个最小定界框校正为具有与相应单体的实际大小相似的宽度和高度来显示前景单体的最小定界框。

虽然为说明性目的已经描述了本发明的示例性实施方式，但本领域技术人员将理解在不背离本发明的实质特性的情况下，能够进行各种修改、添加和替换。因此，为了简洁和清晰起见，已经描述了本发明的示例性实施方式。因此，本领域普通技术人员将理解，本发明的范围不受明确描述的上述实施方式的限制而是受到权利要求及其等同物的限制。

工业可应用性

如上所述，本公开对于图像监测领域的应用是非常有用的。即使出现在图像中的对象由于摄像机视角或摄像机角度相对于垂直方向是倾斜的，也能够自动识别对象的姿势或倾斜度。

(附图标记)

110：图像捕捉器 120：视频监视系统

130：图像数据处理器 140：单体检测器

142：倾斜度估计器 150：监测单元

210：图像获取单元 220：前景/背景分离器

230：前景对象信息生成器 240：降噪器

250：聚类单元 260：单体信息检测器

270：单体估计计算器 272：单体结果单元

280：单体选择器 282特征向量提取器

284：消失点位置计算器 286：倾斜度确定器

288：通信器

相关申请的交叉引用

如果适用，本申请根据35U.S.C§119(a)要求2012年10月9日在韩国提交的申请号为10-2012-01121115的专利申请的优先权，该专利申请的全部内容通过引用的方式并入在本文中。另外，该韩国专利申请的全部内容通过引用的方式并入在本文中，由于与基于该韩国专利申请相同的原因，该非临时性申请在除了美国之外的国家要求优先权。

Claims (10)

1.一种图像监测装置，该图像监测装置包括：

单体选择器，该单体选择器被构造成从所获取的图像中的多个对象中选择至少一个单体；

单一前景图像生成器，该单一前景图像生成器被构造成生成所述单体的单一前景图像；

特征向量提取器，该特征向量提取器被构造成利用包含在所述单一前景图像中的前景单体的矩心、所述前景单体的像素的数目以及像素的坐标值中的至少一方来提取所述前景单体的特征向量；

消失点位置计算器，该消失点位置计算器被构造成通过将所述图像中的某个点连接到所述前景单体的所述矩心来生成基准向量，并且当所述某个点使所述基准向量和所述特征向量之间的角度最小化时将所述某个点确定为消失点；以及

倾斜度确定器，该倾斜度确定器被构造成利用所述消失点来确定所述前景单体的倾斜度，并且校正所述前景单体的最小定界框的倾斜。

2.根据权利要求1所述的图像监测装置，其中，所述特征向量提取器利用由下面的算式所限定的协方差矩阵来计算所述特征向量：

$C=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}(X_i-m){(X_i-m)}^T,$

其中，C表示所述协方差矩阵，M表示所述前景单体中的像素的数目，X_i表示与所述前景单体中第i个像素的坐标相对应的二维向量，并且m表示与所述前景单体中所述像素的所述矩心的坐标相对应的二维向量。

3.根据权利要求2所述的图像监测装置，其中，所述特征向量包括通过将所述二维向量应用到所述协方差矩阵而提取的至少两个向量。

4.根据权利要求3所述的图像监测装置，其中，所述特征向量包括与所述前景单体的高度平行的第一特征向量和与所述第一特征向量垂直的第二特征向量。

5.根据权利要求1所述的图像监测装置，其中，所述消失点位置计算器将所述基准向量和所述特征向量之间的所述角度应用到误差函数并且当所述角度使来自所述误差函数的误差最小化时将所述某个点确定为所述消失点。

6.根据权利要求5所述的图像监测装置，其中，所述消失点位置计算器通过反复地将所述图像中的全部或部分像素设置为所述某个点来计算所述消失点的位置。

7.根据权利要求1所述的图像监测装置，其中，所述倾斜度确定器利用所述前景单体的所述倾斜度校正所述最小定界框的所述倾斜，

其中，所述倾斜度确定器通过基于预先存储的所述单体的面积、宽度和高度中的至少一个的估计调整所述前景单体的所述最小定界框的宽度和高度来校正所述前景单体的大小。

8.根据权利要求1所述的图像监测装置，其中，所述单一前景图像生成器通过将在多个图像之间未变的像素指定为背景像素来生成背景模型，将由所述单体选择器获取的所述图像与所述背景模型比较，确定除了与所述背景模型相对应的所述背景像素之外的像素作为前景像素，并且利用所述前景像素来生成所述单一前景图像。

9.根据权利要求1所述的图像监测装置，其中，所述单体选择器将通过使用所述单体的面积、宽度和高度中的至少一个测得的值估计出的所述单体的估计大小与预设基准值比较，并且如果所述估计大小对应于基准值的预设范围，则选择所述单体作为前景单体。

10.一种用于通过图像监测装置测量图像中的单体的倾斜度的方法，该方法包括以下步骤：

从所获取的图像中的多个对象中选择至少一个单体；

生成所述至少一个单体的单一前景图像；

利用前景单体的矩心、前景单体的像素的数目以及像素的坐标值中的至少一方来提取包含在所述单一前景图像中的所述前景单体的特征向量；

通过将所述图像中的某个点连接到所述前景单体的所述矩心来生成基准向量，并且当所述某个点使所述基准向量和所述特征向量之间的角度最小化时将所述某个点确定为消失点；以及

利用所述消失点来确定所述前景单体的倾斜度，并且校正所述前景单体的最小定界框的倾斜和大小。