CN206411692U

CN206411692U - 聚类系统和对应的装置

Info

Publication number: CN206411692U
Application number: CN201620481486.XU
Authority: CN
Inventors: G·斯潘皮纳托; A·R·布鲁纳; V·达尔托
Original assignee: STMicroelectronics SRL
Current assignee: STMicroelectronics SRL
Priority date: 2015-12-14
Filing date: 2016-05-24
Publication date: 2017-08-15
Anticipated expiration: 2026-05-24
Also published as: CN106886790A; US10140550B2; CN106886790B; US20170169311A1; ITUB20159613A1; DE102016109660A1

Abstract

一种聚类系统，包括：聚类装置，用于将运动矢量分组成簇集；合并聚类装置，用于合并来自簇集中的簇。系统包括下列至少一项：滤波器，用于在分组成簇集之前向运动矢量施加滤波以去除没有被包括在之前的簇中的小运动矢量；时间聚类装置，用于通过如下方式来使用时间聚类补充合并聚类：从簇集中去除那些没有在输入帧的流中的前一帧中的簇并且联合当前帧的那些涉及在输入帧的流中的前一帧的相同簇的簇；簇平滑装置，用于针对输入帧的流中的当前帧和前一帧计算同源簇的加权平均；聚类装置，被配置用于使用由输入帧的流中的前一帧的合并聚类而产生的矢量、针对当前帧的簇集中的分组补充运动矢量。

Description

聚类系统和对应的装置

技术领域

本描述涉及聚类技术。

一个或多个实施例可以被应用于检索通过图像传感器(图像捕获)设备获取的场景中的移动对象的簇。

背景技术

聚类是按照如下方式来对(例如图像)信息的集合分组的任务：该方式使得同一组(称为簇)中的信息的条目比其他组中的信息的条目彼此更加类似。

移动对象的检测和跟踪是是计算机视觉应用中很普遍且重要的任务，主要是作为支持其他应用的低层级任务。

实现这一步骤的效率扮演着很重要的角色，因为其可能明显影响执行随后的处理步骤。

虽然该领域已经有广泛的活动，但仍然感到需要一种改进的聚类技术。

实用新型内容

一个或多个实施例的目的是用于满足这样的需求。

本公开一个方面涉及一种聚类系统，用于从输入帧的运动矢量开始聚类由输入帧的流传达的图像信息，系统包括：聚类装置，用于将运动矢量分组成簇集，合并聚类装置，用于合并来自簇集(106，108)中的簇，其中系统包括以下中的至少一项：i)滤波器(102')，用于在分组成簇集之前，向运动矢量施加滤波以去除没有被包括在之前的簇中的小运动矢量，ii)时间聚类装置，用于通过如下方式来使用时间聚类补充合并聚类，即，从簇集中去除那些没有在输入帧的流中的前一帧中的簇并且联合当前帧的那些涉及在输入帧的流中的前一帧的相同簇的簇，iii)簇平滑装置，用于针对输入帧的流中的当前帧和前一帧计算同源簇的加权平均，iv)聚类装置，被配置用于使用由输入帧的流中的前一帧的合并聚类(110，112)而产生的矢量(116)、针对当前帧的簇集中的分组补充运动矢量。

本公开另一方面涉及一种装置，包括：根据本公开第一方面的聚类系统，耦合至系统以向系统提供输入帧(IF)的流的图像捕获设备(C)。

权利要求是本文中提供的一个或多个示例性实施例的公开内容的组成部分。

一个或多个实施例可以使用相邻帧之间的运动矢量(借助于出于这一目的已知的任何过程而获得)；从这些运动矢量开始，根据一个或多个实施例的系统可以能够检索由图像传感器设备获取的场景中的移动对象的簇。

一个或多个实施例可以依赖于以下基本想法：将具有类似的空间和运动信息的矢量看作属于相同的对象。

在一个或多个实施例中，也可以使用时间信息来改善性能。

一个或多个实施例的典型的应用领域可以包括例如用于以下各项的装置：

-摄像头监视；

-人员/对象检测/识别；

–CTA(交叉车流警告)；

–人员行为分析(例如防盗、跌落检测等)；

–无人看管行李检测。

一个或多个实施例可以提供以下优点中的一个或多个：

–可以通过求助于具有低功耗并且没有附加存储器要求的简单技术来提供可靠且低成本的聚类系统；

–提供适合用于与各种用于估计相邻帧之间的运动矢量的过程一起使用的灵活的解决方案；

-可以采用前一帧聚类和矢量信息以获得在当前帧中的更加鲁棒的聚类确定；

可以对当前和之前的相关簇求平均以针对用户维持更“优美的”的聚类输出。

附图说明

现在将参考附图仅以示例方式来描述一个或多个实施例，在附图中：

图1是聚类布置的示意性框图；

图2是一个或多个实施例的示意性框图；以及

图3包括部分a)到g)，图3是一个或多个实施例的可能操作的示意性表示。

具体实施方式

在随后的描述中，说明一个或多个具体细节，旨在提供对实施例的示例的深度理解。可以在没有这些具体细节中的一个或多个的情况下或者使用其他方法、部件、材料等来获得这些实施例。在其他情况下，没有对已知的结构、材料或操作进行详细说明或描述，以免模糊实施例的某些方面。

本描述的框架中对“实施例”或“一个实施例”的引用意图表示关于该实施例描述的特定的配置、结构或特性被包括在至少一个实施例中。因此，诸如“在实施例中”或者“在一个实施例中”等可以存在于本描述的一个或多个位置处的短语不一定指代同一实施例。另外，可以在一个或多个实施例中按照任意适当的方式组合特定的构造、结构或特性。

本文中所使用的附图标记仅为了方便而提供，因此没有限定保护范围或实施例的范围。

为了简洁，下面的描述中借助于括号之间的附图标记(例如[X])来指代某些文档，并且附图标记表示中出现在本描述的末尾的文档的列表中的文档。

一个或多个实施例可以使用相邻帧(例如借助于已知用于该目的的任何装置、例如数字视频相机C获得的视频流中的输入帧IF)之间的运动矢量MV。

从这些矢量MV开始，一个或多个实施例可以能够检索通过图像传感器设备获得的场景中的运动对象的簇(参见例如图1和2中识别为CI的簇)。

一个或多个实施例的基本想法是：将具有类似的空间和运动信息的矢量看作属于同一对象[1]。可选地，也使用时间信息来改善性能。

如所指出的，运动对象的检测和跟踪是计算机视觉应用中普通且重要的任务，主要作为支持其他应用的低层级任务。实现这一步骤的效率扮演着很重要的角色，因为其可能显著影响执行随后的处理步骤。

本质上，可以采用两种类型的方法以便满足这一任务：基于区域的方法和基于边界的方法。

背景减除和光流是普通的基于区域的方法：然而这些并不特别适合用于实时应用，因为它们可能需要很长的时间以用于估计背景模型。

各种基于边界的方法可以使用基于边缘的光流[2][3][4]。

图1是例如[5][6]中公开的过程的例示。

应当理解，可以用硬件、软件、固件或者硬件、软件和固件的组合或子组合来执行在本示例性详细描述中讨论的处理步骤中的部分或全部步骤。例如，以上步骤中的一些或全部可以由执行程序指令的计算电路、诸如微处理器或微控制器来执行，或者可以由硬连线或固件配置的电路、诸如ASIC或FPGA来执行。

在步骤100，从由(数字)图像传感器或图像捕获设备C(其可以是出于这一目的已知的任何类型，例如相机，并且其本身可以不是实施例的部分)提供的输入帧IF开始，可以提供相邻帧之间的运动矢量MV的列表(通过已知的方法，其不需要在本文中详细描述)。

在步骤102，可以执行预滤波，以便例如消除噪声和/或毛刺。

在步骤104，可以执行标记(也是用本身已知的方式)以便针对每个“类似的”运动矢量插入标签。

在聚类步骤106，可以将具有相同标签的矢量分组成簇，并且在另外的“NxM聚类”步骤108中，可以将找到的簇扩展至更大的NxM窗口。

最后，在合并聚类步骤110中，可以将“类似的”簇合并以提供最终的被标识的簇CI。

这样的方法可能呈现各种缺点。

比如，以上考虑的各种步骤中的一些步骤可能结果在计算上事是繁重的，因为它们可能对图像(也就是帧)进行操作。在例如使用中值滤波器或者背景去除的情况下，对于预滤波步骤102尤其是这样。

另外，没有使用时间簇信息以便增强聚类，例如使用用于跟踪的之前的聚类信息，并且没有使用“之前”矢量信息。

一个或多个实施例可以采用图2中例示的聚类方法，其中已经结合图1介绍的部分或元素使用相同的附图标记来表示。在此出于简洁的目的不再重复相应的详细描述。

图2中例示的处理步骤中的一些或全部也可以用硬件、软件、固件或者硬件、软件和固件的组合或子组合来执行。例如，这些步骤中的一些或全部步骤可以由执行程序指令的计算电路、诸如微处理器或微控制器来执行，或者可以由硬连线或固件配置的电路、诸如ASIC或FPGA来执行。

在图2中例示的一个或多个实施例中，图1的预滤波步骤102可以用“智能”预滤波步骤102'来取代，在“智能”预滤波步骤102'中消除了在之前簇中没有的(非常)小矢量。

在图2中例示的一个或多个实施例中，可以在112与合并聚类110相关联地(例如在合并聚类110之后)执行时间聚类以便消除在前一帧中没有的簇并且联合涉及相同前一簇的当前簇。

在图2中例示的一个或多个实施例中，可以在114(例如在合并和时间聚类110、112之后)执行簇平滑以便产生例如当前和先前相关簇的加权平均。

在图2中例示的一个或多个实施例中，例如在标记步骤104中，可以在下一帧中插入(可选地施加相同的运动，也就是考虑恒定的对象速度)在当前簇(例如在114处的簇平滑中可用的簇)中包含的(所有)时间矢量116。

也就是，在一个或多个实施例中，可以使用由于先前帧的合并聚类110(以及可选的时间聚类112)产生的簇中包括的矢量116来补充意图被分组(例如经由104处的标记)在当前帧的簇集(例如106、108、110)中的运动矢量MV。

在图2中例示的一个或多个实施例中，可以对取决于距离、模和角度而被认为“类似”的矢量/簇执行各种类型的标记、聚类和合并步骤。

比如，在如图2中例示的一个或多个实施例中，光流步骤100可以生成输入运动矢量MV，其在标记104和聚类106、108(例如N＝16，M＝16)步骤之后可以标识如图3的部分a)中例示的多个簇。这些然后可以经历如图3的部分b)中用椭圆示意性地表示的合并聚类110以获得图3的部分c)中示意性地描绘的所得到的多个簇(在合并聚类之后)。

在施加时间聚类112时，可以去除这些所得到的簇中的某些簇(例如图3的部分d)中用十字标记表示的簇中的三个簇)，因为这些簇没有出现在之前的帧期间中，使得如图3的部分e)中示意性地描绘地仅保留例如三个簇。

在向这些簇施加时间矢量116时，例如可以扩展(联合)两个簇，并且例如可以引入另一簇，如图3的部分f)中示意性地描绘的。

在114施加簇平滑(可能连同102'处的“智能”预处理)可以允许通过去除上一被标识的簇来标识某些对象、例如三个移动的汽车，这导致最终结果，即图3的部分g)中示意性地描绘的被标识的簇CI。

如所指出的，图1的102处例示的传统的预滤波可以借助于复杂的滤波、诸如例如中值滤波器[5]来去除运动矢量噪声。

在图2中例示的一个或多个实施例中，可以使用各种简单的滤波方法用于102'处的智能预滤波，这取决于例如进来的运动矢量的噪声。

第一方法可以包括蛮力选项、例如删除所有的“小”矢量(被认为是噪声)。

比如，在一个或多个实施例中，如果abs_sum(v)<＝MAX_ABS_VALUE(例如小于某个门限)，例如其中abs_sum(v)＝ABS(dX)+ABS(dY)，则可以认为矢量v＝(dX,dY)“小”。

第二方法可以包括“智能”选项，基于其包括以下所有小矢量：

–位于前一帧的聚类的周围；

–在矢量与前一簇帧之间具有定向差异小于α。

第三方法可以包括在前面考虑的“智能”选项加上某个窗口WxH中至少为N个的具有相同定向的小矢量两者。

在一个或多个实施例中，可以在以上讨论的三个方法中使用以下数值：

–第一方法：MAX_ABS_VALUE＝1；

–第二方法：α＝[10°..50°]，这取决于应用；

–第三方法：W＝8，H＝8，N＝5。

在图2中例示的一个或多个实施例中，104处的标记处理可以类似于例如[6]中公开的标记处理。

这可以涉及：如果以下条件满足，则例如在位置p1和p2处向矢量v1和v2插入相同的标签：

-SAD(p1,p2)<MPD(参见例如[6])；

–SAD(v1,v2)<MVD(如果与例如[6]相比，这是不同的条件，其考虑单个组成的绝对差异)；

-orientation_difference(v1,v2)<α(如果与例如[6]相比，这是附加条件)。

在以上描述中，SAD表示绝对差异之和。

在一个或多个实施例中，可以使用以下数值：

MPD＝[15..75]，MVD＝[1..5]，这取决于应用。

在一个或多个实施例中，聚类布置106可以分组成具有相同标签的簇矢量，而聚类NxM步骤108可以将所找到的簇扩展至其NxM更大窗口。

在图2中例示的一个或多个实施例中，合并聚类步骤110在以下条件成立的情况下合并两个簇C1和C2：

–((X_distance(C1,C2)<MCD)并且(Y_distance(C1,C2)<MCD))，其是传统条件；

orientation_difference(C1,C2)<β，其可以被认为是引入的新的条件。

如本文中所使用的，簇定向表示簇中的矢量的平均(均值)定向。

在一个或多个实施例中，可以使用以下数值：

MCD＝17；β＝[10°..180°]，这取决于应用。

在图2中例示的一个或多个实施例中，112处的时间聚类可以包括：

–获取之前与当前帧簇之间的簇关系；

–消除与前一帧簇没有关系的当前簇；

–合并“有关系”的之前和当前簇。

如果以下条件成立，则可以保持来自前一帧的簇C1和在当前帧的簇C2“有关系”：

((X_distance(C1,C2)<MTCD)并且(Y_distance(C1,C2)<MTCD))；

orientation_difference(C1,C2)<β，其可以是针对110处的合并聚类考虑的相同的条件。

在一个或多个实施例中，MTCD＝1。

在图2中例示的一个或多个实施例中，114处的簇平滑可以涉及例如如下计算“有关系”的之前簇C1和当前簇C2之间的加权平均：

C2＝(C2*CURRENT_W+C1*PREVIOUS_W)/SUM_W。

在一个或多个实施例中，可以使用以下数值：

MTCD＝1；

CURRENT_W＝1；PREVIOUS_W＝3；SUM_W＝4。

在图2中例示的一个或多个实施例中，时间矢量框116可以对应于在下一帧中插入被包含在当前簇中的所有矢量(可选地施加相同的运动，其考虑恒定的对象速度)。

在一个或多个实施例中，112处的时间聚类可以导致获得之前与当前帧的簇之间的簇关系。

这可以促进例如在场景中显示对象的轨迹(例如由相同的簇编号标识)，使得例如可以计算和显示簇图心。

例如通过使用以下各项，在不同场景中的应用以及不同相机C的情况下执行的示例性实施例的测试具有演示的基本满意的视觉结果：

-线性和鱼眼镜头；

-不同的相机和分辨率；

-不同的场景(在不同的参数设置下)，例如用于具有真实和城市仿真图像的CTA(控制车流警告)、视频监控、人员检测和用于机动车的智能后视镜。

比如，在CTA城市仿真中，发现根据一个或多个实施例的系统能够正确地标识两个交叉的汽车。

此外，人员检测过程演示了正确地标识将袋子留下的人和袋子本身的能力，其与传统的人员检测过程相比具有改进的结果。

尝试根据一个或多个实施例的系统以正确地识别两个经过的人，而传统的人员检测过程仅识别一个人。

类似地，发现根据一个或多个实施例的系统在具有鱼眼镜头的真实CTA场景中能够正确地识别三个经过的汽车。

一个或多个实施例因此可以提供一种聚类(例如数字)输入帧(例如IF)的流传达的图像信息的方法，聚类从上述输入帧的运动矢量(MV)开始，方法包括：

-将上述运动矢量分组(例如104，106，108)成簇集，

-通过合并来自上述簇集的簇来向上述簇集施加合并聚类(110)，

其中方法包括以下中的一项或多项(并且可选地包括全部)：

-i)在上述分组成簇集之前，向上述运动矢量施加滤波(例如102')以去除没有被包括在之前的簇(例如之前帧的簇)中的小运动矢量，

-ii)通过从上述簇集中去除那些没有在上述输入帧的流中的前一帧中的簇并且联合涉及上述输入帧的流中的前一帧的相同簇的当前帧的那些簇来使用时间聚类(例如112)补充上述合并聚类，

-iii)针对上述输入帧的流中的当前帧和前一帧计算同源(homologous)簇的加权平均(例如114)，

-iv)使用由于上述输入帧的流中的前一帧的上述合并聚类(110，可能在例如112被时间聚类补充)而产生的矢量(例如116)、针对当前帧的上述簇集中的分组补充上述运动矢量。

在一个或多个实施例中，可以根据上述运动矢量之间的距离、模和角度差异来将上述运动矢量分组成上述簇集。

在一个或多个实施例中，可以根据上述簇集中的上述簇之间的距离、模和角度差异来合并来自上述簇集的簇。

在一个或多个实施例中，向上述运动矢量施加上述滤波以去除没有被包括在之前的簇中的小运动矢量可以包括以下中的一项：

-a)删除绝对值(例如abs_sum(v))不大于某个门限(例如MAX_ABS_VALUE)的运动矢量；

-b)删除除了那些在上述输入帧的流中的前一帧中的簇周围的并且与上述输入帧(IF)的流中的前一帧中的矢量与上述簇之间的定向差异小于某个角度门限(例如α)的运动矢量之外的运动矢量；

-c)删除除了那些满足以上条件b)之外的运动矢量以及除了那些在某个帧窗口WxH中具有相同定向的至少某个数目N的运动矢量之外的运动矢量。

在一个或多个实施例中，时间聚类(例如112)可以包括：

-获取上述输入帧的流中的当前帧与前一帧中的帧簇之间的某个簇关系，

-删除与前一帧簇没有簇关系的当前帧簇，以及

-合并满足上述簇关系的之前和当前帧簇。

在一个或多个实施例中，当前帧簇和前一帧簇可以保持在具有小于相应距离和定向门限的距离(例如X_distance(C1，C2)和Y_distance(C1，C2))和定向差异(例如orientation_difference(C1，C2))的情况下满足上述关系。

一个或多个实施例可以包括针对上述输入帧的流中的当前帧和前一帧计算同源簇的加权平均，其中上述同源簇满足先前出于上述时间聚类的目的定义的上述簇关系。

在一个或多个实施例中，将上述运动矢量分组成簇集可以包括：如果

-i)SAD(p1,p2)<MPD并且SAD(v1,v2)<MVD，

其中SAD表示绝对差异之和并且MPD和MVD表示相应门限，

以及

-ii)上述运动矢量v1和v2具有小于某个角度门限(例如α)的定向差异，

则通过在位置p1和p2向运动矢量v1和v2施加相同的标签来分组到上述簇矢量的集合中具有相同标签的同一簇。

描述中提及的文档的列表

1.W.-C.Lu,Y.-C.F.Wang and C.-S.Chen,"Learning dense optical-flowtrajectory patterns for video object extraction,"IEEE InternationalConference on Advanced Video&Signal-based Surveillance(AVSS),August 2010。

2.J.H.Duncan and T.-C.Chou,“On the detection of motion and thecomputation of optical flow,”IEEE Trans.Pattern Analysis and MachineIntelligence,vol.14,no.3,March 1992。

3.V.Caselles and B.Coll,“Snakes in movement,”SIAM J.NumericalAnalysis,vol.33,1996。

4.S.S.Beauchemin and J.L.Barron,“The computation of optical flow,”ACMComputing Surveys,1995。

5.S.Aslani and H.Mahdavi-Nasab,"Optical Flow Based Moving ObjectDetection and Tracking for Traffic Surveillance",World Academy of Science,Engineering and Technology International Journal of Electrical,Robotics,Electronics and Communications Engineering,Vol.7,No.9,2013。

6.M.Yokoyama and T.Poggio,"A Contour-Based Moving Object Detectionand Tracking",Proceedings of the 14th International Conference on ComputerCommunications and Networks(ICCCN),2005。

在不偏离背后原理的情况下，细节和实施例可以甚至明显地相对于仅通过示例公开的内容发生变化，而没有偏离保护范围。

保护范围由所附权利要求限定。

Claims

1.一种聚类系统，用于从输入帧的运动矢量开始聚类由所述输入帧的流传达的图像信息，其特征在于，所述系统包括：

聚类装置，用于将所述运动矢量分组成簇集，

合并聚类装置，用于合并来自所述簇集(106，108)中的簇，

其中所述系统包括以下中的至少一项：

i)滤波器(102')，用于在所述分组成簇集之前，向所述运动矢量施加滤波以去除没有被包括在之前的簇中的小运动矢量，

ii)时间聚类装置，用于通过如下方式来使用时间聚类补充所述合并聚类，即，从所述簇集中去除那些没有在所述输入帧的流中的前一帧中的簇并且联合当前帧的那些涉及在所述输入帧的流中的前一帧的相同簇的簇，

iii)簇平滑装置，用于针对所述输入帧的流中的当前帧和前一帧计算同源簇的加权平均，

iv)所述聚类装置，被配置用于使用由所述输入帧的流中的前一帧的所述合并聚类(110，112)而产生的矢量(116)、针对当前帧的所述簇集中的分组补充所述运动矢量。

2.一种装置，其特征在于，包括：

根据权利要求1所述的聚类系统，

耦合至所述系统以向所述系统提供所述输入帧的流的图像捕获设备。