CN107316313A - 场景分割方法及设备 - Google Patents

Abstract

提供了一种场景分割方法和设备，所述方法包括：获取所述场景的当前帧图像，并检测该当前帧图像中的特征点；对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中；对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理；对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。该场景分割方法和设备能够根据物体的运动状态对场景进行分割，从而将复杂场景中具有相同运动状态的物体划分到同一个区域中，由此使得可以通过对各个区域分别进行跟踪和分析而实现对整个复杂区域中所有物体的准确的跟踪和分析。

Description

场景分割方法及设备

技术领域

本公开总体涉及计算机视觉领域，具体涉及场景分割方法及设备。

背景技术

在复杂场景中同时对场景中的所有物体进行跟踪和分析是非常困难且耗时的。例如，图1示出了具有复杂场景的交通环境的示例性示意图。如图1所示，该场景中有很多物体，例如背景、行人、车辆等，并且这些物体具有不同的运动状态，因此同时对所有这些物体进行跟踪、分析、以及运动状态的预测是一项非常有难度的工作。

RANSAC(随机抽样一致性)算法是一种广泛用来进行运动参数估计的方法，但是在上述复杂场景中应用RANSAC算法具有以下局限性：场景中的所有物体被同等看待，而不管它们是静止的还是运动的，也不管它们是如何运动的；在对装备有摄像机的物体进行运动估计时是假设该物体在运动而场景中的其他物体静止的，而事实上有可能场景中的大多数其他物体也在运动；根据RANSAC算法，在进行运行参数估计时仅保留整个场景中的最强假设，而不考虑其他假设，然而事实上其他假设也包含对于分析整个场景有用的信息。由于以上局限性，导致采用传统RANSAC算法对复杂场景中的物体进行跟踪和分析的效果不佳。

发明内容

根据本公开的一个方面的实施例，提供了一种场景分割方法，包括：获取所述场景的当前帧图像，并检测该当前帧图像中的特征点；对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中；对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理；以及对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。

根据本公开的另一个方面的实施例，提供了一种场景分割设备，包括：获取部件，配置为获取所述场景的当前帧图像，并检测该当前帧图像中的特征点；分区部件，配置为对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中；分裂部件，配置为对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理；以及合并部件，配置为对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。

根据本公开的另一个方面的实施例，提供了一种场景分割设备，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令。所述计算机程序指令在被所述处理器运行时执行以下步骤：获取所述场景的当前帧图像，并检测该当前帧图像中的特征点；对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中；对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理；以及对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。

上述场景分割方法和设备能够根据物体的运动状态对场景进行分割，从而将复杂场景中具有相同运动状态的物体划分到同一个区域中，由此使得可以通过对各个区域分别进行跟踪和分析而实现对整个复杂区域中所有物体的准确的跟踪和分析。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了具有复杂场景的交通环境的示例性示意图。

图2示出了根据本公开实施例的场景分割方法的流程图。

图3示出了当前帧图像是场景的图像帧序列中除第一帧以外的图像帧时对当前帧图像中的所有特征点进行划分处理的示意性流程图。

图4例示了根据本发明实施例的场景分割方法中将运动状态一致的相邻区域两两合并的处理的流程图。

图5例示了经过分裂处理后区域分割状况的一个示例情形。

图6示出了根据本公开实施例的场景分割设备的功能配置框图。

图7示出了用于实现根据本公开实施例的示例性场景分割设备的计算设备的框图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

如前所述，复杂场景中往往包含多个运动状态彼此不同的物体，因此如果将该复杂场景作为一个整体采用传统的RANSAC算法来进行运动参数估计，则得到的结果并不能反映各个物体的实际运动状态，因此可能是无意义的。在本公开中，根据物体的运动状态对场景进行分割，以将复杂场景中具有相同运动状态的物体划分到同一个区域中。由于同一个区域中的物体具有相同的运动状态，由此以区域为单位分别进行跟踪和分析能够较为准确的反映出各个物体的实际运动状态。

下面参考图2对根据本公开实施例的场景分割方法进行描述。图2示出了根据本公开实施例的场景分割方法的流程图。

如图2所示，在步骤S210，获取所述场景的当前帧图像，并检测该当前帧图像中的特征点。

所述场景的当前帧图像可以是从外部输入的，也可以是通过拍摄得到的，或者通过其他手段得到的。特征点又称兴趣点、关键点，它是在图像中突出且具有代表意义的一些点，通过这些点可以用来识别图像、进行图像配准、进行3D重建等。在该步骤中，可以采用诸如局部二值模式(LBP)特征、梯度特征、harris特征、haar特征检测方法等任何适当的图像特征检测方法来检测当前帧图像中的特征点。

在步骤S220，对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中。

众所周知，运动状态是指物体进行机械运动时相对某个参考系的运动速度的状态。通常认为运动状态的内容包括：静止还是运动，以及运动物体的运动速度和运动方向。该步骤中将运动状态一致的特征点划分到同一个区域中。

作为一个示例，在当前帧图像是所述场景的图像帧序列中的第一帧时，可以根据该场景的先验知识对当前帧图像中的所有特征点进行划分。所述先验知识例如场景的顶部是天空、底部是车道线、上部两侧是背景等信息，此处可以基于该先验知识对特征点进行划分，以将运动状态一致的特征点划分到同一个区域中。例如，根据先验知识获知场景的底部是车道，由于属于车道线的特征点具有相同的运动状态(静止)，因此可以基于该先验知识将底部的特征点划分到同一个区域。

作为另一个示例，在当前帧图像是所述场景的图像帧序列中的第一帧时，也可以简单地将整个图像均匀划分为相同大小的图像区域，各个特征点相应地属于它们所在的区域。例如，假定所述场景的图像帧的大小为w×h，给定两个预定义的常数m和n，则整个图像被均分为m×n个同样大小的矩形区域，其中每个区域的大小为(w/m)×(h/n)。当然，相对于根据场景的先验知识对图像中的所有特征点进行划分，按照该示例进行特征点划分可能不能很好地将运动状态一致的特征点划分到同一个区域中。

在当前帧图像是所述场景的图像帧序列中除第一帧以外的图像帧时，可以基于前一帧的划分结果对当前帧图像中的所有特征点进行划分。作为非限制性的示例，图3示出了在当前帧图像是场景的图像帧序列中除第一帧以外的图像帧时对当前帧图像中的所有特征点进行划分处理的示意性流程图。下面将结合图3进行详细的描述。

如图3所示，在步骤S2201，确定前一帧图像中检测到的各个特征点与当前帧图像中的各个特征点之间的对应关系。

可以通过诸如KLT跟踪、特征匹配等各种已有的方法来确定前一帧图像中检测到的各个特征点与当前帧图像中的各个特征点之间的对应关系，此处不再详述。

在步骤S2202，对于当前帧图像中的每个特征点，判断其在前一帧图像是否有对应的特征点；如果当前帧图像中的任一特征点i在前一帧图像有对应的特征点i’，则前进到步骤S2203，如果没有，则转到步骤S2204。

在步骤S2203，将特征点i划分到当前帧图像中、与特征点i’在前一帧图像的场景分割结果中所属于的区域对应的区域。

举例来说，如果当前帧图像中的特征点i在前一帧图像中的对应特征点i’在最终的场景分割结果中被划分到区域S(i’)，那么在当前帧图像中，该特征点i划分到与该区域S(i’)对应的区域S(i)。

在步骤S2204，确定当前帧图像中距离该特征点i最近的、在前一帧图像中有对应的特征点j’的特征点j，并将该特征点i划分到与特征点j相同的区域。

举例来说，如果当前帧图像中的特征点j在前一帧图像中的对应特征点j’在最终的场景分割结果中被划分到区域S(j’)，那么在当前帧图像中，该特征点i和特征点j将被划分到同一个区域，即划分到与该区域S(j’)对应的区域S(j)。

回到图2，在步骤S230，对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理。

上述步骤S220中的处理可能不能很准确地将运动状态一致的特征点划分到同一个区域中。在该步骤中将通过区域分裂更为准确地将运动状态一致的特征点划分到同一个区域。具体的，在该步骤中，若某个划分得到的区域中的特征点的运动状态不一致，则将该区域分裂为一个或多个区域，并将具有不同运动状态的特征点相应地划分到不同的区域中。下面将对该步骤的处理进行详细的描述。

随机抽样一致性(RANSAC)算法是一种常用的运动参数估计方法，此处仅仅是为了有助于理解本公开，对RANSAC算法简单描述如下。RANSAC是从一个观察数据集合中估计模型参数(模型拟合)的迭代方法，其是一种随机的不确定算法，每次运算求出的结果可能不相同，但总能给出一个合理的结果，为了提高概率可以提高迭代次数。RANSAC的基本假设是：数据由“内点(inlier)”组成，例如：数据的分布可以用一些模型参数来解释；“外点(outlier)”是不能适应该模型的数据；除此之外的数据属于噪声。具体的，RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为内点，并用下述方法进行验证：步骤1.有一个模型适应于假设的内点，即所有的未知参数都能从假设的内点计算得出；步骤2.用步骤1中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是内点；步骤3.如果有足够多的点被归类为假设的内点，那么估计的模型就足够合理；步骤4.然后，用所有假设的内点去重新估计模型，因为它仅仅被初始的假设内点估计过；步骤5.最后，通过估计内点与模型的错误率来评估模型。其中，模型所具有的内点的数量越多，则该模型对应的假设越强，并且具有数量最多的内点的模型对应于最强假设。

在该步骤S230中，可以采用各种适当的方式基于执行随机抽样一致性算法的结果对各个区域进行分裂处理。

例如，作为一个示例，可以只考虑最强假设的结果对各个区域进行分裂处理。具体的，对于经过步骤S220划分得到的每个区域，对该区域中的特征点的点集执行随机抽样一致性算法，并计算最强假设中内点数与该区域中特征点总数的比率。如果该比率低于第一阈值，则说明符合最强假设的特征点的数量不够多，也就是说不存在使得点集中的足够多的特征点都符合的一个理想模型。此时可以将该区域分裂为第一区域和第二区域，其中该区域中属于最强假设的内点的特征点划分到第一区域，其他特征点划分到第二区域。所述第一阈值是预先确定的，其可以根据经验值或根据具体情况来设定。

作为另一个示例，可以不仅考虑最强假设，同时还考虑其后强度逐渐降低的若干个强假设对各个区域进行分裂处理。具体的，对于经过步骤S220划分得到的每个区域，对该区域(例如区域a)中的特征点的点集执行随机抽样一致性算法，并计算各个假设中内点数与该区域中特征点总数的比率。如果最强假设对应的所述比率低于第一阈值，同时除最强假设外存在n个假设其各自对应的比率均大于第二阈值，则将该划分得到的区域a分裂为n+1个区域，其中n≥1，该n+1个区域与包括所述最强假设和n个假设在内的n+1个假设一一对应。所述第二阈值也可以根据经验值或根据具体情况预先设定。

在上面提到的另一个示例中，各个区域中的特征点同样根据其是哪个假设的内点来进行划分。具体的，作为一个例子，可以将所述n+1个假设按照对应的比率从大到小的顺序进行排序，即对应的比率越大则该假设的排序越靠前。对于区域a中仅属于某一假设的内点的特征点，将其划分到与该某一假设对应的区域；对于区域a中属于多个假设的内点的特征点，将其划分到与该多个假设中排序最靠前的假设对应的区域。例如，假设区域a中的特征点i仅是最强假设的内点，则将该特征点i划分到与最强假设对应的区域。再比如，假设区域a中的特征点j同时是排序在第二位的假设(第一次强假设)和第三位的假设(第二次强假设)的内点，则将该特征点j划分到与排序在第二位的假设对应的区域。除了以上两种情形外，在某些情况下区域a中可能还存在不属于n+1个假设中的任何一个假设的内点的特征点，对于该类特征点，可以如下进行划分处理：

(i)针对所述n+1个假设中的每一个假设，确定与该假设对应的一组运动参数。如前面提到的，按照RANSAC算法，每个假设对应于一种模型。在该处理中，对于n+1个假设中的每一个假设，确定与该假设对应的模型所采用的模型参数，即一组运动参数。例如，作为一个示例，所述一组运动参数可以是物体的旋转和平移参数(R,T)。

(ii)对于不属于任一假设的内点的特征点p，根据在步骤S2201中确定的前一帧图像中的各个特征点与当前帧图像中的各个特征点之间的对应关系确定该特征点p在前一帧图像中对应的特征点p’，随后利用在处理(i)中确定的每一组运动参数，计算出该特征点p’在当前帧图像中的映射点p*，然后计算特征点p与各个映射点p*之间的距离。

(iii)确定处理(ii)中计算得到各个距离中的最小距离所对应的一组运动参数，并将特征点p划分到与和该组运动参数对应的假设所对应的区域。

在步骤S240，对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。

步骤S230中的处理可能会导致过分裂，在该步骤S240中通过将运动状态一致的相邻区域两两合并，使得运动状态一致的特征点被划分到同一个区域中。下面将参考图4对该步骤的处理进行详细的描述。图4例示了根据本发明实施例的场景分割方法中的将经过分裂处理后得到的各个区域中运动状态一致的相邻区域两两合并的处理的流程图。

如图4所示，在步骤S2401，对于任意两个相邻区域，计算它们各自的特征点的点集的重心之间的距离，并将所述距离小于预定阈值的两个相邻区域作为一个组合。

在该步骤中，对于经过分裂处理后得到的任意两个相邻区域，只要其各自的特征点的点集的重心之间的距离小于预定阈值，就将这两个相邻区域作为一个组合。此处，某一区域可能和多个相邻区域分别形成组合。

在步骤S2402，对于每一个组合，对其包含的两个相邻区域各自的特征点的点集的并集执行随机抽样一致性算法，以确定该组合的最强假设中内点数与并集中的特征点数的比率。

对于每一个组合，通过在该步骤中对所述并集执行随机抽样一致性算法以确定最强假设中内点数与并集中的特征点总数的比率，可以确定该并集中(即该组合的两个相邻区域中)运动状态一致的特征点的数量情况。

在步骤S2403，判断与各个组合对应的各个比率中的最高比率是否大于预定阈值；如果大于预定阈值，则前进到步骤S2404，如果不大于预定阈值，则结束合并处理。

如果最高比率大于预定阈值，则说明与该最高比率对应的组合中的两个区域中有大量的特征点的运动状态是一致的，因此可以将该组合中的两个区域合并。如果最高比率不大于预定阈值，则说明即使是与该最高比率对应的组合中的两个区域中也不存在大量运动状态一致的特征点，因此与该最高比率对应的组合中的两个区域不应当被合并，而其他与更低的比率对应的组合中的区域则更加不应当被合并，由此合并处理结束。

在步骤S2404，将与最高比率对应的组合中的两个区域合并。

在步骤S2405，确定剩余的未合并过的区域是否为一个以上，如果是一个以上，则对这些剩余的未合并过的区域重复执行上述步骤S2401-S2404，如果不是一个以上，则合并处理结束。

在步骤S2404中将某一组合中的两个区域合并之后，剩余的未合并过的区域将减少两个，在该步骤中确定剩余的未合并过的区域，并对这些区域重复执行上述步骤S2401-S2404，直至剩余的未合并过的区域仅剩余一个，即不存在可以合并的区域。

为了有助于理解，下面将结合图5所示的示例对如图4所示的相邻区域的合并处理进行简要说明。图5例示了经过分裂处理后区域分割状况的一个示例情形。如图5所示，经过分裂处理后得到5个区域，其中，区域A与区域B、C和D相邻，区域B和区域A、C和E相邻，区域C和区域A、B、D和E相邻，区域D和区域A、C、E相邻，区域E和区域B、C、D相邻。假设在步骤S2401中经过计算确定区域A和区域B的特征点的点集的重心之间的距离小于预定阈值(为了便于表述，以下简称为“重心符合要求”)，区域A和区域C的重心符合要求，区域B和区域E的重心符合要求，区域C和区域E的重心符合要求，区域D和区域C的重心符合要求，区域D和区域E的重心符合要求，则在该步骤得到相邻区域的6个组合，即组合(A，B)，(A，C)，(B，E)，(C，E)，(D，C)，(D，E)。随后，在步骤S2402中，确定这6个组合各自的最强假设中内点数与并集中的特征点数的比率，由此得到6个比率，并且假设其中组合(A，B)对应的比率为80％是这6个比率中的最高比率。假设预定阈值为70％，则在步骤S2403中确定组合(A，B)对应的最高比率大于预定阈值，由此处理前进到步骤S2404，并将该组合(A，B)中的两个区域A和B合并。至此，图5中所示的经过分裂处理得到5个区域中剩余3个未合并过的区域C，D，E，此后对这3个区域重复执行步骤S2401-2404的处理。具体的，假设在步骤S2401中经过计算确定区域C和区域E的重心符合要求，区域D和区域C的重心符合要求，区域D和区域E的重心符合要求，则在该步骤得到相邻区域的3个组合，即组合(C，E)，(D，C)，(D，E)。随后，在步骤S2402中，确定这3个组合各自的最强假设中内点数与并集中的特征点数的比率，由此得到3个比率，并且假设其中组合(D，E)对应的比率为50％是这3个比率中的最高比率。由于在步骤S2403中确定组合(D，E)对应的最高比率不大于预定阈值，由此合并处理结束。

应当理解，以上结合图4描述的具体处理仅仅是步骤S240中合并处理的一种示例实现方式，而并非是对本发明的限制。可以采用其他具体的实现方式来进行合并处理。例如，以上描述的步骤S2401并非是必需的，即可以将任意两个相邻区域作为一个组合而不要求其各自的特征点的点集的重心之间的距离小于预定阈值。再比如，在以上描述的步骤S2404，除了仅将与最高比率对应的组合中的两个区域合并之外，也可以将其比率大于阈值的所有组合中的两个区域都进行合并。

以上已经参考附图描述了根据本发明实施例的场景分割方法。可选的，在如上进行了该场景分割方法之后，对于分割得到的每个区域可以进行随机抽样一致性计算，并将与最强假设对应的运动参数作为该区域的运动参数。

根据本发明实施例的上述场景分割方法根据物体的运动状态对场景进行分割，从而将复杂场景中具有相同运动状态的物体划分到同一个区域中，由此使得可以通过对各个区域分别进行跟踪和分析而实现对整个复杂区域中所有物体的准确的跟踪和分析。

下面参考图6描述根据本公开实施例的场景分割设备600。图6示出了根据本公开实施例的场景分割设备的功能配置框图。如图6所示，场景分割设备600可以包括：获取部件610，分区部件620，分裂部件630，以及合并部件640。所述各部件的具体功能和操作与上文中针对图2-5描述的基本相同，因此为了避免重复，在下文中仅对所述设备进行简要的描述，而省略对相同细节的详细描述。

获取部件610配置为获取所述场景的当前帧图像，并检测该当前帧图像中的特征点。所述获取部件610可以通过各种适当的方式来获取所述场景的当前帧图像。例如，该获取部件610可以是摄像单元，以拍摄得到所述场景的当前帧图像，或者该获取部件610可以是输入单元，以从外部输入所述场景的当前帧图像。在获取所述场景的当前帧图像后，获取部件610可以采用诸如局部二值模式(LBP)特征、梯度特征、harris特征、haar特征检测方法等任何适当的图像特征检测方法来检测当前帧图像中的特征点。

分区部件620配置为对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中。作为一个示例，在当前帧图像是所述场景的图像帧序列中的第一帧时，分区部件620可以根据该场景的先验知识对当前帧图像中的所有特征点进行划分。作为另一个示例，在当前帧图像是所述场景的图像帧序列中的第一帧时，分区部件620也可以简单地将整个图像均匀划分为相同大小的图像区域，各个特征点相应地属于它们所在的区域。当然，相对于根据场景的先验知识对图像中的所有特征点进行划分，按照该示例进行特征点划分可能不能很好地将运动状态一致的特征点划分到同一个区域中。当当前帧图像是所述场景的图像帧序列中除第一帧以外的图像帧时，分区部件620可以基于前一帧的划分结果对当前帧图像中的所有特征点进行划分。作为示例，分区部件620可以如下对当前帧图像中的所有特征点进行划分：确定前一帧图像中检测到的各个特征点与当前帧图像中的各个特征点之间的对应关系；对于当前帧图像中的每个特征点，判断确定其在前一帧图像是否有对应的特征点；如果当前帧图像中的任一特征点i在前一帧图像有对应的特征点i’，则将特征点i划分到当前帧图像中、与特征点i’在前一帧图像的场景分割结果中所属于的区域对应的区域，如果该特征点i在前一帧图像没有对应的特征点i’，则确定当前帧图像中距离该特征点i最近的、在前一帧图像中有对应的特征点j’的特征点j，并将该特征点i划分到与特征点j相同的区域。

分裂部件630配置为对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理。分区部件620可能不能很准确地将运动状态一致的特征点划分到同一个区域中，分裂部件630将通过区域分裂更准确地将运动状态一致的特征点划分到同一个区域。具体的，若某个划分得到的区域中的特征点的运动状态不一致，则分裂部件630可将该区划分裂为一个或多个区域，以将具有不同运动状态的特征点相应地划分到不同的区域中。

作为一个示例，可以只考虑最强假设的结果对各个区域进行分裂处理。具体的，对于通过分区部件620划分得到的每个区域，分裂部件630对该区域中的特征点的点集执行随机抽样一致性算法，并计算最强假设中内点数与该区域中特征点总数的比率。如果该比率低于第一阈值，则分裂部件630将该区域分裂为第一区域和第二区域，其中该区域中属于最强假设的内点的特征点划分到第一区域，其他特征点划分到第二区域。所述第一阈值是预先确定的，其可以根据经验值或根据具体情况来设定。

作为另一个示例，可以不仅考虑最强假设，同时还考虑其后强度逐渐降低的若干个强假设对各个区域进行分裂处理。具体的，对于通过分区部件620划分得到的每个区域，分裂部件630对该区域(例如区域a)中的特征点的点集执行随机抽样一致性算法，并计算各个假设中内点数与该区域中特征点总数的比率。如果最强假设对应的所述比率低于第一阈值，同时除最强假设外存在n个假设其各自对应的比率均大于第二阈值，则将该划分得到的区域a分裂为n+1个区域，其中n≥1，该n+1个区域与包括所述最强假设和n个假设在内的n+1个假设一一对应。所述第二阈值也可以根据经验值或根据具体情况预先设定。在该示例中，各个区域中的特征点同样根据其是哪个假设的内点来进行划分。具体的，作为一个例子，可以将所述n+1个假设按照对应的比率从大到小的顺序进行排序，即对应的比率越大则该假设的排序越靠前。对于区域a中仅属于某一假设的内点的特征点，将其划分到与该某一假设对应的区域；对于区域a中属于多个假设的内点的特征点，将其划分到与该多个假设中排序最靠前的假设对应的区域；对于区域a中不属于n+1个假设中的任何一个假设的内点的特征点，分裂部件630可以如下进行划分处理：(i)针对所述n+1个假设中的每一个假设，确定与该假设对应的一组运动参数。如前面提到的，按照RANSAC算法，每个假设对应于一种模型。在该处理中，对于n+1个假设中的每一个假设，确定与该假设对应的模型所采用的模型参数，即一组运动参数。例如，作为一个示例，所述一组运动参数可以是物体的旋转和平移参数(R,T)；(ii)对于不属于任一假设的内点的特征点p，根据分区部件620确定的前一帧图像中的各个特征点与当前帧图像中的各个特征点之间的对应关系确定该特征点p在前一帧图像中对应的特征点p’，随后利用在处理(i)中确定的每一组运动参数，计算出该特征点p’在当前帧图像中的映射点p*，然后计算特征点p与各个映射点p*之间的距离；(iii)确定处理(ii)中计算得到各个距离中的最小距离所对应的一组运动参数，并将特征点p划分到与和该组运动参数对应的假设所对应的区域。

合并部件640配置为对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。分裂部件630可能会导致过分裂，合并部件640通过将运动状态一致的相邻区域两两合并，使得运动状态一致的特征点被划分到同一个区域中。

作为示例，该合并部件640可以包括距离计算部件、随机抽样一致性计算部件、判断部件和合并子部件(图中未示出)。

距离计算部件配置为对于任意两个相邻区域，计算它们各自的特征点的点集的重心之间的距离，并将所述距离小于预定阈值的两个相邻区域作为一个组合。此处，某一区域可能和多个相邻区域分别形成组合。随机抽样一致性计算部件配置为对于每一个组合，对其包含的两个相邻区域各自的特征点的点集的并集执行随机抽样一致性算法，以确定该组合的最强假设中内点数与并集中的特征点数的比率。判断部件配置为判断与各个组合对应的各个比率中的最高比率是否大于预定阈值。合并子部件配置为将与最高比率对应的组合中的两个区域合并。

应当理解，以上描述的具体结构仅仅是合并部件640的一种示例结构，而并非是对本发明的限制。合并部件640可以配置为具有其他可能的具体结构。例如，以上描述的距离计算部件并非是必需的，即可以将任意两个相邻区域作为一个组合而不要求其各自的特征点的点集的重心之间的距离小于预定阈值。再比如，以上描述的合并子部件除了仅将与最高比率对应的组合中的两个区域合并之外，也可以将其比率大于阈值的所有组合中的两个区域都进行合并。

以上已经参考图6描述了根据本公开实施例的场景分割设备600。该场景分割设备600根据物体的运动状态对场景进行分割，从而将复杂场景中具有相同运动状态的物体划分到同一个区域中，由此使得可以通过对各个区域分别进行跟踪和分析而实现对整个复杂区域中所有物体的准确的跟踪和分析。

下面，参照图7来描述可用于实现本公开实施例的示例性场景分割设备的计算设备框图。

如图7所示，计算设备700包括一个或多个处理器702、存储装置704、摄像头706和输出装置708，这些组件通过总线系统710和/或其它形式的连接机构(未示出)互连。应当注意，图7所示的计算设备700的组件和结构只是示例性的，而非限制性的，根据需要，计算设备700也可以具有其他组件和结构。

处理器702可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制计算设备700中的其它组件以执行期望的功能。

存储装置704可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器702可以运行所述程序指令，以实现上文所述的本公开的实施例的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如当前帧图像中的特征点、特征点划分结果、前一帧图像与当前帧图像中的各个特征点之间的对应关系、每个划分得到的区域的最强假设的结果、各组运动参数、两个区域的重心之间的距离、各个预定阈值等等。

摄像头706用于拍摄当前帧图像，并且将所拍摄的当前帧图像存储在存储装置704中以供其它组件使用。

输出装置708可以向外部输出各种信息，例如场景的分割结果、每个分割的到区域的运动参数，并且可以包括显示器、投影仪、电视等各种显示设备。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤，某些步骤可以并行、彼此独立或按照其他适当的顺序执行。另外，诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。

还需要指出的是，在本公开的装置和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种场景分割方法，包括：

获取所述场景的当前帧图像，并检测该当前帧图像中的特征点；

对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中；

对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理；以及

对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。

2.如权利要求1所述的场景分割方法，其中当所述当前帧图像是所述场景的图像帧序列中的第一帧时，所述对当前帧图像中的所有特征点进行划分包括：

根据该场景的先验知识对当前帧图像中的所有特征点进行划分。

3.如权利要求1所述的场景分割方法，其中当所述当前帧图像是所述场景的图像帧序列中除第一帧以外的图像帧时，所述对当前帧图像中的所有特征点进行划分包括：

确定前一帧图像中检测到的各个特征点与当前帧图像中的各个特征点之间的对应关系；

对于当前帧图像中的每个特征点，确定其在前一帧图像是否有对应的特征点；

如果当前帧图像中的特征点i在前一帧图像有对应的特征点i’，则将该特征点i划分到当前帧图像中、与特征点i’在前一帧图像的场景分割结果中所属于的区域对应的区域；

如果当前帧图像中的该特征点i在前一帧图像没有对应的特征点i’，则确定当前帧图像中距离该特征点i最近的、在前一帧图像中有对应的特征点j’的特征点j，并将该特征点i划分到与特征点j相同的区域。

4.如权利要求1所述的场景分割方法，其中对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理进一步包括：

计算最强假设中内点数与该区域中特征点总数的比率；

如果所述比率低于第一阈值，则将该区域分裂为第一区域和第二区域，其中该区域中属于最强假设的内点的特征点划分到第一区域，其他特征点划分到第二区域。

5.如权利要求1所述的场景分割方法，其中对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理包括：

计算各个假设中内点数与该区域中特征点总数的比率；

如果最强假设对应的所述比率低于第一阈值、并且除最强假设外存在n个假设其各自对应的比率均大于第二阈值，则将该划分得到的区域分裂为n+1个区域，其中n≥1，该n+1个区域与包括所述最强假设和n个假设在内的n+1个假设一一对应。

6.如权利要求5所述的场景分割方法，其中对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理进一步包括：

将所述n+1个假设按照对应的比率从大到小的顺序进行排序；

将该划分得到的区域中仅属于某一假设的内点的特征点划分到与该假设对应的区域；

将该划分得到的区域中属于多个假设的内点的特征点划分到与该多个假设中排序最靠前的假设对应的区域。

7.如权利要求6所述的场景分割方法，其中对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理进一步包括：

针对所述n+1个假设中的每一个假设，确定与该假设对应的一组运动参数；

对于该划分得到的区域中不属于任一假设的内点的特征点p：

利用每一组运动参数，计算出该特征点p在前一帧图像中对应的特征点p’在当前帧图像中的映射点p*，并计算特征点p与映射点p*之间的距离；以及

确定计算得到最小的所述距离所采用的一组运动参数，并将所述特征点p划分到与和该组运动参数对应的假设所对应的区域。

8.如权利要求1所述的场景分割方法，其中对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并进一步包括：

a.对于任意两个相邻区域，计算它们各自的特征点的点集的重心之间的距离，并将所述距离小于预定阈值的两个相邻区域作为一个组合；

b.对于每一个组合，对其包含的两个相邻区域各自的特征点的点集的并集执行随机抽样一致性算法，以确定该组合的最强假设中内点数与并集中的特征点数的比率；

c.判断与各个组合对应的各个比率中的最高比率是否大于预定阈值，

d.如果所述最高比率大于阈值，则将与最高比率对应的组合中的两个区域合并；

e.对于剩余的未合并过的各个区域重复执行上述步骤a，b，c和d，直到不存在一个以上未合并过的区域或者在步骤c中确定最高比率不大于预定阈值。

9.如权利要求1所述的场景分割方法，还包括：对于经过所述两两合并处理后的每个区域进行随机抽样一致性计算，并将与最强假设对应的运动参数作为该区域的运动参数。

10.一种场景分割设备，包括：

获取部件，配置为获取所述场景的当前帧图像，并检测该当前帧图像中的特征点；

分区部件，配置为对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中；

分裂部件，配置为对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理；以及

合并部件，配置为对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。

11.一种场景分割设备，包括：

处理器；

存储器；和

存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时执行以下步骤：

获取所述场景的当前帧图像，并检测该当前帧图像中的特征点；

对当前帧图像中的所有特征点进行划分，以将运动状态一致的特征点划分到同一个区域中；

对每个划分得到的区域中的特征点的点集执行随机抽样一致性算法，并基于至少是最强假设的结果对该区域进行分裂处理；以及

对于经过分裂处理后得到的各个区域，将其中运动状态一致的相邻区域两两合并。