CN105160650B - 一种从图像中提取深度连续物体图像的方法 - Google Patents

Abstract

本发明涉及一种从图像中提取深度连续物体图像的方法，其特征在于，具体步骤包括：一是获取表征物体距离摄像头距离的深度图像；二是，第一遍全图扫描，判断像素点之间的深度连续关系，并对像素点在标号图上进行标记深度连续关系的第一遍标记操作；三是在所述第一遍全图扫描的同时，对深度图像的标记号进行标记关系表操作；四是标记关系表的最终标记号整合操作；五是第二遍全图扫描对标号图进行合并标记的第二遍标记操作，第二遍标记操作后，深度连续物体的像素点在标记图中表示为相同的标记号；六是输出深度连续物体标记图。本发明能够根据深度图像中目标物体的深度连续性来实现目标物体图像稳定有效的分割，以大大提高图像处理的效率。

Description

一种从图像中提取深度连续物体图像的方法

技术领域

本发明属于计算机图像处理技术领域，特别是涉及一种从图像中提取深度连续物体图像的方法。

背景技术

目前，对于图像中所要分割的目标物体，主要使用色彩图基础进行拍摄与分割，由于色彩图受到光照以及纹理色彩的影响，且色彩图有三通道的图像信息，从而产生图像分割中的物体分割不稳定以及图像处理效率低的问题，且对这些问题一直没有稳定有效的解决方案。

美国专利申请US8625897公开了一种前景和背景图像分割方案(FOREGROUNDAND BACKGROUND IMAGE SEGMENTATION)，该方案是以测地距为分割物体的方式，对于不同物体需要进行反复多次的扫描，虽然可以完成场景中物体的分割以及识别。但还存在以下明显不足，其图像分割的实时性差，且无法采用运算性能较差的图像处理设备来实施，整体效率较低。

中国专利申请201310335636.7公开了一种物体深度信息的连续性处理方法，一是通过视频段落第一帧的深度提取：(1)确定物体空间关系：确定各个物体之间的“物理相邻”关系以及前后相对的不均关系，并保存物理相邻的2个物体之间的相邻边的坐标；(2)选择关键点：选定其中任何一个物体，在其与其他物体“物理相邻”的边界上给定一定的深度值；(3)计算物体各个部分的深度值：采用连续的2维样条插值技术计算物体的其他各个像素点的；二是物体运动下的局部深度信息的连续性。虽然该方法可解决现有物体深度信息提取中，在实际场景中不太实际，影响最后的立体效果以及物体局部发生运动时无法直接反映局部部件中的深度变化问题；而且还存在以下明显不足，该专利使用关键点计算其它深度值信息，然而关键点不容易取到，不容易实现并行算法。

综上所述，如何克服现有技术所存在的不足已成为当今计算机图像处理技术领域中亟待解决的重大难题之一。

发明内容

本发明的目的是为克服现有技术的不足而提供一种从图像中提取深度连续物体图像的方法，本发明能够根据深度图像中目标物体的深度连续性来实现目标物体图像稳定有效的分割，以大大提高图像处理的效率。

根据本发明提出的一种从背景图像中提取深度连续物体图像的方法，其特征在于，包括如下具体步骤：步骤1，获取表征物体距离摄像头距离的深度图像；步骤2，第一遍全图扫描，判断像素点之间的深度连续关系，并对像素点在标号图上进行标记深度连续关系的第一遍标记操作，所述标号图为深度图像的像素对应的标记号组成的图；步骤3，在所述第一遍全图扫描的同时，对深度图像的标记号进行标记关系表操作，包括为深度图像的标记号建立标记关系表，以及为追踪深度连续像素点的标记号之间的连接顺序，而对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作；步骤4，标记关系表的最终标记号整合操作，为所述深度图像的所有标记号获取应该设置的真实标记号；步骤5，第二遍全图扫描，根据步骤4中更新后的标记关系表对标号图进行合并标记的第二遍标记操作，第二遍标记操作后，深度连续物体的像素点在标记图中表示为相同的标记号；步骤6，在所述第二遍全图扫描同时，统计各深度连续物体的属性，并输出深度连续物体标记图，所述深度连续物体标记图是指记录所有深度连续物体的标号图。

本发明提出的一种从图像中提取深度连续物体图像的方法的进一步优选方案是：

本发明步骤1所述表征物体距离摄像头距离的深度图像中提取深度连续的物体图像，是指所述的深度图像为不限定分辨率的数字图像，其中每个像素点都是当前场景中物体垂直于摄像头主光轴的直线距离。

步骤2所述判断像素点之间的深度连续关系，是指全图按照行扫描的方式进行，深度图像中的每一行中的像素点与其相邻的像素点进行深度值的比较，以判断像素点之间的深度连续关系。

所述深度图像中的每一行中的像素点与其相邻的像素点进行深度值的比较，是指：设每行扫描的中心像素点为x，每个中心像素点x与p，q，r，s四个周围像素点进行深度差值的比较；其中p，q，r三个像素点为中心像素点x上一行的像素点，s为中心像素点x左侧的已经完成扫描的像素点；若扫描的中心像素点为分布于第一行的像素点则无需考虑与p，q，r进行比较；若扫描的中心像素点为分布于第一列的像素点则无需考虑与s进行比较。

所述深度图像中的每一行中的像素点与其相邻的像素点进行深度值的比较，是采用所述中心像素点x的深度值作中心深度值，使用中心深度值查找预先设定的深度差阈值表，获得该中心深度值所对应的深度差阈值，该深度差阈值表中的阈值由中心深度值决定；像素点深度连续的判断的具体方法为取周围像素点p，q，r，s中的任一像素点的深度值与中心像素点x的深度值求差并取绝对值，以此设为周围像素点的连续深度差；当连续深度差小于中心像素点所代表的深度差阈值时，则认为此周围像素点与中心像素点深度连续；当连续深度差大于中心像素点所代表的深度差阈值时则，认为此周围像素点与中心像素点深度不连续；当中心像素点深度值为0，认为该中心像素点为阴影点，不进行深度连续的判断。

步骤2所述对像素点在标号图上进行标记深度连续关系的第一遍标记操作，包括采用标记方式A对非连续中心像素点，唯一连接中心像素点和桥接中心像素点进行标记，所述新标记号不同于当前已经使用过的标记号；所述非连续中心像素点是指，与周围像素点都不发生连接的中心像素点；所述非连续中心像素点代表出现新的连续深度像素团块，使用标记方式A为新出现的非连续中心像素点产生新标记号，并用新标记号对非连续中心像素点进行标记；所述新标记号为当前未曾使用过的标记号；所述唯一连接中心像素点是指，与周围像素点中唯一一个像素点发生连接的中心像素点，其中与唯一连接中心像素点发生连接的周围像素点称为唯一连接周围像素点；采用所述唯一连接周围像素点的标记号对唯一连接中心像素点进行标记；所述桥接中心像素点是指，与周围像素点中两个或两个以上的像素点发生连接的中心像素点，其中与桥接中心像素点发生连接的周围像素点称为桥接周围像素点；采用桥接周围像素点的标记号中的最小顺序标记号，对桥接中心像素点进行标记；所述最小顺序标记号是指在该标记方式中，使用顺序排在最前的标记号；当中心像素点深度值为0，为该中心像素点标记表征无的标记号。

步骤3所述为深度图像的标记号建立标记关系表，是指为所述深度图像中每一个不同标记号建立三个标记关系表，分别包括头部标记表、尾部标记表以及指针标记表；在标记方式A中，所使用的标记号按照使用顺序排列，先使用的标记号是后使用的标记号的上位标记号，后使用的标记号是先使用的标记号的下位标记号；标记号所对应的头部标记表中保存与该标记号发生过合并操作的标记号中的最小顺序标记号，所述最小顺序标记号是指使用顺序排在最前的标记号；标记号所对应的尾部标记表中保存与该标记号发生过合并操作的标记号中的最大顺序标记号，所述最大顺序标记号是指使用顺序排在最后的标记号称为最大顺序标记号；标记号所对应的指针标记表中保存与与该标记号发生过合并操作的标记号中的最接近当前标记号的下位标记号，即连接标记号。

步骤3所述为深度图像的标记号建立标记关系表，是指当采用新标记号对非连续中心像素点进行标记时，为该新标记号建立三个标记关系表，并初始化该三个标记关系表，其中头部标记表中的数值初始化为该新标记号，尾部标记表中的数值初始化为该新标记号，指针标记表中的数值初始化为表征结束的数值。

步骤3中所述对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作，包括采用合并与更新头部标记表的操作追踪深度连续根标记号，具体是指：合并和更新桥接周围像素点的标记号所对应的头部标记表，以及合并和更新已合并像素点的标记号所对应的头部标记表；所述合并和更新桥接周围像素点的标记号所对应的头部标记表，是指：获取与中心像素点桥接相连的桥接周围像素点的标记号，即桥接周围像素点标记号，查找所述桥接周围像素点标记号所对应的头部标记表中的数值，找到其中使用顺序排在最前的标记号，即最小顺序标记号u，采用该最小顺序标记号u重新赋值所述桥接周围像素点标记号所对应的头部标记表；所述已合并像素点是指与中心像素点发生过合并关系的像素点，所述合并和更新已合并像素点的标记号所对应的头部标记表，是指：获取所述桥接周围像素点标记号所对应的指针标记表中的连接标记号，查找该连接标记号所对应的头部标记表，采用所述最小顺序标记号u赋值该头部标记表；并继续获取所述连接标记号所对应的指针标记表中的新连接标记号，查找该新连接标记号所对应的头部标记表，并采用所述最小顺序标记号u赋值该头部标记表；以此类推直到指针标记表的数值为表征结束的数值。

所述对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作，包括采用合并与更新指针标记表的操作保存深度连续像素点的标记号之间的连接顺序，具体是指在合并与更新头部标记表的操作之后，对所述桥接周围像素点标记号所对应的指针标记表进行挂接操作：首先进行最小顺序标记号u与次小顺序标记号v的挂接操作：查找所述桥接周围像素点标记号所对应的头部标记表中的数值，找到其中使用顺序排在第二的标记号，即次小顺序标记号v，使用所述最小顺序标记号u所对应的尾部标记表的标记号作为索引值，使用次小顺序标记号v更新该索引值所对应的指针标记表；完成v在u的尾部标记号对应的指针标记表的挂接操作；继续完成第三小顺序标记号w在次小顺序标记号v的尾部标记号对应的指针表的挂接操作：查找所述桥接周围像素点标记号所对应的头部标记表中的数值，找到其中使用顺序排在第三的标记号，即第三小顺序标记号w，该挂接操作方式与最小顺序标记号u和次小顺序标记号v的挂接方式相同；继续采用相同挂接方式，对所述桥接周围像素点的所有标记号进行挂接操作。

所述对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作，还包括采用合并与更新尾部标记表的操作保存标记号之间的深度连接顺序，具体是指在合并与更新指针标记表的操作之后，更新所述桥接周围像素点标记号所对应的所有尾部标记表：获取所述桥接周围像素点标记号所对应的所有头部标记表的数值为索引，查找其所对应的尾部标记表中的标记号，获取其中使用顺序排在最后的标记号，即最大顺序标记号k，使用最大顺序标记号k更新所述桥接周围像素点标记号所对应的头部标记表中的数值为索引的尾部标记表的数值。

步骤4所述标记关系表的最终标记号整合操作，是指根据标记关系表所保存的标记号之间的连接顺序，采用标记方式B重新赋值所有标记号所对应的头部标记表，重新赋值后，标记号所对应的头部标记表中保存的最终标记号即为该标记号应该设置的真实标记号。

所述采用标记方式B重新赋值所有标记号所对应的头部标记表，具体是指在第一遍全图扫描后，对所有标记号所对应的头部标记表进行扫描：标记方式B中所使用的标记号称为B类标记号，所述B类标记号按照使用顺序排列；如果所述深度图像的标记号等于其对应的头部标记表中保存的数值，则在标记方式B下，产生新的B类标记号，采用新的B类标记号重新赋值该头部标记表；所述新的B类标记号是指，标记方式B中未曾使用过的标记号；如果所述深度图像的标记号不等于其对应的头部标记表中保存的数值，假设标记号为M，标记号M所对应的头部标记表中保存的数值为N，以N为索引获取标记号N所对应的头部标记表的数值P，以标记方式B中使用顺序排在第P位的B类标记号重新赋值标记号M所对应的头部标记表。

所述根据更新后的标记关系表对标号图进行合并标记的第二遍标记操作，具体是指：获取深度图像中每一个像素点的标记号，在该标记号所对应的头部标记表中查找该标记号应该设置的真实标记号，并用所述真实标记号重新赋值该像素点的标记号，第二遍标记操作后，最终生成所述深度图像的所述标号图中，深度连续物体表示为相同标记号。

步骤6所述统计各深度连续物体的属性，是指第二遍标记操作的同时完成各个深度连续物体的属性统计，具体包括：建立一个属性统计表，该属性统计表的存储大小为更新后的标记号的数量，每个存储单元的内容包括像素点的数量，像素点的深度和；在进行第二遍标记操作的同时，完成具有相同标记号的像素块属性统计，即深度连续物体的属性统计，统计的属性包括该像素块中像素点的数量，像素点的深度和。

所述标记方式A和标记方式B为随机标记方式、顺序标记方式或固定顺序标记方式中的一种；所述随机标记方式，是指通过随机产生新标记号的方式；为该随机标记方式创建一个标记号顺序表，按照标记号使用的前后顺序保存标记号；通过查找所述标记号顺序表，获取最小顺序标记号，次小顺序标记号，最大顺序标记号；所述顺序标记方式，是指通过产生符合数值顺序的方式产生新标记号；该标记方式通过比较前后标记号的大小或者维护一个标记号顺序表的方式，获取最小顺序标记号，次小顺序标记号，最大顺序标记号；所述固定顺序标记方式，是指通过产生符合数值顺序的方式产生新标记号；该标记方式包括一个标记号起始值和一个固定间隔值；所述新标记号是通过在标记号起始值的基础上不断增加固定间隔值而得到的数值；该标记方式通过比较标记号的大小而确定标记号的使用顺序。

所述标记方式A和标记方式B均为固定顺序标记方式，在该固定顺序标记方式中，所述标记号起始值为1，所述固定标记号间隔值为1，所述表征结束的尾部数值为-1，所述表征无的标记号为0。

本发明与现有测地距等其它深度图分割方法相比其显著的优点在于：

一是本发明运用了深度差判定方法，具有图像分割的实时性好，只需要两边扫描即可完成全图的所有图像块的分割，且在分割的同时可完成所有图像块的各项信息的统计。

二是本发明的行扫描方式同时具有实现易于并行化的优点，可通过使用多核CPU或者芯片来实现更好的实时效果。

三是本发明具有更少的图像处理的运算量，不仅大大加快了图像分割的实时性，而且可在运算性能较差的图像处理设备中运行，且分割后目标图像稳定可靠，使得本发明的整体效能大幅度提高。

附图说明

图1为场景中背景墙面示意图。

图2为本发明提出的一种从图像中提取深度连续物体图像的方法的流程示意图。

图3为中心像素点x与相邻像素点p、q、r、s之间的关系示意图。

具体实施方式

下面将结合附图和实施例对本发明的具体实施方式作进一步的详细说明。

结合图2，本发明提出的一种从背景图像中提取深度连续物体图像的方法，具体步骤包括：步骤1，获取表征物体距离摄像头距离的深度图像；步骤2，第一遍全图扫描，判断像素点之间的深度连续关系，并对像素点在标号图上进行标记深度连续关系的第一遍标记操作，所述标号图为深度图像的像素对应的标记号组成的图；步骤3，在所述第一遍全图扫描的同时，对深度图像的标记号进行标记关系表操作，包括为深度图像的标记号建立标记关系表，以及为追踪深度连续像素点的标记号之间的连接顺序，而对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作；步骤4，对标记关系表进行最终标记号整合操作，为所述深度图像的所有标记号获取应该设置的真实标记号；步骤5，第二遍全图扫描，根据步骤4中更新后的标记关系表对标号图进行合并标记的第二遍标记操作，第二遍标记操作后，深度连续物体的像素点在标记图中表示为相同的标记号；步骤6，在所述第二遍全图扫描同时，统计各深度连续物体的属性，并输出深度连续物体标记图，所述深度连续物体标记图是指记录所有深度连续物体的标号图。

结合图1、图2和图3，对本发明提出的一种从图像中提取深度连续物体图像的方法及其优选方案的具体应用实施例进一步说明如下：

第一，基于深度图的目标分割整体算法流程。本发明的主要作用是为协助其它算法模块提取深度图中的特定目标，其具体实施方式如下：

如图1所示，101为场景中背景墙面，103、104、105为场景中的家具图像，而102为场景需要提取的人物目标图像；在深度图中，本发明将实现101、102、103、104、105等不同目标图像的分割；在图2中，201获取深度图的方式包括基于结构光的深度图，基于光的飞行时间的深度图以及基于多目视觉的深度图。

基于结构光的深度图生成设备，包括一个发射端和一个接收端，发射端的光源打到特定的光学图案上并将图案投射到应用场景中，该场景中的物体由于距离的不同，将生成的光学图案进行调制，生成场景的光学图案。之后接收端将生成的图案采集到深度图生成设备中，并与一张特定的参考图进行比较，可以获得场景中物体的视差信息，通过视差信息可以最终获得场景中所有物体的深度图。

基于光的飞行时间的深度图设备，包括一个发射端和一个接收端，发射端使用红外光组件将红外光发射到场景上。本实施例中，既可使用脉冲红外光，使得可以测量出射光脉冲与相应的入射光脉冲之间的时间，并且将其用于确定从深度图设备到场景中的目标或物体上的特定位置的物理距离；也可将出射光波的相位与入射光波的相位相比较来确定相移，然后可使用该相移来确定从深度图设备到目标或物体上的特定位置的物理距离；还可使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从深度图设备到目标或物体上的特定位置的物理距离。

基于多目视觉的深度图，本实施例中，多目视觉可通过多个不同位置的摄像机来捕获场景中的图像，并通过相关匹配的方式以及摄像机的位置关系获得场景中物体距离深度图设备的距离。

最终获得深度图为一个二维矩阵形式，矩阵中的每个位置的点为图像的像素点，像素点的数值表征的是场景中的物体距离深度图设备的物理距离。

再回到图2中，模块202实现第一遍深度图全图扫描，判断像素点间是否深度连续，并进行第一遍的标记操作，即使用一种采用标记方式产生的标记号对深度连续的像素进行标记，包括对非连续中心像素点，唯一连接中心像素点和桥接中心像素点进行标记；本发明需要对于满足深度连续关系的像素标记相同的标号，因此对于在行扫描中不是直接连续的而是间接连续的像素，即桥接周围像素点，使用标记关系表进行管理。所述标记号用于区别所有满足深度连续目标物体。不同的深度连续物体需要用不同的标记号标记。

扫描方法按行扫描的方式进行。第一遍扫描的同时维护模块203对深度图像的标记号进行标记关系表操作，对深度连续的像素点对应的标记关系表进行合并与更新。模块204对标记关系表进行最终标记号的整合操作。模块205第二遍全图扫描第二遍标记操作，利用标记关系表对图像中像素点重新标记；模块206在实现第二遍全图扫描的同时，统计各深度连续物体的属性，并输出深度连续物体标记图，所述深度连续物体标记图是指记录深度连续物体的标号图。在适用的情况下，可以也可以输出对应的属性统计信息。

标记号的生成方式有多种，在一些实例中，可以通过累加的方式实现，比如标记第一个目标物体的像素使用标记号1，当出现第二个与第一个目标物体不连续的像素，则该像素标记为2，以此累加。在一些实例中，可以通过生成不重复的随机数方式实现，比如在首先生成一个随机数用于标记第一个物体，之后生成一个未出现的随机数标记第二个深度连续的目标物体。在另一些实例中，还可以生成不重复的特定字符实现不同的标记。标号的不同在于区分不同的物体，形式可以多样化。

在本发明的一个实施例中，标记方式可以为随机标记方式、顺序标记方式或固定顺序标记方式中的一种；所述随机标记方式，是指通过随机产生新标记号的方式；为该随机标记方式创建一个标记号顺序表，按照标记号使用的前后顺序保存标记号；通过查找所述标记号顺序表，获取最小顺序标记号，次小顺序标记号，最大顺序标记号；所述顺序标记方式，是指通过产生符合数值顺序的方式产生新标记号；该标记方式通过比较前后标记号的大小或者维护一个标记号顺序表的方式，获取最小顺序标记号，次小顺序标记号，最大顺序标记号；所述固定顺序标记方式，是指通过产生符合数值顺序的方式产生新标记号；该标记方式包括一个标记号起始值和一个固定间隔值；所述新标记号是通过在标记号起始值的基础上不断增加固定间隔值而得到的数值；该标记方式通过比较标记号的大小而确定标记号的使用顺序。

第二，连续深度物体分割的具体实现。由于图像中的特定识别目标大多是内部的像素点深度相差不大，同时在边缘深度值有剧烈变化的像素团块，因此在区分各个深度连续的像素团块时，需要使用一种速度较快，并且稳定的像素分类方法。因此，本发明是基于深度图像的两遍全图扫描后的一种串行区域分割方法，连续深度物体的分割算法的输入图像为深度图，最终输出结果为标记图，并可以包括标记图中每一个标记号对应的属性列表。

第一遍扫描具体实现方式。建立第一遍扫描的三个关系标记表，即为深度图像中每一个不同标记号建立三个标记关系表，分别包括头部标记表、尾部标记表以及指针标记表；标记号所对应的头部标记表中保存与该标记号发生过合并操作的标记号中的最小顺序标记号，所述最小顺序标记号是指使用顺序排在最前的标记号；标记号所对应的尾部标记表中保存与该标记号发生过合并操作的标记号中的最大顺序标记号，所述最大顺序标记号是指使用顺序排在最后的标记号；标记号所对应的指针标记表中保存与与该标记号发生过合并操作的标记号中的最接近当前标记号的下位标记号，即连接标记号。

行扫描全图的所有像素点，图像中的每一行中的像素点与其它相邻的像素点进行深度的比较，令每行的中心像素点为x，与相邻像素点之间的关系如图3所示。每个中心像素点x需要与如图3所示中的p，q，r，s共四个像素点进行深度差值的比较。设p，q，r，s为周围像素点，p，q，r三个像素点为中心像素点x上一行的像素点，s为中心像素点x左侧的已经完成扫描的像素点，若扫描的中心像素点为分布于第一行的像素点则无需考虑与p，q，r进行比较，若扫描的中心像素点为分布于第一列的像素点则无需考虑与s进行比较。中心像素点x的深度值作为中心深度值，使用中心深度值查找预先设定的深度差阈值表，深度差阈值表是一个表征深度连续判断的阈值表。是否判断为连续像素点，需要在完成像素点间的深度差并查找阈值表中的阈值完成是否连续的判断。该表中的阈值由中心深度值决定，每一个深度值对应一个深度差阈值。

取周围像素点p，q，r，s中的任一像素点的深度值与中心像素点x的深度值求差并取绝对值，设为此周围像素点的连续深度差，当连续深度差小于中心像素点所代表的深度差阈值时则认为此周围像素点与中心像素点深度连续。当连续深度差大于中心像素点所代表的深度差阈值时则认为此周围像素点与中心像素点深度不连续。

当中心像素点深度为0，认为该中心像素点为阴影点，不进行深度连续的判断。在本发明的一个实施例中，对于中心像素点深度为0时，在该像素点对应的标号图中标记0。

判断完周围像素点与中心像素点之间的关系之后，需要处理中心像素点与周围像素点的连接问题。中心像素点与周围像素点主要有以下几种连接关系：

当中心像素点与周围像素点都不满足连续的条件，则称为新出现的连续深度像素团块，该中心像素点称为非连续中心像素点，并且标记为新的标记号。同时，对新标记号对应的三个标记表初始化，初始化参数分别为头部标记表为当前的新标记号，尾部标记号同样为当前的新标记号，指针标记表为表征结束的数字。在本发明的一个实施例子中，所述新的标记号为当前标记号内部自加1后的数字，即当遇到新的连续深度团块后，当前标记号自加1之后进行标记操作。

当中心像素点只与周围像素点中的一个像素点满足连续的条件，则中心像素点只与唯一的像素点发生连接，称为唯一连接中心像素点，在这种情况下，中心像素点的标记以该唯一连接像素点的标记号进行标记。

当中心像素点与周围像素点中的两个或两个以上像素点满足连续的条件，则周围像素点以中心像素点为桥梁发生了连接，在这种情况下，中心像素点称为桥接中心像素点，采用桥接周围像素点的标记号中的最小顺序标记号，对桥接中心像素点进行标记；在本发明的一个实施例中，桥接中心像素点的标记号为所有发生连接关系的周围像素点标记号中的最小值；同时，通过中心像素点进行桥接的所有连接的周围像素点的标记号所对应的标记关系表完成合并和更新操作。

在本发明的一个采用固定顺序标记方式的具体实施例中，周围像素点合并操作的方法如下：

首先采用合并与更新头部标记表的操作追踪深度连续根标记号：更新桥接周围像素点的标记号所对应的头部标记表：获取与中心像素点桥接相连的桥接周围像素点的标记号，即桥接周围像素点标记号，查找所述桥接周围像素点标记号所对应的头部标记表中的数值，比较几个值的大小，找到其中最小数值u1(即最小顺序标记号u)，最小数值u1即为所有需要合并像素点的头部标记表的数值；更新已合并像素点的标记号所对应的头部标记表：获取所述桥接周围像素点标记号所对应的指针标记表中的连接标记号，查找该连接标记号所对应的头部标记表，采用所述u1赋值该头部标记表；并继续获取所述连接标记号所对应的指针标记表中的新连接标记号，查找该新连接标记号所对应的头部标记表，并采用所述u1赋值该头部标记表；以此类推直到更新到指针标记表的值为-1。

其次采用合并与更新指针标记表的操作保存深度连续像素点的标记号之间的连接顺序：在合并与更新头部标记表的操作之后，首先进行最小数值u1与次小值v1的挂接操作：查找所述桥接周围像素点标记号所对应的头部标记表中的数值，找到其中次最小值为v1(即次小顺序标记号v)，使用最小数值u1所对应的尾部标记表的标记号作为索引值，使用次最小值为v1更新该索引值所对应的指针标记表；完成v1在u1的尾部标记号对应的指针标记表的挂接操作；继续完成第三最小值w1在次最小值为v1的尾部标记号对应的指针表的挂接操作：查找所述桥接周围像素点标记号所对应的头部标记表中的数值，找到其中第三最小值w1，该挂接操作方式与最小数值u1和次最小值为v1的挂接方式相同；继续采用相同挂接方式，对所述桥接周围像素点的所有标记号进行挂接操作。

再次采用合并与更新尾部标记表的操作保存标记号之间的深度连接顺序：在合并与更新指针标记表的操作之后，获取所述桥接周围像素点标记号所对应的所有头部标记表的数值为索引，查找其所对应的尾部标记表中的标记号，获取其中的最大值k1(即最大顺序标记号k)，使用最大值k1更新所述桥接周围像素点标记号所对应的头部标记表中的数值为索引的尾部标记表的数值。

随后对标记关系表进行最终标记号整合操作：根据标记关系表所保存的标记号之间的连接顺序，采用固定顺序标记方式B重新赋值所有标记号所对应的头部标记表，该固定顺序标记方式B从B类标记号1开始，每次通过加1的方式产生新的标记号：第一遍全图扫描后，对所有标记号所对应的头部标记表进行扫描：如果所述深度图像的标记号等于其对应的头部标记表中保存的数值，则在当前B类标记号加1产生新的B类标记号，采用新的B类标记号重新赋值该头部标记表；如果所述深度图像的标记号不等于其对应的头部标记表中保存的数值，假设标记号为M，标记号M所对应的头部标记表中保存的数值为N，以N为索引获取标记号N所对应的头部标记表的数值P，以固定顺序标记方式B中使用顺序排在第P位的B类标记号重新赋值标记号M所对应的头部标记表。

对标号图进行合并标记的第二遍标记操作具体实现方式，扫描第一遍扫描后的标号图，取每个像素点的标记号，用该标记号查询对应的头部标记表中的数值，该数值即为像素点对应的最终标记号，即应设置的真实标记号。

在完成重新标记的过程中，可以同时统计所有深度连续的像素团块的基本属性信息，通过统计相同标记号的所有像素点的位置，深度以及像素点数量即可以获得标记号所对应的像素团块的基本属性。例如像素点的数量可以表征该像素团块在图像中的面积，像素点的深度值和可以表征像素点团块在图像中的深度位置，像素点的x坐标和以及y坐标和可以表征像素团块在图像的平面位置。

采用该实施例提供的连续深度物体的分割方法，使用深度图像不会受到色彩图中纹理，光照以及阴影的影响，比色彩图提取图像中的目标物体更加稳定可靠。本专利使用的连续深度物体分割方法比单纯的边缘提取方法具有边缘像素点稳定，受图像噪声影响小的特点。同时，本专利的方法比区域生长的分割方法更容易用硬件电路实现，计算量也大大减少。

从以上的描述中，可以看出，本发明实现了如下技术效果：在已有深度图的基础上，分割图像中深度连续的目标物体，相比于其他分割方法具有受图像噪声影响小，边缘稳定，计算量小以及容易被硬件电路实现等特点。

需要说明的是，在图2的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

特别需要说明的是，本领域的技术人员完全能够理解，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，优选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合，即本发明不限制于任何特定的硬件和软件的结合。

本发明的具体实施方式中凡未涉到的说明属于本领域的公知技术，可参考公知技术加以实施。

本发明经反复试验验证，取得了满意的试用效果。

以上具体实施方式及实施例是对本发明提出的一种从背景图像中提取深度连续物体图像的方法技术思想的具体支持，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在本技术方案基础上所做的任何等同变化或等效的改动，均仍属于本发明技术方案保护的范围。

Claims (13)

1.一种从图像中提取深度连续物体图像的方法，其特征在于，包括如下具体步骤：

步骤1，获取表征物体距离摄像头距离的深度图像；

步骤2，第一遍全图扫描，判断像素点之间的深度连续关系，并对像素点在标号图上进行标记深度连续关系的第一遍标记操作；其中：所述判断像素点之间的深度连续关系，是指全图按照行扫描的方式进行，深度图像中的每一行中的像素点与其相邻的像素点进行深度值的比较，以判断像素点之间的深度连续关系；所述标号图为深度图像的像素对应的标记号组成的图；所述对像素点在标号图上进行标记深度连续关系的第一遍标记操作，包括采用标记方式A对非连续中心像素点、唯一连接中心像素点和桥接中心像素点进行标记；

所述非连续中心像素点是指，与周围像素点都不发生连接的中心像素点；所述非连续中心像素点代表出现新的连续深度像素团块，使用标记方式A为新出现的非连续中心像素点产生新标记号，并用新标记号对非连续中心像素点进行标记；所述新标记号为当前未曾使用过的标记号；

所述唯一连接中心像素点是指，与周围像素点中唯一一个像素点发生连接的中心像素点，其中与唯一连接中心像素点发生连接的周围像素点称为唯一连接周围像素点；采用所述唯一连接周围像素点的标记号对唯一连接中心像素点进行标记；

所述桥接中心像素点是指，与周围像素点中两个或两个以上的像素点发生连接的中心像素点，其中与桥接中心像素点发生连接的周围像素点称为桥接周围像素点；采用桥接周围像素点的标记号中的最小顺序标记号，对桥接中心像素点进行标记；所述最小顺序标记号是指在该标记方式中，使用顺序排在最前的标记号；

当中心像素点深度值为0，为该中心像素点标记表征无的标记号；

步骤3，在所述第一遍全图扫描的同时，对深度图像的标记号进行标记关系表操作，包括为深度图像的标记号建立标记关系表，以及为追踪深度连续像素点的标记号之间的连接顺序，而对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作；

步骤4，标记关系表的最终标记号整合操作，为所述深度图像的所有标记号获取应该设置的真实标记号；所述标记关系表的最终标记号整合操作，是指根据 标记关系表所保存的标记号之间的连接顺序，采用标记方式B重新赋值所有标记号所对应的头部标记表，重新赋值后，标记号所对应的头部标记表中保存的最终标记号即为该标记号应该设置的真实标记号；

步骤5，第二遍全图扫描，根据步骤4中更新后的标记关系表对标号图进行合并标记的第二遍标记操作，第二遍标记操作后，深度连续物体的像素点在标号图中表示为相同的标记号；所述根据步骤4中更新后的标记关系表对标号图进行合并标记的第二遍标记操作，是指获取深度图像中每一个像素点的标记号，在该标记号所对应的头部标记表中查找该标记号应该设置的真实标记号，并用所述真实标记号重新赋值该像素点的标记号，第二遍标记操作后，最终生成所述深度图像的所述标号图中，深度连续物体表示为相同标记号；

步骤6，在所述第二遍全图扫描同时，统计各深度连续物体的属性，并输出深度连续物体标记图，所述深度连续物体标记图是指记录所有深度连续物体的标号图。

2.根据权利要求1所述的一种从图像中提取深度连续物体图像的方法，其特征在于，步骤1所述获取表征物体距离摄像头距离的深度图像，是指所述的深度图像为不限定分辨率的数字图像，其中每个像素点的深度值都是当前场景中物体垂直于摄像头主光轴的直线距离。

3.根据权利要求2所述的一种从图像中提取深度连续物体图像的方法，其特征在于，所述深度图像中的每一行中的像素点与其相邻的像素点进行深度值的比较，是指：设每行扫描的中心像素点为x，每个中心像素点x与p、q、r、s四个周围像素点进行深度差值的比较；其中p、q、r三个像素点为中心像素点x上一行的像素点，s为中心像素点x左侧的已经完成扫描的像素点；

若扫描的中心像素点为分布于第一行的像素点则无需考虑与p、q、r进行比较；

若扫描的中心像素点为分布于第一列的像素点则无需考虑与s进行比较。

4.根据权利要求3所述的一种从图像中提取深度连续物体图像的方法，其特征在于，所述深度图像中的每一行中的像素点与其相邻的像素点进行深度值的比较，是采用所述中心像素点x的深度值作中心深度值，使用中心深度值查找预先设定的深度差阈值表，获得该中心深度值所对应的深度差阈值，所述深度差阈 值由中心深度值决定；

像素点深度连续的判断的具体方法为取周围像素点p、q、r、s中的任一像素点的深度值与中心像素点x的深度值求差并取绝对值，以此设为周围像素点的连续深度差；

当连续深度差小于中心像素点所代表的深度差阈值时，则认为此周围像素点与中心像素点深度连续；

当连续深度差大于中心像素点所代表的深度差阈值时则，认为此周围像素点与中心像素点深度不连续；

当中心像素点深度值为0，认为该中心像素点为阴影点，不进行深度连续的判断。

5.根据权利要求4所述的一种从图像中提取深度连续物体图像的方法，其特征在于，步骤3所述为深度图像的标记号建立标记关系表，是指为所述深度图像中每一个不同标记号建立三个标记关系表，分别包括头部标记表、尾部标记表以及指针标记表；

在标记方式A中，所使用的标记号按照使用顺序排列，先使用的标记号是后使用的标记号的上位标记号，后使用的标记号是先使用的标记号的下位标记号；

标记号所对应的头部标记表中保存与该标记号发生过合并操作的标记号中的最小顺序标记号，所述最小顺序标记号是指使用顺序排在最前的标记号；

标记号所对应的尾部标记表中保存与该标记号发生过合并操作的标记号中的最大顺序标记号，所述最大顺序标记号是指使用顺序排在最后的标记号；

标记号所对应的指针标记表中保存与与该标记号发生过合并操作的标记号中的最接近当前标记号的下位标记号，即连接标记号。

6.根据权利要求5所述的一种从图像中提取深度连续物体图像的方法，其特征在于，步骤3所述为深度图像的标记号建立标记关系表，是指当采用新标记号对非连续中心像素点进行标记时，为该新标记号建立三个标记关系表，并初始化该三个标记关系表，

其中头部标记表中的数值初始化为该新标记号，尾部标记表中的数值初始化为该新标记号，指针标记表中的数值初始化为表征结束的数值。

7.根据权利要求6所述的一种从图像中提取深度连续物体图像的方法，其特征在于，步骤3中所述对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作，包括采用合并与更新头部标记表的操作追踪深度连续根标记号，具体是指：合并和更新桥接周围像素点的标记号所对应的头部标记表，以及合并和更新已合并像素点的标记号所对应的头部标记表；

所述合并和更新桥接周围像素点的标记号所对应的头部标记表，是指：获取与中心像素点桥接相连的桥接周围像素点的标记号，即桥接周围像素点标记号，查找所述桥接周围像素点标记号所对应的头部标记表中的数值，找到其中使用顺序排在最前的标记号，即最小顺序标记号u，采用该最小顺序标记号u重新赋值所述桥接周围像素点标记号所对应的头部标记表；

所述已合并像素点是指与中心像素点发生过合并关系的像素点，所述合并和更新已合并像素点的标记号所对应的头部标记表，是指：

获取所述桥接周围像素点标记号所对应的指针标记表中的连接标记号，查找该连接标记号所对应的头部标记表，采用所述最小顺序标记号u赋值该头部标记表；

并继续获取所述连接标记号所对应的指针标记表中的新连接标记号，查找该新连接标记号所对应的头部标记表，并采用所述最小顺序标记号u赋值该头部标记表；

以此类推直到指针标记表的数值为表征结束的数值。

8.根据权利要求7所述的一种从图像中提取深度连续物体图像的方法，其特征在于，所述对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作，包括采用合并与更新指针标记表的操作保存深度连续像素点的标记号之间的连接顺序，具体是指在合并与更新头部标记表的操作之后，对所述桥接周围像素点标记号所对应的指针标记表进行挂接操作：

首先进行最小顺序标记号u与次小顺序标记号v的挂接操作：查找所述桥接周围像素点标记号所对应的头部标记表中的数值，找到其中使用顺序排在第二的标记号，即次小顺序标记号v，使用所述最小顺序标记号u所对应的尾部标记表的标记号作为索引值，使用次小顺序标记号v更新该索引值所对应的指针标记表；完成v在u的尾部标记号对应的指针标记表的挂接操作；

继续完成第三小顺序标记号w在次小顺序标记号v的尾部标记号对应的指针表的挂接操作：查找所述桥接周围像素点标记号所对应的头部标记表中的数值，找到其中使用顺序排在第三的标记号，即第三小顺序标记号w，该挂接操作方式与最小顺序标记号u和次小顺序标记号v的挂接方式相同；

继续采用相同挂接方式，对所述桥接周围像素点的所有标记号进行挂接操作。

9.根据权利要求8所述的一种从图像中提取深度连续物体图像的方法，其特征在于，所述对深度连续像素点的标记号进行动态合并与更新所述标记关系表的操作，还包括采用合并与更新尾部标记表的操作保存标记号之间的深度连接顺序，具体是指在合并与更新指针标记表的操作之后，更新所述桥接周围像素点标记号所对应的所有尾部标记表：

获取所述桥接周围像素点标记号所对应的所有头部标记表的数值为索引，查找其所对应的尾部标记表中的标记号，获取其中使用顺序排在最后的标记号，即最大顺序标记号k，使用最大顺序标记号k更新所述桥接周围像素点标记号所对应的头部标记表中的数值为索引的尾部标记表的数值。

10.根据权利要求9所述的一种从图像中提取深度连续物体图像的方法，其特征在于，所述采用标记方式B重新赋值所有标记号所对应的头部标记表，具体是指在第一遍全图扫描后，对所有标记号所对应的头部标记表进行扫描：

标记方式B中所使用的标记号称为B类标记号，所述B类标记号按照使用顺序排列；

如果所述深度图像的标记号等于其对应的头部标记表中保存的数值，则在标记方式B下，产生新的B类标记号，采用新的B类标记号重新赋值该头部标记表；所述新的B类标记号是指，标记方式B中未曾使用过的标记号；

如果所述深度图像的标记号不等于其对应的头部标记表中保存的数值，假设标记号为M，标记号M所对应的头部标记表中保存的数值为N，以N为索引获取标记号N所对应的头部标记表的数值P，以标记方式B中使用顺序排在第P位的B类标记号重新赋值标记号M所对应的头部标记表。

11.根据权利要求1、4或9所述的一种从图像中提取深度连续物体图像的方法，其特征在于，步骤6所述统计各深度连续物体的属性，是指第二遍标记操 作的同时完成各个深度连续物体的属性统计，具体包括：

建立一个属性统计表，该属性统计表的存储大小为更新后的标记号的数量，每个存储单元的内容包括像素点的数量，像素点的深度和；

在进行第二遍标记操作的同时，完成具有相同标记号的像素块属性统计，即深度连续物体的属性统计。

12.根据权利要求11所述的一种从图像中提取深度连续物体图像的方法，其特征在于，所述标记方式A和标记方式B为随机标记方式、顺序标记方式或固定顺序标记方式中的一种；

所述随机标记方式，是指通过随机产生新标记号的方式；为该随机标记方式创建一个标记号顺序表，按照标记号使用的前后顺序保存标记号；通过查找所述标记号顺序表，获取最小顺序标记号、次小顺序标记号、最大顺序标记号；

所述顺序标记方式，是指通过产生符合数值顺序的方式产生新标记号；该标记方式通过比较前后标记号的大小或者维护一个标记号顺序表的方式，获取最小顺序标记号、次小顺序标记号、最大顺序标记号；

所述固定顺序标记方式，是指通过产生符合数值顺序的方式产生新标记号；该标记方式包括一个标记号起始值和一个固定间隔值；所述新标记号是通过在标记号起始值的基础上不断增加固定间隔值而得到的数值；该标记方式通过比较标记号的大小而确定标记号的使用顺序。

13.根据权利要求12所述的一种从图像中提取深度连续物体图像的方法，其特征在于：所述标记方式A和标记方式B均为固定顺序标记方式，在该固定顺序标记方式中，所述标记号起始值为1、所述固定标记号间隔值为1、所述表征结束的尾部数值为-1、所述表征无的标记号为0。