CN104036483A - 图像处理系统和图像处理方法 - Google Patents

图像处理系统和图像处理方法 Download PDF

Info

Publication number
CN104036483A
CN104036483A CN201310071185.0A CN201310071185A CN104036483A CN 104036483 A CN104036483 A CN 104036483A CN 201310071185 A CN201310071185 A CN 201310071185A CN 104036483 A CN104036483 A CN 104036483A
Authority
CN
China
Prior art keywords
pixel
depth
moving objects
image processing
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310071185.0A
Other languages
English (en)
Other versions
CN104036483B (zh
Inventor
孙迅
刘荣
陈茂林
张帆
胡芝兰
宫鲁津
金智渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201310071185.0A priority Critical patent/CN104036483B/zh
Priority to KR1020130167543A priority patent/KR20140109790A/ko
Priority to US14/197,602 priority patent/US9311550B2/en
Publication of CN104036483A publication Critical patent/CN104036483A/zh
Application granted granted Critical
Publication of CN104036483B publication Critical patent/CN104036483B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

本发明提供一种图像处理系统和图像处理方法。一种用于从3D场景的深度图提取前景运动对象的图像处理系统包括：场景深度图采集器，用于获取预定时间长度的连续的3D场景的深度图；运动对象分割器，用于从获取的深度图分割出运动对象；运动对象跟踪器，用于标识并跟踪分割出的运动对象。

Description

图像处理系统和图像处理方法
技术领域
本申请涉及一种图像处理系统和图像处理方法，尤其涉及一种通过基于连续的3D图像深度图构建背景模型以选取初始种子点进行区域生长，分割出运动对象，并且对分割出的运动对象进行跟踪和标识，从而提取前景运动对象的图像处理技术。
背景技术
当前，在许多诸如3D游戏的3D应用中，经常需要从运动图像识别各种运动对象的轮廓，并且对各识别的运动对象进行跟踪，以对不同的运动对象执行各种操纵。
现有的对象分割/识别技术分为两种：基于色彩信息的对象识别以及基于深度信息的对象识别。基于色彩信息的对象识别从实施方面较为容易、廉价，但是对图像中的噪声较为敏感，并且需要的计算量巨大；而现有的基于深度信息的对象识别技术结合色彩信息和深度信息执行对象（例如人体对象）识别和分割，但是实现起来计算量同样很大。
发明内容
本发明的目的在于提供一种用于从3D场景的深度图提取前景运动对象的图像处理系统和图像处理方法，仅基于3D场景的深度信息从3D场景分割并提取前景运动对象（尤其是人体对象），从而即使在噪声环境中仍取得较为准确、稳定的处理效果。
根据本发明的一方面，提供一种用于从3D场景的深度图提取前景运动对象的图像处理系统，所述图像处理系统包括：场景深度图采集器，用于获取预定时间长度的连续的3D场景的深度图；运动对象分割器，用于从获取的深度图分割出运动对象；运动对象跟踪器，用于标识并跟踪分割出的运动对象。
优选地，运动对象分割器在从获取的深度图分割出运动对象时，使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点；自初始种子点执行区域生长，以取得前景对象区域；对取得的属于同一运动对象的前景对象区域执行融合，以取得运动对象的初始区域；对彼此临近的处于复杂姿态的运动对象的初始区域执行精分割，以取得运动对象的完整区域。
优选地，运动对象分割器在使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点时，使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点；基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型，以识别更多的初始种子点；基于获取的深度图构建地面模型，并且从所述深度图去除3D场景的地面。
优选地，运动对象分割器在使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点时，自连续的深度图提取每个像素p的最大深度值DBG(p)，以提取背景，其中，DBG(p)＝MAX(depth(p),DBG(p))；记录每个像素p的背景深度历史，取得每个像素p的深度值范围[MIN_DBG(p)，MAX_DBG(p)]，其中，MAX_DBG(p)和MIN_DBG(p)分别是像素p的最大深度值和最小深度值；对每个像素p执行以下处理：如果像素p的最大深度值和最小深度值的差小于预设的第一阈值，并且像素p的某个深度值depth(p)与背景模型的距离Diff(p)大于预设的第二阈值，则将所述像素p选为初始种子点，其中，Diff(p)＝Diff(p)＝|[depth(p)-MIN_DBG(p)]|。
优选地，运动对象分割器在基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型，以识别更多的初始种子点时，对于每个像素，执行以下处理：如果在包含所述像素的预定数量的连续帧中，所述像素不具有有效的深度值，则所述像素被标记为坏背景像素；如果先前被标记为坏背景像素的像素在连续帧中的任一帧中被有效的运动像素覆盖，则将所述像素恢复为前景像素点并选择为初始种子点。
优选地，运动对象分割器基于像素的深度、灰度、时间信息以及生长路径上的累积深度差自每个种子点执行区域生长。
优选地，运动对象分割器当自初始种子点执行区域生长时，对于任一生长像素点xi以及其任一相邻像素点xi+1，如果xi+1的深度值与xi的深度值的差小于预定的第三阈值，xi与xi+1中较大的深度灰度值小于预定的第四阈值，并且xi在向xi+1生长的路径上的累积深度差小与预定的第五阈值，则区域生长从生长像素点xi生长到像素点xi+1。
优选地，如果运动对象分割器确定xi与xi+1分别属于不同的运动对象，并且两者都保持相对静止，则运动对象分割器减小所述第三阈值、第四阈值和第五阈值，执行所述区域生长处理。
优选地，运动对象分割器对于彼此临近但无实际接触的运动对象的每个初始区域，从所述运动对象的初始区域识别所述运动对象的部位，通过递减地使用第三阈值、第四阈值和第五阈值的集合重复执行区域生长，直到成功地获得不同运动对象的初始区域为止，再对取得的属于同一运动对象的前景对象区域执行融合，以取得运动对象的初始区域。
优选地，所述的图像处理系统还包括：人体提取器，用于通过从标识的运动对象去除非人体对象的运动对象来提取人体对象。
优选地，人体提取器还对非人体对象的运动对象进行标注。
优选地，所述的图像处理系统还包括：显示单元，用于使用不同的颜色显示提取的属于不同人的人体对象。
优选地，在对场景深度图采集器获得的预定时间长度的连续的3D场景的深度图执行提取运动对象后，获取更多的深度图并基于已获得的数据，累积地提取新的运动对象。
根据本发明的另一方面，提供一种用于从3D场景的深度图提取前景运动对象的图像处理方法，所述图像处理方法包括：A）获取预定时间长度的连续的3D场景的深度图；B）从获取的深度图分割出运动对象；C）标识并跟踪分割出的运动对象。
优选地，步骤B）包括：B1）使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点；B2）自初始种子点执行区域生长，以取得前景对象区域；B3）对取得的属于同一运动对象的前景对象区域执行融合，以取得运动对象的初始区域；B4）对彼此临近的处于复杂姿态的运动对象的初始区域执行精分割，以取得运动对象的完整区域。
优选地，步骤B1）包括：B1-1）使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点；B1-2）基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型，以识别更多的初始种子点；B1-3）基于获取的深度图构建地面模型，并且从所述深度图去除3D场景的地面。
优选地，步骤B1-1）包括：B1-1-A）自连续的深度图提取每个像素p的最大深度值DBG(p)，以提取背景，其中，DBG(p)＝MAX(depth(p)，DBG(p))；B1-1-B）记录每个像素p的背景深度历史，取得每个像素p的深度值范围[MIN_DBG(p)，MAX_DBG(p)]，其中，MAX_DBG(p)和MIN_DBG(p)分别是像素p的最大深度值和最小深度值；B1-1-C）对每个像素p执行以下处理：如果像素p的最大深度值和最小深度值的差小于预设的第一阈值，并且像素p的某个深度值depth(p)与背景模型的距离Diff(p)大于预设的第二阈值，则将所述像素p选为初始种子点，其中，Diff(p)＝|[depth(p)-MIN_DBG(G)]|。
优选地，在步骤B1-2）中，对于每个像素，执行以下处理：如果在包含所述像素的预定数量的连续帧中，所述像素不具有有效的深度值，则所述像素被标记为坏背景像素；如果所述像素在连续帧中的任一帧中被有效的运动像素覆盖，则将所述像素恢复为前景像素点并选择为初始种子点。
优选地，在步骤B2）中，基于像素的深度、灰度、时间信息以及生长路径上的累积深度差自每个种子点执行区域生长。
优选地，在步骤B2）中，当自初始种子点执行区域生长时，对于任一生长像素点xi以及其任一相邻像素点xi+1，如果xi+1的深度值与xi的深度值的差小于预定的第三阈值，xi与xi+1中较大的深度灰度值小于预定的第四阈值，并且xi在向xi+1生长的路径上的累积深度差小与预定的第五阈值，则区域生长从生长像素点xi生长到像素点xi+1。
优选地，如果xi与xi+1分别属于不同的运动对象，并且两者都保持相对静止，则减小所述第三阈值、第四阈值和第五阈值，执行所述区域生长处理。
优选地，在步骤B4），对于彼此临近但无实际接触的运动对象的每个初始区域，从所述运动对象的初始区域识别所述运动对象的部位，通过递减地使用第三阈值、第四阈值和第五阈值的集合重复执行步骤B2）中的区域生长，直到成功地获得不同运动对象的初始区域为止，再执行步骤B3）。
优选地，所述的图像处理方法还包括：D）用于通过从标识的运动对象去除非人体对象的运动对象来提取人体对象。
优选地，在步骤D）中，还对非人体对象的运动对象进行标注。
优选地，所述的图像处理方法还包括：E）当显示提取的人体对象时，使用不同的颜色显示提取的属于不同人的人体对象。
优选地，所述的图像处理方法还包括：在对从步骤A）获得的预定时间长度的连续的3D场景的深度图执行步骤B）～步骤D）后，基于从步骤B）～步骤D）获得的数据执行步骤A）～D）以获取更多的深度图并累积地提取新的人体对象。
附图说明
通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：
图1是示出根据本发明的示例性实施例的图像处理方法的流程图；
图2示意性地示出根据本发明的示例性实施例的图像处理方法用于确定区域生长的初始种子点的处理；
图3～图9示意性地示出根据本发明的示例性实施例的图像处理方法的处理；
图10是示出根据本发明的示例性实施例的图像处理系统的逻辑框图。
具体实施方式
以下，将参照附图来详细说明本发明的实施例。
3D场景的深度图是指场景的二维像素矩阵表示，其中每个像素分别对应于场景中的一个位置，并且分别具有指示从某一参考位置到各场景位置的距离的像素值。因此，深度图表达的是场景中目标的形貌信息，而不是亮度和/或色彩。PCT国际申请WO2007/043035A1中公开了一种产生场景的深度图的方法。
可使用深度图来分割出场景中的物体。本发明提供一种基于3D场景的深度图而不结合色彩来从连续的场景深度图识别、分割并跟踪前景运动对象的图像处理系统和图像处理方法。
图1是示出根据本发明的示例性实施例的图像处理方法的流程图。
参照图1，在步骤S110，根据本发明的图像处理系统获取预定时间长度的连续的3D场景的深度图。可根据上述PCT国际申请公开的方法产生场景的深度图，也可使用其他常用的深度图生成方法来产生所述深度图，本发明可从产生所述深度图的装置或程序获取所述深度图，对深度图的产生无限制，因此在此不给予详细描述。
在步骤S120，图像处理系统从获取的深度图分割出运动对象。为此，图像处理系统执行以下处理：
120-1、图像处理系统使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点；
120-2、图像处理系统自初始种子点执行区域生长，以取得前景对象区域；
120-3、图像处理系统对取得的属于同一运动对象的前景对象区域执行融合，以取得运动对象的初始区域；
120-4、图像处理系统对彼此临近的处于复杂姿态的运动对象的初始区域执行精分割，以取得运动对象的完整区域。
以下对上述步骤120-1至120-4分别进行详细的描述。
根据本发明的示例性实施例，图像处理系统使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点（120-1）的处理具体包括：
120-1-1、使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点；
120-1-2、基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型，以识别更多的初始种子点；
120-1-3、基于获取的深度图构建地面模型，并且从所述深度图去除3D场景的地面。
图2示意性地示出根据本发明的示例性实施例的图像处理方法用于确定区域生长的初始种子点的处理。
参照图2，在操作111，图像处理系统使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点。
具体地讲，首先，图像处理系统自连续的深度图提取每个像素p的最大深度值DBG(p)，以提取背景：
DBG(p)＝MAX(depth(p)，DBG(p))。
但是，在噪声环境中，仅使用最深的样本作为背景是不够的，因此本发明的图像处理系统记录每个像素p的背景深度历史，取得每个像素p的深度值范围[MIN_DBG(p)，MAX_DBG(p)]。其中，MAX_DBG(p)和MIN_DBG(p)分别是像素p的最大深度值和最小深度值。
此后，图像处理系统对每个像素p执行以下处理：如果像素p的最大深度值和最小深度值的差小于预设的第一阈值，并且像素p的某个深度值depth(p)与背景模型的距离Diff(p)大于预设的第二阈值，则将所述像素p选为初始种子点，其中，
Diff(p)＝|[depth(p)-MIN_DBG(p)]|。
但是，如果像素p的最大深度值和最小深度值的差超出预设的第一阈值，则需要重新评估像素p的背景模型。
在对在操作111构建的背景模型进行处理时，如通常对背景模型执行的其他处理，执行操作112（地面检测）以及操作113（背景剪除），在此不给予详细描述。
另一方面，当获取场景时，往往由于亮度、材料以及匹配模糊性，会存在不具备有效深度的区域，大多时候这些区域处于静态的背景对象中。因此，可利用这种特性来构建坏背景像素模型。
根据本发明的优选实施例，图像处理系统还构建用于标记坏背景像素的坏像素模型，以获取更多的初始种子点。具体地，对于每个像素，执行以下处理：首先，如果在包含所述像素的预定数量的连续帧中，所述像素不具有有效的深度值，则将所述像素标记为坏背景像素；但是，如果先前被标记为坏背景像素的像素p在连续帧中的任一帧中被有效的运动像素覆盖（也就是说，Depth(p)∈[MIN_DBG(p),MAX_DBG(p)]），则将所述像素恢复为前景像素点（操作115）并选择为初始种子点。换句话说，针对是否为坏背景像素的标记是可逆的，在连续的场景中由于运动对象的运动以及背景的转换，有效的前景像素也可能在特定场景中变为坏背景像素，而先前标注的坏背景像素也可能重新变为前景像素。
图像处理系统在自初始种子点执行区域生长以取得前景对象区域（120-2）的处理中，基于像素的深度、灰度、时间信息以及生长路径上的累积深度差自每个种子点执行区域生长。
根据本发明的示例性实施例，在操作120-2的处理中，当自初始种子点执行区域生长时，对于任一生长像素点xi以及其任一相邻像素点xi+1（如图3中所示），如果xi+1的深度值与xi的深度值的差小于预定的第三阈值，xi与xi+1中较大的深度灰度值小于预定的第四阈值，并且xi在向xi+1生长的路径上的累积深度差小与预定的第五阈值，则区域生长从生长像素点xi生长到像素点xi+1。这种区域生长类似于广度优先搜索算法。
但是，如果确定xi与xi+1分别属于不同的运动对象，并且两者都保持相对静止，则减小所述第三阈值、第四阈值和第五阈值，执行所述区域生长处理。也就是说，此时适应性地使用更为严格的阈值进行生长控制。图4示出通过自初始种子点进行区域生长取得的分属于两个用户的相互连接的区域。
当图像处理系统对取得的属于同一运动对象的前景对象区域执行融合以取得运动对象的初始区域（操作120-3）时，可通过将可能属于同一运动对象的两个区域的像素点集在XOY和XOZ面上进行投影，并且计算两个像素点集之间的欧氏距离的值以及重叠面积的值与预定的阈值进行比较来确定是否合并所述两个区域。图5上端左边的图片显示原本属于一个人体对象的两个初始区域（浅色和深色），通过所述区域融合处理将所述两个初始区域融合到一个人体对象的区域。在对象识别技术领域，存在多种对属于同一对象的多个区域进行合并的技术，在此不给予详述。
这里，对于两个连接的前景对象区域，如果其中小的前景对象区域具有高运动值或者先前已被检测为属于同一运动对象，则假定小的前景对象区域是大前景对象区域的摆动的四肢，可将两个前景对象区域合并。
在操作120-4的处理中，图像处理系统对彼此临近但无实际接触的运动对象的每个初始区域，从所述运动对象的初始区域识别所述运动对象的部位，通过递减地使用前述的第三阈值、第四阈值和第五阈值的集合重复执行区域生长（操作120-2），直到成功地获得不同运动对象的初始区域为止，再执行操作120-3，以获得运动对象的完整区域。图5示意性地示出将彼此并无实际连接的两个运动对象（在此为人体对象）的初始区域执行区域生长，从而得到两个分离的运动对象（在此为人体对象）的完整区域的情形。
图5下端左侧的图片示出左侧不同颜色显示的同属于一个人体对象的两个区域，这两个区域彼此临近但并无实际接触。由于例如边缘深度的剧变，没有能够生长到一个区域中，通过上述使用更为严格的阈值执行区域生长，可将所述两个初始区域融合到一个人体对象的区域（左边的人体对象）。
另一种情况是，两个或多个初始区域的运动对象彼此实际连接。此时，图像处理系统可通过将连接的一个运动对象的初始区域与其他运动对象的初始区域进行匹配，然后使用如K-means算法的聚类方法通过对每个初始区域上的静态点进行聚类来将所述运动对象和其他运动对象的初始区域分离，以获得每个运动对象的完整区域。图6示意性地示出将彼此实际连接的两个运动对象（在此为人体对象）的初始区域执行精分割，从而分离为两个运动对象（在此为人体对象）的完整区域的情形。
在执行上述步骤S120的处理，分割出各运动对象的完整区域以后，在步骤S130，图像处理系统标识和跟踪分割出的运动对象。可使用现有的图像处理的对象识别和跟踪技术执行所述运动对象的标识和跟踪。原则为，对同一运动对象（包括人体对象和非人体对象）使用同一标识，对融合在一个运动对象的完整区域的运动对象使用同一标识；而对于新识别的运动对象，执行前述步骤S120的处理，以分割出所述新运动对象的完整区域。图7示意性地示出运动对象的跟踪处理。在图7的4个示图中，白色显示的运动对象（这里为人体对象）与灰色显示的运动对象（这里也为人体对象）用于表示不同的运动对象。
通过步骤S110至S130的处理，本发明的图像处理系统从连续的3D场景的深度图中提取出前景的运动对象。
根据本发明的可选实施例，图像处理系统还执行步骤S140。在步骤S140，图像处理系统通过从标识的运动对象去除非人体对象的运动对象来提取人体对象。本发明的图像处理系统可使用现有的人体部位、姿态检测技术来识别人体对象，从而从标识的运动对象去除非人体对象，在此不给予详细描述。
根据本发明的可选实施例，图像处理系统在显示提取的人体对象时，使用不同的颜色显示提取的属于不同人的人体对象。
本发明的图像处理方法累积地执行运动对象（包括人体对象）的提取，在对预定时间长度的连续的3D场景的深度图执行步骤S120～步骤S130（当提取人体对象时，执行步骤S110～步骤S140）的处理后，图像处理系统基于从步骤S120～步骤S130/S140获得的数据执行步骤S110～步骤S130/S140以获取更多的深度图并累积地提取新的运动对象（如人体对象）。
根据本发明的图像处理方法仅使用连续的3D场景的深度图从所述3D场景提取前景运动对象，而不依赖场景的任何色彩信息，从而在处理中不易受噪声环境的影响，提供相对稳定、准确的处理效果。图8和图9分别示出在复杂的室内办公室应用场景下根据本发明的图像处理方法提取人体对象获得的效果。在人体和背景的距离较小、数据噪声较大的环境，图8右边的人体对象的身体将被手臂“截断”成两个分开的区域，通过本发明的区域融合提取出一个该人体的完整区域。图9则示出本发明的图像处理系统能精确地恢复3D深度数据的边缘区域（如手指）。
图10是示出根据本发明的示例性实施例的图像处理系统的逻辑框图。
参照图10，根据本发明的示例性实施例的图像处理系统包括：场景深度图采集器210、运动对象分割器220、运动对象跟踪器230和人体提取器240。
场景深度图采集器210用于获取预定时间长度的连续的3D场景的深度图。运动对象分割器220用于从获取的深度图分割出运动对象。运动对象跟踪器230用于标识并跟踪分割出的运动对象。人体提取器240用于通过从标识的运动对象去除非人体对象的运动对象来提取人体对象。
根据本发明的示例性实施例，运动对象分割器220在从获取的深度图分割出运动对象时，使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点，自初始种子点执行区域生长以取得前景对象区域，对取得的属于同一运动对象的前景对象区域执行融合以取得运动对象的初始区域，并且对彼此临近的处于复杂姿态的运动对象的初始区域执行精分割，以取得运动对象的完整区域。
根据本发明的示例性实施例，运动对象分割器220在使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点时，使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点，基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型以识别更多的初始种子点，基于获取的深度图构建地面模型，并且从所述深度图去除3D场景的地面。
根据本发明的示例性实施例，运动对象分割器220在使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点时，自连续的深度图提取每个像素p的最大深度值DBG(p)，以提取背景，其中，DBG(p)＝MAX(depth(p)，DBG(p))，记录每个像素p的背景深度历史，取得每个像素p的深度值范围[MIN_DBG(p)，MAX_DBG(p)]，其中，MAX_DBG(p)和MIN_DBG(p)分别是像素p的最大深度值和最小深度值，对每个像素p执行以下处理：如果像素p的最大深度值和最小深度值的差小于预设的第一阈值，并且像素p的某个深度值depth(p)与背景模型的距离Diff(p)大于预设的第二阈值，则将所述像素p选为初始种子点，其中，Diff(p)＝|[depth(p)-MIN_DBG(p)]|。
根据本发明的示例性实施例，运动对象分割器220在基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型，以识别更多的初始种子点时，对于每个像素，执行以下处理：如果在包含所述像素的预定数量的连续帧中，所述像素不具有有效的深度值，则所述像素被标记为坏背景像素；如果先前被标记为坏背景像素的像素p在连续帧中的任一帧中被有效的运动像素覆盖（也就是说，Depth(p)∈[MIN_DBG(p)，MAX_DBG(p)]），则将所述像素恢复为前景像素点并选择为初始种子点。
根据本发明的示例性实施例，运动对象分割器220基于像素的深度、灰度、时间信息以及生长路径上的累积深度差自每个种子点执行区域生长。
根据本发明的另一示例性实施例，运动对象分割器220当自初始种子点执行区域生长时，对于任一生长像素点xi以及其任一相邻像素点xi+1，如果xi+1的深度值与xi的深度值的差小于预定的第三阈值，xi与xi+1中较大的深度灰度值小于预定的第四阈值，并且xi在向xi+1生长的路径上的累积深度差小与预定的第五阈值，则区域生长从生长像素点xi生长到像素点xi+1。
根据本发明的示例性实施例，如果运动对象分割器220确定xi与xi+1分别属于不同的运动对象，并且两者都保持相对静止，则运动对象分割器220减小所述第三阈值、第四阈值和第五阈值，执行所述区域生长处理。
根据本发明的示例性实施例，运动对象分割器220对于彼此临近但无实际接触的运动对象的每个初始区域，从所述运动对象的初始区域识别人体部位，通过递减地使用第三阈值、第四阈值和第五阈值的集合重复执行区域生长，直到成功地获得不同运动对象的初始区域为止，再对取得的属于同一运动对象的前景对象区域执行融合，以取得运动对象的初始区域。
根据本发明的示例性实施例，人体提取器240还对非人体对象的运动对象进行标注。
根据本发明的可选示例性实施例，图像处理系统还包括：显示单元，用于使用不同的颜色显示提取的属于不同人的人体对象。
人体显示单元所述图像处理系统在对场景深度图采集器获得的预定时间长度的连续的3D场景的深度图执行提取人体对象后，获取更多的深度图并基于已获得的数据，累积地提取新的人体对象。
根据本发明的图像处理系统仅使用连续的3D场景的深度图从所述3D场景提取前景运动对象，而不依赖场景的任何色彩信息，从而在处理中不易受噪声环境的影响，提供相对稳定、准确的处理效果。
此外，本发明尤其可从连续的3D场景的深度图提取的运动对象中去除非人体对象，从而不易受噪声环境影响地提取人体对象。
尽管已参照优选实施例表示和描述了本发明，但本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些实施例进行各种修改和变换。

Claims (26)

1.一种用于从3D场景的深度图提取前景运动对象的图像处理系统，所述图像处理系统包括：
场景深度图采集器，用于获取预定时间长度的连续的3D场景的深度图；
运动对象分割器，用于从获取的深度图分割出运动对象；
运动对象跟踪器，用于标识并跟踪分割出的运动对象。
2.如权利要求1所述的图像处理系统，其特征在于，运动对象分割器在从获取的深度图分割出运动对象时，
使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点；
自初始种子点执行区域生长，以取得前景对象区域；
对取得的属于同一运动对象的前景对象区域执行融合，以取得运动对象的初始区域；
对彼此临近的处于复杂姿态的运动对象的初始区域执行精分割，以取得运动对象的完整区域。
3.如权利要求2所述的图像处理系统，其特征在于，运动对象分割器在使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点时，
使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点；
基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型，以识别更多的初始种子点；
基于获取的深度图构建地面模型，并且从所述深度图去除3D场景的地面。
4.如权利要求3所述的图像处理系统，其特征在于，运动对象分割器在使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点时，
自连续的深度图提取每个像素p的最大深度值DBG(p)，以提取背景，其中，DBG(p)＝MAX(depth(p),DBG(p))；
记录每个像素p的背景深度历史，取得每个像素p的深度值范围[MIN_DBG(p),MAX_DBG(p)]，其中，MAX_DBG(p)和MIN_DBG(p)分别是像素p的最大深度值和最小深度值；
对每个像素p执行以下处理：如果像素p的最大深度值和最小深度值的差小于预设的第一阈值，并且像素p的某个深度值depth(p)与背景模型的距离Diff(p)大于预设的第二阈值，则将所述像素p选为初始种子点，其中，Diff(p)＝|[depth(p)-MIN_DBG(p)]|。
5.如权利要求4所述的图像处理系统，其特征在于，运动对象分割器在基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型，以识别更多的初始种子点时，对于每个像素，执行以下处理：
如果在包含所述像素的预定数量的连续帧中，所述像素不具有有效的深度值，则所述像素被标记为坏背景像素；
如果先前被标记为坏背景像素的像素在连续帧中的任一帧中被有效的运动像素覆盖，则将所述像素恢复为前景像素点并选择为初始种子点。
6.如权利要求3所述的图像处理系统，其特征在于，运动对象分割器基于像素的深度、灰度、时间信息以及生长路径上的累积深度差自每个种子点执行区域生长。
7.如权利要求6所述的图像处理系统，其特征在于，运动对象分割器当自初始种子点执行区域生长时，对于任一生长像素点xi以及其任一相邻像素点xi+1，如果xi+1的深度值与xi的深度值的差小于预定的第三阈值，xi与xi+1中较大的深度灰度值小于预定的第四阈值，并且xi在向xi+1生长的路径上的累积深度差小与预定的第五阈值，则区域生长从生长像素点xi生长到像素点xi+1。
8.如权利要求7所述的图像处理系统，其特征在于，如果运动对象分割器确定xi与xi+1分别属于不同的运动对象，并且两者都保持相对静止，则运动对象分割器减小所述第三阈值、第四阈值和第五阈值，执行所述区域生长处理。
9.如权利要求7所述的图像处理系统，其特征在于，运动对象分割器对于彼此临近但无实际接触的运动对象的每个初始区域，从所述运动对象的初始区域识别所述运动对象的部位，通过递减地使用第三阈值、第四阈值和第五阈值的集合重复执行区域生长，直到成功地获得不同运动对象的初始区域为止，再对取得的属于同一运动对象的前景对象区域执行融合，以取得运动对象的初始区域。
10.如权利要求7所述的图像处理系统，还包括：
人体提取器，用于通过从标识的运动对象去除非人体对象的运动对象来提取人体对象。
11.如权利要求10所述的图像处理系统，其特征在于，人体提取器还对非人体对象的运动对象进行标注。
12.如权利要求11所述的图像处理系统，还包括：
显示单元，用于使用不同的颜色显示提取的属于不同人的人体对象。
13.如权利要求9或11所述的图像处理系统，其特征在于，在对场景深度图采集器获得的预定时间长度的连续的3D场景的深度图执行提取运动对象后，获取更多的深度图并基于已获得的数据，累积地提取新的运动对象。
14.一种用于从3D场景的深度图提取前景运动对象的图像处理方法，所述图像处理方法包括：
A）获取预定时间长度的连续的3D场景的深度图；
B）从获取的深度图分割出运动对象；
C）标识并跟踪分割出的运动对象。
15.如权利要求14所述的图像处理方法，其特征在于，步骤B）包括：
B1）使用获取的深度图构建背景模型，并且确定用于前景对象的初始种子点；
B2）自初始种子点执行区域生长，以取得前景对象区域；
B3）对取得的属于同一运动对象的前景对象区域执行融合，以取得运动对象的初始区域；
B4）对彼此临近的处于复杂姿态的运动对象的初始区域执行精分割，以取得运动对象的完整区域。
16.如权利要求15所述的图像处理方法，其特征在于，步骤B1）包括：
B1-1）使用获取的深度图构建记录背景形状的背景模型，并且识别所述初始种子点；
B1-2）基于获取的深度图和构建的背景模型构建用于标记坏背景像素的坏像素模型，以识别更多的初始种子点；
B1-3）基于获取的深度图构建地面模型，并且从所述深度图去除3D场景的地面。
17.如权利要求16所述的图像处理方法，其特征在于，步骤B1-1）包括：
B1-1-A）自连续的深度图提取每个像素p的最大深度值DBG(p)，以提取背景，其中，DBG(p)＝MAX(depth(p)，DBG(p))；
B1-1-B）记录每个像素p的背景深度历史，取得每个像素p的深度值范围[MIN_DBG(p),，AX_DBG(p)]，其中，MAX_DBG(p)和MIN_DBG(p)分别是像素p的最大深度值和最小深度值；
B1-1-C）对每个像素p执行以下处理：如果像素p的最大深度值和最小深度值的差小于预设的第一阈值，并且像素p的某个深度值depth(p)与背景模型的距离Diff(p)大于预设的第二阈值，则将所述像素p选为初始种子点，其中，Diff(p)＝|[depth(p)-MIN_DBG(p)]|。
18.如权利要求17所述的图像处理方法，其特征在于，在步骤B1-2）中，对于每个像素，执行以下处理：
如果在包含所述像素的预定数量的连续帧中，所述像素不具有有效的深度值，则所述像素被标记为坏背景像素；
如果所述像素在连续帧中的任一帧中被有效的运动像素覆盖，则将所述像素恢复为前景像素点并选择为初始种子点。
19.如权利要求16所述的图像处理方法，其特征在于，在步骤B2）中，基于像素的深度、灰度、时间信息以及生长路径上的累积深度差自每个种子点执行区域生长。
20.如权利要求19所述的图像处理方法，其特征在于，在步骤B2）中，当自初始种子点执行区域生长时，对于任一生长像素点xi以及其任一相邻像素点xi+1，如果xi+1的深度值与xi的深度值的差小于预定的第三阈值，xi与xi+1中较大的深度灰度值小于预定的第四阈值，并且xi在向xi+1生长的路径上的累积深度差小与预定的第五阈值，则区域生长从生长像素点xi生长到像素点xi+1。
21.如权利要求20所述的图像处理方法，其特征在于，如果xi与xi+1分别属于不同的运动对象，并且两者都保持相对静止，则减小所述第三阈值、第四阈值和第五阈值，执行所述区域生长处理。
22.如权利要求20所述的图像处理方法，其特征在于，在步骤B4），对于彼此临近但无实际接触的运动对象的每个初始区域，从所述运动对象的初始区域识别所述运动对象的部位，通过递减地使用第三阈值、第四阈值和第五阈值的集合重复执行步骤B2）中的区域生长，直到成功地获得不同运动对象的初始区域为止，再执行步骤B3）。
23.如权利要求20所述的图像处理方法，还包括：
D）用于通过从标识的运动对象去除非人体对象的运动对象来提取人体对象。
24.如权利要求23所述的图像处理方法，其特征在于，在步骤D）中，还对非人体对象的运动对象进行标注。
25.如权利要求24所述的图像处理方法，还包括：
E）当显示提取的人体对象时，使用不同的颜色显示提取的属于不同人的人体对象。
26.如权利要求24所述的图像处理方法，还包括：
在对从步骤A）获得的预定时间长度的连续的3D场景的深度图执行步骤B）～步骤D）后，基于从步骤B）～步骤D）获得的数据执行步骤A）～D）以获取更多的深度图并累积地提取新的人体对象。
CN201310071185.0A 2013-03-06 2013-03-06 图像处理系统和图像处理方法 Expired - Fee Related CN104036483B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310071185.0A CN104036483B (zh) 2013-03-06 2013-03-06 图像处理系统和图像处理方法
KR1020130167543A KR20140109790A (ko) 2013-03-06 2013-12-30 영상 처리 장치 및 영상 처리 방법
US14/197,602 US9311550B2 (en) 2013-03-06 2014-03-05 Device and method for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310071185.0A CN104036483B (zh) 2013-03-06 2013-03-06 图像处理系统和图像处理方法

Publications (2)

Publication Number Publication Date
CN104036483A true CN104036483A (zh) 2014-09-10
CN104036483B CN104036483B (zh) 2021-01-15

Family

ID=51467242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310071185.0A Expired - Fee Related CN104036483B (zh) 2013-03-06 2013-03-06 图像处理系统和图像处理方法

Country Status (2)

Country Link
KR (1) KR20140109790A (zh)
CN (1) CN104036483B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333748A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 获取图像主体对象的方法、装置及终端
CN104504678A (zh) * 2014-11-19 2015-04-08 华东师范大学 一种室内识别物体棱角并衡量其对移动实体危险程度的方法
CN105126343A (zh) * 2015-08-27 2015-12-09 网易（杭州）网络有限公司 一种2d游戏的遮罩显示方法及装置
CN105809664A (zh) * 2014-12-31 2016-07-27 北京三星通信技术研究有限公司 生成三维图像的方法和装置
CN106251388A (zh) * 2016-08-01 2016-12-21 乐视控股（北京）有限公司 照片处理方法和装置
CN108537843A (zh) * 2018-03-12 2018-09-14 北京华凯汇信息科技有限公司 根据深度图像得到景深距离的方法及装置
CN110136174A (zh) * 2019-05-22 2019-08-16 北京华捷艾米科技有限公司 一种目标对象跟踪方法和装置
CN110717417A (zh) * 2019-09-25 2020-01-21 福建天泉教育科技有限公司 深度图人体前景提取方法及计算机可读存储介质
CN111383340A (zh) * 2018-12-28 2020-07-07 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及系统
CN111932576A (zh) * 2020-07-15 2020-11-13 中国科学院上海微系统与信息技术研究所 一种基于深度相机的物体边界测量方法和装置
CN113362387A (zh) * 2021-04-12 2021-09-07 深圳大学 一种动态环境移动机器人的环境地图构建方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807513B1 (ko) 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
KR102424664B1 (ko) * 2018-01-08 2022-07-25 현대모비스 주식회사 3차원 영상정보 기반 객체 추적 장치 및 방법
US11164319B2 (en) 2018-12-20 2021-11-02 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes
US11508077B2 (en) 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN101246547A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 一种根据场景变化特征对视频中运动物体检测的方法
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
CN102598057A (zh) * 2009-08-23 2012-07-18 Iad信息自动化及数据处理有限公司 自动对象识别、然后根据对象形状进行对象跟踪的方法和系统
CN102609934A (zh) * 2011-12-22 2012-07-25 中国科学院自动化研究所 一种基于深度图像的多目标分割和跟踪方法
CN102663722A (zh) * 2011-01-31 2012-09-12 微软公司 使用深度图像的活动对象分割
CN102903110A (zh) * 2012-09-29 2013-01-30 宁波大学 对具有深度图像信息的图像的分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN101246547A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 一种根据场景变化特征对视频中运动物体检测的方法
CN102598057A (zh) * 2009-08-23 2012-07-18 Iad信息自动化及数据处理有限公司 自动对象识别、然后根据对象形状进行对象跟踪的方法和系统
CN102663722A (zh) * 2011-01-31 2012-09-12 微软公司 使用深度图像的活动对象分割
CN102609934A (zh) * 2011-12-22 2012-07-25 中国科学院自动化研究所 一种基于深度图像的多目标分割和跟踪方法
CN102903110A (zh) * 2012-09-29 2013-01-30 宁波大学 对具有深度图像信息的图像的分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SANGHO PARK等: "Segmentation and Tracking of Interacting Human Body Parts under Occlusion and Shadowing", 《MOTION AND VIDEO COMPUTING2002》 *
杨晓敏等: "基于Kinect深度信息的人体运动跟踪算法", 《北京信息科技大学学报(自然科学版)》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504678A (zh) * 2014-11-19 2015-04-08 华东师范大学 一种室内识别物体棱角并衡量其对移动实体危险程度的方法
CN104504678B (zh) * 2014-11-19 2017-04-19 华东师范大学 一种室内识别物体棱角并衡量其对移动实体危险程度的方法
CN104333748A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 获取图像主体对象的方法、装置及终端
CN105809664A (zh) * 2014-12-31 2016-07-27 北京三星通信技术研究有限公司 生成三维图像的方法和装置
CN105126343A (zh) * 2015-08-27 2015-12-09 网易（杭州）网络有限公司 一种2d游戏的遮罩显示方法及装置
CN105126343B (zh) * 2015-08-27 2019-01-22 网易（杭州）网络有限公司 一种2d游戏的遮罩显示方法及装置
CN106251388A (zh) * 2016-08-01 2016-12-21 乐视控股（北京）有限公司 照片处理方法和装置
CN108537843A (zh) * 2018-03-12 2018-09-14 北京华凯汇信息科技有限公司 根据深度图像得到景深距离的方法及装置
CN111383340A (zh) * 2018-12-28 2020-07-07 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及系统
CN111383340B (zh) * 2018-12-28 2023-10-17 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及系统
CN110136174A (zh) * 2019-05-22 2019-08-16 北京华捷艾米科技有限公司 一种目标对象跟踪方法和装置
CN110136174B (zh) * 2019-05-22 2021-06-22 北京华捷艾米科技有限公司 一种目标对象跟踪方法和装置
CN110717417B (zh) * 2019-09-25 2022-06-07 福建天泉教育科技有限公司 深度图人体前景提取方法及计算机可读存储介质
CN110717417A (zh) * 2019-09-25 2020-01-21 福建天泉教育科技有限公司 深度图人体前景提取方法及计算机可读存储介质
CN111932576A (zh) * 2020-07-15 2020-11-13 中国科学院上海微系统与信息技术研究所 一种基于深度相机的物体边界测量方法和装置
CN111932576B (zh) * 2020-07-15 2023-10-31 中国科学院上海微系统与信息技术研究所 一种基于深度相机的物体边界测量方法和装置
CN113362387A (zh) * 2021-04-12 2021-09-07 深圳大学 一种动态环境移动机器人的环境地图构建方法

Also Published As

Publication number Publication date
KR20140109790A (ko) 2014-09-16
CN104036483B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN104036483A (zh) 图像处理系统和图像处理方法
CN105023278B (zh) 一种基于光流法的运动目标跟踪方法及系统
Menze et al. Object scene flow for autonomous vehicles
CN107886086B (zh) 一种基于图像视频的目标动物检测方法及装置
CN102609934B (zh) 一种基于深度图像的多目标分割和跟踪方法
CN102262725B (zh) 三维场景的分析
US20150243031A1 (en) Method and device for determining at least one object feature of an object comprised in an image
CN111539273A (zh) 一种交通视频背景建模方法及系统
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN103116896A (zh) 一种基于视觉显著性模型的自动检测跟踪方法
CN104036524A (zh) 一种改进sift算法的快速目标跟踪方法
Gupta et al. Real-time stereo matching using adaptive binary window
CN103093198B (zh) 一种人群密度监测方法及装置
CN103164858A (zh) 基于超像素和图模型的粘连人群分割与跟踪方法
CN111027432B (zh) 基于步态特征的视觉跟随机器人方法
CN103729860B (zh) 一种图像目标跟踪的方法和装置
CN107230219B (zh) 一种单目机器人上的目标人发现与跟随方法
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
CN104794737A (zh) 一种深度信息辅助粒子滤波跟踪方法
CN104268520A (zh) 一种基于深度运动轨迹的人体动作识别方法
Van den Bergh et al. Depth SEEDS: Recovering incomplete depth data using superpixels
CN106210633A (zh) 一种智慧金睛识别越线检测报警方法和装置
CN103413323A (zh) 基于部件级表观模型的物体跟踪方法
CN106934819A (zh) 一种提高图像中运动物体检测精度的方法
CN104268893A (zh) 一种用左右扫描和四个角旋转扫描对肺实质分割去噪的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210115