CN105590309B - 前景图像分割方法和装置 - Google Patents

前景图像分割方法和装置 Download PDF

Info

Publication number
CN105590309B
CN105590309B CN201410573559.3A CN201410573559A CN105590309B CN 105590309 B CN105590309 B CN 105590309B CN 201410573559 A CN201410573559 A CN 201410573559A CN 105590309 B CN105590309 B CN 105590309B
Authority
CN
China
Prior art keywords
pixel
information
foreground
depth
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410573559.3A
Other languages
English (en)
Other versions
CN105590309A (zh
Inventor
刘丽艳
赵颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201410573559.3A priority Critical patent/CN105590309B/zh
Priority to US14/918,680 priority patent/US9600898B2/en
Priority to JP2015207566A priority patent/JP2016085742A/ja
Publication of CN105590309A publication Critical patent/CN105590309A/zh
Application granted granted Critical
Publication of CN105590309B publication Critical patent/CN105590309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了用于从输入图像中分割出前景对象的方法、装置以及系统。该方法包括：获取输入图像及其深度信息；基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区域；获取输入图像的运动信息，基于该运动信息根据该粗略前景区域生成三色图；以及根据生成的三色图分割出前景图像。由此，基于深度信息以及运动信息生成三色图，从而能够根据该三色图更准确地将前景对象分离出来。

Description

前景图像分割方法和装置
技术领域
本发明涉及计算机视觉领域，更具体地，涉及从图像中分割前景图像的方法和装置。
背景技术
前景图像分割技术即我们通常所说的抠图技术，是指在图像或视频帧中将前景对象分割出来，并估计由该对象所覆盖的区域中的每个像素的不透明性，即α值(α蒙版)。
该技术在图像或视频编辑应用领域有广泛的应用，用户可以借此技术将前景分割出来，与另外一个背景无缝地集成在一起，例如在虚拟拍照中将前景，例如人与虚拟背景相结合达到“身临其境”的效果，在视频会议中将与会人员从原背景中分离出来与其他背景集成，等等。
在当前的抠图处理中，通常采用三色图。从图像合成的角度，可以将图像I(x,y)建模为前景图像F(x,y)与背景图像B(x,y)以其α(x,y)值的线性组合，即方程I＝αF+(1-α)B，其中α(x,y)∈[0,1]。为了求解此问题，通常将输入图像分割为三个区域：前景区域、背景区域以及未知区域，也就是我们常说的三色图。三色图的形成是后续分割处理的基础，形成更准确的三色图有助于更精确地将前景对象从图像或视频中分割出来。
在目前用于形成三色图的方法中，一种方法是通过用户交互的方式由用户指定图像中的三色图，比如在图像上画出一些线段以标明图像中的哪些部分是前景哪些部分是背景。此方法需要用户手动生成三色图，这对于用户而言是麻烦的，生成的三色图也不够准确。另一种方法通过引入深度信息来帮助自动生成三色图，虽然不再需要用户交互，但是在此情况下，背景中的与前景对象距离很近的对象仍有可能被包括在前景区域中。
而且，在获得三色图之后根据该三色图求解α值时，通常只利用图像的颜色信息进行求解，但是当图像中的前景对象和背景部分的颜色相近时，仅依靠颜色信息很难将二者很好地分离，尤其是在边界区域，难以获得准确的分割结果。
发明内容
基于上述问题而做出本发明，提供了能够从图像中准确地分割出前景图像的方法和装置。
根据本发明的一个方面，提供了前景图像分割方法，该方法可以包括：获取输入图像及其深度信息；基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区域；获取输入图像的运动信息，基于该运动信息根据该粗略前景区域生成三色图；以及根据生成的三色图分割出前景图像。
在一个可选的实施例中，基于输入图像的运动信息根据该粗略前景区域生成三色图可以包括：获得从该输入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的运动信息；基于每个像素的运动信息，根据该粗略前景区域生成三色图。其中，如果像素的运动信息小于预定阈值，可以确定该像素属于背景区域；如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，可以确定该像素属于未知区域；如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素都属于所述粗略前景区域，可以确定该像素属于前景区域。
在一个可选的实施例中，根据生成的三色图分割出前景图像可以包括：计算所述未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；基于像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及基于该确定结果获得前景图像。
在一个可选的实施例中，确定该像素是否属于前景区域可以包括：构造用于前景图像分割的α值的代价函数；对于所述未知区域中的每个像素，最小化该代价函数，利用该像素的颜色信息、深度梯度信息以及深度变化信息求解该像素的α值。其中，当像素的α值大于等于预定阈值时，可以确定该像素属于前景区域；当像素的α值小于该预定阈值时，可以确定该像素不属于前景区域。
在一个可选的实施例中，该前景图像分割方法还可以包括：对于所述未知区域的每个像素，在其n×n像素的邻域中计算该像素的颜色信息、深度梯度信息以及深度变化信息的相应归一化权重，并且可以利用该像素的颜色信息加权值、深度梯度信息加权值以及深度变化信息加权值求解该像素的α值。
在一个可选的实施例中，基于输入图像的深度信息对输入图像进行粗略分割以获得粗略前景区域可以包括：基于输入图像的深度信息，根据Ω形状特征从输入图像中检测人像的头肩部分，作为粗略前景区域；以及将输入图像中的该头肩部分之外的每个像素的深度值与已检测出的头肩部分的深度值比较从以确定该像素是否属于该粗略前景区域。其中，当像素的深度值与头肩部分的深度值之差小于等于预定阈值时，可以确定该像素属于该粗略前景区域；当该像素的深度值与头肩部分的深度值之差大于该预定阈值时，可以确定该像素不属于该粗略前景区域。
根据本发明的另一方面，提供了前景图像分割装置，该装置可以包括：获取部件，获取输入图像及其深度信息；粗略分割部件，基于获取部件所获取的深度信息，对输入图像进行粗略分割以获得粗略前景区域；三色图生成部件，基于输入图像的运动信息，根据该粗略前景区域生成三色图；以及前景图像分割部件，根据生成的三色图分割出前景图像。
在一个可选的实施例中，该三色图生成部件可以包括：第一计算部件，获得从该输入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的运动信息；生成部件，基于第一计算部件计算的每个像素的运动信息，根据该粗略前景区域生成三色图。其中，如果像素的运动信息小于预定阈值，该生成部件可以确定该像素属于背景区域；如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，该生成部件可以确定该像素属于未知区域；如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素都属于所述粗略前景区域，该生成部件可以确定该像素属于前景区域。
在一个可选的实施例中，该前景图像分割部件可以包括：第二计算部件，计算所述未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；确定部件，基于所述第二计算部件计算的像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及获得部件，基于该确定部件的确定结果获得前景图像。
根据本发明，基于输入图像的深度信息及运动信息自动生成三色图，无需人工交互，并且生成的三色图更加精准，为基于该三色图分割前景图像打下了良好基础，使得分割更加准确。而且，在分割中，除了颜色信息还考虑了空域上的深度梯度信息及时域上的深度变化信息，使得即使前景对象与背景颜色相近时，也能够准确地分割出前景对象。
附图说明
图1示出了根据本发明的一个实施例的前景图像分割方法的流程图。
图2示出了不同角度下的人的头肩模型。
图3示出了示例的场景以及相应的粗略前景分割结果。
图4示出了示例的输入图像以及相应的光流信息。
图5示出了在图4的示例情况下基于运动信息根据粗略前景分割结果生成三色图的示意图。
图6示出了根据本公开的一个实施例的从三色图分割出前景图像的方法的流程。
图7示出了作为前景对象的人在连续多帧图像中的深度变化信息的例子。
图8示出了对人像所计算的深度梯度信息的例子。
图9示出了根据本发明的前景图像分割方法的一种可能的应用场景。
图10示出了根据本发明的一个实施例的前景图像分割装置的功能框图。
图11是示出根据本申请的一个实施例的实现前景图像分割的系统的硬件配置的示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
图1示出根据本发明的一个实施例的前景图像分割方法的流程图。
如图1所示，该分割方法100可以包括：步骤S110，获取输入图像及其深度信息；步骤S120，基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区域；步骤S130，获取输入图像的运动信息，基于该运动信息根据该粗略前景区域生成三色图；以及步骤S140，根据生成的三色图分割出前景图像。
在步骤S110中获取的输入图像可以是包括需要进行抠图的对象的彩色图像及其相应的深度图像。现有技术中存在能够同时捕捉场景的颜色以及深度信息的摄像装置，例如PrimeSense摄像头、Kinect或其他深度摄像头。由此，可以同时获得输入图像的颜色信息以及深度信息。当然，本领域中已知的以及将来可能出现的任何其他获得图像的颜色信息以及深度信息的方法都可以应用于本发明，本发明对其获得方式没有特别限制，只要能够获得输入图像的颜色及深度信息即可。
在步骤S120中，基于该输入图像的深度信息对输入图像进行粗略分割，以获得粗略前景区域。在下文中，将以“人”作为前景对象的例子进行有关前景对象分割的描述，然而本发明的前景对象不限于人。
图2示出了不同角度下的人的头肩模型。如图2所示，在不同的视角下，人的头肩部位都会呈现出独特的类似omega(Ω)形状的特征。因此可以采用此特征进行人的检测。可以利用Viola-Jones分类器与基于HOG特征的AdaBoost分类器(具体请参见Min Li等人的“RAPID AND ROBUST HUMAN DETECTION AND TRACKING BASED ON OMEGA-SHAPEFEATURES”，National Laboratory of Pattern Recognition,Institute of Automation,ChineseAcademy of Sciences，通过引用将其内容合并于此)，在深度图像中对Ω形状的头肩部位进行检测。
基于该头肩检测结果，可以假定某些像素属于前景或背景，据此生成粗略的前景区域分割结果。该过程可以包括对于输入图像中的每个像素，对其深度信息以及空域上与该头肩区域的距离信息进行阈值判断，以决定其是否属于“人”的区域。例如，可以将检测到的头肩区域假定为前景区域，对该区域之外的像素，如果其深度值与该头肩区域的深度平均值保持连续(例如该像素的深度值与该深度平均值的差小于等于预定阈值)，则可判定该像素属于前景区域；如果其深度值与该头肩区域的深度平均值存在明显差异(例如该像素的深度值与该深度平均值的差大于该预定阈值)，则判定该像素不属于该前景区域。据此，分割出粗略的前景区域。
需要指出的是，虽然上文中以“人”作为前景对象描述了基于深度信息检测粗略的前景区域的方法，但是本发明中的前景对象不限于人。对于任何其他对象，比如动物或者物体，如果预先获得或者存储了该对象的相应形状特征或者任何其他可供检测的特征，则也可以利用这些特征基于深度信息进行检测，在此不再赘述。
在通常情况下，通过步骤S120可以将前景与背景分离开来，但是，当前景与场景中的某些对象距离非常近时，该方法得到的结果并不能令人满意。例如，图3示出了示例的场景以及相应的粗略前景分割结果，如图3的左图所示，人与场景中的椅子距离非常近，二者的深度值也是连续的，此时，仅依靠单帧图像上的深度信息，很难将前景从场景中精准地分割出来，如图3的右图中的粗略分割结果所示，其中灰色区域表示粗略前景区域。
为此，在步骤S130中，获取输入图像的运动信息，以便基于该运动信息生成三色图。具体地，可以获得从该输入图像向前连续m帧的输入图像(当前帧以及在当前帧之前连续的m-1帧)，逐帧地计算每个像素的运动信息。其中，可以选择在输入图像的彩色图像或者深度图像的任一者上进行该计算。
在一个具体示例中，可以计算图像的光流信息作为运动信息。光流是关于视域中的物体运动检测中的概念，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法实际是通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向的方法。通常，假设位于(x,y,t)处的像素的亮度是I(x,y,t)，基于同一像素在相邻的两个图像帧之间的亮度近似相同的假设，根据泰勒级数经过推导可以得出以下公式(1)：
Ix·Vx+Iy·Vy+It＝0 (1)
其中，Vx和Vy是x和y方向上的速率，也就是I(x,y,t)的光流。通过现有的诸如相位相关、块相关、梯度约束等等的方法，能够求解得到该光流信息。由于具体的推导以及求解过程不是本发明的重点，在此不再赘述。
已知当某个像素在连续的图像帧中没有任何移动时，其速率即光流信息应该是0。因此，对于背景中的像素，其通常是静止的，背景像素中的光流信息通常是接近0或者比较小的值(考虑到噪声等的影响)。而对于前景中的对象，在连续拍摄的多帧图像中，其通常可能会有轻微的移动，通过上述的光流法可以获得前景像素的光流信息。
例如，图4示出了连续3帧的示例输入图像以及相应的光流信息。在该图中，虽然人与场景中的椅子距离非常近，通过粗略的前景分割很难将二者分离开，但是从所获得光流信息的图中可以看出，在人像的区域，尤其是人像的边缘，存在明显的光流信息，而在椅子处的光流信息很微弱。由此，可以基于光流信息进一步将不属于前景中的椅子从粗略前景区域中去除。
当然，以上所述的光流信息仅仅是运动信息的一个具体例子，本发明可以应用任何能够反映运动情况的信息作为运动信息，以作为三色图生成的基础。
具体地，根据步骤S120中的粗略前景分割结果，基于输入图像中的每个像素的运动信息生成三色图可以包括：
如果像素的运动信息小于预定阈值，确定该像素属于背景区域；
如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，确定该像素属于未知区域；
如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素都属于所述粗略前景区域，确定该像素属于前景区域。
该运动信息的预定阈值可以由本领域技术人员根据经验或者具体应用需要而设置。
图5示出了在图4的示例情况下基于运动信息根据粗略前景分割结果生成三色图的示意图，其中，白色区域表示前景区域，黑色区域表示背景区域，灰色区域表示未知区域。
由此，通过步骤S130，可以进一步将粗略前景区域中不属于前景的对象去除，例如上例中的椅子，从而得到更精准的三色图，为后面的抠图打下良好的基础。
在步骤S130中生成三色图之后，在步骤S140中，根据所生成的三色图分割出前景图像。
如之前所述，图像中的任意像素i可以表示为Ii＝αiFi+(1-αi)Bi，因此，对于以上所生成的三色图中的未知区域中的像素，只要求出像素的α值，就可以确定该像素是否属于前景区域。
为了求解未知区域中的像素的α值，通常可以通过构造代价函数来求解。将上述的抠图问题Ii＝αiFi+(1-αi)Bi重写为以下公式(2)：
αi＝aTIi+b,i∈w, (2)
其中a＝1/(F-B)，并且b＝-B/(F-B)。
将此问题构造为一个优化问题，可以得到如下的代价函数(3)：
其中控制平滑程度，例如可以控制迭代间距或者次数等等，Ii是像素i在RGB颜色空间的向量，即此时Ii＝[Ri,Gi,Bi]。
针对上述的优化问题进行求解，最小化该代价函数(3)，利用像素i的颜色信息Ii＝[Ri,Gi,Bi]，可以求解出α值。根据解出的α值，就可以判断该像素i是否属于前景区域。
例如，可以设置α值的预定阈值T，当求解的α值大于等于该阈值T时，就可以取α等于1，即表明该像素属于前景区域；当求解的α值小于该阈值T时，就可以取α等于0，即表明该像素不属于前景区域，而是属于背景区域。该预定阈值T可以由本领域技术人员根据经验或者具体应用需要而设置。
由此，根据本实施例的前景图像分割方法100，能够基于深度信息对输入图像进行粗略分割，基于输入图像的运动信息从该粗略分割结果生成比较准确的三色图，以便从该三色图准确分割出前景图像。
所分割出的前景图像可以通过输出到显示装置用于显示，或者输出到处理装置用于对该前景图像进行进一步的处理，比如合成处理等等。
在以上实施例中，利用像素的颜色信息求解不透明度α。然而，在某些情况下，当前景对象和背景颜色相近时，仅靠颜色信息很难将前景与背景很好地分离，尤其是在边界区域。
为此，在本发明的另一实施例中，提出了基于颜色信息以及深度信息从三色图分割出前景图像的方法，将空域和时域上的深度信息引入到上述的代价函数(3)中来求解α值。
图6示出了根据此实施例的从三色图分割出前景图像的方法的流程。如图6所示，该分割方法600包括：步骤S610，计算未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；步骤S620，基于像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及步骤S630，基于该确定结果获得前景图像。
在步骤610中，除了获得未知区域中的像素的上述RGB颜色信息之外，还计算该像素的深度变化信息以及深度梯度信息。
图7示出了作为前景对象的人在连续多帧图像中的深度变化的例子。如图7所示，大部分情况下，前景对象的边缘处深度的变化会较之对象内部更为剧烈。因此，对于未知区域中的像素i，在时域上计算其在连续m帧的输入图像上的深度值的变化，作为深度变化信息DCi，该深度变化信息DCi可以表示为如下公式(4)：
其中，表示像素i在第k帧图像上的深度值。由此，利用该深度变化信息，有助于更好地将前景与背景进行分离。此时，可以将上述代价函数(3)中的Ii表示为Ii＝[Ri,Gi,Bi,DCi]，以便基于像素i的颜色信息以及深度变化信息来求解α值。
例如，在如图5所示的生成的三色图中，在人的头肩部位的边缘区域被确定为未知区域，而如图7中所示，在连续几帧输入的深度图像中，人的头肩部位(如图7中的矩形框所示)的像素的深度值比该人像内部(例如身体部分)的像素的深度值变化更明显，因此，可以利用该区域的像素的深度变化信息来帮助判定该像素是否属于前景对象即人像。
另外，还可以在空域上计算像素的深度梯度信息，例如可以对输入的深度图像运用sobel、canny或其他边缘检测算子，计算该未知区域中的像素i的深度梯度信息DGi。图8示出了对人像所计算的深度梯度信息的一个例子。
此时，可以将上述代价函数(3)中的Ii表示为Ii＝[Ri,Gi,Bi,DGi]，以便基于像素i的颜色信息以及深度梯度信息来求解α值。或者，可以将上述代价函数(3)中的Ii表示为Ii＝[Ri,Gi,Bi,DCi,DGi]，以便基于像素i的颜色信息、深度变化信息以及深度梯度信息来求解α值。
因此，根据上述方法600，除了颜色信息之外，更从空域和时域上分别计算了像素的深度梯度信息和深度变化信息，并将其引入到代价函数中来求解α值，以便据此判断该像素是否属于前景区域，从而分割出前景图像。
更进一步地，考虑到在不同情况下，颜色信息与深度具有不同的区分度，有时颜色信息具有较强的区分能力，而有时深度信息则能更好地将前景与背景区别开来。因此，在本发明的另一实施例中，可以为如上所述的每个分量(RGB颜色信息、深度梯度信息、深度变化信息)自适应地计算相应的权值。
例如，对于如上所生成的三色图的未知区域中的每个像素，可以通过以下公式(5)在其n×n(例如3×3)个像素的邻域中为每个分量计算权值：
其中wli是像素i的l分量(RGB颜色信息、深度梯度信息、深度变化信息)的权值，l∈(R,G,B,DC,DG)，lj表示在n×n个像素的邻域中的每个像素j的l分量。
然后，可以根据以下公式(6)将颜色信息、深度梯度信息、深度变化信息的权值进行归一化：
其中代表归一化后的权值。
由此，可以将上述代价函数(3)中的像素Ii表示为：Ii＝[wrniRi,wgniGi,wbniBi,wdgniDGi,wdcniDCi]，从而最小化该代价函数求解α值，据此可以将前景精准地从图像中分割出来。
在本发明的上述实施例的前景图像分割方法中，根据深度信息及运动信息自动生成三色图，无需人工交互，并且生成的三色图更加精准，为基于该三色图分割前景图像打下了良好基础，使得分割更加准确。而且，在分割中，除了颜色信息还考虑了空域上的深度梯度信息及时域上的深度变化信息，使得即使前景对象与背景颜色相近时，也能够准确地分割出前景对象。
作为例子，图9示出了根据本发明的前景图像分割方法的一种可能的应用场景。应用系统900可以包括深度摄像头901、计算机902、投影仪903以及投影屏幕904。摄像头901可以是上述的能够同时捕获颜色及深度信息的摄像头。计算机902可以接收由该摄像头901捕捉的场景的图像或视频帧以及相应的颜色和深度信息，并可以通过其处理器分析由摄像头901捕获的信息，执行上述的前景图像分割方法，将前景对象从场景中分离出来。分离出的前景对象可以与其他背景相结合，用于不同的应用场景。投影仪903以及投影屏幕904可以显示结合后的图像或场景。当然投影仪903以及投影屏幕904仅仅是显示设备的示例，其可被其他显示设备所替换，例如电视屏幕等。需要声明的是，此处描述的系统900仅仅作为一个例子示例说明，本发明并不限于此，可以取决于具体应用需要对系统900的组成做出变化或调整。
根据本发明的另一方面，提供了一种前景图像分割装置。图10示出了根据本发明的一个实施例的前景图像分割装置的功能框图。
如图10所示，该前景图像分割装置1000可以包括：获取部件1010，获取输入图像及其深度信息；粗略分割部件1020，基于获取部件所获取的深度信息，对输入图像进行粗略分割以获得粗略前景区域；三色图生成部件1030，基于输入图像的运动信息，根据该粗略前景区域生成三色图；以及前景图像分割部件1040，根据生成的三色图分割出前景图像。
在一个可选的实施例中，该三色图生成部件可以包括以下部件(未示出)：第一计算部件，获得从该输入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的运动信息；生成部件，基于第一计算部件计算的每个像素的运动信息，根据该粗略前景区域生成三色图。
其中，如果像素的运动信息小于预定阈值，该生成部件可以确定该像素属于背景区域；如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，该生成部件可以确定该像素属于未知区域；如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素都属于所述粗略前景区域，该生成部件可以确定该像素属于前景区域。
在另一个可选的实施例中，该前景图像分割部件可以包括以下部件(未示出)：第二计算部件，计算所述未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；确定部件，基于所述第二计算部件计算的像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及获得部件，基于该确定部件的确定结果获得前景图像。
在另一个可选的实施例中，该确定部件可以构造用于前景图像分割的α值的代价函数，对于所述未知区域中的每个像素，最小化该代价函数，利用该像素的颜色信息、深度梯度信息以及深度变化信息求解该像素的α值。其中，当像素的α值大于等于预定阈值时，该确定部件可以确定该像素属于前景区域，当像素的α值小于该预定阈值时，该确定部件可以确定该像素不属于前景区域。
在另一个可选的实施例中，对于所述未知区域的每个像素，该确定部件还可以在其n×n像素的邻域中计算该像素的颜色信息、深度梯度信息以及深度变化信息的相应归一化权重，并且利用该像素的颜色信息加权值、深度梯度信息加权值以及深度变化信息加权值求解该像素的α值。
关于图10所示的前景图像分割装置1000的各部件的操作可以参考结合图1所示的流程图进行的描述，这里不再赘述。根据该前景图像分割装置，基于深度信息对输入图像进行粗略分割，基于输入图像的运动信息从该粗略分割结果生成比较准确的三色图，以便从该三色图准确分割出前景图像。由此，根据深度信息及运动信息自动生成三色图，无需人工交互，并且生成的三色图更加精准，为基于该三色图分割前景图像打下了良好基础，使得分割更加准确。而且，在分割前景图像时，该前景图像分割装置除了颜色信息还考虑了空域上的深度梯度信息及时域上的深度变化信息，使得即使前景对象与背景颜色相近时，也能够准确地分割出前景对象。
接下来，参考图11描述根据本发明的一个实施例的实现从目标场景中分割出前景对象的前景图像分割系统的硬件配置。如图11所示，系统1100包括：输入设备1110，用于从外部输入将要处理的图像、例如上述的彩色图像和灰度图像、以及要处理的信息、例如深度信息，该输入设备1110可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等；处理设备1120，用于实施上述的按照本发明实施例的前景图像分割方法，或者实施为上述的按照本发明实施例的前景图像分割装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络(未示出)，根据处理过程的需要而从网络获取数据例如输入图像等等，另外，该处理设备1120还可以对分割出的前景对象进行需要的处理，比如合成处理等等；输出设备1130，用于向外部输出上述前景图像分割的结果，包括分割的前景图像以及前景图像的合成结果等等，该输出设备1130可以包括例如显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1140，用于以易失或非易失的方式存储上述处理过程所涉及的图像、数据、所获得的结果、命令以及中间数据等等，该存储设备1140可以包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
当然，为了简化，图11中仅示出了该系统中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，系统1100还可以包括任何其他适当的组件。
以上已经参考附图详细描述了根据本发明的实施例的前景对象分割方法、装置和系统。尽管在以上以人作为前景对象的例子进行描述，但是本领域技术人员很清楚，本发明可应用的对象不限于人，可以是任何其他动物、物体等等。
本公开中涉及的装置、设备、系统的方框图仅作为例示性的例子，并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子，并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (10)

1.一种前景图像分割方法，包括：
获取输入图像及其深度信息；
基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区域；
获取输入图像的运动信息，基于该运动信息将该粗略前景区域划分为前景区域、背景区域以及未知区域，来生成三色图；以及
根据生成的三色图分割出前景图像。
2.如权利要求1所述的方法，其中基于输入图像的运动信息将该粗略前景区域划分为前景区域、背景区域以及未知区域包括：
获得从该输入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的运动信息；
基于每个像素的运动信息，根据该粗略前景区域生成三色图，
其中，
如果像素的运动信息小于预定阈值，确定该像素属于背景区域，
如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，确定该像素属于未知区域，
如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素都属于所述粗略前景区域，确定该像素属于前景区域。
3.如权利要求2所述的方法，其中根据生成的三色图分割出前景图像包括：
计算所述未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；
基于像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及
基于该确定结果获得前景图像。
4.如权利要求3所述的方法，其中确定该像素是否属于前景区域包括：
构造用于前景图像分割的α值的代价函数；
对于所述未知区域中的每个像素，最小化该代价函数，利用该像素的颜色信息、深度梯度信息以及深度变化信息求解该像素的α值，
其中，当像素的α值大于等于预定阈值时，确定该像素属于前景区域，当像素的α值小于该预定阈值时，确定该像素不属于前景区域。
5.如权利要求4所述的方法，还包括：对于所述未知区域的每个像素，在其n×n像素的邻域中计算该像素的颜色信息、深度梯度信息以及深度变化信息的相应归一化权重，
其中利用该像素的颜色信息、深度梯度信息以及深度变化信息求解该像素的α值包括利用该像素的颜色信息加权值、深度梯度信息加权值以及深度变化信息加权值求解该像素的α值。
6.如权利要求1所述的方法，其中基于输入图像的深度信息对输入图像进行粗略分割以获得粗略前景区域包括：
基于输入图像的深度信息，根据Ω形状特征从输入图像中检测人像的头肩部分，作为粗略前景区域；以及
将输入图像中的该头肩部分之外的每个像素的深度值与已检测出的头肩部分的深度值比较从以确定该像素是否属于该粗略前景区域，
其中，当像素的深度值与头肩部分的深度值之差小于等于预定阈值时，确定该像素属于该粗略前景区域，当该像素的深度值与头肩部分的深度值之差大于该预定阈值时，确定该像素不属于该粗略前景区域。
7.如权利要求1所述的方法，其中所述运动信息是光流信息。
8.一种前景图像分割装置，包括：
获取部件，获取输入图像及其深度信息；
粗略分割部件，基于获取部件所获取的深度信息，对输入图像进行粗略分割以获得粗略前景区域；
三色图生成部件，基于输入图像的运动信息，将该粗略前景区域划分为前景区域、背景区域以及未知区域，来生成三色图；以及
前景图像分割部件，根据生成的三色图分割出前景图像。
9.如权利要求8所述的前景图像分割装置，其中该三色图生成部件包括：
第一计算部件，获得从该输入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的运动信息；
生成部件，基于第一计算部件计算的每个像素的运动信息，根据该粗略前景区域生成三色图，
其中，
如果像素的运动信息小于预定阈值，该生成部件确定该像素属于背景区域，
如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，该生成部件确定该像素属于未知区域，
如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素都属于所述粗略前景区域，该生成部件确定该像素属于前景区域。
10.如权利要求9所述的前景图像分割装置，其中该前景图像分割部件包括：
第二计算部件，计算所述未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；
确定部件，基于所述第二计算部件计算的像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及
获得部件，基于该确定部件的确定结果获得前景图像。
CN201410573559.3A 2014-10-23 2014-10-23 前景图像分割方法和装置 Active CN105590309B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410573559.3A CN105590309B (zh) 2014-10-23 2014-10-23 前景图像分割方法和装置
US14/918,680 US9600898B2 (en) 2014-10-23 2015-10-21 Method and apparatus for separating foreground image, and computer-readable recording medium
JP2015207566A JP2016085742A (ja) 2014-10-23 2015-10-21 前景画像分割方法及び前景画像分割装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410573559.3A CN105590309B (zh) 2014-10-23 2014-10-23 前景图像分割方法和装置

Publications (2)

Publication Number Publication Date
CN105590309A CN105590309A (zh) 2016-05-18
CN105590309B true CN105590309B (zh) 2018-06-15

Family

ID=55792375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410573559.3A Active CN105590309B (zh) 2014-10-23 2014-10-23 前景图像分割方法和装置

Country Status (3)

Country Link
US (1) US9600898B2 (zh)
JP (1) JP2016085742A (zh)
CN (1) CN105590309B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423548B2 (en) 2017-01-06 2022-08-23 Board Of Regents, The University Of Texas System Segmenting generic foreground objects in images and videos
KR20180084506A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 영상 처리를 위한 디스플레이 장치 및 방법
CN106952276A (zh) * 2017-03-20 2017-07-14 成都通甲优博科技有限责任公司 一种图像抠图方法及装置
CN107145861A (zh) * 2017-05-05 2017-09-08 中国科学院上海高等研究院 一种遗弃物自动检测方法
CN108961258B (zh) * 2017-05-18 2021-02-23 北京金山云网络技术有限公司 一种前景图像获得方法及装置
CN107582001B (zh) * 2017-10-20 2020-08-11 珠海格力电器股份有限公司 洗碗机及其控制方法、装置和系统
CN109903291B (zh) 2017-12-11 2021-06-01 腾讯科技（深圳）有限公司 图像处理方法及相关装置
CN108537843A (zh) * 2018-03-12 2018-09-14 北京华凯汇信息科技有限公司 根据深度图像得到景深距离的方法及装置
CN108520259B (zh) * 2018-04-13 2021-05-25 国光电器股份有限公司 一种前景目标的提取方法、装置、设备及存储介质
CN108537815B (zh) * 2018-04-17 2020-10-30 国网浙江省电力有限公司 一种视频图像前景分割方法和装置
CN110493488B (zh) 2018-05-15 2021-11-26 株式会社理光 视频稳像方法、视频稳像装置和计算机可读存储介质
CN110335277B (zh) * 2019-05-07 2024-09-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
US11527005B2 (en) * 2019-07-22 2022-12-13 Samsung Electronics Co., Ltd. Video depth estimation based on temporal attention
CN111462164A (zh) * 2020-03-12 2020-07-28 深圳奥比中光科技有限公司 一种前景分割方法以及基于图像合成的数据增强方法
CN113379768A (zh) * 2021-06-28 2021-09-10 展讯通信(天津)有限公司 一种图像处理方法、装置、存储介质和计算机设备
CN113947549B (zh) * 2021-10-22 2022-10-25 深圳国邦信息技术有限公司 自拍视频修饰道具边缘处理方法及相关产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098475A (zh) * 2007-07-10 2008-01-02 浙江大学 一种数字视频处理中交互式时空一致的视频抠图方法
CN102737370A (zh) * 2011-04-02 2012-10-17 株式会社理光 检测图像前景的方法及设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8818028B2 (en) * 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
US9123115B2 (en) * 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow
CN103020623B (zh) 2011-09-23 2016-04-06 株式会社理光 交通标志检测方法和交通标志检测设备
CN103029621B (zh) 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
EP2706503A3 (en) * 2012-09-11 2017-08-30 Thomson Licensing Method and apparatus for bilayer image segmentation
CN104424649B (zh) 2013-08-21 2017-09-26 株式会社理光 检测运动物体的方法和系统
CN104574433A (zh) 2013-10-14 2015-04-29 株式会社理光 对象跟踪方法和设备、跟踪特征选择方法
CN104881881B (zh) 2014-02-27 2018-04-10 株式会社理光 运动对象表示方法及其装置
US9536321B2 (en) * 2014-03-21 2017-01-03 Intel Corporation Apparatus and method for foreground object segmentation
AU2015203771B2 (en) * 2014-07-08 2020-11-05 Iomniscient Pty Ltd A method and apparatus for surveillance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098475A (zh) * 2007-07-10 2008-01-02 浙江大学 一种数字视频处理中交互式时空一致的视频抠图方法
CN102737370A (zh) * 2011-04-02 2012-10-17 株式会社理光 检测图像前景的方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Natural Video Matting with Depth;Jonathan Finger et al;《Pacific Conference on Computer Graphics & Applications》;20071231;第496-472页 *
结合Kinect深度图的快速视频抠图算法;何贝 等;《清华大学学报（自然科学版）》;20121231;第52卷(第4期);第561-565、570页 *

Also Published As

Publication number Publication date
US20160117832A1 (en) 2016-04-28
JP2016085742A (ja) 2016-05-19
CN105590309A (zh) 2016-05-18
US9600898B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
CN105590309B (zh) 前景图像分割方法和装置
KR102103252B1 (ko) 이미지 융합 방법 및 장치, 및 단말 디바이스
WO2019085792A1 (en) Image processing method and device, readable storage medium and electronic device
US9185388B2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
CA2704479C (en) System and method for depth map extraction using region-based filtering
US8831280B2 (en) 3D motion recognition method and apparatus
US8508605B2 (en) Method and apparatus for image stabilization
US8553972B2 (en) Apparatus, method and computer-readable medium generating depth map
US9042662B2 (en) Method and system for segmenting an image
Eng et al. Gaze correction for 3D tele-immersive communication system
JP2016095849A (ja) 前景画像分割方法及び装置、プログラム、並びに記録媒体
JP5015126B2 (ja) 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
KR20120130788A (ko) 멀티-카메라 교정을 위한 방법 및 장치
KR102362345B1 (ko) 이미지 처리 방법 및 장치
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
Lin et al. Depth map enhancement on rgb-d video captured by kinect v2
CN113805824B (zh) 电子装置以及在显示设备上显示图像的方法
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
WO2016181672A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP7012457B2 (ja) 画像処理装置、画像処理方法
KR101578030B1 (ko) 이벤트 발생 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant