CN106558053B - 对象分割方法和对象分割装置 - Google Patents

对象分割方法和对象分割装置 Download PDF

Info

Publication number
CN106558053B
CN106558053B CN201510622828.5A CN201510622828A CN106558053B CN 106558053 B CN106558053 B CN 106558053B CN 201510622828 A CN201510622828 A CN 201510622828A CN 106558053 B CN106558053 B CN 106558053B
Authority
CN
China
Prior art keywords
pixel
subregion
cluster
standard
predetermined threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510622828.5A
Other languages
English (en)
Other versions
CN106558053A (zh
Inventor
诸加丹
王鑫
范圣印
王千
庞勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201510622828.5A priority Critical patent/CN106558053B/zh
Priority to US15/267,329 priority patent/US10026012B2/en
Priority to JP2016184285A priority patent/JP6245330B2/ja
Publication of CN106558053A publication Critical patent/CN106558053A/zh
Application granted granted Critical
Publication of CN106558053B publication Critical patent/CN106558053B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种对象分割方法和对象分割装置，所述对象分割方法包括：获取包含多个对象的深度图像；获取包含所述多个对象的二维图像；利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域；对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果；以及输出所述对象分割结果。

Description

对象分割方法和对象分割装置
技术领域
本发明涉及图像处理的领域，更具体地，本发明涉及一种对象分割方法和对象分割装置。
背景技术
在图像处理领域中，精确的对象检测仍然是热门和具有挑战的课题。例如，在对象互相遮挡的拥挤场景中，如何从图像中准确地分割出对象成为难题。为此，存在一种基于立体(3D)视觉的技术，其依靠稠密的和无错误的深度图来对对象进行分割。然而，在实践中，通常获得的深度图中是有部分区域的深度无效的。对于这种深度图，由于无效深度破坏了对象的空间连续性，单纯基于立体视觉的技术会导致过分割的产生，即，将一个对象错误地分割为多个对象，从而严重降低了对象分割的精确度。
发明内容
有鉴于上述情况，本发明提供了一种对象分割方法和对象分割装置，其能够对图像中的对象进行准确地分割，大大降低了过分割和分割不足的存在，提高了图像处理的准确性。
根据本发明一实施例，提供了一种对象分割方法，包括：获取包含多个对象的深度图像；获取包含所述多个对象的二维图像；利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域；对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果；以及输出所述对象分割结果。
根据本发明另一实施例，提供了一种对象分割装置，包括：第一获取单元，获取包含多个对象的深度图像；第二获取单元，获取包含所述多个对象的二维图像；像素聚类单元，利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域；子区域聚类单元，对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果；以及输出单元，输出所述对象分割结果。
根据本发明另一实施例，提供了一种对象分割装置，包括：处理器；存储器；和存储在处理器中的计算机指令，所述计算机程序指令在被计算机运行时执行以下步骤：获取包含多个对象的深度图像；获取包含所述多个对象的二维图像；利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域；对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果；以及输出所述对象分割结果。
根据本发明另一实施例，提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：获取包含多个对象的深度图像；获取包含所述多个对象的二维图像；利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域；对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果；以及输出所述对象分割结果。
在根据本发明实施例的对象分割方法和对象分割装置中，通过利用深度图像中每个像素的深度值、以及二维图像中每个像素的像素值，进行像素级聚类和区域级聚类，即便对于由于深度缺失或前景提取中的空洞而产生对象不连续性的情况，也能够准确地进行对象分割，从而大大降低了过分割和分割不足的存在，提高了对象分割的精确度。
附图说明
图1是图示根据本发明实施例的对象分割方法的主要步骤的流程图；
图2A和图2B是图示根据本发明实施例的对象分割方法中的第一预定阈值的确定方法的示意图；
图3是图示根据本发明实施例的对象分割装置的主要配置的框图；以及
图4是图示根据本发明另一实施例的对象分割装置的主要配置的框图。
具体实施方式
以下将参考附图详细描述本发明实施例。
首先，参照图1描述根据本发明实施例的对象分割方法。
如图1所示，首先，在步骤S110，获取包含多个对象的深度图像。例如，可通过双目相机或TOF(Time of Flight，飞行时间)相机获取所述深度图像。
另一方面，在步骤S120，获取包含所述多个对象的二维图像。所述二维图像与所述深度图像相对应，并且具有光照强度信息。例如，可通过普通的相机获取所述二维图像。
需要指出的是，虽然在图1所示的流程图中步骤S120示出为在步骤S110之后，然而，实际上，两者可以以除此以外的各种顺序(例如，并行地或颠倒地)发生。例如，可通过普通的相机和双目相机同时对包含多个对象的场景进行成像，从而分别获取所述深度图像和所述二维图像。
由此，在获取了所述深度图像和所述二维图像之后，所述对象分割方法进行到步骤S130。在步骤S130，利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域。
具体地，一方面，对于深度图像中相邻并具有有效深度值的每两个像素，可通过第一标准判断是否将所述两个像素聚类在一起。另一方面，对于在所述深度图像中相邻的具有有效深度值的第一像素与具有无效深度值的第二像素，可通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述第一像素与所述第二像素聚类在一起。这里，术语“有效深度值”的含义为在所获取的深度图像中此像素具有深度值。术语“无效深度值”的含义为在所获取的深度图像中由于诸如纹理度低等的各种原因而导致此像素的深度值缺失。所述第一标准与所述第二标准不同。例如，所述第一标准可以是基于深度值的标准。所述第二标准可以是基于颜色空间中的像素值的标准。
更具体地，例如，对于具有有效深度值的两个相邻像素，可以首先计算所述两个像素投影到鸟瞰图上的投影点之间的欧氏距离，如下面的表达式(1)所示：
d1(p,q)＝||Cp-Cq||, (1)
其中，d1(p,q)表示点p和点p之间的欧氏距离，Cp和Cq分别是像素p和q的中心，示例性地，Cp和Cq可以分别表示像素p和q投影到鸟瞰图上的投影点的中心。
接下来，可以判断所述欧氏距离是否小于第一预定阈值。所述第一预定阈值可以由本领域技术人员根据需要适当地设置，在此不作具体限定。示例性地，所述第一预定阈值可以为基于生物特征信息的阈值。例如，在要分割的对象为人类的情况下，所述第一预定阈值可以是基于人类统计学生物特征信息的阈值，例如，头部长度、上半身长度、头部宽度、肩宽等等。
图2A和图2B示例性地示出了第一预定阈值的确定。在图2A中，通过一组水平线a～j对人的高度进行了适当划分，并由此确定了例如头部长度|af|、上半身长度|ah|、全身长度|aj|等的几个值。在图2B中，通过一组垂直线k～p对人的宽度进行了适当划分，并由此确定了例如头宽|mn|、肩宽|lo|等的几个值。在像素级聚类时，可以根据所需的设计精度而适当地选择阈值。示例性地，可从如下所示的表达式组(2)中选择第一预定阈值。
其中，Height为像素高度，所述像素高度是由像素深度值和相机姿态计算得到的，所述相机姿态包括相机的高度和俯仰角，φ为常量，示例性地，φ≈1.618。
示例性地，在像素级聚类时，选择相对较小的第一预定阈值。例如，|ac|＝|Height/φ7。
需要指出的是，上面以分割对象为人类的情况为例描述了第一预定阈值的确定。然而，本发明实施例的对象分割方法不限于此，而是可以应用于其他各种对象的分割。
此外，需要指出的是，上面以基于生物特征信息的情况为例描述了第一预定阈值的确定。然而，本发明实施例的对象分割方法不限于此，而是可以根据需要设置其他各种适当的阈值，在此不再详述。
当判断所述欧氏距离不小于所述第一预定阈值时，表示这两个像素不属于同一个对象，并且不对这两个像素进行任何处理。另一方面，当判断所述欧氏距离小于所述第一预定阈值时，表示这两个像素属于同一个对象，并因此将所述两个像素聚类在一起。
需要指出的是，上面以欧氏距离为例描述了第一标准及其计算方式。然而，本领域技术人员能够理解，本发明实施例的对象分割方法不限于此，而是可以采用基于其他各种距离空间的第一标准，在此不再详述。
以上，描述了彼此相邻且具有有效深度值的两个像素之间的处理方式。下面，将描述彼此相邻且其中之一为具有无效深度值的像素的情况。
具体地，对于在所述深度图像中相邻的具有有效深度值的像素(为描述方便，以下称为第一像素)与具有无效深度值的像素(为描述方便，以下称为第二像素)，首先，可以计算所述二维图像中与所述第一像素对应的像素和与所述第二像素对应的像素之间在颜色空间中的曼哈顿距离。
更具体地，例如，在RGB颜色空间中，可通过如下的表达式(3)来计算所述曼哈顿距离：
d2(p,q)＝|RGB(p)-RGB(q)| (3)
其中，RGB(p)和RGB(q)分别为像素点p和q在RGB空间中的RGB值，d2(p,q)为像素点p和像素点q之间的曼哈顿距离。
接下来，判断所述曼哈顿距离是否小于第二预定阈值。所述第二预定阈值由本领域技术人员根据需要适当地设置，在此不作具体限定。示例性地，所述第二预定阈值可以为10、15等。
当判断所述曼哈顿距离不小于第二预定阈值时，表示这两个像素不属于同一个对象，并且不对其进行任何处理。
另一方面，当判断所述曼哈顿距离小于第二预定阈值时，将所述第一像素的深度值传播至所述第二像素的深度值。例如，可以使得所述第二像素的深度值等于所述第一像素的深度值。由此，所述第二像素也具有了有效深度值。
接下来，通过第一标准对这两个像素进行判断。即，计算所述第一像素与经深度值传播之后的第二像素投影到鸟瞰图上的投影点之间的欧氏距离。计算方式如上所述，在此不再重复。然后，判断所述欧氏距离是否小于第一预定阈值。当判断所述欧氏距离不小于第一预定阈值时，表示这两个像素不属于同一个对象，并且不对其进行任何处理。另一方面，当判断所述欧氏距离小于所述第一预定阈值时，表示第一像素和第二像素属于同一对象，并将所述第一像素和所述第二像素聚类在一起。
需要指出的是，上面以基于RGB图像的表达式(3)为例进行了描述。然而，本领域技术人员可以理解，本发明实施例的对象分割方法不限于此，而是可以应用于诸如灰度图像、其他颜色空间中的图像的情况，在此不再详述。
此外，需要指出的是，上面以曼哈顿距离为例描述了第一标准及其计算方式。然而，本领域技术人员能够理解，本发明实施例的对象分割方法不限于此，而是可以采用基于其他各种距离空间的第二标准，在此不再详述。
以上，通过对图像中每个像素进行如上所述的处理，完成了像素级聚类，从而获得了多个子区域。通过像素级聚类，对于图像中很多没有有效深度值的像素赋予了深度值，并从而在很大程度上改善了空间连续性。
接下来，所述对象分割方法进行到步骤S140，对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果。
具体地，一方面，对于所述多个子区域中每两个彼此接壤的相邻子区域，可通过第一标准判断是否将所述相邻子区域聚类在一起。另一方面，对于彼此不接壤的子区域中的彼此最接近的第一近邻子区域和第二近邻子区域，可通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述近邻子区域聚类在一起。
更具体地，对于所述多个子区域中每两个彼此接壤的相邻子区域，可以首先计算两个所述相邻子区域各自的预定参照点投影到鸟瞰图上的投影点之间的欧氏距离。所述计算方式例如为表达式(1)所示，其中，Cp与Cq分别表示子区域的预定参照点(例如，中心点)投影到鸟瞰图上的投影点。
接下来，判断所述欧氏距离是否小于第三预定阈值。在一示例中，所述第三预定阈值为本领域技术人员任意设置的值。在另一示例中，与上述第一预定阈值同样，所述第三预定阈值可以是基于生物特征信息的阈值。示例性地，在区域级聚类时所使用的第三预定阈值大于在像素级聚类时所使用的第一预定阈值。例如，所述第三预定阈值可以设置为如图2所示的|mn|＝|ae|＝Height/φ5。此外，在执行多次区域级聚类的情况下，所述第三预定阈值可以随着执行次数的增加而变大。例如，在第一次执行区域级聚类时，所述第三预定阈值可以为|mn|。在第二次执行区域级聚类时，所述第三预定阈值可以为|af|。在第三次执行区域级聚类时，所述第三预定阈值可以为|lo|，等等。
当判断所述欧氏距离不小于所述第三预定阈值时，表示两个相邻子区域不属于同一对象，并且不对其进行任何处理。另一方面，当判断所述欧氏距离小于所述第三预定阈值时，表示两个相邻子区域属于同一对象，因此将所述相邻子区域聚类在一起。
另一方面，对于彼此不接壤的子区域中的彼此最接近的两个邻近子区域(以下，为描述方便，分别称为第一近邻子区域和第二近邻子区域)，可以首先计算在所述二维图像中所述第一近邻子区域中的每个像素与所述第二近邻子区域中的每个像素之间在颜色空间的曼哈顿距离，以获得所述第一近邻子区域与所述第二近邻子区域之间的平均曼哈顿距离。
可选地，为降低处理计算量，可选择第一近邻子区域与第二近邻子区域两者的部分相邻区域，例如，圆形区域，并对此部分相邻区域中的每个像素而计算曼哈顿距离。
具体地，例如，可通过如下所示的表达式(4)来计算所述平均曼哈顿距离：
其中，A和B分别为第一近邻子区域和第二近邻子区域，d(a,b)为第一近邻子区域和第二近邻子区域中的任两个像素之间的曼哈顿距离，|A|为第一邻子域的像素总和数，|B|为第二邻子域的像素总和数，dmean为第一近邻子区域A和第二近邻子区域B之间的平均曼哈顿距离。
接下来，判断所述平均曼哈顿距离是否小于第四预定阈值。与第二预定阈值类似，所述第四预定阈值可以由本领域技术人员根据需要任意设置，在此不作具体限定。
当判断所述平均曼哈顿距离不小于第四预定阈值时，表示所述第一近邻子区域与所述第二近邻子区域不属于同一对象，并且不进行任何处理。
另一方面，当判断所述平均曼哈顿距离小于第四预定阈值时，通过第一标准对所述第一近邻子区域与所述第二近邻子区域再次进行判断。具体地，可计算所述第一近邻子区域的第一预定参照点与所述第二近邻子区域的第二预定参照点投影到鸟瞰图上的投影点之间的欧氏距离，计算方式如上所述，在此不再重复。
此后，判断所述欧氏距离是否小于第三预定阈值。当判断所述欧氏距离不小于所述第三预定阈值时，表示所述第一近邻子区域与所述第二近邻子区域不属于同一对象，并且不进行任何处理。
另一方面，当判断所述欧氏距离小于所述第三预定阈值时，表示所述第一近邻子区域与所述第二近邻子区域属于同一对象，从而将所述第一近邻子区域与所述第二近邻子区域聚类在一起。
以上，完成了一次区域级聚类处理，获得了作为聚类结果的聚类块。可选地，为提高对象分割的精确度，本发明实施例的对象分割方法可以以迭代方式进行所述区域级聚类处理。迭代终止条件例如可以为达到预定迭代次数，或聚类块的面积达到预定阈值，等等。
此后，所述对象分割方法进行到步骤S150，输出所述对象分割结果。
可选地，在得到聚类结果之后，在输出之前还可进行一些后处理，例如噪声过滤、形状识别，等等，从而进一步优化对象分割结果，以提高对象分割的精确度。
需要指出的是，在上面的描述中，没有提取前景图像，而直接基于原始的深度图像和二维图像进行后续的像素级聚类和区域级聚类。在此情况下，在获得了区域级的聚类结果之后，为进一步提高对象分割的准确度，也可通过相应的后处理来验证所得到的聚类块是否是感兴趣的目标。
当然，可选地，在进行像素级聚类之前，可以基于所述深度图像和所述二维图像中的至少一个，进行图像前景提取。具体地，可以采用诸如背景建模等的任何已知前景提取技术来提取图像的前景。由此，将所提取的前景图像输出到下述步骤S130，以进行像素级聚类，从而避免背景图像的干扰，进一步提高对象分割的准确性，并能降低后续处理的计算量，提高处理效率。
以上，参照图1和图2描述了本发明实施例的对象分割方法。在本发明实施例的对象分割方法中，通过利用深度图像中每个像素的深度值、以及二维图像中每个像素的像素值，进行像素级聚类和区域级聚类，即便对于由于深度缺失或前景提取中的空洞而产生对象不连续性的情况，也能够准确地进行对象分割，从而大大降低了过分割和分割不足的存在，提高了对象分割的精确度。
下面，将参照图3描述本发明实施例的对象分割装置。
图3是图示本发明实施例的对象分割装置的主要配置的框图。如图3所示，本发明实施例的对象分割装置300主要包括第一获取单元310、第二获取单元320、像素聚类单元330、子区域聚类单元340和输出单元350。
第一获取单元310获取包含多个对象的深度图像。
第二获取单元320获取包含所述多个对象的二维图像。
像素聚类单元330利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域。
子区域聚类单元340对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果。
输出单元350输出所述对象分割结果。
在一实施例中，所述像素聚类单元330包括：第一标准判断单元，在所述深度图像中相邻并且具有有效深度值的每两个像素之间，通过第一标准判断是否将所述两个像素聚类在一起；第二标准判断单元，在所述深度图像中相邻的具有有效深度值的第一像素与具有无效深度值的第二像素之间相邻，通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述第一像素与所述第二像素聚类在一起。
在另一实施例中，所述第一标准判断单元包括：欧氏距离计算单元，计算所述两个像素投影到鸟瞰图上的投影点之间的欧氏距离；第一阈值判断单元，判断所述欧氏距离是否小于第一预定阈值；以及相邻像素聚类单元，当判断所述欧氏距离小于所述第一预定阈值时，将所述两个像素聚类在一起。
在另一实施例中，所述第一预定阈值为基于生物特征信息的阈值。
在另一实施例中，所述第二标准判断单元包括：曼哈顿距离计算单元，计算所述二维图像中与所述第一像素对应的像素和与所述第二像素对应的像素之间在颜色空间中的曼哈顿距离；第二阈值判断单元，判断所述曼哈顿距离是否小于第二预定阈值；传播单元，当判断所述曼哈顿距离小于第二预定阈值时，将所述第一像素的深度值传播至所述第二像素的深度值；欧氏距离计算单元，计算所述第一像素与经深度值传播之后的第二像素投影到鸟瞰图上的投影点之间的欧氏距离；第一阈值判断单元，判断所述欧氏距离是否小于第一预定阈值；以及相邻像素聚类单元，当判断所述欧氏距离小于所述第一预定阈值时，将所述第一像素和所述第二像素聚类在一起。
在另一实施例中，所述子区域聚类单元340包括：第一标准判断单元，在所述多个子区域中每两个彼此接壤的相邻子区域之间，通过第一标准判断是否将所述相邻子区域聚类在一起；第二标准判断单元，在彼此不接壤的子区域中的彼此最接近的第一近邻子区域和第二近邻子区域之间，通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述近邻子区域聚类在一起。
在另一实施例中，所述第一标准判断单元包括：欧氏距离计算单元，计算两个所述相邻子区域各自的预定参照点投影到鸟瞰图上的投影点之间的欧氏距离；第三阈值判断单元，判断所述欧氏距离是否小于第三预定阈值；以及相邻子区域聚类单元，当判断所述欧氏距离小于所述第三预定阈值时，将所述相邻子区域聚类在一起。
在另一实施例中，所述第三预定阈值是基于生物特征信息的阈值。
在另一实施例中，所述第二标准判断单元包括：曼哈顿距离计算单元，计算在所述二维图像中所述第一近邻子区域中的每个像素与所述第二近邻子区域中的每个像素之间在颜色空间的曼哈顿距离，以获得所述第一近邻子区域与所述第二近邻子区域之间的平均曼哈顿距离；第四阈值判断单元，判断所述平均曼哈顿距离是否小于第四预定阈值；欧氏距离计算单元，当判断所述平均曼哈顿距离小于第四预定阈值时，计算所述第一近邻子区域的第一预定参照点与所述第二近邻子区域的第二预定参照点投影到鸟瞰图上的投影点之间的欧氏距离；第三阈值判断单元，判断所述欧氏距离是否小于第三预定阈值；以及近邻子区域聚类单元，当判断所述欧氏距离小于所述第三预定阈值时，将所述第一近邻子区域与所述第二近邻子区域聚类在一起。
在另一实施例中，所述对象分割装置300还包括：前景提取单元，在进行像素级聚类之前，基于所述深度图像和所述二维图像中的至少一个，进行图像前景提取；并且所述像素聚类单元配置为：利用所提取的前景图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域。
所述对象分割装置300的各单元的配置和操作已经在参照图1和图2所述的对象分割方法中详细描述，在此不再重复。
图4是图示根据本发明另一实施例的对象分割装置的主要配置的框图。
如图4所示，本发明实施例的对象分割装置400主要包括：一个或多个处理器410和存储器420，这些组件通过总线系统430和/或其它形式的连接机构(未示出)互连。应当注意，图4所示的对象分割装置400的组件和结构只是示例性的，而非限制性的，根据需要，对象分割装置400也可以具有其他组件和结构。
处理器410可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制对象分割装置400中的其它组件以执行期望的功能。
存储器420可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器420可以运行所述程序指令，以实现本发明实施例的对象分割方法的功能以及/或者其它期望的功能。
以上，参照图3和图4描述了本发明实施例的对象分割装置。在本发明实施例的对象分割装置中，通过利用深度图像中每个像素的深度值、以及二维图像中每个像素的像素值，进行像素级聚类和区域级聚类，即便对于由于深度缺失或前景提取中的空洞而产生对象不连续性的情况，也能够准确地进行对象分割，从而大大降低了过分割和分割不足的存在，提高了对象分割的精确度。
以上，参照图1到图4描述了根据本发明实施例的对象分割方法和对象分割装置。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，需要说明的是，在本说明书中，类似“第一…单元”、“第二...单元”的表述仅为了在描述时方便区分，而并不意味着其必须实现为物理分离的两个或多个单元。事实上，根据需要，所述单元可以整体实现为一个单元，也可以实现为多个单元。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
在本发明实施例中，单元/模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成单元/模块并且实现该单元/模块的规定目的。
在单元/模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的单元/模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种对象分割方法，包括：
获取包含多个对象的深度图像；
获取包含所述多个对象的二维图像；
利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域；
对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果；以及
输出所述对象分割结果；其中，
进行像素级聚类的步骤包括：
在所述深度图像中相邻并具有有效深度值的每两个像素之间，通过第一标准判断是否将所述两个像素聚类在一起；
在所述深度图像中相邻的具有有效深度值的第一像素与具有无效深度值的第二像素之间，通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述第一像素与所述第二像素聚类在一起。
2.如权利要求1所述的对象分割方法，通过第一标准判断是否将所述两个像素聚类在一起的步骤包括：
计算所述两个像素投影到鸟瞰图上的投影点之间的欧氏距离；
判断所述欧氏距离是否小于第一预定阈值；以及
当判断所述欧氏距离小于所述第一预定阈值时，将所述两个像素聚类在一起。
3.如权利要求2所述的对象分割方法，其中，所述第一预定阈值为基于生物特征信息的阈值。
4.如权利要求1所述的对象分割方法，通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述第一像素与所述第二像素聚类在一起的步骤包括：
计算所述二维图像中与所述第一像素对应的像素和与所述第二像素对应的像素之间在颜色空间中的曼哈顿距离；
判断所述曼哈顿距离是否小于第二预定阈值；
当判断所述曼哈顿距离小于第二预定阈值时，将所述第一像素的深度值传播至所述第二像素的深度值；
计算所述第一像素与经深度值传播之后的第二像素投影到鸟瞰图上的投影点之间的欧氏距离；
判断所述欧氏距离是否小于第一预定阈值；以及
当判断所述欧氏距离小于所述第一预定阈值时，将所述第一像素和所述第二像素聚类在一起。
5.如权利要求1所述的对象分割方法，对所述多个子区域进行子区域级聚类的步骤包括：
在所述多个子区域中每两个彼此接壤的相邻子区域之间，通过第一标准判断是否将所述相邻子区域聚类在一起；
在彼此不接壤的子区域中的彼此最接近的第一近邻子区域和第二近邻子区域之间，通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述近邻子区域聚类在一起。
6.如权利要求5所述的对象分割方法，通过第一标准判断是否将所述相邻子区域聚类在一起的步骤包括：
计算两个所述相邻子区域各自的预定参照点投影到鸟瞰图上的投影点之间的欧氏距离；
判断所述欧氏距离是否小于第三预定阈值；以及
当判断所述欧氏距离小于所述第三预定阈值时，将所述相邻子区域聚类在一起。
7.如权利要求6所述的对象分割方法，其中，所述第三预定阈值是基于生物特征信息的阈值。
8.如权利要求5所述的对象分割方法，通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述近邻子区域聚类在一起的步骤包括：
计算在所述二维图像中所述第一近邻子区域中的每个像素与所述第二近邻子区域中的每个像素之间在颜色空间的曼哈顿距离，以获得所述第一近邻子区域与所述第二近邻子区域之间的平均曼哈顿距离；
判断所述平均曼哈顿距离是否小于第四预定阈值；
当判断所述平均曼哈顿距离小于第四预定阈值时，计算所述第一近邻子区域的第一预定参照点与所述第二近邻子区域的第二预定参照点投影到鸟瞰图上的投影点之间的欧氏距离；
判断所述欧氏距离是否小于第三预定阈值；以及
当判断所述欧氏距离小于所述第三预定阈值时，将所述第一近邻子区域与所述第二近邻子区域聚类在一起。
9.如权利要求1所述的对象分割方法，还包括：
在进行像素级聚类之前，基于所述深度图像和所述二维图像中的至少一个，进行图像前景提取；并且
进行像素级聚类的步骤包括：
利用所提取的前景图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域。
10.一种对象分割装置，包括：
第一获取单元，获取包含多个对象的深度图像；
第二获取单元，获取包含所述多个对象的二维图像；
像素聚类单元，利用所述深度图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域；
子区域聚类单元，对所述多个子区域进行区域级聚类，以获得聚类结果作为对象分割结果；以及
输出单元，输出所述对象分割结果；其中，
所述像素聚类单元包括：
第一标准判断单元，在所述深度图像中相邻并且具有有效深度值的每两个像素之间，通过第一标准判断是否将所述两个像素聚类在一起；
第二标准判断单元，在所述深度图像中相邻的具有有效深度值的第一像素与具有无效深度值的第二像素之间相邻，通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述第一像素与所述第二像素聚类在一起。
11.如权利要求10所述的对象分割装置，所述第一标准判断单元包括：
欧氏距离计算单元，计算所述两个像素投影到鸟瞰图上的投影点之间的欧氏距离；
第一阈值判断单元，判断所述欧氏距离是否小于第一预定阈值；以及
相邻像素聚类单元，当判断所述欧氏距离小于所述第一预定阈值时，将所述两个像素聚类在一起。
12.如权利要求11所述的对象分割装置，其中，所述第一预定阈值为基于生物特征信息的阈值。
13.如权利要求10所述的对象分割装置，所述第二标准判断单元包括：
曼哈顿距离计算单元，计算所述二维图像中与所述第一像素对应的像素和与所述第二像素对应的像素之间在颜色空间中的曼哈顿距离；
第二阈值判断单元，判断所述曼哈顿距离是否小于第二预定阈值；
传播单元，当判断所述曼哈顿距离小于第二预定阈值时，将所述第一像素的深度值传播至所述第二像素的深度值；
欧氏距离计算单元，计算所述第一像素与经深度值传播之后的第二像素投影到鸟瞰图上的投影点之间的欧氏距离；
第一阈值判断单元，判断所述欧氏距离是否小于第一预定阈值；以及
相邻像素聚类单元，当判断所述欧氏距离小于所述第一预定阈值时，将所述第一像素和所述第二像素聚类在一起。
14.如权利要求10所述的对象分割装置，所述子区域聚类单元包括：
第一标准判断单元，在所述多个子区域中每两个彼此接壤的相邻子区域之间，通过第一标准判断是否将所述相邻子区域聚类在一起；
第二标准判断单元，在彼此不接壤的子区域中的彼此最接近的第一近邻子区域和第二近邻子区域之间，通过所述第一标准和与所述第一标准不同的第二标准的结合来判断是否将所述近邻子区域聚类在一起。
15.如权利要求14所述的对象分割装置，所述第一标准判断单元包括：
欧氏距离计算单元，计算两个所述相邻子区域各自的预定参照点投影到鸟瞰图上的投影点之间的欧氏距离；
第三阈值判断单元，判断所述欧氏距离是否小于第三预定阈值；以及
相邻子区域聚类单元，当判断所述欧氏距离小于所述第三预定阈值时，将所述相邻子区域聚类在一起。
16.如权利要求15所述的对象分割装置，其中，所述第三预定阈值是基于生物特征信息的阈值。
17.如权利要求14所述的对象分割装置，所述第二标准判断单元包括：
曼哈顿距离计算单元，计算在所述二维图像中所述第一近邻子区域中的每个像素与所述第二近邻子区域中的每个像素之间在颜色空间的曼哈顿距离，以获得所述第一近邻子区域与所述第二近邻子区域之间的平均曼哈顿距离；
第四阈值判断单元，判断所述平均曼哈顿距离是否小于第四预定阈值；
欧氏距离计算单元，当判断所述平均曼哈顿距离小于第四预定阈值时，计算所述第一近邻子区域的第一预定参照点与所述第二近邻子区域的第二预定参照点投影到鸟瞰图上的投影点之间的欧氏距离；
第三阈值判断单元，判断所述欧氏距离是否小于第三预定阈值；以及
近邻子区域聚类单元，当判断所述欧氏距离小于所述第三预定阈值时，将所述第一近邻子区域与所述第二近邻子区域聚类在一起。
18.如权利要求10所述的对象分割装置，还包括：
前景提取单元，在进行像素级聚类之前，基于所述深度图像和所述二维图像中的至少一个，进行图像前景提取；并且
所述像素聚类单元配置为：利用所提取的前景图像中每个像素的深度值、以及所述二维图像中每个像素的像素值，进行像素级聚类，以获得多个子区域。
CN201510622828.5A 2015-09-25 2015-09-25 对象分割方法和对象分割装置 Expired - Fee Related CN106558053B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510622828.5A CN106558053B (zh) 2015-09-25 2015-09-25 对象分割方法和对象分割装置
US15/267,329 US10026012B2 (en) 2015-09-25 2016-09-16 Method and apparatus for separating objects, and non-transitory computer-readable recording medium
JP2016184285A JP6245330B2 (ja) 2015-09-25 2016-09-21 対象分割方法、対象分割装置及び対象分割プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510622828.5A CN106558053B (zh) 2015-09-25 2015-09-25 对象分割方法和对象分割装置

Publications (2)

Publication Number Publication Date
CN106558053A CN106558053A (zh) 2017-04-05
CN106558053B true CN106558053B (zh) 2019-06-21

Family

ID=58409664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510622828.5A Expired - Fee Related CN106558053B (zh) 2015-09-25 2015-09-25 对象分割方法和对象分割装置

Country Status (3)

Country Link
US (1) US10026012B2 (zh)
JP (1) JP6245330B2 (zh)
CN (1) CN106558053B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282639B2 (en) * 2016-11-29 2019-05-07 Sap Se Object detection in image data using depth segmentation
CN111383231B (zh) * 2018-12-28 2023-10-27 成都皓图智能科技有限责任公司 一种基于3d图像的图像分割方法、装置及系统
CN110379000B (zh) * 2019-06-24 2023-06-30 达闼机器人股份有限公司 检测飞机进气道的方法、装置、存储介质以及电子设备
CN113126640B (zh) * 2019-12-31 2022-06-28 北京三快在线科技有限公司 用于无人机的障碍物探测方法、装置、无人机和存储介质
CN114520894B (zh) * 2020-11-18 2022-11-15 成都极米科技股份有限公司 投影区域确定方法、装置、投影设备及可读存储介质
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113989276B (zh) * 2021-12-23 2022-03-29 珠海视熙科技有限公司 一种基于深度图像的检测方法、检测装置及摄像设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
CN101587586A (zh) * 2008-05-20 2009-11-25 株式会社理光 一种图像处理装置及图像处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011060216A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 画像処理装置および画像処理方法
US9311550B2 (en) * 2013-03-06 2016-04-12 Samsung Electronics Co., Ltd. Device and method for image processing
CN105225217B (zh) 2014-06-23 2018-04-10 株式会社理光 基于深度的背景模型更新方法和系统
JP6463101B2 (ja) * 2014-12-01 2019-01-30 キヤノン株式会社 領域分割装置及び方法
US9396400B1 (en) * 2015-07-30 2016-07-19 Snitch, Inc. Computer-vision based security system using a depth camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
CN101587586A (zh) * 2008-05-20 2009-11-25 株式会社理光 一种图像处理装置及图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
People Detection by a Mobile Robot Using Stereo Vision in Dynamic indoor Environments;Mendez-Polanco et al;《MICAI 2009》;20091231;第349-358页

Also Published As

Publication number Publication date
US10026012B2 (en) 2018-07-17
JP6245330B2 (ja) 2017-12-13
JP2017062790A (ja) 2017-03-30
US20170091586A1 (en) 2017-03-30
CN106558053A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN106558053B (zh) 对象分割方法和对象分割装置
Zhou et al. Plane-based content preserving warps for video stabilization
CN101789124B (zh) 视频序列的时空一致性分割方法
KR20160127030A (ko) 뷰 독립적 3d 씬 텍스쳐링
CN105654548A (zh) 一种基于大规模无序图像的多起点增量式三维重建方法
Huang et al. Image-guided non-local dense matching with three-steps optimization
CN108961385B (zh) 一种slam构图方法及装置
Rathore et al. Capture largest included circles: An approach for counting red blood cells
Yang Local smoothness enforced cost volume regularization for fast stereo correspondence
Vázquez‐Delgado et al. Real‐time multi‐window stereo matching algorithm with fuzzy logic
Muninder et al. Robust segment-based stereo using cost aggregation
Mattoccia Fast locally consistent dense stereo on multicore
Akin et al. Dynamically adaptive real-time disparity estimation hardware using iterative refinement
CN104994368B (zh) 2d‑3d视频转换中的非关键帧排序方法
Huang et al. Improved quadruple sparse census transform and adaptive multi‐shape aggregation algorithms for precise stereo matching
Huang Stereo matching based on segmented B‐spline surface fitting and accelerated region belief propagation
TWI566203B (zh) 深度精鍊與資料聚集的方法與系統
Sarim et al. Wide-baseline multi-view video segmentation for 3d reconstruction
Li et al. Graph-based saliency fusion with superpixel-level belief propagation for 3D fixation prediction
Xu et al. Hybrid plane fitting for depth estimation
Choi et al. Implementation of Real‐Time Post‐Processing for High‐Quality Stereo Vision
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
Motten et al. Low-cost real-time stereo vision hardware with binary confidence metric and disparity refinement
Miyama Fast stereo matching with super-pixels using one-way check and score filter
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190621

Termination date: 20210925

CF01 Termination of patent right due to non-payment of annual fee