CN108830860A - 一种基于rgb-d约束的双目图像目标分割方法和装置 - Google Patents

一种基于rgb-d约束的双目图像目标分割方法和装置 Download PDF

Info

Publication number
CN108830860A
CN108830860A CN201810332846.3A CN201810332846A CN108830860A CN 108830860 A CN108830860 A CN 108830860A CN 201810332846 A CN201810332846 A CN 201810332846A CN 108830860 A CN108830860 A CN 108830860A
Authority
CN
China
Prior art keywords
binocular image
network flow
pixel
flow diagrams
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810332846.3A
Other languages
English (en)
Other versions
CN108830860B (zh
Inventor
齐飞
朱晖
石光明
王鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810332846.3A priority Critical patent/CN108830860B/zh
Publication of CN108830860A publication Critical patent/CN108830860A/zh
Application granted granted Critical
Publication of CN108830860B publication Critical patent/CN108830860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于RGB‑D约束的双目图像目标分割方法和装置，通过获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的网络流图与能量函数表达式；根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。解决现有技术中双目图像目标分割的准确率较低、实时性差、完整性不太理想的技术问题，实现了减少概率计算的依赖性，增强概率模型的通用性，有助于提升分割的结果，同时考虑像素点的视差信息，利用前景和背景处于不同深度中的特征，提升分割结果的技术效果。

Description

一种基于RGB-D约束的双目图像目标分割方法和装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于RGB-D约束的双目图像目标分割方法和装置。
背景技术
双目立体视觉能很好的对人的双眼视觉系统进行模拟，可以对三维世界进行视觉感知，其中的一些研究成果已广泛地应用于我们的生产和生活中。其中，双目图像的目标分割作为双目立体视觉领域的重要研究方向之一，是提取双目图像中关键信息的重要步骤，在立体图像的合成、三维图像的重建、遥感图像的分析、机器人智能控制等方面都有着重大的研究意义。可以应用于AR/VR技术、三维摄像、3D电影、医疗、军事、航天等诸多方面。双目图像中蕴含着三维深度信息，是相比于单目图像最大的优势所在。深度信息能更好的描述场景中的对象，更有效的表达前景和背景信息。
现有技术中双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题。
发明内容
本发明实施例提供了一种基于RGB-D约束的双目图像目标分割方法和装置，解决现有技术中双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题。
鉴于上述问题，提出了本申请实施例以便提供一种基于RGB-D约束的双目图像目标分割方法和装置。
第一方面，本发明提供了一种基于RGB-D约束的双目图像目标分割方法，所述方法包括：
获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的图模型与能量函数表达式；根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
优选地，获得双目图像的视差信息，还包括：将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；根据图割法计算所述代价函数的最小解，估计视差图。
优选地，获得所述双目图像的颜色数据模型，还包括：根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
优选地，根据所述视差信息获得视差图的深度数据模型，还包括：根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
优选地，计算所述双目图像相邻像素点的相似性，还包括：计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；根据所述第一相似性和第二相似性，计算RGB-D约束的两个相邻像素点的第三相似性。
优选地，获得所述双目图像目标分割的图模型与能量函数表达式，还包括：根据所述双目图像构建网络流图；将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；将所述第三相似性设定为所述网络流图的第二边权值；根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
优选地，根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
第二方面，本发明提供了一种基于RGB-D约束的双目图像目标分割装置，所述装置包括：
第一获得单元，所述第一获得单元用于获得双目图像的视差信息；
第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型；
第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型；
第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性；
第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的图模型与能量函数表达式；
第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
优选地，第一获得单元，所述第一获得单元用于获得双目图像的视差信息，还包括：
第六获得单元，所述第六获得单元用于将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；
第二计算单元，所述第二计算单元用于根据图割法计算所述代价函数的最小解，估计视差图。
优选地，第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型，还包括：
第一分类单元，所述第一分类单元用于根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；
第七获得单元，所述第七获得单元用于根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；
第八获得单元，所述第八获得单元用于根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；
第九获得单元，所述第九获得单元用于根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
优选地，第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型，还包括：
第二分类单元，所述第二分类单元用于根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；
第十获得单元，所述第十获得单元用于根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；
第十一获得单元，所述第十一获得单元用于根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；
第十二获得单元，所述第十二获得单元用于根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
优选地，第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性，还包括：
第三计算单元，所述第三计算单元用于计算色彩空间两个相邻像素点的第一相似性；
第四计算单元，所述第四计算单元用于根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；
第五计算单元，所述第五计算单元用于根据所述第一相似性和第二相似性，计算RGB-D约束的两个相邻像素点的第三相似性。
优选地，第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的图模型与能量函数表达式，还包括：
第一构建单元，所述第一构建单元用于根据所述双目图像构建网络流图；
第一设定单元，所述第一设定单元用于将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；
第二设定单元，所述第二设定单元用于将所述第三相似性设定为所述网络流图的第二边权值；
第十三获得单元，所述第十三获得单元用于根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
优选地，第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：
第十四获得单元，所述第十四获得单元用于根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
第三方面，本发明提供了一种基于RGB-D约束的双目图像目标分割装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的图模型与能量函数表达式；根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
1.本申请实施例提供的一种基于RGB-D约束的双目图像目标分割方法和装置，通过获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的图模型与能量函数表达式；根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。解决现有技术中的双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题，实现了网络流图的边权值不只依赖与RGB值，还需要计算图像的深度值，减少概率计算的依赖性，增强概率模型的通用性，有助于提升分割的结果，同时考虑像素点的视差信息，利用前景和背景处于不同的深度中的特征，可以提升分割的结果的技术效果。
2.本申请实施例通过计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；根据所述第一相似性和第二相似性，计算RGB-D约束的两个相邻像素点的第三相似性。进一步计算图像相邻像素点的相似性时，考虑了像素点的视差信息，计算两个相邻点在RGB-D约束下的相似性，对于交互输入的依赖较小，并且在图像前景和背景较相似的情况下，提升分割效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例中一种基于RGB-D约束的双目图像目标分割方法的流程示意图；
图2为本发明实施例中一种基于RGB-D约束的双目图像目标分割装置的结构示意图；
图3为本发明实施例提供的网络流图的结构示意图。
具体实施方式
本发明实施例提供了一种基于RGB-D约束的双目图像目标分割方法和装置，本发明提供的技术方案总体思路如下：获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的图模型与能量函数表达式；根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。解决现有技术中的双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题，实现了网络流图的边权值不只依赖与RGB值，还需要计算图像的深度值，减少了概率计算的依赖性，增强了概率模型的通用性，有助于提升分割的结果，同时考虑了像素点的视差信息，利用前景和背景处于不同的深度中的特征，可以提升分割的结果的技术效果。
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
实施例一
图1为本发明实施例中一种基于RGB-D约束的双目图像目标分割方法的流程示意图。如图1所示，所述方法包括：
步骤110：获得双目图像的视差信息。
进一步的，获得双目图像的视差信息，还包括：将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；根据图割法计算所述代价函数的最小解，估计视差图。
具体而言，将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数，然后对所述代价函数，分别求解得出数据项、平滑项以及可见度项，并使用图割法来求解所述代价函数的最小解；最后根据所述代价函数的求解结果来估计所述双目图像的视差图。
步骤120：获得所述双目图像的颜色数据模型。
进一步的，获得所述双目图像的颜色数据模型，还包括：根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
具体而言，根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型。在计算输入所述双目图像的颜色数据模型时，考虑所述双目图像中的像素点在构建的颜色数据模型中属于前景和背景的第一概率。在本发明实施例中用P(xi|ci)表示第一概率，其含义是代表像素点pi在色彩值为ci的情况下，被分配为前景(xi＝1)和背景(xi＝0)的第一概率。本发明实施例使用第一混合高斯函数模型的概率表示形式进行前景/背景建模，根据混合高斯函数模型的理论知识获得P(xi|ci)的表达式，即：
P(xi|ci)＝π(xi,ki)·P(ci|xi,ki,θ)
其中，ki表示像素点pi属于混合高斯模型的第ki个高斯分量，π(xi,ki)表示所述高斯分量ki在整个第一混合高斯函数模型所有分量所占的权值，其取值范围为：0≤π(xi,ki)≤1。其中θ的表示第一混合高斯函数的参数，其表达式为：
θ＝{π(x,k),μ(x,k),∑(x,k),x＝0,1,k＝1...K}
其中，μ(x,k)表示高斯分量为k的所有像素点在色彩空间的均值向量。∑(x,k)表示高斯分量为k的所有像素点在色彩空间的协方差矩阵。由迭代地图割法理论可知，混合高斯函数模型的参数是随着每一次图割的分类结果而不断的进行更新。所以，本发明实施例中可以采用k-means聚类的方式对其θ参数进行初始化。式中的P(ci|xi,ki,θ)表示第一混合高斯函数模型的概率密度分布函数，其计算公式如下所示。
步骤130：根据所述视差信息获得视差图的深度数据模型。
进一步的，根据所述视差信息获得视差图的深度数据模型，还包括：根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
具体而言，根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型。在计算输入所述双目图像的颜色数据模型时，考虑所述双目图像中的像素点在构建的深度数据模型中属于前景和背景的第二概率。本发明实施例中用P(xi|di)表示第二概率，其含义是代表像素点在深度值为di的情况下，被分配为前景(xi＝1)和背景(xi＝0)的第二概率。其中，P(xi|di)的计算方法与步骤120相同。对于所述颜色数据模型和深度数据模型，加权计算方式如下：
R(pi,xi)＝-λc log P(xi|ci)-λd log P(xi|di)
其中，R(pi,xi)表示像素点xi属于前景和背景的加权概率。
步骤140：计算所述双目图像相邻像素点的相似性。
进一步的，计算所述双目图像相邻像素点的相似性，还包括：计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；根据所述第一相似性和第二相似性，计算RGB-D约束的两个相邻像素点的第三相似性。
具体而言，本发明实施例中在计算所述双目图像相邻像素点的相似性时，同时考虑了所述双目图像的颜色信息和深度信息。通过计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性。根据所述第一相似性和第二相似性，计算RGB-D约束的两个相邻像素点的第三相似性。其中，对计算相似性的数学表达式作进一步的描述。
B(pi,pj)＝λcfG(pi,pj)+λdfD(pi)
式中，B(pi,pj)表示称为图像的边界项，即将所述双目图像分割为前景和背景两个子集的分界线，式中的λc和λd分别表示颜色项和深度项的权值，且满足λc+λd＝1。B(pi,pj)体现邻域像素点pi和pj之间不连续的损失。也就是说，假如两个相邻像素点的相似性很大，那么所述两个相邻像素点就有很大可能性属于相同的目标或者相同的背景；假如两个相邻像素点的相似性很小，那么所述两个相邻像素点属于目标和背景的边缘部分的可能性就比较大，故所述两个相邻像素点就有很大可能性被分割开，因此，当两个相邻像素点极不相似时，所求的能量函数的值就很小。B(pi,pj)表示的就是所述双目图像相邻像素点的相似性，通常的方法在计算像素点的相似性时，只是在RGB空间进行数学计算，而本发明实施例中不仅考虑色彩空间，同时也考虑了深度信息。
表达式B(·)中的fG(pi,pj)体现的相邻像素点在RGB空间的相似性，计算方法如下：
在计算fG(pi,pj)时只考虑像素点的色彩值，其中，α为常数项，表示为度量因子；β为惩罚项，根据所述双目图像全局的对比度计算而来。表达式B(·)中的fD(pi)表示相邻像素点在视差图中的相似性(视差空间的距离)，其计算方法如下：
其中，式f(·)中的表示的是在视差图中以像素点pi为中心的3×3的图像块，式f(·)中的h是一个卷积算子，*表示的是卷积操作。
步骤150：获得所述双目图像目标分割的图模型与能量函数表达式；
进一步的，获得所述双目图像目标分割的网络流图与能量函数表达式，还包括：根据所述双目图像构建网络流图；将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；将所述第三相似性设定为所述网络流图的第二边权值；根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
具体而言，根据所述双目图像构建网络流图，请参考图3，本发明实施例中用I＝{Il,Ir}代表输入的所述双目图像的左视图和右视图，同时令图G＝(v,ε)表示为I的图模型。式中的v表示图的节点的集合，图中的每个节点代表中的I一个像素点。图像目标分割的目的是为图中的每个节点pi分配一个xi∈{0,1}的标签来表示前景或背景。式中的ε表示图的边集合，所述边集合包含图像内四邻域的边、图像间对应点的边以及每个像素点连接的分别代表前景和背景两个端点的边。此处定义的三种边的边权值共同决定了所述双目图像目标分割的结果。
构建所述双目图像目标分割的图模型后，需要对网络流图的每条边的权值进行定量计算，下面对网络流图的能量函数作进一步的描述。
函数E(·)表示图模型的能量函数，R(pi,xi)是一次项表示图像像素点pi与前景和背景先验模型的相似性，即该像素点被分配为前景还是背景的概率；B(pi,pj)表示所述双目图像各个图像中的像素点与它的领域像素点的相似性，也可以记作图像内的二次项，NB是一个集合，该集合中的每个元素表示双目图像中的一个像素点与它相邻像素点的像素点对；表示左右视图间对应像素点的匹配关系，也可以记作图像间的二次项；NC是一个集合，所述集合中的每个元素表示所述双目图像中的对应像素点对；参数λB、λC是用来平衡上述三种边在分割时所起的作用以得到较好的结果。E(·)的两项R(pi,xi)，B(pi,pj)通常称作为能量函数的区域项和边界项，其计算方法已在步骤120，130，140中描述。下面对图像间的二次项作进一步的描述。
图像间的二次项可以保证两个视图中的对应像素点有着相同的分类结果(前景或背景)。所述二次项的数学表达式如下：
在公式C(·)中，的定义为：
其中，表示左视图和右视图中对应点的匹配关系。表示匹配正确的概率，所述匹配正确的概率取决于对应点服从的分布函数。表示像素点对和的相似性，其数学表达式下：
其中，表示左视图中的像素点的色彩值，表示右视图中的像素点的色彩值。公式C(·)的另一项的计算方法与的计算方法类似。
步骤160：根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
进一步的，根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
具体而言，根据最大流最小割定理，使用最大流算法获得所述网络流图的最大流，所述最大流对应的割即为最小割，亦即能量函数的最小解，网络流图的分割结果亦即图像的目标分割结果。
实施例2
基于与前述实施例中一种基于RGB-D约束的双目图像目标分割方法同样的发明构思，本发明还提供一种基于RGB-D约束的双目图像目标分割装置，如图2所示，所述装置包括：
第一获得单元，所述第一获得单元用于获得双目图像的视差信息；
第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型；
第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型；
第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性；
第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的图模型与能量函数表达式；
第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
进一步的，第一获得单元，所述第一获得单元用于获得双目图像的视差信息，还包括：
第六获得单元，所述第六获得单元用于将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；
第二计算单元，所述第二计算单元用于根据图割法计算所述代价函数的最小解，估计视差图。
进一步的，第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型，还包括：
第一分类单元，所述第一分类单元用于根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；
第七获得单元，所述第七获得单元用于根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；
第八获得单元，所述第八获得单元用于根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；
第九获得单元，所述第九获得单元用于根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
进一步的，第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型，还包括：
第二分类单元，所述第二分类单元用于根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；
第十获得单元，所述第十获得单元用于根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；
第十一获得单元，所述第十一获得单元用于根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；
第十二获得单元，所述第十二获得单元用于根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
进一步的，第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性，还包括：
第三计算单元，所述第三计算单元用于计算色彩空间两个相邻像素点的第一相似性；
第四计算单元，所述第四计算单元用于根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；
第五计算单元，所述第五计算单元用于根据所述第一相似性和第二相似性，计算RGB-D约束的两个相邻像素点的第三相似性。
进一步的，第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的网络流图与能量函数表达式，还包括：
第一构建单元，所述第一构建单元用于根据所述双目图像构建网络流图；
第一设定单元，所述第一设定单元用于将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；
第二设定单元，所述第二设定单元用于将所述第三相似性设定为所述网络流图的第二边权值；
第十三获得单元，所述第十三获得单元用于根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
进一步的，第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：
第十四获得单元，所述第十四获得单元用于根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
前述图1实施例1中的一种基于RGB-D约束的双目图像目标分割方法的各种变化方式和具体实例同样适用于本实施例的一种基于RGB-D约束的双目图像目标分割装置，通过前述对一种基于RGB-D约束的双目图像目标分割方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于RGB-D约束的双目图像目标分割装置的实施方法，所以为了说明书的简洁，在此不再详述。
实施例3
本发明还提供了仿真试验，选取30个双目图像对作为测试样例，采用本发明的一种基于RGB-D约束的双目图像目标分割方法对所述测试样例进行双目图像的目标分割。将选取分割准确率作为仿真结果的评价准则，首先对该评价准则作进一步描述，在图像分割中，测试数据集为整幅图像I,正确的分类样本数则是指分割所得的结果图与真值图进行比较所有被正确分类到前景和背景的像素点的数量N,总样本数则是整幅图像I的像素点的数量S,因此准确率的计算公式为：通过所述仿真试验得到的分割结果中，所述测试样例中的准确率最高可达98％以上，所述测试样例的平均准确率达96％以上。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
1.本申请实施例提供的一种基于RGB-D约束的双目图像目标分割方法和装置，通过获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的网络流图与能量函数表达式；根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。解决现有技术中的双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题，实现了网络流图的边权值不只依赖与RGB值，还需要计算图像的深度值，减少概率计算的依赖性，增强概率模型的通用性，有助于提升分割的结果，同时考虑像素点的视差信息，利用前景和背景处于不同的深度中的特征，可以提升分割的结果的技术效果。
2.本申请实施例通过计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；根据所述第一相似性和第二相似性，计算RGB-D约束的两个相邻像素点的第三相似性。进一步计算图像相邻像素点的相似性时，考虑了像素点的视差信息，计算两个相邻点在RGB-D约束下的相似性，对于交互输入的依赖较小，并且在图像前景和背景较相似的情况下，提升分割效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于RGB-D约束的双目图像目标分割方法，其特征在于，所述方法包括：
获得双目图像的视差信息；
获得所述双目图像的颜色数据模型；
根据所述视差信息获得视差图的深度数据模型；
计算所述双目图像相邻像素点的相似性；
获得所述双目图像目标分割的图模型与能量函数表达式；
根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
2.如权利要求1所述的方法，其特征在于，获得双目图像的视差信息，还包括：
将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；
根据图割法计算所述代价函数的最小解，估计视差图。
3.如权利要求1所述的方法，其特征在于，获得所述双目图像的颜色数据模型，还包括：
根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；
根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；
根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；
根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
4.如权利要求1所述的方法，其特征在于，根据所述视差信息获得视差图的深度数据模型，还包括：
根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；
根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；
根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；
根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
5.如权利要求1所述的方法，其特征在于，计算所述双目图像相邻像素点的相似性，还包括：
计算色彩空间两个相邻像素点的第一相似性；
根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；
根据所述第一相似性和第二相似性，计算RGB-D约束的两个相邻像素点的第三相似性。
6.如权利要求1所述的方法，其特征在于，获得所述双目图像目标分割的图模型与能量函数表达式，还包括：
根据所述双目图像构建网络流图；
将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；
将所述第三相似性设定为所述网络流图的第二边权值；
根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
7.如权利要求1所述的方法，其特征在于，根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：
根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
8.一种基于RGB-D约束的双目图像目标分割装置，其特征在于，所述装置包括：
第一获得单元，所述第一获得单元用于获得双目图像的视差信息；
第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型；
第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型；
第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性；
第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的图模型与能量函数表达式；
第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
9.一种基于RGB-D约束的双目图像目标分割装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
获得双目图像的视差信息；
获得所述双目图像的颜色数据模型；
根据所述视差信息获得视差图的深度数据模型；
计算所述双目图像相邻像素点的相似性；
获得所述双目图像目标分割的图模型与能量函数表达式；
根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
CN201810332846.3A 2018-04-13 2018-04-13 一种基于rgb-d约束的双目图像目标分割方法和装置 Active CN108830860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810332846.3A CN108830860B (zh) 2018-04-13 2018-04-13 一种基于rgb-d约束的双目图像目标分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810332846.3A CN108830860B (zh) 2018-04-13 2018-04-13 一种基于rgb-d约束的双目图像目标分割方法和装置

Publications (2)

Publication Number Publication Date
CN108830860A true CN108830860A (zh) 2018-11-16
CN108830860B CN108830860B (zh) 2022-03-25

Family

ID=64154072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810332846.3A Active CN108830860B (zh) 2018-04-13 2018-04-13 一种基于rgb-d约束的双目图像目标分割方法和装置

Country Status (1)

Country Link
CN (1) CN108830860B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288659A (zh) * 2019-05-27 2019-09-27 魏运 一种基于双目视觉的深度成像及信息获取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106651A (zh) * 2012-07-16 2013-05-15 清华大学深圳研究生院 一种基于三维hough变换的获取视差平面的方法
CN105005988A (zh) * 2015-06-30 2015-10-28 陕西师范大学 一种基于交互式图像分割的立体匹配方法
CN107204010A (zh) * 2017-04-28 2017-09-26 中国科学院计算技术研究所 一种单目图像深度估计方法与系统
CN107392958A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置
US9843776B2 (en) * 2011-10-24 2017-12-12 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843776B2 (en) * 2011-10-24 2017-12-12 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
CN103106651A (zh) * 2012-07-16 2013-05-15 清华大学深圳研究生院 一种基于三维hough变换的获取视差平面的方法
CN105005988A (zh) * 2015-06-30 2015-10-28 陕西师范大学 一种基于交互式图像分割的立体匹配方法
CN107392958A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置
CN107204010A (zh) * 2017-04-28 2017-09-26 中国科学院计算技术研究所 一种单目图像深度估计方法与系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
TOM LEIGHTON 等: "Multicommodity Max-Flow Min-Cut Theorems and Their Use in Designing Approximation Algorithms", 《JOURNAL OF THE ACM》 *
VLADIMIR KOLMOGOROV 等: "Graph Cut Algorithms for Binocular Stereo with Occlusions", 《SPRINGER》 *
李娇: "基于立体视觉的双目匹配", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
皮志明: "结合深度信息的图像分割算法研究", 《中国博士学位论文全文数据库信息科技辑》 *
胡汉平: "双目立体测距关键技术研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288659A (zh) * 2019-05-27 2019-09-27 魏运 一种基于双目视觉的深度成像及信息获取方法
CN110288659B (zh) * 2019-05-27 2021-07-13 魏运 一种基于双目视觉的深度成像及信息获取方法

Also Published As

Publication number Publication date
CN108830860B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN104134234B (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN111428765B (zh) 一种基于全局卷积、局部深度卷积融合的目标检测方法
CN108961327A (zh) 一种单目深度估计方法及其装置、设备和存储介质
Tsai et al. Real-time indoor scene understanding using bayesian filtering with motion cues
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN107862698A (zh) 基于k均值聚类的光场前景分割方法及装置
CN106599805A (zh) 一种基于有监督数据驱动的单目视频深度估计方法
CN104408733B (zh) 基于对象随机游走的遥感图像视觉显著性检测方法及系统
CN102609950B (zh) 一种二维视频深度图的生成方法
CN105869178A (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
CN106709901B (zh) 基于深度先验的模拟雾图生成方法
CN104346824A (zh) 基于单张人脸图像自动合成三维表情的方法及装置
CN103942535B (zh) 多目标跟踪方法及装置
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN108154104A (zh) 一种基于深度图像超像素联合特征的人体姿态估计方法
CN110349186B (zh) 基于深度匹配的大位移运动光流计算方法
CN110276768A (zh) 图像分割方法、图像分割装置、图像分割设备及介质
CN103955945A (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN107146219B (zh) 一种基于流形正则化支持向量机的图像显著性检测方法
CN106529432A (zh) 一种深度融合显著性检测与先验知识的手部区域分割方法
CN106327576B (zh) 一种城市场景重建方法及系统
CN107527054A (zh) 基于多视角融合的前景自动提取方法
CN115330940B (zh) 一种三维重建方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant