CN107909576B - 基于支撑语义关系的室内rgb-d图像物体分割方法 - Google Patents

基于支撑语义关系的室内rgb-d图像物体分割方法 Download PDF

Info

Publication number
CN107909576B
CN107909576B CN201711174607.1A CN201711174607A CN107909576B CN 107909576 B CN107909576 B CN 107909576B CN 201711174607 A CN201711174607 A CN 201711174607A CN 107909576 B CN107909576 B CN 107909576B
Authority
CN
China
Prior art keywords
plane
semantic relation
support semantic
support
energy function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711174607.1A
Other languages
English (en)
Other versions
CN107909576A (zh
Inventor
陈昊天
张彪
郭迎港
孙凤池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201711174607.1A priority Critical patent/CN107909576B/zh
Publication of CN107909576A publication Critical patent/CN107909576A/zh
Application granted granted Critical
Publication of CN107909576B publication Critical patent/CN107909576B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Abstract

一种基于支撑语义关系的室内RGB‑D图像物体分割方法，该图像物体分割方法包括以下步骤：1)通过几何体质量构造单个物体的势能函数，根据势能函数构造单个物体的不稳定函数，进而构造全局能量函数；2)以物体的几何体为节点、支撑语义关系为边、支撑概率为边概率构造随机图，根据随机图和全局能量函数，分割识别强支撑语义关系；3)将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并。本发明通过识别物体间抽象的支撑语义关系，弥补丰富的物体形态所造成的先验知识不完备的问题，利用强支撑语义关系将同一物体被过度分割的部分重新合并起来，从而提高RGB‑D图像中物体分割的准确性。

Description

基于支撑语义关系的室内RGB-D图像物体分割方法
技术领域
本发明涉及图像处理和智能机器人的交叉领域，尤其涉及一种基于支撑语义关系的室内RGB-D(颜色-深度)图像物体分割方法。
背景技术
现有技术中对室内RGB-D图像物体分割通常包括以下几种方法：
1、Beyond point clouds:scene understanding by reasoning geometry andphysics[1]：
该方法对场景点云数据进行几何和物理推理，利用SWC(Swendsen-Wang cuts)算法通过补全三维体元和估计体元总体稳定性的方式来进行物体分割。但，该方法并没有利用颜色信息，并且没有针对先验知识不完备的情况。在先验知识不完备，特征选择不完善，或者数据的标注过程中存在错标，漏标的情况，该方法不能正常的完成对图像的分割。
2、Detecting potential falling objects by inferring human action andnatural disturbance[2]：
该方法对物体的位姿稳定性进行建模，通过模拟人所产生的场和自然灾害所产生的场来检测潜在可能坠落的物体。该方法针对的是室外的灾难环境，没有针对室内正常环境，限制了应用的场合。
3、3D voxel HOG and risk estimation[3]和A 3D scene analysis frameworkand descriptors for risk evaluation[4]：
采用三维体元的HOG(方向梯度直方图)特征，通过训练Adaboost分类器来获得物体危险指数，进而评估环境中的风险。该方法主要针对小范围的物体，没有针对大范围的物体，限制了应用的局限性。
发明内容
本发明提供了一种基于支撑语义关系的室内RGB-D图像物体分割方法，本发明通过识别物体间抽象的支撑语义关系，弥补丰富的物体形态所造成的先验知识不完备的问题，利用强支撑语义关系将同一物体被过度分割的部分重新合并起来，从而提高RGB-D图像中物体分割的准确性，详见下文描述：
一种基于支撑语义关系的室内RGB-D图像物体分割方法，所述图像物体分割方法包括以下步骤：
1)通过几何体质量构造单个物体的势能函数，根据势能函数构造单个物体的不稳定函数，进而构造全局能量函数；
2)以物体的几何体为节点、支撑语义关系为边、支撑概率为边概率构造随机图，根据随机图和全局能量函数，分割识别强支撑语义关系；
3)将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并。
上述步骤1)中的构造全局能量函数具体为：
结合单个物体的不稳定函数、以及惩罚项构造全局能量函数。
所述全局能量函数具体为：
Figure BDA0001477957980000021
其中，E(L|G)表示在图G下以标签L进行物体分割时的全局能量函数，l为某一标签，Oi为属于同一标签的一个物体，E(Oi)为单个物体的不稳定函数，F(Oi)为惩罚项。
上述步骤3)中的将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并具体为：
分割状态的边状态就是物体块间的强支撑语义关系，通过调节支撑概率和转移概率中的参数，控制支撑语义关系的强弱；
将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并。
进一步地，所述控制支撑语义关系的强弱具体为：
降低强支撑语义关系的能量，提高对弱支撑语义关系的惩罚。
在步骤1)之前，所述图像物体分割方法还包括：
将分割后的点云转化成几何体、估计几何体属性、以及计算支撑概率。
进一步地，所述将分割后的点云转化成几何体具体为：
提取最大平面的法向量；提取次大平面的法向量；确定最后一对平面法向量；
根据三个法向量，通过RANSAC方法寻找包含60％数据点且体积最小的立方体。
其中，所述提取最大平面的法向量具体为：
对物体块点云中全部的数据点采用RANSAC进行平面拟合，找到点云中最大平面，并将最大平面的法向量作为拟合立方体的主平面方向。
其中，所述提取次大平面的法向量具体为：
(1)去掉最大平面邻域范围内的点，判断剩余点云中的点是否可以计算次大平面，如果是，执行步骤(2)；如果否，执行步骤(3)；
(2)对剩余点云中的点进行RANSAC平面拟合，约束平面法向向量垂直于主平面方向，找到点云中次大平面，并将次大平面的法向量作为拟合立方体的次平面方向；
(3)通过RANSAC寻找原点云中垂直于最大平面的最窄方向，约束平面法向向量垂直于主平面方向，并将最大平面的最窄方向的法向量作为拟合立方体的次平面方向。
进一步地，所述确定最后一对平面法向量具体为：
所述最后一对平面法向量垂直于主平面方向和次平面方向。
本发明提供的技术方案的有益效果是：
1、本发明能够在先验知识不完备的情况下，将同一物体被过度分割的部分重新合并起来，从而提升了图像分割的准确性；
2、本发明适用于室内环境、可应用于小范围的物体、大范围的物体，扩大了实际应用中的范围；
3、通过实验验证，可以看出本发明提供的分割方法的可行性。
附图说明
图1为基于支撑语义关系的室内RGB-D图像物体分割方法的流程图；
图2为先验知识不完备分割的物体示意图；
图3为先验知识不完备分割的另一物体示意图；
图4为点云的几何体拟合的示意图；
图5为与图2对应的基于支撑语义的合并结果的示意图；
图6为与图3对应的基于支撑语义的合并结果的另一示意图；
图7为不同采样间隔下几何体拟合的时间曲线示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于支撑语义关系的室内RGB-D图像物体分割方法，该分割方法解决了不完备的训练数据集、以及真实环境中的罕见情形，会导致在图像分割时存在先验知识不完备，进而影响图像分割的效果等问题，参见图1，该分割方法包括以下步骤：
101：通过几何体质量构造单个物体的势能函数，根据势能函数构造单个物体的不稳定函数，进而构造全局能量函数；
102：以物体的几何体为节点、支撑语义关系为边、支撑概率为边概率构造随机图，根据随机图和全局能量函数，分割识别强支撑语义关系；
103：将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并。
其中，在步骤101之前，该分割方法还包括：将分割后的点云转化成几何体、估计几何体属性、以及计算支撑概率。
进一步地，将分割后的点云转化成几何体具体为：
提取最大平面的法向量；提取次大平面的法向量；确定最后一对平面法向量；
根据三个法向量，通过RANSAC方法寻找包含60％数据点且体积最小的立方体。
其中，提取最大平面的法向量具体为：
对物体块点云中全部的数据点采用RANSAC进行平面拟合，找到点云中最大平面，并将最大平面的法向量作为拟合立方体的主平面方向。
进一步地，提取次大平面的法向量具体为：
(1)去掉最大平面邻域范围内的点，判断剩余点云中的点是否可以计算次大平面，如果是，执行步骤(2)；如果否，执行步骤(3)；
(2)对剩余点云中的点进行RANSAC平面拟合，约束平面法向向量垂直于主平面方向，找到点云中次大平面，并将次大平面的法向量作为拟合立方体的次平面方向；
(3)通过RANSAC寻找原点云中垂直于最大平面的最窄方向，约束平面法向向量垂直于主平面方向，并将最大平面的最窄方向的法向量作为拟合立方体的次平面方向。
进一步地，确定最后一对平面法向量具体为：最后一对平面法向量垂直于主平面方向和次平面方向。
综上所述，本发明实施例通过上述步骤101-步骤103提出的基于物体间支撑语义关系的图像分割方法，能够在先验知识不完备的情况下，将同一物体被过度分割的部分重新合并起来，从而提升了图像分割的准确性。
实施例2
下面结合具体的计算公式、实例、图2-图4对实施例1中的方案进行进一步地介绍，详见下文描述：
201：数据采集、图像初次分割和下采样；
其中，该步骤201具体为：利用搭载Kinect的TurtleBot 2机器人同时采集彩色图像信息和深度图像信息；使用Indoor Segmentation and Support Inference from RGBDImages[5]中的方法进行初次分割，分割结果如图2、图3所示，由图可见该分割方法将墙面，柜子物体分为了几个部分。
由于原始点云数据量大，直接计算速度慢，而且感知物体边缘时会出现数据点不准确的问题。因此本发明实施例采用下采样方法处理kinect采集的点云数据，点云中的数据以每五行、每五列(优选)为间隔进行一次采样，在保留原数据信息的情况下尽可能地减少计算量和边缘误差。
本发明实施例仅以上述的平台、机器人、以及初次分割方法为例进行说明，具体实现时，还可以采用其他的设备或初次分割方法，本发明实施例对此不做限制。
本发明实施例对上述采样的行数、列数不做限制，仅以五行五列为例进行说明，具体实现时，本发明实施例对此不做限制。
202：将分割后的点云转化成几何体；
点云数据只包含表面轮廓，而支撑语义关系的建模需要体积等三维信息，因此将分割和下采样后每个物体的数据点进行几何体拟合。由于室内环境的结构规整，且大部分物体为人造物体，因此采用立方体对物体进行几何体拟合，如图4所示，为墙壁的几何体拟合，其中若干个点为物体块的点云数据，立方体为几何体拟合后的结果，可以看出由于遮挡，墙壁的点云并不规则。进行几何体拟合后，墙壁的轮廓和姿态得到了改善。
1)提取立方体主平面方向；
对物体块点云中全部的数据点采用RANSAC(随机抽样一致算法，该算法为本领域技术人员所公知，本发明实施例对此不做赘述)进行平面拟合，找到点云中最大平面，并将最大平面的法向量作为拟合立方体的主平面方向。
2)提取立方体次平面方向；
(1)去掉最大平面邻域范围内的点，判断剩余点云中的点是否可以计算次大平面，如果是，执行步骤(2)；如果否，执行步骤(3)；
即，实际操作时，若去掉最大平面邻域范围内的点后，剩余点云中的点不足以计算次大平面，则表明物体块扁平，此时需要考虑拟合的立方体应当尽量贴近物体块的点云表面。
(2)对剩余点云中的点进行RANSAC平面拟合，约束平面法向向量垂直于主平面方向，找到点云中次大平面，并将次大平面的法向量作为拟合立方体的次平面方向，然后执行步骤3)；
(3)通过RANSAC寻找原点云(即物体块点云中全部的数据点)中垂直于最大平面的最窄方向，约束平面法向向量垂直于主平面方向，并将最大平面的最窄方向的法向量作为拟合立方体的次平面方向，然后执行步骤3)；
3)确定最后一对平面法向量；
立方体的最后一对平面法向量应当垂直于主平面方向和次平面方向，已知主平面和次平面方向，可得最后的平面法向量。
4)立方体拟合。
故在已知三个法向量(最大平面的法向量、次大平面的法向量、以及最后的平面法向量)的前提下，通过RANSAC方法寻找包含60％数据点且体积最小的立方体。
由于RANSAC方法具有随机性，因此将上述几何体拟合重复10次，并以体积最小的立方体作为对物体块点云的几何体拟合。
203：估计几何体属性、以及计算支撑概率；
1)计算几何体体积：
vol＝volumn of the box
2)根据几何体体积计算几何体质量：
m＝ρ·vol
其中，ρ为密度参数，假设物体密度均匀。
3)计算几何体镜面对称度：
衡量物体块的平衡程度，影响与其他物体块的语义关系。
msj＝∑dist(point,axis plane j)
其中，j＝1、2、3表示三个对称面，dist是距离函数，距离在对称面法向向量方向为正，反之为负，point为点云数据点，axis plane j为点云该方向上对称面。
4)计算几何体地面倾斜度：
衡量物体块翻倒的可能性，影响与其他物体块的语义关系。
ba＝angle(bottom face,z axis)
其中，angle为求角度函数，底面倾斜度由底面(bottom face)与z轴的夹角(zaxis)得出，该夹角越大，物体块的倾斜程度就越严重。
5)计算几何体翻倒力矩：
衡量物体块翻倒的倾向程度，影响与其他物体块的语义关系。
t＝m·g·sin(ba)·dist(mass center,bottom face)
其中，g为重力系数；翻倒力矩为重力在质心(mass center)处对底面(bottomface)的力矩。
6)根据几何体体积、镜面对称度、地面倾斜度以及翻倒力矩计算支撑概率。
一物体对另一物体支撑语义关系的概率定义：
Figure BDA0001477957980000071
Figure BDA0001477957980000072
Figure BDA0001477957980000073
Figure BDA0001477957980000074
Figure BDA0001477957980000075
其中，qe为支撑概率，area(if)为物体立方体相交截面，area(isf)为物体立方体相交截面所在平面，
Figure BDA0001477957980000076
bav和tv分别为物体块v的体积、三个镜面对称度、底面倾斜度和翻倒力矩，Ti、Ts、Tb和Tt为权值。
例如：将一部手机放置在桌子上，手机与桌子接触的面为物体立方体相交截面，即为if；而相交截面所在的平面为桌面，即为isf。
204：通过几何体质量构造单个物体的势能函数，根据势能函数构造单个物体的不稳定函数，进而构造全局能量函数；
1)物体的不稳定程度：
1、通过几何体质量构造单个物体的势能函数：
Figure BDA0001477957980000077
其中，Oi为物体块集合，mv为物体块v的质量，
Figure BDA0001477957980000078
为物体块集合Oi最低点的高度，物体的重力势能与其高度和质量成正比。
2、根据上述单个物体的势能函数，构建单个物体的不稳定函数：
Figure BDA0001477957980000079
其中，
Figure BDA00014779579800000710
和
Figure BDA00014779579800000711
为物体块集合Oi拟合的立方体的总质量、当前高度以及按底面放平时的高度(即底面平放在地面上时的高度)，μg为权重。
Figure BDA00014779579800000712
其中，vl∈Oi为Oi中高度最小的物体块，
Figure BDA00014779579800000713
和
Figure BDA00014779579800000714
分别为它的底面和与它存在潜在相交关系的其他物体块v的相交截面。
2)结合单个物体的不稳定函数、以及惩罚项构造全局能量函数。
全局能量函数度量了某种物体分割结果下场景的总能量，不但应包含每个物体块集合的物体的不稳定性，还应拒绝过度合并物体块。
Figure BDA0001477957980000081
其中，E(L|G)表示在图G下以标签L进行物体分割时的全局能量函数，l为某一标签，Oi为属于同一标签的一个物体，E(Oi)为单个物体的不稳定函数，F(Oi)为惩罚项，定义为：
F(Oi)＝μ1f1(Oi)+μ2f2(Oi)
其中，f1(Oi)为属于同一标签的子物体个数，f2(Oi)为上方物体与下方物体的体积比，μ1和μ2为权重。
205：以物体的几何体为节点v、支撑语义关系为边e、支撑概率qe为边概率构造随机图，根据随机图和全局能量函数，分割识别支撑关系；
其中，以物体的几何体为节点v、支撑语义关系为边e、支撑概率qe(步骤203所获取)为边概率构造随机图，μe表示随机图中边的状态，on为开启，off为关闭，而随机图的连通性对应了场景中物体的分割状态。使用SWC算法(该算法为本领域技术人员所公知，本发明实施例对此不做赘述)在随机图上反复迭代寻找全局能量函数(步骤204所获取)的最小值，此时所对应的随机图的边的开启状态，就是物体块之间的强支撑语义关系。
在SWC算法中，转移概率定义为：
Figure BDA0001477957980000082
其中，π为当前随机图的分割状态，新的分割状态为π′，q(π′→π)和q(π→π′)由所有f分割边的支撑概率qe计算得出。E(L′|G)和E(L|G)分别为不同分割下的全局能量函数
206：将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并。
当步骤205中的算法趋于稳定时，分割状态π的边状态就是物体块间的强支撑语义关系。通过调节支撑概率qe和转移概率α(π→π′)中的参数，控制支撑语义关系的强弱，即降低强支撑语义关系的能量，提高对弱支撑语义关系的惩罚。将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并，实现更精确的RGB-D图像分割。
综上所述，本发明实施例提出的基于物体间支撑语义关系的图像分割，能够在先验知识不完备的情况下，将同一物体被过度分割的部分重新合并起来，从而提升了图像分割的准确性。
实施例3
下面结合图5、图6对实施例1和2中的方案进行可行性验证，详见下文描述：
其中，图5与图2对应，图6与图3对应。图7是不同采样间隔下几何体拟合的时间曲线处理图由图7可以看到处理时间随着采样间隔的扩大而减小，最后趋于稳定；且随着采样间隔的扩大，点云的细节会变模糊。综合考虑，决定选择五行五列的采样间隔。
采用下采样方法处理kinect采集的点云数据，点云中的数据以每五行、每五列(优选)为间隔进行一次采样，在保留原数据信息的情况下尽可能地减少计算量和边缘误差。图2和图3是初步分割的结果，经过初步分割，发现墙壁被分为几个不同的部分，图4是对分割后的墙壁进行几何体拟合，通过估计几何体属性和计算支撑概率，构造单个物体和全局能量函数的步骤后，进行随机图的分割，在图5和图6中初步分割算法将墙分为被框框住的两个部分，而经过本方法的处理发现，该两部分之间存在强支撑关系，应被视为一种物体，因此将其合并，所以图5和图6中被框框住的区域显示同一颜色。
参考文献列表
[1]ZhengB,Zhao Y,Yu J C,et al.Beyond point clouds:scene understandingby reasoning geometry and physics[C]//IEEE Conference on Computer Vision andPattern Recognition.Piscataway,USA:IEEE,2013:3127-3134
[2]Zheng B,Zhao Y,Yu J C,et al.Detecting potential falling objects byinferring human action and natural disturbance[C]//IEEE InternationalConference on Robotics and Automation.Piscataway,USA:IEEE,2014:3417-3424.
[3]Dupre R,Argyriou V.3D voxel HOG and risk estimation[C]//IEEEInternational Conference onDigital Signal Processing.Piscataway,USA:IEEE,2015:482-486.
[4]Dupre R,Argyriou V,Greenhill D,et al.A 3D scene analysis frameworkand descriptors for risk evaluation[C]//International Conference on 3DVision.Piscataway,USA:IEEE,2015:100-108.
[5]Silberman N,Hoiem D,Kohli P,et al.Indoor segmentation and supportinference from RGBD images[C]//European Conference on Computer Vision.Berlin,Germany:Springer,2012:746-760.
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于支撑语义关系的室内RGB-D图像物体分割方法，其特征在于，所述图像物体分割方法包括以下步骤：
1)通过几何体质量构造单个物体的势能函数，根据势能函数构造单个物体的不稳定函数，进而构造全局能量函数；
2)以物体的几何体为节点、支撑语义关系为边、支撑概率为边概率构造随机图，根据随机图和全局能量函数，分割识别强支撑语义关系；
3)将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并；
其中，上述步骤1)中的构造全局能量函数具体为：
结合单个物体的不稳定函数、以及惩罚项构造全局能量函数；
所述全局能量函数具体为：
Figure FDA0002941892010000011
其中，E(L|G)表示在图G下以标签L进行物体分割时的全局能量函数，l为某一标签，Oi为属于同一标签的一个物体，E(Oi)为单个物体的不稳定函数，F(Oi)为惩罚项；
所述步骤3)具体为：
分割状态的边状态就是物体块间的强支撑语义关系，通过调节支撑概率和转移概率中的参数，控制支撑语义关系的强弱；
将存在强支撑语义关系的物体块作为同一物体的不同部分加以合并；
所述控制支撑语义关系的强弱具体为：
降低强支撑语义关系的能量，提高对弱支撑语义关系的惩罚。
2.根据权利要求1所述的一种基于支撑语义关系的室内RGB-D图像物体分割方法，其特征在于，在步骤1)之前，所述图像物体分割方法还包括：
将分割后的点云转化成几何体、估计几何体属性、以及计算支撑概率。
3.根据权利要求2所述的一种基于支撑语义关系的室内RGB-D图像物体分割方法，其特征在于，所述将分割后的点云转化成几何体具体为：
提取最大平面的法向量；提取次大平面的法向量；确定最后一对平面法向量；
根据三个法向量，通过RANSAC方法寻找包含60％数据点且体积最小的立方体。
4.根据权利要求3所述的一种基于支撑语义关系的室内RGB-D图像物体分割方法，其特征在于，所述提取最大平面的法向量具体为：
对物体块点云中全部的数据点采用RANSAC进行平面拟合，找到点云中最大平面，并将最大平面的法向量作为拟合立方体的主平面方向。
5.根据权利要求3所述的一种基于支撑语义关系的室内RGB-D图像物体分割方法，其特征在于，所述提取次大平面的法向量具体为：
(1)去掉最大平面邻域范围内的点，判断剩余点云中的点是否可以计算次大平面，如果是，执行步骤(2)；如果否，执行步骤(3)；
(2)对剩余点云中的点进行RANSAC平面拟合，约束平面法向向量垂直于主平面方向，找到点云中次大平面，并将次大平面的法向量作为拟合立方体的次平面方向；
(3)通过RANSAC寻找原点云中垂直于最大平面的最窄方向，约束平面法向向量垂直于主平面方向，并将最大平面的最窄方向的法向量作为拟合立方体的次平面方向。
6.根据权利要求3所述的一种基于支撑语义关系的室内RGB-D图像物体分割方法，其特征在于，所述确定最后一对平面法向量具体为：
所述最后一对平面法向量垂直于主平面方向和次平面方向。
CN201711174607.1A 2017-11-22 2017-11-22 基于支撑语义关系的室内rgb-d图像物体分割方法 Expired - Fee Related CN107909576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711174607.1A CN107909576B (zh) 2017-11-22 2017-11-22 基于支撑语义关系的室内rgb-d图像物体分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711174607.1A CN107909576B (zh) 2017-11-22 2017-11-22 基于支撑语义关系的室内rgb-d图像物体分割方法

Publications (2)

Publication Number Publication Date
CN107909576A CN107909576A (zh) 2018-04-13
CN107909576B true CN107909576B (zh) 2021-06-25

Family

ID=61847291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711174607.1A Expired - Fee Related CN107909576B (zh) 2017-11-22 2017-11-22 基于支撑语义关系的室内rgb-d图像物体分割方法

Country Status (1)

Country Link
CN (1) CN107909576B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378359B (zh) * 2018-07-06 2021-11-05 北京京东尚科信息技术有限公司 一种图像识别方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258193A (zh) * 2013-05-21 2013-08-21 西南科技大学 一种基于kod能量特征的群体异常行为识别方法
CN105046688A (zh) * 2015-06-23 2015-11-11 北京工业大学 一种三维点云中的多平面自动识别方法
CN105335552A (zh) * 2015-09-29 2016-02-17 浙江大学 不可伸展带状物体的几何性质描述模型及动力学模拟方法
CN105809672A (zh) * 2016-03-03 2016-07-27 浙江大学 一种基于超像素和结构化约束的图像多目标协同分割方法
CN106529508A (zh) * 2016-12-07 2017-03-22 西安电子科技大学 基于局部和非局部多特征语义高光谱图像分类方法
CN106780751A (zh) * 2017-01-19 2017-05-31 桂林电子科技大学 基于改进的屏蔽泊松算法的三维点云重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2532948B (en) * 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258193A (zh) * 2013-05-21 2013-08-21 西南科技大学 一种基于kod能量特征的群体异常行为识别方法
CN105046688A (zh) * 2015-06-23 2015-11-11 北京工业大学 一种三维点云中的多平面自动识别方法
CN105335552A (zh) * 2015-09-29 2016-02-17 浙江大学 不可伸展带状物体的几何性质描述模型及动力学模拟方法
CN105809672A (zh) * 2016-03-03 2016-07-27 浙江大学 一种基于超像素和结构化约束的图像多目标协同分割方法
CN106529508A (zh) * 2016-12-07 2017-03-22 西安电子科技大学 基于局部和非局部多特征语义高光谱图像分类方法
CN106780751A (zh) * 2017-01-19 2017-05-31 桂林电子科技大学 基于改进的屏蔽泊松算法的三维点云重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Indoor segmentation and support inference from RGBD images;N Silberman et al;《European Conference on Computer Vision. Berlin, Germany: Springer》;20121007;第746–760页 *
Semantic Segmentation of RGB-D Images Using 3D and Local Neighbouring Features;Fahimeh Fooladgar et al;《2015 International Conference on Digital Image Computing: Techniques and Applications (DICTA)》;20151125;第1-7页 *
基于概念网的媒体大数据分析和结构化描述方法：CNKI句子检索, （支撑语义 s关系）and（图像 s 分割）;张宝鹏等;《中兴通讯技术》;20160302;第22卷(第2期);第33-37页 *
稀疏字典驱动高阶依赖的ＲGB-D室内场景语义分割;刘天亮;《南京邮电大学学报(自然科学版)》;20171031;第37卷(第5期);第13-18页 *
结合深度信息的图像分割算法研究;皮志明;《中国博士学位论文全文数据库 信息科技辑》;20131101(第10期);I138-36 *

Also Published As

Publication number Publication date
CN107909576A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN112101430B (zh) 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN110020592A (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN103632167B (zh) 类地重力场环境下单目视觉空间识别方法
CN112233177A (zh) 一种无人机位姿估计方法及系统
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN109242968A (zh) 一种基于多属性超体素图割的河道三维建模方法
CN113012063B (zh) 一种动态点云修复方法、装置及计算机设备
CN110070106A (zh) 烟雾检测方法、装置及电子设备
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN114387506A (zh) 输电杆塔监测方法、装置、计算机设备、存储介质
AU2010200144A1 (en) Extraction processes
CN110727817B (zh) 基于t-CNN的三维模型检索方法、终端设备及存储介质
CN115713605A (zh) 一种基于图像学习的商业类建筑群自动建模方法
CN113345092B (zh) 一种实景三维模型的地面模型与非地面模型自动分离方法
CN107909576B (zh) 基于支撑语义关系的室内rgb-d图像物体分割方法
CN104123724B (zh) 一种3d点云物体的快速检测方法
Xiao et al. Filtering method of rock points based on BP neural network and principal component analysis
CN112200248B (zh) 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质
CN109242786A (zh) 一种适用于城市区域的自动化形态学滤波方法
Dupre et al. A 3D scene analysis framework and descriptors for risk evaluation
AU2010200146A1 (en) Extraction processes
CN112926681B (zh) 一种基于深度卷积神经网络的目标检测方法及装置
CN109598793B (zh) 基于倾斜摄影测量快速修改植被和水体的制作方法及装置
Luo et al. Object-level segmentation of indoor point clouds by the convexity of adjacent object regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210625

Termination date: 20211122

CF01 Termination of patent right due to non-payment of annual fee