CN109409376A - 针对固废对象的图像分割方法、计算机终端及存储介质 - Google Patents

针对固废对象的图像分割方法、计算机终端及存储介质 Download PDF

Info

Publication number
CN109409376A
CN109409376A CN201811306735.1A CN201811306735A CN109409376A CN 109409376 A CN109409376 A CN 109409376A CN 201811306735 A CN201811306735 A CN 201811306735A CN 109409376 A CN109409376 A CN 109409376A
Authority
CN
China
Prior art keywords
pixel
super
mask
depth
solid waste
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811306735.1A
Other languages
English (en)
Other versions
CN109409376B (zh
Inventor
张剑华
陈嘉伟
孙波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Zidong Intelligent Technology Co Ltd
Original Assignee
Kunshan Zidong Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Zidong Intelligent Technology Co Ltd filed Critical Kunshan Zidong Intelligent Technology Co Ltd
Priority to CN201811306735.1A priority Critical patent/CN109409376B/zh
Publication of CN109409376A publication Critical patent/CN109409376A/zh
Application granted granted Critical
Publication of CN109409376B publication Critical patent/CN109409376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对固废对象的图像分割方法、计算机终端及存储介质，方法包括：从深度摄像头获取RGB图像与3D点云数据；对RGB图像与3D点云数据进行预处理，生成与RGB图像对应的单通道深度图；利用深度卷积神经网络与softmax获得每个像素点的标签分配概率；结合预先构建的多标签的全连接条件随机场，最小化能量函数，实现对不同类型区域的标记，得到前景mask；由前景mask提取局部mask，对局部mask对应的局部RGB图像进行SLIC超像素分割得到由若干超像素组成的超像素集；结合像素的深度信息与超像素集提取局部mask内的歧义区域，并利用超像素来扩展边缘实现对局部mask的分割。本发明的技术方案受工业环境影响较小，可有效提取固废物体存在的歧义区域，分割精确度较高。

Description

针对固废对象的图像分割方法、计算机终端及存储介质
技术领域
本发明涉及针对固废垃圾的图像分割领域，特别是提出了一种针对固废对象的图像分割方法、计算机终端及存储介质。
背景技术
我国建筑垃圾存量较大，建筑垃圾的资源回收利用迫在眉睫。其中，固废分拣是建筑垃圾资源化中的关键技术，即对固废图像进行分割识别从而指导机器人进行分拣。但是，现有的图像分割算法并不适用于固废分拣这一特定场景。固废对象易被粉尘和垃圾碎屑遮挡，导致视觉特征严重退化。传统通过颜色和边缘信息实现分割的方法几乎失效。而融合RGB-D信息的分割算法也无法满足固废分拣的技术要求。
对于建筑垃圾自动分拣抓取任务，对象的位置信息和轮廓信息是必不可少的。而将计算机图像分割算法应用在这个场景中，无疑是十分合适的。通过图像分割算法，对固废图像进行精确的分割，可以得到每个对象的位置和轮廓。结合机械臂和图像分割算法来实现高效的固废回收，是值得期待的。但是，由于工业现场和固废对象的特点，要通过分割算法从获取的固废图像中分割固废对象是非常困难的。
传统的分割算法并不适用于固废图像分割。工业现场的环境比较恶劣，存在多种干扰：摄像头往往处于震动、高灰的环境下；传送带也常常会被粉尘遮挡；而固废物体，也因为表面的附着物，导致视觉特征退化严重。在这些情况下获取到的固废图像，分割出物体是非常困难的。绝大多数现有的可见光图像分割算法，使用图像的颜色和轮廓特征进行分割。尽管它们在图像数据集上的效果可以很好，但是由于工业环境比较复杂，它们并不能适用。传送带表面存在粉尘遮挡，而固废物体存在黏连情况。由于表面的灰尘颗粒导致了固废物体颜色的严重退化，仅仅依靠颜色信息和轮廓信息，并不能对固废物体进行很好的分割。因此，传统的可图像分割方法并不能很好的处理固废图像。随着深度传感器的出现，结合深度的图像分割成为新的焦点。所以，需要一种新的恶劣环境下的固废图像分割算法，为建筑垃圾资源化提供可靠的解决方案。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种不受工业环境影响、精确度较高的针对固废对象的图像分割方法、计算机终端及存储介质。
技术方案：为实现上述目的，本发明的针对固废对象的图像分割方法，所述方法包括：
从深度摄像头获取RGB图像与3D点云数据；
对所述RGB图像进行像素类别标注得到对应的标签文件，从所述3D点云数据读取对应于所述RGB图像的像素的深度值，并将之映射到0～255区间，生成与所述RGB图像对应的单通道深度图；
将所述RGB图像及所述单通道深度图分别作为深度卷积神经网络的输入，分别将两者最后一层卷积层输出的特征图进行加权求和后作为输入训练softmax分类器，获得每个像素点的标签分配概率；
将每个像素点的标签分配概率结合预先构建的多标签的全连接条件随机场，最小化全连接条件随机场的能量函数，实现对不同类型区域的标记，得到前景mask；
由所述前景mask提取局部mask，对所述局部mask对应的局部RGB图像进行SLIC超像素分割得到由若干超像素组成的超像素集；
结合像素的深度信息与所述超像素集提取所述局部mask内的歧义区域，并利用超像素来扩展边缘实现对所述局部mask的分割。
可选地，所述深度卷积神经网络具有两个输入层，分别为第一输入层与第二输入层，所述将所述RGB图像及所述单通道深度图分别作为深度卷积神经网络的输入具体包括：
将所述RGB图像及其对应的所述标签文件输入所述第一输入层；
将所述单通道深度图输入所述第二输入层。
可选地，所述能量函数包含一元能量项与二元能量项，所述一元能量项与所述每个像素点的标签分配概率相关联，所述二元能量项对像素之间是否颜色相似且位置相近、像素之间是否相邻、像素之间是否深度至相似且位置相近这三个因素敏感。
可选地，所述结合像素的深度信息与所述超像素集提取所述局部mask内的歧义区域具体包括：
提取所述局部mask的外部闭合轮廓；
结合局部mask内的像素的深度信息得到局部mask中的内部边缘；
结合所述内部边缘与SLIC超像素分割的结果提取局部mask内的歧义区域。
可选地，所述结合局部mask内的像素的深度信息得到局部mask中的内部边缘具体包括：
获取所述局部mask内的像素的深度值；
计算像素之间的深度值的梯度，根据所述深度值的梯度得到所述局部mask内的内部边缘。
可选地，所述结合所述内部边缘与SLIC超像素分割的结果提取局部mask内的歧义区域具体包括：
通过所述内部边缘与超像素集计算所述局部mask内部的边缘区域；
对所述边缘区域进行扩张，并计算扩张后的边缘区域的可信度，得出有效的边缘区域以及无效的边缘区域，无效的边缘区域即为歧义区域。
可选地，所述通过所述内部边缘与超像素集计算所述局部mask内部的边缘区域具体包括：
通过所述内部边缘提取边缘像素集；
通过超像素集与所述边缘像素集提取边缘超像素集；
将所述边缘超像素集中相邻的超像素提取出来作为相邻超像素集，每一个所述相邻超像素集均为边缘区域。
可选地，所述利用超像素来扩展边缘实现对所述局部mask的分割具体包括：
计算每一块超像素的LAB颜色、深度的值以及中心坐标；
计算每一个待分类的像素与每一块所述超像素的差异度；
计算每一个待分类的像素与邻居超像素集合间的差异度；
将最相似的所述超像素的标签分配给待分类的像素，当所有待分类的像素重新标记结束，对局部mask的分割完成。
计算机终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述针对固废对象的图像分割方法。
存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述针对固废对象的图像分割方法。
有益效果：本发明的针对固废对象的图像分割方法、计算机终端及存储介质可以克服工业环境下大量的灰尘颗粒导致固废物体颜色的严重退化导致图像难以分割的问题，受工业环境影响较小，可有效提取固废物体存在的歧义区域(黏连区域)，分割精确度较高，为建筑垃圾自动分拣抓取任务提供了很好的基础，实用性高；该方法的应用领域不限于固废对象分割领域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1为本发明各实施例中的针对固废对象的图像分割方法的流程图；
附图2为本发明各实施例中的计算机终端的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有预设的的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
此外，下面所描述的本发明的各个实施方式中所涉及到的技术特征只要彼此未构成冲突就可以相互使用。
如附图1所示的针对固废对象的图像分割方法，该方法应用在用于处理固废对象的自动抓取机器人的控制系统上，其执行主体为控制系统，控制系统连接用于采集视觉数据的深度摄像头，所述方法包括步骤S101-S107：
步骤S101，从深度摄像头获取RGB图像与3D点云数据；
步骤S102，对所述RGB图像进行像素类别标注得到对应的标签文件，从所述3D点云数据读取对应于所述RGB图像的像素的深度值，并将之映射到0～255区间，生成与所述RGB图像对应的单通道深度图；
步骤S103，将所述RGB图像及所述单通道深度图分别作为深度卷积神经网络的输入，分别将两者最后一层卷积层输出的特征图进行加权求和后作为输入训练softmax分类器，获得每个像素点的标签分配概率；
步骤S104，将每个像素点的标签分配概率结合预先构建的多标签的全连接条件随机场，最小化全连接条件随机场的能量函数，实现对不同类型区域的标记，得到前景mask；
步骤S105，由所述前景mask提取局部mask，对所述局部mask对应的局部RGB图像进行SLIC超像素分割得到由若干超像素组成的超像素集；
步骤S106，结合像素的深度信息与所述超像素集提取所述局部mask内的歧义区域，并利用超像素来扩展边缘实现对所述局部mask的分割。
其中，步骤S103中，深度卷积神经网络结构的搭建是学习算法中首先要解决的问题。深度卷积神经网络包含2个输入层，即第一输入层data1层以及第二输入层data2层，data1层输入RGB图像和对应的标签文件，data2层输入对应的深度图。将两者最后一层卷积层输出的特征图进行加权求和后作为输入训练softmax分类器，以获得每个像素点的标签分配概率。
步骤S104中，全连接条件随机场处理过程如下：
为了构建一个多标签的全连接条件随机场，提出了适用于固废对象的能量函数，然后通过最小化能量函数，来实现对不同类别区域的标记。首先定义S＝{1，2，3，…，n}表示像素集合，像素与随机变量一一对应。对于随机变量X＝{x1，x2，x3，…xn}，每一个xi都有xi∈C，C＝{0，1，2…l}。C表示标签集合，l由得到固废对象的类别数量决定。
预先构建的适用于固废对象的能量函数包含一元能量项与二元能量项，所述一元能量项与所述每个像素点的标签分配概率相关联，所述二元能量项对像素之间是否颜色相似且位置相近、像素之间是否相邻、像素之间是否深度至相似且位置相近这三个因素敏感。
具体地，全连接的条件随机场的能量函数，可以定义为：
其中i，j是像素的索引，αu表示一元能量项，βp表示二元能量项。其中二元能量项符合高斯核的线性组合，可以通过高效近似推理算法，来降低计算复杂度，实现高效的像素标记；
其次一元能量项αu(xi)表示的是，分配像素i标签xi的代价。定义如公式所示：
αu(xi)＝-log P(xi)
其中P(xi)表示每个像素点的标签分配概率。
最后将二元能量项函数定义为：
其中，g1(i，j)，g2(i，j)，g3(i，j)为三个对比度敏感函数，w1，w2，w3，分别是它们对应的权重。这三个对比度敏感函数，基于像素的RGB-D信息和位置信息。用i，j表示像素，Ii，Ij的RGB颜色信息，，di，dj表示它们的深度信息，而Pi，Pj表示它们的位置。g1(i，j)控制颜色相似且位置相近的像素被标记成同一标签，g2(i，j)控制相邻的像素被尽可能分配同一标签，保证得到的分割结果平滑，减少孤立的像素或者区域。g3(i，j)控制深度值信息相似且位置相近的像素被标记成同一标签。
步骤S105中，由所述前景mask通过连通域提取得到局部mask，对所述局部mask对应的局部RGB图像进行SLIC超像素分割得到由若干超像素组成的超像素集；而根据局部mask可以提取对应无背景的局部RGB图，然后对局部RGB图像执行SLIC超像素分割，得到超像素集合S＝(s1，s2，s3，…sn-1，sn}。si，表示一个单独的超像素，即一个像素集合，由多个特征相近的像素组成。SLIC超像素分割可以生成紧凑、近似均匀的超像素，而且在运算速度、物体轮廓保持、超像素形状方面也有很好的表现，这有益于算法后续快速提取合适大小的歧义区域。
步骤S106中，对歧义(黏连)区的提取过程如下：
1)在得到局部mask后，通过轮廓检测算法，可以得到mask对应的外部闭合轮廓Fc。而对于多个颜色相近的固废对象粘连在一起，通过二维视觉特征很难的将它们分割开，因此需要以深度信息为线索，计算像素点之间深度的梯度得到局部mask中的深度边缘图Em来辅助分割粘连的对象，根据公式得到局部mask的内部边缘Einner，公式定义如下：
其中，表示在Fc上执行膨胀操作。
2)通过下列公式提取边缘像素集Ep，
Ep＝{p(x，y)|Einner(x，y)＝255}
其中，p(x，y)为满足条件的像素点，Einner(x，y)为Einner图上第y行，第x列的像素值。通过超像素集合S和边缘像素集Ep，根据下列公式提取边缘超像素集Bsp：
其中，p是图像中任意像素点，sk是满足条件的超像素，将Bsp中相邻的超像素提取出来作为相邻超像素集合，每一个相邻超像素集定义为边缘区域Bregion；
3)基于边缘区域Bregion，通过一个迭代来生成歧义区域，迭代过程如公式：
其中，Mlocal是局部mask，是Bregion经过x次扩张后的边缘区域。每次边缘区域的扩张都通过向外合并相邻的超像素来完成，通过下列公式扩张为
其中是边缘区域的相邻超像素集合，x初始为0，每一次迭代，x加1。经过多次迭代后，边缘区域会越来越大。
由于存在无效边缘区域扩张过程中，Mobj也会被分为多个独立的部分的情况，因此需要对块的大小进行判断。对于一个独立的部分，如果它含有超像素的数量大于阈值Ts，那么认为它是组成一个对象的有效部分，否则认为是无效部分。对于每一个有效部分，都认为它是组成物体的主体，即每一个有效部分，对应一个对象。对于有些无效的边缘区域，经过多次迭代，会变的很大，也能将Mobj分为多个部分。因此需要设置迭代停止的条件，当迭代的次数x大于设定阈值Tt或者拥有两块或者两块以上相互独立的有效块时，算法停止迭代过程。Ts和Tt由先验值给出。
然后，算法通过下列公式计算得到的边缘区域的可信度，
其中，是最终生成的边缘区域，γ是最终边界区域扩张的次数，表示拥有的像素个数，边缘区域占Mlocal的比例越大，它成为歧义区域的可能性越小，f＝1表示Mlocal含有两块或者两块以上相互独立的有效部分；f＝0表示Mobj没有两块或者两块以上相互独立的有效部分。如果大于一个阈值Tp，这个边缘区域就被选择作为歧义区域，是粘连或遮挡对象间难以区分的区域。阈值Tp由先验值给出。
步骤S106中，利用超像素来扩展边缘实现对所述局部mask的分割具体包括下列步骤：
首先，计算每一块超像素的LAB颜色和深度的值，和超像素的中心坐标。然后对于每一个待分类的像素，通过下列公式计算它与每一块超像素的差异度，
其中，dlab为LAB颜色空间上的欧式距离，ddepth为深度的欧式距离，dxy是图像坐标系上坐标的欧氏距离，wlab，wdepth和wxy是各个距离的权重，i是超像素集中超像素的序号。得到像素与超像素集合中所有超像素的差异度后，通过下列公式来计算像素与邻居超像素集合间差异度：
其中，j是超像素集中超像素的序号，n是邻居超像素集中超像素的个数。对于得到的差异度d，d越小表示像素与邻居超像素集越相似。因此，算法将最相似的超像素集的标签分配给待分类的像素。而当所有像素重标记结束后，局部mask完成分割。
本发明还提供一种计算机终端，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如附图2所示，本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器等，存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述针对固废对象的图像分割方法的步骤。
本实施例还提供一种计算机可读的存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储计算机程序，计算机程序被处理器执行时实现本发明的针对固废对象的图像分割方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.针对固废对象的图像分割方法，其特征在于，所述方法包括：
从深度摄像头获取RGB图像与3D点云数据；
对所述RGB图像进行像素类别标注得到对应的标签文件，从所述3D点云数据读取对应于所述RGB图像的像素的深度值，并将之映射到0～255区间，生成与所述RGB图像对应的单通道深度图；
将所述RGB图像及所述单通道深度图分别作为深度卷积神经网络的输入，分别将两者最后一层卷积层输出的特征图进行加权求和后作为输入训练softmax分类器，获得每个像素点的标签分配概率；
将每个像素点的标签分配概率结合预先构建的多标签的全连接条件随机场，最小化全连接条件随机场的能量函数，实现对不同类型区域的标记，得到前景mask；
由所述前景mask提取局部mask，对所述局部mask对应的局部RGB图像进行SLIC超像素分割得到由若干超像素组成的超像素集；
结合像素的深度信息与所述超像素集提取所述局部mask内的歧义区域，并利用超像素来扩展边缘实现对所述局部mask的分割。
2.根据权利要求1所述的针对固废对象的图像分割方法，其特征在于，所述深度卷积神经网络具有两个输入层，分别为第一输入层与第二输入层，所述将所述RGB图像及所述单通道深度图分别作为深度卷积神经网络的输入具体包括：
将所述RGB图像及其对应的所述标签文件输入所述第一输入层；
将所述单通道深度图输入所述第二输入层。
3.根据权利要求1所述的针对固废对象的图像分割方法，其特征在于，所述能量函数包含一元能量项与二元能量项，所述一元能量项与所述每个像素点的标签分配概率相关联，所述二元能量项对像素之间是否颜色相似且位置相近、像素之间是否相邻、像素之间是否深度至相似且位置相近这三个因素敏感。
4.根据权利要求1所述的针对固废对象的图像分割方法，其特征在于，所述结合像素的深度信息与所述超像素集提取所述局部mask内的歧义区域具体包括：
提取所述局部mask的外部闭合轮廓；
结合局部mask内的像素的深度信息得到局部mask中的内部边缘；
结合所述内部边缘与SLIC超像素分割的结果提取局部mask内的歧义区域。
5.根据权利要求4所述的针对固废对象的图像分割方法，其特征在于，所述结合局部mask内的像素的深度信息得到局部mask中的内部边缘具体包括：
获取所述局部mask内的像素的深度值；
计算像素之间的深度值的梯度，根据所述深度值的梯度得到所述局部mask内的内部边缘。
6.根据权利要求4所述的针对固废对象的图像分割方法，其特征在于，所述结合所述内部边缘与SLIC超像素分割的结果提取局部mask内的歧义区域具体包括：
通过所述内部边缘与超像素集计算所述局部mask内部的边缘区域；
对所述边缘区域进行扩张，并计算扩张后的边缘区域的可信度，得出有效的边缘区域以及无效的边缘区域，无效的边缘区域即为歧义区域。
7.根据权利要求6所述的针对固废对象的图像分割方法，其特征在于，所述通过所述内部边缘与超像素集计算所述局部mask内部的边缘区域具体包括：
通过所述内部边缘提取边缘像素集；
通过超像素集与所述边缘像素集提取边缘超像素集；
将所述边缘超像素集中相邻的超像素提取出来作为相邻超像素集，每一个所述相邻超像素集均为边缘区域。
8.根据权利要求1所述的针对固废对象的图像分割方法，其特征在于，所述利用超像素来扩展边缘实现对所述局部mask的分割具体包括：
计算每一块超像素的LAB颜色、深度的值以及中心坐标；
计算每一个待分类的像素与每一块所述超像素的差异度；
计算每一个待分类的像素与邻居超像素集合间的差异度；
将最相似的所述超像素的标签分配给待分类的像素，当所有待分类的像素重新标记结束，对局部mask的分割完成。
9.计算机终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述针对固废对象的图像分割方法。
10.存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述针对固废对象的图像分割方法。
CN201811306735.1A 2018-11-05 2018-11-05 针对固废对象的图像分割方法、计算机终端及存储介质 Active CN109409376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811306735.1A CN109409376B (zh) 2018-11-05 2018-11-05 针对固废对象的图像分割方法、计算机终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811306735.1A CN109409376B (zh) 2018-11-05 2018-11-05 针对固废对象的图像分割方法、计算机终端及存储介质

Publications (2)

Publication Number Publication Date
CN109409376A true CN109409376A (zh) 2019-03-01
CN109409376B CN109409376B (zh) 2020-10-30

Family

ID=65471664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811306735.1A Active CN109409376B (zh) 2018-11-05 2018-11-05 针对固废对象的图像分割方法、计算机终端及存储介质

Country Status (1)

Country Link
CN (1) CN109409376B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443820A (zh) * 2019-07-03 2019-11-12 平安科技（深圳）有限公司 一种图像处理方法以及装置
CN110992384A (zh) * 2019-11-15 2020-04-10 五邑大学 半自动化图像数据标注方法、电子装置及存储介质
CN111144480A (zh) * 2019-12-25 2020-05-12 深圳蓝胖子机器人有限公司 一种可回收垃圾视觉分类方法、系统、设备
CN112084364A (zh) * 2020-09-11 2020-12-15 苏州科达科技股份有限公司 对象分析方法、局部图像搜索方法、设备及存储介质
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292928B2 (en) * 2013-06-28 2016-03-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
CN105513070A (zh) * 2015-12-07 2016-04-20 天津大学 一种基于前景背景优化的rgb-d显著物体检测方法
CN106570874A (zh) * 2016-11-10 2017-04-19 宁波大学 一种结合图像局部约束与对象全局约束的图像标记方法
CN107527350A (zh) * 2017-07-11 2017-12-29 浙江工业大学 一种面向视觉特征退化图像的固废对象分割方法
CN107622244A (zh) * 2017-09-25 2018-01-23 华中科技大学 一种基于深度图的室内场景精细化解析方法
CN108596919A (zh) * 2018-04-24 2018-09-28 重庆邮电大学 一种基于深度图的自动图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292928B2 (en) * 2013-06-28 2016-03-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
CN105513070A (zh) * 2015-12-07 2016-04-20 天津大学 一种基于前景背景优化的rgb-d显著物体检测方法
CN106570874A (zh) * 2016-11-10 2017-04-19 宁波大学 一种结合图像局部约束与对象全局约束的图像标记方法
CN107527350A (zh) * 2017-07-11 2017-12-29 浙江工业大学 一种面向视觉特征退化图像的固废对象分割方法
CN107622244A (zh) * 2017-09-25 2018-01-23 华中科技大学 一种基于深度图的室内场景精细化解析方法
CN108596919A (zh) * 2018-04-24 2018-09-28 重庆邮电大学 一种基于深度图的自动图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ISLEM JEBARI等: "《Color and Depth-Based Superpixels for Background and Object Segmentation》", 《INTERNATIONAL SYMPOSIUM ON ROBOTICS AND INTELLIGENT SENSORS 2012》 *
田虎: "《单目图像的深度估计》", 《中国博士学位论文全文数据库 信息科技辑》 *
韩铮等: "《基于纹元森林和显著性先验的弱监督图像语义分割方法》", 《电子与信息学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443820A (zh) * 2019-07-03 2019-11-12 平安科技（深圳）有限公司 一种图像处理方法以及装置
WO2021000495A1 (zh) * 2019-07-03 2021-01-07 平安科技（深圳）有限公司 一种图像处理方法以及装置
CN110443820B (zh) * 2019-07-03 2023-07-14 平安科技（深圳）有限公司 一种图像处理方法以及装置
CN110992384A (zh) * 2019-11-15 2020-04-10 五邑大学 半自动化图像数据标注方法、电子装置及存储介质
CN110992384B (zh) * 2019-11-15 2023-04-11 五邑大学 半自动化图像数据标注方法、电子装置及存储介质
CN111144480A (zh) * 2019-12-25 2020-05-12 深圳蓝胖子机器人有限公司 一种可回收垃圾视觉分类方法、系统、设备
CN112084364A (zh) * 2020-09-11 2020-12-15 苏州科达科技股份有限公司 对象分析方法、局部图像搜索方法、设备及存储介质
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
CN114708464B (zh) * 2022-06-01 2022-08-30 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Also Published As

Publication number Publication date
CN109409376B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN109409376A (zh) 针对固废对象的图像分割方法、计算机终端及存储介质
Kuang et al. Combining region-of-interest extraction and image enhancement for nighttime vehicle detection
CN105488517B (zh) 一种基于深度学习的车辆品牌型号识别方法
Gomaa et al. Faster CNN-based vehicle detection and counting strategy for fixed camera scenes
WO2019144575A1 (zh) 一种快速行人检测方法及装置
KR102554724B1 (ko) 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스
Camplani et al. A benchmarking framework for background subtraction in RGBD videos
CN108596944A (zh) 一种提取运动目标的方法、装置及终端设备
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
CN101650728A (zh) 视频高层特征检索系统及其实现
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN105224075A (zh) 基于传感器的移动搜索、相关方法和系统
CN106683046A (zh) 用于警用无人机侦察取证的图像实时拼接方法
CN109977997A (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
Nowak et al. Overview of the CLEF 2009 large-scale visual concept detection and annotation task
CN110110689A (zh) 一种行人重识别方法
CN106682092A (zh) 一种目标检索方法及终端
Li et al. A visualized fire detection method based on convolutional neural network beyond anchor
Xu et al. BANet: A balanced atrous net improved from SSD for autonomous driving in smart transportation
Deshpande et al. Comparative analysis on YOLO object detection with OpenCV
CN110390314A (zh) 一种视觉感知方法及设备
Li et al. Vehicle detection in remote sensing images using denoizing-based convolutional neural networks
CN113516113A (zh) 一种图像内容识别方法、装置、设备及存储介质
CN110390681A (zh) 一种基于深度相机的深度图物体轮廓快速提取方法及装置
Ren et al. A new multi-scale pedestrian detection algorithm in traffic environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant