CN113516649B - 基于超像素分割的柜体表面检测方法 - Google Patents

基于超像素分割的柜体表面检测方法 Download PDF

Info

Publication number
CN113516649B
CN113516649B CN202110856004.XA CN202110856004A CN113516649B CN 113516649 B CN113516649 B CN 113516649B CN 202110856004 A CN202110856004 A CN 202110856004A CN 113516649 B CN113516649 B CN 113516649B
Authority
CN
China
Prior art keywords
super
pixel
color
cabinet
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110856004.XA
Other languages
English (en)
Other versions
CN113516649A (zh
Inventor
程敏
项导
林欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijiahe Technology Co Ltd
Original Assignee
Yijiahe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijiahe Technology Co Ltd filed Critical Yijiahe Technology Co Ltd
Priority to CN202110856004.XA priority Critical patent/CN113516649B/zh
Publication of CN113516649A publication Critical patent/CN113516649A/zh
Application granted granted Critical
Publication of CN113516649B publication Critical patent/CN113516649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于超像素分割的柜体表面检测方法，拟合精度高、贴近真实。本发明的柜体表面检测方法，包括如下步骤：(10)纹理图像滤波：将经过配准的柜体表面纹理图像进行高斯滤波；(20)超像素分割：对滤波后的纹理图像超像素分割，计算每个超像素区域的颜色均值，作为该超像素的颜色值；(30)颜色和形状筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；并利用形状紧凑度进一步筛选出属于柜体表面的超像素；(40)平面一致性筛选：对每个候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean‑shift算法获取平面参数聚类中心，以所述聚类中心作为柜体表面法向量。

Description

基于超像素分割的柜体表面检测方法
技术领域
本发明属于柜体表面自动检测技术领域，特别是一种基于超像素分割的柜体表面检测方法。
背景技术
为了采用智能操作机器人对变电站KYN28型高压开关柜进行自动倒闸作业，机器人需要搭载六轴机械臂及末端执行器作为执行机构，同时在机械臂末端安装双目相机作为感知机构。双目相机利用双目测距原理，获取场景的纹理图像和以双目相机中心点为原点的三维点云，并且将纹理图像和三维点云进行配准，从而使得纹理图像中的每个像素点都对应一个三维坐标值。为了引导机械臂末端执行器对开关柜上的旋钮或者按钮进行操作，首先需要将机械臂末端执行器调整到垂直于柜体表面的姿态，为此，需要在双目相机输出的配准后的纹理图像上自动检测到柜体表面，并拟合出柜体平面，进而得到柜体表面的法向量，从而可以调整机械臂末端执行器与法向量平行。
已有的柜体平面拟合方法，都是直接基于三维点云的最小二乘拟合或者RANSAC拟合。
由于柜体表面存在较多按钮、旋钮等设备，会导致拟合出来的平面与真实柜体表面有较大差距，从而导致机械臂末端执行器不垂直于柜体，在执行按钮或者旋钮操作时，会偏离目标造成操作失败。
发明内容
本发明的目的在于提供一种基于超像素分割的柜体表面检测方法，拟合精度高、贴近真实。
实现本发明目的的技术解决方案为：
一种基于超像素分割的柜体表面检测方法，包括如下步骤：
(10)纹理图像滤波：将双目相机采集后经过配准的柜体表面纹理图像进行高斯滤波；
(20)超像素分割：对滤波后的纹理图像采用简单线性迭代聚类算法进行超像素分割，得到超像素区域，计算每个超像素区域的颜色均值，作为该超像素的颜色值；
(30)颜色和形状筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；当筛选出来的超像素形状紧凑度低于紧凑度阀值，则利用形状紧凑度进一步筛选出属于柜体表面的超像素；
(40)平面一致性筛选：对每个候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean-shift算法获取平面参数聚类中心，以所述聚类中心作为柜体表面法向量。本发明与现有技术相比，其显著优点为：
拟合精度高、贴近真实：本发明采用超像素分割柜体平面，筛选符合条件的超像素区域，并利用聚类算法获取柜体平面法向量，为机械臂执行高精度的目标操作提供了基础。
下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
图1是本发明基于超像素分割的柜体表面检测方法的主流程图。
图2是图1中颜色和形状筛选步骤的流程图。
具体实施方式
如图1所示，本发明基于超像素分割的柜体表面检测方法，包括如下步骤：
(10)纹理图像滤波：将双目相机采集后经过配准的柜体表面纹理图像进行高斯滤波；
纹理图像经过配准后，每个像素点都对应一个三维点云中的目标点，即可以确定每个像素点对应的目标的三维坐标值；对经过配准的柜体表面纹理图像进行高斯滤波后，可以有效减少噪声干扰。
(20)超像素分割：对滤波后的纹理图像采用SLIC(Simple Linear IterativeClustering，简单线性迭代聚类算法)算法进行超像素分割，得到超像素区域，计算每个超像素区域的RGB颜色均值，作为该超像素的颜色值
超像素区域k的RGB颜色均值按下式计算：
其中，Nk表示第k个超像素区域包含的像素个数，Rn、Gn、Bn分别表示第k个超像素区域中第n个像素的RGB颜色模式中三通道的像素值，k为超像素区域的编号，n为超像素区域内的像素编号。
(30)颜色和形状筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；当筛选出来的超像素形状紧凑度低于紧凑度阀值，则利用形状紧凑度进一步筛选出属于柜体表面的超像素；
如图2所示，所述(30)颜色和形状筛选步骤包括如下步骤：
(31)颜色相似性筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；
由于柜体表面颜色通常较为固定，并且和柜体设备存在一定的颜色差异，可以利用颜色差异性将柜体表面的超像素筛选出来。第k个超像素区域的RGB三个通道的颜色差异性的计算公式为：
其中，Rp/Gp/Bp为柜体表面颜色的先验值，这里设置为Rp＝Gp＝Bp＝145。这里将三个通道的颜色差异性值均小于0.01的超像素区域加入候选超像素队列。
(32)形状紧凑度筛选：利用超像素区域最小外接矩形的宽高比来筛选属于同一目标的超像素；
优选地，我们将宽高比的值在[0.8,1.2]范围内的超像素加入候选超像素队列。
SLIC算法在分割超像素时综合利用颜色、纹理、边缘等信息，如果分割出来的超像素形状紧凑度不够高，即超像素区域的最小外接矩形宽高差别较大，通常是因为该超像素包含的区域属于不同的目标物体，因此可以利用超像素区域最小外接矩形的宽高比来筛选属于同一目标的超像素。这里，我们将宽高比的值在[0.8,1.2]范围内的超像素加入候选超像素队列。(40)平面一致性筛选：对每个候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean-shift算法获取平面参数聚类中心，以所述聚类中心作为柜体表面法向量。
例如，以95％的置信区间将属于柜体平面的超像素区域筛选出来。
对候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean-shift算法获取平面参数聚类中心，均为本领域常规技术，本文不再赘述。
本发明通过采用超像素分割柜体平面，利用超像素的颜色相似性和形状紧凑度筛选符合条件的超像素区域，并利用聚类算法获取柜体平面法向量，，取得了柜体表面拟合精度高、与实际柜体相似度高的技术效果，解决了现有技术由于柜体表面存在较多按钮、旋钮等设备，导致拟合出来的平面与真实柜体表面有较大差距，从而导致机械臂末端执行器不垂直于柜体，在执行按钮或者旋钮操作时，会偏离目标造成操作失败的技术难题。

Claims (4)

1.一种基于超像素分割的柜体表面检测方法，其特征在于，包括如下步骤：
(10)纹理图像滤波：将双目相机采集后经过配准的柜体表面纹理图像进行高斯滤波；
(20)超像素分割：对滤波后的纹理图像采用简单线性迭代聚类算法进行超像素分割，得到超像素区域，计算每个超像素区域的颜色均值，作为该超像素的颜色值；
(30)颜色和形状筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；当筛选出来的超像素形状紧凑度低于紧凑度阈值，则利用形状紧凑度进一步筛选出属于柜体表面的超像素；
包括：
(31)颜色相似性筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；
超像素区域k的RGB颜色均值为第k个超像素区域的RGB三个通道的颜色差异性/>的计算公式为：
式中，Rp/Gp/Bp为柜体表面颜色的先验值，设置为Rp＝Gp＝Bp＝145；
(32)形状紧凑度筛选：利用超像素区域最小外接矩形的宽高比来筛选属于同一目标的超像素；
(40)平面一致性筛选：对每个候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean-shift算法获取平面参数聚类中心，以所述聚类中心作为柜体表面法向量。
2.根据权利要求1所述的柜体表面检测方法，其特征在于，所述(32)形状紧凑度筛选步骤中，宽高比取值范围为[0.8,1.2]。
3.根据权利要求1或2所述的柜体表面检测方法，其特征在于，所述(20)超像素分割步骤中，超像素区域k的RGB颜色均值按下式计算：
式中，Nk表示第k个超像素区域包含的像素个数，Rn、Gn、Bn分别表示第k个超像素区域中第n个像素的RGB颜色模式中三通道的像素值，k为超像素区域的编号，n为超像素区域内的像素编号。
4.根据权利要求1所述的柜体表面检测方法，其特征在于，所述(31)颜色相似性筛选步骤中，将三个通道的颜色差异性值均小于0.01的超像素区域加入候选超像素队列。
CN202110856004.XA 2021-07-28 2021-07-28 基于超像素分割的柜体表面检测方法 Active CN113516649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110856004.XA CN113516649B (zh) 2021-07-28 2021-07-28 基于超像素分割的柜体表面检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110856004.XA CN113516649B (zh) 2021-07-28 2021-07-28 基于超像素分割的柜体表面检测方法

Publications (2)

Publication Number Publication Date
CN113516649A CN113516649A (zh) 2021-10-19
CN113516649B true CN113516649B (zh) 2024-02-02

Family

ID=78068654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110856004.XA Active CN113516649B (zh) 2021-07-28 2021-07-28 基于超像素分割的柜体表面检测方法

Country Status (1)

Country Link
CN (1) CN113516649B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354599A (zh) * 2015-11-25 2016-02-24 安徽创世科技有限公司 一种基于改进的slic超像素分割算法的颜色识别方法
WO2016041211A1 (zh) * 2014-09-19 2016-03-24 中国科学院自动化研究所 分子影像成像验证系统和方法
CN106291278A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种基于多视觉系统的开关柜局部放电自动检测方法
KR101694697B1 (ko) * 2015-08-03 2017-01-10 안동대학교 산학협력단 텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법, 이를 기록한 기록매체
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN110599518A (zh) * 2019-08-15 2019-12-20 南京邮电大学 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法
CN111583274A (zh) * 2020-04-30 2020-08-25 贝壳技术有限公司 图像分割方法、装置、计算机可读存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016041211A1 (zh) * 2014-09-19 2016-03-24 中国科学院自动化研究所 分子影像成像验证系统和方法
KR101694697B1 (ko) * 2015-08-03 2017-01-10 안동대학교 산학협력단 텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법, 이를 기록한 기록매체
CN105354599A (zh) * 2015-11-25 2016-02-24 安徽创世科技有限公司 一种基于改进的slic超像素分割算法的颜色识别方法
CN106291278A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种基于多视觉系统的开关柜局部放电自动检测方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN110599518A (zh) * 2019-08-15 2019-12-20 南京邮电大学 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法
CN111583274A (zh) * 2020-04-30 2020-08-25 贝壳技术有限公司 图像分割方法、装置、计算机可读存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种密度峰值聚类的彩色图像分割方法;邹旭华;叶晓东;谭治英;;小型微型计算机系统(第04期);全文 *

Also Published As

Publication number Publication date
CN113516649A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN109859226B (zh) 一种图形分割的棋盘格角点亚像素的检测方法
CN106210444B (zh) 运动状态自适应关键帧提取方法
CN108981672A (zh) 基于单目机器人与测距传感器结合的舱门实时定位方法
CN108537239B (zh) 一种图像显著性目标检测的方法
JP7205613B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN105809716B (zh) 融合超像素与三维自组织背景减除法的前景提取方法
CN110807355A (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN108573221A (zh) 一种基于视觉的机器人目标零件显著性检测方法
CN111709968B (zh) 一种基于图像处理的低空目标探测跟踪方法
CN111402247A (zh) 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法
CN109446978B (zh) 基于凝视卫星复杂场景的飞机动目标跟踪方法
CN108334824B (zh) 基于背景差分和迭代搜索的高压隔离开关状态识别方法
CN112560704B (zh) 一种多特征融合的视觉识别方法及系统
CN109754440A (zh) 一种基于全卷积网络和均值漂移的阴影区域检测方法
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN109961461B (zh) 一种基于三维分层图模型的多运动目标跟踪方法
CN103164847A (zh) 视频图像中运动目标阴影消除方法
Mirante et al. A fast image segmentation algorithm using color and depth map
CN113516649B (zh) 基于超像素分割的柜体表面检测方法
CN107274382B (zh) 一种硬压板的状态辨识方法、装置及电子设备
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN112017221B (zh) 基于尺度空间的多模态图像配准方法、装置和设备
Zhang et al. An optical flow based moving objects detection algorithm for the UAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant