CN109146850A - 一种多色球形目标检测定位方法及执行该方法的存储介质 - Google Patents

一种多色球形目标检测定位方法及执行该方法的存储介质 Download PDF

Info

Publication number
CN109146850A
CN109146850A CN201810837925.XA CN201810837925A CN109146850A CN 109146850 A CN109146850 A CN 109146850A CN 201810837925 A CN201810837925 A CN 201810837925A CN 109146850 A CN109146850 A CN 109146850A
Authority
CN
China
Prior art keywords
image
background
cluster
localization method
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810837925.XA
Other languages
English (en)
Other versions
CN109146850B (zh
Inventor
吕燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Group Corp
Original Assignee
Shanghai Electric Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Group Corp filed Critical Shanghai Electric Group Corp
Priority to CN201810837925.XA priority Critical patent/CN109146850B/zh
Publication of CN109146850A publication Critical patent/CN109146850A/zh
Application granted granted Critical
Publication of CN109146850B publication Critical patent/CN109146850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多色球形目标检测定位方法，通过对摄像设备拍摄到的单张图像依次进行预处理、距离变换、聚类定位以及分类几个部分的步骤，将每一个聚类结果中点簇的中心以及点簇均值所代表的颜色作为目标输出，实现对单张图像中密集多目标的定位。其有益效果为：通过距离变换获取球心的初始定位后，利用聚类方法定位各球体，根据定位结果进行颜色识别，解决了深色背景下单层排布球形目标位置与颜色的检测问题，以及检测定位问题中目标密集以及高精确度的难点；通过预处理部分的灰度化，将三通道合成的暗通道处理，更有效的进行前景与背景的分离；对圆度较差的目标具有鲁棒性、精确性的特点。能够应用于产品分拣等场景。

Description

一种多色球形目标检测定位方法及执行该方法的存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种深色背景下的单层排布多色球形目标检测定位方法，以及涉及一种可执行该方法的存储介质。
背景技术
主动视觉最早于20世纪80年代被提出，其核心思想是通过算法控制改变相机的参数以实现视觉系统的主动化。早期的主动视觉系统于20世纪90年代被陆续提出，随着软硬件技术的不断发展，主动视觉系统方面的研究也在不断继续。大多数主动视觉系统被运用于机器人，驾驶辅助以及目标跟踪中。
在现有的目标检测定位算法主要有：
(1)基于颜色的方法——通过训练对目标区域的像素点颜色进行建模，采用获得的模型对图像进行二值化，并通过连通区域检测方法提取出目标。
基于颜色的方法可以实现目标检测定位，能够在背景较为简单的场景准确定位出目标，但该方法受背景噪声及光照变化影响较大，且在同色目标相互贴近的情况下会完全失效。
(2)霍夫变换法——通过将图像平面上的点坐标代入圆方程后，在参数平面上通过统计确定各个圆的参数值，从而求得原图像平面中圆的位置与大小。
霍夫变换法能对简单且标准的轮廓的目标进行准确定位，但对公差较大、数量密集的目标定位检测效果较差。
(3)级联分类器——在检测图像时，对于每个窗口用多个强分类器作检测。若对某个窗口检测结果全部为真，则该窗口为被检测目标；若对某个窗口任一分类器检测结果为假，则该窗口不含检测目标。窗口的选择为先行后列作平移，检测完毕后再放大窗口进行平移，最终得到图中符合所有强分类器的目标结果。
级联分类器能对目标相对较好地做出检测定位，但由于其算法中窗口平移的单位较大、且窗口尺寸放大倍率固定，难以实现像素级的检测定位。
(4)模板匹配算法——指在图像中搜索与已知目标模板匹配度最高的区域的方法。首先建立目标的图像模板，在图像指定的搜索区域内寻找与该模板匹配度最高的区域，通常采用图像间的相关函数来反应匹配程度。
模板匹配算法可以在较复杂背景下精确定位目标，但其时间效率较低，且在目标密集时需要依靠前置步骤进行前景分割。
综上，以上这些方法虽各有优势，但难以运用在类似单层排布的多目标高精度检测定位主动视觉的场景中。
因此，本领域的技术人员致力于开发一种能够在深色背景下精确检测并定位球形目标，并能判断出各球颜色的定位方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是深色背景下对彩色球形目标难以进行精确检测、定位与分类。
为了解决上述问题，本发明提供了一种多色球形目标检测定位方法，通过对摄像设备拍摄到的单张图像依次进行预处理、距离变换、聚类定位以及分类几个部分的步骤，将每一个聚类结果中点簇的中心以及点簇均值所代表的颜色作为目标输出，实现对单张图像中密集多目标的定位。
所述定位方法具体包括如下部分：
第一部分，图像获取，通过摄像设备获取深色背景下的单层排布多色球形目标的图像信息；
第二部分，预处理，该部分主要实现对目标可能存在的区域的计算；对任意单张图像进行灰度化处理，对灰度化后的图像利用最大类间方差法进行前景与背景的分离，再用开运算去除噪声，生成二值化图像，并确定图像的坐标；
上述可能存在的区域是指图像中深色背景以外的区域；
第三部分，距离变换，该部分主要实现对各前景点到背景最短距离的计算；对预处理后生成的二值化图像进行距离变换并进行归一化；对归一化图像进行阈值计算取值较大部分，从而断开二值图中球间连接，确定球的个数并获得各球心大致位置；
第四部分，聚类，该部分以第三部分距离变换的球心位置为聚类种子，以球心个数为聚类类数对第一部分预处理的二值图进行K-means聚类，获得各球具体位置；
第五部分，分类，该部分以第四部分聚类的各聚类结果分别为ROI(region ofinterest)，对原图各ROI内的像素取均值并利用支持向量机进行分类，从而确定各球的颜色。
进一步地，在分类部分，首次使用支持向量机时，需对各ROI内均值所代表颜色进行标定，以此训练支持向量机参数。
本发明还提供一种计算机可读存储介质，其中存储有程序，该程序被执行时可执行上述深色背景下的单层排布多色球形目标检测定位方法。
通过实施上述本发明提供的深色背景下的单层排布多色球形目标检测定位方法，具有如下技术效果：
(1)本发明通过距离变换获取球心的初始定位后，利用聚类方法定位各球体，根据定位结果进行颜色识别，解决了深色背景下单层排布球形目标位置与颜色的检测问题，克服了单层目标检测定位问题中目标密集以及高精确度(精确到1像素)的难点；
(2)本发明所述的实现方法通过预处理部分的灰度化，将三通道合成的暗通道处理，更有效的进行前景与背景的分离；
(3)本发明所述的实现方法具有较好的鲁棒性，能够实现在深色背景下单层排布多色球形目标的检测定位；
(4)本发明所述的实现方法具有较高的精确性，能够实现像素级精度目标的检测定位；
(5)本发明所述的实现方法对圆度较差的目标具有鲁棒性、精确性的特点。能够应用于产品分拣等场景.
附图说明
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
图1是本发明实施例中摄像设备拍摄的单层排布多色球图片；
图2是本发明实施例中预处理部分的效果图；
图3是本发明实施例中距离变换部分的效果图；
图4是本发明实施例中聚类部分的效果图；
图5是本发明实施例中分类部分的效果图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以机器人抓取目标乒乓球为实施例，详细描述本发明的技术方案。
在机器人程序中设定某一颜色的乒乓球为抓取目标，对该颜色的乒乓球所在的抓取区域进行目标球的定位，进行如下操作：
第一部分，图像获取，如图1所示通过摄像设备，例如相机，获取深色背景下的单层排布多色乒乓球的图像信息，其中乒乓球大小一致；
第二部分，预处理，该部分主要实现对目标可能存在的区域的计算；对第一部分获取的单张图像进行灰度化处理，对灰度化后的图像利用最大类间方差法进行前景与背景的分离，再用开运算去除噪声，生成如图2所示的二值化图像，并确定图像的坐标；
上述可能存在的区域是指图像中深色背景以外的区域；
第三部分，距离变换，该部分主要实现对各前景点到背景最短距离的计算；对预处理后生成的二值化图像进行距离变换并进行归一化；对归一化图像进行阈值计算取值较大部分，从而断开二值图中球间连接，确定球的个数并获得各球心大致位置，如图3所示；
第四部分，聚类，该部分以第三部分距离变换的球心位置为聚类种子，以球心个数为聚类类数，根据各点与各球心的位置距离，对第一部分预处理的二值图进行K-means聚类，获得各球具体位置；
第五部分，分类，该部分以第四部分聚类的各聚类结果分别为ROI(region ofinterest)，对原图各ROI内的像素取均值并利用支持向量机进行分类，从而确定各球的颜色。
进一步地，在分类部分，首次使用支持向量机时，需人工对各ROI内均值所代表颜色进行标定，以此训练支持向量机参数。
通过上述操作获取目标颜色乒乓球的位置信息后，位置信息输送到机器人执行抓取的程序中，机器人根据目标颜色乒乓球所在的位置执行抓取作业。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种多色球形目标检测定位方法，其特征在于，所述定位方法具体包括如下部分：
第一部分，图像获取，通过摄像设备获取深色背景下的单层排布多色球形目标的图像信息；
第二部分，预处理，该部分实现对目标可能存在的区域的计算；对任意单张图像进行灰度化处理，分离前景与背景，生成二值化图像，并确定图像坐标；
上述可能存在的区域是指图像中深色背景以外的区域；
第三部分，距离变换，该部分实现对各前景点到背景最短距离的计算；对预处理后生成的二值化图像进行距离变换并进行归一化，确定球的个数并获得各球心大致位置；
第四部分，聚类，该部分以第三部分距离变换的球心位置为聚类种子，以球心个数为聚类类数对第一部分预处理的二值图进行K-means聚类，获得各球具体位置；
第五部分，分类，该部分以第四部分聚类的各聚类结果分别为ROI，对原图各ROI内的像素取均值并利用支持向量机进行分类，从而确定各球的颜色。
2.如权利要求1所述的检测定位方法，其特征在于，在预处理部分，对灰度化后的图像利用最大类间方差法进行前景与背景的分离。
3.如权利要求2所述的检测定位方法，其特征在于，对前景与背景分离后的图像，再用开运算去除噪声。
4.如权利要求1所述的检测定位方法，其特征在于，在距离变换部分，对归一化图像进行阈值计算，取值较大部分，断开二值图中球间连接，以确定各球的中心位置。
5.如权利要求1所述的检测定位方法，其特征在于，在分类部分，首次使用支持向量机时，对各ROI内均值所代表颜色进行标定，以此训练支持向量机参数。
6.一种计算机可读存储介质，其中存储有程序，其特征在于，该程序被执行时可执行上述权利要求1-5任一一项所述的检测定位方法。
CN201810837925.XA 2018-07-26 2018-07-26 一种多色球形目标检测定位方法及执行该方法的存储介质 Active CN109146850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810837925.XA CN109146850B (zh) 2018-07-26 2018-07-26 一种多色球形目标检测定位方法及执行该方法的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810837925.XA CN109146850B (zh) 2018-07-26 2018-07-26 一种多色球形目标检测定位方法及执行该方法的存储介质

Publications (2)

Publication Number Publication Date
CN109146850A true CN109146850A (zh) 2019-01-04
CN109146850B CN109146850B (zh) 2022-02-18

Family

ID=64797990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810837925.XA Active CN109146850B (zh) 2018-07-26 2018-07-26 一种多色球形目标检测定位方法及执行该方法的存储介质

Country Status (1)

Country Link
CN (1) CN109146850B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178220A (zh) * 2019-12-24 2020-05-19 上海眼控科技股份有限公司 检测客车内的安全设施的方法、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231760A (zh) * 2007-01-24 2008-07-30 中国科学院自动化研究所 一种树状形体的立体分解和分级骨架提取方法
CN101681433A (zh) * 2007-03-26 2010-03-24 汤姆森特许公司 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置
CN102222234A (zh) * 2011-07-14 2011-10-19 苏州两江科技有限公司 基于均值偏移和k均值聚类技术的图像对象提取方法
CN105787939A (zh) * 2016-02-26 2016-07-20 南京理工大学 一种用于pcb板圆孔的快速定位检测方法
CN107563384A (zh) * 2017-08-31 2018-01-09 江苏大学 基于广义Hough聚类的粘连猪的头尾识别方法
CN108009286A (zh) * 2017-12-25 2018-05-08 合肥阿巴赛信息科技有限公司 一种基于深度学习的草图检索方法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231760A (zh) * 2007-01-24 2008-07-30 中国科学院自动化研究所 一种树状形体的立体分解和分级骨架提取方法
CN101681433A (zh) * 2007-03-26 2010-03-24 汤姆森特许公司 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置
CN102222234A (zh) * 2011-07-14 2011-10-19 苏州两江科技有限公司 基于均值偏移和k均值聚类技术的图像对象提取方法
CN105787939A (zh) * 2016-02-26 2016-07-20 南京理工大学 一种用于pcb板圆孔的快速定位检测方法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN107563384A (zh) * 2017-08-31 2018-01-09 江苏大学 基于广义Hough聚类的粘连猪的头尾识别方法
CN108009286A (zh) * 2017-12-25 2018-05-08 合肥阿巴赛信息科技有限公司 一种基于深度学习的草图检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI XIAODONG等: "Image Recognition for Steel Ball’s Surface Quality Detecting Based on Kernel Extreme Learning Machine", 《2015 34TH CHINESE CONTROL CONFERENCE (CCC)》 *
张国华等: "基于FCM 的快速CHT 算法在球团矿粒度检测中的应用", 《烧结球团》 *
赵厉: "基于FPGA的彩色球形目标检测技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178220A (zh) * 2019-12-24 2020-05-19 上海眼控科技股份有限公司 检测客车内的安全设施的方法、设备和存储介质

Also Published As

Publication number Publication date
CN109146850B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN106295568B (zh) 基于表情和行为双模态结合的人类自然状态情感识别方法
CN102722698B (zh) 多姿态人脸检测与跟踪方法及系统
US20190034714A1 (en) System and method for detecting hand gestures in a 3d space
CN105046197B (zh) 基于聚类的多模板行人检测方法
Khan et al. 3D model based vehicle classification in aerial imagery
Elmezain et al. Hand trajectory-based gesture spotting and recognition using HMM
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
Baykara et al. Real-time detection, tracking and classification of multiple moving objects in UAV videos
Buric et al. Player tracking in sports videos
Jiang et al. Multi-class fruit classification using RGB-D data for indoor robots
Gokul et al. A comparative study between state-of-the-art object detectors for traffic light detection
Nandhini et al. SIFT algorithm-based Object detection and tracking in the video image
CN109146850A (zh) 一种多色球形目标检测定位方法及执行该方法的存储介质
Dasari et al. Mpeg cdvs feature trajectories for action recognition in videos
Kompella et al. Detection and avoidance of semi-transparent obstacles using a collective-reward based approach
CN112070840B (zh) 一种多深度相机融合的人体空间定位与跟踪方法
Lugo et al. Semi-supervised learning approach for localization and pose estimation of texture-less objects in cluttered scenes
CN110634151B (zh) 一种单目标跟踪方法
CN112907634A (zh) 基于无人机的车辆跟踪方法
Sharma et al. Multi-object tracking using TLD framework
Yen et al. A Deep Learning-Based Person Search System for Real-World Camera Images
Wang et al. Object tracking with shallow convolution feature
Cao et al. Method of Unsupervised Static Recognition and Dynamic Tracking for Vehicles.
Kovács et al. Shape-and-motion-fused multiple flying target recognition and tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant