CN106683137A - 基于人工标志的单目多目标识别与定位方法 - Google Patents

基于人工标志的单目多目标识别与定位方法 Download PDF

Info

Publication number
CN106683137A
CN106683137A CN201710017616.3A CN201710017616A CN106683137A CN 106683137 A CN106683137 A CN 106683137A CN 201710017616 A CN201710017616 A CN 201710017616A CN 106683137 A CN106683137 A CN 106683137A
Authority
CN
China
Prior art keywords
tetragon
method based
positioning method
target identification
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710017616.3A
Other languages
English (en)
Other versions
CN106683137B (zh
Inventor
缪燕子
李晓东
周笛
金鑫
卜淑萍
许红盛
金慧杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201710017616.3A priority Critical patent/CN106683137B/zh
Publication of CN106683137A publication Critical patent/CN106683137A/zh
Application granted granted Critical
Publication of CN106683137B publication Critical patent/CN106683137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工标志的单目多目标识别与定位方法。本方法包括以下步骤：对原始图像根据设定颜色进行二值化处理，得到二值图像；对二值图预处理后提取轮廓；对每个轮廓进行椭圆拟合，对形状不符合要求的椭圆进行剔除；椭圆两两组合，以椭圆长轴端点为顶点组成四边形；计算每个四边形的评价系数e；分析评价系数，进行多目标选取；将每个四边形的4个顶点作为特征点，使用迭代法求解PnP，依次获得相机相对每个标志的三维位姿。本发明用识别椭圆长轴代替识别线段，并针对多目标的识别提出一种评价系数，即使在复杂背景下，也可以有效筛选出标记目标并求出相对位姿，鲁棒性高；并且方案简单易行，算法具有较低的时间复杂度，能获得高帧率的计算结果，满足高实时性的要求。

Description

基于人工标志的单目多目标识别与定位方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于人工标志的单目多目标识别与定位方法。
背景技术
在工业装配、无人机定点着陆和增强现实等领域，需要运用图像进行目标的识别与位姿估计，从而引导机器人的动作。
目标位姿获取的难点主要是因为相机采集的是二维图像，会损失物体的深度信息。一种解决方案是利用双目视觉，可以还原场景的深度信息，但是计算复杂，在计算能力较低的平台上难以实现。另一种方案是使用RGBD传感器直接获取深度信息，但相较于单目相机，其成本大幅增加。
基于人工标志的目标识别与定位是一种低成本、易实施的方案，但目前多数人工标志需要匹配、编码等步骤，存在识别过程复杂、多目标检测效率不高等问题。
发明内容
本发明的目的主要针对上述现有技术中的不足，提供一种了基于人工标志的简单高效的单目多目标识别与定位方法。
为了实现上述目的，本发明采用的技术方案是：
S1、根据设定颜色对原始图像进行二值化处理，得到二值图像；
S2、对二值图预处理后提取轮廓；
S3、对每个轮廓进行椭圆拟合，对形状不符合要求的椭圆进行剔除；
S4、将椭圆两两组合，以椭圆长轴端点为顶点组成四边形；
S5、计算每个四边形的评价系数e；
S6、分析评价系数e，进行多目标选取；
S7、将每个四边形的4个顶点作为特征点，使用迭代法求解PnP，依次获得相机相对每个标志的三维位姿。
在一些实施例中，其中获取的图像在640a×480b分辨率下，剔除椭圆轮廓的最小阈值为5ab像素，最大的阈值为6000ab像素，a和b为缩放系数。
在一些实施例中，四边形评价系数的计算方法为：
其中，Δθ为两个椭圆的角度差，λ为椭圆中心连线所在直线的角度，ϕ为两椭圆角度的平均值，l 1 和l 2 分别为两椭圆的长轴长度，阈值α，β分别取25和30。
在一些实施例中，其中多目标选取需要剔除掉e < ε的四边形，阈值ε取0.3，然后将剩下的k个四边形按e的大小降序排列。实际设置K个标志数，检测到k个标志，结果输出min(K,k)个标志。
本发明的有益效果在于：基于人工标志的单目多目标识别与定位，针对多目标的识别提出一种评价系数，即使在复杂背景下，也可以有效筛选出标记目标并求出相对位姿，鲁棒性高；并且方案简单易行，算法具有较低的时间复杂度，能获得高帧率的计算结果，足以满足高实时性的要求。
附图说明
图1为本发明的人工标志示意图。
图2为本发明的一个实施例流程示意图。
图3为本发明的特征四边形示意图。
图4为本发明的坐标系统示意图。
具体实施方式
以下结合附图以及具体实施例，对本发明进行详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不限定本发明。
本发明设计的人工标志如图1所示，标志由2个椭圆形和1个圆形组成，椭圆的长轴端点构成特征点，标志内的圆形用于确定特征点的顺序。
本发明提供一种单目多目标识别与定位方法，流程如图2所示，包括：
S1、对原始图像根据设定颜色进行二值化处理，得到二值图像；
S2、对二值图预处理后提取轮廓；
S3、对每个轮廓进行椭圆拟合，对形状不符合要求的椭圆进行剔除；
S4、将椭圆两两组合，以椭圆长轴端点为顶点组成四边形；
S5、计算每个四边形的评价系数e；
S6、分析评价系数e，进行多目标选取；
S7、将每个四边形的4个顶点作为特征点，使用迭代法求解PnP，依次获得相机相对每个标志的三维位姿。
具体地，为了可以更好的去除干扰，使轮廓提取更加精确，将人工标志设置成蓝色，两个椭圆的长轴设置为边长为50mm的正方形的两条对边。
首先从相机或视频中获取一帧原始图像，分辨率定为640×480。根据图像中像素点的颜色进行二值分类。将原始图像的蓝色通道与红色通道作差，得到一幅单通道的图像，该单通道图像大于阈值的像素点置为255，否则置为0，由此得到一副二值图像。
然后对二值图进行预处理，对图像进行形态学滤波，执行腐蚀与膨胀操作，消除噪点，连通相邻区域。
提取每个闭合区域的外层轮廓，对周长在5像素到6000像素之内的轮廓用最小二乘法拟合椭圆，将检测到的n个椭圆进行下一步处理。
将n个椭圆两两组合，可以得到组以两椭圆长轴为对边的四边形。如图3所示为一个四边形，同时规定：
1.直线的角度定义为逆时针旋转到与y轴平行的旋转角度，取值范围[0°,180°)；
2.椭圆的角度θ定义为长轴所在直线l的角度，两个椭圆角度差Δθ定义为：
3.若两个椭圆心分别为E(x 1，y 1)和F(x 2，y 2)，为了求直线EF的角度λ，假设x 1 <x 2，使向量EF在y轴右半平面，则向量EF与y轴正半轴的夹角即λ：
4.四边形角度ϕ定义为两椭圆转角的平均值，同样其取值范围是[0°,180°)：
在上述前提下，本发明为每个四边形设计了一个评价系数e，其计算方法为：
其中α、β为相应阈值（α、β为经验值，本发明取α=25°、β=30°），|AB|、|CD|分别为线段AB、CD的长度。
e的三项乘积分别表示：
e 1：两个椭圆的平行程度，越接近1越平行，即Δθ越趋近于0；
e 2：两个椭圆关于直线m的对称程度，即直线EF与直线m的垂直程度，直线m为过四边形中心且角度为ϕ的直线，该值越接近1，说明两椭圆关于直线m越对称；
e 3：两个椭圆的相似程度，越接近1大小越相似。
本发明设计的评价系数e考虑到形状、边长相对位置、大小等方面的因素，并通过平方项加速错误四边形e值的衰减，可以通过e值很好的度量检测到的四边形与标志的相似程度。
当组四边形的评价系数e计算完毕后，首先剔除掉e < ε的四边形（ε为经验值，本发明取0.3），然后将剩下的k个四边形按e的大小降序排列。如果设置的标志数为K个（K =0,1,2,3...），则在k个四边形中输出前min(K,k)个四边形。
依次检测每个四边形区域内的是否存在圆形标记，若存在，则在四边形的顶点中，根据欧式距离找到距圆形标记最近的一个顶点，设为起点A，对余下3个顶点以点A为中心逆时针排序，分别设为点B、点C、点D。
世界坐标的建立如图4所示，由于四边形是边长为50mm的正方形，所以其顶点的世界坐标分别为A(-25，25，0)，B(-25，-25，0)，C(25，-25，0)，D(25，25，0)。由上一步会得到四边形顶点ABCD的图像坐标，这就得到供求解位姿使用的4组数据。
根据相机的小孔成像模型，物体的世界坐标(X，Y，Z)和图像坐标(u，v)的映射关系：
其中矩阵K为相机的内参矩阵，通过相机标定得到。[R | t]=[r1 r2 r3 | t]为所求物体相对于相机的位姿，由旋转矩阵R和平移向量t构成，也被称为外参矩阵。由于人工标志设在Z=0平面上，所以上式可以化简为：
此时未知量仅有s，r1，r2和t四个，并且内参矩阵K为满秩矩阵，所以由上述得到的四组世界坐标和图像坐标，即可求出s，r1，r2和t的唯一解，并且旋转矩阵R为单位正交阵，r3可以根据r1和r2求出。
一个人工标志的相对位姿[R | t]求解完毕，剩下的标志重复上述的位姿求解步骤即可。
以上所述仅为本发明的优选实施例，并非对本发明作任何限制，凡是根据本发明说明书和附图内容所做的各种等效更改与变形，均包括在本发明的专利保护范围内。

Claims (4)

1.一种基于人工标志的单目多目标识别方法，其特征在于，所述方法包含以下步骤：
S1、对原始图像根据设定颜色进行二值化处理，得到二值图像；
S2、对二值图像预处理后提取轮廓；
S3、对每个轮廓进行椭圆拟合，对形状不符合要求的椭圆进行剔除；
S4、将椭圆两两组合，以椭圆长轴端点为顶点组成四边形；
S5、计算每个四边形的评价系数e；
S6、分析评价系数e，进行多目标选取；
S7、将每个四边形的4个顶点作为特征点，使用迭代法求解PnP，依次获得相机相对每个标志的三维位姿。
2.根据权利要求1所述的方法，其特征在于，步骤S3中，图像在640a×480b分辨率下，剔除椭圆轮廓的最小阈值为5ab像素，最大的阈值为6000ab像素，a和b为缩放系数。
3.根据权利要求1所述的方法，其特征在于，步骤S5中，四边形评价系数的计算方法为：
其中，Δθ为两个椭圆的角度差，λ为椭圆中心连线所在直线的角度，ϕ为两椭圆角度的平均值，l 1 和l 2 分别为两椭圆的长轴长度，阈值α，β分别取25和30。
4.根据权利要求1所述的方法，其特征在于，步骤S6中，多目标选取需要剔除掉e < ε的四边形，阈值ε取0.3，然后将剩下的k个四边形按e的大小降序排列，实际设置K个标志数，检测到k个标志，结果输出min(K,k)个标志。
CN201710017616.3A 2017-01-11 2017-01-11 基于人工标志的单目多目标识别与定位方法 Active CN106683137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710017616.3A CN106683137B (zh) 2017-01-11 2017-01-11 基于人工标志的单目多目标识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710017616.3A CN106683137B (zh) 2017-01-11 2017-01-11 基于人工标志的单目多目标识别与定位方法

Publications (2)

Publication Number Publication Date
CN106683137A true CN106683137A (zh) 2017-05-17
CN106683137B CN106683137B (zh) 2019-12-31

Family

ID=58849363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710017616.3A Active CN106683137B (zh) 2017-01-11 2017-01-11 基于人工标志的单目多目标识别与定位方法

Country Status (1)

Country Link
CN (1) CN106683137B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037503A (zh) * 2017-12-22 2018-05-15 杭州视熵科技有限公司 一种面向家居板材上下料的基于激光雷达的平面多板材定位方法
CN108109169A (zh) * 2017-12-12 2018-06-01 深圳市神州云海智能科技有限公司 一种基于矩形标识的位姿估计方法、装置及机器人
CN108713179A (zh) * 2017-09-18 2018-10-26 深圳市大疆创新科技有限公司 可移动物体控制方法、设备及系统
CN109035214A (zh) * 2018-07-05 2018-12-18 陕西大中科技发展有限公司 一种工业机器人物料形状识别方法
CN109087355A (zh) * 2018-06-15 2018-12-25 哈尔滨工业大学 基于迭代更新的单目相机位姿测量装置与方法
CN109658454A (zh) * 2018-12-04 2019-04-19 深圳前海达闼云端智能科技有限公司 一种位姿信息确定方法、相关装置及存储介质
CN110610163A (zh) * 2019-09-18 2019-12-24 山东浪潮人工智能研究院有限公司 一种自然场景下基于椭圆拟合的表格提取方法及工具
CN110807807A (zh) * 2018-08-01 2020-02-18 深圳市优必选科技有限公司 一种单目视觉的目标定位的图案、方法、装置及设备
CN111857167A (zh) * 2020-06-30 2020-10-30 同济大学 一种基于单线激光数据椭圆拟合的引水涵洞内无人机定位方法
CN111854756A (zh) * 2020-06-30 2020-10-30 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN113269055A (zh) * 2021-05-06 2021-08-17 中国矿业大学 一种落叶检测预测框损失函数计算方法
CN118154417A (zh) * 2024-01-19 2024-06-07 中国矿业大学 基于sift与深度学习联合优化的铁塔天线全景图像拼接方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033963A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于指端标记的视频手指定位系统及其定位方法
CN102446355A (zh) * 2011-09-05 2012-05-09 西安理工大学 一种基于双视场的无标定平面突起目标检测方法
CN103778600A (zh) * 2012-10-25 2014-05-07 北京三星通信技术研究有限公司 图像处理系统
CN104101331A (zh) * 2014-07-24 2014-10-15 合肥工业大学 基于全光场相机的非合作目标位姿测量
CN104298996A (zh) * 2014-08-08 2015-01-21 中国科学院自动化研究所 一种应用于仿生机器鱼的水下主动视觉跟踪方法
CN104463108A (zh) * 2014-11-21 2015-03-25 山东大学 一种单目实时目标识别及位姿测量方法
CN105387860A (zh) * 2015-12-16 2016-03-09 西北工业大学 结合单目视觉与激光测距的无人机自主着陆导引方法
US20160140400A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Atomic scenes for scalable traffic scene recognition in monocular videos

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033963A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于指端标记的视频手指定位系统及其定位方法
CN102446355A (zh) * 2011-09-05 2012-05-09 西安理工大学 一种基于双视场的无标定平面突起目标检测方法
CN103778600A (zh) * 2012-10-25 2014-05-07 北京三星通信技术研究有限公司 图像处理系统
CN104101331A (zh) * 2014-07-24 2014-10-15 合肥工业大学 基于全光场相机的非合作目标位姿测量
CN104298996A (zh) * 2014-08-08 2015-01-21 中国科学院自动化研究所 一种应用于仿生机器鱼的水下主动视觉跟踪方法
US20160140400A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Atomic scenes for scalable traffic scene recognition in monocular videos
CN104463108A (zh) * 2014-11-21 2015-03-25 山东大学 一种单目实时目标识别及位姿测量方法
CN105387860A (zh) * 2015-12-16 2016-03-09 西北工业大学 结合单目视觉与激光测距的无人机自主着陆导引方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张广军等: "基于双圆特征的无人机着陆位置姿态视觉测量方法", 《航空学报》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108713179A (zh) * 2017-09-18 2018-10-26 深圳市大疆创新科技有限公司 可移动物体控制方法、设备及系统
CN108109169B (zh) * 2017-12-12 2021-12-14 深圳市神州云海智能科技有限公司 一种基于矩形标识的位姿估计方法、装置及机器人
CN108109169A (zh) * 2017-12-12 2018-06-01 深圳市神州云海智能科技有限公司 一种基于矩形标识的位姿估计方法、装置及机器人
CN108037503A (zh) * 2017-12-22 2018-05-15 杭州视熵科技有限公司 一种面向家居板材上下料的基于激光雷达的平面多板材定位方法
CN109087355A (zh) * 2018-06-15 2018-12-25 哈尔滨工业大学 基于迭代更新的单目相机位姿测量装置与方法
CN109087355B (zh) * 2018-06-15 2021-09-14 哈尔滨工业大学 基于迭代更新的单目相机位姿测量装置与方法
CN109035214A (zh) * 2018-07-05 2018-12-18 陕西大中科技发展有限公司 一种工业机器人物料形状识别方法
CN110807807A (zh) * 2018-08-01 2020-02-18 深圳市优必选科技有限公司 一种单目视觉的目标定位的图案、方法、装置及设备
CN110807807B (zh) * 2018-08-01 2022-08-05 深圳市优必选科技有限公司 一种单目视觉的目标定位的图案、方法、装置及设备
CN109658454A (zh) * 2018-12-04 2019-04-19 深圳前海达闼云端智能科技有限公司 一种位姿信息确定方法、相关装置及存储介质
CN110610163A (zh) * 2019-09-18 2019-12-24 山东浪潮人工智能研究院有限公司 一种自然场景下基于椭圆拟合的表格提取方法及工具
CN110610163B (zh) * 2019-09-18 2022-05-03 山东浪潮科学研究院有限公司 一种自然场景下基于椭圆拟合的表格提取方法及系统
CN111854756B (zh) * 2020-06-30 2023-08-29 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN111854756A (zh) * 2020-06-30 2020-10-30 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN111857167A (zh) * 2020-06-30 2020-10-30 同济大学 一种基于单线激光数据椭圆拟合的引水涵洞内无人机定位方法
CN111857167B (zh) * 2020-06-30 2023-08-29 同济大学 一种基于单线激光数据椭圆拟合的引水涵洞内无人机定位方法
CN113269055A (zh) * 2021-05-06 2021-08-17 中国矿业大学 一种落叶检测预测框损失函数计算方法
CN113269055B (zh) * 2021-05-06 2024-02-13 中国矿业大学 一种落叶检测预测框损失函数计算方法
CN118154417A (zh) * 2024-01-19 2024-06-07 中国矿业大学 基于sift与深度学习联合优化的铁塔天线全景图像拼接方法
CN118154417B (zh) * 2024-01-19 2024-09-03 中国矿业大学 基于sift与深度学习联合优化的铁塔天线全景图像拼接方法

Also Published As

Publication number Publication date
CN106683137B (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN106683137A (zh) 基于人工标志的单目多目标识别与定位方法
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN111260788B (zh) 一种基于双目视觉的配电柜开关状态识别方法
CN105528789B (zh) 机器人视觉定位方法和装置、视觉标定方法和装置
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN104121902B (zh) 基于Xtion摄像机的室内机器人视觉里程计实现方法
CN103727930A (zh) 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
CN106156684B (zh) 一种二维码识别方法及装置
CN106446894A (zh) 一种基于轮廓识别球型目标物位置的方法
CN105184830B (zh) 一种对称图像对称轴检测定位方法
CN103606170B (zh) 基于彩色尺度不变的街景影像特征检测与匹配方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN104598936A (zh) 人脸图像面部关键点的定位方法
CN107492094A (zh) 一种高压电线绝缘子的无人机视觉检测方法
CN104167003A (zh) 一种遥感影像的快速配准方法
CN108764004A (zh) 一种基于编码环采样的环状编码标记点解码识别方法
CN103473551A (zh) 基于sift算子的台标识别方法及系统
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
CN105631852B (zh) 基于深度图像等高线的室内人体检测方法
CN106682674B (zh) 一种基于智能巡检机器人的指针式仪表自动读数方法
CN109658391A (zh) 一种基于轮廓归并和凸包拟合的圆半径测量方法
CN107633507A (zh) 基于轮廓检测和特征匹配的lcd缺陷检测方法
CN110110687A (zh) 基于颜色信息和三维轮廓信息的树上水果自动识别方法
CN108830899A (zh) 一种基于几何特征的快速自适应角点结合的圆心检测方法
CN103533332A (zh) 一种2d视频转3d视频的图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant