CN104463108B - 一种单目实时目标识别及位姿测量方法 - Google Patents

一种单目实时目标识别及位姿测量方法 Download PDF

Info

Publication number
CN104463108B
CN104463108B CN201410676615.6A CN201410676615A CN104463108B CN 104463108 B CN104463108 B CN 104463108B CN 201410676615 A CN201410676615 A CN 201410676615A CN 104463108 B CN104463108 B CN 104463108B
Authority
CN
China
Prior art keywords
target
characteristic point
image
real
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410676615.6A
Other languages
English (en)
Other versions
CN104463108A (zh
Inventor
杨明强
崔振兴
曾威
陆中州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201410676615.6A priority Critical patent/CN104463108B/zh
Publication of CN104463108A publication Critical patent/CN104463108A/zh
Application granted granted Critical
Publication of CN104463108B publication Critical patent/CN104463108B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00664Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera
    • G06K9/00671Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera for providing information about objects in the scene to a user, e.g. as in augmented reality applications

Abstract

本发明公开了一种单目实时目标识别及位姿测量方法,包括:获得各个目标物体特征点数据,与目标平面四个顶点的三维世界坐标和图像坐标一起存入目标数据库;选择要识别的目标,从目标数据库中提取目标的特征点数据及目标信息;摄像机提取实时场景,对提取的实时场景进行图像预处理,提取实时场景特征点,获得实时图像的特征点数据;将目标数据库中目标图像的特征点与实时场景特征点进行匹配;由匹配特征点数据,计算得到单应矩阵,完成目标的识别;完成目标的姿态测量、位置确定。本发明利用ORB算法的速度优势,以单个摄像机作为传感手段,实现了对运动目标的实时识别和位姿测量。

Description

一种单目实时目标识别及位姿测量方法
技术领域
[0001] 本发明涉及计算机视觉领域,具体涉及一种单目实时目标识别、姿态测量及位置 确定方法。
背景技术
[0002] 智能机器人为了实现对物体的感知,必须具有物体识别能力,并且具有对物体姿 态识别的能力。从复杂场景中识别目标物体,像人类抓取物体一样,根据物体的姿态选择合 适的抓取方式,是智能机器人的一个基本功能。因此设计一种视觉定位系统,不但能准确地 识别出目标物体,并能判断出其姿态,具有十分广阔的应用前景。
[0003] 基于视觉的目标识别的研究关键是目标的特征表示方法,表示方法不仅要唯一的 描述出一个目标,并且要对同一目标在不同场景下的特征表示具有共性,这样才能有效的 识别目标。运用基于局部特征的方法来识别目标是当前目标识别领域中的主流方法。由局 部特征形成的特征描述子对旋转、噪声、尺度变换和仿射变换都有一定的鲁棒性。在诸多的 局部图像特征描述子中,SIFT、SURF应用较为广泛。它们具有较高的匹配能力,并且当图像 发生平移、旋转和仿射变换、光照变换等情况,都具有较高的匹配精度和鲁棒性。虽然SIFT、 SURF算法具有以上众多优点,但由于其运算较为复杂,存在速度问题,尤其当特征点较多 时,实时性差,不能满足实际应用的要求。ORB特征点(Oriented FAST and Rotated BRIEF) 是一种局部不变特征,建立在著名的FAST特征检测和BRIEF特征描述子基础上。与传统的 SIFT、SURF算法相比,速度上有很大提升,在性能上只下降了很少,适用于对速度要求较高 的场合。
[0004] 目前基于视觉定位的主要方法包括单目视觉定位和双目视觉定位。双目视觉定位 系统复杂度高,立体匹配算法计算量大。而现有的单目视觉定位系统,大多需要在目标物体 上设置特征靶标,建立目标坐标系,预先设定好被测特征点在目标坐标系下的坐标值,再根 据经典摄像机小孔成像原理,根据三个或三个以上不在同一条直线上被测特征点在摄像机 坐标系与目标坐标系下的坐标值,解算出摄像机坐标系与目标坐标系的相对转换关系,完 成了被测目标相对于摄像机坐标系的空间三维姿态。(原野.基于单目视觉的三维姿态测量 方法与系统实现[D].哈尔滨工业大学,2011)。这类方法需要预先设置特征靶标,系统复杂 度较高。
发明内容
[0005] 为解决现有技术存在的不足,本发明公开了一种单目实时目标识别及位姿测量方 法,该方法利用了ORB算法的速度优势,以单个摄像机作为传感手段,实现了对规则体(具有 平坦表面的物体,如长方体)目标的实时识别、姿态测量及位置确定。
[0006] 为实现上述目的,本发明的具体方案如下:
[0007] —种单目实时目标识别及位姿测量方法,包括以下步骤:
[0008] 步骤一:获得各个目标的物体特征点数据,与目标平面四个顶点的三维世界坐标 和图像坐标一起存入目标数据库;
[0009] 步骤三:选择要识别的目标,从目标数据库中提取目标的特征点数据及目标信息;
[0010] 步骤四:提取实时场景,对提取的实时场景进行图像预处理,提取实时场景特征 点,获得实时图像的特征点数据;
[0011] 步骤五:将要识别的目标数据库中目标图像的特征点与实时场景特征点进行匹 配;
[0012] 步骤六:由匹配特征点数据,计算得到单应矩阵,利用求得的单应矩阵将目标数据 库中目标四个顶点的图像坐标映射得到场景图像中四个顶点的图像坐标,连接四个顶点, 完成目标的识别;
[0013] 步骤七:利用求得的场景图像中四个顶点的图像坐标和目标数据库中目标四个顶 点的三维世界坐标构成二维和三维匹配点对,并结合摄像机模型参数,使用PnP算法得到目 标的三个旋转角和三个方向的位移向量共6个自由度信息,得到的位移向量只是比例值并 不是实际值,与目标数据库中的三维坐标结合可以得到实际值,从而完成目标的姿态测量 及位置确定。
[0014] 所述步骤一中目标的图像事先获取,提取特征点数据和坐标信息,保存在目标数 据库中。
[0015] 所述步骤一中,三维世界坐标由对目标物体的实际测量而得,以目标平面为XY平 面,目标平面的中心为原点。图像坐标即为顶点在图像中的像素位置。
[0016] 所述步骤一中获得各个目标的物体特征点数据及步骤四中获得实时图像的特征 点数据均是通过改进的ORB算法提取特征点的方式获得的。
[0017] 所述改进的ORB算法为利用AGAST特征点检测算法替代FAST特征点检测算法,完成 对ORB算法的改进。
[0018] 所述步骤四中对提取的实时场景进行图像预处理,具体为对每一帧视频图像采用 自适应的图像增强算法,去除图像获取过程中由于多变的外界环境造成图像对比度偏低、 灰度值偏暗及灰度动态范围收缩问题引起的图像质量的退化。步骤四中利用摄像机提取实 时场景。
[0019] 所述步骤五中,将数据库中目标图像的特征点与实时场景特征点进行匹配时,使 用汉明距离(hamming distance)计算特征点数据间的相似性,以最近邻距离与次近邻距离 的比值T来确定可能正确的匹配,只有当T〈0.8时,才认为最近邻距离对应的特征点为匹配 点。并且采用对称性匹配的策略,先在场景图像特征点数据中寻找目标图像特征点的最优 匹配点,再反过来在目标图像特征点数据中寻找场景图像特征点的最优匹配点。
[0020] 所述步骤六中,单应矩阵是根据匹配特征点数据使用随机抽样一致性算法计算得 到的。
[0021] 所述步骤七中完成目标的姿态测量之前还需要对摄像机进行标定,得到摄像机的 模型参数。
[0022] 本发明的有益效果:
[0023] 本发明利用ORB算法的速度优势,以单个摄像机作为传感手段,实现了对规则体 (具有平坦表面的物体,如长方体)目标的实时识别及位姿测量。本发明采用速度快的ORB算 法提取特征点,对每一帧视频进行特征点的匹配,无需对特征点进行跟踪,就能实现对运动 物体实时识别、姿态测量及位置确定,从而降低了算法和系统复杂度,并提高了结果的准确 性。
附图说明
[0024] 图1本发明的实现流程框图。
具体实施方式:
[0025] 下面结合附图对本发明进行详细说明:
[0026] 如图1所示,本发明首先利用改进的ORB算法获得目标物体特征点数据,与目标平 面四个顶点的三维世界坐标和图像坐标一起存入目标数据库;然后对摄像机进行标定,获 得摄像机模型参数;选择要识别的目标,摄像机提取实时场景ORB特征点,将数据库中目标 图像的特征点与实时场景特征点进行匹配,经过随机抽样一致性检测去除误匹配得到稳定 的单应矩阵(Homography),由单应矩阵和数据库中目标平面四个顶点的图像坐标求得场景 中目标四个顶点的图像坐标,连接四个顶点从而标记出目标,最后利用求得的场景图像中 四个顶点的图像坐标和目标数据库中目标四个顶点的三维世界坐标构成二维和三维匹配 点对,并结合摄像机模型参数,使用PnP算法得到目标的三个旋转角和三个方向的位移向量 共6个自由度信息,从而完成实时识别、姿态测量及位置确定。
[0027] 本发明方法包括如下具体步骤:
[0028] 1、针对ORB算法存在的不足,在其特征点检测阶段,利用速度更快、性能更好的 AGAST特征点检测算法替代FAST特征点检测算法,完成对ORB算法的改进。
[0029] 2、拍摄目标物体的正面图像,利用改进的ORB算法获得特征点数据,与目标平面四 个顶点的三维世界坐标和图像坐标一起存入目标数据库。
[0030] 具体为:拍摄要识别目标物体的正面图像(例如长方体的一个表面),利用改进的 ORB算法获得特征点数据,与目标平面四个顶点的三维世界坐标和图像坐标一起存入目标 数据库;三维世界坐标由对目标物体的实际测量而得,以目标平面为XY平面,目标平面的中 心为原点。图像坐标即为顶点在图像中的像素位置;
[0031] 3、对摄像机进行标定,得到摄像机的模型参数。
[0032] 4、选择要识别的目标,从数据库中提取目标的特征点数据及目标信息。
[0033] 5、摄像机提取实时场景,对每一帧视频图像采用自适应的图像增强算法,去除图 像获取过程中由于多变的外界环境造成图像对比度偏低、灰度值偏暗及灰度动态范围收缩 等问题引起的图像质量的退化。
[0034] 6、采用改进的ORB算法提取特征点,获得实时图像的特征点数据。
[0035] 7、将数据库中目标图像的特征点与实时场景特征点进行匹配。使用汉明距离 (hamming distance)计算特征点数据间的相似性,以最近邻距离与次近邻距离的比值T来 确定可能正确的匹配,只有当T〈0.8时,才认为最近邻距离对应的特征点为匹配点。并且采 用对称性匹配的策略,先在场景图像特征点数据中寻找目标图像特征点的最优匹配点,再 反过来在目标图像特征点数据中寻找场景图像特征点的最优匹配点,被接受的匹配点,必 须是各自的最优匹配点。
[0036] 8、由匹配特征点数据,使用随机抽样一致性算法(RANSAC)计算得到单应矩阵 (Homography) 〇
[0037] 9、利用求得的单应矩阵将库中目标四个顶点的图像坐标映射得到场景图像中四 个顶点的图像坐标,连接四个顶点,完成目标的识别。
[0038] 10、如式⑴所示只要有足够多的二维与三维匹配点对,就能求得目标相对于摄像 机的位姿。利用求得的场景图像中四个顶点的图像坐标和数据库中目标四个顶点的三维世 界坐标构成二维和三维匹配点对,并结合摄像机模型参数,使用PnP算法得到目标的三个旋 转角和三个方向的位移向量共6个自由度信息,从而完成目标的姿态测量及位置确定。
Figure CN104463108BD00061
[0040] 其中:(X,Y,Z)T为三维世界坐标,(u,V)TS与之对应的二维图像坐标。fx,fy,cx,cy 为标定出的摄像机模型参数。R,T为世界坐标系到摄像机坐标系的旋转和平移矩阵。
[0041] PnP算法只需要知道4对或更多二维坐标和三维坐标匹配点对,代入就能求出姿 态,opencv中有现成的函数供调用。
[0042] 上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范 围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不 需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (1)

  1. I. 一种单目实时目标识别及位姿测量方法,其特征是,包括以下步骤: 步骤一:通过改进的ORB算法提取特征点的方式获得各个目标的物体特征点数据,与目 标平面四个顶点的三维世界坐标和图像坐标一起存入目标数据库;所述改进的ORB算法为 利用AGAST特征点检测算法替代FAST特征点检测算法,完成对ORB算法的改进; 步骤二:选择要识别的目标,从目标数据库中提取目标的特征点数据及目标信息; 步骤三:提取实时场景,对提取的实时场景进行图像预处理,提取实时场景特征点,通 过改进的ORB算法提取特征点的方式获得实时图像的特征点数据;所述步骤三中对提取的 实时场景进行图像预处理,具体为对每一帧视频图像采用自适应的图像增强算法,去除图 像获取过程中由于多变的外界环境造成图像对比度偏低、灰度值偏暗及灰度动态范围收缩 问题引起的图像质量的退化; 步骤四:将要识别的目标数据库中目标图像的特征点与实时场景特征点进行匹配;所 述步骤四中,将数据库中目标图像的特征点与实时场景特征点进行匹配时,使用汉明距离 计算特征点数据间的相似性,以最近邻距离与次近邻距离的比值T来确定可能正确的匹配, 只有当T〈0.8时,才认为最近邻距离对应的特征点为匹配点; 步骤五:根据匹配特征点数据使用随机抽样一致性算法计算得到单应矩阵,利用求得 的单应矩阵将目标数据库中目标四个顶点的图像坐标映射得到场景图像中四个顶点的图 像坐标,连接四个顶点,完成目标的识别; 步骤六:对摄像机进行标定,得到摄像机的模型参数;利用求得的场景图像中四个顶点 的图像坐标和目标数据库中目标四个顶点的三维世界坐标构成二维和三维匹配点对,并结 合摄像机模型参数,使用PnP算法得到目标的三个旋转角和三个方向的位移向量共6个自由 度信息,得到的位移向量只是比例值并不是实际值,与目标数据库中的三维坐标结合可以 得到实际值,从而完成目标实时识别、姿态测量及位置确定;
    Figure CN104463108BC00021
    其中:(Χ,Υ,Ζ)Τ为三维世界坐标,(u,v)TS与之对应的二维图像坐标;fx,fy,Cx,CyS# 定出的摄像机模型参数;R,T为世界坐标系到摄像机坐标系的旋转和平移矩阵。
CN201410676615.6A 2014-11-21 2014-11-21 一种单目实时目标识别及位姿测量方法 Expired - Fee Related CN104463108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410676615.6A CN104463108B (zh) 2014-11-21 2014-11-21 一种单目实时目标识别及位姿测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410676615.6A CN104463108B (zh) 2014-11-21 2014-11-21 一种单目实时目标识别及位姿测量方法

Publications (2)

Publication Number Publication Date
CN104463108A CN104463108A (zh) 2015-03-25
CN104463108B true CN104463108B (zh) 2018-07-31

Family

ID=52909124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410676615.6A Expired - Fee Related CN104463108B (zh) 2014-11-21 2014-11-21 一种单目实时目标识别及位姿测量方法

Country Status (1)

Country Link
CN (1) CN104463108B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631875A (zh) * 2015-12-25 2016-06-01 广州视源电子科技股份有限公司 确定相机坐标与机械臂手爪坐标映射关系的方法及其系统
CN105631901A (zh) * 2016-02-22 2016-06-01 上海乐相科技有限公司 一种确定待测对象的运动信息的方法及装置
CN105674991A (zh) * 2016-03-29 2016-06-15 深圳市华讯方舟科技有限公司 一种机器人定位方法和装置
CN106251404B (zh) * 2016-07-19 2019-02-01 央数文化(上海)股份有限公司 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN106289187A (zh) * 2016-07-20 2017-01-04 广东大仓机器人科技有限公司 一种通过图像识别实现机器人室内定位的方法
CN106250893A (zh) * 2016-07-25 2016-12-21 浙江零跑科技有限公司 一种基于后视单目相机的多列车铰接角测量方法
CN106168805A (zh) * 2016-09-26 2016-11-30 湖南晖龙股份有限公司 基于云计算的机器人自主行走的方法
CN106556391A (zh) * 2016-11-25 2017-04-05 上海航天控制技术研究所 一种基于多核dsp的快速视觉测量方法
CN106683137B (zh) * 2017-01-11 2019-12-31 中国矿业大学 基于人工标志的单目多目标识别与定位方法
CN107481287A (zh) * 2017-07-13 2017-12-15 中国科学院空间应用工程与技术中心 一种基于多标识的物体定位定姿方法及系统
CN107886541B (zh) * 2017-11-13 2021-03-26 天津市勘察设计院集团有限公司 基于反向投影法的单目运动目标位姿实时测量方法
CN108108748A (zh) * 2017-12-08 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN108656107B (zh) * 2018-04-04 2020-06-26 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
CN110377015B (zh) * 2018-04-13 2021-04-27 北京三快在线科技有限公司 机器人定位方法和机器人定位装置
CN109241844B (zh) * 2018-08-03 2020-11-17 百度在线网络技术(北京)有限公司 三维物体的姿态估计方法、装置、设备及存储介质
CN109877827A (zh) * 2018-12-19 2019-06-14 东北大学 一种连杆机械手的非定点物料视觉识别与抓取装置及方法
CN109782012A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第二十研究所 一种基于光电图像特征关联的测速方法
WO2020227933A1 (zh) * 2019-05-14 2020-11-19 深圳大学 一种六自由度姿态估计方法、装置及计算机可读存储介质
CN111367335A (zh) * 2020-03-02 2020-07-03 怀化学院 投射控制方法、存储介质及投射机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2885436A1 (fr) * 2005-05-03 2006-11-10 France Telecom Procede de reconstruction tridimensionnelle d'un membre ou d'un ensemble de membres articules
US8311954B2 (en) * 2007-11-29 2012-11-13 Nec Laboratories America, Inc. Recovery of 3D human pose by jointly learning metrics and mixtures of experts

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
单目摄像头实时视觉定位;徐宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080615(第6期);第1.5.1、2.1、3.4-3.6、4.5-4.7-节 *
立体视觉测量中的点特征提取与匹配算法;赵登科;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140515(第5期);第2.4节,第3章,第7页第3段 *

Also Published As

Publication number Publication date
CN104463108A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104463108B (zh) 一种单目实时目标识别及位姿测量方法
CN103810685B (zh) 一种深度图的超分辨率处理方法
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN104034269B (zh) 一种单目视觉测量方法与装置
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN102970548A (zh) 一种图像深度感知装置
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN104515502A (zh) 一种机器人手眼立体视觉测量方法
CN106295512A (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
Xie et al. Fine registration of 3D point clouds with iterative closest point using an RGB-D camera
CN106919944A (zh) 一种基于orb算法的大视角图像快速识别方法
CN103839253A (zh) 一种基于局部仿射变换的任意点匹配方法
Ruchay et al. Accurate reconstruction of the 3D indoor environment map with a RGB-D camera based on multiple ICP
Liu et al. The applications and summary of three dimensional reconstruction based on stereo vision
Yang et al. Research and application of 3D face modeling algorithm based on ICP accurate alignment
Gao et al. Marker tracking for video-based augmented reality
CN109740659A (zh) 一种图像匹配方法及装置、电子设备、存储介质
Wang et al. Research on panoramic image registration approach based on spherical model
CN109003307A (zh) 基于水下双目视觉测量的捕鱼网目尺寸设计方法
Lu et al. Binocular stereo vision based on OpenCV
CN107833181A (zh) 一种基于变焦立体视觉的三维全景图像生成方法及系统
Lu et al. A new real time environment perception method based on visual image for micro UAS flight control
Yao et al. Identification and location of catenary insulator in complex background based on machine vision
Han et al. 3D reconstruction of dense model based on the sparse frames using RGBD camera
CN110176032B (zh) 一种三维重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180731

Termination date: 20191121

CF01 Termination of patent right due to non-payment of annual fee