CN103644894A - 一种复杂曲面目标识别及三维位姿测量的方法 - Google Patents

一种复杂曲面目标识别及三维位姿测量的方法 Download PDF

Info

Publication number
CN103644894A
CN103644894A CN201310669602.1A CN201310669602A CN103644894A CN 103644894 A CN103644894 A CN 103644894A CN 201310669602 A CN201310669602 A CN 201310669602A CN 103644894 A CN103644894 A CN 103644894A
Authority
CN
China
Prior art keywords
target
data
depth
color image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310669602.1A
Other languages
English (en)
Other versions
CN103644894B (zh
Inventor
李荣华
周长久
张连东
陈勇
陈百强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Jiaotong University
Original Assignee
Dalian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Jiaotong University filed Critical Dalian Jiaotong University
Priority to CN201310669602.1A priority Critical patent/CN103644894B/zh
Publication of CN103644894A publication Critical patent/CN103644894A/zh
Application granted granted Critical
Publication of CN103644894B publication Critical patent/CN103644894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种复杂曲面目标识别及三维位姿测量的方法，利用复杂曲面目标识别及三维位姿测量装置进行信息获取，具体方法包括以下步骤：通过离线过程建立目标特征数据库，所述的目标特征数据库包括目标彩色特征数据库和目标深度特征数据库；在线进行目标识别并获取三维位姿参数。由于本发明对体感器获取的深度和彩色特征数据进行融合，将目标识别和位姿测量结合，不仅避免了中间参数的重复计算，而且提高了本发明的智能水平。由于本发明采用离线方式分别建立深度目标特征数据库和彩色目标特征数据库，大大提高了目标识别和位姿测量的效率。本发明力求在体感器获取精度较低分辨率图像的情况下获取较高的位姿精度，提高了实时性。

Description

一种复杂曲面目标识别及三维位姿测量的方法
技术领域
本发明涉及图像处理及机器视觉等多学科交叉技术领域，特别是一种新型的复杂曲面目标识别及三维位姿测量的方法。
背景技术
复杂曲面目标识别及三维位姿测量系统对机器人抓取目标起到至关重要的作用。当前的研究方法一般将目标识别与位姿测量分为两部分研究，使得有些中间参数重复运算，造成资源浪费。如果采用激光扫描的方法获得表面形貌，系统除了激光发生器和高速摄像机之外，还需配套精度较高的水平位移工作台，由于工作过程中摄像机一直随激光发生器移动，造成摄像机标定困难，难以定位，不利于工程应用，并且该系统成本高，结构复杂，数据量大，自动获取位姿参数较困难。
发明内容
为解决现有技术存在的上述问题，本发明要设计一种计算数据量小、成本低、结构简单、计算精度较高、方便机器人抓取、方便复杂曲面零件的自动化装配的复杂曲面目标识别及三维位姿测量的方法。
为了实现上述目的，本发明的技术方案如下：
一种复杂曲面目标识别及三维位姿测量的方法，利用复杂曲面目标识别及三维位姿测量装置进行信息获取，所述的复杂曲面目标识别及三维位姿测量装置包括平面工作台、支撑框架、体感器和计算机，所述的支撑框架放置在平面工作台上，所述的体感器安装在支撑框架上部的横杆上，体感器通过数据线与计算机连接；
具体方法包括以下步骤：
A、离线建立目标特征数据库
通过离线过程建立目标特征数据库，所述的目标特征数据库包括目标彩色特征数据库和目标深度特征数据库；
B、在线目标识别并获取三维位姿参数
B1、使用体感器探测复杂表面物体，通过计算机采集体感器所接收的图像数据，所述的图像信息包括彩色图像数据和深度图像数据，彩色图像数据和深度图像数据在像素坐标系下一一对应，分辨率为640×480；
令I=1；
B2、使用计算机中的软件对第I帧彩色图像数据进行处理，获取第I帧彩色图像的特征描述；
B3、将第I帧彩色图像的特征描述与步骤A建立的目标特征数据库进行特征识别，判断第I帧彩色图像中是否存在与目标特征数据库相匹配的目标；
B4、如果不存在目标且I<N，则令I=I+1，转向步骤B2，如果I=N则结束；N为彩色图像的总帧数；如果存在目标，则转向步骤B5；
B5、获取目标的二维位置参数（x，y），x表示目标的横坐标，y表示目标的纵坐标；
B6、由于彩色图像数据和深度图像数据在像素坐标系下一一对应，因此可根据目标的二维位置参数和相应的第I帧深度图像数据获取目标的点云数据，目标的点云数据即目标表面轮廓的离散采样点数据；
B7，根据步骤A建立的目标深度特征数据库获取对当前场景内的目标姿态参数，所述的目标姿态参数包括横滚角Roll、俯仰角Pitch和航向角Yaw；
B8、将目标在二维平面内位置的中心点的高度作为目标的高度z；这样复杂表面物体的三维位姿参数（x，y，z，Roll，Pitch，Yaw）全部计算完毕。
与现有技术相比，本发明具有以下有益效果：
1、由于本发明采用支撑框架和体感器作为深度和彩色图像特征数据装置的主体，实现了成本低、结构简单、数据量低的目的。
2、由于本发明采用的体感器位置固定，使得整个运算过程无需对体感器进行实时标定，因此在机器人抓取和复杂表面零部件的自动化装配过程中可以更加方便地提供位姿信息。
3、由于本发明对体感器获取的深度和彩色特征数据进行融合，将目标识别和位姿测量结合，不仅避免了中间参数的重复计算，而且提高了本发明的智能水平。
4、由于本发明采用离线方式分别建立深度目标特征数据库和彩色目标特征数据库，大大提高了目标识别和位姿测量的效率。
5、本发明力求在体感器获取精度较低分辨率（640×480）图像的情况下获取较高的位姿精度，提高实时性。
6、本发明利用体感器获取的彩色图像数据和深度图像数据在像素坐标系下一一对应的特点，将识别后的目标二维轮廓信息与场景深度图像建立关联，精确获取场景目标的点云数据，使得计算的姿态数据更加精准。
附图说明
本发明共有附图2幅。
图1是复杂曲面目标识别及三维位姿测量装置轴测图。
图2是三维位姿参数获取流程图。
图中：1-体感器；2-平面工作台；3-支撑框架；4-模拟复杂表面物体；5-计算机。
具体实施方式
下面结合附图说明本发明的具体实施。如图1-2所示，一种复杂曲面目标识别及三维位姿测量的方法，利用复杂曲面目标识别及三维位姿测量装置进行信息获取，所述的复杂曲面目标识别及三维位姿测量装置包括平面工作台2、支撑框架3、体感器1和计算机5，所述的支撑框架3放置在平面工作台2上，所述的体感器1安装在支撑框架3上部的横杆上，体感器1通过数据线与计算机5连接；
具体方法包括以下步骤：
A、离线建立目标特征数据库
通过离线过程建立目标特征数据库，所述的目标特征数据库包括目标彩色特征数据库和目标深度特征数据库；
B、在线目标识别并获取三维位姿参数
B1、使用体感器1探测复杂表面物体4，通过计算机5采集体感器1所接收的图像数据，所述的图像信息包括彩色图像数据和深度图像数据，彩色图像数据和深度图像数据在像素坐标系下一一对应，分辨率为640×480；
令I=1；
B2、使用计算机5中的软件对第I帧彩色图像数据进行处理，获取第I帧彩色图像的特征描述；
B3、将第I帧彩色图像的特征描述与步骤A建立的目标特征数据库进行特征识别，判断第I帧彩色图像中是否存在与目标特征数据库相匹配的目标；
B4、如果不存在目标且I<N，则令I=I+1，转向步骤B2，如果I=N则结束；N为彩色图像的总帧数；如果存在目标，则转向步骤B5；
B5、获取目标的二维位置参数（x，y），x表示目标的横坐标，y表示目标的纵坐标；
B6、由于彩色图像数据和深度图像数据在像素坐标系下一一对应，因此可根据目标的二维位置参数和相应的第I帧深度图像数据获取目标的点云数据，目标的点云数据即目标表面轮廓的离散采样点数据；
B7，根据步骤A建立的目标深度特征数据库获取对当前场景内的目标姿态参数，所述的目标姿态参数包括横滚角Roll、俯仰角Pitch和航向角Yaw；
B8、将目标在二维平面内位置的中心点的高度作为目标的高度z；这样复杂表面物体4的三维位姿参数（x，y，z，Roll，Pitch，Yaw）全部计算完毕。

Claims (1)

1.一种复杂曲面目标识别及三维位姿测量的方法，利用复杂曲面目标识别及三维位姿测量装置进行信息获取，其特征在于：所述的复杂曲面目标识别及三维位姿测量装置包括平面工作台（2）、支撑框架（3）、体感器（1）和计算机（5），所述的支撑框架（3）放置在平面工作台（2）上，所述的体感器（1）安装在支撑框架（3）上部的横杆上，体感器（1）通过数据线与计算机（5）连接；
具体方法包括以下步骤：
A、离线建立目标特征数据库
通过离线过程建立目标特征数据库，所述的目标特征数据库包括目标彩色特征数据库和目标深度特征数据库；
B、在线目标识别并获取三维位姿参数
B1、使用体感器（1）探测复杂表面物体（4），通过计算机（5）采集体感器（1）所接收的图像数据，所述的图像信息包括彩色图像数据和深度图像数据，彩色图像数据和深度图像数据在像素坐标系下一一对应，分辨率为640×480；
令I=1；
B2、使用计算机（5）中的软件对第I帧彩色图像数据进行处理，获取第I帧彩色图像的特征描述；
B3、将第I帧彩色图像的特征描述与步骤A建立的目标特征数据库进行特征识别，判断第I帧彩色图像中是否存在与目标特征数据库相匹配的目标；
B4、如果不存在目标且I<N，则令I=I+1，转向步骤B2，如果I=N则结束；N为彩色图像的总帧数；如果存在目标，则转向步骤B5；
B5、获取目标的二维位置参数（x，y），x表示目标的横坐标，y表示目标的纵坐标；
B6、由于彩色图像数据和深度图像数据在像素坐标系下一一对应，因此可根据目标的二维位置参数和相应的第I帧深度图像数据获取目标的点云数据，目标的点云数据即目标表面轮廓的离散采样点数据；
B7，根据步骤A建立的目标深度特征数据库获取对当前场景内的目标姿态参数，所述的目标姿态参数包括横滚角Roll、俯仰角Pitch和航向角Yaw；
B8、将目标在二维平面内位置的中心点的高度作为目标的高度z；这样复杂表面物体（4）的三维位姿参数（x，y，z，Roll，Pitch，Yaw）全部计算完毕。
CN201310669602.1A 2013-12-10 2013-12-10 一种复杂曲面目标识别及三维位姿测量的方法 Active CN103644894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310669602.1A CN103644894B (zh) 2013-12-10 2013-12-10 一种复杂曲面目标识别及三维位姿测量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310669602.1A CN103644894B (zh) 2013-12-10 2013-12-10 一种复杂曲面目标识别及三维位姿测量的方法

Publications (2)

Publication Number Publication Date
CN103644894A true CN103644894A (zh) 2014-03-19
CN103644894B CN103644894B (zh) 2016-03-09

Family

ID=50250146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310669602.1A Active CN103644894B (zh) 2013-12-10 2013-12-10 一种复杂曲面目标识别及三维位姿测量的方法

Country Status (1)

Country Link
CN (1) CN103644894B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346816A (zh) * 2014-10-11 2015-02-11 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
CN104764440A (zh) * 2015-03-12 2015-07-08 大连理工大学 基于彩色图像的滚转物单目位姿测量方法
CN108763738A (zh) * 2018-05-25 2018-11-06 大连交通大学 一种轨道车辆车体腻子自动化离线喷涂连续路径规划方法
CN109176521A (zh) * 2018-09-19 2019-01-11 北京因时机器人科技有限公司 一种机械臂及其抓取控制方法和系统
CN110763232A (zh) * 2018-07-25 2020-02-07 深圳市优必选科技有限公司 一种机器人及其导航定位方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1796039A2 (en) * 2005-12-08 2007-06-13 Topcon Corporation Determining photographing position or object position from plural images
US20090096790A1 (en) * 2007-10-11 2009-04-16 Mvtec Software Gmbh System and method for 3d object recognition
CN102410832A (zh) * 2010-08-06 2012-04-11 佳能株式会社 位置姿势测量设备和位置姿势测量方法
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1796039A2 (en) * 2005-12-08 2007-06-13 Topcon Corporation Determining photographing position or object position from plural images
US20090096790A1 (en) * 2007-10-11 2009-04-16 Mvtec Software Gmbh System and method for 3d object recognition
CN102410832A (zh) * 2010-08-06 2012-04-11 佳能株式会社 位置姿势测量设备和位置姿势测量方法
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAUL J. BESL ET AL.: ""A Method for Registration of 3-D Shapes"", 《IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 14, no. 2, 29 February 1992 (1992-02-29), pages 239 - 256 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346816A (zh) * 2014-10-11 2015-02-11 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
CN104346816B (zh) * 2014-10-11 2017-04-19 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
US9704251B2 (en) 2014-10-11 2017-07-11 Boe Technology Group Co., Ltd. Depth determination method, depth determination device and electronic device
CN104764440A (zh) * 2015-03-12 2015-07-08 大连理工大学 基于彩色图像的滚转物单目位姿测量方法
CN108763738A (zh) * 2018-05-25 2018-11-06 大连交通大学 一种轨道车辆车体腻子自动化离线喷涂连续路径规划方法
CN110763232A (zh) * 2018-07-25 2020-02-07 深圳市优必选科技有限公司 一种机器人及其导航定位方法和装置
CN110763232B (zh) * 2018-07-25 2021-06-29 深圳市优必选科技有限公司 一种机器人及其导航定位方法和装置
CN109176521A (zh) * 2018-09-19 2019-01-11 北京因时机器人科技有限公司 一种机械臂及其抓取控制方法和系统

Also Published As

Publication number Publication date
CN103644894B (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
US11014211B2 (en) Monocular vision six-dimensional measurement method for high-dynamic large-range arbitrary contouring error of CNC machine tool
CN110118528B (zh) 一种基于棋盘靶标的线结构光标定方法
CN109612390B (zh) 基于机器视觉的大尺寸工件自动测量系统
CN103292695B (zh) 一种单目立体视觉测量方法
CN106524945B (zh) 一种基于机械臂和结构光视觉的平面夹角在线测量方法
CN109029257A (zh) 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
CN106091931B (zh) 一种基于三维模型的自适应扫描测量系统及其控制方法
CN108198224B (zh) 一种用于立体视觉测量的线阵相机标定装置及标定方法
CN102519400B (zh) 基于机器视觉的大长径比轴类零件直线度误差检测方法
CN103644894B (zh) 一种复杂曲面目标识别及三维位姿测量的方法
CN201653373U (zh) 三轴非接触式影像测量系统
CN202599371U (zh) 一种视觉传感器和三坐标测量机集成的测量装置
CN105021124A (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN103438826B (zh) 激光与视觉相结合的钢板的三维测量系统及方法
CN105783711B (zh) 三维扫描仪校正系统及其校正方法
CN107649802B (zh) 一种激光视觉焊缝跟踪系统及标定方法
CN109794963A (zh) 一种面向曲面构件的机器人快速定位方法
KR102634535B1 (ko) 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
Chen et al. Stereo vision sensor calibration based on random spatial points given by CMM
CN204208945U (zh) 一种基于视觉测量的折弯机加工控制装置
CN104819690A (zh) 一种表面贴装元件的双相机机器视觉定位方法
CN105136120A (zh) 物体位移图像检测系统及方法
CN113112543A (zh) 一种基于视觉移动目标的大视场二维实时定位系统及方法
CN103679695B (zh) 一种3d四轮定位仪反射标靶及图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant