CN109035200A - 一种基于单双目视觉协同的螺栓定位及位姿检测方法 - Google Patents
一种基于单双目视觉协同的螺栓定位及位姿检测方法 Download PDFInfo
- Publication number
- CN109035200A CN109035200A CN201810645144.0A CN201810645144A CN109035200A CN 109035200 A CN109035200 A CN 109035200A CN 201810645144 A CN201810645144 A CN 201810645144A CN 109035200 A CN109035200 A CN 109035200A
- Authority
- CN
- China
- Prior art keywords
- bolt
- camera
- vision system
- image
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于单双目视觉协同的螺栓定位及位姿检测方法,首先使用固定位置下的双目视觉系统采集并处理的螺栓图像,获得螺栓图像边缘轮廓,计算几何质心获得特征点在螺栓图像中的位置坐标;在安装双目系统中两个工业摄像机时,把左摄像机安装在可控制移动轨迹的左机械臂上,把右摄像机安装在检修机器人的固定支座的合适高度上。设定初始工作状态为左右摄像机光轴平行且垂直于基线,工作结束后通过该控制系统关闭右相机接口,并且控制左机械臂末端运动到已获取的坐标点上方,此时为成单目视觉系统工作。本发明结合了双目系统利用深度信息定位的功能以及单目系统灵活的3d位姿匹配功能,实现了对障碍环境中待检测螺栓的识别与位姿检测。
Description
技术领域
本发明涉及图像处理和计算机视觉领域,涉及HALCON软件,具体涉及一个单双目相结合的视觉系统,应用于获取螺栓的位置和位姿信息。
背景技术
高铁列车在高速运行中不可避免地会产生剧烈的震动,为了保证列车的高速运营的平稳性,需要定期对列车底板的连接螺栓进行检修。但在线检测大批螺栓时,人工视觉检测和测量难以保证精度和质量。双目视觉技术为工业机器人自动化定位提供了支持,其使用共极性约束的双目摄像机模型,基于针孔成像原理和三角测距的数学理论,通过立体匹配算法获得景深信息。双目视觉虽然可以完成从二维图像坐标系到三维世界坐标系的转换,但也只能通过给出世界坐标的形式实现对螺栓的定位。王国辉在论文《螺栓拧紧机器人视觉导引关键技术研究》中提出了一种检被动式测量螺栓三维空间信息的方法,根据螺栓的6个角点的世界坐标完成螺栓位姿及其尺寸的确定。使用的位姿确定方法是基于螺栓的特征提取,用两个角点的直线斜率表示螺栓的旋向,用三个角点所在平面的法向量表示螺栓的朝向,螺栓的位置中点表示。但是受采集照片角度的影响,螺栓六边形的投影会变形,此使的位姿分析将不可靠。
为解决以上算法的不足,本文设计的系统需要用到的相关技术有基于Zhang的平面标定法[参见学术论文“ZHANG ZH Y.“A flexible new technique for cameracalibration”IEEE Transactions on Pattern-analysis&Machine-intelligence”和“岳晓峰,祁欢.“基于张正友平面模板法的双目立体视觉系统标定”机械工程师,2014,(2):1-3.”]、理想双目系统的共极性约束、基于canny边缘检测算子的特征轮廓提取[参见学术论文“侯守明,王阳,唐琪博,等.“一种基于偏微分方程和Canny算子的图像分割方法”山西大学学报(自然科学版),2017,(4):676-682.”]、基于NCC的立体匹配、单目视觉下的三维模型匹配。
发明内容
本发明的目的在于规避人工检修造成的安全风险,提出一种基于图像匹配和三维模型配准的视觉系统联合工作模式,用于为螺栓检修工业机器人提供障碍环境中紧固件的位置信息以及三维位姿信息。
本发明的技术思路是:一种基于单双目视觉协同的螺栓定位及位姿检测方法
首先使用固定位置下的双目视觉系统采集并处理的螺栓图像,获得螺栓图像边缘轮廓,计算几何质心获得特征点在螺栓图像中的位置坐标;利用图像中的螺栓的位置坐标结合视差图获取该坐标在左右两幅图中的视差值,而视差图则是基于NCC匹配算法计算得到的;基于获取的视差值,利用三角测量原理获得螺栓的深度信息,基于深度信息确定螺栓的空间坐标。
然后,通过一个控制系统,实现双目视觉系统与单目视觉系统的协同。在安装双目系统中两个工业摄像机时,把左摄像机安装在可控制移动轨迹的左机械臂上,把右摄像机安装在检修机器人的固定支座的合适高度上。设定初始工作状态为左右摄像机光轴平行且垂直于基线,所述的双目视觉系统工作获得的螺栓空间坐标存储在X[]、Y[]、Z[]数组中,工作结束后通过该控制系统关闭右相机接口,并且控制左机械臂末端运动到已获取的坐标点上方,此时为成单目视觉系统工作。
单目视觉系统中的摄像机采集螺栓图像,并且基于三维模型的形状匹配,获得目标螺栓的三维位姿信息。
实现单目视觉系统与双目视觉系统的协同工作获取螺栓在三维空间中的位置与位姿,包括如下步骤:
步骤1、双目视觉系统工作,获得螺栓位置坐标;
步骤1.1、安装两个工业摄像机,一个工业摄像机安装在螺栓检修机器人支座合适的高度上,另一个工业摄像机安装在螺栓检修机器人可移动的机械臂上,并设定初始工作位置,两个工业摄像机的光轴平行且与基线垂直,基线为两个工业摄像机光心的连线。
步骤1.2、标定双目视觉系统中的两个工业摄像机;
步骤a、两个工业摄像机构成双目平行视觉系统,基于双目平行视觉系统的模型,设定世界坐标系与双目视觉系统中的左摄像机的坐标系重合;
步骤b、根据张氏平面标定法中给出的棋盘格标定板,打印棋盘格图片,并用双目视觉系统采集棋盘格图片,在MATLAB提供的Stereo CalibratorAPP中标定左右两个工业摄像机,获得两个工业摄像机各自的内部参数以及右摄像机相对于左摄像机的位移矩阵和旋转矩阵,用于矫正像机镜头对图像产生的畸变问题;
步骤1.3、矫正左右视图;
步骤a、使用构成双目视觉系统的左右两个工业摄像机,同时对待检测的包含螺栓的障碍环境进行拍照采集,获得两张图片,其中左视图是左工业摄像机采集的图片,右视图是右工业摄像机采集的图片,要求左右相机采集图片这一事件同时发生;
步骤b、使用步骤1.2获得的系统的内参矩阵和外参矩阵以及畸变系数,基于对极几何中的共极性约束,矫正上一步左右工业摄像机采集的图像对;
步骤1.4、获取目标点的世界坐标;
步骤a、基于Canny算子对经过步骤1.3中矫正的左视图进行边缘检测以及视图中螺栓特征轮廓的提取,计算该螺栓特征轮廓的几何中心作为螺栓的图像坐标;
步骤b、基于NCC(Normalized Cross Correlation)匹配算法对步骤1.3中经过矫正的图像对,在两视图行对正的基础上计算视差,并获得视差图;
步骤c、使用步骤1.4中的步骤a中获得的图像坐标在步骤1.4中的步骤b中获得的视差图中找到对应点的视差值,基于三角测距原理,计算深度信息,基于深度值,获得螺栓的世界坐标。
步骤2、单目视觉系统工作,获取螺栓在三维空间中的位姿。
步骤2.1、通过步骤1中获取世界坐标流程结束,返回检修机器人的控制系统,输出指令R=0,关闭步骤1中双目系统的右摄像机接口,构成单目视觉系统;
步骤2.2、螺栓检修机器人的控制系统接收到步骤2.1中右摄像机接口关闭完成的信号后,控制机器人左机械臂移动到步骤1中获取的螺栓的坐标上方;
步骤2.3、左摄像机在静止状态下采集待检测螺栓图像;
步骤2.4、基于三维模型匹配,获取待检测螺栓的空间位姿。
步骤a、基于已绘制的螺栓的三维模型,和已标定的左摄像机创建三维匹配模板;
步骤b、基于三维匹配模板,匹配步骤2.3中采集的图像中的待检测螺栓,计算螺栓相对于三维匹配模板的位姿。
本发明结合了双目系统利用深度信息定位的功能以及单目系统灵活的3d位姿匹配功能,实现了对障碍环境中待检测螺栓的识别与位姿检测。计算视差选择基于灰度的NCC算法,NCC通过归一化处理具有强于其他基于灰度信息匹配算法的抗光照性。边缘检测选择了Canny算子,可以调整高斯滤波器的大小适应不同特征的目标环境,且Canny算子使用两个阈值更为灵活,滞后阈值可用于亚像素边缘的检测,提高精度。目前无法使用双目系统简便高效地完成识别位姿的功能,但单目系统在三维匹配模板的基础上可以计算出目标物体的相对参考坐标轴的旋转角度。
附图说明
图1为本发明的工作流程图;
图2为本发明使用搭建的单双目系统定位螺栓与基于模板经行3d匹配获取相对位姿信息的结果图;
图3为单目视觉系统和双目视觉系统模式切换流程图。
具体实施方式
以下结合附图和具体实施例,对本系统工作流程进行详细说明。
参照图1,本系统工作流程步骤如下:
步骤1,在HALCON平台中标定双目系统的摄像机参数,步骤如下:
步骤1.1,假设世界坐标系与左摄像机的相机坐标系重合。
步骤1.2,建立从世界坐标系到像素坐标变换的关系:
设像素坐标系的原点为图像的左上顶点,水平轴(u轴)与垂直轴(v轴)分别与图像坐标系中的X轴和Y轴平行,并且方向相同。假设像素坐标系中的图像坐标系的原点的坐标是(u0,v0);像素上一点坐标(u,v)经过公式转换到世界坐标(X,Y,Z)。其中,和分别是单位像素对应的长度,f是摄像机的焦距,R是右摄像机相对于左摄像机的旋转矩阵,T是右摄像机相对于左摄像机的平移矩阵。
步骤1.3,在HALCON中同时打开左右相机的图像采集接口,拍摄25组标定板图片;
步骤1.4,使用binocular_calibration计算并存储标定的系统内外参数。
步骤2.在HALCON平台中使用gen_binocular_rectification和map_image矫正两幅待匹配的灰度图像,步骤如下:
步骤2.1,构造左右相机共同的理想内参矩阵A完成从像素坐标系到图像坐标系的转换,其中fx1和fy1是左摄像机的焦距,cx1和cy1是左摄像机相对于成像平面的主点坐标;fx2和fy2是右摄像机的焦距,cx2和cy2是右摄像机相对于成像平面的主点坐标:
步骤2.2,根据旋转矩阵Rrect获得新的图像坐标系,分别对左右相机去畸变:
其中T是右摄像机相对于左摄像机的平移矩阵,Tx、Ty、Tz是其在三个方向的分量;
步骤2.3,去畸变后的图像坐标向像素坐标转化,通过双线性内插法获得矫正后的图像,在软件中校正的映射矩阵存储在映射图中。
步骤3,基于NCC(Normalized Cross Correlation)计算视差图,步骤如下:
步骤3.1,在HALCON中设置binocular_disparity算子第一个Filter参数为‘NCC’;设置窗口大小为5*5,根据窗口大小使用积分图计算NCC;
步骤3.2,NCC取值范围是[-1,1],设置合适的阈值;
步骤3.3,获得匹配区域,计算视差;
步骤3.4,进行左右一致性检测,对匹配结果求精。
步骤4,基于Canny算子进行边缘检测和轮廓提取,在HALCON中步骤如下:
步骤4.1,使用高斯滤波器,平滑图像,滤除噪声;
步骤4.2,计算图像中每个像素点的梯度强度和方向;
步骤4.3,非极大值(Non-Maximum Suppression)抑制,消除边缘检测带来的杂散响应;
步骤4.4,应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘;
步骤4.5,通过抑制孤立的弱边缘最终完成边缘检测。
步骤5,筛选特征轮廓,对目标螺栓标号,存储其坐标。通过HALCON提供的disparity_to_point_3d算子的参数设置(需要输入的控制参数有矫正后相机的参数,目标的像素坐标,目标点的视差),基于三角测距原理可以获得目标点世界坐标(X,Y,Z)。
步骤6,在SolidWorks中创建螺母的三维模型,输出为HALCON可读的文件格式。
步骤7,根据图3所示的流程,判断采集图片中的螺栓是否完全定位,选择是否关闭右相机的接口。定位工作完成后,进入单目视觉系统工作模式,使用1中已标定的左相机,调用create_3d_shape_model读取模型,规定参考坐标系。
步骤8,移动单目系统相机到目标螺栓上方h处采集图片,其中h是一个可调整的参数,通过调整h使匹配数目为1,使用find_3d_shape_model完成3d匹配,计算目标螺栓相对于参考坐标系的仿射变换,得到目标螺栓的位姿信息。
对于步骤8中的三维位姿匹配,需要考虑匹配耗时问题,因此需要选择合适的参数用于create_3d_shape_model和find_3d_shape_model。图2中给出了不同参数设置下,不同光照条件下的匹配结果,通过调整参数到合适的值,可以很大的缩短匹配时间,有利于提高识别效率。
图3为单目视觉系统和双目视觉系统模式切换流程图。
Claims (1)
1.一种基于单双目视觉协同的螺栓定位及位姿检测方法,其特征在于:该方法包括如下步骤:
步骤1、双目视觉系统工作,获得螺栓位置坐标;
步骤1.1、安装两个工业摄像机,一个工业摄像机安装在螺栓检修机器人支座合适的高度上,另一个工业摄像机安装在螺栓检修机器人可移动的机械臂上,并设定初始工作位置,两个工业摄像机的光轴平行且与基线垂直,基线为两个工业摄像机光心的连线;
步骤1.2、标定双目视觉系统中的两个工业摄像机;
步骤a、两个工业摄像机构成双目平行视觉系统,基于双目平行视觉系统的模型,设定世界坐标系与双目视觉系统中的左摄像机的坐标系重合;
步骤b、根据张氏平面标定法中给出的棋盘格标定板,打印棋盘格图片,并用双目视觉系统采集棋盘格图片,在MATLAB提供的Stereo Calibrator APP中标定左右两个工业摄像机,获得两个工业摄像机各自的内部参数以及右摄像机相对于左摄像机的位移矩阵和旋转矩阵,用于矫正像机镜头对图像产生的畸变问题;
步骤1.3、矫正左右视图;
步骤a、使用构成双目视觉系统的左右两个工业摄像机,同时对待检测的包含螺栓的障碍环境进行拍照采集,获得两张图片,其中左视图是左工业摄像机采集的图片,右视图是右工业摄像机采集的图片,要求左右相机采集图片这一事件同时发生;
步骤b、使用步骤1.2获得的系统的内参矩阵和外参矩阵以及畸变系数,基于对极几何中的共极性约束,矫正上一步左右工业摄像机采集的图像对;
步骤1.4、获取目标点的世界坐标;
步骤a、基于Canny算子对经过步骤1.3中矫正的左视图进行边缘检测以及视图中螺栓特征轮廓的提取,计算该螺栓特征轮廓的几何中心作为螺栓的图像坐标;
步骤b、基于NCC(Normalized Cross Correlation)匹配算法对步骤1.3中经过矫正的图像对,在两视图行对正的基础上计算视差,并获得视差图;
步骤c、使用步骤1.4中的步骤a中获得的图像坐标在步骤1.4中的步骤b中获得的视差图中找到对应点的视差值,基于三角测距原理,计算深度信息,基于深度值,获得螺栓的世界坐标;
步骤2、单目视觉系统工作,获取螺栓在三维空间中的位姿;
步骤2.1、通过步骤1中获取世界坐标流程结束,返回检修机器人的控制系统,输出指令R=0,关闭步骤1中双目系统的右摄像机接口,构成单目视觉系统;
步骤2.2、螺栓检修机器人的控制系统接收到步骤2.1中右摄像机接口关闭完成的信号后,控制机器人左机械臂移动到步骤1中获取的螺栓的坐标上方;
步骤2.3、左摄像机在静止状态下采集待检测螺栓图像;
步骤2.4、基于三维模型匹配,获取待检测螺栓的空间位姿;
步骤a、基于已绘制的螺栓的三维模型,和已标定的左摄像机创建三维匹配模板;
步骤b、基于三维匹配模板,匹配步骤2.3中采集的图像中的待检测螺栓,计算螺栓相对于三维匹配模板的位姿。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810645144.0A CN109035200B (zh) | 2018-06-21 | 2018-06-21 | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810645144.0A CN109035200B (zh) | 2018-06-21 | 2018-06-21 | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109035200A true CN109035200A (zh) | 2018-12-18 |
CN109035200B CN109035200B (zh) | 2022-06-07 |
Family
ID=64610673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810645144.0A Active CN109035200B (zh) | 2018-06-21 | 2018-06-21 | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109035200B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110260824A (zh) * | 2019-06-14 | 2019-09-20 | 广东博智林机器人有限公司 | 墙板凹槽边缘角度的获取装置和方法 |
CN110517323A (zh) * | 2019-08-16 | 2019-11-29 | 中铁第一勘察设计院集团有限公司 | 基于机械手单相机多目视觉的三维定位系统及方法 |
CN110565459A (zh) * | 2019-09-17 | 2019-12-13 | 南华大学 | 钢轨扣件拆卸位置确定方法、装置、设备及自动拆卸系统 |
CN110640748A (zh) * | 2019-11-07 | 2020-01-03 | 南京工程学院 | 基于双目视觉的双臂机器人协调控制方法 |
CN110874854A (zh) * | 2020-01-19 | 2020-03-10 | 立得空间信息技术股份有限公司 | 一种基于小基线条件下的大畸变广角相机双目摄影测量方法 |
CN111145254A (zh) * | 2019-12-13 | 2020-05-12 | 上海新时达机器人有限公司 | 一种基于双目视觉的门阀毛坯定位方法 |
CN111462154A (zh) * | 2020-02-27 | 2020-07-28 | 中电莱斯信息系统有限公司 | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 |
CN111737930A (zh) * | 2020-06-18 | 2020-10-02 | 西安微电子技术研究所 | 一种针对底板信号特征值的连线关系筛选方法及设备 |
CN111784766A (zh) * | 2020-06-08 | 2020-10-16 | 易思维(杭州)科技有限公司 | 一种含螺纹目标物位姿的计算方法 |
CN111784655A (zh) * | 2020-06-24 | 2020-10-16 | 江苏科技大学 | 一种水下机器人回收定位方法 |
CN112045681A (zh) * | 2020-09-02 | 2020-12-08 | 苏州三仲信息科技有限公司 | 获取安装孔位置的方法和安装牌照的方法、对应的装置 |
CN112215890A (zh) * | 2020-09-30 | 2021-01-12 | 华中科技大学 | 一种基于单目视觉的盾构机滚刀刀座位姿的测量方法 |
CN112388606A (zh) * | 2020-11-19 | 2021-02-23 | 上海电气集团股份有限公司 | 一种风力发电机中螺栓状态的检测方法及检测装置 |
CN112862889A (zh) * | 2021-01-29 | 2021-05-28 | 珠海迪沃航空工程有限公司 | 一种基于图像识别的识别矫正系统、方法、装置 |
CN112883785A (zh) * | 2021-01-14 | 2021-06-01 | 北京交通大学 | 基于平行视觉理论的铁路运行环境安全图像检测系统 |
CN113084827A (zh) * | 2021-04-01 | 2021-07-09 | 北京飞影科技有限公司 | 一种摄像装置光心位置标定方法及装置 |
CN113211439A (zh) * | 2021-05-10 | 2021-08-06 | 淮阴工学院 | 一种基于bm匹配机械臂控制系统和方法 |
CN113393524A (zh) * | 2021-06-18 | 2021-09-14 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
CN113843797A (zh) * | 2021-10-08 | 2021-12-28 | 北京工业大学 | 一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法 |
CN113967926A (zh) * | 2021-01-29 | 2022-01-25 | 航天智造(上海)科技有限责任公司 | 一种用于工业机器人螺栓紧固引导的视觉传感器设备 |
CN114234802A (zh) * | 2021-12-02 | 2022-03-25 | 南京工业大学 | 一种基于机器视觉的可转位刀片几何参数测量系统和方法 |
CN114445335A (zh) * | 2021-12-22 | 2022-05-06 | 武汉易思达科技有限公司 | 基于双目机器视觉的车辆行驶状态监测方法及系统 |
CN115205286A (zh) * | 2022-09-13 | 2022-10-18 | 国网天津市电力公司建设分公司 | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130058581A1 (en) * | 2010-06-23 | 2013-03-07 | Beihang University | Microscopic Vision Measurement Method Based On Adaptive Positioning Of Camera Coordinate Frame |
CN107192331A (zh) * | 2017-06-20 | 2017-09-22 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于双目视觉的工件抓取方法 |
CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
-
2018
- 2018-06-21 CN CN201810645144.0A patent/CN109035200B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130058581A1 (en) * | 2010-06-23 | 2013-03-07 | Beihang University | Microscopic Vision Measurement Method Based On Adaptive Positioning Of Camera Coordinate Frame |
CN107192331A (zh) * | 2017-06-20 | 2017-09-22 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于双目视觉的工件抓取方法 |
CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110260824A (zh) * | 2019-06-14 | 2019-09-20 | 广东博智林机器人有限公司 | 墙板凹槽边缘角度的获取装置和方法 |
CN110517323A (zh) * | 2019-08-16 | 2019-11-29 | 中铁第一勘察设计院集团有限公司 | 基于机械手单相机多目视觉的三维定位系统及方法 |
CN110565459A (zh) * | 2019-09-17 | 2019-12-13 | 南华大学 | 钢轨扣件拆卸位置确定方法、装置、设备及自动拆卸系统 |
CN110640748A (zh) * | 2019-11-07 | 2020-01-03 | 南京工程学院 | 基于双目视觉的双臂机器人协调控制方法 |
CN111145254A (zh) * | 2019-12-13 | 2020-05-12 | 上海新时达机器人有限公司 | 一种基于双目视觉的门阀毛坯定位方法 |
CN111145254B (zh) * | 2019-12-13 | 2023-08-11 | 上海新时达机器人有限公司 | 一种基于双目视觉的门阀毛坯定位方法 |
CN110874854A (zh) * | 2020-01-19 | 2020-03-10 | 立得空间信息技术股份有限公司 | 一种基于小基线条件下的大畸变广角相机双目摄影测量方法 |
CN111462154B (zh) * | 2020-02-27 | 2024-01-23 | 中电莱斯信息系统有限公司 | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 |
CN111462154A (zh) * | 2020-02-27 | 2020-07-28 | 中电莱斯信息系统有限公司 | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 |
CN111784766B (zh) * | 2020-06-08 | 2024-05-24 | 易思维(杭州)科技股份有限公司 | 一种含螺纹目标物位姿的计算方法 |
CN111784766A (zh) * | 2020-06-08 | 2020-10-16 | 易思维(杭州)科技有限公司 | 一种含螺纹目标物位姿的计算方法 |
CN111737930B (zh) * | 2020-06-18 | 2023-06-16 | 西安微电子技术研究所 | 一种针对底板信号特征值的连线关系筛选方法及设备 |
CN111737930A (zh) * | 2020-06-18 | 2020-10-02 | 西安微电子技术研究所 | 一种针对底板信号特征值的连线关系筛选方法及设备 |
CN111784655A (zh) * | 2020-06-24 | 2020-10-16 | 江苏科技大学 | 一种水下机器人回收定位方法 |
CN111784655B (zh) * | 2020-06-24 | 2023-11-24 | 江苏科技大学 | 一种水下机器人回收定位方法 |
CN112045681A (zh) * | 2020-09-02 | 2020-12-08 | 苏州三仲信息科技有限公司 | 获取安装孔位置的方法和安装牌照的方法、对应的装置 |
CN112215890A (zh) * | 2020-09-30 | 2021-01-12 | 华中科技大学 | 一种基于单目视觉的盾构机滚刀刀座位姿的测量方法 |
CN112388606A (zh) * | 2020-11-19 | 2021-02-23 | 上海电气集团股份有限公司 | 一种风力发电机中螺栓状态的检测方法及检测装置 |
CN112388606B (zh) * | 2020-11-19 | 2022-02-18 | 上海电气集团股份有限公司 | 一种风力发电机中螺栓状态的检测方法及检测装置 |
CN112883785A (zh) * | 2021-01-14 | 2021-06-01 | 北京交通大学 | 基于平行视觉理论的铁路运行环境安全图像检测系统 |
CN113967926A (zh) * | 2021-01-29 | 2022-01-25 | 航天智造(上海)科技有限责任公司 | 一种用于工业机器人螺栓紧固引导的视觉传感器设备 |
CN112862889A (zh) * | 2021-01-29 | 2021-05-28 | 珠海迪沃航空工程有限公司 | 一种基于图像识别的识别矫正系统、方法、装置 |
CN113084827A (zh) * | 2021-04-01 | 2021-07-09 | 北京飞影科技有限公司 | 一种摄像装置光心位置标定方法及装置 |
CN113084827B (zh) * | 2021-04-01 | 2022-06-14 | 北京飞影科技有限公司 | 一种摄像装置光心位置标定方法及装置 |
CN113211439A (zh) * | 2021-05-10 | 2021-08-06 | 淮阴工学院 | 一种基于bm匹配机械臂控制系统和方法 |
CN113393524B (zh) * | 2021-06-18 | 2023-09-26 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
CN113393524A (zh) * | 2021-06-18 | 2021-09-14 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
CN113843797B (zh) * | 2021-10-08 | 2023-08-01 | 北京工业大学 | 一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法 |
CN113843797A (zh) * | 2021-10-08 | 2021-12-28 | 北京工业大学 | 一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法 |
CN114234802A (zh) * | 2021-12-02 | 2022-03-25 | 南京工业大学 | 一种基于机器视觉的可转位刀片几何参数测量系统和方法 |
CN114445335A (zh) * | 2021-12-22 | 2022-05-06 | 武汉易思达科技有限公司 | 基于双目机器视觉的车辆行驶状态监测方法及系统 |
CN114445335B (zh) * | 2021-12-22 | 2024-04-12 | 武汉易思达科技有限公司 | 基于双目机器视觉的车辆行驶状态监测方法 |
CN115205286A (zh) * | 2022-09-13 | 2022-10-18 | 国网天津市电力公司建设分公司 | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 |
Also Published As
Publication number | Publication date |
---|---|
CN109035200B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109035200A (zh) | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 | |
CN111735479B (zh) | 一种多传感器联合标定装置及方法 | |
CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
CN112396664B (zh) | 一种单目摄像机与三维激光雷达联合标定及在线优化方法 | |
CN105758426B (zh) | 移动机器人的多传感器的联合标定方法 | |
US8600192B2 (en) | System and method for finding correspondence between cameras in a three-dimensional vision system | |
CN107155341B (zh) | 三维扫描系统和框架 | |
CN108555908A (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
CN108801135B (zh) | 核燃料棒位姿自动识别装置 | |
JP7133283B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
US11488322B2 (en) | System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same | |
TW201717613A (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
CN106625673A (zh) | 狭小空间装配系统及装配方法 | |
JP2011198349A (ja) | 情報処理方法及びその装置 | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
CN112734863A (zh) | 一种基于自动定位的交叉式双目相机标定方法 | |
CN108154536A (zh) | 二维平面迭代的相机标定法 | |
CN114529605A (zh) | 一种基于多视图融合的人体三维姿态估计方法 | |
CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
CN116129037A (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
CN110030979B (zh) | 一种基于序列图像的空间非合作目标相对位姿测量方法 | |
CN208350997U (zh) | 一种目标物运动监测系统 | |
CN108109130A (zh) | 基于激光光斑的自适应窗口立体视觉匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |