CN109493378B - 一种基于单目视觉与双目视觉相结合的垂直度检测方法 - Google Patents

一种基于单目视觉与双目视觉相结合的垂直度检测方法 Download PDF

Info

Publication number
CN109493378B
CN109493378B CN201811267884.1A CN201811267884A CN109493378B CN 109493378 B CN109493378 B CN 109493378B CN 201811267884 A CN201811267884 A CN 201811267884A CN 109493378 B CN109493378 B CN 109493378B
Authority
CN
China
Prior art keywords
coordinate system
camera
mark points
axis
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811267884.1A
Other languages
English (en)
Other versions
CN109493378A (zh
Inventor
徐民
林群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Yanxin Industrial Technology Co ltd
Original Assignee
Ningbo Yanxin Industrial Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Yanxin Industrial Technology Co ltd filed Critical Ningbo Yanxin Industrial Technology Co ltd
Priority to CN201811267884.1A priority Critical patent/CN109493378B/zh
Publication of CN109493378A publication Critical patent/CN109493378A/zh
Application granted granted Critical
Publication of CN109493378B publication Critical patent/CN109493378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Abstract

本发明公开了一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上MARK点的三维坐标，并根据MARK点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。

Description

一种基于单目视觉与双目视觉相结合的垂直度检测方法
技术领域
本发明属于机器视觉技术领域，特别是一种基于单目视觉与双目视觉相结合的垂直度检测方法。
背景技术
单目视觉测量通过相机拍摄被测物体，通过图像处理获得被测物体的成像信息，通过二维成像平面与三维物体空间的对应关系，获得被测物体的尺寸信息，由于二维成像平面丢失了被测物体的深度信息，无法完全获得三维物体尺寸的信息，我们需要对目标增加相应的约束来测量目标尺寸。视觉测量可以应用于目标识别、目标尺寸检测和其他(如完整性检测)。视觉测量技术中的重要技术包括相机标定技术和图像处理技术。通过相机标定，得到相机的内部参数和外部参数，能够把三维构建模型确定。
双目视觉是机器视觉的一个重要分支，双目视觉的研究目的是使机器具有通过二维图像认知三维环境信息的能力。这种能力不仅是机器能感知三维环境中物体的几何信息，而且还能对它们进行描述、存储、识别与理解，以满足特定的需求。双目视觉通过设计和模仿人类视觉来获得物体的深度信息。通过二维信息与三维信息的结合，也为具体的工程问题提供了方法。
发明内容
本发明针对双目视觉中检测直线与平面的垂直度的问题，根据单目视觉与双目视觉的特点，提出了一种基于单目视觉与双目视觉相结合的垂直度检测方法。
本发明所设计的一种基于单目视觉与双目视觉相结合的垂直度检测方法，包括以下步骤：
步骤1：通过两个摆放成垂直角度的左相机和右相机，来分别采集标有4个MARK点的平面，从而得到两张图片，分别为左图和右图，图片大小为m×n；
步骤2：通过图像处理方法，分别计算左图和右图中MARK点的圆心所在图像中的坐标，其中4个MARK点为正方形的4个顶点，将左图中的MARK点坐标记为(xli，yli)，将右图中对应左图的MARK点圆心坐标记为(xri，yri)，i＝1，2，3，4；
步骤3：根据左图和右图中4个对应MARK点的坐标，通过双目视觉系统计算出4个MARK点的圆心所在相机坐标系下的坐标，记为(Xi，Yi，Zi)，i＝1，2，3，4，计算公式为
Figure BDA0001845312350000021
其中b为基线距离，f为左相机和右相机之间的焦距，(xli，yli)、(xri，yri)为空间点在左右成像平面的图像坐标，(u0,v0)为主点偏置坐标；Xi,Yi,Zi分别为MARK点的圆心所在相机坐标系下的三维坐标；
步骤4：在左相机系统中，挑选3个MARK点，形成一个二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Ol(x,y,z)，并计算Ol(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]l，公式如下：
Figure BDA0001845312350000031
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xl，Yl，Zl)是Ol(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤5：根据步骤4所得到的[RT]l，获得Ol(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βl；
步骤6：在右相机系统中，挑选3个MARK点，形成一个二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Or(x,y,z)，并计算Or(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]r，公式如下：
Figure BDA0001845312350000041
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xr，Yr，Zr)是Or(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤7：根据步骤6所得到的[RT]r，获得Or(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βr；
步骤8：通过左相机和右相机两个相机同时采集直线的图片，图片大小为m×n，并通过图像处理算法分别计算直线在相机坐标系Oc(x,y,z)下X轴方向的角度，分别记为αl，αr；
步骤9：计算直线与平面在X方向上的旋转角度αx，计算公式为
αx＝αl+βl
步骤10：计算直线与平面在X方向上的旋转角度αy，计算公式为
αy＝αr+βr
步骤11：计算直线与平面的角度偏差，α计算公式为
Figure BDA0001845312350000051
本发明得到的一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上MARK点的三维坐标，并根据MARK点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。
附图说明
图1是相机架设的结构示意图；
图2是平面MARK点在左图和右图中的示意图；
图3是根据三个MARK点形成的二维直角坐标系的示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
实施例1：
本实施例提供的一种基于单目视觉与双目视觉相结合的垂直度检测方法，包括以下步骤：
步骤1：如图1所示，通过两个摆放成垂直角度的左相机和右相机，来分别采集标有4个MARK点的平面，从而得到两张图片，分别为左图和右图，如图2所示，图片大小为m×n；
步骤2：通过图像处理方法，分别计算左图和右图中MARK点的圆心所在图像中的坐标，其中4个MARK点为正方形的4个顶点，将左图中的MARK点坐标记为(xli，yli)，将右图中对应左图的MARK点圆心坐标记为(xri，yri)，i＝1，2，3，4；
步骤3：根据左图和右图中4个对应MARK点的坐标，通过双目视觉系统计算出4个MARK点的圆心所在相机坐标系下的坐标，记为(Xi，Yi，Zi)，i＝1，2，3，4，计算公式为
Figure BDA0001845312350000061
其中b为基线距离，f为左相机和右相机之间的焦距，(xli，yli)、(xri，yri)为空间点在左右成像平面的图像坐标，(u0,v0)为主点偏置坐标；Xi,Yi,Zi分别为MARK点的圆心所在相机坐标系下的三维坐标；
步骤4：在左相机系统中，挑选3个MARK点，形成一个如图3所示的二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Ol(x,y,z)，并计算Ol(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]l，公式如下：
Figure BDA0001845312350000071
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xl，Yl，Zl)是Ol(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤5：根据步骤4所得到的[RT]l，获得Ol(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βl；
步骤6：在右相机系统中，挑选3个MARK点，同样形成一个如图3所示的二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Or(x,y,z)，并计算Or(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]r，公式如下：
Figure BDA0001845312350000072
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xr，Yr，Zr)是Or(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤7：根据步骤6所得到的[RT]r，获得Or(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βr；
步骤8：通过左相机和右相机两个相机同时采集直线的图片，图片大小为m×n，并通过图像处理算法分别计算直线在相机坐标系Oc(x,y,z)下X轴方向的角度，分别记为αl，αr；
步骤9：计算直线与平面在X方向上的旋转角度αx，计算公式为
αx＝αl+βl
步骤10：计算直线与平面在X方向上的旋转角度αy，计算公式为
αy＝αr+βr
步骤11：计算直线与平面的角度偏差，α计算公式为
Figure BDA0001845312350000081
本实施例所得到的一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上MARK点的三维坐标，并根据MARK点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。

Claims (1)

1.一种基于单目视觉与双目视觉相结合的垂直度检测方法，包括以下步骤：
步骤1：通过两个摆放成垂直角度的左相机和右相机，来分别采集标有4个MARK点的平面，从而得到两张图片，分别为左图和右图，图片大小为m×n；
步骤2：通过图像处理方法，分别计算左图和右图中MARK点的圆心所在图像中的坐标，其中4个MARK点为正方形的4个顶点，将左图中的MARK点坐标记为(xli，yli)，将右图中对应左图的MARK点圆心坐标记为(xri，yri)，i＝1，2，3，4；
步骤3：根据左图和右图中4个对应MARK点的坐标，通过双目视觉系统计算出4个MARK点的圆心所在相机坐标系下的坐标，记为(Xi，Yi，Zi)，i＝1，2，3，4，计算公式为
Figure FDA0001845312340000011
其中b为基线距离，f为左相机和右相机之间的焦距，(xli，yli)、(xri，yri)为空间点在左右成像平面的图像坐标，(u0,v0)为主点偏置坐标；Xi,Yi,Zi分别为MARK点的圆心所在相机坐标系下的三维坐标；
步骤4：在左相机系统中，挑选3个MARK点，形成一个二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Ol(x,y,z)，并计算Ol(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]l，公式如下：
Figure FDA0001845312340000021
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xl，Yl，Zl)是Ol(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤5：根据步骤4所得到的[RT]l，获得Ol(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βl；
步骤6：在右相机系统中，挑选3个MARK点，形成一个二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Or(x,y,z)，并计算Or(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]r，公式如下：
Figure FDA0001845312340000031
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xr，Yr，Zr)是Or(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤7：根据步骤6所得到的[RT]r，获得Or(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βr；
步骤8：通过左相机和右相机两个相机同时采集直线的图片，图片大小为m×n，并通过图像处理算法分别计算直线在相机坐标系Oc(x,y,z)下X轴方向的角度，分别记为αl，αr；
步骤9：计算直线与平面在X方向上的旋转角度αx，计算公式为
αx＝αl+βl
步骤10：计算直线与平面在X方向上的旋转角度αy，计算公式为
αy＝αr+βr
步骤11：计算直线与平面的角度偏差，α计算公式为
Figure FDA0001845312340000041
CN201811267884.1A 2018-10-29 2018-10-29 一种基于单目视觉与双目视觉相结合的垂直度检测方法 Active CN109493378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811267884.1A CN109493378B (zh) 2018-10-29 2018-10-29 一种基于单目视觉与双目视觉相结合的垂直度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811267884.1A CN109493378B (zh) 2018-10-29 2018-10-29 一种基于单目视觉与双目视觉相结合的垂直度检测方法

Publications (2)

Publication Number Publication Date
CN109493378A CN109493378A (zh) 2019-03-19
CN109493378B true CN109493378B (zh) 2021-05-28

Family

ID=65693326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811267884.1A Active CN109493378B (zh) 2018-10-29 2018-10-29 一种基于单目视觉与双目视觉相结合的垂直度检测方法

Country Status (1)

Country Link
CN (1) CN109493378B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111829489B (zh) * 2019-04-16 2022-05-13 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN110060202B (zh) * 2019-04-19 2021-06-08 湖北亿咖通科技有限公司 一种单目slam算法的初始化方法及系统
CN110595433A (zh) * 2019-08-16 2019-12-20 太原理工大学 一种基于双目视觉的输电杆塔倾斜的测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441163A (zh) * 2016-10-13 2017-02-22 中国科学院上海技术物理研究所 一种非接触式柱状物垂直度检测方法及装置
CN107462213A (zh) * 2017-07-27 2017-12-12 国网山东省电力公司经济技术研究院 一种基于机器视觉系统的铁塔倾斜角度自动测量方法
CN108040242A (zh) * 2017-12-18 2018-05-15 横琴峰云视觉技术有限公司 一种双摄像头装置的倾斜角度的校正方法及装置
CN108416810A (zh) * 2018-02-05 2018-08-17 北京邦天信息技术有限公司 相机标定中相机坐标系到世界坐标系的转换方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6080407B2 (ja) * 2012-07-03 2017-02-15 キヤノン株式会社 ３次元計測装置及びロボット装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441163A (zh) * 2016-10-13 2017-02-22 中国科学院上海技术物理研究所 一种非接触式柱状物垂直度检测方法及装置
CN107462213A (zh) * 2017-07-27 2017-12-12 国网山东省电力公司经济技术研究院 一种基于机器视觉系统的铁塔倾斜角度自动测量方法
CN108040242A (zh) * 2017-12-18 2018-05-15 横琴峰云视觉技术有限公司 一种双摄像头装置的倾斜角度的校正方法及装置
CN108416810A (zh) * 2018-02-05 2018-08-17 北京邦天信息技术有限公司 相机标定中相机坐标系到世界坐标系的转换方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"玻璃瓶垂直度无接触测量及其误差分析";张灿龙 等;《广西师范大学学报(自然科学版)》;20040331(第01期);第19-22页 *
"聚光太阳能板视觉对位系统全局标定方法研究";杨帆 等;《机械与电子》;20170731;第35卷(第07期);第64-68页 *

Also Published As

Publication number Publication date
CN109493378A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
JP5480914B2 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
CN109163657B (zh) 一种基于双目视觉三维重建的圆形目标位姿检测方法
Bouguet et al. 3D photography using shadows in dual-space geometry
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN109493378B (zh) 一种基于单目视觉与双目视觉相结合的垂直度检测方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN110044374B (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
TW201717613A (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
WO2012165491A1 (ja) ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体
US20100128972A1 (en) Stereo matching processing system, stereo matching processing method and recording medium
JP5477658B2 (ja) キャリブレーション用校正治具、校正治具を備えた３次元計測システム
CN108180888A (zh) 一种基于可转动摄像头的距离检测方法
WO2018006246A1 (zh) 四相机组平面阵列特征点匹配方法及基于其的测量方法
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN106767526A (zh) 一种基于激光mems振镜投影的彩色多线激光三维测量方法
CN112816967A (zh) 图像距离测量方法、装置、测距设备和可读存储介质
CN111311659A (zh) 一种基于斜交平面镜三维成像的校准方法
JP6580761B1 (ja) 偏光ステレオカメラによる深度取得装置及びその方法
JP3696336B2 (ja) カメラのキャリブレーション方法
CN112508885B (zh) 一种弯管的三维中轴线检测方法及系统
Bryant et al. Robust camera calibration for an autonomous underwater vehicle
Huang et al. Underwater camera model and its use in calibration
CN106303501B (zh) 基于图像稀疏特征匹配的立体图像重构方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant