CN109285189B - 一种无需双目同步的直线轨迹快速计算方法 - Google Patents

一种无需双目同步的直线轨迹快速计算方法 Download PDF

Info

Publication number
CN109285189B
CN109285189B CN201810765018.9A CN201810765018A CN109285189B CN 109285189 B CN109285189 B CN 109285189B CN 201810765018 A CN201810765018 A CN 201810765018A CN 109285189 B CN109285189 B CN 109285189B
Authority
CN
China
Prior art keywords
camera
coordinate system
binocular
eye
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810765018.9A
Other languages
English (en)
Other versions
CN109285189A (zh
Inventor
蔡成涛
王峰
乔人杰
孟海洋
王博宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201810765018.9A priority Critical patent/CN109285189B/zh
Publication of CN109285189A publication Critical patent/CN109285189A/zh
Application granted granted Critical
Publication of CN109285189B publication Critical patent/CN109285189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于基于双目相机的立体视觉技术领域，具体涉及一种无需双目同步的直线轨迹快速计算方法。包括以下步骤：双目相机拍摄作直线运动的目标物体，左右相机分别获得图像，获取图像中目标物体的像素坐标，以双目相机中左眼或右眼相机光心为原点建立空间摄像机坐标系，将图像中的二维点转换为空间中的三维点；在摄像机坐标系下，对左眼相机任取两幅图像分别提取目标点坐标，与左眼光心确定平面方程一，对右眼相机任取两幅图像分别提取目标点坐标，与右眼光心确定平面方程二，两平面相交可确定直线运动轨迹。本方法计算直线运动轨迹时无需双目图像特征点匹配，减少轨迹计算复杂程度，解决了在高速摄像下传统双目测距方法中特征点匹配困难的问题。

Description

一种无需双目同步的直线轨迹快速计算方法
技术领域
本发明属于基于双目相机的立体视觉技术领域，具体涉及一种双目相机测量直线运动轨迹的测量方法。
背景技术
双目相机是一种能够提供立体视觉信息的设备。基于双目相机获得的图像，通过双目视差原理，能够计算出双目相机所拍摄到的物体相对于相机的三维空间位置。
小孔成像原理是光的直线传播，照相机成像原理是光的折射，但二者都得到倒立、缩小的实像。应用于相机的为透镜成像模型，当物距大于等于2倍的焦距时，像距在一倍焦距与2倍焦距以内，当物距远远大于2倍焦距时，像距近似等于透镜成像的焦距。现有技术中，双目相机的两个镜头具有彼此平行的光轴，两个镜头在垂直于光轴的方向上并排布置并且具有彼此分开的取景窗口，对于同一被成像物体具有不同的视角，从而获得不同的图像。不同图像之间的差异就可以用来计算物体距离双目相机之间的距离。以上方法来测量直线运动轨迹需要真实世界中目标点被左眼相机与右眼相机同时获取到图像中，根据同一点在双目相机图像进行特征匹配计算出目标的景深信息，再由多个目标点来拟合出目标物体真实运动轨迹。目标高速运动时，传统的双目测距方法中特征点匹配计算困难。
发明内容
本发明的目的在于提供一种无需双目同步的直线轨迹快速计算方法。
一种无需双目同步的直线轨迹快速计算方法，包括以下步骤：
S1、双目相机拍摄做直线运动的目标图像，建立图像像素坐标系并分别获取左眼和右眼图像中目标点的像素坐标；
S2、以双目相机中左眼相机光心作为原点Oc来建立空间摄相机坐标系，根据成像平面的图像物理坐标系来建立Xc轴、Yc轴，根据相机中心轴建立Zc轴；
S3、将成像平面作为三维空间中摄像机坐标系下的平面，据此把目标在图像物理坐标系中二维点转换为摄像机坐标系中空间平面上的三维点，即图像物理坐标(x0,y0)转换为摄像机坐标(x0,y0,z0)，其中z0的绝对值等于相机像距；
S4、由左眼所获取的两目标点与左眼光心在摄像机坐标系下的坐标确定出平面方程一，由右眼所获取两目标点与右眼光心在摄像机坐标系下的坐标确定出平面方程二，两平面方程确定出交线方程，此交线便是目标点运动轨迹，光心与目标映射在成像平面上的点确定一直线，此直线与轨迹直线相交的点为目标在摄像机坐标系下的坐标。
一种无需双目同步的直线轨迹快速计算方法，所述步骤S2中还包括：以双目相机中左眼相机光轴与图像平面的交点作为原点，横纵坐标轴与像素坐标系横纵坐标轴平行，在图像平面建立物理坐标系，对步骤S1中所获取的目标像素坐标转换为图像物理坐标，单位为毫米。
一种无需双目同步的直线轨迹快速计算方法，所述步骤S3中还包括：摄像机三维坐标系中的Xc、Yc坐标轴与步骤S2中的图像物理坐标系的x轴、y轴平行，摄像机坐标系中的z 轴与左眼相机光路中心轴重合，在相机的透镜模型中，当物距大于2倍焦距时，相机焦距f等于小孔成像模型中的像距，即为摄像机坐标系原点与成像平面的垂直距离，由以上确定出成像平面上各点沿Zc轴方向的坐标，这样便完成了二维点向三维点的转化。
一种无需双目同步的直线轨迹快速计算方法，所述步骤S4中还包括：根据目标投影到左眼相机成像平面的两点与左眼光心确定出平面方程a1x+b1y+c1z+d1＝0；目标投影到右眼相机成像平面的两点与右眼光心确定出平面方程a2x+b2y+c2z+d2＝0，上述两平面交线即为直线轨迹方程。
本发明的有益效果在于：
该方法在小孔成像模型投影关系的基础上，运用双目相机拍摄目标并计算轨迹时，无需双目标定信息，只需对两个相机分别进行单目标定，运用两相机各自的内参矩阵分别计算出坐标转换矩阵，最后由每个相机获取的两组点所确定的平面来获得交线方程，从而计算出直线运动轨迹，解决了传统双目测距方法在高速摄像条件下计算轨迹双目同步困难的问题。
附图说明
图1为空间摄像机坐标系的建立方式；
图2为相交的双目相机映射平面；
图3为所提取直线轨迹和目标点坐标；
图4为直线与轨迹直线相交的点为目标在摄像机坐标系原理图。
具体实施方式
下面结合附图对本发明做进一步描述：
一种无需双目同步的直线轨迹快速计算方法，包括以下步骤：
S1、双目相机拍摄做直线运动的目标图像，建立图像像素坐标系并分别获取左眼和右眼图像中目标点的像素坐标；
S2、以双目相机中左眼相机光心作为原点Oc来建立空间摄相机坐标系，根据成像平面的图像物理坐标系来建立Xc轴、Yc轴，根据相机中心轴建立Zc轴；
S3、将成像平面作为三维空间中摄像机坐标系下的平面，据此把目标在图像物理坐标系中二维点转换为摄像机坐标系中空间平面上的三维点，即图像物理坐标(x0,y0)转换为摄像机坐标(x0,y0,z0)，其中的绝对值等于相机像距；
S4、由左眼所获取的两目标点与左眼光心在摄像机坐标系下的坐标确定出平面方程一，由右眼所获取两目标点与右眼光心在摄像机坐标系下的坐标确定出平面方程二，两平面方程可确定出交线方程，此交线便是目标点运动轨迹，光心与目标映射在成像平面上的点确定一直线，此直线与轨迹直线相交的点为目标在摄像机坐标系下的坐标。
如步骤S1所述，获取目标在图像中的像素坐标，左眼相机获取到两点像素坐标(u1,v1), (u2,v2)，右眼相机获取到两点像素坐标(u3,v3)，(u4,v4)。
如步骤S2所述，对两相机分别标定，得出各自的内参矩阵,并由此得出坐标转换矩阵，最后得出图像物理坐标(x1,y1),(x2,y2)和(x3,y3),(x4,y4)。坐标转换矩阵如下：
Figure RE-GDA0001918664290000031
如步骤S3所述，建立空间摄像机坐标系，得到左眼各成像点在此坐标系下的坐标：
A(x1,y1,z1),B(x2,y2,z2),O1(x3,y3,z3)。
同理可得右眼各成像点坐标：
C(x4,y4,z4),D(x5,y5,z5),O2(x6,y6,z6)。
两组点分别确定出两个平面方程：
a1x+b1y+c1z+d1＝0 公式(2)
其中：
a1＝z3 *(y1-y2)；
b1＝z3 *(x1-x2)；
c1＝y1 *(x1-x2)+x1 *(y2-y1)；
d1＝a1 *x1-b1 *y1-c1 *z3；
a2x+b2y+c2z+d2＝0 公式(3)
其中：
a2＝z6 *(y4-y5)；
b2＝z6 *(x5-x4)；
c2＝y4 *(x4-x5)+x4 *(y5-y4)；
d2＝a2 *x4-b2 *y4-c2 *z6；
如步骤S4所述，求两平面交线，并与实际轨迹进行对比。原理图如下所示。由点O1和点A确定直线方程O1A，此直线与轨迹方程的交点即为位于A1点的目标。同理可求出目标点B1，C1和D1的坐标。
建立如图1所示的摄像机坐标系，以左眼光心为摄像机坐标系原点，Xc轴与Yc轴分别与图像物理坐标系的x轴和y轴平行，Zc轴与相机中轴重合且方向指向成像平面，在此坐标系下利用坐标转换矩阵将目标点二维像素坐标转换为此坐标系下的三维坐标。图2为双目相机分别构建的映射平面，两平面相交即可确定出目标直线轨迹方程，用MATLAB表示出两平面相交之情形。图3为提取出目标轨迹直线，成像平面上的点与光心所确定出的直线相交于直线轨迹可以得到目标点坐标，例如实验中求A1点需要轨迹直线方程和直线O1A相交，直线O1A可由两已知点O1与A确定，方程分别为：
目标轨迹方程为
x＝u1 *t+x1；
y＝u2t+y1；
z＝u2t+z1； (4)
直线O1A方程为
x＝v1 *t+x1；
y＝v2t+y1；
z＝v2t+z1； (5)
联立公式(4)与公式(5)可求得参数t，再将t代入公式(4)或者公式(5)可求得 A1点的坐标，同理可以求得图像中其他位置所映射的目标点在摄像机坐标系下的目标。
本发明运用双目相机拍摄目标并计算轨迹时，无需双目标定信息，只需对两个相机分别进行单目标定，无需传统方法中双目同步来计算目标点景深信息，更加适合在高速摄像条件下计算直线轨迹。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围内。

Claims (6)

1.一种无需双目同步的直线轨迹快速计算方法，其特征在于，包括以下步骤：
S1、双目相机拍摄做直线运动的目标图像，建立图像像素坐标系并分别获取左眼和右眼图像中目标点的像素坐标；
S2、以双目相机中左眼相机光心作为原点Oc来建立空间摄相机坐标系，根据成像平面的图像物理坐标系来建立Xc轴、Yc轴，根据相机中心轴建立Zc轴；
S3、将成像平面作为三维空间中摄像机坐标系下的平面，据此把目标在图像物理坐标系中二维点转换为摄像机坐标系中空间平面上的三维点，即图像物理坐标(x0,y0)转换为摄像机坐标(x0,y0,z0)，其中z0的绝对值等于相机像距；
S4、由左眼所获取的两目标点与左眼光心在摄像机坐标系下的坐标确定出平面方程一，由右眼所获取两目标点与右眼光心在摄像机坐标系下的坐标确定出平面方程二，两平面方程确定出交线方程，此交线便是目标点运动轨迹，光心与目标映射在成像平面上的点确定一直线，此直线与轨迹直线相交的点为目标在摄像机坐标系下的坐标；
如步骤S3所述，建立空间摄像机坐标系，得到左眼各成像点在此坐标系下的坐标：
A(x1,y1,z1),B(x2,y2,z2),O1(x3,y3,z3)；
同理可得右眼各成像点坐标：
C(x4,y4,z4),D(x5,y5,z5),O2(x6,y6,z6)；
两组点分别确定出两个平面方程：
a1x+b1y+c1z+d1＝0
其中：
a1＝z3*(y1-y2)；
b1＝z3*(x1-x2)；
c1＝y1*(x1-x2)+x1*(y2-y1)；
d1＝a1*x1-b1*y1-c1*z3；
a2x+b2y+c2z+d2＝0
其中：
a2＝z6*(y4-y5)；
b2＝z6*(x5-x4)；
c2＝y4*(x4-x5)+x4*(y5-y4)；
d2＝a2*x4-b2*y4-c2*z6；
如步骤S4所述，求两平面交线，并与实际轨迹进行对比。
2.根据权利要求1所述的一种无需双目同步的直线轨迹快速计算方法，其特征在于：步骤S2中所述物理坐标系以双目相机中左眼相机光轴与图像平面的交点作为原点，横纵坐标轴与像素坐标系横纵坐标轴平行。
3.根据权利要求1所述的一种无需双目同步的直线轨迹快速计算方法，其特征在于：所述步骤S2还包括对步骤S1中所获取的目标像素坐标转换为图像物理坐标，单位为毫米。
4.根据权利要求1所述的一种无需双目同步的直线轨迹快速计算方法，其特征在于：步骤S3中所述摄像机三维坐标系中的Xc、Yc坐标轴与步骤S2中的图像物理坐标系的x轴、y轴平行，摄像机坐标系中的z轴与左眼相机光路中心轴重合。
5.根据权利要求1所述的一种无需双目同步的直线轨迹快速计算方法，其特征在于：所述步骤S3还包括在相机的透镜模型中，当物距大于2倍焦距时，相机焦距f等于小孔成像模型中的像距，即为摄像机坐标系原点与成像平面的垂直距离，由以上确定出成像平面上各点沿Zc轴方向的坐标，完成二维点向三维点的转化。
6.根据权利要求1所述的一种无需双目同步的直线轨迹快速计算方法，其特征在于：所述步骤S4中还包括根据目标投影到左眼相机成像平面的两点与左眼光心确定出平面方程a1x+b1y+c1z+d1＝0；目标投影到右眼相机成像平面的两点与右眼光心确定出平面方程a2x+b2y+c2z+d2＝0；上述两平面交线即为直线轨迹方程。
CN201810765018.9A 2018-07-12 2018-07-12 一种无需双目同步的直线轨迹快速计算方法 Active CN109285189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810765018.9A CN109285189B (zh) 2018-07-12 2018-07-12 一种无需双目同步的直线轨迹快速计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810765018.9A CN109285189B (zh) 2018-07-12 2018-07-12 一种无需双目同步的直线轨迹快速计算方法

Publications (2)

Publication Number Publication Date
CN109285189A CN109285189A (zh) 2019-01-29
CN109285189B true CN109285189B (zh) 2021-10-01

Family

ID=65182449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810765018.9A Active CN109285189B (zh) 2018-07-12 2018-07-12 一种无需双目同步的直线轨迹快速计算方法

Country Status (1)

Country Link
CN (1) CN109285189B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109795830A (zh) * 2019-03-04 2019-05-24 北京旷视科技有限公司 自动定位物流托盘的方法及装置
CN110197141B (zh) * 2019-05-15 2023-04-07 华东师范大学 一种提取蚯蚓活动轨迹坐标序列的方法
CN111381215A (zh) * 2020-03-25 2020-07-07 中国科学院地质与地球物理研究所 相位校正方法以及流星位置获取方法
CN113034608B (zh) * 2021-03-11 2022-08-23 东北大学秦皇岛分校 一种角膜表面形态测量装置及方法
CN113804166B (zh) * 2021-11-19 2022-02-08 西南交通大学 一种基于无人机视觉的落石运动参数数字化还原方法
CN114255319B (zh) * 2021-12-09 2022-11-25 苏州大学 一种不同帧率的立体相机的三维重建方法、系统及其应用

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942814A (zh) * 2014-04-04 2014-07-23 浙江大学 一种面向异步双目视觉系统的快速运动物体轨迹估计方法
CN105181109A (zh) * 2015-08-26 2015-12-23 华北电力大学（保定） 一种导线脱冰跳跃轨迹双目测量方法
CN105225229A (zh) * 2015-09-07 2016-01-06 三峡大学 基于视频信号的鱼类过坝运动轨迹定位装置与方法
CN106908040A (zh) * 2017-03-06 2017-06-30 哈尔滨工程大学 一种基于surf算法的双目全景视觉机器人自主定位方法
CN107297741A (zh) * 2017-08-09 2017-10-27 广州乾鼎电力科技发展有限公司 基于机器视觉的运动轨迹规划方法及装置
CN108213788A (zh) * 2018-01-03 2018-06-29 湘潭大学 一种三目全位姿波纹板智能焊缝跟踪传感器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942814A (zh) * 2014-04-04 2014-07-23 浙江大学 一种面向异步双目视觉系统的快速运动物体轨迹估计方法
CN105181109A (zh) * 2015-08-26 2015-12-23 华北电力大学（保定） 一种导线脱冰跳跃轨迹双目测量方法
CN105225229A (zh) * 2015-09-07 2016-01-06 三峡大学 基于视频信号的鱼类过坝运动轨迹定位装置与方法
CN106908040A (zh) * 2017-03-06 2017-06-30 哈尔滨工程大学 一种基于surf算法的双目全景视觉机器人自主定位方法
CN107297741A (zh) * 2017-08-09 2017-10-27 广州乾鼎电力科技发展有限公司 基于机器视觉的运动轨迹规划方法及装置
CN108213788A (zh) * 2018-01-03 2018-06-29 湘潭大学 一种三目全位姿波纹板智能焊缝跟踪传感器

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Calibration and rectification of vertically aligned binocular omnistereo vision systems;Chengtao Cai等;《EURASIP Journal on Image and Video Processing》;20170710;第1-14页 *
Laser tagging: An approach for rapid robot trajectory definition;Ron Lumia等;《2010 IEEE International Conference on Industrial Technology》;20100527;第535-540页 *
基于双目立体视觉的目标测距系统;沈彤等;《电子测量技术》;20150430;第38卷(第4期);第52-54页 *
基于双目视觉的工业机器人运动轨迹准确度检测;岁波等;《机械工程学报》;20030531;第39卷(第5期);第88-91页 *
基于机载视觉的无人机自主着舰引导关键技术研究;桂阳;《中国优秀博士论文全文数据库工程科技II辑》;20160115;C031-39 *
无人机对地面目标位姿的单目视觉测量方法研究;洪荣;《中国优秀硕士论文全文数据库工程科技II辑》;20141215;C031-6 *

Also Published As

Publication number Publication date
CN109285189A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN109285189B (zh) 一种无需双目同步的直线轨迹快速计算方法
CN109741405B (zh) 一种基于对偶结构光rgb-d相机的深度信息采集系统
CN104321005B (zh) 立体视觉内窥镜装置
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
CN103115613B (zh) 一种空间三维定位方法
US20220044444A1 (en) Stereo calibration method for movable vision system
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN105004324B (zh) 一种具有三角测距功能的单目视觉传感器
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
Patel et al. Distance measurement system using binocular stereo vision approach
CN106767526A (zh) 一种基于激光mems振镜投影的彩色多线激光三维测量方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN107864372B (zh) 立体拍照方法、装置及终端
CN113925441B (zh) 一种基于内窥镜的成像方法及成像系统
WO2018000892A1 (zh) 一种全景立体影像的成像方法、装置及系统
CN112950727B (zh) 基于仿生曲面复眼的大视场多目标同时测距方法
CN110728745A (zh) 一种基于多层折射图像模型的水下双目立体视觉三维重建方法
CN116804537A (zh) 一种双目测距系统及方法
CN110766752A (zh) 一种带反光标志点的虚拟现实交互眼镜及空间定位方法
CN109194947A (zh) 双目摄像模组及移动终端
CN210321610U (zh) 一种单摄像头口内三维扫描系统
CN114926548A (zh) 一种基于光学模组的双目相机校准系统及方法
WO2021093803A1 (zh) 立体摄像机的校正品质的检测方法及检测系统
CN212163540U (zh) 全向立体视觉的摄像机配置系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant