CN112652019A - 一种双目视觉三维定位方法 - Google Patents

一种双目视觉三维定位方法 Download PDF

Info

Publication number
CN112652019A
CN112652019A CN202011327978.0A CN202011327978A CN112652019A CN 112652019 A CN112652019 A CN 112652019A CN 202011327978 A CN202011327978 A CN 202011327978A CN 112652019 A CN112652019 A CN 112652019A
Authority
CN
China
Prior art keywords
camera
coordinate system
dimensional
changed
world coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011327978.0A
Other languages
English (en)
Inventor
陈敏
柯章驹
周二合
杨益芳
焦才震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Beilun Technology Co ltd
Original Assignee
Hefei Zhongke Beilun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Beilun Technology Co ltd filed Critical Hefei Zhongke Beilun Technology Co ltd
Priority to CN202011327978.0A priority Critical patent/CN112652019A/zh
Publication of CN112652019A publication Critical patent/CN112652019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种双目视觉三维定位方法，包括以下步骤：S1)利用张正友标定法，对左右相机分别进行标定，求出对应的相机内参及外参，即可得到投影矩阵M1与M2；S2)当摄像机位姿固定时，物点在左相机的像素坐标为(u1,v1)，在右相机的像素坐标为(u2,v2)，可由P＝(ATA)‑1ATb得到其对应的地面坐标(X，Y，Z)；S3)当摄像头随着机器人运动或通过云台发生上下左右移动时，相应的旋转矩阵为RC，平移矩阵为TC，摄像头位姿发生变化，理论上需要重新标定(外参代表着摄像头与地面的相对位置，需要重新标定)。有益效果：本发明有效的解决了三维到二维的过程的函数是不可逆的过程，从中能够获取净赚的三维定位，提高系统的准确性。

Description

一种双目视觉三维定位方法
技术领域
本发明涉及三维定位方法技术领域，具体涉及一种双目视觉三维定位方法。
背景技术
我们所处的世界是三维的，而照片是二维的，把相机认为是一个函数，输入量是一个场景，输出量是一幅灰度图。这个从三维到二维的过程的函数是不可逆的，相机标定的目标是找到一个合适的数学模型，求出这个模型的参数，这样我们能够近似这个三维到二维的过程，使这个三维到二维的过程的函数找到反函数，也就是说我们通过现有的相机对目标进行定位拍摄，根据相应的数据模型，找到一个三维或者二维的数据参数，进而对现有的物体进行有效的三维定位。
发明内容
本发明目的是提供一种能够通过三维场景近似转化为二维照片函数中找到反函数，进而通过二维照片获得三维场景的双目视觉三维定位方法，是通过如下方案实现的。
为了实现以上目的，本发明采用的技术方案为：一种双目视觉三维定位方法，其特征在于，包括以下步骤：
S1)利用张正友标定法，对左右相机分别进行标定，求出对应的相机内参及外参，即可得到投影矩阵M1与M2；
S2)当摄像机位姿固定时，物点在左相机的像素坐标为(u1,v1)，在右相机的像素坐标为(u2,v2)，可由P＝(ATA)-1ATb得到其对应的地面坐标(X，Y，Z)；
S3)当摄像头随着机器人运动或通过云台发生上下左右移动时，相应的旋转矩阵为RC，平移矩阵为TC，摄像头位姿发生变化，理论上需要重新标定(外参代表着摄像头与地面的相对位置，需要重新标定)，但基于原摄像头相机坐标系(XC，YC，ZC)与原先标定好的世界坐标系(XW，YW，ZW)是同步运动的，且二者之间的转换关系没有变化。所以，可通过坐标系变换来解决；
S3.1)当原摄像头相机坐标系(XC，YC，ZC)经过旋转平移变换，变为新摄像头相机坐标系(X＇C，Y＇C，Z＇C)；
Figure BDA0002794920400000021
S3.2)原先标定好的世界坐标系(XW，YW，ZW)经过同样的旋转平移变换，变为新世界坐标系(X＇W，Y＇W，Z＇W)；
Figure BDA0002794920400000022
S3.3)根据上式，可求得摄像头位置发生变化之后对应的原世界坐标系中的三维坐标；
Figure BDA0002794920400000023
本发明的技术效果在于：通过坐标系的转换，从三维场景中找到转换为二维照片的模型参数，再从该转换参数中找到相应的反函数，通过反函数获得二维照片到三维场景的方法途径，这样的双目视觉三维定位方法有效的解决了三维到二维的过程的函数是不可逆的过程，从中能够获取净赚的三维定位，提高系统的准确性。
附图说明
图1为本发明世界坐标系转换相机坐标系的示意图；
图2为本发明相机坐标系转换图像坐标系的示意图；
图3为本发明图像坐标系转换像素坐标系的示意图；
图4为本发明空间点的三维重建示意图。
具体实施方式
参照附图1-4，一种双目视觉三维定位方法，包括以下步骤：
S1)利用张正友标定法，对左右相机分别进行标定，求出对应的相机内参及外参，即可得到投影矩阵M1与M2；
S2)当摄像机位姿固定时，物点在左相机的像素坐标为(u1,v1)，在右相机的像素坐标为(u2,v2)，可由P＝(ATA)-1ATb得到其对应的地面坐标(X，Y，Z)；
S3)当摄像头随着机器人运动或通过云台发生上下左右移动时，相应的旋转矩阵为RC，平移矩阵为TC，摄像头位姿发生变化，理论上需要重新标定(外参代表着摄像头与地面的相对位置，需要重新标定)，但基于原摄像头相机坐标系(XC，YC，ZC)与原先标定好的世界坐标系(XW，YW，ZW)是同步运动的，且二者之间的转换关系没有变化。所以，可通过坐标系变换来解决；
S3.1)当原摄像头相机坐标系(XC，YC，ZC)经过旋转平移变换，变为新摄像头相机坐标系(X＇C，Y＇C，Z＇C)；
Figure BDA0002794920400000031
S3.2)原先标定好的世界坐标系(XW，YW，ZW)经过同样的旋转平移变换，变为新世界坐标系(X＇W，Y＇W，Z＇W)；
Figure BDA0002794920400000032
S3.3)根据上式，可求得摄像头位置发生变化之后对应的原世界坐标系中的三维坐标；
Figure BDA0002794920400000033
本方案的具体实施例为，
世界坐标系(OW——XW、YW、ZW)：描述相机位置，直观理解，某物体实际地面坐标。单位：m。
相机坐标系(OC——XC、YC、ZC)：光心为原点，单位：m。
图像坐标系(o——x、y)：光心为图像中点，单位：mm。
像素坐标系(u、v)：原点为图像左上角，单位：像素。
本方案的具体实施例为，根据说明书附图1-3的各个坐标系转换，可以得出：
世界坐标系＝>像素坐标系
Figure BDA0002794920400000034
R为旋转矩阵，T为平移矩阵相机标定可得到相机内参及相机外参。
Figure BDA0002794920400000041
M称为投影矩阵，当相机位姿固定，标定完成后，可得M矩阵。
根据说明书附图4空间点的三维重建得出：
几点基本假设：空间任意点P在两个摄像机C1与C2上的图像点平p1与p2已经从两个图像中分别检测出来。即已知p1与p2为空间同一点P的对应点。至于对应点是如何找到的，这属于图像配准问题。还有一个假设就是，摄像机C1与C2已标定，他们的投影矩阵分别为M1与M2，于是有：
Figure BDA0002794920400000042
Figure BDA0002794920400000043
由(1)(2)消去ZC1、ZC2，得到以下4个线性方程：
Figure BDA0002794920400000044
Figure BDA0002794920400000045
Figure BDA0002794920400000046
Figure BDA0002794920400000047
转成矩阵形式：
Figure BDA0002794920400000048
通过最小二乘法可求解出空间物点的坐标(X，Y，Z)
记
Figure BDA0002794920400000051
则，P＝(ATA)-1ATb。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (1)

1.一种双目视觉三维定位方法，其特征在于，包括以下步骤：
S1)利用张正友标定法，对左右相机分别进行标定，求出对应的相机内参及外参，即可得到投影矩阵M1与M2；
S2)当摄像机位姿固定时，物点在左相机的像素坐标为(u1,v1)，在右相机的像素坐标为(u2,v2)，可由P＝(ATA)-1ATb得到其对应的地面坐标(X，Y，Z)；
S3)当摄像头随着机器人运动或通过云台发生上下左右移动时，相应的旋转矩阵为RC，平移矩阵为TC，摄像头位姿发生变化，理论上需要重新标定(外参代表着摄像头与地面的相对位置，需要重新标定)，但基于原摄像头相机坐标系(XC，YC，ZC)与原先标定好的世界坐标系(XW，YW，ZW)是同步运动的，且二者之间的转换关系没有变化。所以，可通过坐标系变换来解决；
S3.1)当原摄像头相机坐标系(XC，YC，ZC)经过旋转平移变换，变为新摄像头相机坐标系(X＇C，Y＇C，Z＇C)；
Figure FDA0002794920390000011
S3.2)原先标定好的世界坐标系(XW，YW，ZW)经过同样的旋转平移变换，变为新世界坐标系(X＇W，Y＇W，Z＇W)；
Figure FDA0002794920390000012
S3.3)根据上式，可求得摄像头位置发生变化之后对应的原世界坐标系中的三维坐标；
Figure FDA0002794920390000013
CN202011327978.0A 2020-11-24 2020-11-24 一种双目视觉三维定位方法 Pending CN112652019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011327978.0A CN112652019A (zh) 2020-11-24 2020-11-24 一种双目视觉三维定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011327978.0A CN112652019A (zh) 2020-11-24 2020-11-24 一种双目视觉三维定位方法

Publications (1)

Publication Number Publication Date
CN112652019A true CN112652019A (zh) 2021-04-13

Family

ID=75349299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011327978.0A Pending CN112652019A (zh) 2020-11-24 2020-11-24 一种双目视觉三维定位方法

Country Status (1)

Country Link
CN (1) CN112652019A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884841A (zh) * 2021-04-14 2021-06-01 哈尔滨工业大学 一种基于语义目标的双目视觉定位方法
CN114022572A (zh) * 2022-01-07 2022-02-08 江西明天高科技股份有限公司 摄像阵列自动校准方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689065A (zh) * 2016-08-03 2018-02-13 南京理工大学 一种gps双目摄像机标定及空间点重建方法
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN111862221A (zh) * 2020-07-31 2020-10-30 广东利元亨智能装备股份有限公司 Uvw平台标定方法、设备、纠偏方法、装置及对位系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689065A (zh) * 2016-08-03 2018-02-13 南京理工大学 一种gps双目摄像机标定及空间点重建方法
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN111862221A (zh) * 2020-07-31 2020-10-30 广东利元亨智能装备股份有限公司 Uvw平台标定方法、设备、纠偏方法、装置及对位系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884841A (zh) * 2021-04-14 2021-06-01 哈尔滨工业大学 一种基于语义目标的双目视觉定位方法
CN112884841B (zh) * 2021-04-14 2022-11-25 哈尔滨工业大学 一种基于语义目标的双目视觉定位方法
CN114022572A (zh) * 2022-01-07 2022-02-08 江西明天高科技股份有限公司 摄像阵列自动校准方法

Similar Documents

Publication Publication Date Title
CN109615652B (zh) 一种深度信息获取方法及装置
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN108038886B (zh) 双目摄像系统标定方法、装置及其汽车
CN109727290B (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN110809786A (zh) 校准装置、校准图表、图表图案生成装置和校准方法
WO2011009108A2 (en) System and method for automatic calibration of stereo images
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
CN111612794A (zh) 基于多2d视觉的零部件高精度三维位姿估计方法及系统
CN112652019A (zh) 一种双目视觉三维定位方法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN113360964A (zh) 一种高动态范围下汇聚式双目视觉引导的机器人定位方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
US20230025058A1 (en) Image rectification method and device, and electronic system
CN113205603A (zh) 一种基于旋转台的三维点云拼接重建方法
WO2020181409A1 (zh) 拍摄装置参数标定方法、设备及存储介质
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN110136068A (zh) 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统
JP7474137B2 (ja) 情報処理装置およびその制御方法
CN111654626B (zh) 一种包含深度信息的高分辨率相机
CN115457142B (zh) 一种mr混合摄影相机的标定方法和系统
CN116883465A (zh) 一种多光谱植物表型三维成像方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination