CN111161122B - 一种旋转90度成像的双目立体视觉成像方法及系统 - Google Patents

一种旋转90度成像的双目立体视觉成像方法及系统 Download PDF

Info

Publication number
CN111161122B
CN111161122B CN201811323131.8A CN201811323131A CN111161122B CN 111161122 B CN111161122 B CN 111161122B CN 201811323131 A CN201811323131 A CN 201811323131A CN 111161122 B CN111161122 B CN 111161122B
Authority
CN
China
Prior art keywords
camera
image
binocular
cameras
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811323131.8A
Other languages
English (en)
Other versions
CN111161122A (zh
Inventor
曾洪庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vizum Intelligent Technology Co ltd
Original Assignee
Beijing Vizum Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vizum Intelligent Technology Co ltd filed Critical Beijing Vizum Intelligent Technology Co ltd
Priority to CN201811323131.8A priority Critical patent/CN111161122B/zh
Publication of CN111161122A publication Critical patent/CN111161122A/zh
Application granted granted Critical
Publication of CN111161122B publication Critical patent/CN111161122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种旋转90度成像的双目立体视觉成像方法及系统，本系统分为用于采集图像信息的图像采集模块、用于存储图像信息的图像存储模块、用于处理所摄图像信息的图像处理模块。本发明针对使用大长宽比成像相机时正常的成像方式无法构成双目立体视觉系统，或构成的双目立体视觉系统极线约束弱、工作效果差的问题，将相机旋转90度安装，并将输出的图像进行行列转置，让大长宽比成像相机也能构成双目立体视觉系统。

Description

一种旋转90度成像的双目立体视觉成像方法及系统
技术领域
本发明属于机器视觉技术领域，特别涉及一种旋转90度成像的双目立体视觉成像方法及系统。
背景技术
机器人技术的快速发展，使机器人的应用从传统的固定目标高精度重复作业扩展到操作对象可变和操作对象位置可变的柔性作业，机器人迫切需要机器视觉的配合以得到操作对象的三维信息。
在深度机器视觉中，基于双摄像机的双目立体视觉模仿人的双目工作模式，能够提取物体的三维信息。但当使用大长宽比成像相机时，正常的成像方式无法构成双目立体视觉系统，或构成的双目立体视觉系统极线约束弱，工作效果差。
发明内容
本发明针对上述问题提供了一种旋转90度成像的双目立体视觉成像方法及系统，将相机旋转90度安装，并将输出的图像进行行列转置，让大长宽比成像相机构成双目立体视觉系统。
本发明提供的技术方案如下：
一种旋转90度成像的双目立体视觉成像方法，包括以下步骤：
（1）组装双目相机，旋转双目相机的两摄像头，使所成左右图像相较于实际物体均为顺时针旋转90°或逆时针旋转90°的状态；
（2）设置双目相机，使双目相机的左右相机参数相同；
（3）双目相机的左右相机分别采集物体的左右图像，并将采集的左右图像像素点分别按行存储；
（4）分别按列读取所存储的左右图像像素点，使得到的物体左右图像为实际物体像素点行列转置的左右图像；
（5）进行立体标定，标定两摄像机的内参、外参、标定Q矩阵；
（6）双目摄像头摄取待成像物体图像信息经过标定完成的立体视觉成像系统，使用标定参数对采集的视图进行立体校正，生成校正后的左右图像。
本发明还包括实施上述方法的系统，其特征在于，包括：
（1）用于采集图像信息的图像采集模块，由两个摄像模组以及相应的电路组成；
（2）用于存储图像信息的图像存储模块，由内存芯片和非易失存储器组成，非易失存储器用于存储标定的结果；
（3）用于处理所摄图像信息的图像处理模块，使用FPGA或ASIC芯片。
本发明的有益效果是：解决了使用大长宽比成像相机时正常的成像方式无法构成双目立体视觉系统，或构成的双目立体视觉系统极线约束弱、工作效果差的问题。
附图说明
图1为本发明的标定过程示意图；
图2为本发明的工作流程示意图；
图3为本发明的按行存储图像像素点的示意图；
图4为本发明的按列读取图像像素点的示意图。
具体实施方式
参见图1-图4，本发明提出一种旋转90度成像的双目立体视觉成像方法及系统，用以解决使用大长宽比成像相机时正常的成像方式无法构成双目立体视觉系统，或构成的双目立体视觉系统极线约束弱、工作效果差的问题。本发明的方法包括以下步骤：
（1）组装双目相机，旋转双目相机的两摄像头，使所成左右图像相较于实际物体均为顺时针旋转90°或逆时针旋转90°的状态；
（2）设置双目相机，使双目相机的左右相机参数相同；
（3）双目相机的左右相机分别采集物体的左右图像，并将采集的左右图像像素点分别按行存储；
（4）分别按列读取所存储的左右图像像素点，使得到的物体左右图像为实际物体像素点行列转置的左右图像；
（5）进行立体标定，标定两摄像机的内参、外参、标定Q矩阵；
（6）双目摄像头摄取待成像物体图像信息经过标定完成的立体视觉成像系统，使用标定参数对采集的视图进行立体校正，生成校正后的左右图像。
上述步骤（1）中组装双目相机的具体方法为：取两个焦距一致的摄像头组装为双目相机，在相机前竖直放置一个向上的箭头，旋转双目相机的摄像头并通电检查相机成像，直至双目相机的左右相机成像均为箭头水平向左或水平向右的状态。
上述步骤（3）和步骤（4）所述的按行存储和按列读取图像像素点指的是完成图像像素点的行列转置。具体方法如图3、图4所示，图3为按行存储的图像像素点排列情况，图4为按列读取的图像像素点排列情况，图像像素点经由图3到图4，完成图像像素点的行列转置。
上述步骤（5）所述的立体标定方法，具体为：
对双目相机的左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：
其中，Rr为左相机的旋转矩阵，R1为右相机的旋转矩阵，T1为左相机的平移向量，Tr为
右相机的平移向量。
上述步骤（6）所述的对采集的视图进行立体校正，具体步骤为：
将得到的两相机之间的旋转矩阵R分解为两个旋转矩阵r1，rr，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；两台相机的行对准利用下式实现：
其中，Rrect为使行对准的旋转矩阵：
上述旋转矩阵由极点e1方向开始，以左图像的原点为基准，左相机至右相机的平移向量
的方向为主点方向：
e1与e2正交，并将其归一化到单位向量：
其中，Tx为平移向量T在相机所处平面内水平方向的分量，Ty为平移向量T在相机所处平面内竖直方向的分量；
e3与e1、e2正交，通过它们的叉积得到：
根据上述旋转矩阵物理意义有：
其中，表示为使行对准，两相机在其所处平面内需要旋转的角度，；对于左相机，使其绕e3方向旋转，对于右相机，使其绕e3方向旋转。

Claims (9)

1.一种旋转90度成像的双目立体视觉成像方法，包括以下步骤：
(1)组装双目相机，旋转双目相机的两摄像头，使所成左右图像相较于实际物体均为顺时针旋转90°或逆时针旋转90°的状态；
(2)设置双目相机，使双目相机的左右相机参数相同；
(3)双目相机的左右相机分别采集物体的左右图像，并将采集的左右图像像素点分别按行存储；
(4)分别按列读取所存储的左右图像像素点，使得到的物体左右图像为实际物体像素点行列转置的左右图像；
(5)进行立体标定，标定两摄像机的内参、外参、标定Q矩阵；
(6)双目摄像头摄取待成像物体图像信息经过标定完成的立体视觉成像系统，使用标定参数对采集的视图进行立体校正，生成校正后的左右图像。
2.根据权利要求1所述的方法，其特征在于，组装双目相机的具体方法为：取两个焦距一致的摄像头组装为双目相机，在相机前竖直放置一个向上的箭头，旋转双目相机的摄像头并通电检查相机成像，直至双目相机的左右相机成像均为箭头水平向左或水平向右的状态。
3.根据权利要求1所述的方法，其特征在于，所述的按行存储和按列读取图像像素点指的是完成图像像素点的行列转置。
4.根据权利要求1所述的方法，其特征在于，立体标定的方法具体为：
对双目相机的左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[RT]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：
其中，Rr为左相机的旋转矩阵，R1为右相机的旋转矩阵，T1为左相机的平移向量，Tr为右相机的平移向量。
5.根据权利要求1所述的方法，其特征在于，对采集的视图进行立体校正，具体步骤为：
将得到的两相机之间的旋转矩阵R分解为两个旋转矩阵r1，rr，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；两台相机的行对准利用下式实现：
其中，Rrect为使行对准的旋转矩阵：
上述旋转矩阵由极点e1方向开始，以左图像的原点为基准，左相机至右相机的平移向量的方向为主点方向：
e1与e2正交，并将其归一化到单位向量：
其中，Tx为平移向量T在相机所处平面内水平方向的分量，Ty为平移向量T在相机所处平面内竖直方向的分量；
e3与e1、e2正交，通过它们的叉积得到：
e3＝e2×e1
根据上述旋转矩阵物理意义有：
其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度；对于左相机，使其绕e3方向旋转某一角度，对于右相机，使其绕e3方向旋转某一角度。
6.一种实施权利要求1至5任一项所述方法的系统，其特征在于，包括：
(1)用于采集图像信息的图像采集模块；
(2)用于存储图像信息的图像存储模块；
(3)用于处理所摄图像信息的图像处理模块。
7.根据权利要求6所述的系统，其特征在于，所述的图像采集模块由两个摄像模组以及相应的电路组成。
8.根据权利要求6所述的系统，其特征在于，所述的图像存储模块由内存芯片和非易失存储器组成，非易失存储器用于存储标定的结果。
9.根据权利要求6所述的系统，其特征在于，所述的图像处理模块使用FPGA或ASIC芯片。
CN201811323131.8A 2018-11-08 2018-11-08 一种旋转90度成像的双目立体视觉成像方法及系统 Active CN111161122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811323131.8A CN111161122B (zh) 2018-11-08 2018-11-08 一种旋转90度成像的双目立体视觉成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811323131.8A CN111161122B (zh) 2018-11-08 2018-11-08 一种旋转90度成像的双目立体视觉成像方法及系统

Publications (2)

Publication Number Publication Date
CN111161122A CN111161122A (zh) 2020-05-15
CN111161122B true CN111161122B (zh) 2023-12-01

Family

ID=70555465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811323131.8A Active CN111161122B (zh) 2018-11-08 2018-11-08 一种旋转90度成像的双目立体视觉成像方法及系统

Country Status (1)

Country Link
CN (1) CN111161122B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281548A (zh) * 2013-05-13 2013-09-04 四川虹微技术有限公司 一种实时高清深度估计系统
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN104902258A (zh) * 2015-06-09 2015-09-09 公安部第三研究所 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机
CN105698699A (zh) * 2016-01-26 2016-06-22 大连理工大学 一种基于时间转轴约束的双目视觉测量方法
CN106600645A (zh) * 2016-11-24 2017-04-26 大连理工大学 一种摄像机空间立体标定快速提取方法
CN108510551A (zh) * 2018-04-25 2018-09-07 上海大学 一种远距离大视场条件下相机参数的标定方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101766756B1 (ko) * 2015-11-20 2017-08-10 경북대학교 산학협력단 스테레오 비전 시스템의 렉티피케이션 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281548A (zh) * 2013-05-13 2013-09-04 四川虹微技术有限公司 一种实时高清深度估计系统
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN104902258A (zh) * 2015-06-09 2015-09-09 公安部第三研究所 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机
CN105698699A (zh) * 2016-01-26 2016-06-22 大连理工大学 一种基于时间转轴约束的双目视觉测量方法
CN106600645A (zh) * 2016-11-24 2017-04-26 大连理工大学 一种摄像机空间立体标定快速提取方法
CN108510551A (zh) * 2018-04-25 2018-09-07 上海大学 一种远距离大视场条件下相机参数的标定方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FPGA Architecture for Real-time Depth Estimation System;Ran Liu 等;International Journal of Hybrid Information Technology;第10卷(第01期);第339-360页 *
一种双正交消隐点的双目相机标定方法;赵亚凤 等;液晶与显示;第31卷(第10期);第958-966页 *
基于双目立体视觉的倒车环境障碍物测量方法;刘昱岗 等;交通运输系统工程与信息;第16卷(第04期);第79-87页 *

Also Published As

Publication number Publication date
CN111161122A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN109272570B (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN110349251B (zh) 一种基于双目相机的三维重建方法及装置
CN104333675B (zh) 一种基于球面投影的全景电子稳像方法
US11663741B2 (en) Stereo calibration method for movable vision system
WO2016037486A1 (zh) 人体三维成像方法及系统
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN110969667B (zh) 基于边缘特征的多光谱相机外参自校正算法
CN112734863B (zh) 一种基于自动定位的交叉式双目相机标定方法
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN111145269B (zh) 一种鱼眼相机与单线激光雷达的外方位元素的标定方法
CN109974623B (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN101577004B (zh) 一种极线矫正方法、装置和系统
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN108154536A (zh) 二维平面迭代的相机标定法
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN111161122B (zh) 一种旋转90度成像的双目立体视觉成像方法及系统
CN112258581A (zh) 一种多鱼眼镜头全景相机的现场标定方法
CN111292380A (zh) 图像处理方法及装置
CN109658459A (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant