CN108171739A - 基于运动信息的双目视觉立体匹配方法 - Google Patents

基于运动信息的双目视觉立体匹配方法 Download PDF

Info

Publication number
CN108171739A
CN108171739A CN201711415744.XA CN201711415744A CN108171739A CN 108171739 A CN108171739 A CN 108171739A CN 201711415744 A CN201711415744 A CN 201711415744A CN 108171739 A CN108171739 A CN 108171739A
Authority
CN
China
Prior art keywords
movable information
calculated
camera
image
binocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711415744.XA
Other languages
English (en)
Inventor
周坤
孙辉
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Original Assignee
Suzhou Automotive Research Institute of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Automotive Research Institute of Tsinghua University filed Critical Suzhou Automotive Research Institute of Tsinghua University
Priority to CN201711415744.XA priority Critical patent/CN108171739A/zh
Publication of CN108171739A publication Critical patent/CN108171739A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于运动信息的双目视觉立体匹配方法，通过上一帧计算得到的视差图以及运动信息确定当前帧图像需要进行SGM算法的图像区域，然后通过SGM算法进行立体匹配。将左右摄像头的运动信息耦合到SGM算法中，大大降低了计算量，使得可以在嵌入式系统上实时计算。

Description

基于运动信息的双目视觉立体匹配方法
技术领域
本发明涉及一种双目视觉立体匹配算法，具体地涉及一种基于运动信息的双目视觉立体匹配方法。
背景技术
目前主流的双目视觉立体匹配算法主要是基于左右摄像头的图像数据进行完全独立计算。庞大的计算量使得立体算法很难在嵌入式系统上进行实时计算，即使是目前最主流的SGM(semi-global matching)算法依然无法在嵌入式系统上进行实时计算。
双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。如图1所示为双目视觉的原理图，其中Ol、Or为左右摄像头中心，空间任一质点P，当在Ol、Or处观察时，分别投影在像平面xl,xr上，左右摄像头产生的视差d＝xl-xr,而其中p是成像像素尺寸，f是摄像头的焦距，b是两个摄像头中心距离。
双目立体匹配算法就是通过左右图像，逐像素算出相应的视差，从而形成视差图。其算法核心原理就是找出左图像中某个像素a在右图像中的位置，从而计算出视差d，而如何去寻找在右图像中对应的位置是整个过程的核心。传统的算法，包括最主流的SGM算法，都是在右图像上按照像素逐个遍历找到与像素a最相似的像素，但是这会产生庞大的计算量，即使SGM采用动态规划算法以及通过按照8线法进行动态更新大大提升了速度，但是依旧无法在嵌入式设备上进行实时的计算。
发明内容
为了解决上述存在的技术问题，本发明提供了一种基于运动信息的双目视觉立体匹配方法，将左右摄像头的运动信息耦合到SGM算法中，大大降低了计算量，使得可以在嵌入式系统上实时计算。
本发明的技术方案是：
一种基于运动信息的双目视觉立体匹配方法，通过上一帧计算得到的视差图以及运动信息确定当前帧图像需要进行SGM算法的图像区域，然后通过SGM算法进行立体匹配。
优选的，当前帧图像的视差图通过以下步骤得到：
通过第N帧与N-1帧摄像头数据，计算出其图像基本重合的区域P；
通过第N-1帧到第N帧的加速度传感器的数据，计算出摄像头的位移；
计算N-1帧区域P中所有物体的位置Z，并减去相机移动的位移S，获得物体当前与摄像头的位置关系，并通过公式d*p＝fb/z，其中p是成像像素尺寸，f是摄像头的焦距，b是两个摄像头中心距离，计算出d作为N帧P区域的视差图。
优选的，每n幅图像利用SGM算法计算出一次视差图。
优选的，对计算得到的视差图进行滤波调优。
与现有技术相比，本发明的优点是：
1、通过上一帧计算出的视差图以及运动传感器信息确定当前帧图像需要进行SGM算法的图像区域，大大降低了视差图更新的运算量，提升了计算速度。
2、通过周期性使用SGM算法进行全幅图像的视差图计算，消除了误差的累计。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为双目视觉的原理图；
图2为第N帧与N-1帧图像；
图3为本发明基于运动信息的双目视觉立体匹配方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
下面结合附图，对本发明的较佳实施例作进一步说明。
如附图2所示，当双目相机运动时第N帧的左右摄像头数据和第N-1帧的数据会有很大一部分是完全一样的。比如对任意一个物体A，至少其本身和周围的物体在第N帧图像以及N-1帧图像保持高度一致。因此在进行第N帧的视差图计算时，完全可以利用第N-1帧的视差图信息。本发明因此而来。
如图3所示，通过左右摄像头通过拍摄图片感知周围环境，并将图片数据输入到CPU上，通过极线校正程序进行校正后，输入到SGM算法。与传统的SGM算法不同的是，在进行SGM算法之前，会通过上一帧计算出的视差图以及运动传感器信息确定当前帧图像需要进行SGM算法的图像区域。即，并不是整幅图像需要进行立体匹配计算以获取整幅图像的视差图，而是仅仅计算部分视差图。其他的视差图通过运动信息以及上一帧的视差图获得，而这一部分计算量十分微小。通过此算法流程，可以实现实时视差图计算。
具体流程：
对左右图像进行极线校正；
通过第N帧与N-1帧摄像头数据，计算出其图像基本重合的区域P，如通过互信息法进行快速匹配，或者基于卡曼滤波的追踪方法对物体进行有效的追踪。
通过第N-1帧到第N帧的加速度传感器的数据，计算出摄像头移动的位移S(向量)
通过公式(1)
计算N-1帧区域P中所有物体的位置Z(向量)，公式(1)中Xw，Yw，Zw表示物体的全局坐标，fx、fy是摄像头的焦距，x0、y0表示图像坐标系原点在成像平面的位置，R3x3表示全局坐标系到相机坐标系的旋转矩阵，T3x1表示全局坐标系到相机坐标系的平移矩阵。
并减去相机移动的位移S，获得物体当前与摄像头的位置关系，并再次通过公式d*p＝fb/z，计算出d作为N帧P区域的视差图。其他的区域按照SGM算法进行计算。
由于运动物体的像会逐步增大，会选择每N幅图像(N＝10，或者其他值)利用SGM算法完全计算出一次视差图，因此流程中采用一个计数器N作为判断指标。
视差图计算出来之后采用滤波的手段，如高斯低通滤波，巴特沃兹滤波手段进行噪声过滤
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1. 一种基于运动信息的双目视觉立体匹配方法，其特征在于，通过上一帧计算得到的视差图以及运动信息确定当前帧图像需要进行SGM 算法的图像区域，然后通过SGM 算法进行立体匹配。
2.根据权利要求1所述的基于运动信息的双目视觉立体匹配方法，其特征在于，当前帧图像的视差图通过以下步骤得到：
通过第N帧与N-1帧摄像头数据，计算出其图像基本重合的区域P；
通过第N-1帧到第N帧的加速度传感器的数据，计算出摄像头的位移；
计算N-1帧区域P中所有物体的位置Z，并减去相机移动的位移S，获得物体当前与摄像头的位置关系，并通过公式d*p=fb/z，其中p是成像像素尺寸，f是摄像头的焦距，b是两个摄像头中心距离，计算出d作为N帧P区域的视差图。
3.根据权利要求2所述的基于运动信息的双目视觉立体匹配方法，其特征在于，每n幅图像利用SGM算法计算出一次视差图。
4.根据权利要求2或3所述的基于运动信息的双目视觉立体匹配方法，其特征在于，对计算得到的视差图进行滤波调优。
CN201711415744.XA 2017-12-25 2017-12-25 基于运动信息的双目视觉立体匹配方法 Pending CN108171739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711415744.XA CN108171739A (zh) 2017-12-25 2017-12-25 基于运动信息的双目视觉立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711415744.XA CN108171739A (zh) 2017-12-25 2017-12-25 基于运动信息的双目视觉立体匹配方法

Publications (1)

Publication Number Publication Date
CN108171739A true CN108171739A (zh) 2018-06-15

Family

ID=62523959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711415744.XA Pending CN108171739A (zh) 2017-12-25 2017-12-25 基于运动信息的双目视觉立体匹配方法

Country Status (1)

Country Link
CN (1) CN108171739A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310669A (zh) * 2020-02-19 2020-06-19 上海尽星生物科技有限责任公司 胎儿头围实时测量方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198491A (zh) * 2013-01-31 2013-07-10 北京工业大学 室内的视觉定位方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN105447885A (zh) * 2014-07-11 2016-03-30 株式会社理光 计算视差的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198491A (zh) * 2013-01-31 2013-07-10 北京工业大学 室内的视觉定位方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN105447885A (zh) * 2014-07-11 2016-03-30 株式会社理光 计算视差的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310669A (zh) * 2020-02-19 2020-06-19 上海尽星生物科技有限责任公司 胎儿头围实时测量方法及装置
CN111310669B (zh) * 2020-02-19 2024-02-02 上海深至信息科技有限公司 胎儿头围实时测量方法及装置

Similar Documents

Publication Publication Date Title
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
CN106447766B (zh) 一种基于移动设备单目相机的场景重建方法及装置
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
JP5954712B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP4814669B2 (ja) ３次元座標取得装置
KR101874494B1 (ko) 특징점의 삼차원 위치 계산 장치 및 방법
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
KR20180054487A (ko) Dvs 이벤트 처리 방법 및 장치
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN105469386B (zh) 一种确定立体相机高度与俯仰角的方法及装置
CN107798702A (zh) 一种用于增强现实的实时图像叠加方法以及装置
TW201408041A (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN103900473A (zh) 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
CN109740659A (zh) 一种图像匹配方法及装置、电子设备、存储介质
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
CN105335959B (zh) 成像装置快速对焦方法及其设备
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
CN108171739A (zh) 基于运动信息的双目视觉立体匹配方法
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
JP6154759B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200325

Address after: 215200 No. 139 Yang Lian Road, Wujiang District, Jiangsu, Suzhou

Applicant after: TSINGHUA University SUZHOU AUTOMOTIVE RESEARCH INSTITUTE(WUJIANG)

Applicant after: TSINGHUA University

Address before: 215200 No. 139 Yang Lian Road, Wujiang District, Jiangsu, Suzhou

Applicant before: TSINGHUA University SUZHOU AUTOMOTIVE RESEARCH INSTITUTE(WUJIANG)

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180615