CN105940674A - 用于调整具有微镜头阵列的成像系统的基线的系统和方法 - Google Patents

用于调整具有微镜头阵列的成像系统的基线的系统和方法 Download PDF

Info

Publication number
CN105940674A
CN105940674A CN201480074618.0A CN201480074618A CN105940674A CN 105940674 A CN105940674 A CN 105940674A CN 201480074618 A CN201480074618 A CN 201480074618A CN 105940674 A CN105940674 A CN 105940674A
Authority
CN
China
Prior art keywords
camera lens
image
dimensional
point
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480074618.0A
Other languages
English (en)
Other versions
CN105940674B (zh
Inventor
张宏辉
赵丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN105940674A publication Critical patent/CN105940674A/zh
Application granted granted Critical
Publication of CN105940674B publication Critical patent/CN105940674B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Instructional Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种用于建立具有微镜头阵列的立体成像装置的基线的系统及用于制造及使用所述系统的方法。所述系统获取所述微镜头阵列与所关注物体之间的物距，并基于所获取的物距从所述微镜头阵列中选择第一和第二镜头。所述系统同样可使用所述成像装置来进行同时定位及构图(SLAM)。在一种实施方式中，所述系统可使用所述微镜头阵列来获取第一和第二立体帧。所述系统由此可使用惯性测量单元(IMU)来测量所述第二立体帧的旋转并通过将所述旋转数据与所述第一和第二立体帧组合来匹配所述第一和第二立体帧。所述系统由此可使得同时定位及构图系统能在各种室内和/或室外环境中更准确且更实用地进行。

Description

用于调整具有微镜头阵列的成像系统的基线的系统和方法
技术领域
所揭露的实施方式涉及数字成像，且更具体来说涉及用于调整具有微镜头阵列的成像系统的基线的系统和方法。
背景技术
随着数字图像技术的发展，特别是无人机技术的发展，使得自动同时定位及构图(Simultaneous Localization And Mapping，SLAM)同时适于室内和室外应用成为一项关键技术。然而，精确的同时定位及构图一直是个难点。
同时定位及构图涉及构建或更新不熟悉环境构图的运算问题，同时保持智能体由其定位的轨迹。典型的同时定位及构图涉及构建立体帧并连接所述帧以形成连续构图。
目前，主流的同时定位及构图系统通常使用单目相机或双目相机来实现立体环境构图和定位功能。一些新研发的研究方法使用深度相机，即用结构光或飞行时间(Time Of Flight，TOF)深度传感器来代替单目或双目相机。然而，这些方法因其目前的应用条件及其相对高昂的成本而受到了极大限制。
此外，目前一些主流的同时定位及构图方法通常是通过结合视觉测量来实施。目前流行的视觉测量方法通常使用被动的单目或双目镜头。类似于人的双眼，视觉测量的基本原理是利用不同视角的视差计算所关注物体的三维结构，并实现定位。在单目镜头的情况下，视差仅能通过平移产生；因此，其检测三维环境的能力取决于它的运动特征，该能力相对受限。
双目相机的视差通过第一镜头与第二镜头之间的基线产生；因此，其图像立体环境的能力与基线的长度密切相关。当长度固定时，由于存在盲点，因此太近或太远的物体都是无法检测的。随着主动深度传感器(结构光，TOF)的发展，基于主动深度传感器的同时定位及构图成是一个新的研究热点。然而，由于这些主动传感器的性能、设计结构和成本的限制，它们的适用环境主要是小型的室内场景。例如，由于阳光的全谱特性，基于结构光的深度传感器是不适用于室外的。此外，TOF深度传感器在室外使用时依赖于相对强能量的某种发射光的以及相对精密的传感器设计等；因此，它们不适合小型的飞行平台。
另一方面，由于物理原理的限定，很难精准地使用同时定位及构图系统中的一些其他技术，例如惯性测量单元(Inertial Measurement Unit，IMU)、气压计和其他传感器，来构建准确且可广泛适用的同时定位及构图系统。
综上，需要在各种条件下都精准且更实用的同时定位及构图系统和方法。
发明内容
根据本文揭露的第一个方面，提出一种用于建立具有微镜头阵列的立体成像系统的基线的方法，所述方法包括：
获取微镜头阵列与所关注物体之间的物距；以及
基于所述获取的物距从微镜头阵列中动态地选择两个镜头。
在所揭露方法的一种示例性的实施方式中，动态地选择两个镜头包括从微镜头阵列的多个镜头中选择第一镜头和第二镜头。
在所揭露方法的一种示例性的实施方式中，获取物距包括重复地获取微镜头阵列与所关注物体之间变化的物距；以及
从微镜头阵列的多个镜头中选择第一镜头和第二镜头是基于重复获取变化的物距。
所揭露方法的示例性的实施方式还包括基于所选择的第一镜头和第二镜头建立基线。
所揭露方法的示例性实施方式还包括基于微镜头阵列与所关注物体之间变化的物距来自动调整基线。
在所揭露方法的一种示例性的实施方式中，获取物距包括：
通过第一镜头获取所关注物体的第一图像；
通过第二镜头获取所关注物体的第二图像；以及
确定第一图像与第二图像之间的双目视差；且
其中获取物距包括基于确定的双目视差计算物距。
在所揭露方法的一种示例性的实施方式中，所述获取物距还包括在确定所述双目视差之前基于第一镜头和第二镜头的焦距计算校正焦距。
在所揭露方法的一种示例性的实施方式中，获取物距包括：
获取第一图像上的多个特征点；以及
使第一图像的多个特征点与第二图像的点匹配。
在所揭露方法的一种示例性的实施方式中，所述特征点包括第一图像或第二图像的像素。
在所揭露方法的一种示例性的实施方式中，所述确定双目视差包括确定至少五个像素且不超过图像宽度五分之一的双目视差。
在所揭露方法的一种示例性的实施方式中，所述匹配多个特征点包括：
扫描第二图像以识别第二图像与所述第一图像的选定特征点相匹配的点；以及
计算第一图像的选定特征点与所述点之间的相似度。
在所揭露方法的一种示例性的实施方式中，所述计算相似度包括将第一图像的选定特征点与以第二图像上的该点为中心的3×3像素区域进行比较。
在所揭露方法的一种示例性的实施方式中，比较3×3像素区域包括比较彩色图像的每个像素的每个色彩分量的视差总和或比较黑白图像的每个像素的灰度值的视差总和。
在所揭露方法的一种示例性的实施方式中，所述获取物距还包括：
确定微镜头阵列与每个特征点之间各自的特征距离；以及
使用特征距离确定物距。
在所揭露方法的一种示例性的实施方式中，所述确定物距包括基于特征距离的平均值获取物距。
在所揭露方法的一种示例性的实施方式中，所述确定物距包括选择一个或多个特征点并基于选定特征点的特征距离获取物距。
在所揭露方法的一种示例性的实施方式中，所述选择特征点包括选择最靠近所述微镜头阵列的预定百分比的特征点并获取所述物距作为距微镜头阵列最远的选定特征点的特征距离。
在所揭露方法的一种示例性的实施方式中，选择第一镜头和第二镜头包括：
基于微镜头阵列可用的最小基线、校正焦距和预定的视差范围估算所述物距的检测范围；
基于物距的估算检测范围计算基线范围；
基于估算的物距检测范围计算基线范围；以及
当确定视差大于预定水平时，选择最小基线。
在所揭露方法的一种示例性的实施方式中，选择第一镜头和第二镜头包括：
由Z＝f*(T/(xl-xr))估算物距的检测范围(Zmin至Zmax)，其中Z为物距，f为选定镜头的校正焦距，T为两个最靠近镜头之间的基线，(xl-xr)为两个匹配点的视差；
由T＝Zd/f计算可用基线的范围，其中d＝(xl-xr)为视差；以及
在确保视差关系为d>10的情形下，选择具有最小基线T的第一镜头和第二镜头。
在所揭露方法的一种示例性的实施方式中，所述选择第一镜头和所述第二镜头包括增加基线直到第一镜头的视野与第二镜头的视野重叠至少50％。
所揭露方法的示例性实施方式还包括在基线自动调整后校准立体成像系统的外部参数。
在所揭露方法的一种示例性的实施方式中，校准包括校准立体成像系统的平移外部参数和/或旋转外部参数中的至少一个。
在所揭露方法的一种示例性的实施方式中，校准包括初始根据选择的两个镜头校准平移外部参数。
在所揭露方法的一种示例性的实施方式中，校准包括在初始校准后进一步校准外部参数以使得外部参数最优化。
在所揭露方法的一种示例性的实施方式中，立体成像系统安装在移动平台上，且其中自动调整取决于移动平台的行进模式。
在所揭露方法的一种示例性的实施方式中，移动平台是无人飞行器(unmanned aerial vehicle，UAV)，且其中行进模式是无人飞行器的飞行模式。
根据本文揭露的另一个方面，提供一种立体成像系统，其用于根据上述任一种方法来进行自动基线调整。
根据本文揭露的另一个方面，提供一种计算机程序产品，其包括用于根据上述任一种方法自动调整具有微镜头阵列的立体成像系统的基线的指令。
在所揭露装置的一种示例性的实施方式中，所述装置包括：
具有多个镜头的微镜头阵列，每个镜头单独地或与一个或多个其他镜头任意组合地用于获取图像；和
控制器，其用于基于所获取的微镜头阵列与所关注物体之间的物距来动态地选择两个镜头。
在所揭露装置的一种示例性的实施方式中，控制器用于从微镜头阵列的多个镜头中选择第一和第二镜头。
在所揭露装置的一种示例性的实施方式中，控制器用于获取微镜头阵列与所关注物体之间变化的物距并基于重复获取变化的物距而从微镜头阵列的多个镜头中选择第一镜头和第二镜头。
在所揭露装置的一种示例性的实施方式中，控制器用于基于第一镜头和第二镜头来建立基线。
在所揭露装置的一种示例性的实施方式中，控制器用于基于微镜头阵列与所关注物体之间变化的物距来动态地调整基线。
在所揭露装置的一种示例性的实施方式中，控制器用于通过以下方式获取物距：
通过第一镜头获取所关注物体的第一图像；
通过第二镜头获取所关注物体的第二图像；
确定第一图像与第二图像之间的双目视差；以及
基于确定的双目视差来计算物距。
在所揭露装置的一种示例性的实施方式中，控制器用于在确定双目视差之前基于第一镜头和第二镜头的焦距来计算校正焦距。
在所揭露装置的一种示例性的实施方式中，控制器用于获取第一图像上的多个特征点并将第一图像上的多个特征点与第二图像上的点相匹配。
在所揭露装置的一种示例性的实施方式中，特征点包括第一图像或第二图像的像素。
在所揭露装置的一种示例性的实施方式中，控制器用于确定至少五个像素且不超过图像宽度五分之一的双目视差。
在所揭露装置的一种示例性的实施方式中，控制器用于扫描第二图像来识别第二图像上与第一图像的选定特征点相匹配的点，并用于计算第一图像的选定特征点与所述点之间的相似度。
在所揭露装置的一种示例性的实施方式中，控制器用于将第一图像的每个选定特征点与以第二图像上的该点为中心的3×3像素区域进行比较。
在所揭露装置的一种示例性的实施方式中，控制器用于比较彩色图像的每个像素的每个色彩分量的视差总和或比较黑白图像的每个像素的灰度值的视差总和。
在所揭露装置的一种示例性的实施方式中，控制器用于确定微镜头阵列与每个特征点之间各自的特征距离，且使用特征距离确定物距。
在所揭露装置的一种示例性的实施方式中，物距为特征距离的平均值。
在所揭露装置的一种示例性的实施方式中，控制器用于选择一个或多个特征点并基于选定特征点的特征距离获取物距。
在所揭露装置的一种示例性的实施方式中，以最靠近镜头阵列或距微镜头阵列最远的特征点的预定百分比来选择特征点。
在所揭露装置的一种示例性的实施方式中，控制器用于通过以下方式来选择述第一镜头和第二镜头：
基于微镜头阵列可用的最小基线、校正焦距和预定的视差范围来估算物距的检测范围；
基于估算的物距检测范围来计算基线范围；以及
在确保视差大于预定水平时，选择最小基线。
在所揭露装置的一种示例性的实施方式中，通过以下方式选择第一镜头和第二镜头：
由Z＝f*(T/(xl-xr))估算物距的检测范围(Zmin至Zmax)，其中Z为物距，f为选定的第一和第二镜头的校正焦距，T为两个最靠近镜头之间的基线，(xl-xr)为两个匹配点的视差；
由T＝Zd/f计算可用基线的范围，其中d＝(xl-xr)为视差；以及
在确保视差关系为d>10的情形下，选择具有最小基线T的第一镜头和第二镜头。
在所揭露装置的一种示例性的实施方式中，控制器用于增加基线直到第一镜头的视野与第二镜头的视野重叠至少50％。
在所揭露装置的一种示例性的实施方式中，控制器用于在调整基线后校准立体成像系统的外部参数。
在所揭露装置的一种示例性的实施方式中，外部参数包括所述立体成像系统的平移外部参数和/或旋转外部参数中的至少一个。
在所揭露装置的一种示例性的实施方式中，所述平移外部参数初始校准是根据第一透镜和第二透镜。
在所揭露装置的一种示例性的实施方式中，所述控制器用于在初始校准后校准所述外部参数以使得所述外部参数最优化。
在所揭露装置的一种示例性的实施方式中，所述立体成像系统是无人飞行器(UAV)，且其中基线调整取决于无人飞行器的飞行模式。
在所揭露装置的一种示例性的实施方式中，所述立体成像系统是红外成像系统。
在所揭露装置的一种示例性的实施方式中，所述立体成像系统是x射线成像系统。
根据本文揭露的另一个方面，提供一种通过具有微镜头阵列的成像装置进行同时定位及构图(SLAM)的方法，所述方法包括：
通过上述任一种方法使用微镜头阵列获取第一立体帧和第二立体帧；
使用惯性测量单元(IMU)来测量第二帧相对于第一立体帧的旋转而产生旋转数据；以及
通过将旋转数据与第一和第二立体帧组合来匹配第一和第二立体帧，
其中第一立体帧与第二立体帧以预定的百分比相互重叠。
在所揭露方法的一种示例性的实施方式中，获取第一立体帧和第二立体帧包括在不同的时间点获取第一立体帧和第二立体帧。
在所揭露的装置的一种示例性的实施方式中，在不同时间点获取第一立体帧和第二立体帧包括以不小于六十分之一秒且不大于二十分之一秒的时间间隔获取所述第一立体帧和第二立体帧。
所揭露方法的示例性实施方式中，还包括：
基于第一立体帧获取立体点云，
其中立体点云是立体特征点的阵列{P1,P2,P3...，Pn}。
所揭露方法的示例性实施方式还包括：
基于立体点云在x-y平面上获取第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xn 2,yn 2)}。
在所揭露方法的一种示例性的实施方式中，获取第二投影阵列包括：
基于立体点云在x-y平面上获取第一投影阵列{(x1 1,y1 1),(x2 1,y2 1),{(x3 1,y3 1),…,{(xn 1,yn 1)}；以及
使用权利要求9至11中任一项所述的方法将第一投影阵列的多个点匹配至第二立体图像上而产生第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xm 2,ym 2)}。
所揭露方法的示例性实施方式还包括：
基于旋转数据、立体点云和第二投影阵列计算平移阵列T。
在所揭露方法的一种示例性的实施方式中，计算平移阵列T包括应用关系式：
RP j + T = μ x j 2 y j 2 1
其中R为旋转测量阵列，Pj为立体点，T表示待计算的平移阵列，且μ为随机数。
在所揭露方法的一种示例性的实施方式中，应用还包括通过解开选自立体点云的至少两个点及其在第二投影阵列中匹配的两个点的方程组来计算T。
所揭露方法的示例性实施方式还包括：
通过将T引入具有多个选自立体点云的点及其在第二投影阵列上的相应投影点的方程中来证实平移阵列T，从而得到匹配点的数量；以及
选择具有最大数量匹配点的平移阵列T作为选定的平移阵列T。
所揭露方法的示例性实施方式还包括：
采用旋转数据、选定的平移T和关系式：来计算第二帧的立体点云。
所揭露方法的示例性实施方式还包括：
通过上述方法用微镜头阵列获取另一立体帧；以及
以第二立体帧作为第一立体帧且以新获取的立体帧作为第二立体帧重复上述步骤。
根据本文揭露的另一方面，提供一种同时定位及构图系统，其用于根据任意上述方法进行自动定位与构图。
根据本文揭露的另一方面，提供一种计算机程序产品，所述计算机程序产品包括用于根据任意上述方法使用具有微镜头阵列的立体成像系统自动进行同时定位及构图的指令。
根据本文揭露的另一方面，提供一种使用具有微镜头阵列的成像装置进行同时定位及构图(SLAM)的装置，所述装置包括：
惯性测量单元IMU，其用于测量与在第一时间点获取的第一立体帧相关的在第二时间点获取的第二立体帧的旋转；和
控制器，其用于：
通过任意上述方法使用所述微镜头阵列获取第一立体帧和第二立体帧；
由惯性测量单元获取所述第二立体帧的旋转数据；以及
通过将旋转数据与所述第一和第二立体帧组合来匹配所述第一和第二立体帧，
其中，所述第一立体帧与第二立体帧以预定的百分比相互重叠。
在所揭露装置的一种示例性的实施方式中，在不同的时间点获取第一立体帧和第二立体帧。
在所揭露装置的一种示例性的实施方式中，不同时间点之间的间隔不小于六十分之一秒且不大于二十分之一秒。
在所揭露装置的一种示例性的实施方式中，所述控制器还用于基于第一立体帧获取立体点云，其中，所述立体点云为立体特征点的阵列{P1,P2,P3...,Pn}。
在所揭露装置的一种示例性的实施方式中，所述控制器还用于基于立体点云在x-y平面上获取第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xn 2,yn 2)}。
在所揭露装置的一种示例性的实施方式中，所述控制器用于通过以下方式获取第二投影阵列：
基于立体点云在x-y平面上获取第一投影阵列{(x1 1,y1 1),(x2 1,y2 1),{(x3 1,y3 1),…,{(xn 1,yn 1)}；以及
使用权利要求10至12中任一项所述的方法将第一投影阵列的多个点匹配至第二立体图像上而产生第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xm 2,ym 2)}。
在所揭露装置的一种示例性的实施方式中，控制器还用于基于旋转数据、立体点云和第二投影阵列来计算平移阵列T。
在所揭露装置的一种示例性的实施方式中，平移阵列T通过应用以下关系式来计算：
RP j + T = μ x j 2 y j 2 1
其中R为旋转测量的阵列，Pj为立体点云的立体点，T表示待计算的平移阵列且μ为随机数。
在所揭露装置的一种示例性的实施方式中，通过选自立体点云的至少两个点及其在第二投影阵列中匹配的两个点的方程组来解开平移阵列T。
在所揭露装置的一种示例性的实施方式中，所述控制器被配置成用于通过将T引入具有多个选自立体点云的点及其在第二投影阵列上的相应投影点的方程中来证实平移阵列T，从而得到匹配点的数量；以及
选择具有最大数量匹配点的平移阵列T作为选定的平移阵列T。
在所揭露装置的一种示例性的实施方式中，所述控制器用于采用所述旋转数据、所述选定的平移T和关系式：来计算所述第二帧的立体点云。
在所揭露装置的一种示例性的实施方式中，所述控制器用于通过上述方法用所述微镜头阵列获取另一立体帧，并以所述第二立体帧作为第一立体帧且以所述新获取的立体帧作为第二立体帧。
附图说明
图1为说明立体成像系统的一种实施方式的示例性顶层框图，其中所述立体成像系统包括微镜头阵列和传感器阵列。
图2为说明图1中的微镜头阵列的一种实施方式的一具体示意图。
图3为说明图1中的立体成像系统的一种备选实施方式的具体示意图，其中在立体摄影中使用微镜头阵列。
图4为说明图3中的立体成像系统的一种备选实施方式的具体示意图，其中通过三角测量法来确定物距。
图5为说明图1中的立体成像系统的一种实施方式的示例性顶层框图，其中该系统包括用于微镜头阵列的控制器。
图6为说明图1中的立体成像系统基于物距的方法的一种实施方式的示例性顶层流程图。
图7为说明基于物距来调整图1中的立体成像系统的基线的方法的一种实施方式的示例性流程图。
图8为说明基于物距来调整图7中的立体成像系统的基线的方法的另一种实施方式的示例性流程图。
图9为说明根据图8的方法确定物距的方法的一种实施方式的示例图。
图10为说明图8方法的一种备选实施方式的示例图，其中该方法包括为选定的微镜头获取校正的焦距。
图11为说明图6方法的另一种备选实施方式的示例图，其中通过一定范围的可用基线来估算基线。
图12为说明同时定位及构图(SLAM))方法的一种实施方式的示例性顶层图。
图13为说明图10方法的一种可选实施方式的示例图，其中一对立体图像是相匹配的。
应注意，所述附图并非按比例绘制，且在整个附图中，类似结构或功能的元件通常由相同的元件符号表示以用于说明目的。还应注意，所述附图仅仅是为了便于所述优选的实施方式。所述附图并非用于说明所述实施方式的每个方面且不限制本发明的范围。
具体实施方式
由于当前可用的同时定位及构图系统并非广泛适用且无法精准地定位及构图，因此一种通过调整具有微镜头阵列的成像系统的基线能够符合要求的同时定位及构图系统和方法可证明是有利的，且为广泛范围的系统应用提供了基础，例如无人机系统和其他移动装置系统。此结果可根据图1揭露的一种实施方式得以实现。
现参阅图1，说明了一种示例性的立体成像系统100具有微镜头阵列102，所述微镜头阵列102用于接收从所关注物体198反射的光线。所述微镜头阵列102中的每个微镜头(或镜头)102A(如图2中所示)对应于传感器阵列104中的各自的传感器。所述通过微镜头阵列102的镜头102A接收的光线被提供至所述传感器阵列104中的相应的传感器。两个镜头102A(如第一镜头102b与第二镜头102c)通常用于立体成像；然而，可选择微镜头阵列102中任意合适数量的镜头102A。相应的传感器产生数据流133，其代表了传感器阵列104所产生的图像。产生的图像数量通常等于微镜头阵列102所选定的微镜头102A的数量。数据流133被提供给图像信号处理器(ISP)110。在此示例性的实施方式中，数据流133代表了由传感器阵列104产生并存储于存储器106中的两个图像106A和106B，所述存储器106可为内置存储器和/或外置存储器。尽管本文中显示且描述为处理图像对仅用于说明目的，但立体成像系统100可适于处理任意合适数量的图像。
当对所关注物体198成像时，由每个选定的微镜头102A和所述相应的传感器产生的图像可从选定的视角展示所关注的物体198。通过选择多个微镜头102A，所述关注物体198可从多个不同的视角成像。所述图像信号处理器110可通过数据流137处理所述得到的图像而产生立体图像199。在一种实施方式中，所述图像信号处理器110可产生作为同时定位及构图系统(图中未示)的一部分用于定位目的的立体图像199。如图1中所述，所述立体成像装置100中的所述微镜头阵列102、传感器阵列104、存储器106和/或图像信号处理器110可在控制器120的控制下运行。另外和/或备选地，所述图像信号处理器110可提供对所述立体成像装置100完全或部分的控制。
如图1所示，所述示例性的立体成像装置100可与可选的惯性测量单元(IMU)150通信。所述惯性测量单元150可用于提供所述立体成像装置100在两个时间点之间的旋转测量。所述图像信号处理器110可利用所述旋转测量，沿立体成像装置100的行进路径组合不同时间点的两个立体帧以产生连续构图。连续构图为同时定位及构图系统的第二部分。尽管惯性测量单元150显示为独立于立体成像装置100的部件(或外部部件)，但惯性测量单元150也可以设置在所述立体成像装置100的内部。
有利地，本文揭露的方法使得同时定位及构图系统能够在各种室内和/或室外环境中更精准且更实用地进行。因此，与具有结构光和/或飞行时间深度传感器的常规系统相比而言，同时定位及构图系统可具有更大的利用范围。
图2示出了图1所示的微镜头阵列102的一种实施方式的示例性排列。图2中的微镜头阵列102所示为4×4的微镜头阵列，提供总共16个微镜头102A。每个微镜头102A可用于单独地获取图像和/或与微镜头阵列102中的任意数量的其他微镜头102A组合来获取图像。当使用两个选定的微镜头102A来产生图像时，例如两个微镜头102A之间的距离定义双目成像装置的基线。换句话说，当所述使用微镜头阵列102中的两个选定微镜头102A来产生图像时，立体成像装置100形成双目成像装置。下文参考图3描述关于双目成像装置更具体的细节。
重新参考图2，微镜头阵列102中具有最大距离的两个镜头102A，如第一镜头102b和第二镜头102c，定义了双目成像装置的最大基线Tmax。两个最靠近彼此的镜头102A例如第一镜头102d和第二镜头102e，定义了最小基线Tmin。在图2中，示意出了4×4的微镜头阵列102，所述Tmax为位于对角线上的两个最外端微镜头102A之间的距离。所述Tmin为位于同一行或同一列中的任意两个相邻微镜头102A之间的距离，无论哪种情况都具有较短的距离。
基于立体观测原理，降低基线T的值可降低检测范围的下限和/或所述范围的上限。增加所述T可导致相反的效果。因此，所述立体成像装置100相对于传统的具有固定基线的双目成像装置具有优越性，这是因为传统的装置无法同时考虑下限和上限。
另一方面，所述微镜头阵列102可基于选择如图2中所示的微镜头102A来提供预定范围的不同基线。较近处物体的立体位置可通过具有较小基线的微镜头102A来计算，且较远处物体的立体位置可通过具有较大基线的微镜头102A来计算。因此，可通过图2的微镜头阵列102增加立体视觉的范围。虽然图2显示且描述提供4×4阵列形式的16个微镜头102A用于说明的目的，但微镜头阵列102可包括任意合适数量的以任意合适的配置或大小提供的微镜头102A。如果以多行和多列微镜头102A的阵列形式提供，所述微镜头阵列202可包括多行和多列，微镜头阵列202中的行数量与列数量不同或相同。对于所述微镜头阵列102中选定的相邻微镜头102A对而言，微镜头阵列102中相邻微镜头102A之间的间隔可相同和/或不同。
现参考图3，一种用于确定微镜头阵列102与所关注物体198之间的物距Z的系统。图3说明关于所述微镜头阵列102的两个选定镜头102A(第一镜头310a和第二镜头310b)使用立体观测。尽管在本文中使用微镜头阵列102的镜头102A进行说明，但任意类型的镜头阵列或微镜头阵列都是可用的。因此，镜头102A与微镜头102A是完全可互换的。微镜头310a和310b各自感知相同的关注物体198，但位于不同的空间坐标中，如所示的坐标轴(x1,y1,z1)和(x2,y2,z2)。微镜头310a和310b沿它们各自的光轴330a和330b感知所关注的物体198且由此获得所关注物体198的两种不同的二维图像320a和320b。由于从不同的位置和/或角度获取，所述因此二维图像320a和320b通常是不同的，除非所述微镜头310a和310b放置成使得它们的光轴330a和330b重叠的位置。因此，如下文参考图4更详细的描述，在大多数情况下，可获得图像320a和320b之间的双目视差d(例如，在方程4中所表示的)。
现参考图4，可通过比较二维图像320a和320b来确定微镜头对310a和310b与所述所关注物体198之间的物距Z。可使用一种三角测量方法，从而使用图像320a与320b之间的双目视差d来确定物距Z。特别的是，可如下给出所关注物体198的位置，具有指数i，由其坐标(Xi,Yi,Zi)表示：
其中cx和cy表示微镜头310a和310b的中心坐标，xi和yi表示所述所关注物体198在所述图像320a和320b中的一个或两个中的坐标，T为基线(换句话说，为微镜头310a和310b的中心坐标之间的距离)，f为微镜头310a和310b的校正焦距，i为多个所关注物体198和/或所关注物体198的多个特征点355上的指数，且d为图像320a与320b之间的双目视差，此处表示如下：
图5示出了一种用于调整立体成像系统100的基线T的示例性方法100的实施方式。在图5中，所述立体成像系统100具有所述控制器120(如图1中所示)和微镜头阵列102(如图1中所示)。所述控制器120通过控制所述微镜头阵列102的动作而与所述微镜头阵列102交互。在图5中，所述控制器120可从所述微镜头阵列102中选择一个或多个微镜头102A来产生立体成像所需的基线；所述微镜头阵列102用于获取图像，所述图像用作用于获取和/或估算微镜头阵列102(如图1中所示)与所述所关注物体198(如图1中所示)之间的物距Z的基础。可不断变化的物距Z可根据预定的时间间隔被重复地获取或估算。在一些实施方式中，所述时间间隔可限制在六十分之一秒至二十分之一秒的范围内。
此外，所述控制器120可控制接收通过微镜头阵列102产生的图像并基于所述图像计算预期基线，用以从所述微镜头阵列102中选择两个微镜头310a和310b。所述预期基线的计算和/或两个微镜头310a和310b的选择可基于重复性地获取到的变化的物距。
现参考图6，说明一种用于调整立体成像系统100的基线T的示例性方法200的实施方式。所述方法200的一种实施方式能够自动地和/或手动地调整基线T。在步骤610中，获取立体成像系统100或所述微镜头阵列102(如图1中所示)与所关注物体198(如图1中所示)之间的物距Z。可视需要使用任意各种不同的方法来获取物距Z。在一些实施方式中，可使用选自微镜头阵列102(如图1中所示)的多个微镜头102A(如图2中所示)通过立体观测来获取物距Z。例如，两个微镜头102A可各自分别获取所关注物体198的图像320a、302b(如图3至4中所示)。可对所述获取到的图像320a、320b的重叠部分进行分析而估计出与所述关注物体198的物距Z。备选地和/或另外地，可使用非立体观测方法来获取物距Z，例如使用激光和/或使用超声波。在步骤680中，自动选择一对镜头102A以根据物距Z来获取基线T。将参考图11更详细地描述镜头的选择。
图7中说明方法300的一种备选的实施方式。本文中，所述方法300基于立体观测，使用第一镜头310a和第二镜头310b来获取物距Z。在步骤611A中，使用第一镜头310a获取所关注物体198(如图3和4中所示)的第一图像320a(如图3和4中所示)。在步骤611B中，使用第二镜头310b获取所关注物体198的第二图像320b(如图3和4中所示)。第一和第二图像320a、320b能够以任何常用的方式被获取，包括同时和/或连续的方式被获取。在一种优选的实施方式中，所述有利的是同时获取第一和第二图像320a、320b从而减少由于所关注物体198和/或所述立体成像系统100随时间发生移位而产生的错误。
在步骤614中，计算所述第一图像320a与所述第二图像320b之间的双目视差d。备选地或另外地，可使用微镜头310a、310b中任一个(或全部)的焦距来确定步骤614中的双目视差d。下文参考图7更详细地描述用于计算视差d的示例性实施方式。
在步骤619中，计算物距Z。可通过任意合适的方式来计算物距Z。一种示例性的方式包括使用所述计算出的双目视差d。例如，发现物距Z可作为如615中所建立的所述双目视差d、所述第一镜头310a与第二镜头310b之间的基线T以及步骤校正焦距f的函数。所述函数可表示为：
其中，T为基线(换句话说，为微镜头310a和310b的中心坐标之间的距离)，f为所述微镜头310a和310b的校正焦距，Xl-Xr＝d为所关注物体198的图像320a与320b之间的双目视差，且Xr为第二图像310b上的一点，其与第一图像310a上由Xl表示的一点相匹配。
图8中说明系统400的另一种实施方式。在图8中，除了加入一个新的步骤以外，所有步骤与图7中所示的系统300相同。在图8中，显示的一种备选的实施方式具有步骤615，其中可基于两个选定微镜头310a、310b的焦距来计算校正焦距f。尽管第一镜头310a与第二镜头310b的焦距通常可相同的，但它们也可是不同的。计算校正焦距的所有方法在本文中都可适用。在一种实施方式中，文章“立体相机标定”中的计算校正焦距的方法可用于本文中，马库斯.曼(Markus Mann)，立体相机标定(Stereo CameraCalibration)，(2004年12月10日)，可获得于：http://cs.nyu.edu/courses/fall14/CSCI-GA.2271-001/06StereoCameraCalibration.pdf。
基于关于图7和图8的所论述的，由于Xl为已知要素，因此可由第二图像320b上的匹配点Xr来计算视差d。在图9中，在第二图像320b上的匹配点Xr进行定位的示例性实施方式仅用于说明目的。在图9中，IL表示第一图像320a，且IR表示同一所关注物体198的第二图像320b。第一图像320a上的点为已知的，且第二图像320b上的匹配点可定义为与第一图像320a的点“最类似”的点，其可由以下方程来表示：
d＝argmind|IL(xl)-IR(xl+d)| 方程(6)
其中d表示两个选定微镜头310a、310b(如图3和图4中所示)的视差，IL为第一图像320a，IR为同一所关注物体198的第二图像320b，xl为第一图像320a的点
由于可能匹配错误，因此为了确定匹配准确度和视觉范围，视差d不能小于或大于某些预定值。在本发明的一种优选的实施方式中，视差d大于5个像素且小于第二图像320b宽度的五分之一，所述第二图像320b与第一图像320a可大小相同。作为一种说明性的实施例，假定f＝480，T＝0.15米且图像分辨率为320*240像素，则可推导出1.5米至15.4米的有效视觉范围。
在确定类似性中，从图像310a、310b的每个中取出中心具有比较点的3×3像素块。当第一和第二图像320a和320b为彩色图像时，可对3×3像素块的每个像素进行彩色分量值的比较。相反，当图像320a和320b为黑白图像时，可比较每个像素的灰度值。基于方程6，选择所有9个像素中具有最小差异值总和的点作为匹配点。所述流程可重复地用于在所述第一图像310a上所有选定的特征点。
现参考图10，说明使用所关注物体198的特征点355获取物距Z的方法600的另一备选的实施方式。在步骤922中，获取所关注物体198上的多个特征点355。可使用一种或多种不同的方法来选择所述特征点355。在一种示例性的实施方式中，所述特征点355可识别为所关注物体198上的预定形状。在另一实施方式中，所述特征点可识别为所关注物体198上的一个或多个具有特定颜色或亮度的部分。在另一实施方式中，可选择所关注物体198上的随机部分作为特征点355。在另一实施方式中，可在所关注物体198上以规则间隔的间距选择特征点355，例如间隔间距为每一个像素、每两个像素、每三个像素、每四个像素，等等。所述特征点355可视需要为不同的形状和大小。在一些实施方式中，可使用上述方法的组合来选择特征点355。
在步骤924中，将选定的特征点355从所述第一图像310a被匹配到所述第二图像310b上。在一种优选的实施方式中，所述特征点的匹配包括两个步骤。在步骤924A中，选择所述第一图像的特征点355。从计算点开始沿着与所述微镜头310a、310b的中心线平行的线扫描匹配点。可基于第一图像310a上的点的坐标、所述基线的方向和/或长度来计算匹配的开始点。尽管优选地限定为仅沿着选定线的一个方向，但也可以在任意一个或多个预定方向进行扫描。
在步骤924B中，当扫描每一个点时，通过本文中参考图8详细描述的方法计算两个点之间的相似度，并选择所述第二图像310b中与所述第一图像310a的特征点具有最小差异值总和的点。
在步骤926中，获得每个特征点355与所述立体成像系统100之间的特征距离z。每个特征距离z可通过任意合适的方式来获得，包括使用由第一镜头310a(如图3和4中所示)获取的第一图像320a(如图3和4中所示)中的特征点355的位置与由第二镜头310b(如图3和4中所示)获取的第二图像320b(如图3和4中所示)中的特征点355的位置之间的双目视差d。使用所述双目视差d，可通过方程1至4以上述方式获得特征距离z。
在步骤928中，使用步骤926中获得的特征距离z获得物距Z。多种方法中的任一种均可用于基于所关注物体198的各个特征距离z来确定所述物距Z。在一种实施方式中，基于特征距离z的平均值获得所述物距Z。示例性的平均值类型可包括算术平均值、几何平均值、中间值和/或不受限定的模式。在另一实施方式中，可通过选择一个或多个特征点355并基于选定特征点355的特征距离z获取物距Z来获得物距Z。
图11说明用于从微镜头阵列102中选择不同镜头102A的方法700的一种实施方式。假定在获取第一图像320a后以短时间间隔获取第二图像320b。在一实施方式中，所述时间间隔可限制在六十分之一秒至二十分之一秒的范围内。由于所述时间间隔较短，因此所述物距Z的变化通常是可以忽略的，且因此在所述物距Z及其相应基线的计算中可忽略。换句话说，所述物距Z的变化可能将不会实质性地影响所述方法700的执行。然而，所述物距Z的突然或意外变化可导致由下面段落描述的示例性方法进行的计算更长。但是由于所述突然或意外变化极少见，因此计算的总量不会实质性影响。
在步骤952中估算基线时，通过以下方程估算物距Z的检测范围(Zmin至Zmax)：
其中Z为微镜头阵列102A与所关注物体198之间的物距，f为第一镜头310a和第二镜头310b的校正焦距，且T为第一镜头310A与第二镜头310B两者之间的基线，xl为第一图像320a上的特征点且xr为对应于xl的匹配点。参考图8描述校正焦距f的计算。本文中，所述特征点xl和xr可通过上文参考图10的具体描述的方式来进行选择。在一些实施方式中，xl和xr可选自具有最小物距和/或具有最大物距的点。优选地，xl和xr可选自具有平均物距的点。平均物距可通过任意常用的方式来确定，包括通过确定算术平均值、几何平均值、中间值和/或不受限定的模式。在一种优选的实施方式中，选择可用在微镜头阵列102上的两个最靠近的镜头310a、310b来提供最短基线T。
在估算检测范围(Zmin至Zmax)时，可基于预定视差d、校正焦距f和检测范围(Zmin至Zmax)来计算基线T。为计算基线T，在步骤956中，以下方程可用于获取对第一镜头310a和第二镜头310b的选择：
其中d为第一镜头310a和第二镜头310b产生的视差，Z为物距，且f为第一镜头310a和第二镜头310b的校正焦距。在一些优选的实施方式中，选择不小于10个像素的d。在一些其他实施方式中，物距Z可为如上计算出的最小物距Zmin。在一种优选的实施方式中，在方程8中满足d>10的条件下，选择微镜头阵列中任意两个镜头的最小可用距离作为基线T。在初始选择两个镜头310a、310b后，可通过选择不同的镜头102A来增加或减小视差。在一种优选的实施方式中，视差仅需要增加。
图12说明一种用于执行同时定位及构图(SLAM)的方法800的一种示例性实施方式。在图12的步骤810中，所述立体成像装置(图1中所示)获取两帧立体图像。两帧图像可通过任意合适的方式来获取，包括根据上文参考图1至图11所述的任何方法。在步骤820中，可计算出所关注物体198的物距Z。物距Z可通过任何合适的方式来计算，包括根据上文参考图1至图11所述的任何方法。在步骤830中，通过匹配第一和第二帧上的特征点来匹配两个帧。在步骤840中，通过所述获取的帧来估算三次平移运动和三次旋转的六种运动。所述旋转可通过惯性测量单元(Inertial MeasurementUnit，IMU)来获取从而获得旋转数据，并基于旋转数据来计算平移。
在获取所述旋转和平移时，如以下部分中所述，对各帧应用测量，如在下面段落描述的步骤850。同样在步骤850中，获取下一帧图像且系统重复此过程，从而计算新获取的帧。此过程持续重复，从而实现不受干扰的构图。
图13说明方法800(图12中所示)的一种备选实施方式。如图12中所说明，在步骤811中，通过参考图1至图11所述的任意方法获取两个立体帧，即一个第一立体帧和一个第二立体帧。如参考图1至图11所述，所述立体帧由多个立体点组成且每个点由x、y和z坐标值来表示。本文所述的两帧是沿着所述立体成像装置100(图1中所示)的行进路径，在不同的时间点获取的。
步骤831中匹配第一帧和第二帧由两个步骤组成。如831中的第一步骤，基于步骤832中的第一帧{P1,P2,P3...,Pn}获取立体点云。每个P为第一帧的特征点。在x-y平面上，所述立体点云可表示为{(x1 1,y1 1),(x2 1,y2 1),{(x3 1,y3 1),…,{(xn 1,yn 1)}。基于处理的速度、帧的大小、帧的分辨率以及控制器120的计算能力等，获取不同的特征点数量。在本文揭露的典型实施方式中，所述点的数量可在100至200的示例性范围内。
作为步骤831中匹配帧的第二步骤，在步骤834中，计算第二帧中的第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xm 2,ym 2)}。所述第二投影阵列中的每个点(xi 2,yi 2)表示匹配点，投影在x-y平面中，对应于所述第一帧的点云中的点Pj或(xj 1,yj 1)。如果云阵列{P1,P2,P3...,Pn}中的所有点均被匹配至所述第二帧上，则所述第二投影阵列的大小可与云阵列的大小相同。然而，在大多数情况下，所述第二投影阵列的大小小于云阵列{P1,P2,P3...,Pn}的大小，这是因为并非所有点都可匹配至第二帧上。第一帧与第二帧的点云匹配可通过参考图9所述的方法来完成，其中对3×3的像素进行比较以确定两个点的相似度。
接着，在步骤841中，测量第二立体帧相对于第一立体帧841的运动，由三个步骤组成。在步骤842中，配置惯性测量单元150以用于测量旋转运动，并将旋转测量值传递给控制器120。旋转测量值由三维阵列R来表示。通过旋转测量值阵列R，第一帧的点云阵列与第二帧的投影点阵列之间的关系可表示为：
其中R为表示旋转测量值的三维阵列，Pj为第一帧中的立体点，T表示待计算的第二帧的平移的三维阵列，且μ为充当因子的随机数。
为保证惯性测量单元150测量的相关旋转阵列的准确度，获取所述第一帧时的时间点与获取第二帧时的时间点之间的间隔相对短。视实际应用的需要而言，所述第一帧与第二帧之间的间隔通常可在二十分之一秒至六十分之一秒的范围内。
在方程9中存在三个未知数(Tx,Ty,Tz)；因此，通过数学原理，在步骤844中需要三个方程共同来解开所述具有三个未知数的阵列T。然而，每个投影点仅具有两个值xi及yi。因此，为了解开T中的三个未知数，我们需要结合四个方程中的三个方程用于两个所述点。
在现实生活中，由于在匹配所述第一立体帧与第二立体帧之间的点中存在错误和/或不准确，因此所述计算出的T可能不准确。在步骤846中，将所述计算出的平移阵列T引入方程9中，并计算确定与所述方程中定义的关系一致的点的数量。然后，在844中解出T时可使用另一对点，然后在步骤846中用于计算来确定与方程9的关系一致的点的数量。此过程重复预定数量对的点，且结果为预定数量的Ts，同时每个T的点数量与方程9一致。
在步骤548中，比较所述一致点的数量并选择具有最大数量一致点的T。
在步骤851中，使用所述计算的T和测量的R，我们可以使用修正方程9来获取第二立体帧的所述立体点云：
在步骤861中，所述计算的第二立体帧的立体点云与所述第一立体帧的立体点云相结合。所述第一立体帧被所述第二立体帧取代且在下一时间点获取新的第二立体帧。所述参考图13描述的步骤方法可再三重复从而执行连续的定位及构图。
所述实施方式适于各种修改和替代形式，且其具体实施例已在图式中以实施例的方式示出并在本文中详细描述。然而应理解，所述实施方式不限于所揭露的特定形式或方法，相反，本发明将涵盖所有修改、等效物和替代物。

Claims (81)

1.一种用于建立具有微镜头阵列的立体成像系统的基线的方法，包括：
获取所述微镜头阵列与所关注物体之间的物距；以及
基于所述获取的物距动态地从所述微镜头阵列中选择两个镜头。
2.如权利要求1所述的方法，其中所述动态地选择所述两个镜头包括从所述微镜头阵列的多个镜头中选择第一镜头和第二镜头。
3.如权利要求2所述的方法，
其中所述获取所述物距包括重复地获取所述微镜头阵列与所关注物体之间变化的物距；以及
其中所述从所述微镜头阵列的多个镜头中选择所述第一镜头和所述第二镜头为基于所述重复地获取所述变化的物距。
4.如权利要求2或3所述的方法，其中还包括基于所述选择所述第一镜头和所述第二镜头建立所述基线。
5.如权利要求4所述的方法，其中还包括基于所述微镜头阵列与所述所关注物体之间变化的物距来动态地调整所述基线。
6.如权利要求2所述的方法，其中所述获取所述物距包括：
通过所述第一镜头获取所述所关注物体的第一图像；
通过所述第二镜头获取所述所关注物体的第二图像；以及
确定所述第一图像与所述第二图像之间的双目视差；及
其中，所述获取所述物距包括基于所述确定所述双目视差来计算所述物距。
7.如权利要求6所述的方法，其中所述获取所述物距还包括在所述确定所述双目视差之前基于所述第一镜头和所述第二镜头的焦距计算校正焦距。
8.如权利要求6或7所述的方法，其中所述获取所述物距包括：
获取所述第一图像上的多个特征点；以及
使所述第一图像的多个特征点与所述第二图像上的点匹配。
9.如权利要求8所述的方法，其中所述特征点包括所述第一图像或所述第二图像的像素。
10.如权利要求8或9所述的方法，其中所述确定所述双目视差包括确定至少五个像素且不超过图像宽度五分之一的双目视差。
11.如权利要求8至10中任一项所述的方法，其中所述匹配所述多个特征点包括：
扫描所述第二图像来识别所述第二图像上与所述第一图像选定的特征点相匹配的点；以及
计算所述第一图像选定的特征点与所述点之间的相似度。
12.如权利要求11所述的方法，其中所述计算所述相似度包括将所述第一图像选定的特征点与以所述第二图像上的所述点为中心的3×3像素区域进行比较。
13.如权利要求12所述的方法，其中所述比较3×3像素区域包括将彩色图像的每个像素的每个彩色分量的差异总和或黑白图像的每个像素的灰度值差异总和进行比较。
14.如前述权利要求中任一项所述的方法，其中所述获取所述物距还包括：
确定所述微镜头阵列与每个所述特征点之间的各个特征距离；以及
使用所述特征距离确定所述物距。
15.如权利要求14所述的方法，其中所述确定所述物距包括基于所述特征距离的平均值获取所述物距。
16.如权利要求14或权利要求15所述的方法，其中所述确定所述物距包括选择一个或多个所述特征点并基于所述选定的特征点的特征距离来获取所述物距。
17.如权利要求16所述的方法，其中所述选择所述特征点包括选择最靠近所述微镜头阵列的预定百分比的特征点以及获取所述物距作为距所述微镜头阵列最远的所述选定特征点的所述特征距离。
18.如前述权利要求中任一项所述的方法，其中所述动态地选择所述两个镜头包括：
基于可用于所述微镜头阵列的最小基线、校正焦距和预定的视差范围来估算所述物距的检测范围；
基于所述物距的所述估算检测范围来计算基线范围；以及
当确定视差大于预定水平时，选择最小基线。
19.如权利要求2至18中任一项所述的方法，其中所述选择所述第一镜头与所述第二镜头包括：
使用Z＝f*(T/(xl-xr))估算所述物距的检测范围(Zmin到Zmax)，其中Z为所述物距，f为所述选定镜头的校正焦距，T为两个最靠近镜头之间的基线，(xl-xr)为两个匹配点的视差；
使用T＝Zd/f计算可用基线的范围，其中d＝(xl-xr)为所述视差；以及
在确保所述视差关系为d>10的情形下，选择具有最小基线T的所述第一镜头和所述第二镜头。
20.如权利要求2至19中任一项所述的方法，其中所述选择所述第一镜头和所述第二镜头包括增加所述基线直到所述第一镜头的视野与所述第二镜头的视野重叠至少50％。
21.如权利要求5所述的方法，其中还包括在所述基线自动调整后校准所述立体成像系统的外部参数。
22.如权利要求21所述的方法，其中所述校准包括校准所述立体成像系统的平移外部参数和/或转动外部参数中的至少一个。
23.如权利要求22所述的方法，其中所述校准包括根据所述选择的两个镜头初始校准所述平移外部参数。
24.如权利要求23所述的方法，其中所述校准包括在所述初始校准后进一步校准所述外部参数以使所述外部参数最优化。
25.如权利要求5至23中任一项所述的方法，其中所述立体成像系统安装于移动平台上，且其中所述自动调整取决于所述移动平台的行进模式。
26.如权利要求24所述的方法，其中所述移动平台为无人飞行器(unmanned aerial vehicle，UAV)，且其中所述行进模式为所述无人飞行器的飞行模式。
27.一种立体成像系统，其用于根据权利要求1至26中任一项来执行基线的自动调整。
28.一种计算机程序产品，其包括用于根据权利要求1至26中任一项自动调整具有微镜头阵列的立体成像系统的基线的指令。
29.一种装置，用于建立立体成像系统的基线，其包括：
具有多个镜头的微镜头阵列，所述每个镜头用于单独地或与一个或多个其他镜头任意组合地用于获取图像；和
控制器，其用于基于所述获取的所述微镜头阵列与所关注物体之间的物距来动态地选择两个镜头。
30.如权利要求29所述的装置，其中所述控制器用于从所述微镜头阵列的多个镜头中选择第一镜头和第二镜头。
31.如权利要求30所述的方法，其中所述控制器用于获取所述微镜头阵列与所关注物体之间的变化物距并基于所述重复获取所述变化物距从所述微镜头阵列的多个镜头中选择所述第一镜头和所述第二镜头。
32.如权利要求31所述的装置，其中所述控制器用于基于所述第一镜头和所述第二镜头来建立所述基线。
33.如权利要求32所述的装置，其中所述控制器用于基于所述微镜头阵列与所关注物体之间的变化物距来动态地调整所述基线。
34.如权利要求31至33中任一项所述的装置，其中所述控制器用于通过以下方式获取所述物距：
通过所述第一镜头获取所述所关注物体的第一图像；
通过所述第二镜头获取所述所关注物体的第二图像；
确定所述第一图像与所述第二图像之间的双目视差；以及
基于所述确定的双目视差来计算所述物距。
35.如权利要求34所述的方法，其中所述控制器用于在所述确定所述双目视差之前，根据所述第一镜头和所述第二镜头的焦距来计算校正焦距。
36.如权利要求34或35所述的装置，其中所述控制器用于获取所述第一图像上的多个特征点，并将所述第一图像的所述多个特征点与所述第二图像的点进行匹配。
37.如权利要求36所述的装置，其中所述特征点包括所述第一图像或所述第二图像的像素。
38.如权利要求36或37所述的装置，其中所述控制器用于确定至少五个像素且不超过图像宽度五分之一的双目视差。
39.如权利要求38所述的装置，其中所述控制器用于扫描所述第二图像来识别所述第二图像上与所述第一图像的选定特征点相匹配的点，并计算所述第一图像的所述选定特征点与所述点之间的相似度。
40.如权利要求39所述的装置，其中所述控制器用于将所述第一图像的每个选定特征点与以所述第二图像上的所述点为中心的3×3像素区域进行比较。
41.如权利要求40所述的装置，其中所述控制器用于将彩色图像的每个像素的每个彩色分量的差异总和或黑白图像的每个像素的灰度值差异总和进行比较。
42.如权利要求36至41中任一项所述的装置，其中所述控制器用于确定所述微镜头阵列与每个所述特征点之间的各个特征距离，并使用所述特征距离确定所述物距。
43.如权利要求42所述的装置，其中所述物距为所述特征距离的平均值。
44.如权利要求42或43所述的装置，其中所述控制器用于选择一个或多个所述特征点并基于所述选定特征点的特征距离来获取所述物距。
45.如权利要求44所述的装置，其中以最靠近所述镜头阵列或距所述微镜头阵列最远的特征点的预定百分比来选择所述特征点。
46.如权利要求30至45中任一项所述的装置，其中所述控制器用于通过以下方式选择所述第一镜头和所述第二镜头：
基于可用于所述微镜头阵列的最小基线、校正焦距和预定的视差范围来估算所述物距的检测范围；
基于所述估算的物距检测范围来计算基线范围；以及
在确保视差大于预定水平时，选择最小基线。
47.如权利要求30至46中任一项所述的装置，其中通过以下方式选择所述第一镜头与所述第二镜头：
由Z＝f*(T/(xl-xr))估算所述物距的检测范围(Zmin至Zmax)，其中Z为所述物距，f为所述选定的第一和第二镜头的校正焦距，T为两个最靠近微镜头之间的基线，(xl-xr)为两个匹配点的视差；
由T＝Zd/f计算可用基线的范围，其中d＝(xl-xr)为所述视差；以及
在确保所述视差关系为d>10的情形下，选择具有最小基线T的所述第一镜头和所述第二镜头。
48.如权利要求30至47中任一项所述的装置，其中所述控制器用于增加所述基线直到所述第一镜头的视野与所述第二镜头的视野重叠至少50％。
49.如权利要求33至48中任一项所述的装置，其中所述控制器用于在所述基线调整后校准所述立体成像系统的外部参数。
50.如权利要求49所述的装置，其中所述外部参数包括所述立体成像系统的平移外部参数和/或转动外部参数中的至少一个。
51.如权利要求50所述的装置，其中所述平移外部参数根据所述第一镜头和所述第二镜头来初始校准。
52.如权利要求51所述的装置，其中所述控制器用于在所述初始校准后校准所述外部参数以使所述外部参数最优化。
53.如权利要求52所述的装置，其中所述立体成像系统为无人飞行器(UAV)，且其中所述基线调整取决于所述无人飞行器的飞行模式。
54.如权利要求30至53中任一项所述的装置，其中所述立体成像系统为红外成像系统。
55.如权利要求30至54中任一项所述的装置，其中所述立体成像系统为x射线成像系统。
56.一种用于通过具有微镜头阵列的成像装置进行同时定位及构图(SLAM)的方法，包括：
通过权利要求2至26中任一项所述的方法，使用所述微镜头阵列来获取第一立体帧和第二立体帧；
通过惯性测量单元(IMU)来测量所述第二帧相对于第一立体帧的旋转而产生旋转数据；以及
通过将所述旋转数据与所述第一和第二立体帧组合来匹配所述第一和第二立体帧，
其中所述第一立体帧与所述第二立体帧以预定的百分比相互重叠。
57.如权利要求56所述的同时定位及构图的方法，其中所述获取所述第一立体帧和所述第二立体帧包括在不同的时间点获取所述第一立体帧和所述第二立体帧。
58.如权利要求57所述的同时定位及构图的方法，其中所述在不同的时间点获取所述第一立体帧和所述第二立体帧包括以不小于六十分之一秒且不大于二十分之一秒的间隔获取所述第一立体帧和所述第二立体帧。
59.如权利要求58所述的同时定位及构图的方法，其中所述方法还包括：
基于所述第一立体帧获取立体点云，
其中所述立体点云为立体特征点的阵列{P1,P2,P3…,Pn}。
60.如权利要求59所述的同时定位及构图的方法，其中所述方法还包括：
基于所述立体点云，在x-y平面上获取第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xm 2,ym 2)}。
61.如权利要求60所述的同时定位及构图的方法，其中所述获取所述第二投影阵列包括：
基于所述立体点云在x-y平面上获取第一投影阵列{(x1 1,y1 1),(x2 1,y2 1),{(x3 1,y3 1),…,{(xn 1,yn 1)}；以及
使用如权利要求11至13中任一项的方法，将所述第一投影阵列的多个点匹配至所述第二立体图像上而产生所述第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xm 2,ym 2)}。
62.如权利要求61所述的同时定位及构图的方法，其中所述方法还包括：
基于所述旋转数据、所述立体点云和所述第二投影阵列来计算平移阵列T。
63.如权利要求62所述的同时定位及构图的方法，其中所述计算所述平移阵列T包括应用关系式：
RP j + T = μ x j 2 y j 2 1
其中R为旋转测量的阵列，Pj为立体点，T表示待计算的平移阵列，且μ为随机数。
64.如权利要求63所述的同时定位及构图的方法，其中所述应用还包括通过解开用于选自所述立体点云的至少两个点及它们在第二投影阵列匹配的两个点的一组方程来计算T。
65.如权利要求62至64中任一项所述的同时定位及构图的方法，其中还包括：
通过将T引入具有多个选自所述立体点云的点及其在所述第二投影阵列上的相应投影点的方程中来证实所述平移阵列T，从而得到匹配点的数量；以及
选择具有最大数量匹配点的平移阵列T作为选定的平移阵列T。
66.如权利要求65所述的同时定位及构图的方法，其中所述方法还包括：
采用所述旋转数据、所述选定的平移T和所述关系式：来计算所述第二帧的立体点云。
67.如权利要求56至66中任一项所述的同时定位及构图的方法，其中所述方法还包括：
通过如权利要求2至26中任一项所述的方法，用所述微镜头阵列获取另一立体帧；以及
将所述第二立体帧作为所述第一立体帧且以所述新获取的立体帧作为所述第二立体帧重复权利要求56至66中定义的步骤。
68.一种同时定位及构图系统，其用于根据权利要求56至67中任一项来进行自动定位与构图。
69.一种计算机程序产品，包括用于根据权利要求56至67中任一项使用具有微镜头阵列的立体成像系统自动进行同时定位及构图的指令。
70.一种使用具有微镜头阵列的成像装置进行同时定位及构图(SLAM)的装置，包括：
惯性测量单元IMU，其用于测量与在第一时间点获取的第一立体帧相关的在第二时间点获取的第二立体帧的旋转；和
控制器，其用于：
通过如权利要求2至26中任一项所述的方法，使用所述微镜头阵列获取所述第一立体帧和所述第二立体帧；
由所述惯性测量单元获取所述第二立体帧的旋转数据；以及
通过将所述旋转数据与所述第一和第二立体帧组合来匹配所述第一和第二立体帧，
其中所述第一立体帧与所述第二立体帧以预定的百分比相互重叠。
71.如权利要求70所述的用于同时定位及构图的装置，其中所述第一立体帧与所述第二立体帧是在不同的时间点获取的。
72.如权利要求71所述的用于同时定位及构图的装置，其中所述不同时间点之间的间隔不小于六十分之一秒且不大于二十分之一秒。
73.如权利要求72所述的用于同时定位及构图的装置，其中所述控制器还用于基于所述第一立体帧获取立体点云，其中所述立体点云为立体特征点的阵列{P1,P2,P3…,Pn}。
74.如权利要求73所述的用于同时定位及构图的装置，其中所述控制器还用于基于所述立体点云在x-y平面上获取第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xn 2,yn 2)}。
75.如权利要求74所述的用于同时定位及构图的装置，其中所述控制器用于通过以下方式获取所述第二投影阵列：
基于所述立体点云在x-y平面上获取第一投影阵列{(x1 1,y1 1),(x2 1,y2 1),{(x3 1,y3 1),…,{(xn 1,yn 1)}；以及
使用权利要求11至13中任一项所述的方法将所述第一投影阵列的多个点匹配至第二立体图像而产生所述第二投影阵列{(x1 2,y1 2),(x2 2,y2 2),{(x3 2,y3 2),…,{(xm 2,ym 2)}。
76.如权利要求75所述的用于同时定位及构图的装置，其中所述控制器还用于基于所述旋转数据、所述立体点云和所述第二投影阵列来计算平移阵列T。
77.如权利要求76所述的用于同时定位及构图的装置，其中所述平移阵列T通过应用以下关系式来计算：
RP j + T = μ x j 2 y j 2 1
其中R为旋转测量的阵列，Pj为所述立体点云的立体点，T表示所述待计算的平移阵列，且μ为随机数。
78.如权利要求77所述的用于同时定位及构图的装置，其中所述平移阵列T通过选自所述立体点云的至少两个点及其在第二投影阵列中匹配的两个点的方程组来解开。
79.如权利要求70至78中任一项所述的用于同时定位及构图的装置，其中所述控制器用于通过将T引入具有多个选自所述立体点云的点及其在所述第二投影阵列上的相应投影点的方程中来证实所述平移阵列T，从而得到匹配点的数量；以及
选择具有最大数量匹配点的平移阵列T作为选定的平移阵列T。
80.如权利要求79所述的用于同时定位及构图的装置，其中所述控制器用于采用所述旋转数据、所述选定的平移T和所述关系式：来计算所述第二帧的立体点云。
81.如权利要求70至80中任一项所述的用于同时定位及构图的装置，其中所述控制器用于通过如权利要求2至26中任一项所述的方法，用所述微镜头阵列获取另一立体帧，并以所述第二立体帧作为所述第一立体帧且将所述新获取的立体帧作为所述第二立体帧。
CN201480074618.0A 2014-12-31 2014-12-31 用于调整具有微镜头阵列的成像系统的基线的系统和方法 Expired - Fee Related CN105940674B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/095917 WO2016106694A1 (en) 2014-12-31 2014-12-31 System and method for adjusting a baseline of an imaging system with microlens array

Publications (2)

Publication Number Publication Date
CN105940674A true CN105940674A (zh) 2016-09-14
CN105940674B CN105940674B (zh) 2018-07-27

Family

ID=56283968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480074618.0A Expired - Fee Related CN105940674B (zh) 2014-12-31 2014-12-31 用于调整具有微镜头阵列的成像系统的基线的系统和方法

Country Status (5)

Country Link
US (2) US9826217B2 (zh)
EP (2) EP3158731B1 (zh)
JP (1) JP6168577B2 (zh)
CN (1) CN105940674B (zh)
WO (1) WO2016106694A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068118A (zh) * 2018-09-11 2018-12-21 北京旷视科技有限公司 双摄模组的基线距离调整方法、装置及双摄模组
CN109947886A (zh) * 2019-03-19 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN109983468A (zh) * 2016-12-01 2019-07-05 深圳市大疆创新科技有限公司 使用特征点检测和跟踪对象的方法和系统
CN111132618A (zh) * 2017-09-26 2020-05-08 皇家飞利浦有限公司 移动式x射线成像系统
CN111416973A (zh) * 2019-01-08 2020-07-14 三赢科技（深圳）有限公司 三维感测装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD790053S1 (en) * 2015-08-27 2017-06-20 Mustang Sampling, Llc Chromatograph exhaust vent back pressure diffuser
US10706569B2 (en) * 2016-06-08 2020-07-07 Amazon Technologies, Inc. Selectively paired imaging elements for stereo images
CN109074476A (zh) * 2016-08-01 2018-12-21 深圳市大疆创新科技有限公司 用于障碍物规避的系统以及方法
CN108615243A (zh) * 2017-01-25 2018-10-02 北京三星通信技术研究有限公司 立体多媒体信息的确定方法、装置及系统
US10491888B2 (en) 2017-01-25 2019-11-26 Samsung Electronics Co., Ltd. Method and apparatus for determining stereoscopic multimedia information
USD848383S1 (en) 2017-07-13 2019-05-14 Fat Shark Technology SEZC Printed circuit board
US10179647B1 (en) 2017-07-13 2019-01-15 Fat Shark Technology SEZC Unmanned aerial vehicle
USD825381S1 (en) 2017-07-13 2018-08-14 Fat Shark Technology SEZC Unmanned aerial vehicle
US11761767B2 (en) * 2018-02-26 2023-09-19 Cloudminds Robotics Co., Ltd. Method, device, apparatus, and application for cloud-based trajectory map generation

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095523A1 (en) * 2006-10-18 2008-04-24 Lynn Schilling-Benz Lens array assisted focus detection
CN101755190A (zh) * 2008-05-19 2010-06-23 松下电器产业株式会社 校准方法、校准装置及具备该校准装置的校准系统
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
US20110211068A1 (en) * 2010-03-01 2011-09-01 Soichiro Yokota Image pickup apparatus and rangefinder
CN102300054A (zh) * 2010-06-22 2011-12-28 株式会社理光 测距装置和成像设备
CN102947670A (zh) * 2010-06-21 2013-02-27 莱卡地球系统公开股份有限公司 用于确定测量对象表面上的3d坐标的光学测量方法和测量系统
CN103260045A (zh) * 2012-02-21 2013-08-21 索尼公司 摄像装置及图像传感器阵列
CN103941750A (zh) * 2014-04-30 2014-07-23 东北大学 基于小型四旋翼无人机的构图装置及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE464535T1 (de) * 2001-12-28 2010-04-15 Rudolph Technologies Inc Stereoskopisches dreidimensionales metrologiesystem und -verfahren
US20080310757A1 (en) * 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
US9144714B2 (en) * 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
JP5553202B2 (ja) * 2010-01-14 2014-07-16 株式会社リコー 距離測定装置及び距離測定方法
US8717467B2 (en) * 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
JP5762211B2 (ja) * 2011-08-11 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
IL217361A0 (en) * 2012-01-04 2012-03-29 Rafael Advanced Defense Sys Device & method providing combined video camera and range finder functionality
EP2888720B1 (en) * 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
JP2016524125A (ja) * 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095523A1 (en) * 2006-10-18 2008-04-24 Lynn Schilling-Benz Lens array assisted focus detection
CN101755190A (zh) * 2008-05-19 2010-06-23 松下电器产业株式会社 校准方法、校准装置及具备该校准装置的校准系统
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20110211068A1 (en) * 2010-03-01 2011-09-01 Soichiro Yokota Image pickup apparatus and rangefinder
CN102947670A (zh) * 2010-06-21 2013-02-27 莱卡地球系统公开股份有限公司 用于确定测量对象表面上的3d坐标的光学测量方法和测量系统
CN102300054A (zh) * 2010-06-22 2011-12-28 株式会社理光 测距装置和成像设备
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
CN103260045A (zh) * 2012-02-21 2013-08-21 索尼公司 摄像装置及图像传感器阵列
CN103941750A (zh) * 2014-04-30 2014-07-23 东北大学 基于小型四旋翼无人机的构图装置及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983468A (zh) * 2016-12-01 2019-07-05 深圳市大疆创新科技有限公司 使用特征点检测和跟踪对象的方法和系统
CN111132618A (zh) * 2017-09-26 2020-05-08 皇家飞利浦有限公司 移动式x射线成像系统
CN109068118A (zh) * 2018-09-11 2018-12-21 北京旷视科技有限公司 双摄模组的基线距离调整方法、装置及双摄模组
CN109068118B (zh) * 2018-09-11 2020-11-27 北京旷视科技有限公司 双摄模组的基线距离调整方法、装置及双摄模组
CN111416973A (zh) * 2019-01-08 2020-07-14 三赢科技（深圳）有限公司 三维感测装置
CN109947886A (zh) * 2019-03-19 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN109947886B (zh) * 2019-03-19 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20170339396A1 (en) 2017-11-23
EP3158731A4 (en) 2017-06-28
JP2017511495A (ja) 2017-04-20
US10582188B2 (en) 2020-03-03
CN105940674B (zh) 2018-07-27
US9826217B2 (en) 2017-11-21
EP3799427A1 (en) 2021-03-31
JP6168577B2 (ja) 2017-07-26
EP3158731A1 (en) 2017-04-26
US20160301916A1 (en) 2016-10-13
WO2016106694A1 (en) 2016-07-07
EP3158731B1 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
CN105940674A (zh) 用于调整具有微镜头阵列的成像系统的基线的系统和方法
CN104299261B (zh) 人体三维成像方法及系统
CN105046746B (zh) 一种数字散斑人体三维快速扫描方法
CN103955920B (zh) 基于三维点云分割的双目视觉障碍物检测方法
CN109767476A (zh) 一种自动对焦双目摄像头标定及深度计算方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN104567728A (zh) 激光视觉轮廓测量系统及测量方法、立体靶标
CN104346829A (zh) 基于pmd相机和摄像头的彩色三维重建系统及其方法
CN106204443A (zh) 一种基于多目复用的全景无人机系统
CN105405126B (zh) 一种基于单目视觉系统的多尺度空‑地参数自动标定方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN104034305B (zh) 一种单目视觉实时定位的方法
CN106548489A (zh) 一种深度图像与彩色图像的配准方法、三维图像采集装置
WO2018227576A1 (zh) 地面形态检测方法及系统、无人机降落方法和无人机
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN105913417A (zh) 基于透视投影直线的几何约束位姿方法
CN106489062B (zh) 用于测量移动平台的位移的系统和方法
CN105716581B (zh) 基于双介质摄影技术的水下物点坐标确定方法和装置
CN104268876A (zh) 基于分块的摄像机标定方法
CN100458358C (zh) 一种基于轴向立体视觉的逆向测量方法与装置
CN104729484A (zh) 无人机用多视角立体航摄装置及其焦距确定的方法
WO2019144269A1 (zh) 多目摄像系统、终端设备及机器人
Colonnier et al. A small-scale hyperacute compound eye featuring active eye tremor: application to visual stabilization, target tracking, and short-range odometry
CN108908399A (zh) 一种基于同心圆环模板的机器人手眼标定方法
CN101980292B (zh) 一种基于正八边形模板的车载摄像机内参数的标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180727

CF01 Termination of patent right due to non-payment of annual fee