CN106471803A - 成像系统及方法 - Google Patents

成像系统及方法 Download PDF

Info

Publication number
CN106471803A
CN106471803A CN201480077001.4A CN201480077001A CN106471803A CN 106471803 A CN106471803 A CN 106471803A CN 201480077001 A CN201480077001 A CN 201480077001A CN 106471803 A CN106471803 A CN 106471803A
Authority
CN
China
Prior art keywords
baseline
imaging device
imaging
controller
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480077001.4A
Other languages
English (en)
Inventor
周谷越
唐克坦
张星宇
赵丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN106471803A publication Critical patent/CN106471803A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U60/00—Undercarriages
    • B64U60/40—Undercarriages foldable or retractable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

一种自动调整用于立体成像的成像系统的基线的系统以及其制造和使用方法。所述成像系统包括多个成像装置，其通过基线调整机构相互协作。所述成像装置可以获取目标物的图像并使用三角測量法确定所述立体成像系统与所述目标物之间的物体距离。基于所述物体距离，所述基线调整机构自动调整任意一对成像装置之间的基线。当所述目标物接近所述成像系统时，所述基线可以减小，并且当所述目标物远离时。所述基线可以增加。一旦所述基线调整之后，可以使用两步优化方法校正所述成像装置的一个或者多个外部参数。所述成像系统适于在一个移动平台如无人飞行器上使用。

Description

成像系统及方法
技术领域
本文公开的实施方式总体涉及数字成像，尤其但非排他地涉及调整基线的系统及方法。
背景技术
立体成像是一种使用多个成像装置通过立体观测形成三维图像的技术，在很多领域正变得越来越常用。立体成像在机器人学尤其有用，因为其经常需要收集有关机器环境的三维信息。立体成像模拟人类眼睛的双目视觉，通过应用立体观测原理来实现深度感知。这种技术可以通过人工成像装置经由使用多个成像装置从略有不同的有利地点观察给定的目标物而再现。对目标物的不同观察之间的区别代表物体位置的深度信息，因此能够实现物体的三维成像。
成像系统执行立体成像以分辨深度的能力是一种基线功能，所述基线是两个成像装置之间的距离。所述基线以不同方式限制立体成像系统的有效视野。例如，当所述基线过小时，所述成像系统不能分辨远距离的物体。当所述基线过大时，所述成像系统不能看到近距离的物体(导致对近距离的物体产生盲点)。此外，当基线过大时，两个成像装置的视野的重叠减小，限制了利用深度感知可以被观察到的物体的数量。此外，大的、固定的基线可能占据大量的空间并且可能很笨重。因此，在大部分的现有立体成像系统中，所述基线是固定的，这取决于通常是否需要近距离物体或者远距离物体的成像。
根据前述描述，需要一种成像系统及方法，其能够支持立体成像的自动基线调整。
发明内容
根据本文公开的第一方面，提供一种自动调整成像系统的基线的方法，所述成像系统具有多个成像装置，包括至少第一成像装置及第二成像装置，所述方法包括：
获取成像系统以及目标物之间的物体距离；及
根据所述物体距离自动调整基线。
在所公开方法的一个示例性实施方式中，获取所述物体距离包括：
使用第一成像装置获取所述目标物的第一图像；
使用第二成像装置获取所述目标物的第二图像；
确定所述第一图像以及所述第二图像之间的双目视差；及
使用所述双目视差确定所述物体距离。
在所公开方法的一个示例性实施方式中，获取所述物体距离进一步包括在确定所述双目视差之前纠正所述第一图像及所述第二图像。
在所公开方法的一个示例性实施方式中，获取所述物体距离包括：
获取所述目标物上的多个特征点；
确定所述成像系统与每一个所述特征点之间各自的特征距离；及
使用所述特征距离确定所述物体距离。
在所公开方法的一个示例性实施方式中，确定所述物体距离包括基于所述特征距离的平均值确定所述物体距离。
在所公开方法的一个示例性实施方式中，确定所述物体距离包括选择一个或者多个特征点，及基于所选择的特征点的特征距离获取所述物体距离。
在所公开方法的一个示例性实施方式中，选择所述特征点包括选择与所述成像系统最近的预定百分比的特征点，并获取所选择的特征点中距离所述成像系统最远的特征距离作为所述物体距离。
在所公开方法的一个示例性实施方式中，所选择的特征点的预定百分比为百分之八十。
在所公开方法的一个示例性实施方式中，确定所述成像系统与每一个所述特征点之间各自的特征距离包括对于由所述第一成像装置或者所述第二成像装置获取的图像，基于所述图像上对应所述特征点的像素确定所述特征距离。
在所公开方法的一个示例性实施方式中，获取所述物体距离包括使用激光获取所述物体距离。
在所公开方法的一个示例性实施方式中，获取所述物体距离包括使用超声波系统获取所述物体距离。
在所公开方法的一个示例性实施方式中，所述自动调整包括如果所述基线低于最小基线，则增加所述基线。
在所公开方法的一个示例性实施方式中，所述最小基线是4*Z*L/f，且其中Z是所述物体距离，L是所述成像装置中至少一个成像装置的像素宽度，及f是所述成像装置中至少一个成像装置的焦距。
在所公开方法的一个示例性实施方式中，所述自动调整包括如果所述基线高于最大基线，则减小所述基线。
在所公开方法的一个示例性实施方式中，所述自动调整包括如果所述基线低于所述最大基线，则增加所述基线。
在所公开方法的一个示例性实施方式中，所述最大基线是Z*tan(θ/2)，且其中Z是所述物体距离及θ是所述成像装置中至少一个成像装置的视角。
在所公开方法的一个示例性实施方式中，所述自动调整包括增加所述基线，直到所述第一成像装置的视野与所述第二成像装置的视野重叠达到至少某个阈值。
所公开方法的示例性实施方式进一步包括在自动调整基线之后校正所述成像系统的外部参数。
在所公开方法的一个示例性实施方式中，所述校正包括校正所述成像系统的平移外部参数和/或旋转外部参数中的至少一项。
在所公开方法的一个示例性实施方式中，所述校正包括根据所述对基线的自动调整，初始校正所述平移外部参数。
在所公开方法的一个示例性实施方式中，所述校正包括在所述初始校正之后，进一步校正所述外部参数，以最优化所述外部参数。
在所公开方法的一个示例性实施方式中，所述进一步校正包括光束平差法。
在所公开方法的一个示例性实施方式中，所述成像系统是移动平台。
在所公开方法的一个示例性实施方式中，所述成像系统是无人飞行器(UAV)，且其中所述自动调整取决于所述无人飞行器的飞行模式。
在所公开方法的一个示例性实施方式中，所述自动调整包括当所述飞行模式为着陆模式时，减小所述基线。
在所公开方法的一个示例性实施方式中，所述自动调整包括当所述飞行模式为起飞模式时，增加所述基线。
在所公开方法的一个示例性实施方式中，所述自动调整包括当所述飞行模式是空中图像获取模式时，增加所述基线。
根据本文公开的另一方面，提出一种成像系统，其用于根据上述任一种方法执行自动基线调整。
根据本文公开的另一方面，提出一种计算机程序产品，所述计算机程序产品包括用于根据上述任一种方法自动调整成像系统的基线的指令，所述成像系统具有第一成像装置及第二成像装置。
根据本文公开的另一方面，提出一种设备，其用于自动调整具有多个成像装置的成像系统中第一成像装置及第二成像装置之间的基线，包括：
基线调整机构，其联接所述第一及第二成像装置；及
控制器，其用于提供控制信号给所述基线调整机构，用于根据成像系统与目标物之间的物体距离自动调整所述基线。
在所公开设备的一个示例性实施方式中，所述控制器用于通过如下手段获取物体距离：
使用第一成像装置获取目标物的第一图像；
使用第二成像装置获取目标物的第二图像；
确定所述第一图像以及所述第二图像之间的双目视差；及
使用所述双目视差确定所述物体距离。
在所公开设备的一个示例性实施方式中，所述控制器用于在确定所述双目视差之前纠正所述第一及第二图像。
在所公开设备的一个示例性实施方式中，所述控制器用于通过如下手段获取所述物体距离：
获取所述目标物上的多个特征点；
确定所述成像系统与每一个所述特征点之间各自的特征距离；及
使用所述特征距离确定所述物体距离。
在所公开设备的一个示例性实施方式中，所述控制器用于基于所述特征距离的平均值获取所述物体距离。
在所公开设备的一个示例性实施方式中，所述控制器用于选择一个或者多个特征点，及基于所选择的特征点的特征距离获取所述物体距离。
在所公开设备的一个示例性实施方式中，所述控制器用于通过选择与所述成像系统最近的预定百分比的特征点来选择特征点，并获取所选择的特征点中距离所述成像系统最远的特征距离作为所述物体距离。
在所公开设备的一个示例性实施方式中，所选择的特征点的预定百分比为百分之八十。
在所公开设备的一个示例性实施方式中，确定所述成像系统与每一个所述特征点之间各自的特征距离包括对于由所述第一成像装置或者所述第二成像装置获取的图像，基于所述图像上的所述特征点对应的像素确定所述特征距离。
所公开设备的示例性实施方式进一步包括激光器，其用于获取所述物体距离。
所公开设备的示例性实施方式进一步包括超声波系统，其用于获取所述物体距离。
在所公开设备的一个示例性实施方式中，所述基线调整机构包括螺杆轴机构。
在所公开设备的一个示例性实施方式中，所述基线调整机构包括齿条-齿轮机构。
在所公开设备的一个示例性实施方式中，所述基线调整机构包括曲柄滑块机构。
在所公开设备的一个示例性实施方式中，所述基线调整机构包括线性马达。
在所公开设备的一个示例性实施方式中，所述基线调整机构包括可调框架。
在所公开设备的一个示例性实施方式中，所述控制信号是一种信号，用于当所述基线低于最小基线时，自动增加所述基线。
在所公开设备的一个示例性实施方式中，所述最小基线是4*Z*L/f，且其中Z是所述物体距离，L是所述成像装置中至少一个成像装置的像素宽度，及f是所述成像装置中至少一个成像装置的焦距。
在所公开设备的一个示例性实施方式中，所述控制信号是一种信号，用于当所述基线高于最大基线时，自动减小所述基线。
在所公开设备的一个示例性实施方式中，所述控制信号是一种信号，用于当所述基线低于最大基线时，自动增加所述基线。
在所公开设备的一个示例性实施方式中，所述最大基线是Z*tan(θ/2)，且其中Z是所述物体距离及θ是所述成像装置中至少一个成像装置的视角。
在所公开设备的一个示例性实施方式中，所述控制器用于自动增加所述基线，直到所述第一成像装置的视野与所述第二成像装置的视野重叠达到至少某个阈值。
在所公开设备的一个示例性实施方式中，所述控制器用于在所述自动调整基线之后校正所述成像系统的外部参数。
在所公开设备的一个示例性实施方式中，所述控制器用于校正平移外部参数和/或旋转外部参数中的至少一项。
在所公开设备的一个示例性实施方式中，所述控制器用于根据所述基线调整机构的线位移，初始校正所述平移外部参数。
在所公开设备的一个示例性实施方式中，所述基线调整机构包括螺杆轴机构，且所述控制器用于根据所述螺杆轴机构的旋转度，初始校正所述平移外部参数。
在所公开设备的一个示例性实施方式中，所述控制器用于在所述初始校正之后，进一步校正所述外部参数，以最优化所述外部参数。
在所公开设备的一个示例性实施方式中，所述控制器用于使用光束平差法进一步校正所述外部参数。
在所公开设备的一个示例性实施方式中，所述成像系统是移动平台。
在所公开设备的一个示例性实施方式中，所述成像系统是无人飞行器(UAV)。
在所公开设备的一个示例性实施方式中，所述控制器用于基于所述无人飞行器的飞行模式自动调整所述基线。
在所公开设备的一个示例性实施方式中，所述控制器用于当所述飞行模式为着陆模式时，减小所述基线。
在所公开设备的一个示例性实施方式中，所述控制器用于当所述飞行模式为起飞模式时，增加所述基线。
在所公开设备的一个示例性实施方式中，所述控制器用于当所述飞行模式是空中图像获取模式时，增加所述基线。
根据本文公开的另一方面，提供一种成像系统，包括：
多个成像装置，至少包括用于对目标物成像的第一成像装置，以及用于对目标物成像的第二成像装置；
基线调整机构，用于调整第一成像装置及第二成像装置之间的基线；及
控制器，其用于根据成像系统及目标物之间的物体距离使用基线调整机构自动调整所述基线。
在所公开成像系统的一个示例性实施方式中，所述控制器用于通过如下手段获取物体距离：
使用第一成像装置获取目标物的第一图像；
使用第二成像装置获取目标物的第二图像；
确定所述第一图像以及所述第二图像之间的双目视差；及
使用所述双目视差确定所述物体距离。
在所公开成像系统的一个示例性实施方式中，所述控制器用于在确定所述双目视差之前纠正所述第一及第二图像。
在所公开成像系统的一个示例性实施方式中，所述控制器用于通过如下手段获取所述物体距离：
获取所述目标物上的多个特征点；
确定所述成像系统与每一个所述特征点之间各自的特征距离；及
使用所述特征距离确定所述物体距离。
在所公开成像系统的一个示例性实施方式中，所述控制器用于基于所述特征距离的平均值获取所述物体距离。
在所公开成像系统的一个示例性实施方式中，所述控制器用于选择一个或者多个特征点，及基于所选择的特征点的特征距离获取所述物体距离。
在所公开成像系统的一个示例性实施方式中，所述控制器用于通过选择与所述成像系统最近的特征点的预定百分比来选择特征点，并获取所述物体距离作为选择的特征点中距离所述成像系统最远的特征距离。
在所公开成像系统的一个示例性实施方式中，所选择的特征点的预定百分比为百分之八十。
在所公开成像系统的一个示例性实施方式中，确定所述成像系统与每一个所述特征点之间各自的特征距离包括对于由所述第一成像装置或者所述第二成像装置获取的图像，基于所述图像上所述特征点对应的像素确定所述特征距离。
所公开成像系统的示例性实施方式进一步包括激光器，其用于获取所述物体距离。
所公开成像系统的示例性实施方式进一步包括超声波系统，其用于获取所述物体距离。
在所公开成像系统的一个示例性实施方式中，所述基线调整机构包括螺杆轴机构。
在所公开成像系统的一个示例性实施方式中，所述基线调整机构包括齿条-齿轮机构。
在所公开成像系统的一个示例性实施方式中，所述基线调整机构包括曲柄滑块机构。
在所公开成像系统的一个示例性实施方式中，所述基线调整机构包括线性马达。
在所公开成像系统的一个示例性实施方式中，所述基线调整机构包括可调框架。
在所公开成像系统的一个示例性实施方式中，所述控制器用于当所述基线低于最小基线时，自动增加所述基线。
在所公开成像系统的一个示例性实施方式中，所述最小基线是4*Z*L/f，且其中Z是所述物体距离，L是所述成像装置中至少一个成像装置的像素宽度，及f是所述成像装置中至少一个成像装置的焦距。
在所公开成像系统的一个示例性实施方式中，所述控制器用于当所述基线高于最大基线时，自动减小所述基线。
在所公开成像系统的一个示例性实施方式中，所述控制器用于当所述基线低于所述最大基线时，自动增加所述基线。
在所公开成像系统的一个示例性实施方式中，所述最大基线是Z*tan(θ/2)，且其中Z是所述物体距离及θ是所述成像装置中至少一个成像装置的视角。
在所公开成像系统的一个示例性实施方式中，所述控制器用于自动增加所述基线，直到所述第一成像装置的视野与所述第二成像装置的视野重叠达到至少某个阈值。
在所公开成像系统的一个示例性实施方式中，所述控制器用于在所述自动调整基线之后校正所述成像系统的外部参数。
在所公开成像系统的一个示例性实施方式中，所述控制器用于校正平移外部参数和/或旋转外部参数中的至少一项。
在所公开成像系统的一个示例性实施方式中，所述控制器用于根据所述基线调整机构的线位移，初始校正所述平移外部参数。
在所公开成像系统的一个示例性实施方式中，所述基线调整机构包括螺杆轴机构，且所述控制器用于根据所述螺杆轴机构的旋转度，初始校正所述平移外部参数。
在所公开成像系统的一个示例性实施方式中，所述控制器用于在所述初始校正之后，进一步校正所述外部参数，以最优化所述外部参数。
在所公开成像系统的一个示例性实施方式中，所述控制器用于使用光束平差法进一步校正所述外部参数。
在所公开成像系统的一个示例性实施方式中，所述成像系统是移动平台。
在所公开成像系统的一个示例性实施方式中，所述移动平台是无人飞行器(UAV)。
在所公开成像系统的一个示例性实施方式中，所述控制器用于基于所述无人飞行器的飞行模式自动调整所述基线。
在所公开成像系统的一个示例性实施方式中，所述控制器用于当所述飞行模式为着陆模式时，减小所述基线。
在所公开成像系统的一个示例性实施方式中，所述控制器用于当所述飞行模式为起飞模式时，增加所述基线。
在所公开成像系统的一个示例性实施方式中，所述控制器用于当所述飞行模式是空中图像获取模式时，增加所述基线。
附图说明
图1是示出了包括多个成像装置的成像系统的一个实施方式的示例性顶层框图。
图2是示出了图1的成像系统的实施方式的示例性顶层框图，其中所述成像系统包括用于调整基线的基线调整机构。
图3是示出了用于自动调整图1的成像系统的基线的方法的实施方式的示例性顶层图。
图4是示出了图3的方法的一个替换实施方式的示例图，其中使用多个成像装置确定物体距离。
图5是示出了图4的方法的另一个替换实施方式的示例图，其中使用三角测量法确定物体距离。
图6是示出了图3的方法的另一个替换实施方式的示例图，其中使用双目视差确定物体距离。
图7是示出了图3的方法的另一个替换实施方式的示例图，其中使用多个特征点确定物体距离。
图8是示出了图3的方法的另一个替换实施方式的示例性流程图，其中基于物体距离调整基线。
图9是示出了图3的方法的另一个替换实施方式的示例图，其中在基线调整之后校正外部参数。
图10是图2的基线调整机构的实施方式的详图，其中所述基线调整机构包括螺杆轴机构。
图11是示出了图1的成像系统的实施方式的示例图，其中所述成像系统安装在无人飞行器(UAV)上。
图12是示出了图11的成像系统的示例图，其中所述成像系统的基线已经被调整。
图13是示出了图11的成像系统的替换实施方式的示例图，其中所述成像系统安装在无人飞行器的机身上。
图14是示出了图11的成像系统的示例图，其中成像装置附在一个可调框架上。
图15是示出了图14的成像系统的替换实施方式的示例图，其中所述成像系统的基线已经被调整。
图16是示出了图1的指向一个目标物的成像系统的实施方式的示例图。
图17是示出了用于调整图1的成像系统的基线的设备的实施方式的示例性顶层图。
应该说明的是，附图并不是按照比例绘制，并且为了说明的目的，具有相似结构或者功能的元件在全部附图中一般由相似的标号表示。还应该说明的是，附图仅旨在便于描述优选实施方式。附图并未示出所描述实施方式的每个方面，并且不限制本公开的范围。
具体实施方式
本公开提出的系统及方法用于自动调整用于立体成像的成像系统的基线，所述系统及方法克服了传统固定基线成像系统的限制。进一步地，成像系统中的成像装置可以通过一组外部参数进行精细校正。这些外部参数定义了成像装置的相对位置，使得能够基于从不同视角获取的不同二维图像实现单一三维物体的重构。在所述基线被调整之后，以及在进一步成像之前，仍需要调整对应的外部参数。因此，本公开也提出了用于在基线调整之后自动校正外部参数的系统及方法。
现参照图1，示例性成像系统100被示出为包括多个成像装置110以及控制器190。所述成像系统100可以根据需要包括任何预定数量的成像装置110。例如，所述成像系统100可以具有2、3、4、5、6甚至更多数量的成像装置110。作为一个非限制性示例，图1示出的成像系统100包括四个成像装置110。尽管出于说明的目的，本文示出和描述的成像系统100的各个其他实施方式仅具有两个成像装置110，但成像系统100不限于仅具有两个成像装置110。对于具有多于两个成像装置110的成像系统100，本文所描述的自动基线调整以及参数校正可以应用于任何对成像装置110。
在成像系统100中，所述成像装置110可以以任何想要的方式布置。成像装置110的具体布置可以取决于成像应用。在某些实施方式中，例如，所述成像装置110可以并行放置，以便成像装置110具有平行的光轴130(如图5所示)。在其他实施方式中，所述成像装置110可被放置为使得所述成像装置110中至少两个的光轴130不平行。任意两个成像装置110的中心(本文也称之为原点)之间的线性距离为这些成像装置110之间的基线b(如图2所示)。更具体地，所述基线b可以指第一成像装置110的镜头105的中心与第二成像装置110的镜头105的中心之间的距离。
每一个成像装置110可以执行感应光线并将所感应的光线转换为电信号的功能，其中所述电信号最终可以呈现为图像。本公开的系统及方法中所使用的适合的示例性成像装置110包括但不限于市售的相机及摄像机。适合的成像装置110可以包括模拟成像装置(例如摄像管)和/或数字成像装置(例如，电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)，N型金属-氧化物-半导体(NMOS)成像装置，及其混合/变体)。数字成像装置，例如，可以包括二维阵列的光敏元件(未示出)，其每一个用于捕获图像信息的一个像素。所述成像装置110优选具有至少10万像素、50万像素、100万像素、200万像素、500万像素、1000万像素、2000万像素、5000万像素、10000万像素甚或更高数量像素的分辨率。所述成像装置110也可以包括镜头105用于聚光在光敏元件上，例如，数字单反(DSLR)镜头、针孔镜头、生物镜头、简单凸面玻璃镜头、微距镜头、变焦镜头、长焦镜头、鱼眼镜头、广角镜头等。所述成像装置110也可以包括基于颜色分离和/或过滤感应的光，并将所述光导向合适的光敏元件上的设备(未示出)。例如，所述成像装置110可以包括颜色滤波器阵列，其将红色、绿色及蓝色的光传到所选择的像素传感器，并形成一个拜耳模式的交织彩色马赛克网格。或者，例如，所述成像装置110可以包括一个分层像素光敏元件阵列，其基于光敏元件的属性分离不同波长的光。所述成像装置110可以具有特定的功能以用于不同的应用，例如温度记录、产生多谱图像、红外检测、伽马检测、X射线检测等。所述成像装置110可以包括，例如，光电传感器、热/红外传感器、彩色或单色传感器、多谱成像传感器、分光光度计、分光仪、温度计和/或照度计等。
如图1所示，所述成像装置110可以与一个或者多个控制器190界接。例如，所述成像装置110中的每一个可以获取目标物150(图4-5所示)的二维图像120，并通过一个数据通信系统(未示出)将所述图像120本地和/或远程地中继至控制器190。所述控制器190可用于，例如，通过立体观测，使用所述二维图像120重构所述目标物150的三维描述，以根据成像装置110与目标物150之间的距离确定是否需要调整基线，以传送和/或传送控制信号给成像系统110的任何部件用于基线调整。额外地和/或可选地，所述控制器190可被有利地配置用于自动校正一个或多个外部参数用于立体成像。
所述控制器190可以包括任何在执行图像获取、基线调整、校正以及本文描述的任何其他功能和操作时所需的处理硬件。非限制地，所述控制器190可以包括一个或者多个通用微处理器(例如，单核或者多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。在某些实施方式中，所述控制器190可以包括图像处理引擎或者媒体处理单元，其可以包括专用硬件以加强图像获取、过滤及处理操作的速度及效率。此类操作包括，例如，拜耳转换、去马赛克操作、减噪操作和/或图像锐化/柔化操作。
在某些实施方式中，所述控制器190可以包括专用硬件用于执行基线调整及参数校正。例如，可以提供专用硬件用于某些功能，包括但不限于，通过立体观测使用所述二维图像120重构所述目标物150的三维描述、基于成像装置110和目标物150之间的距离确定是否需要基线调整、确定最佳基线、传送控制信号给成像系统100的任何部件用于基线调整、和/或校正一个或者多个外部参数用于立体成像。
在某些实施方式中，所述控制器190物理定位于所述成像装置110附近，这种情况下控制器190以及成像装置110之间的数据可以本地通信。本地通信的优势在于传输延迟减少，便于实时的基线调整、图像处理及参数校正。在其他实施方式中，所述控制器190相对于所述成像装置110远程定位。例如，由于重量限制或者关于成像系统100的操作环境的其他原因，远程处理可能会更好。作为一个非限制性示例，如果成像装置110安装于一个移动平台上，例如无人飞行器200(UAV)上(图11-13所示)，可能需要将成像数据传送给远程终端(未示出)，例如地面终端或者基站，用于集中处理。例如当多个无人飞行器200正在以协调的方式对一个指定的目标物150成像时，可能需要集中处理。
在成像装置110与控制器190之间进行远程通信时，可以采用各种通信方法。适合的通信方法包括，例如，无线电、无线保真(Wi-Fi)、蜂窝、卫星及广播。示例性无线通信技术包括，但不限于，全球移动通信系统(GSM)、通用分组无线业务(GPRS)、码分多址(CDMA)、宽带码分多址(W-CDMA)、CDMA2000、IMT单载波、GSM演进增强数据率(EDGE)、长期演进(LTE)、增强LTE、时分LTE(TD-LTE)、高性能无线局域网(HiperLAN)、高性能无线广域网(HiperWAN)、高性能无线城域网(HiperMAN)、本地多点分配服务(LMDS)、全球互通微波存取(WiMAX)、ZigBee、蓝牙、闪光正交频分复用(Flash-OFDM)、大容量空分多址接入(HC-SDMA)、iBurst、通用移动通信系统(UMTS)、UMTS时分双工(UMTS-TDD)、演化高速分组接入(HSPA+)、时分同步码分多址接入(TD-SCDMA)、演进数据优化(EV-DO)、数字增强无线通信(DECT)以及其他。
在某些实施方式中，所述成像系统100可以包括一个或者多个所需的额外的硬件部件(未示出)。示例性额外的硬件部件包括，但不限于，存储器(例如，随机存取存储器(RAM)、静态随机存取存储器、动态随机存取存储器、只读存储器(ROM)、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、闪存、安全数字(SD)卡等)，和/或一个或者多个输入/输出接口(例如，通用串行总线(USB)、数字视频接口(DVI)、显示端口、串行ATA(SATA)、IEEE 1394接口(也称为火线)、串行接口、视频图形阵列(VGA)、超级视频图形阵列(SVGA)、小型计算机系统接口(SCSI)、高清晰度多媒体接口(HDMI)、音频端口和/或专有输入/输出接口)。非限制地，成像系统100根据需要也可以包括一个或者多个输入/输出装置(例如，按键、键盘、键区、轨迹球、显示器及监视器)。
现参照图2，成像系统100的一个示例性实施方式被示出为包括基线调整机构170用于自动调整第一成像装置110a以及第二成像装置110b之间的基线b。所述成像系统100进一步包括一个控制器190，如上述关于图1详细描述的。所述基线调整机构170可以包括终端区域单元1001a及1001b(如图10所示)，用于分别附装成像装置110a及110b。所述基线调整机构170可以使成像装置110a及110b彼此相对移动。在一个实施方式中，一个成像装置110可以动，而另一个成像装置110不能动。在另一个实施方式中，两个成像装置110a及110b都可以动。由所述基线调整机构170所导致的成像装置之间的相互运动可以沿着一个单一的维度或者沿着一个以上的维度。在优选实施方式中，所述相对运动是沿着一个单一维度。在另一个实施方式中，对于复杂的成像应用，当需要的时候，所述相对运动可以是沿着多个维度。
为了明晰起见，这里的基线b指的是第一成像装置110a的中心(这里也称之为原点)以及第二成像装置110b的中心之间的距离。因此，这里的基线b的最小长度可能取决于成像装置110的宽度。进一步地，本示例中所述基线b的最大长度可能取决于所述基线调整机构170所附于的物理系统的长度和/或所述成像系统100在其中操作的操作环境的尺寸。所述基线调整机构170的运动范围可进一步取决于所述基线调整机构170的具体实施。在某些示例性实施方式中，所述基线b的可调整范围可以是从约3厘米到约20厘米。在某些示例性实施方式中，所述基线b的可调整范围可以是3厘米到5厘米、3厘米到7厘米、3厘米到9厘米、3厘米到10厘米、3厘米到12厘米、3厘米到15厘米、3厘米到20厘米、5厘米到7厘米、5厘米到10厘米、5厘米到12厘米、5厘米到15厘米、5厘米到17厘米、5厘米到20厘米、5厘米到25厘米、7厘米到10厘米、7厘米到12厘米、7厘米到15厘米、7厘米到17厘米、7厘米到20厘米、7厘米到25厘米、10厘米到15厘米、10厘米到17厘米、10厘米到20厘米、10厘米到25厘米、或者10厘米到30厘米。在其他实施方式中，所述基线b可以增加到30厘米、35厘米、40厘米、50厘米、60厘米、70厘米、80厘米或者更长。在一个优选实施方式中，所述基线b的范围是从5厘米到15厘米。
现在参照图3，示出了自动调整成像系统100的基线b的方法300的一个实施方式。在301，获取成像系统100及目标物150之间的物体距离Z。根据需要，所述物体距离Z可以使用若干不同方法中的任一种获取。在某些实施方式中，所述物体距离Z可以通过立体观测使用成像系统100中的多个成像装置110获取。例如，对于两个成像装置100，其中每一个都可以获取目标物150的图像120(如图4-5所示)，并且所获取的图像120的重叠部分可被分析以评估目标物150的景深。可选地和/或附加地，所述物体距离Z可以使用非立体观测方法获取，例如使用激光或者使用超声波。在302，所述基线b根据所述物体距离Z自动调整。
现参照图4，其中示出了使用立体观测确定物体距离Z的方法，所述方法参考两个成像装置110：左成像装置110a；右成像装置110b。成像装置110a及110b各自感测相同目标物150，但是位于不同的空间坐标，如坐标轴(x1,y1,z1)及(x2,y2,z2)所示。所述成像装置110a及110b沿着它们各自的光轴130a及130b感测所述目标物150，因此获取目标物150的两个不同的二维图像120a及120b。所述二维图像120a及120b通常不同，因为是从不同的位置捕获到的，除非将成像装置110a及110b放置为使它们的光轴130a和130b一致。因此，在大部分情况下，可以发现双目视差d(例如，方程式4中所示)位于图像120a与120b之间，如以下参照图5所描述。
现参照图5，二维图像120a及120b可以相对比，以确定一对成像装置110a及110b(或者相当地，成像系统100)和所述目标物150之间的物体距离Z。三角测量法可以用于使用图像120a及120b之间的双目视差d确定物体距离Z。特别地，具有索引i，由其坐标(Xi,Yi,Zi)表示的目标物150的位置可以给出如下：
Xi＝b*(xi l–cx)/d 方程式(1)
Yi＝b*(yi l–cy)/d 方程式(2)
Zi＝b*f/d 方程式(3)
其中cx及cy代表成像装置110a及110b各自的中心坐标，xi及yi代表目标物150在图像120a及120b中一个或者两个中的坐标，b是基线(换句话说，是成像装置110a及110b的中心坐标之间的距离)，f是每一个成像装置110a及110b的焦距(这里假设成像装置具有相同的焦距)，i是多个目标物150上或者目标物150的多个特征点155上的索引，以及d是图像120a及120b之间的双目视差，在此表示为：
基于上述原则，现参照图6，示出了基于立体观测，使用第一成像装置110a及第二成像装置110b获取物体距离Z的方法600的示例性实施方式。在601，使用第一成像装置110a获取目标物150的第一图像120a(图4及图5中所示)。在602，使用第二成像装置110b获取目标物150的第二图像120b(图4及图5中所示)。根据需要，所述第一及第二图像120a、120b可以同时获取或者接续获取。在一个优选实施方式中，所述第一及第二图像120a、120b有利地是同时获取的，以减少由于目标物150和/或成像系统100随着时间而转换引起的误差。
在603，在确定一个双目视差d之前，可选地，可以矫正所述目标物150的第一及第二图像120a、120b。即，图像120a、120b可以被校正以去除失真，校正的方法例如，通过旋转使所述图像120a、120b置于相同的平面，缩放图像120a、120b以使图像120a、120b具有相同的尺寸，以及进行偏斜调整使得图像120a、120b的对应像素排成一行。所述校正可以基于一组表示两个成像装置110之间平移及旋转关系的外部参数而执行。所述外部参数可以存储于例如成像系统100的存储器(未示出)中。
在604，在第一图像120a及第二图像120b之间可以找到双目视差d。例如，特定目标物150的双目视差d可以基于所述目标物150在第一图像120a中的位置以及所述目标物150在第二图像120b中的位置而确定。确定目标物150在一个选择的图像120中的位置可以通过任何期望的方式并可基于各种设置(例如，特写、中距、远景、人物、风景等)来进行。所述目标物150可以基于机器视觉和/或人工智能等方法来识别。合适的方法包括特征检测、提取和/或匹配技术，例如RANSAC(随机抽样一致(RANdom SAmple Consensus))、施和托马西角点检测、SURF(加速稳健特征)斑点检测、MSER(最大稳定极值区域)斑点检测、SURF(加速稳健特征)描述符、SIFT(尺度不变特征变换)描述符、FREAK(快速视网膜关键点(Fast REtinAKeypoint))描述符、BRISK(二进制稳健不变尺度关键点)描述符、HOG(方向梯度直方图)描述符等。相似地，这些方法可以用于识别目标物150中的一个或者多个特征点155(图5所示)。
在某些实施方式中，所述目标物150可以包括成像装置110的整个视野。例如，一个选择的成像装置110可以与所述目标物150很接近，以使得所述目标物150填充成像装置110的整个视野。作为另一个示例，所述目标物150可以是成像装置110的视野内的许多单独个体的组合(例如，风景)，且并不需要聚焦所述组合中的单独个体。在这种情况下，所述组合的图像中的每一个像素都可以被视为一个单独的特征点155，并且所述物体距离Z可以基于所述特征点155或者像素而确定。在某些实施方式中，所述目标物150可以包括成像装置110的视野的一部分。例如，可以指定所述视野的中心(例如，视野中中心10％、20％、30％、40％、50％、60％、70％、80％、或者90％的像素视野)作为目标物150。在某些实施方式中，所述目标物150可以包括第一成像装置110a所获取的第一图像120a及第二成像装置110b所获取的第二图像120b之间的重叠区域的所有或者部分。
在605，使用双目视差d确定所述物体距离Z。例如，所述物体距离Z可以作为双目视差d的函数、第一与第二成像装置110a及110b之间的基线b以及第一与第二成像装置110a及110b中的至少一个的焦距f，利用公式(1)－(4)确定。在某些实施方式中，所述第一及第二成像装置110a及110b具有相同的焦距f。
现参照图7，示出了使用目标物150上的特征点155获取物体距离Z的方法700的示例性实施方式。在701，获取目标物150上的多个特征点155。所述特征点155可以使用多种不同的方法获取。在一个示例性实施方式中，所述特征点155被识别为目标物150的预定形状。在另一个实施方式中，所述特征点155被识别为目标物150上具有特殊颜色或亮度的一个或多个部分。在另一个实施方式中，所述特征点155被选择为目标物150的随机部分。在另一个实施方式中，所述特征点155在目标物150上是按照规则隔开的间隔选择的，例如，每一个像素、每隔一个像素、每第三个像素、每第四个像素等。所述特征点155根据需要可以具有变化的形状和尺寸。在某些实施方式中，以上描述方法的结合可以用于选择所述特征点155。
在702，可以确定每一个特征点155与所述成像系统100之间的特征距离z。每一个特征距离z可以使用任何适合的方式确定，包括通过使用由第一成像装置110a(图4及图5中所示)捕获的第一图像120a(图4及图5中所示)中的特征点155的位置与由第二成像装置110b(图4及图5中所示)捕获的第二图像120b(图4及图5中所示)中的特征点155的位置之间的双目视差d。使用所述双目视差d，所述特征距离z可以通过公式(1)-(4)，以与如上参照图3-6描述获取物体距离Z相同的方式确定。
在703，使用在702确定的特征距离z确定所述物体距离Z。多种方法中的任何一种都可以用于根据目标物150的单个特征距离z确定所述物体距离Z。在一个实施方式中，所述物体距离Z可以基于特征距离z的平均值确定。平均值的示例性类型可以包括算术平均、几何平均、中值或者模。在另一个实施方式中，所述物体距离Z通过选择特征点155中的一个或者多个特征点，并基于所选择的的特征点155的特征距离z获取所述物体距离Z来确定。根据选择的特征点155的子集计算所述物体距离Z的好处包括，例如能够过滤掉杂点、能够过滤掉太远(或者太近)的特征点155，或者能够基于亮度或者颜色过滤掉特征点155。例如，距离成像系统100太远的特征点155在估计物理距离Z时可能易于出错。因此，在一个实施方式中，可以选择距离所述成像系统100最近的特征点155的预定百分比，过滤之后剩下的特征点155可以用于确定所述物体距离Z。在某些实施方式中，所选择的特征点155的百分比是10％、20％、30％、40％、50％、60％、70％、80％或者90％。在一个优选实施方式中，特征点155的80％被选择。在另一个优选实施方式中，所述特征点155是图像中的像素，且像素的80％被选择用于确定所述物体距离Z。过滤掉不想要的特征点155之后，所选择的(或者，换句话说，剩下的)距离所述成像系统100最远的特征点155可以用于确定物体距离Z。换种有些不同的说法，所述物体距离Z是所选择的与成像系统100距离最远的特征点155的特征距离z。
现在请参照图8，示出了根据物体距离Z自动调整基线b的方法800的示例性实施方式。所述方法800利用一个最小的基线bmin以及一个最大的基线bmax，所述最小基线及最大基线限定了基线b的一个优选的范围值。在某些实施方式中，bmin及bmax中的一个或者两个可以是物体距离Z的函数。在某些实施方式中，bmin及bmax中的一个或者两个可以独立于所述物体距离Z。
在801，确定所述成像系统100的基线b(或者，换句话说，所述基线b的当前值)。例如，所述基线b可以是一个内部参数，控制器190(如图1所示)可以持续追踪所述内部参数，和/或所述内部参数可以存储于一个存储器(未示出)中。可选地和/或附加地，所述基线b可以基于一个基线调整机构170(如图2-3所示)和/或一个或者多个其部件的物理位置而确定。在确定了基线b之后，所述基线b可以与最小基线bmin以及一个最大基线bmax相比较，以确定是否需要进行基线调整。
在802，所述基线b与所述最小基线bmin相比较。如果所述基线b大于或者等于所述最小基线bmin，则在805，确定所述基线b是否大于所述最大基线bmax。如果所述基线b小于所述最小基线bmin，则可选地，在803，进一步确定所述基线b与最小基线bmin之间的差是否大于第一公差δ1。如果所述基线b与最小基线bmin之间的差大于所述第一公差δ1，则在804，增加所述基线b。如果所述基线b与最小基线bmin之间的差小于或者等于所述第一公差δ1，则在801，确定所述成像系统100的基线b。所述第一公差δ1可以取决于或可以不取决于(例如，作为其一部分)所述基线b和/或最小基线bmin.。
在805，确定基线b是否大于所述最大基线bmax。如果所述基线b小于或者等于所述最大基线bmax，则在808，确定所述基线b是否小于所述最大基线bmax。如果所述基线b大于所述最大基线bmax，则可选地，执行806，在其中可选地进一步确定所述基线b与所述最大基线bmax之间的差是否大于第二公差δ2。如果所述基线b与所述最大基线bmax之间的差大于所述第二公差δ2，则在807，减小所述基线b。如果所述基线b与所述最大基线bmax之间的差小于或者等于所述第二公差δ2，则在801，确定所述成像系统100的基线b。所述第二公差δ2可以取决于或者可以不取决于(例如，作为其一部分)所述基线b和/或最大基线bmax.。所述公差δ1和/或公差δ2可被有利地配置用于平衡基线调整，以使成像中断最小化。
在808，确定所述基线b是否小于最大基线bmax。如果小于，则在809，可选地增加基线b直到所述基线b达到所述最大基线bmax。在809中可选地增加基线b的益处在于通过设置基线b达到所述最大基线bmax，可以以最小量的误差来解析目标物150。
对所述最小基线bmin的设置可以是例如基于以下事实，即当基线b变小时，对远处物体的解析变得越来越困难。通过三角測量法，按照上述给的方程式(3)，物体距离Z与基线b成正比，并且与双目视差d成反比。因此，通过可以测量双目视差d的分辨率能够限制测量物体距离Z的精确度。例如，对于具有数字成像装置110的数字成像系统，双目视差d的分辨率可以依赖于所述成像装置110的分辨率。在图像120中的小于一个像素的长度L的位置变换很难被数字成像装置110检测到。因此，在一个数字图像中的物体的位置可能具有高达一个像素的长度L的误差。当在此使用两个图像确定了双目视差d之后，所述双目视差d的累积误差可能高达2L(换句话说，两个像素的长度)。因此，为了更加精确，所述最小基线bmin可以设置为将给出一个双目视差d的值，所述双目视差d的值可以是给定的物体距离Z的至少一个预定数量的像素长度，例如1、2、3、4、5、6、7、8、9、10或者更多个像素长度。在一个优选实施方式中，所述最小基线bmin被设置为使得所述双目视差d至少是给定物体距离Z的四个像素长度。换种有些不同的说法，所述最小基线bmin可以被设置为4*Z*L/f，其中Z是所述物体距离，L是至少一个所述成像装置110的像素宽度，以及f是至少一个所述成像装置110的焦距。在某些实施方式中，所述成像系统100的第一及第二成像装置110a及110b可能具有相同的焦距f和/或相同的像素宽度L。
所述最大基线bmax可以是例如基于以下事实，即当基线b太大时，两个成像装置110获取的图像120之间的重叠区域太小。因此，所述最大基线bmax可以基于维持所述图像之间的重叠超过一个阈值，例如至少10％、20％、30％、40％、50％、60％、70％、80％或者90％。在优选实施方式中，所述阈值是50％。在优选实施方式中，所述自动调整包括增加基线b直到所述重叠达到所述阈值，例如50％。用数学表达来表示，所述最大基线bmax可以设置为Z*tan(θ/2)，其中Z是所述物体距离及θ是至少一个成像装置110的视角。在某些实施方式中，所述成像系统110的第一及第二成像装置110a及110b具有相同的视角θ。
在成像系统100是一个移动平台(例如无人飞行器200)(图11-13所示)，和/或所述成像系统100被安装于所述移动平台的实施方式中，所述基线调整可以有利地将所述移动平台的操作模式作为考量因素。如果所述移动平台是无人飞行器200，例如，所述操作模式可以包括无人飞行器200的飞行模式。例如，当所述飞行模式是着陆模式时，所述基线b可以减小，因为所述无人飞行器200可以受益于在着陆期间无人飞行器200下面区域的特写图像。类似地，当所述飞行模式为起飞模式时，所述基线b可以增加，因为所述无人飞行器200可以受益于在起飞期间无人飞行器200周围的更好的可视性。可选地和/或附加地，当所述飞行模式是航空图像获取模式时，所述基线b可以增加，因为在空中成像期间，通常视线越远越好。
现在参照图9，示出了在自动调整基线b后校正成像系统100的外部参数的方法900的实施方式。外部参数包括，例如，三乘三的旋转矩阵R以及三维平移向量t。换种有些不同的说法，所述外部参数可以包括在所述旋转矩阵R内的多个旋转参数，以及在所述平移向量t内的多个平移参数。所述外部参数可以定义所述成像装置110的相对位置，使得能够使用立体成像技术对目标物150进行三维成像。在某些实施方式中，所述旋转矩阵R可以是一个正交矩阵或者是一个标准正交矩阵。例如，可能期望RRT＝I及RTR＝I。在某些实施方式中，所述旋转矩阵R的维度可以不是三乘三(例如，一个齐次矩阵)。在某些实施方式中，所述平移向量t的维度可以不是3。
在成像系统100的基线b调整之后，所述外部参数可能变得不准确，需要校正(或者再校正)。通常，假设物体距离Z比基线b大得多，则基线调整将导致成像装置110相对于目标物在旋转方向上相对小的变化。因此，在一个优选实施方式中，所述外部参数可以使用两步过程进行校正。在901，平移参数t基于基线b的自动调整进行初始校正。换种有些不同的说法，所述初始调整之后的外部参数为R0及λt0，其中，R0及t0是预先调整的外部参数，以及λ是一个常数，其反映达到t0所需的初始调整量。
例如，其中成像系统100的基线调整机构170包括螺杆轴机构1000(图10所示)，所述平移参数t的初始校正可以是基于所述螺杆轴机构1000在基线调整过程中的旋转度。所述基线调整量可以进一步基于螺杆轴1002(图10所示)的半径以及槽间距。类似的方法可以用于其它基线调整机构(例如齿条和齿轮机构、曲柄滑块机构、线性马达等)的平移参数t的初始校正。
在902，初始校正之后，所述外部参数R及t可以进一步校正以最优化。多种最优化方法可以用于进一步校正所述外部参数。适于最优化的示例性算法包括线性编程、插值、元演算法、差分演化、演化算法、遗传算法、动态松弛、爬山算法、随机重启算法、模拟退火、阶梯下降等。在一个优选实施方式中，所述进一步校正使用如下描述的光束法平差优化方法。例如，所述光束法平差优化方法可以通过最小化如下的拟合函数的值来执行：
这里，Pl及Pr分别代表第一成像装置110a及第二成像装置110b(图4-5所示)的投影矩阵，xl及xr分别是第一成像装置110a及第二成像装置110b的位置，X是目标物的位置，以及i是多个目标物150(图4-5所示)或者是多个特征点155(图5所示)的索引。所述投影矩阵Pl及Pr可以通过如下关系式囊括所述外部参数R及t：
Pl＝Kl[I0], 方程式(6)
Pr＝Kr[Rt], 方程式(7)
其中Kl及Kr分别是第一成像装置110a及第二成像装置110b(图4-5所示)的固有参数，并且可以例如根据成像装置的出厂设置确定。因此，一旦通过最小化方程式(5)的拟合函数得到最优化值Pl及Pr，则可以基于所述固有参数Kl及Kr使用方程式(6)及(7)确定所述外部参数R及t。
上述相对于图3-9描述的方法可以实施为计算机程序产品(未示出)，所述计算机程序产品包括用于自动调整具有第一成像装置110a及第二成像装置110b的成像系统100的基线的指令。所述计算机程序产品的指令可以存储在一个控制器190(图1所示)上，例如，存储器上。所述指令可以例如在所述控制器190的处理器(未示出)上执行。所述控制器基于例如成像系统100以及目标物150之间的物体距离Z以及基于所述物体距离Z所需的任何基线调整来产生控制信号。所述控制信号根据需要可以输出至一个基线调整机构170(图2所示)，以根据所述控制器的指令实现基线调整。
现参照图10，基线调整机构170的一个优选实施方式被示出为包括一个螺杆轴机构1000。所述螺杆轴机构1000包括螺杆轴1002a及1002b，可旋转地与其联接的中心壳体1003，以及可旋转地套在所述螺杆轴1002a及1002b上的终端区域单元1001a及1001b。每一个终端区域单元1001a及1001b可用于联接到一个成像装置110(未示出)。所述螺杆轴1002a及1002b可以通过一个致动器(未示出)彼此独立旋转，所述致动器例如是步进马达，使得终端区域单元1001a及1001b可以相对于彼此线性移动。每一个终端区域单元1001a及1001b可以有利地包括设于其内的多个滚珠轴承(未示出)，以减少与所述螺杆轴1002a及1002b的摩擦。用于基线调整的所述螺杆轴机构1000的一个好处在于螺杆轴1002a及1002b的旋转运动可以精确地转换成终端区域单元1001a及1001b的平移运动，这可能对于基线b(图2所示)的微调是所期望的。用于基线调整的所述螺杆轴机构1000的另外一个好处在于线性运动的程度与旋转运动的程度成正比，以允许基于例如螺杆轴1002a及1002b的半径以及槽间距精确推断基线调整量。
可选地和/或附加地，所述基线调整机构170可以包括用于将旋转运动转换为线性运动的机构，例如，滑动曲柄机构、齿条和齿轮机构、线性马达等。所述基线调整机构170可进一步包括额外的部件，用于促进和/或实现所述成像装置110的线性或者非线性运动，包括但不限于，例如轨道系统及滑块、端部轴承支架、滚珠丝杠、滑动衬套、滑动螺钉、传送带、带轮等。
所述基线调整机构170根据需要可以附在成像系统100的任何支撑结构(未示出)上。进一步地，尽管所述基线调整机构170在图10中仅为了说明的目的被描述为单一的单元，但所述基线调整机构170不需要如此限制。在某些实施方式中，所述基线调整机构170可以包括多个单元(例如，分离螺杆轴、齿条与齿轮、和/或滑动曲柄机构)，其分离地附在所述成像系统100的某些部位。在某些实施方式中，每一个成像装置110可以附在所述基线调整机构170的一个独立的移动单元上。根据需要，所述基线调整机构170可以有利地位于成像系统100不同的部位。当所述基线调整机构170作为一个单一的单元实施时，所述基线调整机构170的旋转将允许固定在其上的成像装置110一起旋转，这对于成像装置100之间的协调可能是有利的。即使成像装置110分离地附在基线调整机构170的独立移动单元上，所述成像装置110的旋转也是可以协调的(例如，如图1所示，通过控制器190)。
在图11-13中，成像系统100的示例性实施方式被示出为其中所述成像系统100是一个移动平台，例如无人飞行器(UAV)200。换种有些不同的说法，所述成像系统100可被安装在所述移动平台上，例如无人飞行器200上。在图11-13中成像装置110被示出为以不同配置安装在无人飞行器200上。
无人飞行器200，通俗地称为“无人驾驶飞机”，是没有人类飞行员的飞行器，它的飞行是自主控制或者通过远程的飞行员控制(或者有时是两者)。无人飞行器现在越来越广泛地应用在需要各种形式的空中数据收集的民事应用中。各种类型的无人飞行器200都适于在成像系统100中使用。无人飞行器200的一种适合的类型例如是航拍旋翼飞行器，其由多个旋翼所驱动。一种适合类型的旋翼飞行器具有四个旋翼，且被称为四轴飞行器、四旋翼直升机或四旋翼。适于本系统及方法用于成像(例如，立体成像)的示例性四轴飞行器包括当前市售的多种模型。适于本系统及方法的无人飞行器200进一步包括，但不限于，其他的旋翼设计，例如，单旋翼、双旋翼、三旋翼、六旋翼及十旋翼设计。也可以采用固定翼无人飞行器200以及混合旋翼飞行器-固定翼无人飞行器。
现请参照图11，一个示例性成像系统100被示出为无人飞行器200，其具有固定于其上的左(或者左舷)成像装置110a以及右(或者右舷)成像装置110b。各种成像装置110都适于用在无人飞行器200上，其中一般优选为所述成像装置110轻巧而紧凑。在图11的示例中，所述成像装置110a及110b通过基线调整机构170固定在无人飞行器200的下面。将成像装置110a及110b置于无人飞行器200下面的好处在于下面的位置对无人飞行器的飞行操作的影响相对较小。进一步地，将所述成像装置110a及110b置于所述无人飞行器200的下面能够对无人飞行器200正下方的区域进行成像，为着陆和/或其他空中监测提供便利。所述基线调整机构170可以是固定在无人飞行器200上的一个单一单元，或者是独立地固定在所述无人飞行器200上的多个单元。基线b被示出为左、右成像装置110a、110b的中心之间的距离。在本示例中，左、右成像装置110a、110b物理抵持，且因此使基线b达到最小值。
在本示例中，基于来自控制器190(图1所示)的控制信号，所述基线调整机构170可以增加所述基线b到一个所需值，直到达到基于所述无人飞行器200的物理配置的最大值。所述基线b达到最大值的一个示例性实施方式相对于图11的实施方式在图12中示出。在本示例中，增加基线b的能力可进一步依赖于所述无人飞行器200的额外部件，例如位于无人飞行器200横向侧面的起落架210。在本示例中，所述起落架210可能阻挡成像装置110a及110b的视野和/或物理地阻止所述成像装置110a及110b移动超过某个点。因此，在某些实施方式中，所述起落架210可能有利地是可伸缩的或者可自动移位。
现请参照图13，另一个示例性成像系统100被示出为无人飞行器200，其具有固定在无人飞行器200的机体(或机身)220侧面的左成像装置110a及右成像装置110b。在本示例中，所述成像装置110a及110b通过所述基线调整机构170的分离单元独立地安装于所述无人飞行器200上。本实施方式的优点包括，如图所示，所述基线b可以取较大的值，并且所述成像装置110a及110b的视野不会被所述起落架210所阻挡。
现在请参照图14，另一个示例性成像系统100被示出为无人飞行器200，其具有固定在所述无人飞行器200的一个可调框架250上的左成像装置110a及右成像装置110b。换种略有不同的说法，所述基线调整机构170是所述可调框架250，或者可以是所述可调框架250的一部分。所述可调框架250可以包括一个或者多个可调件251，其可调地附在所述无人飞行器200的机身220上。作为一个非限制性示例，所述可调件251可用于相对于附接点252枢转。在一个实施方式中，所述附接点252在机身220上。所述左成像装置110以及右成像装置110b可分别固定至所述可调件251的末端。图14示出了紧凑配置的可调件251。调整可调件251的位置(例如，通过绕一个或者多个附接点252枢转)可以导致成像装置110a及110b之间的基线b增加，从而达到如图15所示的扩展配置。类似地，如图14所示，通过将所述可调件251折成紧凑配置，所述基线b可以根据需要减小。
在本示例中，所述成像装置110a及110b通过所述基线调整机构170的分离单元独立地安装于所述无人飞行器200上。本实施方式的优点包括，如图所示，所述基线b可以取较大的值，并且所述成像装置110a及110b的视野不会被起落架210所阻挡。
在所述成像系统100是无人飞行器200(或者，相当地，所述成像系统100安装于一个无人飞行器200上)的实施方式中，所述控制器190可有利地用于根据所述无人飞行器的飞行模式执行基线调整。例如，当所述飞行模式为着陆模式时，所述控制器190可用于减小所述基线b。可选地和/或附加地，当所述飞行模式为起飞模式时，所述控制器190可用于增加所述基线b。可选地和/或附加地，当所述飞行模式为航空图像获取模式时，所述控制器190可用于增加所述基线b。
尽管在图11-15所述成像装置110相对于无人飞行器200对称地放置，但所述成像装置110并非必须对称地放置。在某些实施方式中，所述成像装置100的位置非对称地放置。进一步地，尽管只为了说明的目的关于无人飞行器200进行了图示和描述，但所述成像系统100可以是任何类型的移动平台，或者安装于任何类型的移动平台上。示例性的合适移动平台包括，但不限于，自行车、机动车、卡车、轮船、小船、火车、直升飞机、飞行器以及其各种混合等。
现在请参照图16，示例性成像系统100被示出为包括用于确定成像系统100到目标物150之间距离Z的部件。在一个优选实施方式中，所述成像系统100的多个成像装置110a和110b可以使用立体成像来确定所述物体距离，更加详细的解释请参照图3的方法。可选地和/或附加地，所述物体距离Z可以使用一个或者多个能够进行深度评估的辅助装置180来确定。
在一个实施方式中，所述辅助装置180是一个激光器(例如，红外激光器)，其具有一个光源，能够发出具有特殊空间结构的光到目标物150。此外，这种辅助激光设备180可配备一个镜头以及一个过滤芯片，用于接收从目标物150发射的光。控制器190(图1所示)可以计算所接收的光的结构，并通过光结构的变化，能够感知目标物150的结构以及距离信息。所述激光器的功率能够根据需要加强，以适应户外环境，克服阳光的红外特性。
在另一个实施方式中，所述辅助装置180是一个超声系统。超声辅助装置180可以例如具有一个或者多个超声波发射器以及传感器(例如，阵列式超声换能器)，用于使用目标物150将超声波返回到辅助装置180所用的时间来确定所述物体距离Z。在某些实施方式中，所述超声波辅助装置180可以与一个或者多个成像装置110集成为一个单一装置(例如，集成为一个用于深度感知的RGB-D相机)。使用多种类型的装置感测物体距离的一个益处在于通过冗余性使得测量更加精确，并且对于在某种类型的辅助装置180中可能产生误差而在另一类型的辅助装置180中可能不产生误差的环境条件，所述测量更加稳健和/或不受其干扰。
现在请参照图17，示出了一个用于自动调整第一成像装置110a(图2所示)以及第二成像装置110b(图2所示)之间基线的独立设备1700的示例性实施方式。所述用于自动基线调整的独立设备1700的一个益处在于所述独立设备1700可被准备性配置用于不同的成像装置110，例如，用于不同类型的成像装置110或者用新的成像装置110更换坏的成像装置110。所述独立设备1700进一步的益处在于所述独立设备1700可以用于不同的成像系统100(例如，用于不同的移动平台，如不同的无人飞行器)。所述独立设备1700包括一个用于调整基线b(图2所示)的基线调整机构170，以及一个用于使用所述基线调整机构170，根据成像系统与目标物150(未示出)之间的物体距离自动调整基线b的控制器190。所述基线调整机构170相对于成像系统100(参照，例如，图3)如前所述。所述基线调整机构170根据需要可以包括各种部件，用于实现成像装置110相对于彼此或者相对于环境的线性或者非线性运动。用于实现运动的示例性部件包括，但不限于，马达(例如步进马达)、螺杆轴机构、滑动曲柄机构、齿条和齿轮机构、线性马达等。额外的部件可以促进和/或实现成像装置110的运动，包括但不限于滚珠轴承、轨道系统、滑块、端部轴承支架、滚珠丝杠、滑动衬套、滑动螺钉、传送带、滑轮、各种类型的润滑剂等。所述设备1700可以包括终端区域单元1001a及1001b，其用于相对于彼此线性移动。每一个终端区域单元1001a及1001b可以安装有一个成像装置110，从而允许成像装置110相对于彼此的平移运动，并实现基线b(未示出)的调整。
所述控制器190控制所述基线调整机构170的功能，从而能够使得基线b的调整自动化。所述控制器190可以通过数据通信部件(例如，串行总线，未示出)传送控制信号给基线调整机构170。所述控制器190可进一步接收和/或向外传送用于基线调整的数据(例如，通过输入/输出端口)。可选地和/或附加地，所述控制器190可以使用远程数据通信系统(未示出)接收和/或向外传送数据。由所述控制器190传送的数据可包括，例如，给所述基线调整机构170的控制信号。进一步地，所述控制器可以接收由一个或者多个成像装置110捕获的图像。所述控制器190也可以用于，例如，使用立体成像重构目标物150的三维描述，以基于目标物150的物体确定是否需要调整基线，等等。所述控制器190可进一步被有利地配置用于自动校正一个或者多个用于立体成像的外部参数，如以上关于图9的方法所更详细讨论的。
所公开的实施方式可具有各种修改及替代形式，并且其具体示例已在附图中通过示例的方式示出并在本文中进行了详细描述。然而，应理解，所公开的实施方式并不限于所公开的具体形式或方法，而是相反，所公开的实施方式意在涵盖所有的修改、同等替换或替代形式。

Claims (97)

1.一种自动调整成像系统的基线的方法，所述成像系统具有多个成像装置，包括至少第一成像装置及第二成像装置，包括：
获取所述成像系统以及目标物之间的物体距离；及
根据所述物体距离自动调整所述基线。
2.如权利要求1所述的方法，其中获取所述物体距离包括：
使用所述第一成像装置获取所述目标物的第一图像；
使用所述第二成像装置获取所述目标物的第二图像；
确定所述第一图像以及所述第二图像之间的双目视差；及
使用所述双目视差确定所述物体距离。
3.如权利要求2所述的方法，其中所述获取所述物体距离进一步包括在所述确定所述双目视差之前纠正所述第一图像及所述第二图像。
4.如以上权利要求中任一项所述的方法，其中所述获取所述物体距离包括：
获取所述目标物上的多个特征点；
确定所述成像系统与每一个所述特征点之间各自的特征距离；及
使用所述特征距离确定所述物体距离。
5.如权利要求4所述的方法，其中所述确定所述物体距离包括基于所述特征距离的平均值确定所述物体距离。
6.如权利要求4或权利要求5所述的方法，其中所述确定所述物体距离包括选择一个或者多个特征点，及基于所选择的特征点的特征距离，获取所述物体距离。
7.如权利要求6所述的方法，其中所述选择特征点包括选择与所述成像系统最近的预定百分比的特征点，并获取所选择的特征点中距离所述成像系统最远的特征距离作为所述物体距离。
8.如权利要求7所述的方法，其中所选择的特征点的预定百分比为百分之八十。
9.如权利要求4-8中任一项所述的方法，其中所述确定所述成像系统与每一个所述特征点之间各自的特征距离包括对于由所述第一成像装置或者所述第二成像装置获取的图像，基于所述图像上对应所述特征点的像素确定所述特征距离。
10.如以上权利要求中任一项所述的方法，其中所述获取所述物体距离包括使用激光获取所述物体距离。
11.如以上权利要求中任一项所述的方法，其中所述获取所述物体距离包括使用超声波系统获取所述物体距离。
12.如以上权利要求中任一项所述的方法，其中所述自动调整包括如果所述基线低于最小基线，则增加所述基线。
13.如权利要求12所述的方法，其中所述最小基线是4*Z*L/f，且其中Z是所述物体距离，L是所述成像装置中至少一个成像装置的像素宽度，及f是所述成像装置中至少一个成像装置的焦距。
14.如以上权利要求中任一项所述的方法，其中所述自动调整包括如果所述基线高于最大基线，则减小所述基线。
15.如以上权利要求中任一项所述的方法，其中所述自动调整包括如果所述基线低于所述最大基线，则增加所述基线。
16.如权利要求14或权利要求15所述的方法，其中所述最大基线是Z*tan(θ/2)，且其中Z是所述物体距离及θ是所述成像装置中至少一个成像装置的视角。
17.如以上权利要求中任一项所述的方法，其中所述自动调整包括增加所述基线，直到所述第一成像装置的视野与所述第二成像装置的视野重叠达到至少某个阈值。
18.如以上权利要求中任一项所述的方法，进一步包括在所述自动调整基线之后校正所述成像系统的外部参数。
19.如权利要求18所述的方法，其中所述校正包括校正所述成像系统的平移外部参数和/或旋转外部参数中的至少一项。
20.如权利要求19所述的方法，其中所述校正包括根据所述对基线的自动调整初始校正所述平移外部参数。
21.如权利要求20所述的方法，其中所述校正包括在所述初始校正之后，进一步校正所述外部参数，以最优化所述外部参数。
22.如权利要求21所述的方法，其中所述进一步校正包括光束平差法。
23.如以上权利要求中任一项所述的方法，其中所述成像系统是移动平台。
24.如权利要求23所述的方法，其中所述成像系统是无人飞行器(UAV)，且其中所述自动调整取决于所述无人飞行器的飞行模式。
25.如权利要求24所述的方法，其中所述自动调整包括当所述飞行模式为着陆模式时，减小所述基线。
26.如权利要求24或权利要求25所述的方法，其中所述自动调整包括当所述飞行模式为起飞模式时，增加所述基线。
27.如权利要求24-26中任一项所述的方法，其中所述自动调整包括当所述飞行模式是空中图像获取模式时，增加所述基线。
28.一种成像系统，用于根据权利要求1-27中任一项执行自动基线调整。
29.一种计算机程序产品，所述计算机程序产品包括用于根据权利要求1-27中任一项自动调整成像系统的基线的指令，所述成像系统具有第一成像装置及第二成像装置。
30.一种设备，用于自动调整具有多个成像装置的成像系统中第一成像装置及第二成像装置之间的基线，包括：
基线调整机构，联接所述第一及第二成像装置；及
控制器，用于提供控制信号给所述基线调整机构，以根据所述成像系统与目标物之间的物体距离自动调整所述基线。
31.如权利要求30所述的设备，其中所述控制器用于通过如下手段获取物体距离：
使用所述第一成像装置获取目标物的第一图像；
使用所述第二成像装置获取目标物的第二图像；
确定所述第一图像以及所述第二图像之间的双目视差；及
使用所述双目视差确定所述物体距离。
32.如权利要求31所述的设备，其中所述控制器用于在确定所述双目视差之前纠正所述第一及第二图像。
33.如权利要求20-32中任一项所述的设备，其中所述控制器用于通过如下手段获取所述物体距离：
获取所述目标物上的多个特征点；
确定所述成像系统与每一个所述特征点之间各自的特征距离；及
使用所述特征距离确定所述物体距离。
34.如权利要求33所述的设备，其中所述控制器用于基于所述特征距离的平均值获取所述物体距离。
35.如权利要求33或权利要求34所述的设备，其中所述控制器用于选择一个或者多个特征点，及基于所选择的特征点的特征距离，获取所述物体距离。
36.如权利要求35所述的设备，其中所述控制器用于通过选择与所述成像系统最近的预定百分比的特征点来选择特征点，并获取所选择的特征点中距离所述成像系统最远的特征距离作为所述物体距离。
37.如权利要求36所述的设备，其中所选择的特征点的预定百分比为百分之八十。
38.如权利要求33-37中任一项所述的设备，其中所述确定所述成像系统与每一个所述特征点之间各自的特征距离包括对于由所述第一成像装置或者所述第二成像装置获取的图像，基于所述图像上的所述特征点对应的像素确定所述特征距离。
39.如权利要求30-38中任一项所述的设备，进一步包括激光器，用于获取所述物体距离。
40.如权利要求30-389中任一项所述的设备，进一步包括超声波系统，用于获取所述物体距离。
41.如权利要求30-40中任一项所述的设备，其中所述基线调整机构包括螺杆轴机构。
42.如权利要求30-41中任一项所述的设备，其中所述基线调整机构包括齿条齿轮机构。
43.如权利要求30-42中任一项所述的设备，其中所述基线调整机构包括曲柄滑块机构。
44.如权利要求30-43中任一项所述的设备，其中所述基线调整机构包括线性马达。
45.如权利要求30-44中任一项所述的设备，其中所述基线调整机构包括可调框架。
46.如权利要求30-45中任一项所述的设备，其中所述控制信号是一种信号，用于当所述基线低于最小基线时，自动增加所述基线。
47.如权利要求46所述的设备，其中所述最小基线是4*Z*L/f，且其中Z是所述物体距离，L是所述成像装置中至少一个成像装置的像素宽度，及f是所述成像装置中至少一个成像装置的焦距。
48.如权利要求30-47中任一项所述的设备，其中所述控制信号是一种信号，用于当所述基线高于最大基线时，减小所述基线。
49.如权利要求30-48中任一项所述的设备，其中所述控制信号是一种信号，用于当所述基线低于最大基线时，自动增加所述基线。
50.如权利要求48或权利要求49中任一项所述的设备，其中所述最大基线是Z*tan(θ/2)，且其中Z是所述物体距离及θ是所述成像装置中至少一个成像装置的视角。
51.如权利要求30-50中任一项所述的设备，其中所述控制器用于自动增加所述基线，直到所述第一成像装置的视野与所述第二成像装置的视野重叠达到至少某个阈值。
52.如权利要求30-51中任一项所述的设备，其中所述控制器用于在所述自动调整基线之后校正所述成像系统的外部参数。
53.如权利要求52所述的设备，其中所述控制器用于校正平移外部参数和/或旋转外部参数中的至少一项。
54.如权利要求53所述的设备，其中所述控制器用于根据所述基线调整机构的线位移，初始校正所述平移外部参数。
55.如权利要求54所述的设备，其中所述基线调整机构包括螺杆轴机构，且所述控制器用于根据所述螺杆轴机构的旋转度，初始校正所述平移外部参数。
56.如权利要求54或权利要求55所述的设备，其中所述控制器用于在所述初始校正之后，进一步校正所述外部参数，以最优化所述外部参数。
57.如权利要求56所述的设备，其中所述控制器用于使用光束平差法进一步校正所述外部参数。
58.如权利要求30-57中任一项所述的设备，其中所述成像系统是移动平台。
59.如权利要求58所述的设备，其中所述成像系统是无人飞行器(UAV)。
60.如权利要求59所述的设备，其中所述控制器用于基于所述无人飞行器的飞行模式自动调整所述基线。
61.如权利要求60所述的设备，其中所述控制器用于当所述飞行模式为着陆模式时，减小所述基线。
62.如权利要求60或权利要求61所述的设备，其中所述控制器用于当所述飞行模式为起飞模式时，增加所述基线。
63.如权利要求60-62中任一项所述的设备，其中所述控制器用于当所述飞行模式是空中图像获取模式时，增加所述基线。
64.一种成像系统，包括：
多个成像装置，至少包括用于对目标物成像的第一成像装置，以及用于对目标物成像的第二成像装置；
基线调整机构，用于调整所述第一成像装置及所述第二成像装置之间的基线；及
控制器，用于根据所述成像系统及目标物之间的物体距离使用所述基线调整机构自动调整所述基线。
65.如权利要求64所述的成像系统，其中所述控制器用于通过如下手段获取物体距离：
使用所述第一成像装置获取目标物的第一图像；
使用所述第二成像装置获取目标物的第二图像；
确定所述第一图像以及所述第二图像之间的双目视差；及
使用所述双目视差确定所述物体距离。
66.如权利要求65所述的成像系统，其中所述控制器用于在确定所述双目视差之前纠正所述第一及第二图像。
67.如权利要求64-66中任一项所述的成像系统，其中所述控制器用于通过如下手段获取所述物体距离：
获取所述目标物上的多个特征点；
确定所述成像系统与每一个所述特征点之间各自的特征距离；及
使用所述特征距离确定所述物体距离。
68.如权利要求67所述的成像系统，其中所述控制器用于基于所述特征距离的平均值获取所述物体距离。
69.如权利要求67或权利要求68所述的成像系统，其中所述控制器用于选择一个或者多个特征点，及基于所选择的特征点的特征距离，获取所述物体距离。
70.如权利要求69所述的成像系统，其中所述控制器用于通过选择与所述成像系统最近的预定百分比的特征点来选择特征点，并获取所选择的特征点中距离所述成像系统最远的特征距离作为所述物体距离。
71.如权利要求70所述的成像系统，其中所选择的特征点的预定百分比为百分之八十。
72.如权利要求67-71中任一项所述的成像系统，其中所述确定所述成像系统与每一个所述特征点之间各自的特征距离包括对于由所述第一成像装置或者所述第二成像装置获取的图像，基于所述图像上所述特征点对应的像素确定所述特征距离。
73.如权利要求64-72中任一项所述的成像系统，进一步包括激光器，用于获取所述物体距离。
74.如权利要求64-73中任一项所述的成像系统，进一步包括超声波系统，用于获取所述物体距离。
75.如权利要求64-74中任一项所述的成像系统，其中所述基线调整机构包括螺杆轴机构。
76.如权利要求64-75中任一项所述的成像系统，其中所述基线调整机构包括齿条齿轮机构。
77.如权利要求64-76中任一项所述的成像系统，其中所述基线调整机构包括曲柄滑块机构。
78.如权利要求64-77中任一项所述的成像系统，其中所述基线调整机构包括线性马达。
79.如权利要求64-78中任一项所述的成像系统，其中所述基线调整机构包括可调框架。
80.如权利要求64-79中任一项所述的成像系统，其中所述控制器用于当所述基线低于最小基线时，自动增加所述基线。
81.如权利要求80所述的成像系统，其中所述最小基线是4*Z*L/f，且其中Z是所述物体距离，L是所述成像装置中至少一个成像装置的像素宽度，及f是所述成像装置中至少一个成像装置的焦距。
82.如权利要求64-81中任一项所述的成像系统，其中所述控制器用于当所述基线高于最大基线时，自动减小所述基线。
83.如权利要求64-82中任一项所述的成像系统，其中所述控制器用于当所述基线低于最大基线时，自动增加所述基线。
84.如权利要求82或权利要求83所述的成像系统，其中所述最大基线是Z*tan(θ/2)，且其中Z是所述物体距离及θ是所述成像装置中至少一个成像装置的视角。
85.如权利要求64-84中任一项所述的成像系统，其中所述控制器用于自动增加所述基线，直到所述第一成像装置的视野与所述第二成像装置的视野重叠达到至少某个阈值。
86.如权利要求64-85中任一项所述的成像系统，其中所述控制器用于在所述自动调整基线之后校正所述成像系统的外部参数。
87.如权利要求86所述的成像系统，其中所述控制器用于校正平移外部参数和/或旋转外部参数中的至少一项。
88.如权利要求87所述的成像系统，其中所述控制器用于根据所述基线调整机构的线位移，初始校正所述平移外部参数。
89.如权利要求88所述的成像系统，其中所述基线调整机构包括螺杆轴机构，且所述控制器用于根据所述螺杆轴机构的旋转度，初始校正所述平移外部参数。
90.如权利要求88或权利要求89所述的成像系统，其中所述控制器用于在所述初始校正之后，进一步校正所述外部参数，以最优化所述外部参数。
91.如权利要求90所述的成像系统，其中所述控制器用于使用光束平差法进一步校正所述外部参数。
92.如权利要求64-92中任一项所述的成像系统，其中所述成像系统是移动平台。
93.如权利要求92所述的成像系统，其中所述移动平台是无人飞行器(UAV)。
94.如权利要求93所述的成像系统，其中所述控制器用于基于所述无人飞行器的飞行模式自动调整所述基线。
95.如权利要求94所述的成像系统，其中所述控制器用于当所述飞行模式为着陆模式时，减小所述基线。
96.如权利要求94或权利要求95所述的成像系统，其中所述控制器用于当所述飞行模式为起飞模式时，增加所述基线。
97.如权利要求94-96中任一项所述的成像系统，其中所述控制器用于当所述飞行模式是空中图像获取模式时，增加所述基线。
CN201480077001.4A 2014-12-04 2014-12-04 成像系统及方法 Pending CN106471803A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/092992 WO2016086379A1 (en) 2014-12-04 2014-12-04 Imaging system and method

Publications (1)

Publication Number Publication Date
CN106471803A true CN106471803A (zh) 2017-03-01

Family

ID=56090825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077001.4A Pending CN106471803A (zh) 2014-12-04 2014-12-04 成像系统及方法

Country Status (4)

Country Link
US (2) US10728514B2 (zh)
JP (1) JP6205069B2 (zh)
CN (1) CN106471803A (zh)
WO (1) WO2016086379A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107687841A (zh) * 2017-09-27 2018-02-13 中科创达软件股份有限公司 一种测距方法及装置
CN108230397A (zh) * 2017-12-08 2018-06-29 深圳市商汤科技有限公司 多目摄像机标定与校正方法和装置、设备、程序和介质
CN108810384A (zh) * 2018-07-19 2018-11-13 柳景耀 一种3d摄像机
CN111132618A (zh) * 2017-09-26 2020-05-08 皇家飞利浦有限公司 移动式x射线成像系统
CN111220120A (zh) * 2019-12-02 2020-06-02 上海航天控制技术研究所 一种动平台双目测距自校准方法及装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503623B2 (en) 2014-06-03 2016-11-22 Applied Minds, Llc Color night vision cameras, systems, and methods thereof
CN110282132B (zh) * 2016-01-26 2021-04-02 深圳市大疆创新科技有限公司 无人飞行器及多目成像系统
US10706569B2 (en) 2016-06-08 2020-07-07 Amazon Technologies, Inc. Selectively paired imaging elements for stereo images
WO2018005953A1 (en) * 2016-07-01 2018-01-04 Facebook, Inc. Stereoscopic image capture
US10805600B2 (en) * 2016-07-29 2020-10-13 Applied Minds, Llc Methods and associated devices and systems for enhanced 2D and 3D vision
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE
CN107071389A (zh) * 2017-01-17 2017-08-18 亿航智能设备（广州）有限公司 航拍方法、装置和无人机
CN108615243A (zh) * 2017-01-25 2018-10-02 北京三星通信技术研究有限公司 立体多媒体信息的确定方法、装置及系统
WO2018139879A1 (en) * 2017-01-25 2018-08-02 Samsung Electronics Co., Ltd. Method and apparatus for determining stereoscopic multimedia information
CN106657974B (zh) * 2017-02-27 2024-02-09 北京图森智途科技有限公司 双目摄像机的控制方法及装置、双目摄像机
US10721461B2 (en) * 2017-07-28 2020-07-21 California Institute Of Technology Collaborative stereo system for three-dimensional terrain and object reconstruction
US11884406B2 (en) * 2018-01-08 2024-01-30 GEOSAT Aerospace & Technology Parachute landing methods and systems for an unmanned aerial vehicle
CN111587409A (zh) 2018-01-08 2020-08-25 经纬航太科技股份有限公司 无人机发射方法与系统
KR20200005440A (ko) * 2018-07-06 2020-01-15 삼성전자주식회사 벤더블 디스플레이를 이용하여 미디어를 촬영하는 디바이스 및 그 방법
WO2020009543A1 (en) 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Electronic device for capturing media using a bendable display and method thereof
JP7283413B2 (ja) * 2020-02-17 2023-05-30 株式会社デンソー 車載用の計測装置ユニットおよび車載用の計測装置ユニットにおける統合データ生成方法
US11513266B2 (en) * 2020-12-09 2022-11-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for an improved camera system using directional optics to estimate depth
JP2022099764A (ja) * 2020-12-23 2022-07-05 ソニーグループ株式会社 移動体、移動体の制御方法、及びプログラム
JP2022184138A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016534A1 (ja) * 2004-08-09 2006-02-16 Sharp Kabushiki Kaisha 画像撮影装置
CN101276138A (zh) * 2008-04-30 2008-10-01 北京工业大学 一种基线长度自动调节的双目立体摄像机
CN101727670A (zh) * 2009-11-10 2010-06-09 西安交通大学 一种可变幅面多相机系统柔性标定方法及装置
CN202075794U (zh) * 2011-05-24 2011-12-14 段连飞 一种无人机航摄立体成像处理设备
CN202600337U (zh) * 2012-06-07 2012-12-12 北京奥博迪光电技术有限公司 一种多维调节的立体摄像双机位装置
CN202814399U (zh) * 2012-09-27 2013-03-20 王桥生 一种可用于立体影像航拍装置系统
CN103424105A (zh) * 2012-05-16 2013-12-04 株式会社理光 对象检测方法和装置
US20140015938A1 (en) * 2011-03-18 2014-01-16 Fujifilm Corporation Lens system for 3d video taking
CN103888750A (zh) * 2012-12-20 2014-06-25 比比威株式会社 三维影像拍摄控制系统及方法
US20140184751A1 (en) * 2012-12-27 2014-07-03 Industrial Technology Research Institute Device for acquiring depth image, calibrating method and measuring method therefor

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6023588A (en) * 1998-09-28 2000-02-08 Eastman Kodak Company Method and apparatus for capturing panoramic images with range data
JP2001041740A (ja) * 1999-07-27 2001-02-16 Japan Atom Energy Res Inst 基線長可動型距離測定装置
JP2001305681A (ja) * 2000-04-19 2001-11-02 Nippon Signal Co Ltd:The ステレオカメラ装置
JP3925129B2 (ja) * 2001-09-18 2007-06-06 富士ゼロックス株式会社 ３次元画像撮像装置および方法
US7590263B2 (en) * 2004-11-30 2009-09-15 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
KR20060063265A (ko) * 2004-12-07 2006-06-12 삼성전자주식회사 영상 처리 방법 및 장치
US20070091174A1 (en) * 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP2009047496A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
WO2011009108A2 (en) * 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5553202B2 (ja) * 2010-01-14 2014-07-16 株式会社リコー 距離測定装置及び距離測定方法
WO2011108277A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
EP2553933B1 (en) * 2010-03-31 2018-10-24 Thomson Licensing 3d disparity maps
WO2011148556A1 (ja) * 2010-05-25 2011-12-01 パナソニック株式会社 画像符号化装置、画像符号化方法、プログラムおよび集積回路
JP2012189324A (ja) * 2011-03-08 2012-10-04 Ricoh Co Ltd ステレオカメラ
JP5158223B2 (ja) * 2011-04-06 2013-03-06 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP5891645B2 (ja) * 2011-08-09 2016-03-23 株式会社ニコン 撮像装置およびプログラム
CN102298818B (zh) 2011-08-18 2013-07-10 中国科学技术大学 双目摄像火灾探测与定位装置及其火灾定位方法
CN103748872A (zh) * 2011-08-30 2014-04-23 瑞典爱立信有限公司 立体图像的接收器侧调整
US9083945B2 (en) * 2012-04-06 2015-07-14 Adobe Systems Incorporated Keyframe selection for robust video-based structure from motion
JP2013242378A (ja) * 2012-05-18 2013-12-05 Sharp Corp 撮像装置、表示方法、およびプログラム
JP5745178B2 (ja) * 2012-06-29 2015-07-08 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
US10659763B2 (en) * 2012-10-09 2020-05-19 Cameron Pace Group Llc Stereo camera system with wide and narrow interocular distance cameras
CN102980556B (zh) 2012-11-29 2015-08-12 小米科技有限责任公司 一种测距方法及装置
KR20230142635A (ko) 2013-04-08 2023-10-11 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016534A1 (ja) * 2004-08-09 2006-02-16 Sharp Kabushiki Kaisha 画像撮影装置
CN101276138A (zh) * 2008-04-30 2008-10-01 北京工业大学 一种基线长度自动调节的双目立体摄像机
CN101727670A (zh) * 2009-11-10 2010-06-09 西安交通大学 一种可变幅面多相机系统柔性标定方法及装置
US20140015938A1 (en) * 2011-03-18 2014-01-16 Fujifilm Corporation Lens system for 3d video taking
CN202075794U (zh) * 2011-05-24 2011-12-14 段连飞 一种无人机航摄立体成像处理设备
CN103424105A (zh) * 2012-05-16 2013-12-04 株式会社理光 对象检测方法和装置
CN202600337U (zh) * 2012-06-07 2012-12-12 北京奥博迪光电技术有限公司 一种多维调节的立体摄像双机位装置
CN202814399U (zh) * 2012-09-27 2013-03-20 王桥生 一种可用于立体影像航拍装置系统
CN103888750A (zh) * 2012-12-20 2014-06-25 比比威株式会社 三维影像拍摄控制系统及方法
US20140184751A1 (en) * 2012-12-27 2014-07-03 Industrial Technology Research Institute Device for acquiring depth image, calibrating method and measuring method therefor

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111132618A (zh) * 2017-09-26 2020-05-08 皇家飞利浦有限公司 移动式x射线成像系统
CN107687841A (zh) * 2017-09-27 2018-02-13 中科创达软件股份有限公司 一种测距方法及装置
CN108230397A (zh) * 2017-12-08 2018-06-29 深圳市商汤科技有限公司 多目摄像机标定与校正方法和装置、设备、程序和介质
CN108810384A (zh) * 2018-07-19 2018-11-13 柳景耀 一种3d摄像机
CN111220120A (zh) * 2019-12-02 2020-06-02 上海航天控制技术研究所 一种动平台双目测距自校准方法及装置
CN111220120B (zh) * 2019-12-02 2021-09-07 上海航天控制技术研究所 一种动平台双目测距自校准方法及装置

Also Published As

Publication number Publication date
US10728514B2 (en) 2020-07-28
WO2016086379A1 (en) 2016-06-09
US20170251193A1 (en) 2017-08-31
JP6205069B2 (ja) 2017-09-27
US20200358999A1 (en) 2020-11-12
JP2017505903A (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
CN106471803A (zh) 成像系统及方法
US9743059B2 (en) Automatic white balancing system and method
JP6708790B2 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
JP5787695B2 (ja) 画像取得装置
JP6281730B2 (ja) 画像を取得するシステム及び無人航空機
US11288824B2 (en) Processing images to obtain environmental information
EP3488603B1 (en) Methods and systems for processing an image
WO2013047627A1 (ja) 画像取得装置
CN101999129A (zh) 详细捕捉大区域图像的包括级联照相机和/或校准特征的系统和方法
CN106625673A (zh) 狭小空间装配系统及装配方法
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
US20210314543A1 (en) Imaging system and method
CN109146961A (zh) 一种基于虚拟矩阵的3d测量及获取装置
CN110998657A (zh) 图像处理设备、图像处理方法和程序
US10962858B2 (en) Low-profile multi-band hyperspectral imaging for machine vision
JP5802516B2 (ja) 画像取得装置
JP2000112019A (ja) 電子３眼カメラ装置
JP6188750B2 (ja) 画像取得装置
CN115661970A (zh) 一种基于图像识别技术的风电设备巡检系统
JP2020118494A (ja) 撮像システムおよび解析システム
CN207036261U (zh) 一种镜头扫描模式高光谱成像系统及旋翼无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170301

RJ01 Rejection of invention patent application after publication