CN107852453A - 具有分光器的双镜头系统 - Google Patents

具有分光器的双镜头系统 Download PDF

Info

Publication number
CN107852453A
CN107852453A CN201580081589.5A CN201580081589A CN107852453A CN 107852453 A CN107852453 A CN 107852453A CN 201580081589 A CN201580081589 A CN 201580081589A CN 107852453 A CN107852453 A CN 107852453A
Authority
CN
China
Prior art keywords
image
camera lens
lens module
visual field
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580081589.5A
Other languages
English (en)
Other versions
CN107852453B (zh
Inventor
曹子晟
王铭钰
暴林超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN202010471157.8A priority Critical patent/CN111556253B/zh
Publication of CN107852453A publication Critical patent/CN107852453A/zh
Application granted granted Critical
Publication of CN107852453B publication Critical patent/CN107852453B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/106Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/005Diaphragms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

披露了一种具有分光器的双镜头系统和一种用于捕捉图像的方法。所述系统(200)包括:光学元件(204),被配置用于将光(202)分离成第一光束(208)和第二光束(210);具有第一焦距的第一镜头模块(214),被配置用于使所述第一光束聚焦;具有第二焦距的第二镜头模块(220),被配置用于使所述第二光束聚焦,其中所述第二焦距不同于所述第一焦距;第一传感器(216),被配置用于从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及第二传感器(222),被配置用于从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。所述系统的FOV、焦距和/或传感器可设计成用于生成高质量图像和具有任意放大率的图像。

Description

具有分光器的双镜头系统
背景
已经针对多种应用开发了具有较宽范围的大小和能力的成像装置。举例来说,成像装置可以作为独立装置由专业摄影师或电影摄影师使用。在一些实例中,成像装置可作为部件被集成到具有其他各种能力的系统中(例如,智能电话、平板计算机)。在一些实例中,成像装置可以机载于可移动物体(如无人飞行器(UAV))上,并且可用于监测、搜救操作、勘测以及其他活动。
可以在成像系统中提供多个光学模块。所述光学模块可具有特定配置和/或耦合到光学元件。所述光学模块可以各自获取图像。可以对所获取的图像进行组合,并且可以生成具有任意放大率的图像。用于生成图像的现有方法在一些实例中可能并不是最佳的。举例来说,光学变焦系统可能较重、较大且昂贵。数字变焦系统可能具有较差的性能。另外,现有图像生成系统可能存在计算困难和重影问题。
发明概要
本文中所披露的实施方式提供用于捕捉图像和/或生成组合图像的多种系统和方法。成像装置可用于捕捉图像和/或获取组合图像。所述成像装置在给时间点可以捕捉两幅或更多图像。所述两幅或更多图像可以具有或可以不具有光学视差。所述两幅或更多图像的中心可以相重合。在一些实例中,可以对所述两幅或更多图像进行组合,从而生成组合图像。有利地,本文中所描述的方法可以消除对复杂图像匹配算法的需要、对图像深度估计的需要,并且可以在生成组合图像时用较少的计算负荷来提高匹配准确性。
因此,一方面,提供了一种捕捉图像的方法。所述方法包括:借助于光学元件,将光分离成第一光束和第二光束;借助于具有第一焦距的第一镜头模块,使所述第一光束聚焦;借助于具有第二焦距的第二镜头模块,使所述第二光束聚焦,其中,所述第二焦距不同于所述第一焦距;借助于第一传感器,从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及借助于第二传感器,从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。
在一些实施方式中,所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。在一些实施方式中,所述第二视场覆盖所述第二视场。在一些实施方式中,所述第一视场覆盖所述第二视场。在一些实施方式中,所述第一光束是所述光的反射部分,而所述第二光束是所述光折射部分。在一些实施方式中,所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。在一些实施方式中,所述第一镜头模块包括广角镜头模块,而所述第二镜头模块包括长焦镜头模块。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴彼此相重合。在一些实施方式中,所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。在一些实施方式中,所述光在与所述光学元件相接触之前穿过单个孔。在一些实施方式中,所述第一图像和所述第二图像的中心相重合。在一些实施方式中,所述光学元件是半透明薄膜反光板。在一些实施方式中,所述光学元件是分束器。在一些实施方式中,所述第一镜头模块和所述第二镜头模块各自仅包括多个定焦镜头。在一些实施方式中,所述第一传感器与所述第二传感器类型相同。在一些实施方式中,所述第一传感器与所述第二传感器具有相同的大小。在一些实施方式中,所述第一传感器和所述第二传感器上的每一个像素的大小相同。在一些实施方式中,所述第一传感器与所述第二传感器类型不同。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。在一些实施方式中,所述第一图像与所述第二图像之间不存在视差。在一些实施方式中,所述方法进一步包括借助于一个或多个处理器,将所述第一图像与所述第二图像组合。在一些实施方式中,所述方法进一步包括在一个或多个处理器处接收期望焦距,并且其中所述组合图像具有与所述期望焦距相对应的视场。在一些实施方式中,所述期望焦距与期望视场相对应。在一些实施方式中,所述期望焦距等于或大于所述第一焦距或所述第二焦距中的至少一者。在一些实施方式中,将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍以及将所述第二图像缩放倍。在一些实施方式中,缩放所述第一图像和所述第二图像利用了立方体插值算法或双线性插值算法。在一些实施方式中,将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,当所述期望焦距大于所述第一焦距和所述第二焦距时,所述组合图像完全由多个融合部分组成。在一些实施方式中,当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像或者所述第二经缩放图像中具有较宽视场的那个经缩放图像组成。在一些实施方式中,将所述经缩放的第一图像与所述经缩放的第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。在一些实施方式中,像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。在一些实施方式中,所述第一镜头模块包括至少一个镜头。在一些实施方式中,所述第一镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。在一些实施方式中,所述第二镜头模块包括至少一个镜头。在一些实施方式中,所述第二镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。
另一方面,提供了一种用于捕捉图像的系统。所述系统包括:光学元件,被配置用于将光分离成第一光束和第二光束;具有第一焦距的第一镜头模块,被配置用于使所述第一光束聚焦;具有第二焦距的第二镜头模块,被配置用于使所述第二光束聚焦,其中所述第二焦距不同于所述第一焦距;第一传感器,被配置用于从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及第二传感器,被配置用于从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。
在一些实施方式中,所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。在一些实施方式中,所述第二视场覆盖所述第二视场。在一些实施方式中,所述第一视场覆盖所述第二视场。在一些实施方式中,所述第一光束是所述光的反射部分,而所述第二光束是所述光折射部分。在一些实施方式中,所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。在一些实施方式中,所述第一镜头模块包括广角镜头模块,而所述第二镜头模块包括长焦镜头模块。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴彼此相重合。在一些实施方式中,所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。在一些实施方式中,所述光在与所述光学元件相接触之前穿过单个孔。在一些实施方式中,所述第一图像和所述第二图像的中心相重合。在一些实施方式中,所述光学元件是半透明薄膜反光板。在一些实施方式中,所述光学元件是分束器。在一些实施方式中,所述第一镜头模块和所述第二镜头模块各自仅包括多个定焦镜头。在一些实施方式中,所述第一传感器与所述第二传感器类型相同。在一些实施方式中,所述第一传感器与所述第二传感器具有相同的大小。在一些实施方式中,所述第一传感器和所述第二传感器上的每一个像素的大小相同。在一些实施方式中,所述第一传感器与所述第二传感器类型不同。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。在一些实施方式中,所述第一图像与所述第二图像之间不存在视差。在一些实施方式中,所述系统进一步包括一个或多个处理器,其中所述一个或多个处理器被配置用于将所述第一图像与所述第二图像组合。在一些实施方式中,所述一个或多个处理器被配置用于接收期望焦距以及生成组合图像,其中所述组合图像具有与所述期望焦距相对应的视场。在一些实施方式中,所述期望焦距与期望视场相对应。在一些实施方式中,所述期望焦距等于或大于所述第一焦距或所述第二焦距中的至少一者。在一些实施方式中,所述一个或多个处理器被配置用于将所述第一图像缩放倍以及将所述第二图像缩放倍。在一些实施方式中,所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法对所述第一图像和所述第二图像进行缩放。在一些实施方式中,所述一个或多个处理器被配置用于将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,当所述期望焦距大于所述第一焦距和所述第二焦距时,所述组合图像完全由多个融合部分组成。在一些实施方式中,当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像或者所述第二经缩放图像中具有较宽视场的那个经缩放图像组成。在一些实施方式中,所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,所述一个或多个处理器被配置用于通过像素融合将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。在一些实施方式中,所述第一镜头模块包括至少一个镜头。在一些实施方式中,所述第一镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。在一些实施方式中,所述第二镜头模块包括至少一个镜头。在一些实施方式中,所述第二镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。
另一方面,提供了一种生成组合图像的方法。所述方法包括:借助于第一镜头模块,获取第一图像;借助于第二镜头模块,获取第二图像,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合并且相垂直;在一个或多个处理器处接收所述第一图像;在一个或多个处理器处接收所述第二图像;以及借助于一个或多个处理器,将所述第一图像与所述第二图像组合。
在一些实施方式中,所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。在一些实施方式中,所述第一镜头模块具有第一焦距f1,并且所述第二镜头模块具有第二焦距f2,其中f1大于f2。在一些实施方式中,所述第二镜头模块的视场大于所述第一镜头模块的视场。在一些实施方式中,所述方法进一步包括在所述一个或多个处理器处接收期望焦距f,其中所述组合图像具有与所述期望焦距f相对应的视场。在一些实施方式中,将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍以及将所述第二图像缩放倍。在一些实施方式中,缩放所述第一图像和所述第二图像利用了立方体插值算法或双线性插值算法。在一些实施方式中,将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,当f大于f1时,所述组合图像完全由多个融合部分组成。在一些实施方式中,当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第二经缩放图像组成。在一些实施方式中,将所述经缩放的第一图像与所述经缩放的第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。在一些实施方式中,将所述经缩放的第一图像与所述经缩放的第二图像融合包括像素融合。在一些实施方式中,像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。在一些实施方式中,所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。在一些实施方式中,所述第一镜头模块和所述第二镜头模块各自仅包括多个定焦镜头。在一些实施方式中,所述第一镜头的光轴与所述第二镜头的光轴之间不存在光学视差。在一些实施方式中,所述第一图像与所述第二图像之间不存在视差。在一些实施方式中,在移动装置上显示所述组合图像。在一些实施方式中,所述移动装置是手机、PDA、平板计算机或控制器。在一些实施方式中,实时地显示所述组合图像。
另一方面,提供了一种用于生成组合图像的成像系统。所述系统包括:第一镜头模块,被配置用于帮助获取第一图像;第二镜头模块,被配置用于帮助获取第二图像,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合并且相垂直;以及一个或多个处理器,单独地或共同地被配置用于:接收所述第一图像;接收所述第二图像;以及将所述第一图像与所述第二图像组合。
在一些实施方式中,所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。在一些实施方式中,所述第一镜头模块具有第一焦距f1,并且所述第二镜头模块具有第二焦距f2,其中f1大于f2。在一些实施方式中,所述第二镜头模块的视场大于所述第一镜头模块的视场。在一些实施方式中,所述一个或多个处理器被配置用于接收期望焦距f以及生成组合图像,其中所述组合图像具有与所述期望焦距f相对应的视场。在一些实施方式中,所述一个或多个处理器被配置用于将所述第一图像缩放倍以及将所述第二图像缩放倍。在一些实施方式中,所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法对所述第一图像和所述第二图像进行缩放。在一些实施方式中,所述一个或多个处理器被配置用于将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,当f大于f1时,组合图像完全由多个融合部分组成。在一些实施方式中,当所述期望焦距在所述第一焦距与所述第二焦距之间时,组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第二经缩放图像组成。在一些实施方式中,所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,所述一个或多个处理器被配置用于利用像素融合将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,所述一个或多个处理器被配置用于在多个区域中利用像素融合,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。在一些实施方式中,所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。在一些实施方式中,所述第一镜头模块和所述第二镜头模块各自仅包括多个定焦镜头。在一些实施方式中,所述第一镜头的光轴与所述第二镜头的光轴之间不存在光学视差。在一些实施方式中,所述第一图像与所述第二图像之间不存在视差。在一些实施方式中,所述系统进一步包括被配置用于显示所述组合图像的移动装置。在一些实施方式中,所述移动装置是手机、PDA、平板计算机或控制器。在一些实施方式中,所述组合图像被实时地显示。
另一方面,提供了一种可移动系统。所述可移动系统包括:可移动平台;本文中先前所描述的成像系统,被配置成安装在所述可移动平台上;以及云台,被配置用于稳定所述成像系统。在一些实施方式中,所述云台被配置用于使所述成像系统相对于所述可移动平台旋转。
另一方面,提供了一种捕捉图像的方法。所述方法包括:实现可移动平台的移动;在成像装置处接收光,其中所述成像装置包括光学元件、第一镜头模块、第二镜头模块、第一传感器和第二传感器;借助于所述光学元件,将所述光分离成第一光束和第二光束;借助于所述第一镜头模块,使所述第一光束聚焦;借助于所述第二镜头模块,使所述第二光束聚焦;借助于所述第一传感器,从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及借助于所述第二传感器,从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。
在一些实施方式中,所述可移动平台是无人飞行器。在一些实施方式中,借助于一个或多个推进单元来实现所述可移动平台的移动。在一些实施方式中,所述第一镜头模块具有第一焦距,并且所述第二镜头模块具有不同于所述第一焦距的第二焦距。在一些实施方式中,所述第一焦距大于所述第二焦距。在一些实施方式中,所述第二镜头模块的视场大于所述第一镜头模块的视场。在一些实施方式中,所述第一光束是所述光的反射部分,而所述第二光束是所述光折射部分。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。在一些实施方式中,所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。在一些实施方式中,所述第一镜头模块包括至少一个镜头。在一些实施方式中,所述第一镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。在一些实施方式中,所述第一镜头模块是广角镜头模块,而所述第二镜头是长焦镜头模块。在一些实施方式中,所述方法进一步包括借助于一个或多个处理器,将所述第一图像与所述第二图像组合。在一些实施方式中,所述方法进一步包括在一个或多个处理器处接收期望焦距,并且其中所述组合图像具有与所述期望焦距相对应的视场。在一些实施方式中,所述期望焦距等于或大于所述第一焦距或所述第二焦距中的至少一者。在一些实施方式中,所述方法进一步包括在移动装置上显示所述组合图像。在一些实施方式中,所述移动装置是手机、PDA、平板计算机或控制器。在一些实施方式中,实时地显示所述组合图像。在一些实施方式中,将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍以及将所述第二图像缩放倍。在一些实施方式中,缩放所述第一图像和所述第二图像利用了立方体插值算法或双线性插值算法。在一些实施方式中,将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,当所述期望焦距大于所述第一焦距和所述第二焦距时,所述组合图像完全由多个融合部分组成。在一些实施方式中,当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像或者所述第二经缩放图像中具有较宽视场的那个经缩放图像组成。在一些实施方式中,将所述经缩放的第一图像与所述经缩放的第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。在一些实施方式中,将所述经缩放的第一图像与所述经缩放的第二图像融合包括像素融合。在一些实施方式中,像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合。在一些实施方式中,所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。在一些实施方式中,所述光在与所述光学元件相接触之前穿过单个孔。在一些实施方式中,所述第一图像和所述第二图像的中心相重合。在一些实施方式中,所述光学元件是半透明薄膜反光板。在一些实施方式中,所述光学元件是分束器。在一些实施方式中,所述第一镜头模块和所述第二镜头模块仅包括多个定焦镜头。在一些实施方式中,所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。在一些实施方式中,所述第一传感器与所述第二传感器类型相同。在一些实施方式中,所述第一传感器与所述第二传感器类型不同。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。在一些实施方式中,所述第一图像与所述第二图像之间不存在视差。在一些实施方式中,所述方法进一步包括用云台将所述成像装置安装到所述可移动平台。在一些实施方式中,所述云台被配置用于稳定所述成像装置。在一些实施方式中,所述云台被配置用于使所述成像装置相对于所述可移动平台旋转。
另一方面,提供了一种用于捕捉图像的系统。所述系统包括:可移动平台;以及成像装置,安装在所述可移动平台上、被配置用于接收光,其中所述成像装置包括:光学元件,被配置用于将所述光分离成第一光束和第二光束;第一镜头模块,被配置用于使所述第一光束聚焦;第二镜头模块,被配置用于使所述第二光束聚焦;第一传感器,被配置用于从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及第二传感器,被配置用于从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。
在一些实施方式中,所述可移动平台是无人飞行器。在一些实施方式中,借助于一个或多个推进单元来实现所述可移动平台的移动。在一些实施方式中,所述第一镜头模块具有第一焦距,并且所述第二镜头模块具有不同于所述第一焦距的第二焦距。在一些实施方式中,所述第一焦距大于所述第二焦距。在一些实施方式中,所述第二镜头模块的视场大于所述第一镜头模块的视场。在一些实施方式中,所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。在一些实施方式中,所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。在一些实施方式中,所述第一镜头模块包括至少一个镜头。在一些实施方式中,所述第一镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。在一些实施方式中,所述第一镜头模块是广角镜头模块,而所述第二镜头是长焦镜头模块。在一些实施方式中,所述系统进一步包括一个或多个处理器,其中所述一个或多个处理器被配置用于将所述第一图像与所述第二图像组合。在一些实施方式中,所述一个或多个处理器被配置用于接收期望焦距以及生成组合图像,所述组合图像具有与所述期望焦距相对应的视场。在一些实施方式中,所述期望焦距等于或大于所述第一焦距或所述第二焦距中的至少一者。在一些实施方式中,所述系统进一步包括被配置用于显示所述组合图像的移动装置。在一些实施方式中,所述移动装置是手机、PDA、平板计算机或控制器。在一些实施方式中,所述组合图像被实时地显示。在一些实施方式中,所述一个或多个处理器被配置用于将所述第一图像缩放倍以及将所述第二图像缩放倍,从而生成所述组合图像。在一些实施方式中,所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法对所述第一图像和所述第二图像进行缩放。在一些实施方式中,所述一个或多个处理器被配置用于将所述经缩放的第一图像与所述经缩放的第二图像融合,从而生成所述组合图像。在一些实施方式中,当所述期望焦距大于所述第一焦距和所述第二焦距时,所述组合图像完全由多个融合部分组成。在一些实施方式中,当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像或者所述第二经缩放图像中具有较宽视场的那个经缩放图像组成。在一些实施方式中,所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,一个或多个处理器被配置用于通过像素融合将所述经缩放的第一图像与所述经缩放的第二图像融合。在一些实施方式中,像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合。在一些实施方式中,所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。在一些实施方式中,所述光在与所述光学元件相接触之前穿过单个孔。在一些实施方式中,所述第一图像和所述第二图像的中心相重合。在一些实施方式中,所述光学元件是半透明薄膜反光板。在一些实施方式中,所述光学元件是分束器。在一些实施方式中,所述第一镜头模块和所述第二镜头模块仅包括多个定焦镜头。在一些实施方式中,所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。在一些实施方式中,所述第一传感器与所述第二传感器类型相同。在一些实施方式中,所述第一传感器与所述第二传感器类型不同。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。在一些实施方式中,所述第一图像与所述第二图像之间不存在视差。在一些实施方式中,所述系统进一步包括云台,所述云台被配置用于将所述成像装置安装到所述可移动平台。在一些实施方式中,所述云台被配置用于稳定所述成像装置。在一些实施方式中,所述云台被配置用于使所述成像装置相对于所述可移动平台旋转。
另一方面,提供了一种捕捉图像的方法。所述方法包括:借助于光学元件,将光分离成第一光束和第二光束;借助于第一镜头模块,使所述第一光束聚焦;借助于第二镜头模块,使所述第二光束聚焦;借助于第一传感器,从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像,其中所述第一传感器具有第一传感器大小;以及借助于第二传感器,从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像,其中所述第二传感器具有不同于所述第一大小的第二传感器大小。
在一些实施方式中,所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。在一些实施方式中,所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。在一些实施方式中,所述第一镜头模块和所述第二镜头模块具有相同的焦距。在一些实施方式中,所述第一传感器大小大于所述第二传感器大小。在一些实施方式中,所述第一传感器上的每一个单独的像素等于或大于所述第二传感器上的每一个单独的像素。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合。在一些实施方式中,所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。在一些实施方式中,所述光在与所述光学元件相接触之前穿过单个孔。在一些实施方式中,所述第一图像和所述第二图像的中心相重合。在一些实施方式中,所述光学元件是半透明薄膜反光板。在一些实施方式中,所述光学元件是分束器。在一些实施方式中,所述第一镜头模块和所述第二镜头模块仅包括多个定焦镜头。在一些实施方式中,所述第一传感器与所述第二传感器类型相同。在一些实施方式中,所述第一传感器与所述第二传感器类型不同。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。在一些实施方式中,所述第一图像与所述第二图像之间不存在视差。在一些实施方式中,所述方法进一步包括借助于一个或多个处理器,将所述第一图像与所述第二图像组合。在一些实施方式中,所述方法进一步包括在一个或多个处理器处接收期望视场,其中所述组合图像具有与所述期望视场相对应的组合视场。在一些实施方式中,所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。在一些实施方式中,所述期望视场等于或窄于所述第一视场或所述第二视场中的至少一者。在一些实施方式中,所述第一传感器大小大于所述第二传感器大小。在一些实施方式中,所述第一视场比所述第二视场宽。在一些实施方式中,所述第一传感器包括具有第一像素大小的多个像素,而所述第二传感器包括具有第二像素大小的多个像素,其中所述第一像素大小等于或大于所述第二像素大小。在一些实施方式中,将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍。在一些实施方式中,缩放所述第一图像利用了立方体插值算法或双线性插值算法。在一些实施方式中,将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述第二图像融合。在一些实施方式中,当所述期望视场比所述第一视场和所述第二视场窄时,所述组合图像完全由多个融合部分组成。在一些实施方式中,当所述期望视场在所述第一视场与所述第二视场之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像组成。在一些实施方式中,将所述经缩放的第一图像与所述第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。在一些实施方式中,将所述经缩放的第一图像与所述第二图像融合包括像素融合。在一些实施方式中,像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。在一些实施方式中,所述方法进一步包括将所述融合图像缩放到期望大小。
另一方面,提供了一种用于捕捉图像的成像系统。所述系统包括:光学元件,被配置用于将光分离成第一光束和第二光束;第一镜头模块,被配置用于使所述第一光束聚焦;第二镜头模块,被配置用于使所述第二光束聚焦;第一传感器,被配置用于从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像,其中所述第一传感器具有第一传感器大小;以及第二传感器,被配置用于从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像,其中所述第二传感器具有不同于所述第一传感器大小的第二传感器大小。
在一些实施方式中,所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。在一些实施方式中,所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。在一些实施方式中,所述第一镜头模块和所述第二镜头模块具有相同的焦距。在一些实施方式中,所述第一传感器大小大于所述第二传感器大小。在一些实施方式中,所述第一传感器上的每一个单独的像素等于或大于所述第二传感器上的每一个单独的像素。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合。在一些实施方式中,所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。在一些实施方式中,所述光在与所述光学元件相接触之前穿过单个孔。在一些实施方式中,所述第一图像和所述第二图像的中心相重合。在一些实施方式中,所述光学元件是半透明薄膜反光板。在一些实施方式中,所述光学元件是分束器。在一些实施方式中,所述第一镜头模块和所述第二镜头模块仅包括多个定焦镜头。在一些实施方式中,所述第一传感器与所述第二传感器类型相同。在一些实施方式中,所述第一传感器与所述第二传感器类型不同。在一些实施方式中,所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。在一些实施方式中,所述第一图像与所述第二图像之间不存在视差。在一些实施方式中,所述系统进一步包括一个或多个处理器,其中所述一个或多个处理器被配置用于将所述第一图像与所述第二图像组合。在一些实施方式中,所述一个或多个处理器被配置用于接收期望视场以及生成组合图像,并且所述组合图像具有与所述期望视场相对应的组合视场。在一些实施方式中,所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。在一些实施方式中,所述期望视场等于或窄于所述第一视场或所述第二视场中的至少一者。在一些实施方式中,所述第一传感器大小大于所述第二传感器大小。在一些实施方式中,所述第一视场比所述第二视场宽。在一些实施方式中,所述第一传感器包括具有第一像素大小的多个像素,而所述第二传感器包括具有第二像素大小的多个像素,其中所述第一像素大小等于或大于所述第二像素大小。在一些实施方式中,所述一个或多个处理器被配置用于将所述第一图像缩放倍,从而生成所述组合图像。在一些实施方式中,所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法对所述第一图像进行缩放。在一些实施方式中,所述一个或多个处理器被配置用于将所述经缩放的第一图像与所述第二图像融合,从而生成所述组合图像。在一些实施方式中,当所述期望视场比所述第一视场和所述第二视场窄时,所述组合图像完全由多个融合部分组成。在一些实施方式中,当所述期望视场在所述第一视场与所述第二视场之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像组成。在一些实施方式中,所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述经缩放的第一图像与所述第二图像融合。在一些实施方式中,所述一个或多个处理器被配置用于通过像素融合将所述经缩放的第一图像与所述第二图像融合。在一些实施方式中,像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。在一些实施方式中,所述一个或多个处理器被配置用于将所述组合图像缩放到期望大小。
另一方面,提供了一种可移动系统。所述可移动系统包括:可移动平台;本文中先前所描述的成像系统,被配置成安装在所述可移动平台上;以及云台,被配置用于稳定所述成像系统。
在一些实施方式中,所述云台被配置用于使所述成像系统相对于所述可移动平台旋转。
应理解,可以单独地、共同地或相互组合地了解本发明的不同方面。本文中所述的本发明的各个方面可以应用到下文所阐述的任何特定应用或用于任何其他类型的可移动物体。本文中对飞行器(诸如无人飞行器)的任何描述可以适用于以及用于任何可移动物体(诸如任何载运工具)。此外,本文中所公开的空中运动(例如,飞行)背景下的系统、装置以及方法也可应用在其他类型运动的背景下,例如地面或水上的移动、水下运动或太空中运动。
通过审查说明书、权利要求书以及附图,本发明的其他目的和特征将变得显而易见。
通过引用并入
本说明书中所提及的所有公开、专利和专利申请均通过引用方式并入本文中,如同每一个单独的公开、专利或专利申请被明确且分别地指明通过引用方式并入本文中。
附图简要说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考阐述说明性实施方式(在其中利用了本发明的原理)和附图的以下详细描述,将获得对本发明的特征和优点的更好理解,在附图中:
图1根据实施方式图示了成像系统。
图2根据实施方式图示了成像系统。
图3根据实施方式图示了光学镜头的视场角。
图4根据实施方式图示了生成图像的方法。
图5根据实施方式图示了用于获得具有期望放大率的组合图像的流程图。
图6根据实施方式图示了具有小于第一FOV和第二FOV的期望FOV的图像。
图7根据实施方式图示了具有介于第一FOV与第二FOV之间的期望FOV的图像。
图8根据实施方式图示了生成图像的方法。
图9根据实施方式图示了具有期望FOV的图像。
图10根据实施方式图示了包括内部FOV和外部FOV的图像,内部FOV由多个融合部分(例如,像素融合部分)组成,外部FOV由多个非融合部分组成。
图11根据实施方式图示了无人飞行器(UAV),所述无人飞行器搭载了具有两个或更多个光学模块的成像系统。
图12根据实施方式图示了生成图像的方法。
图13根据本发明实施方式图示了UAV的外观。
图14根据本发明实施方式图示了包括载体和有效载荷的可移动物体。
图15是根据本发明实施方式的用于控制可移动物体的系统的框图示意图。
详细说明
需要能够捕捉具有不同视场和/或不同放大率的高质量(例如,高分辨率)图像的成像系统。在一些实例中,为了将成像系统并入其他装置(例如,手机)或将成像系统耦合到可移动物体(例如,无人飞行器),成像系统大小(例如,体积)较小并且重量轻可能是有益的。
如本文中所述的成像系统可以从共同视线获取具有不同视场的两幅或更多图像。在一些实例中,成像系统可包括两个或更多个光学模块。在一些实例中,如下文所进一步描述,所述两个或更多个光学模块可包括具有不同焦距的多个镜头模块和/或具有不同大小的多个传感器。可以在任何给定时间点捕捉所述两幅或更多图像。因为所述两幅或更多图像是从共同视线获取的,所以在所获取的图像之间可能没有光学视差。因为所述两幅或更多图像是从共同视线获取的,所以所述两幅或更多图像的中心可以相重合(例如,完全相重合)。因为所述两幅或更多图像是从共同视线获取的,所以在所获取的图像之间可能没有光学视差。可以对所述两幅或更多图像进行融合从而生成具有所期望的任意放大率(例如,任意视场)的图像。
图1图示成像系统。成像系统100可以摄入光102并且输出图像104(例如,在显示器上)。所述成像系统可包括光学模块104,所述光学模块可包括一个或多个镜头106和/或图像传感器108。镜头可以是定焦镜头。定焦镜头可具有固定的单个焦距。如下文进一步所描述,镜头可以是变焦镜头。成像系统可包括一个或多个传感器。举例来说,成像系统可包括具有用以收集并存储光子的多个光点(photosite)的光传感器112。光传感器可以进一步将所收集的信息(例如,光子)转换成数字形式(例如,捕捉图像)。举例来说,成像系统可包括对焦传感器114以确定待捕捉的图像的正确焦点。举例来说,成像系统可包括平衡传感器(例如,白平衡传感器)116以平衡所捕捉的图像的色彩(例如,以便与人类视觉的色彩相匹配)。在一些实例中,一个图像传感器108可包括多个传感器的功能。举例来说,一个传感器可以用来检测光并将光表达为表达图像(例如,捕捉图像)以及对焦和平衡图像(例如,白平衡)的形式。图像处理器110可以处理所捕捉的图像并且执行多种图像处理功能(如黑电平矫正、周边光比矫正、畸变矫正、白平衡矫正、色彩串扰矫正、解马赛克、色彩矫正、灰阶映射、色彩空间转换、锐化和噪声去除)从而生成用于观察的图像。成像系统可以进一步包括通信单元118和/或存储单元120。通信单元可用于与外部部件和/或装置(例如,移动装置,如移动电话、平板计算机、PC、遥控器等)的通信。举例来说,通信单元可用于发送由成像系统捕捉的图像(例如,输出)或接收来自外部部件或装置的输入(例如,控制信号)。通信单元还可以用来通过数字信号处理(DSP)变换图像,以便(例如,通过图像传感器)以某种方式改善所捕捉的图像。存储单元可用于暂时地或永久性地存储由成像系统捕捉的图像。
在许多实例中,可能令人希望的是使用成像系统捕捉(例如,生成)高质量图像。在许多实例中,可能令人希望的是为成像系统提供变焦能力以便捕捉远离成像系统的环境的图像。成像系统可以利用光学变焦系统、数字变焦系统、多镜头数字变焦系统或其组合。
光学变焦系统可以借助于一组光学镜头(例如,变焦镜头)来放大图像。变焦镜头可具有可变焦距,并且焦距可以包含多个焦距(例如,焦距范围)。光学变焦镜头可以通过一组内部镜头元件的相对移动来改变焦距。然而,具有覆盖宽变焦范围的变焦镜头的成像装置可能大小较大、重量较重并且成本昂贵,这在成像装置由可移动物体搭载时或成像装置作为部件被集成的情况下可能不适用。
数字变焦系统可以通过使用图像处理算法(例如,超分辨率算法)放大所捕捉的图像(例如,使用定焦镜头或变焦镜头所捕捉的)的一部分来模拟光学变焦系统。数字变焦可以使所捕捉的图像看起来更加特写(例如,放大所捕捉的图像)。数字变焦可以减小表观视场(apparent field of view)。数字变焦可以裁切所捕捉的图像的一部分并且将裁切的结果以高达原始捕捉的图像的像素尺寸内插回去。不会由于数字变焦而产生光学分辨率。然而,数字变焦可能使高于一定的变焦等级(例如,2X)的图像变差,并且数字变焦系统的变焦性能可能比光学变焦系统的变焦性能差得多。
对于任何给定时间点,多镜头数字变焦系统可以捕捉两幅或更多的具有不同视场的图像(例如,使用变焦镜头或定焦镜头)。对于任何给定时间点,多镜头数字变焦系统可以在相同方向上捕捉两幅或更多的具有不同视场的图像。多镜头数字变焦系统可包括两个或更多个光学模块(例如,两个或更多镜头模块和两个或更多相应的传感器)。然后,可以使用多种图像处理算法将所述两幅或更多图像融合,从而获得单张图像,所述单张图像的视场等于或小于(在具有不同视场的两幅或更多图像之间)具有最大视场的图像的视场。然而,可能难以制造两个或更多个镜头模块的光轴相平行并且光学中心接近的光学系统。在两幅或更多图像捕捉的图像中,光学视差对于不同的物体深度可能是不同的,这可能会为图像配准带来计算困难并导致重影问题。
本文中所描述的系统和方法准许生成两幅或更多图像。在一些实例中,可以提供多个成像系统以用于生成所述图像。所述成像系统可包括两个或更多个光学模块和光学元件。可以用基本上不平行和/或具有不接近的光学中心的两个或更多个光学模块来捕捉两幅或更多图像。所述两个或更多个光学模块可以各自从共同视线捕捉图像。所述两个或更多个光学模块可以各自从至少部分重叠的视线捕捉图像。所述成像系统可能(例如,在两个或更多个光学模块之间)没有光学视差。在一些实例中,两幅或更多图像的中心可以相重合。可以组合所述两幅或更多图像。在一些实例中,可能不需要估计所述两幅或更多图像内的物体的深度(例如,没有光学视差),并且成像匹配的准确度可能提高。虽然所述成像系统主要包括两个光学模块,但应当理解,所述成像系统可包括两个、三个、四个、五个或更多个光学模块。
图2根据本发明实施方式图示了成像系统200。如下文进一步所描述,成像系统可以全部被封闭在单个壳体内。成像系统可以是例如相机。成像系统可包括一起工作的多个分立部件(例如,装置)。举例来说,成像系统可包括两个或更多个相机以及相结合地工作的其他光学元件。
光可以通过成像系统上的单个孔径201进入。在一些实施方式中,光可以通过多个孔径(如两个、三个、四个、五个或更多孔径)进入。通过孔径进入的光202可以与光学元件204相接触。光学元件可以是分束器,如立方体分束器、板分束器、薄膜分束器、穿孔分束器等。分束器可以指将光束分成两个或更多个部分(例如,两条或更多光束)的光学元件或装置。在一些实施方式中,光学元件可以是半透明薄膜反光板、棱镜、半透反射镜、半镀银反射镜等。光学元件可以被定向为使得光以一定入射角(例如,从光学元件的法线测得)接触光学元件。在一些实施方式中,入射角可以是大约15°、30°、45°或60°、90°、120°或150°。
在接触光学元件204之后,光可以被分离成第一光束208和第二光束210。光可以来自单个源。光可以是单条光束。在一些实例中,多条光束可以接触光学元件并且每条光束可以被分离成第一光束和第二光束。第一光束和第二光束中的每条光束都可包括相同的信息(例如,相同的光信息、相同的光子等)。第一光束和第二光束中的每条光束都可包括基本相同的信息。第一光束和第二光束中的每条光束都可包含不同的信息。可以从第一光束和第二光束中的每条光束捕捉到相同的图像。在一些实施方式中,光在接触光学元件之后可以被分离成两条、三条、四条、五条或更多光束。光束的数量可以对应于成像系统中的光学模块的数量。举例来说,如果光学元件将光分离成两条光束,那么成像系统可包括两个光学模块。举例来说,如果光学元件将光分离成三条光束,那么成像系统可包括三个光学模块。
在一些实施方式中,光学元件既可以反射光又可以透射(例如,折射)光。举例来说,第一光束208可以是光202的反射分量,而第二光束210可以是光202的透射分量。反射光束可以以一定反射角(例如,从光学元件的法线测得)反射。反射角可以是大约15°、30°、45°、60°、90°、120°或150°。透射光束在透射穿过光学元件期间可能不经历折射,并且在光被透射的地方,其光路可能不受影响。在一些实施方式中,透射光束在透射穿过光学元件期间可能经历折射,并且在光被透射的地方,其光路可能受到影响。透射光束可以一定折射角(例如,从光学元件的法线测得)被折射。折射角可以是大约15°、30°、45°、60°、90°、120°或150°。在一些实施方式中,透射光和反射光可以相对于彼此成大约30°、60°、90°、120°、150°或180°的角。在一些实施方式中,透射光和反射光可以(以90°角)彼此垂直。光学元件针对成一定入射角(例如,45°)的光可具有透射反射(TR)比。TR比可以测量透射光与反射光的相对光强。TR比可以是大约50/50、40/60、30/70、20/80、10/90、90/10、80/20、70/30、60/40。替代性实施方式可包括多条反射光束、多条透射光束和/或折射光束。在一些实施方式中,可以利用多个分束器来进一步分离光。本文中所提供的关于光学元件的任何描述可以适用于多条反射光束、多条透射光束和/或折射光束。在一些实施方式中,光学元件可以将光分离成具有不同波长(色彩)的多束。举例来说,光学元件可包括将光分离成两种或三种色彩的二向色棱镜或三向色棱镜。
可以使用第一光学模块212来引导并捕捉第一光束208。可以使用第二光学模块218来引导并捕捉第二光束210。每一个光学模块可以各自捕捉环境(例如,在成像系统附近或周围)的多张图像。每一个光学模块可以连续地捕捉图像。每一个光学模块可以以指定频率捕捉图像,从而随着时间推移产生一系列图像数据。成像系统的多个模块可以以足够高的频率捕捉图像,从而提供视频速率捕捉。可以以至少10Hz、20Hz、30Hz、40Hz、50Hz、60Hz、70Hz、80Hz、90Hz、100Hz、120Hz、150Hz、200Hz、250Hz或者300Hz的速率捕捉图像。
第一光模块212和第二光学模块218可以各自具有光轴。光轴可以指光学模块中的一条线,沿着所述线存在某种程度的旋转对称。可以由光传播穿过光学模块所沿着的线来界定光轴。光轴可以穿过光学模块的中心。举例来说,线208可以界定第一光学模块的光轴,并且线210可以界定第二光学模块的光轴。第一光学模块的光轴与第二光学模块的光轴可以相交。举例来说,第一光学模块的光轴与第二光学模块的光轴可以相对于(例如,光学元件的)反射角和折射角的角平分线相交。在一些实施方式中,第一光学模块和第二光学模块的光轴在光学元件204上的点224处恰好重合。举例来说,第一光学模块和第二光学模块的光轴可以在光学元件的表面上相交。在一些实施方式中,第一光学模块的光轴与第二光学模块的光轴相垂直。
光学模块可以各自具有视线。光学模块的视线可以指与光学模块的光轴相重合的光路。举例来说,第一光学模块212可具有由区段208和区段202组成的视线。举例来说,第二光学模块218可具有由区段210和区段202组成的视线。第一光学模块和第二光学模块的视线可以相重叠(例如,在区段202上)。第一光学模块和第二光学模块的视线可以至少部分地重叠(例如,在区段202上重叠,但是之后不重叠)。
每一个光学模块可包括镜头模块和传感器(例如,图像传感器)。举例来说,第一光学模块212可包括第一镜头模块214以将反射光束208引导到第一图像传感器216,所述第一图像传感器捕捉反射光束(例如,捕捉图像数据)。举例来说,第二光学模块218可包括第二镜头模块220以将透射光束210引导到第二图像传感器222,所述第二图像传感器捕捉透射光束。所述镜头模块中的每一个镜头模块可包括一个或多个镜头。镜头模块可包括被配置用于收容一个或多个镜头的镜头筒。镜头筒可以容置一个或多个镜头。在一些实例中,镜头筒可用以通过调节一个或多个镜头之间的距离来调节镜头模块的焦距。镜头可以被配置用于将光引导到图像传感器。任选地,可以提供其他光学元件(如反射镜、滤光器、光栅、附加镜头或二向色镜),所述光学元件可以协助将光引导到图像传感器。替代地,可以不提供镜头或光学元件。
每一个镜头(例如,或镜头模块,或光学模块)可具有相应的焦距或焦距范围。焦距范围可包括落入所述范围的下限与上限内的多个焦距。在一些实例中,焦距范围可包括单个焦距。单个焦距可以用作所述范围的下限和上限。如本文中所使用,应当理解,焦距和焦距范围可互换地使用。镜头的焦距可以测量镜头使光会聚或发散的强度。光学镜头的焦距可以指将初始准直光线会聚到焦点所经过的距离。镜头可以是定焦镜头或变焦镜头。定焦镜头可具有固定的单个焦距。定焦镜头可以指不移动的静止镜头。变焦镜头可具有可变焦距,并且焦距可以包含多个焦距(例如,焦距范围)。光学变焦镜头可以通过一组内部镜头元件的相对移动来改变焦距。在一些实施方式中,成像系统可仅包括多个定焦镜头。举例来说,光学模块212和光学模块218可以仅包括定焦镜头。在一些实施方式中,成像系统可以同时包括定焦镜头和变焦镜头。举例来说,一个光学模块可包括定焦镜头,而另一光学模块包括变焦镜头。在一些实施方式中,成像系统可仅包括多个变焦镜头。
成像系统的每一个光学模块的焦距可以不同。举例来说,成像系统的每一个光学模块可包括具有不同焦距的多个定焦镜头。举例来说,第一光学模块212可具有第一焦距,所述第一焦距不同于第二光学模块218的第二焦距。举例来说,光学模块212可具有基于第一定焦镜头的第一焦距,而光学模块218可具有基于第二定焦镜头的第二焦距。第一光学模块可具有大于第二光学模块的焦距的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%的焦距。第一光学模块可具有小于第二光学模块的焦距的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%的焦距。此外,可能存在具有不同于第一焦距范围和/或第二焦距范围等的焦距的第三光学模块(例如,或第四光学模块、第五光学模块、第六光学模块等)。在一些实施方式中,成像系统的每一个光学模块的焦距可以相同。举例来说,光学模块212可具有与光学模块218的焦距相同的焦距。
在一些实例中,定焦镜头的焦距可以小于或等于1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。任选地,合适的定焦镜头的焦距可以大于或等于本文中所描述的这些值中的任何值。定焦镜头的焦距可具有落入本文中所描述的这些值中的任意两个值之间的范围内的值。
成像系统的每一个光学模块可包括图像传感器。如本文中所使用的图像传感器还可以被称为传感器。可以将通过镜头聚焦的光引导到光学模块的图像传感器上。图像传感器可以在距离镜头模块预定距离处。举例来说,从图像传感器到镜头模块的距离可以与镜头模块的焦距相对应。在一些实例中,图像传感器可具有到镜头模块(例如,变焦镜头)的可变距离。图像传感器可以被定位成使得所捕捉的图像的焦平面与图像传感器平面共面。
图像传感器可以指将光学信息(例如,冲击传感器表面的光可包括光学信息)转换成数字信息(例如,电信号)的装置。将光学信息转换成数字信息在本文中可以被称为捕捉图像(例如,图像数据)。图像传感器可以检测并传送构成图像的信息。图像传感器可以是电荷耦合装置(CCD)类型、互补金属氧化物半导体(CMOS)类型、N型金属氧化物半导体(NMOS)类型或背照式CMOS(BSI-CMOS)类型。成像系统的每一个光学模块可具有相同类型的图像传感器或不同类型的图像传感器。所述图像传感器可具有相同特征或者可具有不同特征。举例来说,图像传感器可能能够捕捉具有相同分辨率的图像,或者可能具有不同分辨率,图像可以以所述不同分辨率被捕捉。举例来说,所述图像传感器之一可以准许其他图像传感器的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%的分辨率。每一个图像传感器可具有传感器大小。(例如,成像系统中的)两个或更多图像传感器的传感器大小(例如,物理大小)可以相同。举例来说,第一传感器216和第二传感器222可具有相同大小。在一些实施方式中,(例如,成像系统中的)两个或更多图像传感器的传感器大小可以不同。举例来说,给定图像传感器的传感器大小在大小上可以是(例如,成像系统中的)任何其他图像传感器的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。每一个图像传感器可具有设定数量的像素。举例来说,图像传感器可具有大约1、2、3、4、5、6、8、10、12、14、16、18、20、25、30、35、40、50、60、70、80、90或100兆像素。成像系统的每一个图像传感器可具有相同数量的像素。举例来说,第一传感器216和第二传感器222可以各自具有相同数量的像素。在一些实施方式中,(例如,成像系统中的)两个或更多图像传感器的像素数量可以不同。举例来说,给定图像传感器的像素数量可以是(例如,成像系统中的)任何其他图像传感器的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。给定图像传感器的每个像素可具有像素大小。成像系统中的每一个图像传感器可具有相同大小的像素。举例来说,第一传感器216和第二传感器222可以各自具有相同大小的像素。在一些实施方式中,(例如,成像系统中的)两个或更多图像传感器的像素大小可以不同。举例来说,给定图像传感器的像素大小在大小上可以是(例如,成像系统中的)任何其他图像传感器的像素大小的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。图像传感器中的像素数量可以确定所生成的图像的物理大小。所述图像传感器可以使用相同量的处理能力,或者可以使用不同量的处理能力。不同光学模块的图像传感器可以消耗相同量的电力或者可以耗费不同量的电力。
每一个光学模块可具有与之相关联的视场(FOV)。成像系统中的每一个光学模块可具有不同的FOV。成像系统中的每一个光学模块可具有相同(例如,相同的)视场。成像系统中的光学模块的视场可以重叠。光学模块的FOV可以包含成像系统中的不同光学模块的FOV。FOV可以指在空间中的特定位置和取向的成像系统上可见的世界的一部分。当拍摄图像时在FOV之外的物体可能不被记录在图片中。FOV还可以表示为视锥的角度大小,或者表示为视角。光学模块的FOV可以取决于传感器大小和焦距。图3根据本发明实施方式图示了光学镜头300的视场角。对于光学镜头,可以根据FOVα=2arctan(d/2f)来计算视场角α,其中d是图像传感器大小,并且f是镜头的焦距。
对于具有固定大小的图像传感器,定焦镜头(例如,镜头模块、光学模块)可具有固定的FOV,并且FOV可以包含单个FOV角。对于具有固定大小的图像传感器,变焦镜头(例如,镜头模块、光学模块)可具有可变的FOV角范围,并且FOV角范围可以包含多个FOV角。第一光学模块212的FOV可以不同于第二光学模块218的FOV。FOV可以取决于光学模块的一个或多个镜头或其他光学元件(例如,传感器)。举例来说,第一光学模块与第二光学模块之间的FOV上的差别可能是由于第一镜头模块214与第二镜头模块220的差别而造成的。举例来说,第一光学模块与第二光学模块之间的FOV上的差别可能是由于第一传感器216与第二传感器222的差别而造成的。举例来说,第一光学模块与第二光学模块之间的FOV上的差别可能是由于第一镜头模块与第二镜头模块之间的差别以及第一传感器与第二传感器之间的差别而造成的。在一些实例中,定焦镜头(例如,镜头模块、光学模块)的FOV可以小于或等于180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°或15°。任选地,定焦镜头(例如,镜头模块、光学模块)的FOV可以大于或等于本文中所描述的这些值中的任何值。定焦镜头的FOV可具有落入本文中所描述的这些值中的任意两个值之间的范围内的值。
第一光学模块和第二光学模块可以被配置用于从相同方向捕捉图像。在一些实施方式中,第一光学模块和第二光学模块的光轴可以相重合或相交(例如,在点224)。在一些实施方式中,第一光学模块和第二光学模块的光轴可以相垂直。在一些实施方式中,第一光学模块和第二光学模块的光轴可以发散至多大约30度、45度、60度、75度、90度、120度或150度。在一些实施方式中,第一光学模块和第二光学模块的光轴可以发散至少大约30度、45度、60度、75度、90度、120度或150度。在一些实施方式中,第一光学模块和第二光学模块的光轴可以在大约30度、45度、60度、75度、90度、120度或150度之间发散。在第一光学模块和第二光学模块所捕捉的图像之间可能不存在光学视差。举例来说,由于第一光学模块和第二光学模块可能各自从共同视线(例如,从至少部分地重叠的视线)捕捉图像,所以可能不存在光学视差。第一光学模块和第二光学模块所捕捉的图像的中心可以相重合(例如,完全相重合)。第一光学模块和第二光学模块所捕捉的图像的FOV可以相重叠。第一光学模块和第二光学模块所捕捉的图像可以是从相同方向和/或相同角度捕捉的图像。第一光学模块和第二光学模块所捕捉的图像可以是从相同的源光(例如,光束)捕捉的图像。
图像处理器226可以被设置以从第一光学模块212和/或第二光学模块218接收图像数据并且生成数据以显示使用第一光学模块和/或第二光学模块捕捉到的至少一幅图像。在一些实施方式中,图像处理器可以将从第一光学模块和第二光学模块捕捉到的图像组合,从而生成组合图像。在一些实施方式中,图像处理器可以被设置为机载于可移动物体(如UAV或移动电话)上。在一些实施方式中,图像处理器可以被设置为机载于可移动物体的成像系统(例如,相机)上。图像处理器可以在成像系统的壳体之内或之外。在一些实例中,图像处理器可以被设置为非机载于可移动物体的成像系统上。图像处理器可以被设置于载体(如云台)上,下文将进一步描述。替代地,图像处理器可以被设置为远离可移动物体。举例来说,图像处理器可以被设置于遥控器(例如,手机、PDA等)、服务器、地面站(例如,台式计算机、膝上型计算机、充电站等)或基于云的基础设施上。可以无线方式将来自一个或多个光学模块的信息传输到图像处理器。替代地,可以通过物理连接将来自光学模块的信息提供给图像处理器。可以通过中央处理单元(CPU)、专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现图像处理器226。本文中对处理器的任何描述都可以适用于可以独立地或共同地执行针对图像处理器所描述的任何功能的一个或多个处理器。图像处理器可包括单个或多个处理器。图像处理器可能能够根据包括用于执行一个或多个步骤的代码、逻辑或指令的非暂时性计算机可读介质来执行一个或多个步骤。可以提供多个存储器存储单元,所述存储器存储单元可包括非暂时性计算机可读介质。
在一些实例中,图像处理器可以接收期望FOV(例如,期望焦距、期望放大率、期望变焦、期望方向等)。期望FOV可以例如从用户接收。举例来说,期望FOV的指令可以通过远程终端从用户接收。用户可以通过操作设置在远程终端上的按钮或者通过触摸显示在远程终端的屏幕上的软按钮来选择期望FOV并发送FOV的指令。在一些实例中,用户可以观察显示器,显示器(例如,实时地)示出了待通过成像系统捕捉的环境。用户可以增大或减小待通过成像系统捕捉的环境在显示器中的FOV(例如,焦距、变焦比等)(例如,通过触摸屏界面、物理按钮等)。一旦用户确认了待通过成像系统捕捉的FOV(例如,通过按动显示屏幕或按钮),期望FOV即可由图像处理器接收。在一些实施方式中,图像处理器可以被配置用于从第一光学模块和第二光学模块接收图像以及将图像数据存储于相应的缓冲器中。在一些实例中,可以从相应的缓冲器中读取图像数据并且根据期望FOV的外部指令对图像数据进行处理。在一些实例中,期望FOV可以是在成像系统进行任何图像捕捉之前所需要的输入。在一些实例中,期望FOV可以在成像系统进行图像捕捉之后输入,或者可以在成像系统进行图像捕捉期间的任何时间进行更新。
在一些实例中,期望FOV可以通过一个或多个处理器来确定。在一些实例中,一个或多个处理器可以确定期望FOV(例如,通过分析待捕捉的环境的图像)。一个或多个处理器可以自动确定期望FOV,而无需任何人工输入。在一些实例中,一个或多个处理器可以例如根据用户预先输入的设定标准来半自动地确定期望FOV。在一些实例中,一个或多个处理器可以确定或控制多个外部因素,从而影响待捕捉的图像的FOV。举例来说,一个或多个处理器可以影响与成像系统耦合的载体(例如,云台)或可移动物体(例如,UAV)的方向或朝向。在一些实例中,期望FOV可以等于第一光学模块和第二光学模块的FOV之间的较宽FOV。
基于期望FOV,图像处理器可以组合从光学模块212和光学模块218接收的图像数据,如本文中进一步所描述。在一些实例中,组合(例如,从两个或更多个光学模块接收的)图像数据可包括缩放和/或融合图像数据。缩放图像(例如,图像数据)在本文中可用来指增大或减小图像的大小(例如,以一定倍数放大图像、缩放图像中的每个像素)。融合两幅或更多图像(图像数据)在本文中可用来指组合两幅或更多图像的多个部分从而生成单个图像(例如,具有比单独的图像中的任何图像好的图像质量)。可以对所生成的(例如,融合的)单个图像进行无缝整合(例如,在边界处)。
可以将光学模块212、光学模块218所捕捉的图像或组合图像示出在显示器上。可以将所述图像实时地显示在显示器上。显示器可以是适于显示图像或视频的装置,例如,LCD(液晶显示器)、CRT(阴极射线管)、OLED(有机发光二极管)或者等离子体。显示器可以被配置用于显示由第一光学模块212和/或第二光学模块218捕捉到的图像。显示器可以被配置用于显示由处理器226生成的组合图像。显示器可以基于由图像处理器生成的图像数据来显示图像。在一些实施方式中,显示器可以是成像系统200的本地显示装置。在一些实例中,显示器可以设置在搭载有成像系统的可移动物体或静止物体上。在一些实例中,显示器可以设置在移动装置(如手机、PDA、平板计算机或控制器)上。替代地,显示器可以是远离成像系统200的显示装置。在一些实例中,显示器可以是通过无线链路从成像系统接收图像数据的远程终端,如智能手机、平板计算机、膝上型计算机或个人计算机。成像系统与显示器之间的无线链路可以是RF(射频)链路、Wi-Fi链路、蓝牙链路、3G链路或LTE链路。
显示器还可以充当用于接收用户的关于(例如,待捕捉和或所生成的)图像的指令的输入装置。在一些实例中,显示器可以是交互式屏幕,通过所述交互式屏幕,用户可以选择待显示在显示器上的环境的期望焦距、期望放大率、期望视场等。显示器可以是触摸屏。替代地,用户可以使用任何用户交互式装置(如鼠标、键盘、操纵杆、轨迹球、触摸板或麦克风)与显示器进行交互。
成像系统可具有壳体。成像系统的多个光学模块可以设置在单个壳体内。替代地,不同光学模块可以设置在不同壳体内。在一个示例中,第一光学模块和第二光学模块可以设置在一个壳体内,并且因此共用所述壳体。替代地,第一光学模块和第二光学模块可以设置在不同壳体内。壳体可以封装一个、两个或更多光学模块。在一些实施方式中,壳体可以是基本上流体密封的。壳体可以是气密的。壳体可以由基本上不透明的材料、半透明材料或透明材料形成。壳体可以防止不想要的光进入壳体。壳体可以将到达光学模块的光限制于一个或多个受控入口。壳体可以是不透光的,除了位于壳体上的单个孔径之外。在一些实施方式中,成像系统的多个光学模块可以由单个壳体支撑。光学模块可以在壳体内、在壳体外部上或至少部分地嵌入于壳体中。壳体可以使光学模块一起移动。举例来说,光学模块可以作为单个单元而移动。光学模块可以一起围绕一条或多条轴线旋转,或者可以一起沿着一条或多条轴线平移。在一些实例中,光学模块可以在壳体内相对于彼此可移动。举例来说,每个单独的光学元件可能能够在壳体内沿着一条或多条轴线相对于另一光学元件平移,或者可能能够相对于彼此旋转。
图4根据实施方式图示了一种生成图像的方法。在步骤402中,借助于光学元件,将光分离成第一光束和第二光束。光可以来自单个源。光可以是单条光束。在一些实例中,多条光束可以接触光学元件并且每条光束都可以被分离成第一光束和第二光束。在一些实例中,如本文之前所描述,光(例如,多条光束)可以通过单个孔径进入。光学元件可以基本上如本文中所描述的那样(例如,分束器、半透明薄膜反光板、棱镜、半透明反射镜、半镀银反射镜等)。第一光束可以是光的反射分量,而第二光束可以是光的透射分量。在一些实施方式中,第一光束可以是光的透射分量,而第二光束可以是光的反射分量。
在步骤404中,借助于第一镜头模块使第一光束聚焦。借助于第一镜头模块,可以将第一光束引导到第一传感器(例如,聚焦到第一传感器上)。第一镜头模块可包括至少一个镜头。在一些实施方式中,第一镜头模块包括被配置用于收容至少一个镜头的镜头筒。在一些实施方式中,第一镜头模块仅包括定焦镜头。在一些实施方式中,第一镜头模块可具有第一焦距。第一焦距可以是可小于或等于以下各项的焦距:1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。在一些实施方式中,第一镜头模块包括长焦镜头模块。长焦镜头模块可具有显著大于对于给定薄膜平面的标准镜头的焦距的焦距。举例来说,长焦镜头模块可具有大约或大于以下各项的焦距:20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。在一些实施方式中,长焦镜头模块可引导和/或聚焦光的反射分量。
在步骤406中,借助于第二镜头模块使第二光束聚焦。借助于第二镜头模块可以将第二光束引导到第二传感器(例如,聚焦到第二传感器上)。第二镜头模块可包括至少一个镜头。在一些实施方式中,第二镜头模块包括被配置用于收容至少一个镜头的镜头筒。在一些实施方式中,第二镜头模块仅包括定焦镜头。在一些实施方式中,第二镜头模块可具有第二焦距。第二焦距可以不同于第一焦距。举例来说,第二焦距可以小于第一焦距。第二焦距可以大于所述焦距。第二焦距可以是可小于或等于以下各项的焦距:1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。
在一些实施方式中,第二镜头模块包括广角镜头模块。广角镜头模块可具有显著小于对于给定薄膜平面的标准镜头的焦距的焦距。举例来说,广角镜头模块可具有大约或小于以下各项的焦距:1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm,80mm、85mm、90mm、95mm、100mm。在一些实施方式中,广角镜头模块可以引导和/或聚焦光的透射分量(例如,透射穿过光学元件的光)。
第一镜头模块的光轴与第二镜头模块的光轴可以相交。举例来说,第一镜头模块的光轴与第二镜头模块的光轴可以相对于(例如,光学元件的)反射角和折射角的角平分线相交。在一些实施方式中,第一镜头模块和第二镜头模块的光轴在光学元件上的一个点处恰好重合。举例来说,第一镜头模块和第二镜头模块的光轴可以在光学元件的表面上相交。在一些实施方式中,第一镜头模块的光轴与第二镜头模块的光轴相垂直。
在步骤408中,从被聚焦到第一传感器上的第一光束捕捉第一图像(例如,图像数据)。如本文中之前所描述,第一传感器可以协助捕捉第一图像(例如,通过将光学信息转换为数字信息)。如本文中之前所描述,第一传感器可以是CMOS传感器、CCD传感器、NMOS传感器、BSI-CMOS传感器。第一传感器可具有某些与其相关联的特性。举例来说,如本文中之前所描述,第一传感器可具有预定的大小、像素大小、像素数量等。第一图像可具有第一视场。在一些实例中,第一视场可以小于或等于180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°或15°。
在步骤410中,从被聚焦到第二传感器上的第二光束捕捉第二图像(例如,图像数据)。如本文中之前所描述,第二传感器可以协助捕捉第二图像(例如,通过将光学信息转换为数字信息)。如本文中之前所描述,第二传感器可以是CMOS传感器、CCD传感器、NMOS传感器、BSI-CMOS传感器。在一些实例中,第一传感器和第二传感器均可以是CMOS传感器。第二传感器可具有某些与其相关联的特性。举例来说,如本文中之前所描述,第二传感器可具有预定的大小、像素大小、像素数量等。第二传感器可具有与第一传感器相同的特性。举例来说,第一传感器和第二传感器可具有相同的大小(例如,物理大小)、相同的像素数量,和/或第一传感器和第二传感器上的每个像素的大小可以相同。第二图像可具有第二视场。在一些实例中,第二视场可以小于或等于180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°或15°。第二视场可以不同于第一视场。举例来说,第二视场可以是第一视场的大约25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。在一些实例中,第二视场可以是比第一视场更宽的FOV。第二图像可具有与第一图像相重合的中心。第二图像可具有与第一图像相同的图像大小(例如,第一传感器和第二传感器的像素数量相同)。在一些实施方式中,就FOV而言,第二图像可以由第一图像包含。在第一图像与第二图像之间可能不存在视差。举例来说,物体在第一图像和第二图像内的表观位置不存在位移或差别。
方法400可以进一步包括借助于一个或多个处理器,将第一图像与第二图像组合。将第一图像与第二图像组合可包括将第一图像缩放倍以及将第二图像缩放倍。缩放第一图像和/或第二图像可以利用立方体插值算法或双线性插值算法。经缩放图像可具有期望放大率(例如,期望变焦)。举例来说,第一经缩放图像和第二经缩放图像可具有相同的相对放大率。举例来说,第一经缩放图像和第二经缩放图像内的物体的相对大小可以相同。
将第一图像与第二图像组合可包括将经缩放的第一图像与经缩放的第二图像融合。举例来说,可以在第一经缩放图像与第二经缩放图像的视场相重叠的区域中将经缩放的第一图像与经缩放的第二图像融合。如下面进一步描述的,如有必要,可以将经缩放的第二图像的多个部分用于第一经缩放图像和第二经缩放图像的视场不重叠的多个区域中。举例来说,经缩放的第一图像与经缩放的第二图像可以对准(例如,在中心)。经缩放的第二图像可以包含经缩放的第一图像。所对准的经缩放的第一图像和经缩放的第二图像可包括重叠区域和非重叠区域。举例来说,经缩放的第一图像的全部和经缩放的第二图像的内部部分可包括重叠区域。经缩放的第二图像的外部部分可包括非重叠区域。可以使用拉普拉斯金字塔算法或加权平均算法将经缩放的第一图像与经缩放的第二图像融合。在一些实施方式中,将经缩放的第一图像与经缩放的第二图像融合可包括像素融合。举例来说,像素融合可以在多个区域中发生,在这些区域中,第一经缩放图像与第二经缩放图像的视场相重叠。相比于经缩放的第一图像和经缩放的第二图像,融合图像在重叠区域中可具有质量更好的图像。本文中所使用的质量更好的图像可以指比另一个图像具有更高分辨率或更多信息的图像。
图5根据实施方式图示了用于获得具有期望放大率的组合图像的流程图500。举例来说,流程图500可用于如关于步骤410所描述的将第一图像与第二图像组合。在一些实施方式中,可以在一个或多个处理器处接收期望焦距。期望焦距可以对应于期望视场、期望放大率、期望变焦等。举例来说,期望焦距可以由用户输入或者如本文中之前所描述的自动或半自动地确定。期望焦距可以等于或大于第一焦距或第二焦距中的至少一者。如果期望焦距大于第一焦距和第二焦距两者,那么相应的期望视场可以比第一视场(例如,第一图像的FOV)和第二视场(例如,第二图像的FOV)两者都要窄。如果期望焦距在第一焦距与第二焦距之间,那么相应的期望视场可以在第一视场与第二视场之间。如果期望焦距在第一焦距与第二焦距之间,那么相应的期望视场可以比第一视场更宽(例如,对应于用长焦光学镜头模块所获取的图像),但是比第二视场更窄(例如,对应于用广角镜头模块所获取的图像)。
在步骤502中,将期望焦距f与广角镜头模块(例如,具有较短焦距的镜头模块)的焦距fw进行比较。可以将期望焦距f限制为仅允许等于或大于第一焦距或第二焦距(例如,fw和ft)中的至少一者的输入。如果选择了比广角镜头模块的焦距短的焦距,那么可以输出错误消息(例如,在显示器上)以通知用户。
在步骤504中,对期望焦距f是否大于长焦镜头模块(例如,具有较大焦距的镜头模块)的焦距ft作出判断。如果期望焦距f大于长焦镜头模块的焦距ft,那么只有具有较大焦距的光学模块(例如,长焦镜头模块)所生成的图像可用于生成期望图像(例如,具有期望焦距的图像)。举例来说,可以将长焦镜头模块所生成的第一图像缩放倍并且对其进行裁切以模拟具有期望焦距的图像(例如,数字变焦)。在一些实施方式中,如果期望焦距大于长焦镜头模块的焦距,那么如本文中之前所描述,可以将经缩放的第一图像和经缩放的第二图像融合,从而生成图像(例如,无缝融合)。可以对融合图像进行裁切,从而使得组合图像的FOV完全由融合部分(例如,像素融合部分)组成。如果期望焦距小于长焦镜头模块的焦距,那么如本文中之前所描述,可以将经缩放的第一图像和经缩放的第二图像融合,从而生成组合图像。可以对融合图像进行裁切,从而使得组合图像的FOV由内部FOV和外部FOV组成,内部FOV由融合部分(例如,像素融合部分)组成,外部FOV由经缩放的第二图像(例如,具有更大FOV的图像)组成。组合图像可具有与期望焦距相对应的视场。
图6根据实施方式图示了具有大于第一焦距和第二焦距的期望FOV的图像。可以在一个或多个处理器处接收期望焦距。在一些实例中,可以使用第一镜头模块和第一传感器来获取第一图像,并且可以使用第二镜头模块和第二传感器来获取第二图像。在一些实例中,第一镜头模块可以是长焦镜头模块,而第二镜头模块可以是广角镜头模块。在一些实施方式中,第一传感器和第二传感器可以是相同的类型(例如,CMOS传感器)并且可具有相同特性(如相同的传感器大小)、具有相同的像素数量和/或具有相同的像素大小。如本文中之前所描述,可以将第一图像缩放倍,并且可以将第二图像缩放倍。
期望焦距可以大于第一镜头模块(例如,长焦镜头模块)的焦距。举例来说,图像602可以表示具有期望焦距的图像(例如,具有期望视场的图像、具有期望放大率的图像等)。具有大于第一镜头模块的焦距的焦距的图像的视场可具有比第一视场或第二视场中任一者更窄的视场。图像604可以表示经缩放的第一图像,而图像606可以表示经缩放的第二图像。当对准时,经缩放的第一图像和经缩放的第二图像可具有共同中心605。当对准时,经缩放的第一图像和经缩放的第二图像可具有由经缩放的第一图像的视场所限定的重叠部分。可以通过将图像604和图像606融合来生成图像602。可以对融合图像进行无缝整合。可以对融合图像进行裁切从而生成具有期望焦距的图像602。具有期望焦距的图像602可以仅由融合部分(例如,来自经缩放的第一图像与经缩放的第二图像的重叠部分的像素融合部分)组成。
图7根据实施方式图示了具有介于第一焦距和第二焦距之间的期望FOV的图像。期望焦距可以大于第二镜头模块(例如,广角镜头)的焦距,但是小于第一镜头模块(例如,长焦镜头模块)的焦距。举例来说,图像704可以表示具有期望焦距的图像(例如,具有期望视场的图像、具有期望放大率的图像等)。具有介于第一镜头模块的焦距与第二镜头模块的焦距之间的焦距的图像的视场可具有比第二视场更窄但是比第一视场更宽的视场。图像702可以表示经缩放的第一图像,而图像706可以表示经缩放的第二图像。当对准时,经缩放的第一图像和经缩放的第二图像可具有共同中心705。当对准时,经缩放的第一图像和经缩放的第二图像可具有由经缩放的第一图像的视场所限定的重叠部分。可以通过将图像702和图像706融合来生成图像704。可以对融合图像进行无缝整合。可以对融合图像进行裁切从而生成具有期望焦距的图像704。具有期望焦距的图像704可包括内部FOV(例如,内部部分)和外部FOV(例如,外部部分),内部FOV由融合部分(例如,像素融合部分)组成,外部FOV由经缩放的第二图像(例如,具有更大FOV的图像)组成。
图8根据实施方式图示了一种生成图像的方法。在步骤802中,借助于光学元件,将光分离成第一光束和第二光束。光可以来自单个源。光可以是单条光束。在一些实例中,多条光束可以接触光学元件并且每条光束都可以被分离成第一光束和第二光束。在一些实例中,如本文中之前所描述,光(例如,多条光束)可以通过单个孔径进入。光学元件可以基本上如本文所描述的那样(例如,分束器、半透明薄膜反光板、棱镜、半透明反射镜、半镀银反射镜等)。第一光束可以是光的反射分量,而第二光束可以是光的透射分量。在一些实施方式中,第一光束可以是光的透射分量,而第二光束可以是光的反射分量。
在步骤804中,借助于第一镜头模块使第一光束聚焦。可以借助于第一镜头模块将第一光束引导到第一传感器(例如,聚焦到第一传感器上)。第一镜头模块可包括至少一个镜头。在一些实施方式中,第一镜头模块包括被配置用于收容至少一个镜头的镜头筒。在一些实施方式中,第一镜头模块仅包括定焦镜头。在一些实施方式中,第一镜头模块可具有第一焦距。第一焦距可以是可小于或等于以下各项的焦距:1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。在一些实施方式中,基本上如本文中所描述,第一镜头模块包括广角镜头模块或长焦镜头模块。
在步骤806中,借助于第二镜头模块使第二光束聚焦。可以借助于第二镜头模块将第二光束引导到第二传感器(例如,聚焦到第二传感器上)。第二镜头模块可包括至少一个镜头。在一些实施方式中,第二镜头模块包括被配置用于收容至少一个镜头的镜头筒。在一些实施方式中,第二镜头模块仅包括定焦镜头。在一些实施方式中,第二镜头模块可具有第二焦距。第二焦距可以与第一焦距相同。第一焦距可以是可小于或等于以下各项的焦距:1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。在一些实施方式中,基本上如本文中所描述,第二光学模块包括广角镜头模块或长焦镜头模块。
第一镜头模块的光轴与第二镜头模块的光轴可以相重合(例如,相交)。举例来说,第一镜头模块的光轴与第二镜头模块的光轴可以相对于(例如,光学元件的)反射角和折射角的角平分线相重合。在一些实施方式中,第一镜头模块和第二镜头模块的光轴在光学元件上的一个点处恰好重合。举例来说,第一镜头模块和第二镜头模块的光轴可以在光学元件的表面上相交。在一些实施方式中,第一镜头模块的光轴与第二镜头模块的光轴相垂直。
在步骤808中,从被聚焦到第一传感器上的第一光束捕捉第一图像(例如,图像数据)。如本文中之前所描述,第一传感器可以协助捕捉第一图像(例如,通过将光学信息转换为数字信息)。如本文中之前所描述,第一传感器可以是CMOS传感器、CCD传感器、NMOS传感器、BSI-CMOS传感器。第一传感器可具有某些与其相关联的特性。举例来说,如本文中之前所描述,第一传感器可具有预定的大小、像素大小、像素数量等。第一图像可具有第一视场。在一些实例中,第一视场可以小于或等于180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°或15°。
在步骤810中,从被聚焦到第二传感器上的第二光束捕捉第二图像(例如,图像数据)。如本文中之前所描述,第二传感器可以协助捕捉第二图像(例如,通过将光学信息转换为数字信息)。如本文中之前所描述,第二传感器可以是CMOS传感器、CCD传感器、NMOS传感器、BSI-CMOS传感器。在一些实例中,第一传感器与第二传感器均可以是CMOS传感器。第二传感器可具有某些与其相关联的特性。举例来说,如本文中之前所描述,第二传感器可具有预定的大小、像素大小、像素数量等。第二传感器可具有与第一传感器不同的特性。举例来说,第一传感器和第二传感器可具有不同的大小(例如,物理大小)、不同的像素数量,和/或第一传感器和第二传感器上的每个像素的大小可以是不同的。在一些实例中,第一传感器在大小上大于第二传感器。在一些实施方式中,第一传感器上的每个单独的像素等于或大于第二传感器上的每个单独的像素。第二图像可具有第二视场。在一些实例中,第二视场可以小于或等于180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°或15°。第二视场可以不同于第一视场。举例来说,第二视场可以是第一视场的大约25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。在一些实例中,第二视场可以是比第一视场更窄的FOV。在第一图像与第二图像之间可能不存在视差。举例来说,物体在第一图像和第二图像内的表观位置不存在位移或差别。
方法800可以进一步包括借助于一个或多个处理器将第一图像与第二图像组合。将图像组合可包括缩放第一图像或第二图像。在一些实例中,将第一图像缩放倍。在一些实例中,将第二图像缩放倍。在一些实例中,仅对第一图像或第二图像进行缩放,而不是对两者都进行缩放。举例来说,仅对使用两个传感器之间的较大传感器(例如,第一传感器)所生成(例如,捕捉)的图像进行缩放。缩放第一图像和/或第二图像可以利用立方体插值算法或双线性插值算法。第一经缩放图像和第二图像可具有相同的相对放大率。举例来说,物体在第一经缩放图像和第二图像内的相对大小可以相同。将第一图像与第二图像组合可包括将经缩放的第一图像与第二图像融合。可以对融合图像进行无缝整合。举例来说,可以在第一经缩放图像与第二经缩放图像的视场相重叠的多个区域中将经缩放的第一图像与第二图像融合。如下面进一步描述的,如有必要,可以将经缩放的第一图像的部分用于第一经缩放的图像和第二经缩放的图像的视场不相重叠的区域中。举例来说,经缩放的第一图像与第二图像可以对准(例如,在中心)。经缩放的第一图像可以包含第二图像。所对准的经缩放的第一图像和第二图像可包括重叠区域和非重叠区域。举例来说,第二图像的全部和经缩放的第一图像的内部部分可包括重叠区域。经缩放的第一图像的外部部分可包括非重叠区域。可以使用拉普拉斯金字塔算法或加权平均算法将经缩放的第一图像与第二图像融合。在一些实施方式中,将经缩放的第一图像与第二图像融合可包括像素融合。相比于经缩放的第一图像和第二图像,融合图像在重叠区域中可具有质量更好的图像。本文中所使用的质量更好的图像可以指比另一个图像具有更高分辨率或更多信息的图像。
在一些实施方式中,可以在一个或多个处理器处接收期望视场。期望视场可以对应于期望放大率、期望变焦、期望焦距等。举例来说,如本文中之前所描述,期望视场可以由用户输入(例如,通过实时地对环境的图像进行变焦)。期望视场可以等于或窄于第一视场或第二视场中的至少一者。可以将期望视场限制成仅允许等于或窄于第一视场或第二视场中的至少一者的输入。如果选择了比第一视场和第二视场都要宽的视场,那么可以输出错误消息(例如,在显示器上)以通知用户。
可以对期望视场是否比第一视场和第二视场中较窄的那个更窄作出判断。如果期望视场比第一视场和第二视场更窄,那么只有较大传感器(例如,第一传感器)所生成的图像可用于生成期望图像(例如,具有期望视场的图像)。举例来说,可以对由较大传感器(例如,第一传感器)所生成的图像进行数字变焦,并且可以对图像进行裁切以模拟具有期望视场的图像。在一些实施方式中,如果期望视场比使用较小传感器(例如,第二传感器)生成的图像的视场更窄,那么如本文中之前所描述,可以将经缩放的第一图像和第二图像(例如,非缩放的)融合,从而生成图像。融合图像可以被缩放至期望大小和/或在适当时被裁切从而生成期望FOV。组合图像可以完全由融合部分(例如,像素融合部分)组成。如果期望视场比使用较小传感器生成的图像的视场更宽(例如,但是比使用较大传感器生成的图像的视场更窄),那么如本文中之前所描述,可以将经缩放的第一图像与第二图像融合,从而生成组合图像。融合图像可以被缩放至期望大小和/或在适当时被裁切以便生成期望FOV。组合图像可以由内部FOV和外部FOV组成,内部FOV由融合部分(例如,像素融合部分)组成,外部FOV由经缩放的第一图像(例如,具有更大FOV的图像)组成。组合图像可具有与期望视场相对应的视场。
图9根据实施方式图示了具有期望FOV的图像。可以在一个或多个处理器处接收期望视场。在一些实例中,可以使用第一镜头模块和第一传感器来获取第一图像,并且可以使用第二镜头模块和第二传感器来获取第二图像。在一些实例中,第一镜头模块和第二镜头模块可以是相同类型的和/或具有相同特性。在一些实施方式中,第一传感器和第二传感器可具有不同的特性(如不同的传感器大小、不同的像素数量),和/或具有不同的像素大小。在一些实施方式中,相比于第二传感器,第一传感器具有更大的大小,并且第一传感器上的每个单独的像素大小都可以等于或大于第二传感器上的每个单独的像素大小。在这种情况下,如本文中之前所描述,可以将第一图像缩放倍。举例来说,图像906可以表示经缩放的第一图像,而图像902可以表示第二图像。当对准时,经缩放的第一图像和第二图像可具有共同中心905。当对准时,经缩放的第一图像和第二图像可具有由第二图像的视场所限定的重叠部分。
期望视场可以比第二图像(例如,具有较窄FOV的图像)的视场更窄。举例来说,图像908可以表示具有期望视场的图像(例如,具有期望视场的图像、具有期望放大率的图像等)。可以通过将图像902和图像906融合来生成图像908。可以对融合图像进行无缝整合。融合图像可以被裁切从而生成具有期望视场的图像908和/或被缩放至期望大小(例如,期望放大率)。具有期望视场的图像908可以仅包括融合部分(例如,像素融合部分)。
期望视场可以比第二图像(例如,具有较窄FOV的图像)的视场更宽,但是比第一图像(例如,具有较宽FOV的图像)的视场更窄。举例来说,图像904可以表示具有期望视场的图像。可以通过将图像902和图像906融合来生成图像904。融合图像可以被裁切从而生成具有期望视场的图像904和/或被缩放至期望大小(例如,期望放大率)。具有期望焦距的图像904可包括内部FOV(例如,内部部分)910和外部FOV(例如,外部部分)912,内部FOV由融合部分(例如,像素融合部分)组成,外部FOV由经缩放的第一图像(例如,具有较大FOV的图像)组成。
图10根据实施方式图示了包括内部FOV和外部FOV的图像1000,内部FOV由融合部分1002(例如,像素融合部分)组成,外部FOV由非融合部分1004组成。举例来说,图像1000可以图示如关于图7所描述的具有介于长焦镜头模块和广角镜头模块的焦距之间的期望焦距的图像。备选地,图像1000可以图示如关于图9所描述的具有介于第一FOV(例如,第一经缩放图像的FOV)与第二FOV(例如,第二图像的FOV)之间的期望FOV的图像。
如本文中所使用的成像系统可以安装在静止物体或可移动物体上。可移动物体可能够进行自推进式移动(例如,载运工具),而静止物体可能无法进行自推进式移动。在一些实施方式中,可移动物体可以是无人飞行器(UAV)。UAV可以具有可以准许UAV在空中来回移动的一个或多个推进单元。UAV可以是旋翼机。在一些实例中,UAV可以是可包括多个旋翼的多旋翼机。多个旋翼可能够进行旋转以生成UAV的升力,从而使得UAV能够在空中自由地来回移动(例如,以多达三个平移自由度和/或三个旋转自由度)。在一些实施方式中,本公开的成像系统可以机载于UAV上。下面进一步详细地提供了适合于与本公开的实施方式一起使用的可移动物体的附加示例。
图11根据实施方式图示了无人飞行器(UAV)1100,无人飞行器搭载了具有两个或更多个光学模块的成像系统。本文中对UAV所支撑的成像系统的任何描述都可以适用于任何其他类型的成像系统,或由任何可移动物体支撑的成像系统。UAV可具有本体1120。在一些实例中,本体可以是中央本体,所述中央本体可具有一个或多个分支构件或“臂”。这些臂可以以径向方式从中央本体向外延伸并且可以通过中央本体接合。臂的数量可以与UAV的推进单元1125或旋翼的数量相匹配。主体可包括壳体。壳体可以将UAV的一个或多个部件封闭在壳体内。在一些实例中,UAV的一个或多个电子部件可以设置于壳体内。举例来说,UAV的飞行控制器可以设置于壳体内。飞行控制器可以控制UAV的一个或多个推进单元的操作。
成像系统1130可以由UAV支撑。成像系统可以直接耦合到UAV或者可以通过载体耦合到UAV。成像系统可包括多个光学模块。举例来说,可以提供一个、两个、三个、四个、五个、六个或更多光学模块。对第一光学模块和第二光学模块的任何描述都可以适用于任何数量的光学模块。如本文中之前所描述,可以将成像系统1130封闭在壳体内(例如,不透光的壳体)。在一些实例中,可以提供用于接收光的孔径1180。可以提供一个、两个、三个、四个、五个或更多孔径。成像系统所接收的任何光在被成像系统的其他部件接收之前都可以穿过孔径1180。孔径1180可以是相对于UAV、相对于壳体和/或相对于成像系统的其他部件可移动的。举例来说,孔径可以是相对于壳体或UAV可平移的。举例来说,孔径可以是相对于壳体或UAV可旋转的。
第一光学模块可以收容在第一位置1140内,并且第二光学模块可以收容在第二位置1160内。第一光学模块和第二光学模块可以刚性耦合到UAV。备选地,可以准许第一光学模块和第二光学模块关于多达六个自由度相对于UAV 1120移动。第一光学模块和第二光学模块可以直接安装到UAV上,或者耦合到安装到UAV上的支撑结构。在一些实施方式中,第一光学模块和第二光学模块可以是UAV的有效载荷的元件。在一些实施方式中,第一光学模块和第二光学模块可以安装于UAV的载体上。在一些实施方式中,载体可以是云台。在一些实例中,第一光学模块和/或第二光学模块可以通过载体而相对于UAV的一个或多个推进单元可移动。举例来说,载体可以准许第一光学模块和/或第二光学模块围绕至少一条轴线旋转。任选地,载体准许第一光学模块和/或第二光学模块围绕至少两条或三条轴线旋转。第一光学模块和/或第二光学模块可以是相对于UAV的中央本体可移动的。第一光学模块和/或第二光学模块可以沿着一条、两条、三条或更多轴线相对于UAV的中央本体平移。
在一些实施方式中,第一光学模块和第二光学模块可具有相同的大小。举例来说,第一光学模块和第二光学模块可具有相同的体积。第一光学模块和第二光学模块可具有相同尺寸中的一个、两个或三个尺寸(例如,长度、宽度、高度)。第一光学模块和第二光学模块可具有相同的高度。备选地,第一光学模块和第二光学模块可具有不同的大小。举例来说,第一光学模块和第二光学模块可具有不同的体积。第一光学模块可具有第二光学模块的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%的体积。第一光学模块和第二光学模块可具有一个、两个、或三个不同尺寸(例如,长度、宽度、高度)。第一光学模块和第二光学模块可具有不同的高度。第一光学模块可具有第二光学模块的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%的重量。
成像系统的每个模块都可具有相同的光学设置。备选地,成像系统的每个模块都可具有不同的光学设置,或者成像系统的至少两个光学模块可具有不同的光学设置。在一些实施方式中,第一光学模块可具有静止镜头,而第二光学模块可具有可移动镜头。在其他实施方式中,第一光学模块和第二光学模块可具有可移动镜头,这些可移动镜头可具有不同的尺寸或形状或者可以移动不同的量。成像系统的光学模块可以相对于彼此保持静止。光学模块可以相对于彼此保持静止,而成像系统相对于环境而移动。备选地,光学模块可以是相对于彼此可移动的。
成像系统的每个光学模块都可以用视场捕捉环境的图像。成像系统的每个光学模块都可以如本文中之前所描述的那样捕捉图像(例如,没有光学视差、沿着相同的视线、具有相同的中心、具有不同的视场等)。成像系统所捕捉的视场可能受到多种因素的影响。在一些实例中,UAV 1100的方向和/或方位可能影响待由成像系统捕捉的图像的FOV。在一些实例中,载体(例如,云台)的配置可能影响FOV。在一些实例中,对成像系统部件的配置可能影响待捕捉的图像的FOV。举例来说,孔径1180的移动可能影响待捕捉的图像的FOV的变化。举例来说,期望FOV的变化可能影响待捕捉的图像的FOV的变化。
在一些实例中,可以通过输入装置(如遥控器)来控制待捕捉的图像的FOV。在一些实例中,遥控器可以控制UAV(例如,UAV的速度、方位、移动、位置等)、载体(例如,云台的方位、位置等)和/或成像系统(例如,镜头模块的焦距、待捕捉的图像的期望焦距、孔径方位、曝光等)。在一些实例中,遥控器可包括用于显示待由成像系统捕捉的环境的FOV的显示器。举例来说,显示器可以显示待由成像系统实时地捕捉的环境的图像。显示器中所显示的图像可以响应于UAV、载体和或成像系统的变化而变化。在一些实例中,显示器可以显示组合图像(例如,融合图像)。组合图像可以是由第一光学模块捕捉的图像和/或由第二光学模块捕捉的图像的经缩放图像和/或融合图像。组合图像可以如图10中所描述的(例如,具有内部FOV(例如,内部部分)和外部FOV(例如,外部部分),内部FOV由融合部分(例如,像素融合部分组成,外部FOV由经缩放图像组成。在一些实例中,如下面进一步描述的,用户可以选择待在显示器中显示的FOV。
图12根据实施方式图示了一种生成图像的方法1200。用于捕捉和/或生成图像的成像装置可以耦合到UAV。如本文中之前所描述,成像装置可包括光学元件、第一镜头模块、第二镜头模块、第一传感器和第二传感器和/或一个或多个处理器。
在步骤1202中,可以实现无人飞行器的飞行。在一些实例中,可以手动、半自动或自动地实现UAV的飞行。举例来说,UAV可以被配置用于飞行并遵循预先配置的路径。在一些实例中,可以由用户手动控制(例如,使用遥控器)UAV的飞行。成像装置可以被配置用于在实现UAV的飞行的同时捕捉环境的图像(例如,实时地)。在一些实例中,可以提供控制器。如本文中之前所描述,控制器可以控制UAV、耦合到UAV的载体(例如,云台)和/或耦合到UAV的成像装置的多个方面。控制器可以以许多不同的方式影响待由成像装置捕捉的视场。举例来说,控制UAV的位置和/或方位可以影响待捕捉的图像的FOV。举例来说,控制载体的位置和/或方位可以影响待捕捉的图像的FOV。举例来说,控制成像装置的参数可以影响待捕捉的图像的FOV。在一些实例中,可以(例如向用户)提供显示器,用户可以控制成像装置的操作(例如,相对于UAV的方向、光学变焦等)或者在显示器中显示的内容(例如,数字变焦、输入期望焦距等)。可以实时地接收用户的输入。
在成像装置处接收光的步骤1204、将光分离成第一光束和第二光束的步骤1206、借助于第一镜头模块使第一光束聚焦的步骤1208、借助于第二光学模块使第二光束聚焦的步骤1210、从通过第一镜头模块聚焦到第一传感器上的第一光束捕捉第一图像的步骤1212以及从通过第二镜头模块聚焦到第二传感器上的第二光束捕捉第二图像的步骤1214可以如本文之前所描述的那样(例如,如关于图2、4、8所描述的)。如本文中之前所描述,方法1200可以进一步包括借助于一个或多个处理器将第一图像与第二图像组合。在一些实例中,如本文中之前所描述,可以在显示器上显示组合图像。可以实时地显示组合图像。
在一些实例中,用户可以选择待在显示器中显示的FOV。举例来说,用户可以选择待在显示器中显示的较宽或较窄的FOV。举例来说,用户可以通过控制器上的输入(例如,物理按钮或通过触摸屏输入)来放大或缩小显示器中所显示的图像。在一些实例中,用户可以通过控制器上的输入来调节显示器中所显示的FOV。举例来说,用户可以调节FOV,使得通过控制器上的物理按钮或者通过在触摸屏上的输入来使FOV平移(例如,上、下、左、右)和/或旋转。在一些实例中,用户可以选择(例如,通过触摸屏上的输入)显示器内所显示的点、部分或物体。举例来说,用户可以用手指轻触显示器内所显示的点、部分或物体。可以对显示器中所显示的图像进行重新定中心,从而使得用户所选择的点、部分或物体可以在这种选择之后位于显示器的中心。在重新定中心之后,显示器中所显示的图像可以(再次)包括由融合部分组成的内部FOV和由经缩放图像组成的外部FOV。举例来说,可以高质量(例如,高分辨率、像素融合部分)来显示所选择的点、部分或物体。
上文所描述的系统和方法可以准许用户观察对任意视场的显示。在一些实例中,具有宽视场的图像可以在显示器上显示。与在图像的边缘处或边缘附近相比,图像在图像的中心或中心附近可以具有不同的质量(例如,分辨率)和/或显示不同的细节。举例来说,如果选择了高于至少一个光学模块的视场的期望视场(例如,用户所选择的视场),那么图像的内部部分可具有比图像的外部部分更高的分辨率(例如,细节)。在一些实例中,用户可以观察同时仍然具有高度详细的中心部分的宽视场图像。
能够观察具有宽视场的图像(例如,在显示器上)可以使用户能够具有对环境的更清楚的认识,这对一般摄影和/或UAV操作是有用的。然而,虽然在显示器上显示宽视场图像,但本文中所描述的成像系统可以同时获取并显示在图像的中心部分具有较窄视场的详细图像(例如,经缩放的图像、放大的图像等)。可以对图像的内部(例如,中央)部分和外部(例如,周边)部分进行无缝整合(例如,通过图像融合)。在一些实例中,具有详细的中心部分对于一般摄影和/或UAV操作可能是有用的。在一些实例中,详细的中心部分可以包含在具有宽视场的图像(例如,非融合图像)中可能不存在的有用信息。在一些实例中,有用信息可以是可由用户和/或一个或多个处理器识别的。举例来说,用户和/或一个或多个处理器可能能够对在具有宽视场的图像(例如,非融合图像)中不会存在的感兴趣的点或者物体进行识别。在一些实例中,用户可以选择(例如,轻触)图像的内部部分的一部分,以便对图像进行放大。在一些实例中,用户可以滑动显示器的屏幕,以便改变显示器中所显示的图像的视场的中心。在一些实例中,用户可以轻触图像的外部部分的一部分,以便对所轻触的图像的外部部分进行重新定中心。
响应于用户选择的FOV变化可以受UAV的位置或方位的变化、载体的位置或方位的变化和/或成像系统的配置的变化影响。在一些实例中,响应于用户选择的FOV变化可以根据预定层级结构或根据设定标准而受影响。举例来说,响应于选择显示器中所显示的点,可以在影响对载体和/或UAV的配置之前首先影响对成像系统的配置(例如,孔径的方位)。
在上文所讨论的实施方式中,可以通过本发明的成像系统来捕捉、组合以及显示图像。然而,成像系统还可用于捕捉和显示视频。在一些实施方式中,如上文所讨论,可以显示由具有第一FOV或第一焦距的第一光学模块捕捉的第一视频和由具有第二FOV或第二焦距的第二光学模块捕捉的第二视频中的两者或一者。备选地,第一光学模块和第二光学模块之一可以捕捉图像,而第一光学模块和第二光学模块中的另一个光学模块可以捕捉视频。可以以如上文所讨论的方式来显示所捕捉的图像和视频中的两者或仅一者。在一些实施方式中,可以显示从第一视频和第二视频生成的组合视频。
光学模块的数量可以不一定是两个。在一些实施方式中,本发明的成像系统可包括三个或更多光学模块,这些光学模块被配置用于从相同的方向捕捉图像和/或视频。在这种情况下,可以以上文所讨论的方式选择性地显示由多个光学模块捕捉的任意数量的多个图像和/或视频。
本发明的具有多个光学模块的成像系统可能特别适合于飞行器(如UAV)或小型可移动物体(如手机)。
在一些实例中,多个光学模块可以是轻重量的;因此,机载于UAV上的一个或多个额外的光学模块可以不向UAV添加大负载或者对UAV的灵活性和寿命造成不利影响。在一些实例中,如果与常规光学模块(如具有一组光学镜头的变焦型光学模块)进行比较,多个光学模块的尺寸可能较小。
搭载了本发明的具有多个光学模块的成像系统的UAV可以方便用户观察图像和/或视频。在一些实例中,用户可以通过具有适度焦距或焦距范围的第一光学模块观察由UAV捕捉到的场景的图像和/或视频。如果用户对所显示的场景的一部分特别感兴趣,那么用户可以通过具有较大焦距或焦距范围的第二光学模块来观察感兴趣的场景点或部分的放大视图,或者观察从第一光学模块和第二光学模块两者所捕捉的图像数据生成的组合图像。
搭载了本发明的具有多个光学模块的成像系统的UAV可以提供与用户的更加具有交互性的操作。在一些实例中,用户可以观察由来回飞行的UAV捕捉的图像和/或视频,并且在所显示的图像和/或视频上选择感兴趣的点或部分。可以通过操作显示装置或UAV上所设置的按钮来实现对感兴趣的点或部分的选择。备选地,可以通过触摸在远程终端的屏幕上显示的软按钮来实现对感兴趣的点的选择。任选地,可以通过用户的多个手指触摸远程终端的屏幕来实现对感兴趣的部分的选择。用户可以选择待进一步在初始图像上显示的感兴趣的点或部分的期望变焦、FOV和/或焦距。任选地,用户可以选择待进一步在初始图像上显示的感兴趣的点或部分的位置、大小、形状和/或图案。
本文中所描述的系统、装置和方法可以适用于各种各样的物体,包括可移动物体和静止物体。如前文所提到的,本文中对飞行器(如UAV)的任何描述都可以适用于或用于任何可移动物体。本文中对飞行器的任何描述可以专用于UAV。本发明的可移动物体可以被配置用于在任何合适的环境内移动,如在空中(例如,固定翼飞机、旋转翼飞机或者既不具有固定翼也不具有旋翼的飞机)、在水中(例如,船舶或潜艇)、在地面上(例如,机动车辆,如汽车、卡车、公交车、厢式货车、摩托车、自行车;可移动结构或框架,如棒状物、钓鱼竿;或火车)、在地下(例如,地铁)、在太空中(例如,航天飞机、卫星或探测器),或者这些环境的任何组合。可移动物体可以是载运工具,如本文中其他地方所描述的载运工具。在一些实施方式中,可移动物体可以由生物(例如,人或动物)携带或从生物脱下。合适的动物可包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫。
可移动物体可能能够在环境内关于六个自由度(例如,三个平移自由度和三个旋转自由度)自由地移动。备选地,可移动物体的移动可关于一个或多个自由度受限制,如受预定路线、轨道或方位限制。可以通过任何合适的致动机构(如引擎或电机)来致动所述移动。可移动物体的致动机构可以由任何合适的能源来供电,合适能源如电能、磁能、太阳能、风能、重力能、化学能、核能或上述能源的任何合适组合。如本文中其他地方所描述,可移动物体可以通过推进系统来自推进。推进系统可以任选地靠消耗能源运行,所述能源如电能、磁能、太阳能、风能、重力能、化学能、核能或上述能源的任何合适组合。备选地,可移动物体可以由生物携带。
在一些实例中,可移动物体可以是飞行器。举例来说,飞行器可以是固定翼飞行器(例如,飞机、滑翔机)、旋转翼飞行器(例如,直升机、旋翼机)、既有固定翼又有旋翼的飞行器,或既无固定翼也无旋翼的飞行器(例如,飞艇、热气球)。飞行器可以是自推进式的,如通过空气自推进。自推进飞行器可以利用推进系统,如包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或其任何合适组合的推进系统。在一些实例中,推进系统可以用于使可移动物体从表面起飞、降落在表面上、保持其当前位置和/或方位(例如,悬停)、改变方位和/或改变位置。
可移动物体可以由用户远程控制或者由可移动物体之内或之上的乘员进行本地控制。可以通过单独的载运工具内的乘员来远程地控制可移动物体。在一些实施方式中,可移动物体是无人可移动物体,如UAV。无人可移动物体(如UAV)可以没有载于可移动物体上的乘员。可移动物体可以由人或自主控制系统(例如,计算机控制系统)或其任何合适组合来控制。可移动物体可以是自主或半自主的机器人,如配置有人工智能的机器人。
可移动物体可具有任何合适的大小和/或尺寸。在一些实施方式中,可移动物体可具有一定大小和/或尺寸从而在载运工具内或上容纳人类乘员。备选地,可移动物体可具有比能够在载运工具内或上容纳人类乘员的大小和/或尺寸小的大小和/或尺寸。可移动物体可以具有适合于被人提起或搬运的大小和/或尺寸。备选地,可移动物体可以比适合于被人提起或搬运的大小和/或尺寸更大。在一些实例中,可移动物体可具有小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如,长度、宽度、高度、直径、对角线)。最大尺寸可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。举例来说,可移动物体的相对旋翼的轴之间的距离可以小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地,相对旋翼的轴之间的距离可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中,可移动物体可具有小于100cm×100cm×100cm、小于50cm×50cm×30cm或小于5cm×5cm×3cm的体积。可移动物体的总体积可小于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地,可移动物体的总体积可大于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3
在一些实施方式中,可移动物体可具有小于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2的占用面积(其可以指由可移动物体所包围的横截面面积)。相反地,所述占用面积可大于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2
在一些实例中,可移动物体可以重不超过1000kg。可移动物体的重量可小于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地,所述重量可大于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中,可移动物体相对于所述可移动物体所搭载的负载可以较小。如本文中其他地方进一步详细描述,负载可包括有效载荷和/或载体。在一些示例中,可移动物体重量与负载重量的比可大于、小于或等于约1∶1。在一些实例中,可移动物体重量与负载重量的比可大于、小于或等于约1∶1。任选地,载体重量与负载重量的比可大于、小于或等于约1∶1。当需要时,可移动物体重量与负载重量的比可小于或等于:1∶2、1∶3、1∶4、1∶5、1∶10,或甚至更小。相反地,可移动物体重量与负载重量的比也可以大于或等于:2∶1、3∶1、4∶1、5∶1、10∶1,或甚至更大。
在一些实施方式中,可移动物体可具有低能耗。举例来说,可移动物体可使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更少。在一些实例中,可移动物体的载体可具有低能耗。举例来说,载体可使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更少。任选地,可移动物体的有效载荷可具有低能耗,如小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更少。
图13根据本发明实施方式图示了无人飞行器(UAV)1300。UAV可为如本文中所描述的可移动物体的示例,使电池组件进行放电的方法和设备可以应用于UAV。UAV 1300可包括推进系统,所述推进系统具有四个旋翼1302、1304、1306和1308。可提供任何数量的旋翼(例如,一个、两个、三个、四个、五个、六个或更多个)。无人飞行器的旋翼、旋翼组件或其他推进系统可使无人飞行器能够悬停/保持位置、改变方位和/或改变位置。相对旋翼的轴之间的距离可以是任何合适长度1310。举例来说,长度1310可以小于或等于2m或者小于等于5m。在一些实施方式中,长度1310可以在40cm到1m、10cm到2m或者5cm到5m的范围内。本文中对UAV的任何描述可应用于可移动物体(如不同类型的可移动物体),反之亦然。UAV可以使用如本文中所描述的起飞辅助系统或方法。
在一些实施方式中,可移动物体可以被配置用于搭载负载。负载可包括乘客、货物、设备、仪器以及类似物中的一种或多种。负载可以设置在壳体内。壳体可与可移动物体的壳体相分离,或者是可移动物体的壳体的部分。备选地,负载可以具备壳体,而可移动物体没有壳体。备选地,负载的部分或整个负载可以不具备壳体。负载可以相对于可移动物体刚性固定。任选地,负载可以相对于可移动物体是可移动的(例如,相对于可移动物体可平移或可旋转)。如本文中其他地方所描述,负载可包括有效载荷和/或载体。
在一些实施方式中,可移动物体、载体以及有效载荷相对于固定参照系(例如,周围环境)和/或相对于彼此的移动可以由终端来控制。终端可以是远离可移动物体、载体和/或有效载荷位置处的遥控装置。终端可以设置在支撑平台上或固定到支撑平台。备选地,终端可以为手持式或可穿戴式装置。举例来说,终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风,或其适合组合。终端可以包括用户接口,如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入可以用于与终端进行交互,如手动输入的命令、声音控制、手势控制或位置控制(例如,通过终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或有效载荷的任何合适的状态。举例来说,终端可以用于控制可移动物体、载体和/或有效载荷相对于固定参照物和/或相对于彼此的位置和/或方位。在一些实施方式中,终端可以用于控制可移动物体、载体和/或有效载荷的单独元件,如载体的致动组件、有效载荷的传感器或有效载荷的发射器。终端可以包括适合与可移动物体、载体或有效载荷中的一个或多个进行通信的无线通信装置。
终端可以包括用于观察可移动物体、载体和/或有效载荷的信息的合适显示单元。举例来说,终端可以被配置用于显示可移动物体、载体和/或有效载荷的关于位置、平移速度、平移加速度、方位、角速度、角加速度或其任何组合的信息。在一些实施方式中,终端可以显示由有效载荷提供的信息,如由功能性有效载荷提供的数据(例如,由相机或其他图像捕捉装置记录的图像)。
任选地,同一终端可以既控制可移动物体、载体和/或有效载荷或者可移动物体、载体和/或有效载荷的状态,又接收和/或显示来自可移动物体、载体和/或有效载荷的信息。举例来说,终端可以控制有效载荷相对于环境的定位,同时显示由有效载荷捕捉到的图像数据或者关于有效载荷的位置信息。备选地,不同的终端可用于不同的功能。举例来说,第一终端可控制可移动物体、载体和/或有效载荷的移动或状态,而第二终端可接收和/或显示来自可移动物体、载体和/或有效载荷的信息。举例来说,第一终端可用于控制有效载荷相对于环境的定位,而第二终端显示由有效载荷捕捉到的图像数据。可以在可移动物体与既控制可移动物体又接收数据的一体式终端之间或者可以在可移动物体与既控制可移动物体又接收数据的多个终端之间使用各种通信模式。举例来说,可以在可移动物体与既控制可移动物体又从可移动物体接收数据的终端之间形成至少两种不同的通信模式。
图14根据本发明实施方式图示了包括载体1402和有效载荷1404的可移动物体1400。尽管可移动物体1400被描述成飞行器,但是此描绘不旨在受限制,并且可以使用任何合适类型的可移动物体,如本文之前所描述。本领域技术人员将认识到,本文在飞行器系统的背景下所描述的任何实施方式可以应用于任何合适的可移动物体(例如,UAV)。在一些实例中,有效载荷1404可以无需载体1402而设置在可移动物体1400上。可移动物体1400可包括推进机构1406、感测系统1408以及通信系统1410。
如前文所描述,推进机构1406可以包括旋翼、螺旋桨、浆叶、引擎、电机、轮子、轮轴、磁铁或者喷嘴中的一个或多个。可移动物体可具有一个或多个、两个或更多个、三个或更多个或者四个或更多个推进机构。这些推进机构可全部是同一种类型。备选地,一个或多个推进机构可以为不同类型的推进机构。推进机构1406可以使用任何合适的手段(如本文中其他地方所描述的支撑元件(例如,驱动轴))安装在可移动物体1400上。推进机构1406可以安装在可移动物体1400的任何合适部分上,如在顶部、底部、前部、后部、侧部或其合适的组合上。
在一些实施方式中,推进机构1406可以使可移动物体1400能够从表面垂直地起飞或者垂直地降落到表面上,而不需要可移动物体1400的任何水平运动(例如,不需要在跑道上滑行)。任选地,推进机构1406可操作用于准许可移动物体1400在指定的位置和/或方位悬停在空中。可以独立于其他推进机构来控制推进机构1400中的一个或多个推进机构。备选地,推进机构1400可以被配置用于同时受到控制。举例来说,可移动物体1400可具有多个水平朝向的旋翼,水平朝向的旋翼可以为可移动物体提供升力和/或推力。所述多个水平朝向的旋翼可以被致动从而为可移动物体1400提供垂直起飞能力、垂直降落以及悬停能力。在一些实施方式中,水平朝向的旋翼中的一个或多个旋翼可沿顺时针方向自旋,同时水平朝向的旋翼中的一个或多个旋翼可沿逆时针方向自旋。举例来说,顺时针旋翼的数量可与逆时针旋翼的数量相同。每个水平朝向的旋翼的旋转速率可以独立地变化,以控制由每个旋翼产生的升力和/或推力,并且由此调整可移动物体1400的空间布局、速度和/或加速度(例如,关于多达三个平移度和多达三个旋转度)。
感测系统1408可以包括一个或多个传感器,所述一个或多个传感器可感测可移动物体1400的空间布局、速度和/或加速度(例如,关于多达三个平移度和多达三个旋转度)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。由感测系统1408提供的感测数据可以用于控制可移动物体1400的空间布局、速度和/或方位(例如,使用合适的处理单元和/或控制模块,如下文所描述)。备选地,感测系统1408可以用于提供关于可移动物体周围的环境的数据,如天气条件、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等等。
通信系统1410使能够通过无线信号1416与具有通信系统1414的终端1412进行通信。通信系统1410、1414可包括任何数量的适于无线通信的发射器、接收器和/或收发器。通信可为单向通信,从而使得数据可以在仅一个方向上传输。举例来说,单向通信可仅涉及可移动物体1400向终端1412传输数据,或反之亦然。数据可以从通信系统1410的一个或多个发射器传输到通信系统1412的一个或多个接收器,或反之亦然。备选地,通信可为双向通信,从而使得数据可以在可移动物体1400与终端1412之间在两个方向上进行传输。双向通信可以涉及从通信系统1410的一个或多个发射器传输数据到通信系统1414的一个或多个接收器,反之亦然。
在一些实施方式中,终端1412可以向可移动物体1400、载体1402以及有效载荷1404中的一个或多个提供控制数据,并且从可移动物体1400、载体1402以及有效载荷1404中的一个或多个接收信息(例如,可移动物体、载体或有效载荷的位置和/或运动信息;由有效载荷感测到的数据,如由有效载荷相机捕捉的图像数据)。在一些情况下,来自终端的控制数据可包括用于可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制的指令。举例来说,控制数据可导致修改可移动物体的位置和/或方位(例如,通过控制推进机构1406)或者有效载荷相对于可移动物体的移动(例如,通过控制载体1402)。来自终端的控制数据可导致对有效载荷的控制,如控制相机或者其他图像捕捉装置的操作(例如,获得静态或者动态图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视场)。在某些例子中,来自可移动物体、载体和/或有效载荷的通信可包括来自(例如,感测系统1408的传感器或有效载荷1404的)一个或多个传感器的信息。通信可包括来自一种或多个种不同类型的传感器(例如,GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这种信息可以与可移动物体、载体和/或有效载荷的位置(例如,位置、方位)、移动或加速度有关。来自有效载荷的这种信息可包括由有效载荷捕捉到的数据或有效载荷的感测状态。由终端1412提供的控制数据可以被配置用于控制可移动物体1400、载体1402或有效载荷1404中的一个或多个的状态。备选地或组合地,载体1402和有效载荷1404还可以各自包括通信模块,所述通信模块被配置用于与终端1412通信,从而使得所述终端可以独立地与可移动物体1400、载体1402以及有效载荷1404中的每一者通信并且对其进行控制。
在一些实施方式中,可移动物体1400可以被配置用于与除了终端1412之外或者代替终端1412的另一个远程装置通信。终端1412还可以被配置用于与另一个远程装置以及可移动物体1400通信。举例来说,可移动物体1400和/或终端1412可与另一个可移动物体或另一个可移动物体的载体或有效载荷通信。当需要时,远程装置可为第二终端或者其他计算装置(例如,计算机、膝上型计算机、平板计算机、智能电话或者其他移动装置)。远程装置可以被配置用于将数据传输到可移动物体1400,接收来自可移动物体1400的数据,将数据传输到终端1412,和/或接收来自终端1412的数据。任选地,远程装置可以连接到互联网或其他电信网络,从而使得从可移动物体1400和/或终端1412接收到的数据可以被上传到网站或服务器。
图15是根据本发明实施方式的用于控制可移动物体的系统1500的框图示意图。系统1500可以与本文中所公开的系统、装置以及方法的任何合适实施方式结合使用。系统1500可以包括感测模块1502、处理单元1504、非暂时性计算机可读介质1506、控制模块1508以及通信模块1510。
感测模块1502可以利用不同类型的传感器,这些传感器以不同的方式收集与可移动物体相关的信息。不同类型的传感器可感测不同类型的信号或来自不同来源的信号。举例来说,传感器可包括惯性传感器、GPS传感器、近距离传感器(例如,激光雷达)或视觉/图像传感器(例如,相机)。感测模块1502可以操作性地耦合到具有多个处理器的处理单元1504。在一些实施方式中,所述感测模块可以操作性地耦合到传输模块1512(例如,Wi-Fi图像传输模块),所述传输模块被配置用于直接将感测数据传输到合适的外部装置或系统。举例来说,传输模块1512可以用于将由感测模块1502的相机捕捉到的图像传输到远程终端。
处理单元1504可以具有一个或多个处理器,如可编程处理器(例如,中央处理单元(CPU))。处理单元1504可以操作性地耦合到非暂时性计算机可读介质1506。非暂时性计算机可读介质1506可以存储可由处理单元1504执行以用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如,可移除式介质或外部存储器,如SD卡或随机存取存储器(RAM))。在一些实施方式中,来自感测模块1502的数据可以直接被传送至并存储在非暂时性计算机可读介质1506的存储器单元中。非暂时性计算机可读介质1506的存储器单元可以存储可由处理单元1504执行以执行本文中所描述的方法的任何合适实施方式的逻辑、代码和/或程序指令。举例来说,处理单元1504可以被配置用于执行多条指令,这些指令导致处理单元1504的一个或多个处理器分析由感测模块产生的感测数据。这些存储器单元可以存储来自感测模块的待由处理单元1504处理的感测数据。在一些实施方式中,非暂时性计算机可读介质1506的存储器单元可以用于存储由处理单元1504产生的处理结果。
在一些实施方式中,处理单元1504可以操作性地耦合到控制模块1508,所述控制模块被配置用于控制可移动物体的状态。举例来说,控制模块1508可以被配置用于控制可移动物体的推进机构,从而调整可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地,控制模块1508可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元1504可以操作性地耦合到通信模块1510,所述通信模块被配置用于传输和/或接收来自一个或多个外部装置(例如,终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段,如有线通信或无线通信。举例来说,通信模块1510可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一种或多种。任选地,可以使用如塔、卫星或移动站的中继站。无线通信可以依赖于接近度或独立于接近度。在一些实施方式中,通信可能需要或可能不需要视线。通信模块1510可以传输和/或接收来自感测模块1502的感测数据、由处理单元1504产生的处理结果、预先确定的控制数据、来自终端或遥控器的用户命令等中的一项或多项。
系统1500的部件可以按任何合适配置进行布置。举例来说,系统1500的部件中的一个或多个部件可以位于可移动物体、载体、有效载荷、终端、感测系统或者与以上一者或多者通信的附加外部装置上。此外,尽管图15描绘了单个处理单元1504和单个非暂时性计算机可读介质1506,但是本领域的技术人员将认识到,所述描绘不旨在限制,并且系统1500可包括多个处理单元和/或非暂时性计算机可读介质。在一些实施方式中,所述多个处理单元和/或非暂时性计算机可读介质中的一个或多个可位于不同位置,如在可移动物体、载体、有效载荷、终端、感测模块、与以上一者或多者行通信的附加外部装置或其适当组合上,从而使得由系统1500执行的处理和/或存储器功能的任何合适方面可以在上述位置中的一个或多个位置发生。
虽然本文中已经示出和描述了本发明的优选实施方式,但对于本领域的技术人员而言将明显的是仅通过示例提供了这些实施方式。本领域的技术人员现将想到许多变化、改变以及替换而不脱离本发明。应理解,可以在实践本发明时采用本文中所描述的本发明实施方式的各种替代方案。权利要求书旨在限定本发明的范围,并且旨在由此覆盖在这些权利要求以及其等效物的范围内的方法和结构。

Claims (294)

1.一种捕捉图像的方法,所述方法包括:
借助于光学元件,将光分离成第一光束和第二光束;
借助于具有第一焦距的第一镜头模块,使所述第一光束聚焦;
借助于具有第二焦距的第二镜头模块,使所述第二光束聚焦,其中所述第二焦距不同于所述第一焦距;
借助于第一传感器,从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及
借助于第二传感器,从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。
2.如权利要求1所述的方法,其中所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。
3.如权利要求2所述的方法,其中所述第二视场覆盖所述第二视场。
4.如权利要求2所述的方法,其中所述第一视场覆盖所述第二视场。
5.如权利要求1所述的方法,其中所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。
6.如权利要求5所述的方法,其中所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。
7.如权利要求5所述的方法,其中所述第一镜头模块包括广角镜头模块,而所述第二镜头模块包括长焦镜头模块。
8.如权利要求5所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。
9.如权利要求1所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴彼此相重合。
10.如权利要求9所述的方法,其中所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。
11.如权利要求1所述的方法,其中所述光在与所述光学元件相接触之前穿过单个孔。
12.如权利要求1所述的方法,其中所述第一图像和所述第二图像的中心相重合。
13.如权利要求1所述的方法,其中所述光学元件是半透明薄膜反光板。
14.如权利要求1所述的方法,其中所述光学元件是分束器。
15.如权利要求1所述的方法,其中所述第一镜头模块和所述第二镜头模块各自仅包括多个定焦镜头。
16.如权利要求1所述的方法,其中所述第一传感器与所述第二传感器类型相同。
17.如权利要求1所述的方法,其中所述第一传感器与所述第二传感器具有相同的大小。
18.如权利要求17所述的方法,其中所述第一传感器和所述第二传感器上的每一个像素的大小相同。
19.如权利要求1所述的方法,其中所述第一传感器与所述第二传感器类型不同。
20.如权利要求1所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。
21.如权利要求1所述的方法,其中所述第一图像与所述第二图像之间不存在视差。
22.如权利要求1所述的方法,进一步包括借助于一个或多个处理器,将所述第一图像与所述第二图像组合。
23.如权利要求22所述的方法,进一步包括在一个或多个处理器处接收期望焦距,并且其中所述组合图像具有与所述期望焦距相对应的视场。
24.如权利要求23所述的方法,其中所述期望焦距与期望视场相对应。
25.如权利要求23所述的方法,其中所述期望焦距等于或大于所述第一焦距或所述第二焦距中的至少一者。
26.如权利要求23所述的方法,其中将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍以及将所述第二图像缩放倍。
27.如权利要求26所述的方法,其中缩放所述第一图像和所述第二图像利用了立方体插值算法或双线性插值算法。
28.如权利要求26所述的方法,其中将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述经缩放的第二图像融合。
29.如权利要求28所述的方法,其中当所述期望焦距大于所述第一焦距和所述第二焦距时,所述组合图像完全由多个融合部分组成。
30.如权利要求28所述的方法,其中当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像或者所述第二经缩放图像中具有较宽视场的那个经缩放图像组成。
31.如权利要求28所述的方法,其中将所述经缩放的第一图像与所述经缩放的第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。
32.如权利要求28所述的方法,其中将所述经缩放的第一图像与所述经缩放的第二图像融合包括像素融合。
33.如权利要求32所述的方法,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。
34.如权利要求1所述的方法,其中所述第一镜头模块包括至少一个镜头。
35.如权利要求34所述的方法,其中所述第一镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。
36.如权利要求1所述的方法,其中所述第二镜头模块包括至少一个镜头。
37.如权利要求36所述的方法,其中所述第二镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。
38.一种用于捕捉图像的系统,所述系统包括:
光学元件,被配置用于将光分离成第一光束和第二光束;
具有第一焦距的第一镜头模块,被配置用于使所述第一光束聚焦;
具有第二焦距的第二镜头模块,被配置用于使所述第二光束聚焦,其中所述第二焦距不同于所述第一焦距;
第一传感器,被配置用于从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及
第二传感器,被配置用于从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。
39.如权利要求38所述的系统,其中所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。
40.如权利要求39所述的系统,其中所述第二视场覆盖所述第二视场。
41.如权利要求39所述的系统,其中所述第一视场覆盖所述第二视场。
42.如权利要求38所述的系统,其中所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。
43.如权利要求42所述的系统,其中所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。
44.如权利要求42所述的系统,其中所述第一镜头模块包括广角镜头模块,而所述第二镜头模块包括长焦镜头模块。
45.如权利要求42所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。
46.如权利要求38所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴彼此相重合。
47.如权利要求46所述的系统,其中所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。
48.如权利要求38所述的系统,其中所述光在与所述光学元件相接触之前穿过单个孔。
49.如权利要求38所述的系统,其中所述第一图像和所述第二图像的中心相重合。
50.如权利要求38所述的系统,其中所述光学元件是半透明薄膜反光板。
51.如权利要求38所述的系统,其中所述光学元件是分束器。
52.如权利要求38所述的系统,其中所述第一镜头模块和所述第二镜头模块各自仅包括多个定焦镜头。
53.如权利要求38所述的系统,其中所述第一传感器与所述第二传感器类型相同。
54.如权利要求38所述的系统,其中所述第一传感器与所述第二传感器具有相同的大小。
55.如权利要求54所述的系统,其中所述第一传感器和所述第二传感器上的每一个像素的大小相同。
56.如权利要求38所述的系统,其中所述第一传感器与所述第二传感器类型不同。
57.如权利要求38所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。
58.如权利要求38所述的系统,其中所述第一图像与所述第二图像之间不存在视差。
59.如权利要求38所述的系统,进一步包括一个或多个处理器,其中所述一个或多个处理器被配置用于将所述第一图像与所述第二图像组合。
60.如权利要求59所述的系统,其中所述一个或多个处理器被配置用于接收期望焦距以及生成组合图像,并且其中所述组合图像具有与所述期望焦距相对应的视场。
61.如权利要求60所述的系统,其中所述期望焦距与期望视场相对应。
62.如权利要求60所述的系统,其中所述期望焦距等于或大于所述第一焦距或所述第二焦距中的至少一者。
63.如权利要求60所述的系统,其中所述一个或多个处理器被配置用于将所述第一图像缩放倍以及将所述第二图像缩放倍。
64.如权利要求63所述的系统,其中所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法对所述第一图像和所述第二图像进行缩放。
65.如权利要求63所述的系统,其中所述一个或多个处理器被配置用于将所述经缩放的第一图像与所述经缩放的第二图像融合。
66.如权利要求65所述的系统,其中当所述期望焦距大于所述第一焦距和所述第二焦距时,所述组合图像完全由多个融合部分组成。
67.如权利要求65所述的系统,其中当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像或者所述第二经缩放图像中具有较宽视场的那个经缩放图像组成。
68.如权利要求65所述的系统,其中所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述经缩放的第一图像与所述经缩放的第二图像融合。
69.如权利要求65所述的系统,其中所述一个或多个处理器被配置用于通过像素融合将所述经缩放的第一图像与所述经缩放的第二图像融合。
70.如权利要求69所述的系统,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。
71.如权利要求38所述的系统,其中所述第一镜头模块包括至少一个镜头。
72.如权利要求71所述的系统,其中所述第一镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。
73.如权利要求38所述的系统,其中所述第二镜头模块包括至少一个镜头。
74.如权利要求73所述的系统,其中所述第二镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。
75.一种生成组合图像的方法,所述方法包括:
借助于第一镜头模块,获取第一图像;
借助于第二镜头模块,获取第二图像,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合并且相垂直;
在一个或多个处理器处接收所述第一图像;
在一个或多个处理器处接收所述第二图像;以及
借助于一个或多个处理器,将所述第一图像与所述第二图像组合。
76.如权利要求75所述的方法,其中所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。
77.如权利要求75所述的方法,其中所述第一镜头模块具有第一焦距f1,并且所述第二镜头模块具有第二焦距f2,其中f1大于f2。
78.如权利要求77所述的方法,其中所述第二镜头模块的视场大于所述第一镜头模块的视场。
79.如权利要求77所述的方法,进一步包括在所述一个或多个处理器处接收期望焦距f,并且其中所述组合图像具有与所述期望焦距f相对应的视场。
80.如权利要求79所述的方法,其中将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍以及将所述第二图像缩放倍。
81.如权利要求80所述的方法,其中缩放所述第一图像和所述第二图像利用了立方体插值算法或双线性插值算法。
82.如权利要求81所述的方法,其中将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述经缩放的第二图像融合。
83.如权利要求82所述的方法,其中当f大于f1时,所述组合图像完全由多个融合部分组成。
84.如权利要求82所述的方法,其中当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第二经缩放图像组成。
85.如权利要求82所述的方法,其中将所述经缩放的第一图像与所述经缩放的第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。
86.如权利要求82所述的方法,其中将所述经缩放的第一图像与所述经缩放的第二图像融合包括像素融合。
87.如权利要求86所述的方法,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。
88.如权利要求77所述的方法,其中所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。
89.如权利要求75所述的方法,其中所述第一镜头模块和所述第二镜头模块各自仅包括多个定焦镜头。
90.如权利要求75所述的方法,其中借助于第一传感器获取所述第一图像,并且借助于第二传感器获取所述第二图像。
91.如权利要求90所述的方法,其中所述第一传感器具有第一传感器大小,并且所述第二传感器具有第二传感器大小,其中所述第一传感器大小大于所述第二传感器大小。
92.如权利要求91所述的方法,其中所述第一传感器上的每一个单独的像素具有第一像素大小,所述第一像素大小等于或大于所述第二传感器上的具有第二个像素大小的每一个单独的像素。
93.如权利要求92所述的方法,其中具有第一视场的所述第一图像的视场大于具有第二视场的所述第二图像的视场。
94.如权利要求93所述的方法,进一步包括在所述一个或多个处理器处接收期望视场,并且其中所述组合图像具有与所述期望视场相对应的视场。
95.如权利要求94所述的方法,其中将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍。
96.如权利要求95所述的方法,其中缩放所述第一图像利用了立方体插值算法或双线性插值算法。
97.如权利要求95所述的方法,其中将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述第二图像融合。
98.如权利要求97所述的方法,其中当所述期望视场比所述第一视场和所述第二视场窄时,所述组合图像完全由多个融合部分组成。
99.如权利要求97所述的方法,其中当所述期望视场在所述第一视场与所述第二视场之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像组成。
100.如权利要求97所述的方法,其中将所述经缩放的第一图像与所述第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。
101.如权利要求97所述的方法,其中将所述经缩放的第一图像与所述第二图像融合包括像素融合。
102.如权利要求101所述的方法,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二图像的视场相重叠。
103.如权利要求75所述的方法,其中所述第一镜头的光轴与所述第二镜头的光轴之间不存在光学视差。
104.如权利要求75所述的方法,其中所述第一图像与所述第二图像之间不存在视差。
105.如权利要求75所述的方法,其中在移动装置上显示所述组合图像。
106.如权利要求105所述的方法,其中所述移动装置是手机、PDA、平板计算机或控制器。
107.如权利要求105所述的方法,其中实时地显示所述组合图像。
108.一种用于生成组合图像的成像系统,所述系统包括:
第一镜头模块,被配置用于帮助获取第一图像;
第二镜头模块,被配置用于帮助获取第二图像,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合并且相垂直;以及
一个或多个处理器,单独地或共同地被配置用于:
接收所述第一图像;
接收所述第二图像;以及
将所述第一图像与所述第二图像组合。
109.如权利要求108所述的系统,其中所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。
110.如权利要求108所述的系统,其中所述第一镜头模块具有第一焦距f1,并且所述第二镜头模块具有第二焦距f2,其中f1大于f2。
111.如权利要求110所述的系统,其中所述第二镜头模块的视场大于所述第一镜头模块的视场。
112.如权利要求110所述的系统,其中所述一个或多个处理器被配置用于接收期望焦距f以及生成组合图像,其中所述组合图像具有与所述期望焦距f相对应的视场。
113.如权利要求112所述的系统,其中所述一个或多个处理器被配置用于将所述第一图像缩放倍以及将所述第二图像缩放倍。
114.如权利要求113所述的系统,其中所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法对所述第一图像和所述第二图像进行缩放。
115.如权利要求114所述的系统,其中所述一个或多个处理器被配置用于将所述经缩放的第一图像与所述经缩放的第二图像融合。
116.如权利要求115所述的系统,其中当f大于f1时,组合图像完全由多个融合部分组成。
117.如权利要求115所述的系统,其中当所述期望焦距在所述第一焦距与所述第二焦距之间时,组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第二经缩放图像组成。
118.如权利要求115所述的系统,其中所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述经缩放的第一图像与所述经缩放的第二图像融合。
119.如权利要求115所述的系统,其中所述一个或多个处理器被配置用于利用像素融合将所述经缩放的第一图像与所述经缩放的第二图像融合。
120.如权利要求119所述的系统,其中所述一个或多个处理器被配置用于在多个区域中利用像素融合,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。
121.如权利要求110所述的系统,其中所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。
122.如权利要求108所述的系统,其中所述第一镜头模块和所述第二镜头模块各自仅包括多个定焦镜头。
123.如权利要求108所述的系统,进一步包括被配置用于帮助获取所述第一图像的第一传感器以及被配置用于帮助获取所述第二图像的第二传感器。
124.如权利要求123所述的系统,其中所述第一传感器具有第一传感器大小,并且所述第二传感器具有第二传感器大小,其中所述第一传感器大小大于所述第二传感器大小。
125.如权利要求124所述的系统,其中所述第一传感器上的具有第一像素大小的每一个单独的像素等于或大于所述第二传感器上的具有第二像素大小的每一个单独的像素。
126.如权利要求125所述的系统,其中具有第一视场的所述第一图像的视场大于具有第二视场的所述第二图像的视场。
127.如权利要求126所述的系统,其中所述一个或多个处理器被配置用于接收期望视场以及生成组合图像,所述组合图像具有与所述期望视场相对应的视场。
128.如权利要求127所述的系统,其中所述一个或多个处理器被配置用于将所述第一图像缩放倍,从而生成所述组合图像。
129.如权利要求128所述的系统,其中所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法。
130.如权利要求128所述的系统,其中所述一个或多个处理器被配置用于将所述第一经缩放图像和所述第二图像融合。
131.如权利要求130所述的系统,其中当所述期望视场比所述第一视场和所述第二视场窄时,所述组合图像完全由多个融合部分组成。
132.如权利要求130所述的系统,其中当所述期望视场在所述第一视场与所述第二视场之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像组成。
133.如权利要求130所述的系统,其中所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述第一经缩放图像和所述第二图像融合。
134.如权利要求130所述的系统,其中所述一个或多个处理器被配置用于通过像素融合将所述经缩放的第一图像与所述第二图像融合。
135.如权利要求134所述的系统,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二图像的视场相重叠。
136.如权利要求108所述的系统,其中所述第一镜头的光轴与所述第二镜头的光轴之间不存在光学视差。
137.如权利要求108所述的系统,其中所述第一图像与所述第二图像之间不存在视差。
138.如权利要求108所述的系统,进一步包括被配置用于显示所述组合图像的移动装置。
139.如权利要求138所述的系统,其中所述移动装置是手机、PDA、平板计算机或控制器。
140.如权利要求138所述的系统,其中所述组合图像被实时地显示。
141.一种可移动系统,所述可移动系统包括:
可移动平台;
如权利要求108所述的成像系统,被配置成安装在所述可移动平台上;以及
云台,被配置用于稳定所述成像系统。
142.如权利要求141所述的可移动系统,其中所述云台被配置用于使所述成像系统相对于所述可移动平台旋转。
143.一种捕捉图像的方法,所述方法包括:
实现可移动平台的移动;
在成像装置处接收光,其中所述成像装置包括光学元件、第一镜头模块、第二镜头模块、第一传感器和第二传感器;
借助于所述光学元件,将所述光分离成第一光束和第二光束;
借助于所述第一镜头模块,使所述第一光束聚焦;
借助于所述第二镜头模块,使所述第二光束聚焦;
借助于所述第一传感器,从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及
借助于所述第二传感器,从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。
144.如权利要求143所述的方法,其中所述可移动平台是无人飞行器。
145.如权利要求144所述的方法,其中借助于一个或多个推进单元来实现所述可移动平台的移动。
146.如权利要求143所述的方法,其中所述第一镜头模块具有第一焦距,并且所述第二镜头模块具有不同于所述第一焦距的第二焦距。
147.如权利要求146所述的方法,其中所述第一焦距大于所述第二焦距。
148.如权利要求147所述的方法,其中所述第二镜头模块的视场大于所述第一镜头模块的视场。
149.如权利要求147所述的方法,其中所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。
150.如权利要求149所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。
151.如权利要求147所述的方法,其中所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。
152.如权利要求151所述的方法,其中所述第一镜头模块包括至少一个镜头。
153.如权利要求152所述的方法,其中所述第一镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。
154.如权利要求147所述的方法,其中所述第一镜头模块是广角镜头模块,而所述第二镜头是长焦镜头模块。
155.如权利要求146所述的方法,进一步包括借助于一个或多个处理器,将所述第一图像与所述第二图像组合。
156.如权利要求155所述的方法,进一步包括在一个或多个处理器处接收期望焦距,并且其中所述组合图像具有与所述期望焦距相对应的视场。
157.如权利要求156所述的方法,其中所述期望焦距等于或大于所述第一焦距或所述第二焦距中的至少一者。
158.如权利要求156所述的方法,进一步包括在移动装置上显示所述组合图像。
159.如权利要求158所述的方法,其中所述移动装置是手机、PDA、平板计算机或控制器。
160.如权利要求158所述的方法,其中实时地显示所述组合图像。
161.如权利要求156所述的方法,其中将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍以及将所述第二图像缩放倍。
162.如权利要求161所述的方法,其中缩放所述第一图像和所述第二图像利用了立方体插值算法或双线性插值算法。
163.如权利要求161所述的方法,其中将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述经缩放的第二图像融合。
164.如权利要求163所述的方法,其中当所述期望焦距大于所述第一焦距和所述第二焦距时,所述组合图像完全由多个融合部分组成。
165.如权利要求163所述的方法,其中当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像或者所述第二经缩放图像中具有较宽视场的那个经缩放图像组成。
166.如权利要求163所述的方法,其中将所述经缩放的第一图像与所述经缩放的第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。
167.如权利要求163所述的方法,其中将所述经缩放的第一图像与所述经缩放的第二图像融合包括像素融合。
168.如权利要求167所述的方法,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。
169.如权利要求143所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合。
170.如权利要求169所述的方法,其中所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。
171.如权利要求143所述的方法,其中所述光在与所述光学元件相接触之前穿过单个孔。
172.如权利要求143所述的方法,其中所述第一图像和所述第二图像的中心相重合。
173.如权利要求143所述的方法,其中所述光学元件是半透明薄膜反光板。
174.如权利要求143所述的方法,其中所述光学元件是分束器。
175.如权利要求143所述的方法,其中所述第一镜头模块和所述第二镜头模块仅包括多个定焦镜头。
176.如权利要求143所述的方法,其中所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。
177.如权利要求143所述的方法,其中所述第一传感器与所述第二传感器类型相同。
178.如权利要求143所述的方法,其中所述第一传感器与所述第二传感器类型不同。
179.如权利要求143所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。
180.如权利要求143所述的方法,其中所述第一图像与所述第二图像之间不存在视差。
181.如权利要求143所述的方法,进一步包括用云台将所述成像装置安装到所述可移动平台。
182.如权利要求181所述的方法,其中所述云台被配置用于稳定所述成像装置。
183.如权利要求181所述的方法,其中所述云台被配置用于使所述成像装置相对于所述可移动平台旋转。
184.一种用于捕捉图像的系统,所述系统包括:
可移动平台;以及
成像装置,安装在所述可移动平台上、被配置用于接收光,其中所述成像装置包括:
光学元件,被配置用于将所述光分离成第一光束和第二光束;
第一镜头模块,被配置用于使所述第一光束聚焦;
第二镜头模块,被配置用于使所述第二光束聚焦;
第一传感器,被配置用于从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像;以及
第二传感器,被配置用于从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像。
185.如权利要求184所述的系统,其中所述可移动平台是无人飞行器。
186.如权利要求185所述的系统,其中借助于一个或多个推进单元来实现所述可移动平台的移动。
187.如权利要求184所述的系统,其中所述第一镜头模块具有第一焦距,并且所述第二镜头模块具有不同于所述第一焦距的第二焦距。
188.如权利要求187所述的系统,其中所述第一焦距大于所述第二焦距。
189.如权利要求188所述的系统,其中所述第二镜头模块的视场大于所述第一镜头模块的视场。
190.如权利要求188所述的系统,其中所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。
191.如权利要求190所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。
192.如权利要求188所述的系统,其中所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。
193.如权利要求192所述的系统,其中所述第一镜头模块包括至少一个镜头。
194.如权利要求193所述的系统,其中所述第一镜头模块包括被配置用于收容所述至少一个镜头的镜头筒。
195.如权利要求188所述的系统,其中所述第一镜头模块是广角镜头模块,而所述第二镜头是长焦镜头模块。
196.如权利要求187所述的系统,进一步包括一个或多个处理器,其中所述一个或多个处理器被配置用于将所述第一图像与所述第二图像组合。
197.如权利要求196所述的系统,其中所述一个或多个处理器被配置用于接收期望焦距以及生成组合图像,所述组合图像具有与所述期望焦距相对应的视场。
198.如权利要求197所述的系统,其中所述期望焦距等于或大于所述第一焦距或所述第二焦距中的至少一者。
199.如权利要求197所述的系统,进一步包括被配置用于显示所述组合图像的移动装置。
200.如权利要求199所述的系统,其中所述移动装置是手机、PDA、平板计算机或控制器。
201.如权利要求199所述的系统,其中所述组合图像被实时地显示。
202.如权利要求197所述的系统,其中所述一个或多个处理器被配置用于将所述第一图像缩放倍以及将所述第二图像缩放倍,从而生成所述组合图像。
203.如权利要求202所述的系统,其中所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法对所述第一图像和所述第二图像进行缩放。
204.如权利要求202所述的系统,其中所述一个或多个处理器被配置用于将所述经缩放的第一图像与所述经缩放的第二图像融合,从而生成所述组合图像。
205.如权利要求204所述的系统,其中当所述期望焦距大于所述第一焦距和所述第二焦距时,所述组合图像完全由多个融合部分组成。
206.如权利要求204所述的系统,其中当所述期望焦距在所述第一焦距与所述第二焦距之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像或者所述第二经缩放图像中具有较宽视场的那个经缩放图像组成。
207.如权利要求204所述的系统,其中所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述经缩放的第一图像与所述经缩放的第二图像融合。
208.如权利要求204所述的系统,其中一个或多个处理器被配置用于通过像素融合将所述经缩放的第一图像与所述经缩放的第二图像融合。
209.如权利要求208所述的系统,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二经缩放图像的视场相重叠。
210.如权利要求184所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合。
211.如权利要求210所述的系统,其中所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。
212.如权利要求184所述的系统,其中所述光在与所述光学元件相接触之前穿过单个孔。
213.如权利要求184所述的系统,其中所述第一图像和所述第二图像的中心相重合。
214.如权利要求184所述的系统,其中所述光学元件是半透明薄膜反光板。
215.如权利要求184所述的系统,其中所述光学元件是分束器。
216.如权利要求184所述的系统,其中所述第一镜头模块和所述第二镜头模块仅包括多个定焦镜头。
217.如权利要求184所述的系统,其中所述第一镜头模块是长焦镜头模块,而所述第二镜头模块是广角镜头模块。
218.如权利要求184所述的系统,其中所述第一传感器与所述第二传感器类型相同。
219.如权利要求184所述的系统,其中所述第一传感器与所述第二传感器类型不同。
220.如权利要求184所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。
221.如权利要求184所述的系统,其中所述第一图像与所述第二图像之间不存在视差。
222.如权利要求184所述的系统,进一步包括云台,所述云台被配置用于将所述成像装置安装到所述可移动平台。
223.如权利要求222所述的系统,其中所述云台被配置用于稳定所述成像装置。
224.如权利要求222所述的系统,其中所述云台被配置用于使所述成像装置相对于所述可移动平台旋转。
225.一种捕捉图像的方法,所述方法包括:
借助于光学元件,将光分离成第一光束和第二光束;
借助于第一镜头模块,使所述第一光束聚焦;
借助于第二镜头模块,使所述第二光束聚焦;
借助于第一传感器,从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像,其中所述第一传感器具有第一传感器大小;以及
借助于第二传感器,从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像,其中所述第二传感器具有不同于所述第一大小的第二传感器大小。
226.如权利要求225所述的方法,其中所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。
227.如权利要求225所述的方法,其中所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。
228.如权利要求227所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。
229.如权利要求225所述的方法,其中所述第一镜头模块和所述第二镜头模块具有相同的焦距。
230.如权利要求225所述的方法,其中所述第一传感器大小大于所述第二传感器大小。
231.如权利要求230所述的方法,其中所述第一传感器上的每一个单独的像素等于或大于所述第二传感器上的每一个单独的像素。
232.如权利要求225所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合。
233.如权利要求232所述的方法,其中所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。
234.如权利要求225所述的方法,其中所述光在与所述光学元件相接触之前穿过单个孔。
235.如权利要求225所述的方法,其中所述第一图像和所述第二图像的中心相重合。
236.如权利要求225所述的方法,其中所述光学元件是半透明薄膜反光板。
237.如权利要求225所述的方法,其中所述光学元件是分束器。
238.如权利要求225所述的方法,其中所述第一镜头模块和所述第二镜头模块仅包括多个定焦镜头。
239.如权利要求225所述的方法,其中所述第一传感器与所述第二传感器类型相同。
240.如权利要求225所述的方法,其中所述第一传感器与所述第二传感器类型不同。
241.如权利要求225所述的方法,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。
242.如权利要求225所述的方法,其中所述第一图像与所述第二图像之间不存在视差。
243.如权利要求225所述的方法,进一步包括借助于一个或多个处理器,将所述第一图像与所述第二图像组合。
244.如权利要求243所述的方法,进一步包括在一个或多个处理器处接收期望视场,并且其中所述组合图像具有与所述期望视场相对应的组合视场。
245.如权利要求244所述的方法,其中所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。
246.如权利要求245所述的方法,其中所述期望视场等于或窄于所述第一视场或所述第二视场中的至少一者。
247.如权利要求245所述的方法,其中所述第一传感器大小大于所述第二传感器大小。
248.如权利要求247所述的方法,其中所述第一视场比所述第二视场宽。
249.如权利要求247所述的方法,其中所述第一传感器包括具有第一像素大小的多个像素,而所述第二传感器包括具有第二像素大小的多个像素,其中所述第一像素大小等于或大于所述第二像素大小。
250.如权利要求249所述的方法,其中将所述第一图像与所述第二图像组合包括将所述第一图像缩放倍。
251.如权利要求250所述的方法,其中缩放所述第一图像利用了立方体插值算法或双线性插值算法。
252.如权利要求250所述的方法,其中将所述第一图像与所述第二图像组合包括将所述经缩放的第一图像与所述第二图像融合。
253.如权利要求252所述的方法,其中当所述期望视场比所述第一视场和所述第二视场窄时,所述组合图像完全由多个融合部分组成。
254.如权利要求252所述的方法,其中当所述期望视场在所述第一视场与所述第二视场之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像组成。
255.如权利要求252所述的方法,其中将所述经缩放的第一图像与所述第二图像融合利用了拉普拉斯金字塔算法或加权平均算法。
256.如权利要求252所述的方法,其中将所述经缩放的第一图像与所述第二图像融合包括像素融合。
257.如权利要求256所述的方法,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二图像的视场相重叠。
258.如权利要求252所述的方法,进一步包括将所述融合图像缩放到期望大小。
259.一种用于捕捉图像的成像系统,所述系统包括:
光学元件,被配置用于将光分离成第一光束和第二光束;
第一镜头模块,被配置用于使所述第一光束聚焦;
第二镜头模块,被配置用于使所述第二光束聚焦;
第一传感器,被配置用于从通过所述第一镜头模块聚焦到所述第一传感器上的所述第一光束捕捉第一图像,其中所述第一传感器具有第一传感器大小;以及
第二传感器,被配置用于从通过所述第二镜头模块聚焦到所述第二传感器上的所述第二光束捕捉第二图像,其中所述第二传感器具有不同于所述第一传感器大小的第二传感器大小。
260.如权利要求259所述的系统,其中所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。
261.如权利要求259所述的系统,其中所述第一光束是所述光的反射部分,而所述第二光束是所述光的折射部分。
262.如权利要求261所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相对于反射角和折射角的角平分线相重合。
263.如权利要求259所述的系统,其中所述第一镜头模块和所述第二镜头模块具有相同的焦距。
264.如权利要求259所述的系统,其中所述第一传感器大小大于所述第二传感器大小。
265.如权利要求264所述的系统,其中所述第一传感器上的每一个单独的像素等于或大于所述第二传感器上的每一个单独的像素。
266.如权利要求259所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴相重合。
267.如权利要求266所述的系统,其中所述第一镜头模块的所述光轴与所述第二镜头模块的光轴相垂直。
268.如权利要求259所述的系统,其中所述光在与所述光学元件相接触之前穿过单个孔。
269.如权利要求259所述的系统,其中所述第一图像和所述第二图像的中心相重合。
270.如权利要求259所述的系统,其中所述光学元件是半透明薄膜反光板。
271.如权利要求259所述的系统,其中所述光学元件是分束器。
272.如权利要求259所述的系统,其中所述第一镜头模块和所述第二镜头模块仅包括多个定焦镜头。
273.如权利要求259所述的系统,其中所述第一传感器与所述第二传感器类型相同。
274.如权利要求259所述的系统,其中所述第一传感器与所述第二传感器类型不同。
275.如权利要求259所述的系统,其中所述第一镜头模块的光轴与所述第二镜头模块的光轴之间不存在光学视差。
276.如权利要求259所述的系统,其中所述第一图像与所述第二图像之间不存在视差。
277.如权利要求259所述的系统,进一步包括一个或多个处理器,其中所述一个或多个处理器被配置用于将所述第一图像与所述第二图像组合。
278.如权利要求277所述的系统,其中所述一个或多个处理器被配置用于接收期望视场以及生成组合图像,并且其中所述组合图像具有与所述期望视场相对应的组合视场。
279.如权利要求278所述的系统,其中所述第一图像具有第一视场,并且所述第二图像具有不同于所述第一视场的第二视场。
280.如权利要求279所述的系统,其中所述期望视场等于或窄于所述第一视场或所述第二视场中的至少一者。
281.如权利要求279所述的系统,其中所述第一传感器大小大于所述第二传感器大小。
282.如权利要求281所述的系统,其中所述第一视场比所述第二视场宽。
283.如权利要求281所述的系统,其中所述第一传感器包括具有第一像素大小的多个像素,而所述第二传感器包括具有第二像素大小的多个像素,其中所述第一像素大小等于或大于所述第二像素大小。
284.如权利要求283所述的系统,其中所述一个或多个处理器被配置用于将所述第一图像缩放倍,从而生成所述组合图像。
285.如权利要求284所述的系统,其中所述一个或多个处理器被配置用于利用立方体插值算法或双线性插值算法对所述第一图像进行缩放。
286.如权利要求284所述的系统,其中所述一个或多个处理器被配置用于将所述经缩放的第一图像与所述第二图像融合,从而生成所述组合图像。
287.如权利要求286所述的系统,其中当所述期望视场比所述第一视场和所述第二视场窄时,所述组合图像完全由多个融合部分组成。
288.如权利要求286所述的系统,其中当所述期望视场在所述第一视场与所述第二视场之间时,所述组合图像由内部视场和外部视场组成,所述内部视场由多个融合部分组成,所述外部视场由所述第一经缩放图像组成。
289.如权利要求286所述的系统,其中所述一个或多个处理器被配置用于利用拉普拉斯金字塔算法或加权平均算法将所述经缩放的第一图像与所述第二图像融合。
290.如权利要求286所述的系统,其中所述一个或多个处理器被配置用于通过像素融合将所述经缩放的第一图像与所述第二图像融合。
291.如权利要求290所述的系统,其中像素融合在多个区域中发生,在这些区域中,所述第一经缩放图像与所述第二图像的视场相重叠。
292.如权利要求286所述的系统,其中所述一个或多个处理器被配置用于将所述组合图像缩放到期望大小。
293.一种可移动系统,所述可移动系统包括:
可移动平台;
如权利要求259所述的成像系统,被配置成安装在所述可移动平台上;以及
云台,被配置用于稳定所述成像系统。
294.如权利要求293所述的可移动系统,其中所述云台被配置用于使所述成像系统相对于所述可移动平台旋转。
CN201580081589.5A 2015-07-10 2015-07-10 具有分光器的双镜头系统 Expired - Fee Related CN107852453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010471157.8A CN111556253B (zh) 2015-07-10 2015-07-10 生成组合图像的方法及系统、图像的显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/083783 WO2017008206A1 (en) 2015-07-10 2015-07-10 Dual lens system having a light splitter

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010471157.8A Division CN111556253B (zh) 2015-07-10 2015-07-10 生成组合图像的方法及系统、图像的显示方法及系统

Publications (2)

Publication Number Publication Date
CN107852453A true CN107852453A (zh) 2018-03-27
CN107852453B CN107852453B (zh) 2020-06-23

Family

ID=57756596

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580081589.5A Expired - Fee Related CN107852453B (zh) 2015-07-10 2015-07-10 具有分光器的双镜头系统
CN202010471157.8A Active CN111556253B (zh) 2015-07-10 2015-07-10 生成组合图像的方法及系统、图像的显示方法及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010471157.8A Active CN111556253B (zh) 2015-07-10 2015-07-10 生成组合图像的方法及系统、图像的显示方法及系统

Country Status (5)

Country Link
US (5) US9967477B2 (zh)
EP (2) EP3687156B1 (zh)
JP (1) JP6281730B2 (zh)
CN (2) CN107852453B (zh)
WO (1) WO2017008206A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361835A (zh) * 2018-10-25 2019-02-19 浙江大华技术股份有限公司 一种图像采集设备和图像处理方法
CN111294517A (zh) * 2020-03-03 2020-06-16 华为技术有限公司 一种图像处理的方法及移动终端
CN111327808A (zh) * 2020-03-12 2020-06-23 Oppo广东移动通信有限公司 摄像头组件及电子设备
CN112449149A (zh) * 2019-08-30 2021-03-05 杭州海康威视数字技术股份有限公司 摄像机

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2820241C (en) * 2012-06-13 2020-01-14 Robert G. Hilkes An apparatus and method for enhancing human visual performance in a head worn video system
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
WO2017008206A1 (en) 2015-07-10 2017-01-19 SZ DJI Technology Co., Ltd. Dual lens system having a light splitter
US10269257B1 (en) 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
CN105346706B (zh) * 2015-11-13 2018-09-04 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
US9896205B1 (en) * 2015-11-23 2018-02-20 Gopro, Inc. Unmanned aerial vehicle with parallax disparity detection offset from horizontal
US9720413B1 (en) 2015-12-21 2017-08-01 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap
US9663227B1 (en) 2015-12-22 2017-05-30 Gopro, Inc. Systems and methods for controlling an unmanned aerial vehicle
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10721451B2 (en) * 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US10642271B1 (en) * 2016-08-26 2020-05-05 Amazon Technologies, Inc. Vehicle guidance camera with zoom lens
US10297034B2 (en) * 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
GB2559733B (en) * 2017-02-08 2022-10-05 Sesanti Ltd Long-range viewing apparatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
EP3619600A4 (en) 2017-05-01 2020-10-21 Symbol Technologies, LLC METHOD AND APPARATUS FOR OBJECT STATE DETECTION
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US11410330B2 (en) * 2017-05-30 2022-08-09 Edx Technologies, Inc. Methods, devices, and systems for determining field of view and producing augmented reality
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US11048257B2 (en) * 2018-01-23 2021-06-29 Gopro, Inc. Relative image capture device orientation calibration
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
CN108833789A (zh) * 2018-07-27 2018-11-16 苏州睿仟医疗科技有限公司 一种实时自动聚焦装置及自动聚焦方法
WO2020065719A1 (ja) * 2018-09-25 2020-04-02 株式会社エアロネクスト 飛行体
US10924667B2 (en) * 2018-10-04 2021-02-16 Samsung Electronics Co., Ltd. Image sensor and image sensing method
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
CN109327572B (zh) * 2018-11-06 2021-02-19 Oppo广东移动通信有限公司 成像模组、摄像头组件及电子装置
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11399129B2 (en) 2019-07-30 2022-07-26 Gopro, Inc. Image capture device with extended depth of field
CN111050066A (zh) * 2019-11-01 2020-04-21 深圳市道通智能航空技术有限公司 变焦方法、装置、飞行器、飞行系统及存储介质
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
WO2021141935A1 (en) * 2020-01-06 2021-07-15 Gentex Corporation Full display mirror system with ruggedized portable imager
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11509837B2 (en) 2020-05-12 2022-11-22 Qualcomm Incorporated Camera transition blending
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
KR20220075028A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
TWI777876B (zh) * 2021-12-21 2022-09-11 亞泰影像科技股份有限公司 透鏡置中模組及其置中方法,掃描裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120988A1 (en) * 2005-11-29 2007-05-31 Hideki Akiyama Imaging apparatus
CN101999129A (zh) * 2008-04-11 2011-03-30 近地图控股有限公司 详细捕捉大区域图像的包括级联照相机和/或校准特征的系统和方法
US20120013757A1 (en) * 2010-07-14 2012-01-19 James Randall Beckers Camera that combines images of different scene depths
US20130265311A1 (en) * 2012-04-04 2013-10-10 Samsung Electronics Co., Ltd. Apparatus and method for improving quality of enlarged image
US20140036112A1 (en) * 2009-05-04 2014-02-06 Digitaloptics Corporation Dual lens digital zoom

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4354742A (en) 1980-11-10 1982-10-19 Honeywell Inc. Optical system having a dual field of view
DE3927334C1 (zh) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
US6522475B2 (en) 1996-02-15 2003-02-18 Canon Kabushiki Kaisha Zoom lens
US7057647B1 (en) * 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
JP2001103466A (ja) * 1999-09-30 2001-04-13 Canon Inc 画像遠隔送受信方法及びシステム並びに撮像装置並びに記憶媒体
US20020097505A1 (en) 2000-11-30 2002-07-25 Delong James A. Single-element catadioptric condenser lens
JP2002335435A (ja) * 2001-05-11 2002-11-22 Fujitsu Ltd 映像撮影装置
US7049597B2 (en) 2001-12-21 2006-05-23 Andrew Bodkin Multi-mode optical imager
JP2003319231A (ja) * 2002-04-26 2003-11-07 Fuji Photo Film Co Ltd デジタルカメラ
US6801719B1 (en) * 2003-03-14 2004-10-05 Eastman Kodak Company Camera using beam splitter with micro-lens image amplification
JP4299561B2 (ja) * 2003-03-26 2009-07-22 富士フイルム株式会社 撮像装置
US6870690B1 (en) 2003-09-09 2005-03-22 Cbc-America Dual-band lens
JP2005141527A (ja) * 2003-11-07 2005-06-02 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US7119969B1 (en) 2004-05-27 2006-10-10 Lockheed Martin Corporation Pixel matched camera optics
CN100501485C (zh) 2004-11-11 2009-06-17 鸿富锦精密工业(深圳)有限公司 变焦装置和方法
CN100365461C (zh) 2004-11-26 2008-01-30 鸿富锦精密工业(深圳)有限公司 变焦装置及方法
JP4359662B2 (ja) * 2004-12-01 2009-11-04 国立大学法人徳島大学 カラー画像の露出補正方法
JP4702882B2 (ja) * 2005-08-19 2011-06-15 公立大学法人大阪府立大学 小型回転翼機
JP4681995B2 (ja) 2005-09-16 2011-05-11 積水樹脂株式会社 自発光式道路標識板及び自発光装置
JP2007180730A (ja) * 2005-12-27 2007-07-12 Eastman Kodak Co デジタルカメラおよびデータ管理方法
EP1976268A1 (en) * 2005-12-28 2008-10-01 Olympus Corporation Imaging system and image processing program
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7573654B2 (en) 2007-11-27 2009-08-11 Eastman Kodak Company Dual focal length lens system
US7764440B2 (en) 2007-11-27 2010-07-27 Eastman Kodak Company Dual focal length lens system
US7970507B2 (en) * 2008-01-23 2011-06-28 Honeywell International Inc. Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle
JP4687725B2 (ja) * 2008-02-12 2011-05-25 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
KR20100084819A (ko) * 2009-01-19 2010-07-28 삼성전자주식회사 파장검출장치 및 이를 구비하는 초점검출장치
BRPI1007853B1 (pt) * 2009-02-20 2019-11-12 Thales Canada Inc sistema de criação de imagem ótica de campo de visão duplo com lente bifocal
WO2010108119A2 (en) * 2009-03-19 2010-09-23 Flextronics Ap, Llc Dual sensor camera
US7948515B1 (en) 2009-06-05 2011-05-24 Hines Stephen P Mini 3-D camera rig
US8228373B2 (en) 2009-06-05 2012-07-24 Hines Stephen P 3-D camera rig with no-loss beamsplitter alternative
JP2011055246A (ja) * 2009-09-02 2011-03-17 Panasonic Corp 望遠撮像装置
US8542286B2 (en) * 2009-11-24 2013-09-24 Microsoft Corporation Large format digital camera with multiple optical systems and detector arrays
JP5482199B2 (ja) * 2009-12-28 2014-04-23 ソニー株式会社 撮像装置
TWI537670B (zh) 2011-12-13 2016-06-11 鴻海精密工業股份有限公司 雙鏡頭拍攝裝置
FR2988868B1 (fr) * 2012-03-30 2015-04-24 Parrot Procede de pilotage d'un drone a voilure tournante a rotors multiples avec estimation et compensation du vent lateral
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
CN108989647B (zh) * 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
US20150029424A1 (en) 2013-07-25 2015-01-29 International Business Machines Corporation Variable focal length lens
WO2017008206A1 (en) * 2015-07-10 2017-01-19 SZ DJI Technology Co., Ltd. Dual lens system having a light splitter

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120988A1 (en) * 2005-11-29 2007-05-31 Hideki Akiyama Imaging apparatus
CN101999129A (zh) * 2008-04-11 2011-03-30 近地图控股有限公司 详细捕捉大区域图像的包括级联照相机和/或校准特征的系统和方法
US20140036112A1 (en) * 2009-05-04 2014-02-06 Digitaloptics Corporation Dual lens digital zoom
US20120013757A1 (en) * 2010-07-14 2012-01-19 James Randall Beckers Camera that combines images of different scene depths
US20130265311A1 (en) * 2012-04-04 2013-10-10 Samsung Electronics Co., Ltd. Apparatus and method for improving quality of enlarged image

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361835A (zh) * 2018-10-25 2019-02-19 浙江大华技术股份有限公司 一种图像采集设备和图像处理方法
CN109361835B (zh) * 2018-10-25 2021-02-26 浙江大华技术股份有限公司 一种图像采集设备和图像处理方法
CN112449149A (zh) * 2019-08-30 2021-03-05 杭州海康威视数字技术股份有限公司 摄像机
CN112449149B (zh) * 2019-08-30 2023-04-07 杭州海康威视数字技术股份有限公司 摄像机
CN111294517A (zh) * 2020-03-03 2020-06-16 华为技术有限公司 一种图像处理的方法及移动终端
WO2021175269A1 (zh) * 2020-03-03 2021-09-10 荣耀终端有限公司 一种图像处理的方法及移动终端
CN111294517B (zh) * 2020-03-03 2021-12-17 荣耀终端有限公司 一种图像处理的方法及移动终端
US11758265B2 (en) 2020-03-03 2023-09-12 Honor Device Co., Ltd. Image processing method and mobile terminal
CN111327808A (zh) * 2020-03-12 2020-06-23 Oppo广东移动通信有限公司 摄像头组件及电子设备

Also Published As

Publication number Publication date
US9967477B2 (en) 2018-05-08
US20170041553A1 (en) 2017-02-09
US20200304727A1 (en) 2020-09-24
JP6281730B2 (ja) 2018-02-21
US11039086B2 (en) 2021-06-15
US10687001B2 (en) 2020-06-16
US20180234636A1 (en) 2018-08-16
EP3687156A1 (en) 2020-07-29
US10397493B2 (en) 2019-08-27
US20190342506A1 (en) 2019-11-07
CN111556253B (zh) 2022-06-14
EP3152893B1 (en) 2020-04-08
WO2017008206A1 (en) 2017-01-19
EP3152893A4 (en) 2017-05-10
CN111556253A (zh) 2020-08-18
EP3152893A1 (en) 2017-04-12
CN107852453B (zh) 2020-06-23
JP2017529549A (ja) 2017-10-05
EP3687156B1 (en) 2022-03-16
US20210306574A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
CN107852453A (zh) 具有分光器的双镜头系统
CN107534724B (zh) 成像系统
CN109478320B (zh) 处理图像以获得环境信息
CN108027492B (zh) 成像系统
CN108351574B (zh) 用于设置相机参数的系统、方法和装置
CN109644233A (zh) 多云台组件
CN107168352A (zh) 目标追踪系统及方法
JP2021064951A (ja) システム、方法、装置、および非一時的コンピュータ読取可能媒体
CN109073877A (zh) 光程调节

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623

CF01 Termination of patent right due to non-payment of annual fee