CN107079086B - 用于相机的图像稳定系统及方法 - Google Patents

用于相机的图像稳定系统及方法 Download PDF

Info

Publication number
CN107079086B
CN107079086B CN201580056251.4A CN201580056251A CN107079086B CN 107079086 B CN107079086 B CN 107079086B CN 201580056251 A CN201580056251 A CN 201580056251A CN 107079086 B CN107079086 B CN 107079086B
Authority
CN
China
Prior art keywords
image
camera
platform
gyroscope
actuator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580056251.4A
Other languages
English (en)
Other versions
CN107079086A (zh
Inventor
T·W·奥斯本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107079086A publication Critical patent/CN107079086A/zh
Application granted granted Critical
Publication of CN107079086B publication Critical patent/CN107079086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明揭示用于薄相机的光学图像稳定的系统和方法。一种用于相机系统的图像稳定系统包含:稳定平台,其经配置以支撑相机系统;相机外壳;支轴,其以旋转方式且以枢转方式将所述稳定平台连接到所述相机外壳,所述支轴经配置使得所述稳定平台可在俯仰方向、横摇方向和偏航方向中的至少一者上相对于所述相机外壳倾斜并旋转;至少一个陀螺仪,其稳固地连接到所述稳定平台;以及至少一个致动器,其耦合到所述稳定平台且经配置以引起所述稳定平台在所述俯仰方向、所述横摇方向和所述偏航方向中的至少一者上的倾斜或旋转。

Description

用于相机的图像稳定系统及方法
相关申请案
本申请案主张2014年10月31日申请且名称为“具有图像稳定的阵列相机(ARRAYCAMERA WITH IMAGE STABILIZATION)”的第62/073,856号美国临时专利申请案和2015年9月8日申请且名称为“用于薄相机的光学图像稳定(OPTICAL IMAGE STABILIZATION FORTHIN CAMERAS)”的第14/848,127号美国非临时专利申请案,所述专利申请案的揭示内容以全文引用的方式并入本文中。
本申请涉及2015年6月18日申请且名称为“能够捕获全宽视野图像的无视差薄多相机系统(PARALLAX FREE THIN MULTI-CAMERA SYSTEM CAPABLE OF CAPTTURING FULLWIDE FIELD OF VIEW IMAGES)”的第14/743,818号美国专利申请案、2015年1月30日申请且名称为“使用无视差伪影的折叠式光学件的多相机系统(PARALLAX FREE THIN MULTI-CAMERA SYSTEM USING FOLDED OPTICS FREE FROM PARRALAX ARTIFACTS)”的第14/611045号美国专利申请案和2007年1月12日申请且名称为“全景成像技术(PANORAMIC IMAGINGTECHNIQUES)”的第11/623,050号美国专利申请案,所有专利申请案以全文引用的方式并入本文中。
技术领域
本发明涉及与薄成像技术系统或其它类似成像技术一起使用的光学图像稳定的成像系统和方法。具体地说,本发明涉及实现呈薄外观尺寸的低构型成像系统(例如,移动电话)的图像稳定同时维持或改善图像质量和/或分辨率的系统和方法。
背景技术
例如移动电话和平板计算装置等许多移动装置包含可由用户操作以捕获静态和/或视频图像的相机。因为许多此些移动装置常常经设计为相对小和/或薄,所以将待用于其中的相机或成像系统设计为尽可能薄以便维持装置的低构型可以是重要的。
使相机薄的一个方法是减小其焦距,借此扩宽视野。然而,宽视野相机可能在一些应用中具有缺点,这是因为对象空间中的特定对象的分辨率随着相机的视野增大而减小。
用于制作薄相机(其相比于传统宽视野相机增大透镜的有效分辨率和像素计数)的另一方法是使用折叠式光学件以通过添加具有狭窄视野透镜的更多相机来维持薄外观尺寸。具有多个相机的此系统可被视为阵列相机。来自阵列相机中的个别相机中的每一者的图像可合并或组合到一起以形成合成图像。
在这些系统中,阵列相机中的个别相机之间的对准需要系统中的组件的物理位置的紧密容差。将光学图像稳定性(OIS)方法添加到阵列相机系统或其它类型的相机系统可能增大维持这些容差的难度。OIS特别有益,这是因为许多相机系统在图像捕获期间经历不稳定或抖动。此对于上文所论述的薄手持型装置尤其适用。本文中所描述的方法和系统展示一个人可如何对于呈薄外观尺寸的可用于先前提及的装置中的阵列相机系统或其它相机系统实施OIS,同时仍维持所需用于一些相机系统的紧密位置容差。
发明内容
本发明的系统、方法和装置各自具有若干创新方面,其中没有单个方面单独负责本文所揭示的合乎需要的属性。
在一个方面中,一种用于相机系统的图像稳定系统包含:稳定平台,其经配置以支撑相机系统;相机外壳;支轴,其以旋转方式且以枢转方式将所述稳定平台连接到所述相机外壳,所述支轴经配置使得所述稳定平台可在俯仰方向、横摇方向和偏航方向中的至少一者上相对于所述相机外壳倾斜并旋转;至少一个陀螺仪,其刚性地连接到所述稳定平台以随所述稳定平台移动;以及至少一个致动器,其耦合到所述稳定平台且经配置以引起所述稳定平台在所述俯仰方向、所述横摇方向和所述偏航方向中的至少一者上的倾斜或旋转。
所述系统还可包含与所述至少一个陀螺仪和所述致动器进行电子通信的处理器,所述处理器经配置以执行包含以下各者的操作:从所述至少一个陀螺仪接收运动数据;基于分析所述运动数据而确定所述相机系统正经历抖动;产生用于所述至少一个致动器的运动指令,所述运动指令经配置以补偿所述抖动的频率和幅度中的一者或两者;以及将所述运动指令提供到所述致动器。在一些实施例中,所述稳定平台经配置以便不大体上阻挡所述相机系统的视野。在一些实施例中,所述稳定平台可以是大体上平坦的板。
在另一方面中,一种用于阵列相机的图像稳定系统包含:阵列相机,其具有虚拟光轴,所述阵列相机包含至少两个相机,所述至少两个相机中的每一者经配置以捕获场景的目标图像的多个部分中的一者;支撑结构,其支撑所述阵列相机;枢转部件,其刚性地连接到所述支撑结构,所述枢转部件经配置以围绕所述枢转部件的中心在偏航方向、俯仰方向和横摇方向上枢转,所述枢转部件的所述中心与所述阵列相机的所述虚拟光轴对准;以及致动器,其耦合到所述支撑结构,所述致动器经配置以接收运动指令并响应于所述所接收运动指令而围绕所述枢转部件的所述中心在所述偏航方向、所述俯仰方向和所述横摇方向上旋转所述支撑结构。
所述系统还可包含:至少一个陀螺仪,所述陀螺仪经配置以产生运动数据,所述运动数据指示所述至少一个陀螺仪的运动;以及处理器,其与所述至少一个陀螺仪和所述致动器进行电子通信,所述处理器经配置以执行包括以下各者的操作:从所述至少一个陀螺仪接收运动数据;基于分析所述运动数据而确定所述阵列相机正经历抖动;产生用于所述致动器的运动指令,所述运动指令经配置以补偿所述抖动的频率和幅度中的一者或两者;以及将所述运动指令提供到所述致动器。所述枢转部件可安置于所述支撑结构的顶部表面或底部表面上。所述至少一个陀螺仪可定位于所述支撑结构的角上。所述至少一个陀螺仪可定位于所述相机系统的盲点中。所述至少一个陀螺仪可包含第一、第二和第三陀螺仪。举例来说,所述系统可包含所述支撑结构的第一角中的第一陀螺仪、所述支撑结构的第二角中的第二陀螺仪和所述支撑结构的第三角中的第三陀螺仪。
所述系统还可包含外壳,所述外壳包含:内部空腔,所述支撑结构和所述阵列相机安置于所述内部空腔内,以及孔径,其经定位以允许表示所述目标图像的光穿过所述孔径且到所述外壳的所述内部空腔中并到达所述至少两个相机中的每一者;且其中述致动器进一步耦合到所述外壳且经进一步配置以相对于所述外壳在所述偏航方向、所述俯仰方向和所述横摇方向上枢转所述支撑结构。
在一些实施例中,所述阵列相机的所述至少两个相机中的每一者包含:图像传感器;透镜组合件,其包括至少一个透镜,所述透镜组合件具有投影中心,所述透镜组合件经定位以将光聚焦于所述图像传感器上;以及镜,其经定位以将光反射到所述透镜组合件,所述镜进一步定位于镜平面上,所述镜平面定位于在所述投影中心与虚拟投影中心之间延伸的线段的中点处,且与所述线段正交。所述阵列相机还可包含具有经配置以将所述光分离成所述多个部分的多个主要光重导向表面的中心反射性元件,所述至少两个相机中的每一者的所述镜形成所述主要光重导向表面中的一者。在一些实施例中,所述至少两个相机中的每一者进一步包含经定位以将光从所述透镜组合件导向到所述图像传感器上的次要光重导向表面,且其中所述至少两个相机中的每一者的所述图像传感器安置于所述板的上部表面上,且与所述板的所述上部表面大体上平行而定位。
在另一方面中,一种用于相机系统的图像稳定的方法包含:在处理器处接收运动数据,所述运动数据由与所述处理器进行电子通信的至少一个陀螺仪产生;借由处理器分析所述运动数据以确定相机系统正经历抖动;产生用于致动器的指令以补偿所述抖动的频率和幅度中的一者或两者;将所述运动指令提供到所述致动器;以及响应于所述所提供指令而借由所述致动器移动支撑所述相机系统的稳定平台。在一些实施例中,所述方法可包含在反馈环路中重复所述步骤。在一些实施例中,所述方法还可包含:在所述处理器处接收图像运动数据,所述图像运动数据包括由所述相机系统产生的图像数据;以及借由所述处理器分析所述图像运动数据以确定相机系统正经历抖动。
在一些实施例中,移动所述稳定平台包含在刚性地附接到所述稳定平台的支轴的中心点周围在俯仰方向、所述偏航方向和所述横摇方向上枢转所述稳定平台,所述中心点与所述相机系统的光轴对准。在一些实施例中,所述致动器包含经配置以在所述俯仰方向上枢转所述稳定平台的第一线性致动器、经配置以在所述偏航方向上枢转所述稳定平台的第二线性致动器、和经配置以在所述横摇方向上枢转所述稳定平台的第三线性致动器。
附图说明
将在下文中结合附图来描述所揭示方面,提供附图是为了说明而不是限制所揭示方面,且其中相同符号表示相同元件。
图1说明经配置用于在偏航、俯仰和横摇方向上围绕支轴旋转相机系统的图像稳定系统的实施方案的简化视图的实例。
图2和3分别展示经配置用于与相机阵列系统一起使用的图像稳定系统的实施方案的实例的俯视图和侧视图。
图4展示经配置用于与折叠式光学阵列相机一起使用的图像稳定系统的另一实施方案的实例,其中图像传感器经定位以与稳定平台平行。
图5是说明包含相机系统且实施图像稳定方法和系统的装置的实施方案的实例的框图。
图6是说明用于借由图像稳定系统稳定相机系统的方法的实施方案的实例的流程图。
具体实施方式
本文中所揭示的实施方案提供用于稳定使用相机系统所捕获的图像的系统、方法和设备。在以下描述中,给出具体细节以提供对实例的透彻理解。然而,可以在无这些具体细节的情况下实践实例。
许多装置包含用于捕获静止和/或视频图像的相机系统,例如,蜂窝电话、个人平板电脑或数码相机。借由这些装置中的一者捕获图像的用户将通常保持住装置并将其瞄向目标图像。然而,保持住装置的用户可能不能够在图像捕获期间完全稳定相机系统。因此,图像或视频可能由于用户的不稳定而展现不佳的质量。此不稳定在本文中被称作抖动,且包含具有高时间频率的装置(包含相机系统)相对于所捕获图像的集成/曝光时间的运动。抖动可区别于在集成/曝光时间期间相对于集成时间具有更低频率和/或相对恒定速率的其它类型的运动。在一些情况下,抖动可包含集成/曝光时间期间的相对正弦运动。应注意,抖动还可由除用户的手的不稳定以外的因素引起。举例来说,安装到移动的结构(例如,汽车或自行车)的相机可能由于结构的运动而展现抖动。本文中所揭示的系统和方法可用以不论抖动的来源而减少抖动对于所捕获图像的影响。
图1展示用于通过在俯仰、横摇和偏航方向上围绕支轴140旋转和/或倾斜相机系统110来稳定相机系统110的图像稳定系统100的实施方案的简化视图。图像稳定系统100可用以通过移动相机系统110以抵消或补偿在图像捕获期间所经历的抖动来稳定相机系统110。在所展示简化实施方案中,图像稳定系统100包含相机外壳120、稳定平台130、支轴140、致动器150和陀螺仪160。所属领域的技术人员将理解,可根据本文中所描述的原理而重复、省略和/或修改在图1中仅示意性地表示的这些组件,以在多种情形中实践图像稳定系统100。
图像稳定系统100经配置以支撑并稳定相机系统110。在图1中,相机系统110可以是任何类型的图像捕获系统,包含电影摄影机或数码相机,包含单个或多个透镜、传感器或其它元件。具体地说,图像稳定系统100可有益于用于薄相机系统(例如宽视野相机、折叠式光学相机系统或阵列相机系统);需要其组件之间的紧密位置容差的相机系统(例如无视差折叠式光学相机系统或阵列相机系统);或出于高分辨率性能所设计的任何其它类型的成像系统中。当解释在本文中呈现的用于图像稳定的方法和系统时,因为对于那些系统中的紧密容差的特别高要求,覆盖无视差类别的阵列相机是重要的。在2015年6月18日申请且名称为“能够捕获全宽视野图像的无视差薄多相机系统(PARALLAX FREE THIN MULTI-CAMERASYSTEM CAPABLE OF CAPTTURING FULL WIDE FIELD OF VIEW IMAGES)”的第14/743,818号美国专利申请案和2015年1月30日申请且名称为“使用无视差伪影的折叠式光学件的多相机系统(MULTI-CAMERA SYSTEM USING FOLDED OPTICS FREE FROM PARRALAX ARTIFACTS)”的第14/611045号美国专利申请案中描述无视差阵列相机的特定实施方案的额外一般信息,所述专利申请案都以全文引用的方式并入本文中。将在下文中更详细地描述经配置用于与这些类型的相机一起使用的光学图像稳定系统的特定实例。
图像稳定系统100包含经配置以支撑相机系统110的稳定平台130。稳定平台130充当相机系统110可安装到上的稳定和固定基础。在一些实施方案中,相机系统110包括附接到稳定平台130的单个组合件,而在其它实施方案中,相机系统110包含个别地在指定布置中附接到稳定平台的单独个别组件(例如,透镜、传感器、光折叠表面等)。
虽然术语“平台”用以描述稳定平台130,但是此不既定限制稳定平台130的形状。举例来说,稳定平台130可以是大体上平坦的正方形或圆形板,其经配置以在固定定向上支撑相机系统110。然而,在一些实施方案中,稳定平台130不必包含均匀地平面的表面。也就是说,稳定平台130可经配置以在不同平面中支撑相机系统110的不同组件。稳定平台130可用整体构造或多件式构造形成。在由多件式构造制成的稳定平台130的实施方案中,多个片件可刚性地附着到彼此以使得稳定平台130的全部作为单个片件移动。稳定还可形成为用于支撑相机系统110的互连部件的框架。此可有益于最小化稳定平台130的重量,同时维持强度和刚度。在一些实施方案中,稳定平台130经配置成在平行于相机系统110的光轴111的方向上大体上薄,虽然情况不必始终如此。薄的稳定平台130可在相机系统110和图像稳定系统100并入到薄便携式装置(如蜂窝电话或平板电脑)中的应用中有益。
如上文所描述,相机系统110或其组件中的每一者刚性地附接到稳定平台130,使得组件中的每一者相对于其它组件中的每一者的定位不随着稳定平台130旋转和/或倾斜而改变。也就是说,相机系统110或其个别组件在附接到稳定平台130时经历如由稳定平台130经历相同的旋转和/或倾斜。因此,对于多分量相机系统(例如,无视差阵列相机系统),通过倾斜或旋转稳定平台130来移动相机系统110将不影响阵列相机的无视差配置。稳定平台130支撑该相机系统110以使得相机系统110的个别组件之间的任何所需位置容差在稳定平台130和相机系统110的运动期间保持固定。
在一些实施方案中,相机系统110附接到稳定平台,以使得相机系统110的光轴111和视野(FOV)113大体上指向远离稳定平台130的相机系统110附接到其上的表面。
稳定平台130可经由支轴140以枢转方式附接到相机外壳120,使得可在俯仰101、横摇102和偏航103方向中的每一者上相对于相机外壳120经由一系列运动移动稳定平台130。如本文所使用,术语“俯仰”、“横摇”和“偏航”用以定义稳定平台130(附接到其的和相机系统110)相对于相机外壳120的运动。举例来说,俯仰101定义稳定平台130在第一平面中的倾斜角度;横摇102定义稳定平台130在与第一平面正交的第二平面中的倾斜角度;且横摇102测量稳定平台130相对于相机外壳120的角度旋转。俯仰、横摇和偏航的这些定义仅仅借助于实例提供,且并不既定是限制性的。相机系统110和稳定平台130在俯仰方向、横摇方向和偏航方向上的移动表示稳定平台130在任何方向上任意倾斜和/或旋转以调整相机系统110。所属领域的技术人员应理解,图像稳定系统100允许稳定平台130在所有方向上的自由倾斜和/或旋转,仅受系统的机械或物理约束限制。在一些实施方案中,稳定平台130可经配置以在俯仰方向、横摇方向和偏航方向中的每一者上倾斜或旋转至少15°。在一些实施方案中,稳定平台130可经配置以在俯仰方向、横摇方向和偏航方向中的每一者上倾斜或旋转至少5°。在一些实施方案中,稳定平台130可经配置以在俯仰方向、横摇方向和偏航方向中的每一者上倾斜或旋转至少2°。
稳定平台130可经配置以允许稳定平台130(和相机系统110)与相机外壳120之间的相对运动,以便补偿或纠正在图像捕获期间所经历的抖动。举例来说,如果抖动致使相机系统110的光轴111向上倾斜,那么稳定平台130可向下旋转以纠正向上倾斜。类似地,如果抖动致使相机系统110在光轴111周围旋转,那么可逆旋转稳定平台130以抵消抖动。将在下文中参考图6描述用于检测和抵消抖动的实例过程。
可借由支轴140实现稳定平台130相对于相机外壳120的运动。最简单地说,支轴140提供稳定平台130可围绕倾斜或旋转的支轴点141。所属领域的技术人员将理解,若干不同结构可用作支轴140。举例来说,如图1中所说明,支轴140可以是在其基础处附接到相机外壳120的尖结构,且稳定平台130可在定位于尖结构的顶部处的支轴点141周围倾斜或旋转。此结构还可颠倒,其中支轴140的基础附接到稳定平台130和支轴点141,同时搁置在相机外壳120上。因此可见,通过调整支轴140的大小、形状和附接,可使支轴点141的位置变化。应注意,支轴点141可收纳到对应结构中以维持对准。举例来说,在图1中所展示的实施方案中,稳定平台130可包含经配置以收纳支轴点141的凹槽或压痕。此可允许稳定平台130在支轴点141上保持居中。
在另一实施方案中,支轴140可以是定位于稳定平台130与相机外壳120之间的滚珠轴承。应了解,滚珠轴承的支轴点是滚珠的中心。在使用滚珠轴承的实施方案中,稳定平台130或相机外壳120中的一者或两者可包含经配置以收纳滚珠轴承的凹槽。在一些实施方案中,支轴140可以是附接到稳定平台130和相机外壳120两者的多方向接合件。在其它实施方案中,支轴140可不包含物理结构。举例来说,稳定平台130可附接到相机外壳120或由多个致动器150附接,且致动器150可经配置以致使稳定平台在空间上在支轴点141周围枢转,即使支轴点141不包含任何物理结构。
在一些实施方案中,支轴点141与相机系统110的光轴111对准。此定位允许相机系统110出于图像稳定而在其光轴111周围旋转。在一些实施方案中,支轴点141还可对准以符合相机系统110的投影中心或光瞳,但在一些实施方案中,不要求光轴111和/或相机系统110的光瞳与支轴点141的对准。
图像稳定系统100还可包含一或多个陀螺仪160。一或多个陀螺仪160可以是机械陀螺仪、电子装置、微芯片封装微机电系统(MEMS)陀螺仪装置、固态环形激光器、光纤陀螺仪或极灵敏量子陀螺仪。陀螺仪160可安置于稳定平台130上以测量稳定平台130和安装于其上的相机系统110的定向和移动。在一些实施方案中,额外陀螺仪160可直接安装到相机外壳120且经配置以测量相机外壳120的定向和移动。如下文将更详细地论述,陀螺仪160可经配置以产生运动数据,可分析运动数据以检测抖动并产生校正抖动的指令。
图像稳定系统100还可包含一或多个致动器150。在一些实施方案中一或多个致动器150可耦合于稳定平台130与相机外壳120之间。致动器150经配置以控制稳定平台130和相机系统110的旋转和/或倾斜。在一些实施方案中,使用三个致动器150,其中每一致动器150经配置以控制稳定平台130的俯仰、横摇和偏航中的一者。
在一些实施方案中,致动器150直接作用于稳定平台130。举例来说,第一致动器150可以是安置于稳定平台130与相机外壳120之间的线性致动器,且第二致动器150可以是也安置于稳定平台130与相机外壳120之间的线性致动器。第一和第二致动器150可经定位以使得在第一致动器与支轴140之间延伸的第一线与在第二致动器与支轴140之间延伸的第二线正交。因此,第一致动器150可控制俯仰方向上的倾斜,且第二致动器150可控制偏航方向上的倾斜。第三致动器150也可以是安置于稳定平台130与相机外壳120之间的线性致动器。第三致动器150可沿着垂直于光轴111的半径定位且对准,其方式为其可致使相机系统在其光轴111周围旋转。因此,第三致动器150可控制稳定平台130在横摇方向上的旋转。
在一些实施方案中,致动器150可作用于支轴140,而非直接作用于稳定平台130。举例来说,在一些实施方案中,支轴140可以是滚珠轴承,且三个致动器150中的每一者可以是抵着滚珠轴承的表面按压的滚轮。在一些配置中,控制俯仰和偏航旋转的两个致动器可经定向,使得两个旋转滚轮中的每一者的旋转轴大体上指向与另一者的旋转轴正交的方向,且每一旋转轴可定位于与另一者的平面平行的单独平面中,其中这些单独平面与相机系统的光轴111大体上正交。第三旋转致动器可使其旋转轴大体上指向光轴111的方向。可使用其它布置的三个旋转致动器,使得旋转致动器中的每一者的轴线的旋转可大体上在不同方向上指向彼此,且所述致动器经布置使得可有可能有效地旋转相机系统110或稳定平台130,其方式为相机系统110的光轴可在俯仰和横摇方向上倾斜且相机系统110的光轴111在横摇旋转方向上大体上旋转。因此,可借由控制滚轮致动器的旋转以允许在俯仰方向、偏航方向和横摇方向上的移动来实现相机系统110的移动。在一些实施方案中,可在此布置中抵着滚珠轴承的表面按压一或多个旋转装置,在此布置中每一滚轮旋转轴可沿着与滚轮旋转轴正交的轴线旋转,其方式使得能够在俯仰方向、偏航方向和旋转方向上旋转光轴111。
在一些实施方案中,致动器150中的一或多者可作用于相机外壳120。举例来说,线性致动器150可作用于相机外壳120以致使相机外壳120、稳定平台130和相机系统110在相机外壳120的轴线周围一起旋转。这种配置可在在相机外壳120与稳定平台130之间延伸的一或多个致动器150限制稳定平台相对于相机外壳120旋转的能力时有益。
在一些实施方案中,可使用多于或少于三个致动器150。在一些实施方案中,一些致动器可直接作用于稳定平台130,且其它致动器可同时作用于支轴140。
在一些实施方案中,陀螺仪160和致动器150定位于相机系统110的盲点内。在一些实施方案中,陀螺仪160和致动器150中的一些定位于相机系统110的FOV 113内,且可从所捕获图像裁剪出或以数字方式去除陀螺仪160和致动器150。
如将更详细地论述,包含相机系统110、陀螺仪160和致动器150的图像稳定系统100可电连接到图像处理模块。图像处理模块可包含经配置有用以对所接收图像数据和定位数据执行各种处理操作的指令的图像处理器。
用于八相机、无视差阵列相机系统的图像稳定系统的实例
图2和3分别说明经配置用于与八相机、无视差阵列相机系统1000一起使用的图像稳定系统200的实施方案的实例的俯视图和侧视图。在名称为“能够捕获全宽视野图像的无视差薄多相机系统(PARALLAX FREE THIN MULTI-CAMERA SYSTEM CAPABLE OF CAPTTURINGFULL WIDE FIELD OF VIEW IMAGES)”的第14/743,818号美国专利申请案中详细地描述八相机、无视差阵列相机系统的实施方案,所述专利申请案在先前以引用的方式并入本文中。
参考图2,阵列相机系统1000包含一起用以形成虚拟宽视野相机的相机1114a到1114d(“第一相机”)的第一集合(或环)和第二相机1116a到1116d(“第二相机”)的第二集合(或环)。在此实例中,第一相机1114a到1114d包含四个相机且第二相机1116a到1116d包含四个相机。图3出于清楚起见而仅展示来自第一相机1114a到1114d和第二相机1116a到1116d中的每一者的两个相机。阵列相机系统1000包含将光重导向到第一相机1114a到1114d的四个光反射性组件1124a到1124d(为了易于参考统称为“第一镜1124a到1124d”,虽然在一些实施例中反射性组件可以是除镜以外的反射性表面),第一镜1124a到1124d中的每一者对应于第一相机1114a到1114d中的一者,且将光重导向到第一相机1114a到1114d中的其对应一者。此外,阵列相机系统1000包含将光重导向到第二相机1116a到1116d的四个光重导向反射性组件1126a到1126d(为了易于参考统称为“第二镜1126a到1126d”,虽然在一些实施例中反射性组件可以是除镜以外的反射性表面),第二镜1126a到1126d中的每一者对应于第二相机1116a到1116d中的一者。举例来说,第一反射镜1124a对应于第一相机1114a,且第二反射镜1126a对应于第二相机1116a。第一镜1124a到1124d和第二镜1126a到1126d反射入射光朝向对应第一相机1114a到1114d和第二相机1116a到1116d中的每一者的入射光瞳。出于清楚起见,仅在图3中展示来自第一与第二相机的每一集合中的两个镜。由第一相机1114a到1114d和第二相机1116a到1116d接收的光可产生覆盖宽视野场景的多个图像,且多个图像可用以形成单个“马赛克”图像。虽然依据镜来描述,但光重导向反射镜组件可以致使相机接收入射光的任何方式来反射、折射或重导向光。在所展示实施方案中,第一镜1124a到1124d和第二镜1126a到1126d形成中心光反射结构1160。
第一镜1124a到1124d和第二镜1126a到1126d沿着第一相机1114a到1114d和第二相机1116a到1116d中的每一者反射光,使得对应第一相机1114a到1114d和第二相机1116a到1116d中的每一者根据每一相机的视野而捕获包括目标图像的一部分的局部图像。每一相机的视野可共享重叠区。第一相机1114a到1114d和第二相机1116a到1116d中的每一者的目标图像的所捕获部分可共享相对于重叠区相同或类似的内容(例如,反射光)。因为重叠区共享相同或类似的内容,使用此内容可由图像拼接模块用以输出合成目标图像。
为了输出单个目标图像,图像拼接模块可对图像处理器进行配置以组合多个局部图像来产生高分辨率目标图像。目标图像产生可通过已知图像拼接技术而进行。可在2007年1月12日申请的名称为“全景成像技术(PANORAMIC IMAGING TECHNIQUES)”的第11/623,050号美国专利申请案中发现图像拼接的实例,所述美国专利申请案以引用的方式并入本文中。
通过谨慎地定位第一相机1114a到1114d和第二相机1116a到1116d和第一镜1124a到1124d和第二镜1126a到1126d中的每一者,可对阵列相机系统1000进行进一步配置以产生大体上无视差伪影的合成图像。此可通过定位第一相机1114a到1114d和第二相机1116a到1116d和第一镜1124a到1124d和第二镜1126a到1126d中的每一者以便从共同视角具有单个虚拟视野来得以实现。单个虚拟视野表现为好像第一相机1114a到1114d和第二相机1116a到1116d中的每一者从单个原点(在本文中有时被称作虚拟投影中心)捕获场景,不管第一相机1114a到1114d和第二相机1116a到1116d的实际物理位置定位于远离单个原点的各种点处。一般来说,在无视差阵列相机中,阵列中的每一个别相机表现为捕获目标图像的其部分,好像个别相机定位于虚拟投影中心处。无视差阵列相机还可描述为具有从其虚拟投影中心延伸的虚拟光轴。虚拟投影中心表示由阵列形成的虚拟相机的光瞳位置,且虚拟光轴表示虚拟相机的光轴并从虚拟投影中心延伸到阵列相机的视野中。在第14/743,818号美国专利申请案中描述关于定位相机和对准其各别光轴以具有单个虚拟视野并产生大体上无视差设计的其它细节。出于本申请案的目的,理解各种第一相机1114a到1114d与第二相机1116a到1116d和第一镜1124a到1124d与第二镜1126a到1126d之间的位置误差容差必须是小的以产生无视差伪影的合成图像是足够的。
在本文中,当使用术语“无视差”、“无视差伪影”、“有效地或大体上无视差”或“有效地或大体上无视差伪影”时,应理解,物理现实可使以下情形难以或几乎不可能实现:随时间推移将物理物品保持在相同位置中或甚至在不使用容差的情况下具有与经设计的特性恰好相同的特性。现实是事物可随着时间和或环境条件而改变形状、大小、位置、与可能的其它目标的相对位置。由此,难以在不假定或提供容差要求的情况下,将物品或事物谈论为理想或不变的。在本文中,例如有效地无视差等术语将意味着且被使用来表示大多数物理物品将需要具有对即使事物不是理想的且可能随时间而改变也满足组合件或物品的既定目的程度的容差的现实。应使用具有或不具有相关措辞的术语“无视差”、“无视差伪影”、“有效地无视差”或“有效地无视差伪影”来意味有可能可确定显示容差要求,使得满足系统、系统或物品的既定要求或目的。
在理解与阵列相机系统1000或包含比可或可不经配置以无视差伪影的八个个别相机更多或更少的其它类似折叠式光学或阵列相机设计相关联的紧密容差要求之后,本文中所描述的图像稳定系统和技术的一些益处变得显而易见。首先,因为所有个别组件(换句话说,第一相机1114a到1114d和第二相机1116a到1116d和其对应第一镜1124a到1124d和第二镜1126a到1126d)全部刚性地附接到稳定平台230,所以组件全部一起移动且组件之间的容差不受影响。此与可涉及单独地移动特定传感器、透镜或光重导向表面以稳定图像的其它图像稳定技术的形成对比。其次,因为阵列相机系统1000使用第一镜1124a到1124d和第二镜1126a到1126d以折叠光朝向第一相机1114a到1114d和第二相机1116a到1116d,所以阵列相机系统1000相对薄且合适用于装置(如蜂窝电话或平板电脑)中。本文中所描述的图像稳定系统还可经设计为相对薄且因此合适用于类似应用中。
返回到图2和3,现在更详细地描述用来与阵列相机系统1000一起使用的图像稳定系统200。如所展示,阵列相机系统1000的组件(例如,第一相机1114a到1114d和第二相机1116a到1116d和其对应第一镜1124a到1124d和第二镜1126a到1126d)中的每一者可全部刚性地附接到稳定平台230。阵列相机系统1000的组件的布置相对于彼此固定,以使得维持所需用于阵列相机系统1000的所述组件的布置和对准的紧密容差,即使图像稳定系统200运动的情况下也如此。如图2中所见,所说明稳定平台230为在形状上是大体上圆形的,虽然其它形状是可能的。如图3中所示,阵列相机系统1000的各种组件可相对于稳定平台230安装在不同高度处。举例来说,第一相机1114a和1114c可安装于稳定平台230的表面上方,而第二相机1116a和1116c可使其结构中的至少一些至少部分地安装于稳定平台230的表面下方。在一些实施方案中,此通过将阵列相机系统1000的组件安装于安装到稳定平台230上或形成于稳定平台230中的凹槽或孔洞上来得以实现。在一些实施方案中,稳定平台230可由经特定设计以将阵列相机系统1000的组件固定于正确位置中的形状形成,包含经配置以为组件中的每一者提供正确高度的特征。
稳定平台230可经由支轴240以枢转方式和/或以旋转方式耦合到相机外壳220。支轴240经配置以允许稳定平台230相对于相机外壳220在俯仰方向、横摇方向和偏航方向中的每一者上自由地倾斜和/或枢转。支轴240可包含收纳到附接到稳定平台230的对应凹槽242中的附接到相机外壳220的尖结构。支轴240可包含支轴点241,稳定平台230在支轴点241周围倾斜和/或旋转。
在一些实施方案中,支轴点241经定位以符合阵列相机系统1000的虚拟投影中心。稳定平台230可包含一或多个间隔件243,所述间隔件243经配置以正确地定位稳定平台230以使得其围绕阵列相机系统1000的虚拟投影中心旋转或倾斜。
一或多个陀螺仪260a、260b可附接到稳定平台230。陀螺仪260a、260b可经配置以提供关于稳定平台230的位置和/或移动数据。可分析此数据以确定稳定平台230(和附接到其的阵列相机系统1000)是否正经历抖动,并产生补偿或抵消所检测到的抖动的致动器指令。
图像稳定系统200可包含经配置以倾斜或旋转稳定平台230的一或多个致动器250a、250b、250c、250d。致动器中的一些可以是经配置以在相机外壳220与稳定平台230之间延伸以控制稳定平台的倾斜的线性致动器,例如,致动器250a、250b。如图3中最好地所见,致动器250a在相机外壳220的上部表面220c与稳定平台230之间延伸。然而,致动器还可定位于相机外壳220的下部表面220a与稳定平台230的侧表面220b之间。致动器250c是经配置以作用于从相机外壳220延伸的臂的线性致动器。因此,致动器250c可用以旋转相机外壳220的全部,借此旋转稳定平台230和阵列相机系统1000。致动器250d是经配置以相对于相机外壳220旋转稳定平台230的线性致动器。在各种实施方案中,可省略这些致动器中的一些。
图像稳定系统200可连接到处理器,所述处理器经配置以分析来自陀螺仪260a、260b的运动数据并产生致动器指令以稳定稳定平台且校正或补偿所检测到的抖动。
图4说明经配置用于与折叠式光学阵列相机2000一起使用的图像稳定系统400的实施方案的另一实例,其中传感器2111、2121经定位以便与稳定平台430平行。如本文所使用,术语“折叠式”意图在广义上用以表征一种类型的成像系统,其中进入成像系统的光在最终照亮成像系统中的传感器之前被重导向至少一次。换句话说,在其进入成像系统时在一个方向上传播的光经重导向或“折叠”至少一次,以在其入射于传感器上之前在不同方向上传播。
折叠式光学阵列相机2000包含第一相机2110和第二相机2120。第一相机2110和第二相机2120中的每一者包含图像传感器、透镜系统和数个对应光折叠表面。举例来说,第一相机2110包含传感器2111、主要光折叠表面2113、次要光折叠表面2115和透镜组合件2117。第一相机2110经布置以产生视野(FOV)2119,如所展示。类似地,第二相机2120包含图像传感器2121、主要光折叠表面2123、次要光折叠表面2125和透镜组合件2127。第二相机2120经布置以产生FOV 2129,如所展示。折叠式光学阵列相机2000具有包含分别属于第一相机2110的FOV 2119和第二相机2120的FOV 2129的总FOV。在一些实施方案中,折叠式光学阵列相机2000的FOV可包含第一相机2110的FOV 2119与第二相机2120的FOV 2129之间的重叠2107。
传感器2111、2121可在某些实施方案中各自包括电荷耦合装置(CCD)、互补金属氧化物半导体传感器(例如,互补型金属氧化物半导体(CMOS))、或接收光且响应于所接收图像而产生图像数据的任何其它图像传感装置。传感器2111、2121可经配置以产生单个图像的图像数据,和/或可经配置以产生多个图像的图像数据(例如,捕获视频数据或一系列单个图像)。传感器2111、2121可以是个别传感器,或各自可表示大量传感器,例如,传感器的3×1阵列。如所属领域的技术人员将理解,可在所揭示实施方案中使用任何合适的传感器或传感器的阵列。
在一些实施方案中,折叠式光学阵列相机2000的组件安置于稳定平台430上。举例来说,中心反射棱镜2103可安置于稳定平台430上。中心反射棱镜2103可包含第一相机2110和第二相机2120中的每一者的主要光折叠表面2113、2123。在一些实施方案中,中心反射棱镜2103经配置以重导向表示从大体上垂直的方向到大体上水平的方向上进入折叠式光学阵列相机2000的目标图像的光,水平方向大体上与稳定平台430平行。
镜头组合件2117、2127还安置于稳定平台430上且经定位以使得反射中心反射棱镜2103的主要光折叠表面2113、2123的光穿过镜头组合件。可在中心反射棱镜2103与传感器2111、2121之间设置一或多个镜头组合件2117、2127。镜头组合件2117、2127可用以聚焦被引向每一传感器2111、2121的目标图像的部分。
在一些实施方案中,每一透镜组合件包括一或多个透镜,和用于使透镜在多个不同透镜位置当中移动穿过外壳的致动器。致动器可以(例如)是音圈电动机(VCM)、微机电系统(MEMS)或形状记忆合金(SMA)。透镜组合件可进一步包括用于控制致动器的透镜驱动器。在一些实施方案中,可通过改变透镜组合件2117、2127与每一相机的相应传感器2111、2121之间的焦距来实施传统自动聚焦技术。在一些实施方案中,这可通过移动镜筒来完成。
次要光折叠表面2115、2125安装到稳定平台430且经定位以便将来自镜头组合件2117、2127的光重导向到也安装于稳定平台430上的传感器2111、2121上。次要光折叠表面2115、2125可允许传感器2111、2121安装于稳定平台430上且经定向以便大体上平行于稳定平台430的表面。在其它实施方案中,可省略次要光折叠表面2114、2125,且传感器2111、2121可经定向以便直接接收离开镜头组合件2117、2127的光。
在一些实施方案中,折叠式光学阵列相机2000可包含额外特征。举例来说,在一些实施方案中,每一传感器2111、2121的FOV 2119、2129可由与那个传感器相关联的中心反射棱镜2103的主要光折叠表面2113、2125转向到对象空间中。可使用机械法以倾斜镜和/或在折叠式光学阵列相机2000中移动棱镜,以使得可将第一相机2110和第二相机2120中的每一者的FOV转向到对象视野上的不同位置。这可(例如)用以实施高动态范围相机,以增大相机系统的分辨率,或实施全光相机系统。在一些实施方案中,主要表面2113、2123和次要表面2115、2125可包含反射性和/或折射性元件。举例来说,在一些实施方案中,主要光折叠表面可以是反射性的,而次要光折叠表面可以是折射性的,且反之亦然。
在包含2013年3月15日申请且名称为“使用折叠式光学件的多相机系统(MULTI-CAMERA SYSTEM USING FOLDED OPTICS)”的第2014/0111650号美国申请公开案中揭示折叠式光学配置的阵列相机的一些实施方案,所述申请公开案的揭示内容借此以引用的方式并入。
如图4中进一步所见,图像稳定系统400还包含支轴,其被构造成安置于稳定平台430与相机外壳420之间的滚珠轴承440。滚珠轴承440允许稳定平台430(和附接到其的折叠式光学阵列相机2000)相对于相机外壳420倾斜和/或旋转。此允许图像稳定系统400实施本文中所描述的图像稳定技术以补偿在图像捕获期间所经历的抖动。尤其,稳定平台430在滚珠轴承440的中心点441周围倾斜或旋转。此外,稳定平台430和相机外壳420中的一者或两者可分别包含在大小和形状方面经配置以收纳滚珠轴承440的一部分的凹入式部分431、421。凹入式部分431、421可固定滚珠轴承就位。图像稳定系统400还可包含致动器和陀螺仪(图4中未展示)。
如图4中所说明,折叠式光学阵列相机2000和图像稳定系统400具有总高度H。在一些实施方案中,总高度H可大约是6.0mm或更小。在其它实施方案中,总高度H可大约是4.0mm或更小。虽然未在图4中说明,但是折叠式光学阵列相机2000和图像稳定系统400全部可设置于具有约6.0mm或更小或约4.0mm或更小的对应内部高度的装置外壳中。
图5是说明包含相机系统110和图像稳定组件(例如上文参考图1所描述的组件和图像稳定系统100)的装置500的一个实施方案的框图。装置500包含安置于外壳501内的装置处理器503、显示器505、存储装置507和成像模块510。所属领域的技术人员将理解,图5中所表示的实施方案仅仅作为实例提供,且其它组件、和其布置是可能的,且在本发明的范围内。此外,装置500可包含图5中未展示的额外组件或模块。举例来说,装置500可包含一或多个按钮或开关,或内部组件或模块,例如电池。
一般来说,装置500可以是蜂窝电话、数码相机、平板电脑、个人数字助理、手提电脑等。一般来说,相机系统110可以是任何类型的成像系统,尤其是任何类型的薄成像系统。如本文中所描述的图像稳定方法可有利地部署于减小的厚度和稳定成像系统合乎需要的任何装置500中。
多个应用可在装置500上对用户可用。这些应用可包含传统摄影和/或食品应用、高动态范围成像、全景照片和视频应用和/或立体成像应用,例如经配置以捕获3D图像或3D视频的成像应用。
装置500包含经配置以捕获、处理并储存图像的成像模块510。此外,成像模块510可经配置以实施如下文将更完全地描述的图像稳定技术。在一些实施方案中,成像模块510独立于装置500制造,且经配置有标准I/O接口以便易于可在多个不同装置内使用。在其它实施方案中,成像模块510可制造为装置500的整体部分。举例来说,成像模块510可形成装置500的主板的一部分。
在一些实施方案中,成像模块510可包含一或多个子模块。举例来说,在图5的实施方案中,成像模块510包含稳定模块520和图像处理模块550。稳定模块520包含用于稳定相机系统110的机械组件,且图像处理模块550包含用于控制机械稳定组件且用于处理所捕获图像的电子组件。现将更详细地描述这些模块中的每一者,从稳定模块520开始。然而,应再次注意,虽然这些模块在图5中被描绘为单独的,但是在一些实施方案中,这些单独模块可制造为单个模块或为装置500的整体部分。
如图5的实施方案中所展示,稳定模块520包含上文参考图1所描述的图像稳定系统100的组件。这些组件包含相机系统110、稳定平台130、支轴140、一或多个致动器150和一或多个陀螺仪160。一般来说,借由装置500捕获图像的用户将装置500拿在他或她的手中,并将相机系统110瞄向所要图像场景。然而,用手拿着装置500的用户可能不能够完全稳定装置500。因此,由相机系统110捕获的图像和视频可能由于用户的不稳定和所得抖动而展现不佳的质量。应再次注意,抖动可由除用户的手的不稳定以外的因素引起。举例来说,安装到移动的结构(例如,汽车或自行车)的相机可能由于所述结构的运动而展现抖动。本文中所揭示的系统和方法减轻抖动对于所捕获图像的影响,不论抖动的来源。
包含相机系统110、陀螺仪160和致动器150的稳定模块520可电连接到图像处理模块550。图像处理模块550可包含经配置以对所接收图像数据执行各种处理操作以便输出高质量图像的图像处理器553。图像处理器553还可经配置以从一或多个陀螺仪160接收定向数据并计算用于一或多个致动器150的运动指令以在检测到抖动时稳定相机系统110。
图像处理器553可以是通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含裁剪、缩放(例如,缩放到不同分辨率)、图像拼接、图像格式转换、颜色插值、颜色处理、图像过滤(例如,空间图像过滤)、透镜伪影或缺陷校正、图像稳定等。在一些实施方案中,图像处理器553可包括多个处理器。某些实施方案可具有专用于每一图像传感器的处理器。图像处理器553可以是一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。在一些实施方案中,不存在专用图像处理器553,且在装置处理器503上执行本文中所描述的操作。
如所展示,图像处理器553连接到存储器560和工作存储器555。在图5的所说明实施方案中,存储器560存储捕获控制模块561、图像拼接模块562、操作系统模块563和稳定控制模块564。这些模块包含对图像处理器553或装置处理器503进行配置以执行各种图像处理和装置管理任务的指令。工作存储器555可由图像处理器553使用以存储含于存储器560的模块中的处理器指令的工作集合。替代地,工作存储器555也可以由图像处理器553使用以存储在装置500的操作期间产生的动态数据。
在一些实施方案中,捕获控制模块561可包含指令,所述指令对图像处理器553进行配置以调用稳定控制模块564以分析图像数据和/或陀螺仪数据、确定图像稳定参数、并产生致动器指令以根据图像稳定参数来定位(或再定位)稳定平台130和相机系统110。举例来说,定位于稳定平台130上的陀螺仪160可将定向或定位数据提供到稳定控制模块564,且稳定控制模块564可分析定向数据以确定抖动是否存在,且如果抖动存在,那么确定抖动的频率和/或幅度分量。稳定控制模块564可接着将指令提供到耦合到稳定平台130的一或多个致动器150以补偿所确定抖动分量。在一些实施方案中,致动器指令可(例如)基于具有用以最小化由于手抖动发生的某些已知频率的系数的查找表而补偿抖动的频率和幅度。
在一些实施方案中,稳定控制模块564比较来自安装于稳定平台上的陀螺仪160的定向数据与来自直接安装于外壳501上的陀螺仪的定向数据,以确定抖动是否存在且计算并将指令提供到一或多个致动器150。在一些实施方案中,稳定控制模块564比较来自所连续地捕获的图像的数据,以确定相机系统110是否正经历抖动且产生致动器指令以补偿抖动。
在一些实施方案中,稳定控制模块564可执行分析陀螺仪运动数据、向致动器150提供指令、在致动器移动板时分析陀螺仪运动数据和修改致动器指令以便在图像捕获期间最小化陀螺仪的运动的反馈环路。此反馈环路可补偿致动器150中的滞后。
捕获控制模块561可进一步包含控制装置500的总体图像捕获功能的指令。举例来说,捕获控制模块561可包含指令,其调用子程序以对图像处理器553进行配置以使用相机系统110捕获目标图像场景的原始图像数据。如果相机系统110是阵列相机系统,那么捕获控制模块561可接着调用图像拼接模块562以对由阵列相机的个别相机中的每一者捕获的局部图像执行拼接技术,并将经拼接并裁剪的目标图像输出到图像处理器553。捕获控制模块561还可调用图像拼接模块562以对原始图像数据执行拼接操作以便将待捕获的场景的预览图像输出到显示器505,并按一定时间间隔或在原始图像数据中的场景改变时更新预览图像。
图像拼接模块562可包括配置图像处理器553以对所捕获图像数据执行拼接和裁剪技术的指令。例如,阵列相机的传感器中的每一者可根据每一传感器的视野而捕获包括目标图像的一部分的局部图像。视野可共享重叠区域,如上文所描述。为了输出单个目标图像,图像拼接模块562可对图像处理器553进行配置以组合多个局部图像来产生高分辨率目标图像。目标图像产生可通过已知图像拼接技术而进行。可在名称为“全景成像技术(PANORAMIC IMAGING TECHNIQUES)”的第8,331,725号美国专利案中发现图像拼接的实例,所述美国专利案已在先前以引用的方式并入。
举例来说,图像拼接模块562可包含用以针对匹配特征来比较沿着局部图像的边缘的重叠区域以便确定所述局部图像相对于彼此的旋转和对准的指令。由于每一传感器的视野的局部图像和/或形状的旋转,组合的图像可形成不规则形状。因此,在对准且组合局部图像之后,图像拼接模块562可调用子例程,所述子例程对图像处理器553进行配置以将经组合图像裁剪成所需形状和高宽比,例如4:3矩形或1:1正方形。可将经裁剪图像发送到装置处理器503,以用于在显示器505上显示或用于保存在存储装置507中。
操作系统模块563对图像处理器553进行配置以管理装置500的工作存储器555和处理资源。举例来说,操作系统模块563可包含用以管理例如相机系统110等硬件资源的装置驱动器。因此,在一些实施方案中,含于上文所讨论的图像处理模块中指令可不直接与这些硬件资源交互,而是替代地通过标准子例程或位于操作系统组件563中的API进行交互。操作系统模块563内的指令随后可直接与这些硬件组件交互。操作系统模块563可进一步对图像处理器553进行配置以与装置处理器503共享信息。
在一些实施方案中,装置500可并入有上文所描述的特征中的一些或全部以产生经稳定图像。然而,所属领域的技术人员将理解,可在不背离本发明的范围的情况下修改并变化在上方参考图5中所展示的实例实施方案所揭示的原理。
图6是说明用于借由图像稳定系统100稳定相机系统110的方法600的实施方案的流程图。在图1中展示未在图6中展示的此章节中的所描述的参考数字,虽然所属领域的技术人员将理解方法600可与本文中所描述的图像稳定系统中的任一者一起使用。
方法600开始于框605处,其中在处理器处从一或多个陀螺仪160接收运动数据。在一些实施方案中,一或多个陀螺仪160定位于稳定平台130上且稳定平台130还支撑相机系统110。因此,一或多个陀螺仪160产生关于相机系统110的运动的运动数据。
在框610处,处理器分析运动数据以确定相机系统110是否正经历抖动。如果检测到抖动,那么在框615处,处理器响应于经分析运动数据而产生致动器指令。致动器指令经配置以抵消所检测抖动,从而有效地(大体上)稳定相机系统110。
在框620处,将致动器指令从处理器提供到一或多个致动器150。在框625处,一或多个激活器响应于所提供致动器指令而移动稳定平台130(并因此移动附接到稳定平台130的相机系统110)。
提供框630以说明方法600步骤可作为反馈环路的部分执行。举例来说,可不断地重复方法600步骤,且可不断地调整相机系统110的定位以实时纠正检测到的抖动。
实施系统和术语
本文中所揭示的实施方案提供用于稳定相机系统(包含经配置以无视差和倾斜伪影的阵列相机系统)的系统、方法和设备。所属领域的技术人员将认识到,可以硬件、软件、固件或其任何组合实施这些实施方案。
在一些实施方案中,可在无线通信装置中利用上文所论述的电路、过程和系统。无线通信装置可以是用来与其它电子装置无线通信的一种电子装置。无线通信装置的实例包含蜂窝电话、智能电话、个人数字助理(PDA)、电子读取器、游戏系统、音乐播放器、上网本、无线调制解调器、手提电脑、平板装置等。
无线通信装置可包含:一或多个图像传感器;两个或两个以上图像信号处理器;一个存储器,其包含用于实施上文所论述的过程的指令或模块。装置还可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如,显示装置)和电源/接口。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同被称作收发器。收发器可耦合到一或多个天线以用于发射和/或接收无线信号。
无线通信装置可以无线方式连接到另一电子装置(例如,基站)。无线通信装置可替代地被称作移动装置、移动台、订户台、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。通信装置的实例包含手提或桌上型计算机、蜂窝电话、智能电话、无线调制解调器、电子书阅读器、平板装置、游戏系统等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准而操作。因此,一般术语“无线通信装置”可包含根据业界标准以变化的命名法来描述的无线通信装置(例如,接入终端、用户设备(UE)、远程终端等)。
可将本文中所描述的功能作为一或多个指令而存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借助于实例而非限制,此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和
Figure GDA0002317067470000191
光盘,其中磁盘通常以磁性方式再现数据,而光盘使用激光以光学方式再现数据。应注意,计算机可读媒体可以是有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器,其与可由计算装置或处理器执行、处理或计算的代码或指令(例如,“程序”)结合。如本文中所使用,术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
本文中所揭示的方法包括用于达成所描述的方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下,方法步骤和/或动作可彼此互换。换句话说,除非正描述的方法的适当操作需要步骤或动作的特定次序,否则,在不脱离权利要求书的范围的情况下,可修改特定步骤和/或动作的次序和/或使用。
应注意,如本文中所使用,术语“耦合”、“正耦合”、“经耦合”或词语耦合的其它变化可指示间接连接或者直接连接。举例来说,如果第一组件“耦合”到第二组件,那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文所使用,术语“多个”指示两个或两个以上。举例来说,多个组件指示两个或两个以上组件。
术语“确定”涵盖广泛多种动作,且因此“确定”可包含计算、运算、处理、导出、调查、查找(例如,在表、数据库或另一数据结构中查找)、查明等。并且,“确定”可包含接收(例如,接收信息)、存取(例如,在存储器中存取数据)等等。并且,“确定”可包含解析、选择、挑选、建立等等。
除非以其它方式明确地指定,否则短语“基于”不意味“仅基于”。换句话说,短语“基于”描述“仅基于”和“至少基于”两者。
在以下描述中,给出特定细节以提供对实例的透彻理解。然而,所属领域的技术人员将理解,可在没有这些具体细节的情况下实践所述实例。举例来说,可在框图中展示电组件/装置,以免用不必要的细节混淆所述实例。在其它实例中,可详细展示此些组件、其它结构和技术以进一步解释实例。
本文中包含数个标题,是为了参考和辅助定位各个部分。这些标题不既定限制关于其描述的概念的范围。此些概念可在整个说明书中都适用。
还应注意,可将实例描述成过程,所述过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述成循序过程,但是可并行或同时执行许多操作,且过程可重复。另外,可重新布置操作的顺序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时,过程的终止对应于功能返回到调用功能或主功能。
提供对所揭示实施方案的前述描述以使得所属领域的技术人员能够制作或使用本发明。对这些实施方案的各种修改对于所属领域的技术人员将易于显而易见,且本文中所定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此,本发明不既定限于本文中所展示的实施方案,而是应被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。

Claims (28)

1.一种用于相机系统的图像稳定系统,其包括:
稳定平台,其经配置以支撑相机系统,所述相机系统包括至少两个相机的阵列,所述至少两个相机的每一者经配置以捕获图像的至少两个部分的相应一部分,所述阵列具有由所述至少两个相机的光学路径所定义的虚拟光轴;
相机外壳;
支轴,其以旋转方式且以枢转方式将所述稳定平台连接到所述相机外壳并与所述虚拟光轴对准,所述支轴经配置使得所述稳定平台可在俯仰方向、横摇方向和偏航方向中的至少一者上相对于所述相机外壳倾斜并旋转;
至少一个陀螺仪,其刚性地连接到所述稳定平台以随所述稳定平台移动;以及
至少一个致动器,其耦合到所述稳定平台且经配置以引起所述稳定平台在所述俯仰方向、所述横摇方向和所述偏航方向中的至少一者上的倾斜或旋转。
2.根据权利要求1所述的图像稳定系统,其中所述至少一个陀螺仪经配置以产生运动数据,所述图像稳定系统进一步包括与所述至少一个陀螺仪和所述至少一个致动器进行电子通信的处理器,所述处理器经配置以:
从所述至少一个陀螺仪接收经产生的所述运动数据;
基于分析所述运动数据而确定所述相机系统正经历抖动;
产生用于所述至少一个致动器的运动指令,所述运动指令经配置以补偿所述抖动的频率和幅度中的一者或两者;以及
将所述运动指令提供到所述致动器。
3.根据权利要求1所述的图像稳定系统,其中所述至少一个陀螺仪包括第一陀螺仪、第二陀螺仪和第三陀螺仪,且其中所述至少一个致动器包括:
第一致动器,其经配置以在所述偏航方向上旋转所述稳定平台;
第二致动器,其经配置以在所述俯仰方向上倾斜所述稳定平台;及
第三致动器,其经配置以在所述横摇方向上倾斜所述稳定平台,
其中所述第一陀螺仪、所述第二陀螺仪和所述第三陀螺仪相对于所述相机系统各自定位于盲点中以便从捕获的图像中去除所述第一陀螺仪、所述第二陀螺仪和所述第三陀螺仪中的一或多个的至少一部分。
4.根据权利要求1所述的图像稳定系统,其中所述支轴包括滚珠轴承。
5.根据权利要求1所述的图像稳定系统,其中所述支轴包括支轴点,且其中所述支轴点与所述相机系统的所述虚拟光轴对准。
6.根据权利要求1所述的图像稳定系统,其中所述相机系统包括阵列相机。
7.根据权利要求1所述的图像稳定系统,其中所述稳定平台经配置以在所述俯仰方向、所述横摇方向和所述偏航方向中的每一者上旋转。
8.根据权利要求1所述的图像稳定系统,其中所述稳定平台经配置以并不阻挡所述相机系统的视野。
9.根据权利要求1所述的图像稳定系统,其中所述稳定平台包括大体上平坦的板。
10.一种用于阵列相机的图像稳定系统,其包括:
阵列相机,其具有虚拟光轴,所述阵列相机包括至少两个相机,所述至少两个相机中的每一者经配置以捕获场景的目标图像的多个部分中的一者,所述阵列相机具有由所述至少两个相机的光学路径所定义的虚拟光轴;
支撑结构,其支撑所述阵列相机;
枢转部件,其刚性地连接到所述支撑结构,所述枢转部件经配置以围绕所述枢转部件的中心在偏航方向、俯仰方向和横摇方向上枢转,所述枢转部件的所述中心与所述阵列相机的所述虚拟光轴对准;
至少一个陀螺仪,其刚性地连接到所述支撑结构以随所述支撑结构移动,所述至少一个陀螺仪经配置以产生运动数据,所述运动数据指示所述支撑结构的运动;以及
致动器,其耦合到所述支撑结构,所述致动器经配置以接收运动指令并响应于所述所接收运动指令而围绕所述枢转部件的所述中心在所述偏航方向、所述俯仰方向和所述横摇方向上旋转所述支撑结构。
11.根据权利要求10所述的图像稳定系统,其进一步包括:
处理器,其与所述至少一个陀螺仪和所述致动器进行电子通信,所述处理器经配置以:
从所述至少一个陀螺仪接收所述运动数据;
基于分析所述运动数据而确定所述阵列相机正经历抖动;
产生用于所述致动器的所述运动指令,所述运动指令经配置以补偿所述抖动的频率和幅度中的一者或两者;以及
将所述运动指令提供到所述致动器。
12.根据权利要求11所述的图像稳定系统,其进一步包括:
外壳,其中所述外壳包括:
内部空腔,其中所述支撑结构和所述阵列相机安置于所述内部空腔内;以及
孔径,其经定位以允许表示所述目标图像的光穿过所述孔径且到所述外壳的所述内部空腔中并到达所述至少两个相机中的每一者,
其中所述致动器进一步耦合到所述外壳且经进一步配置以相对于所述外壳在所述偏航方向、所述俯仰方向和所述横摇方向上枢转所述支撑结构。
13.根据权利要求10所述的图像稳定系统,其中所述枢转部件是滚珠轴承。
14.根据权利要求10所述的图像稳定系统,其中所述支撑结构包括板,其中所述板大体上是平坦的。
15.根据权利要求14所述的图像稳定系统,其中所述枢转部件安置于所述板的底部表面上且所述阵列相机安置于所述板的顶部表面上。
16.根据权利要求14所述的图像稳定系统,其进一步包含:
第一陀螺仪,其安置于所述板的第一角上;
第二陀螺仪,其安置于所述板的第二角上;
第三陀螺仪,其安置于所述板的第三角上;且
其中所述第一陀螺仪、所述第二陀螺仪和所述第三陀螺仪相对于所述至少两个相机中的每一者各自定位于盲点中。
17.根据权利要求10所述的图像稳定系统,其中所述阵列相机的所述至少两个相机中的每一者各自包括:
图像传感器;
透镜组合件,其包括至少一个透镜,所述透镜组合件具有投影中心,所述透镜组合件经定位以将光聚焦于所述图像传感器上;以及
镜,其经定位以将光反射到所述透镜组合件,所述镜进一步定位于镜平面上,所述镜平面定位于在所述投影中心与表示由所述阵列相机形成的虚拟相机的光瞳位置的虚拟投影中心之间延伸的线段的中点处,且与所述线段正交。
18.根据权利要求17所述的图像稳定系统,其中所述阵列相机进一步包括具有经配置以将所述光分离成所述多个部分的多个主要光重导向表面的中心反射性元件,其中所述至少两个相机中的每一者的所述镜形成所述主要光重导向表面中的一者。
19.根据权利要求17所述的图像稳定系统,其中所述支撑结构包含大体上平坦的板,且其中所述至少两个相机中的每一者进一步包括经定位以将光从所述透镜组合件导向到所述图像传感器上的次要光重导向表面,且其中所述至少两个相机中的每一者的所述图像传感器安置于所述大体上平坦的板的上部表面上,且与所述大体上平坦的板的所述上部表面大体上平行而定位。
20.根据权利要求12所述的图像稳定系统,其中所述至少一个陀螺仪安置于所述外壳上。
21.一种用于稳定图像的方法,所述图像由阵列相机系统形成,所述阵列相机系统由支轴上的稳定平台支撑,所述阵列相机系统具有由所述阵列相机系统中的至少两个相机的光学路径所定义的虚拟光轴,且所述支轴与所述虚拟光轴对准,所述方法包括:
在处理器处接收运动数据,所述运动数据由与所述处理器进行电子通信的至少一个陀螺仪产生,所述至少一个陀螺仪安装在所述稳定平台上;
借由所述处理器分析所述运动数据以确定所述阵列相机系统正经历抖动;
产生用于致动器的指令以补偿所述抖动的频率和幅度中的一者或两者;
将所述指令提供到所述致动器;以及
响应于所述指令而借由所述致动器移动支撑所述阵列相机系统的所述稳定平台,所述致动器耦合至所述稳定平台。
22.根据权利要求21所述的方法,其中移动所述稳定平台包括围绕刚性地附接到所述稳定平台的支轴的中心点在俯仰方向、偏航方向和横摇方向上枢转所述稳定平台,所述中心点与所述阵列相机系统的所述虚拟光轴对准。
23.根据权利要求22所述的方法,其中所述致动器包括经配置以在俯仰方向上枢转所述稳定平台的第一线性致动器、经配置以在偏航方向上枢转所述稳定平台的第二线性致动器、和经配置以在横摇方向上枢转所述稳定平台的第三线性致动器。
24.根据权利要求23所述的方法,其中所述阵列相机系统包括包含至少两个相机的阵列相机,且其中所述相机中的每一者包括:
图像传感器;
透镜组合件,其包括至少一个透镜,所述透镜组合件具有投影中心,所述透镜组合件经定位以将光聚焦于所述图像传感器上;以及
镜,其经定位以将光反射到所述透镜组合件,所述镜进一步定位于镜平面上,所述镜平面定位于在所述投影中心与表示由所述阵列相机形成的虚拟相机的光瞳位置的虚拟投影中心之间延伸的线段的中点处,且与所述线段正交。
25.根据权利要求22所述的方法,其中所述稳定平台包括大体上平坦的板。
26.根据权利要求23所述的方法,其中所述支轴包括安装到所述稳定平台的底部表面的滚珠轴承。
27.根据权利要求21所述的方法,其中所述方法进一步包括在反馈环路中重复接收、分析、产生、提供和移动步骤的每一者。
28.根据权利要求21所述的方法,其中所述方法进一步包括通过比较所连续地捕获的图像来产生图像运动数据。
CN201580056251.4A 2014-10-31 2015-10-14 用于相机的图像稳定系统及方法 Active CN107079086B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462073856P 2014-10-31 2014-10-31
US62/073,856 2014-10-31
US14/848,127 2015-09-08
US14/848,127 US9832381B2 (en) 2014-10-31 2015-09-08 Optical image stabilization for thin cameras
PCT/US2015/055519 WO2016069268A1 (en) 2014-10-31 2015-10-14 Optical image stabilization for thin cameras

Publications (2)

Publication Number Publication Date
CN107079086A CN107079086A (zh) 2017-08-18
CN107079086B true CN107079086B (zh) 2020-03-13

Family

ID=55854146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580056251.4A Active CN107079086B (zh) 2014-10-31 2015-10-14 用于相机的图像稳定系统及方法

Country Status (4)

Country Link
US (1) US9832381B2 (zh)
EP (1) EP3213503A1 (zh)
CN (1) CN107079086B (zh)
WO (1) WO2016069268A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
EP3101890B1 (en) * 2015-06-03 2017-11-22 Axis AB A mechanism and a method for optical image stabilization
TWI569640B (zh) 2015-06-23 2017-02-01 台灣東電化股份有限公司 攝影模組
JP2017046301A (ja) * 2015-08-28 2017-03-02 オリンパス株式会社 撮像装置
US9952445B2 (en) 2015-10-22 2018-04-24 Stmicroelectronics, Inc. Optical image stabilization synchronization of gyroscope and actuator drive circuit
US9964777B2 (en) 2015-12-21 2018-05-08 Stmicroelectronics, Inc. Optical image stabilization actuator driver power distribution control
US9964776B2 (en) 2015-12-21 2018-05-08 Stmicroelectronics, Inc. Optical image stabilization actuator driver power distribution control
KR102348365B1 (ko) * 2016-05-03 2022-01-10 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치
CN106506940A (zh) * 2016-10-19 2017-03-15 天津奇幻岛科技有限公司 一种补偿相机在直线滑移云台上晃动的方法
US10554892B2 (en) 2017-06-30 2020-02-04 Microsoft Technology Licensing, Llc Configuring image stabilization for still image generation
US10515461B2 (en) * 2017-07-17 2019-12-24 Purdue Research Foundation Referencing system
TWI633357B (zh) * 2017-09-15 2018-08-21 致伸科技股份有限公司 影像對焦方法以及應用該方法的影像擷取裝置與電子裝置
CN111684530B (zh) 2017-09-21 2022-05-24 沙尔沃夏威夷有限责任公司 稳定摄像机系统
JP7071099B2 (ja) * 2017-11-22 2022-05-18 キヤノン株式会社 撮像装置
CN109834727B (zh) * 2017-11-24 2021-06-04 深圳市优必选科技有限公司 一种机器人舵机抖动抑制控制方法及装置
WO2020069420A2 (en) 2018-09-28 2020-04-02 Ocelot Laboratories Llc Camera system
US10999507B2 (en) 2018-10-30 2021-05-04 Qualcomm Incorporated Optical image stabilization techniques
US10764501B2 (en) 2018-10-30 2020-09-01 Qualcomm Incorporated Optical image stabilization techniques
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
TWI725836B (zh) * 2019-05-13 2021-04-21 香港商立景創新有限公司 影像擷取組件以及可攜式電子裝置
CN114174891A (zh) * 2019-07-26 2022-03-11 惠普发展公司,有限责任合伙企业 用于显示器的可调相机系统
US20230072561A1 (en) * 2020-02-05 2023-03-09 Rayem Inc. A portable apparatus, method, and system of golf club swing motion tracking and analysis
CN111212214B (zh) * 2020-03-19 2021-11-30 维沃移动通信有限公司 防抖机构、摄像头模组及电子设备
CN113464777A (zh) * 2020-03-31 2021-10-01 斯玛特技研有限公司 使用sma线的相机模块侧倾防手震机构
CN112653822B (zh) * 2020-12-23 2022-11-25 维沃移动通信有限公司 摄像头模组及电子设备
CN114697487B (zh) * 2020-12-31 2023-06-30 维沃移动通信有限公司 摄像头模组、电子设备的角度控制方法、装置及电子设备
US20230326091A1 (en) * 2022-04-07 2023-10-12 GM Global Technology Operations LLC Systems and methods for testing vehicle systems
CN117560556B (zh) * 2024-01-11 2024-05-14 杭州海康威视数字技术股份有限公司 多目摄像机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1782852A (zh) * 2004-12-01 2006-06-07 宾得株式会社 具有光学图像稳定器的成像装置
CN101772730A (zh) * 2008-07-24 2010-07-07 松下电器产业株式会社 照相机驱动装置
CN103688217A (zh) * 2011-07-21 2014-03-26 日本电产三协株式会社 带抖动修正功能的光学单元

Family Cites Families (284)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2112428A1 (de) 1970-09-09 1972-06-08 Midori Kai Co Ltd Kamera zur Aufnahme hemisphaerischer Kinobilder
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5012273B1 (en) 1986-05-12 1996-10-01 Asahi Optical Co Ltd Lens shutter type of camera including zoom lens
US6031892A (en) 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5142357A (en) 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5063441A (en) 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5207000A (en) 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (zh) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
DE69312257T2 (de) 1993-02-11 1998-01-29 Agfa Gevaert Nv Strahlungsfelderkennungsverfahren
US5586063A (en) 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5903306A (en) 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US5640222A (en) 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
WO1998047291A2 (en) 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6992700B1 (en) * 1998-09-08 2006-01-31 Ricoh Company, Ltd. Apparatus for correction based upon detecting a camera shaking
US7271803B2 (en) 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3587506B2 (ja) 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
AU2002226873A1 (en) 2000-07-14 2002-04-08 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002277736A (ja) 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
EP1427191A4 (en) 2001-08-17 2006-08-16 Sony Corp PICTURE SETUP
US20030038814A1 (en) 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
US6768598B2 (en) 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
AU2003244304A1 (en) 2002-07-18 2004-02-09 Sony Corporation Imaging data processing method, imaging data processing device, and computer program
JP2004072349A (ja) 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
AU2003302166A1 (en) 2003-01-02 2004-07-29 Covi Technologies, Inc. Optical block assembly
US6933493B2 (en) 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
JP4642659B2 (ja) * 2003-06-09 2011-03-02 オリンパス株式会社 可変ミラー
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
CN100504452C (zh) 2004-02-19 2009-06-24 佳能株式会社 光学设备和光束分离器
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
US7593057B2 (en) 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
JP2008509438A (ja) 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
US20060054782A1 (en) 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) * 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
EP1816514B1 (en) 2004-11-15 2012-06-20 Hitachi, Ltd. Stereo camera
US7372996B2 (en) 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
WO2006075528A1 (ja) 2005-01-13 2006-07-20 National University Corporation NARA Institute of Science and Technology 3次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
WO2007014293A1 (en) 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
JP5364965B2 (ja) 2005-07-26 2013-12-11 コニカミノルタ株式会社 撮像光学系、撮像レンズ装置及びデジタル機器
JP2007081473A (ja) 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
CN101025475A (zh) 2005-10-17 2007-08-29 威盛电子股份有限公司 立体三维影像显示系统与方法
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业(深圳)有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
US8139125B2 (en) 2006-05-05 2012-03-20 Nokia Corporation Optical image recording device with small height and high resolution
WO2007129477A1 (ja) 2006-05-09 2007-11-15 Sega Corporation 画像処理装置および画像処理プログラム
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008048293A (ja) 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
KR100866491B1 (ko) 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
JP4917060B2 (ja) 2007-02-26 2012-04-18 Hoya株式会社 撮像ユニット及び携帯用電子機器
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US7860214B1 (en) 2007-06-13 2010-12-28 The United States Of America As Represented By Secretary Of Agriculture Correction of x-ray images
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
EP2166743A4 (en) 2007-07-13 2012-02-22 Mitsubishi Electric Corp IMAGE SCANNING DEVICE
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) 2007-08-22 2012-08-15 Hoya株式会社 撮像装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
CN101822068B (zh) 2007-10-11 2012-05-30 皇家飞利浦电子股份有限公司 用于处理深度图的方法和设备
US20100259655A1 (en) 2007-11-01 2010-10-14 Konica Minolta Holdings, Inc. Imaging device
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
JP4831514B2 (ja) 2007-11-13 2011-12-07 独立行政法人情報通信研究機構 設定パラメータ最適化装置およびそのプログラム
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统
KR101349589B1 (ko) 2007-12-13 2014-01-10 엘지이노텍 주식회사 카메라 모듈
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
CN101952762B (zh) 2008-01-02 2012-11-28 加利福尼亚大学董事会 高数值孔径远程显微镜设备
US7978222B2 (en) * 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
WO2009111642A1 (en) 2008-03-05 2009-09-11 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
US20110043623A1 (en) 2008-03-26 2011-02-24 Konica Minolta Opto, Inc. Imaging device
US8934034B2 (en) 2008-03-28 2015-01-13 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
CN101571666A (zh) 2008-04-28 2009-11-04 鸿富锦精密工业(深圳)有限公司 成像设备
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
CN102047651B (zh) 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
CN102177468A (zh) 2008-08-14 2011-09-07 远程保真公司 三反射镜全景相机
TWI419551B (zh) 2008-08-22 2013-12-11 固態全景影像擷取裝置
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
JP5527856B2 (ja) 2008-09-25 2014-06-25 コーニンクレッカ フィリップス エヌ ヴェ 三次元画像データ処理
CN102177465B (zh) * 2008-10-14 2014-06-18 日本电产三协株式会社 摄影用光学装置
US8267601B2 (en) 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业(深圳)有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像系统
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
TWI389559B (zh) 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
JP5539818B2 (ja) 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
US8325187B2 (en) 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8497934B2 (en) 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US9030530B2 (en) 2009-12-15 2015-05-12 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) * 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5683025B2 (ja) 2010-04-19 2015-03-11 パナソニックIpマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
JP5593118B2 (ja) * 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5622443B2 (ja) * 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US20130076924A1 (en) * 2010-06-08 2013-03-28 Nidec Sankyo Corporation Shake Correction Device, Photographic Optical Device and Lens Drive Device
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
CN101902657B (zh) 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) * 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
WO2012039043A1 (ja) 2010-09-22 2012-03-29 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP6042814B2 (ja) 2010-10-01 2016-12-14 コンテックス・エー/エス イメージセンサの信号輝度マッチング法
US9317761B2 (en) 2010-12-09 2016-04-19 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
CN103597810B (zh) 2011-05-27 2017-02-15 诺基亚技术有限公司 图像拼接
US9635274B2 (en) 2011-06-15 2017-04-25 Microsoft Technology Licensing, Llc High resolution multispectral image capture
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) * 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
BR112014009255A8 (pt) 2011-10-20 2017-06-20 Monsanto Technology Llc contador de plantas
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
KR101975893B1 (ko) * 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) * 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014012603A1 (en) 2012-07-17 2014-01-23 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
CN105787909B (zh) 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
JP2015036716A (ja) * 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
EP2860699A1 (en) 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) * 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
WO2015121707A1 (en) 2014-02-13 2015-08-20 Sony Corporation Method and system for adjusting camera settings using corneal reflection
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US20170038502A1 (en) 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1782852A (zh) * 2004-12-01 2006-06-07 宾得株式会社 具有光学图像稳定器的成像装置
CN101772730A (zh) * 2008-07-24 2010-07-07 松下电器产业株式会社 照相机驱动装置
CN103688217A (zh) * 2011-07-21 2014-03-26 日本电产三协株式会社 带抖动修正功能的光学单元

Also Published As

Publication number Publication date
EP3213503A1 (en) 2017-09-06
US20160127646A1 (en) 2016-05-05
CN107079086A (zh) 2017-08-18
WO2016069268A1 (en) 2016-05-06
US9832381B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
CN107079086B (zh) 用于相机的图像稳定系统及方法
US9733458B2 (en) Multi-camera system using folded optics free from parallax artifacts
EP3158725B1 (en) Parallax free multi-camera system capable of capturing full spherical images
KR102225429B1 (ko) 시차 및 틸트 아티팩트들이 없는 폴딩형 광학계를 이용한 멀티-카메라 시스템
WO2015198691A1 (ja) 撮像装置
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images
KR20160134316A (ko) 촬상 장치, 이를 채용한 원격 제어 비행체 및 촬상 장치의 자세 제어 방법
US10038856B2 (en) Imaging device, imaging method, and program
US10412306B1 (en) Optical image stabilization method and apparatus
US9239636B1 (en) System and method for adjusting a field of view in a camera of an electronic device
JP2017525208A (ja) 完全な広視野画像をキャプチャすることができる視差のない薄型マルチカメラシステム
US11258951B2 (en) Miniature camera device for stabilized video using shape memory alloy actuators
US20180316840A1 (en) Optical image stabilization devices and methods for gyroscope alignment
US9667869B2 (en) Camera apparatus for automatically maintaining horizontality and method for the same
JP2013179538A (ja) 撮影装置およびその制御方法
KR20120079550A (ko) 파노라마 구동부를 내장한 카메라 모듈

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant