CN220570624U - 图像捕获系统和图像捕获装置 - Google Patents

Abstract

本公开涉及图像捕获系统和图像捕获装置。该图像捕获系统用于增强的电子图像稳定(EIS)，包括图像捕获装置和适配器透镜。该图像捕获装置包括图像传感器，透镜壳体，处理器和透镜部件，该透镜部件包括设置在透镜壳体内的第一组光学元件。第一组光学元件用于将图像投射到图像传感器上。处理器执行EIS。适配器透镜用于增强图像捕获设备的EIS。适配器透镜具有与透镜壳体接口的适配器透镜壳体。适配器透镜具有设置在适配器透镜壳体内的第二组光学元件。第二组光学元件用于将图像投射为图像传感器上的图像圈。

Description

图像捕获系统和图像捕获装置

技术领域

本公开涉及图像捕获设备。特别地，本发明涉及图像捕获装置的视频稳定。

背景技术

图像捕获装置可被配置成执行电子图像稳定(EIS)而不使用机械稳定系统，例如常平架(gimbal)。在诸如山地骑行、滑雪等的一些极端活动期间，可能期望增强图像捕获设备的EIS能力之外的视频稳定。需要改进图像捕获装置的EIS能力的系统和方法。

实用新型内容

本文公开了使用用于增强的电子图像稳定(EIS)的适配器透镜的图像捕获系统的实现方式。在一个方面，图像捕获系统可以包括图像捕获装置和适配器透镜。图像捕获装置可以包括图像传感器，透镜壳体，透镜组件和处理器。透镜组件可以包括第一组光学元件。第一组光学元件可以设置在透镜壳体内。第一组光学元件可以被配置成将图像投射到图像传感器上。处理器可以被配置为执行EIS。适配器透镜可以被配置为增强图像捕获设备的EIS。适配器透镜可以是可拆卸的适配器透镜。适配器透镜可以包括被配置成与透镜壳体接口连接的适配器透镜壳体。适配器透镜可以包括设置在适配器透镜壳体内的第二组光学元件。第二组光学元件可以被配置成将图像投射到图像传感器上作为图像圈。

在一个方面中，图像捕获装置可包括图像传感器，透镜壳体，透镜和处理器。透镜壳体可以被配置成耦合到被配置成增强EIS的可拆卸适配器透镜。透镜可以包括设置在透镜壳体内的一组光学元件。该组光学元件可以被配置成将图像投射到图像传感器上。处理器可以被配置为执行EIS。

在一个方面，一种用于增强的EIS的方法可以包括检测适配器透镜。该方法可以包括基于适配器透镜调整EIS算法。该方法可以包括捕获包括帧的视频。该方法可以包括将调整后的EIS算法应用于帧以获得稳定的帧。该方法可以包括输出稳定帧作为稳定视频。

附图说明

当结合附图阅读时，本公开从以下详细描述中将得以最好地理解。要强调的是，根据惯例，附图的各种特征不是按比例的。相反，为了清楚起见，各种特征的尺寸被任意扩大或缩小。

图1A至图1B是图像捕获装置的示例的等轴视图。

图2A至图2B是图像捕获装置的另一示例的等轴视图。

图2C是图2A至图2B的图像捕获装置的顶视图。

图2D是图2C的图像捕获装置的局部截面图。

图3是图像捕获装置的电子部件的框图。

图4是图像捕获装置透镜部件和适配器透镜的局部截面图。

图5是映射表的图形的示例的示图。

图6A是示出图像圈的中心中的裁剪区域的示例的示图。

图6B是示出图像圈的边缘处的裁剪区域的示例的示图。

图6C是示出图像圈的另一边缘处的裁剪区域的示例的示图。

图7是适配器透镜的增强电子图像稳定(EIS)裕度(margin)的示例的示图。

图8是使用适配器透镜的用于增强EIS的方法的示例的流程图。

具体实施方式

图像捕获装置可被配置成执行电子图像稳定(EIS)而不使用机械稳定系统，例如常平架。在诸如山地骑行、滑雪等的一些极端活动期间，可能期望增强图像捕获设备的EIS能力之外的视频稳定。在这里描述的实施例中，可以使用适配器透镜来执行增强的视频稳定。适配器透镜可以是可拆卸的。

如这里所描述的，适配器透镜可以被放置在图像捕获设备的原生透镜和要被捕获的场景之间，以增加图像捕获设备的稳定裕度。适配器透镜可以附接到原生透镜以增加图像捕获设备的视场。例如，适配器透镜可以是广角透镜，使得当使用EIS时，裁剪窗口可以跨增加的角度范围移动，以补偿更大的图像捕获设备位移。补偿较大的图像捕获装置位移可允许在更多使用情况(例如，极端山地骑行，滑雪等)下维持稳定的视频捕获。

当适配器透镜附接到图像捕获装置的透镜时，适配器透镜可产生全鱼眼视图，使得投射图像圈被内接在图像传感器高度内。在这里公开的实施例中，当附接适配器透镜时不需要校准过程。在一些示例中，裁剪窗口可围绕光轴旋转以提供增强的图像捕获装置滚动稳定。在一些实施例中，可以调整图像捕获装置的EIS算法以适应原生图像捕获装置透镜和适配器透镜组合的光学失真，从而在光学视场和裁剪窗口之间正确地映射。在适配器透镜和多个安装循环之间很好地控制失真，使得预存储的失真校准保持有效。在一些示例中，适配器透镜和原生图像捕获装置透镜可以刚性地耦合以最小化可能引起光学失真的动态变化的相对运动。

在本文所描述的实施例中，图像捕获装置可获得包含描绘场景的帧序列的数字视频。帧序列可包括参考帧和第二帧，它们每一者描绘场景中的多个共同的所描绘点。可以从共同的多个点确定参考点。参考点对应于图像中的一个点，该点将通过稳定过程被稳定，例如，通过减少图像帧之间该点的描绘的运动。在一个或一个以上实施例中，参考点可包括在预定参考帧(例如，第一帧)的预定像素位置(例如，中心像素)处描绘的点。可替换地，可基于视频的各种特性动态地选择参考点。例如，可以将内容识别应用于视频，并且可以将参考点选择为特定对象上的点(例如，脸部的中心，沿水平线或边缘的点等)。参考点对应于参考图像和第二图像中的不同像素位置(例如，由于捕获图像之间的相机运动)。可以将翘曲函数应用于数字视频的第二帧以生成翘曲的第二帧。翘曲功能使第二帧翘曲，使得翘曲的第二帧中的描绘场景的描绘点相对于第二图像中的对应描绘点非均匀地移位。此外，应用翘曲函数减少了参考点在参考帧和第二帧之间的描绘的移动，导致稳定的图像。可重复此过程以相对于参考帧稳定额外帧。此外，在某些情况下，可以周期性地或当满足某些条件时确定新的参考点。一旦产生了稳定的帧，就可以通过将稳定的帧和参考帧组合成适当的序列来产生稳定的视频。

图1A至图1B是图像捕获装置100的示例的等轴视图。图像捕获装置100可包括主体102，构造在主体102的前表面上的透镜104，主体102的前表面上的各种指示器(诸如发光二极管(LED)，显示器等)，各种输入机构(诸如按钮、开关和/或触摸屏)，以及主体102内部的用于经由透镜104捕获图像和/或执行其它功能的电子器件(诸如成像电子器件、功率电子器件等)。透镜104被配置成接收入射到透镜104上的光并将所接收的光引导到主体102内部的图像传感器上。图像捕获装置100可被配置为捕获图像和视频并存储所捕获的图像和视频以用于随后的显示或回放。

图像捕获装置100可以包括LED或其他形式的指示器106以指示图像捕获装置100的状态，以及液晶显示器(LCD)或其他形式的显示器108以显示诸如电池寿命、照相机模式、经过时间等的状态信息。图像捕获装置100还可以包括模式按钮110和快门按钮112，其被配置为允许图像捕获装置100的用户与图像捕获装置100交互。例如，模式按钮110和快门按钮112可用于打开和关闭图像捕获装置100、滚动模式和设置、以及选择模式和改变设置。图像捕获装置100可以包括附加按钮或接口(未示出)以支持和/或控制附加功能。

图像捕获装置100可以包括例如使用铰链机构116连接到主体102的门114。门114可使用闩锁机构118固定到主体102，闩锁机构118在大致与铰链机构116相对的位置处可释放地接合主体102。门114还可以包括密封件120和电池接口122。当门114处于打开位置时，提供对输入－输出(I/O)接口124的访问，用于连接到或与如下所述的外部设备通信，并提供对电池插座126的访问，用于放置和更换电池(未示出)。电池插座126包括用于在电池和图像捕获装置100之间进行电力传输的操作连接(未示出)。当门114处于关闭位置时，密封件120接合凸缘(未示出)或其它接口以提供环境密封，并且电池接口122接合电池以将电池固定在电池插座126中。门114还可以具有移除位置(未示出)，在该移除位置，整个门114与图像捕获装置100分离，即，在该移除位置，铰链机构116和闩锁机构118都与主体102分离，以允许门114从图像捕获装置100移除。

图像捕获装置100可包括前表面上的麦克风128和侧表面上的另一麦克风130。图像捕获装置100可以包括在其它表面(未示出)上的其它麦克风。麦克风128，130可以被配置为接收和记录与记录视频结合或与视频的记录分离的音频信号。图像捕获装置100可以包括在图像捕获装置100的底面上的扬声器132。图像捕获装置100可以包括在其它表面(未示出)上的其它扬声器。扬声器132可以被配置成回放所记录的音频或发出与通知相关联的声音。

图像捕获装置100的前表面可以包括排水通道134。图像捕获装置100的底面可以包括用于将图像捕获装置100连接到手柄或其它固定装置的互连机构136。在图1B所示的示例中，互连机构136包括折叠突出部，该折叠突出部被配置成在如图所示的嵌套或折叠位置与展开或打开位置(未示出)之间移动，该展开或打开位置有助于将这些突出部联接到其他装置(例如手柄、支架、夹子或类似装置)的配合突出部上。

图像捕获装置100可以包括交互式显示器138，其允许与图像捕获装置100交互，同时在图像捕获装置100的表面上显示信息。

图1A至图1B的图像捕获装置100包括包围并保护内部电子器件的外部。在本示例中，外部包括形成矩形立方体的六个表面(即，正面，左面，右面，背面，顶面和底面)。此外，图像捕获装置100的前表面和后表面都是矩形的。在其它实施例中，外部可以具有不同的形状。图像捕获装置100可以由刚性材料制成，例如塑料，铝，钢或玻璃纤维。图像捕获装置100可以包括不同于这里所述的特征。例如，图像捕获装置100可以包括附加的按钮或不同的接口特征，例如可互换镜头、冷靴座(cold shoes)和热靴座(hot shoes)，它们可以向图像捕获装置100添加功能特征。

图像捕获装置100可包括各种类型的图像传感器，例如电荷耦合装置(CCD)传感器，有源像素传感器(APS)，互补金属氧化物半导体(CMOS)传感器，N型金属氧化物半导体(NMOS)传感器和/或任何其它图像传感器或图像传感器的组合。

虽然未示出，但是在各种实施例中，图像捕获装置100可以包括其他附加的电子部件(例如，图像处理器，片上相机系统(soc)等)，其可以包括在图像捕获装置100的主体102内的一个或多个电路板上。

图像捕获装置100可经由有线或无线计算通信链路(例如，I/O接口124)与外部装置(例如，外部用户接口装置(未图示))接口连接或通信。可以使用任何数量的计算通信链路。计算通信链路可以是直接计算通信链路或间接计算通信链路，例如可以使用包括另一设备或网络(例如因特网)的链路。

在一些实现方式中，计算通信链路可以是wi－fi链路，红外链路，蓝牙(BT)链路，蜂窝链路，zigbee链路，近场通信(NFC)链路(诸如ISO/IEC 20643协议链路)，高级网络技术互操作性(ANT+)链路和/或任何其他无线通信链路或链路的组合。

在一些实现方式中，计算通信链路可以是HDMI链路，USB链路，数字视频接口链路，诸如视频电子标准协会(VESA)数字显示接口链路之类的显示端口接口链路，以太网链路，Thunderbolt链路和/或其它有线计算通信链路。

图像捕获装置100可经由计算通信链路将图像(例如全景图像或其部分)传输到外部用户接口装置，且外部用户接口装置可存储、处理、显示全景图像或其组合。

外部用户接口设备可以是计算设备，诸如智能电话，平板计算机，phablet，智能手表，便携式计算机，个人计算设备和/或另一设备或设备组合，它们被配置为接收用户输入，经由计算通信链路与图像捕获设备100通信信息，或者接收用户输入并经由计算通信链路与图像捕获设备100通信信息的。

外部用户接口设备可显示或以其它方式呈现由图像捕获装置100获取的内容，例如图像或视频。例如，外部用户接口设备的显示器可以是由图像捕获设备100捕获或创建的全景图像或视频表示的三维空间中的视口。

外部用户接口设备可以将诸如元数据的信息传送到图像捕获设备100。例如，外部用户接口设备可以将外部用户接口设备相对于定义的坐标系的定向信息发送到图像捕获设备100，使得图像捕获设备100可以确定外部用户接口设备相对于图像捕获设备100的定向。

基于所确定的定向，图像捕获装置100可识别由图像捕获装置100捕获的全景图像或视频的一部分以供图像捕获装置100发送到外部用户接口装置以作为视口呈现。在一些实现方式中，基于所确定的定向，图像捕获装置100可以确定外部用户接口装置的位置和/或用于查看全景图像或视频的一部分的尺寸。

外部用户接口设备可以实现或执行一个或多个应用以管理或控制图像捕获设备100。举例来说，外部用户接口装置可包含用于控制相机配置、视频获取、视频显示或图像捕获装置100的任何其它可配置或可控制方面的应用。

例如经由应用的用户接口设备可以例如响应于用户输入，例如经由基于云的或社交媒体服务来生成和共享一个或多个图像或短视频剪辑。在一些实现方式中，外部用户接口设备(例如经由应用)可以例如响应于用户输入来远程控制图像捕获设备100。

外部用户接口装置(例如经由应用)可在由图像捕获装置100捕获图像或视频的同时显示由图像捕获装置100捕获的未经处理或最低程度处理的图像或视频(例如用于镜头成帧(shot framing)或实时预览)，且其可响应于用户输入而被执行。在一些实现方式中，外部用户接口设备(例如经由应用)可以在由图像捕获设备100捕获图像或视频的同时标记一个或多个关键时刻，例如响应于用户输入或用户手势而用标签或加亮标记。

外部用户接口设备(例如经由应用)可以显示或以其他方式呈现与图像或视频相关联的标记或标签，例如响应于用户输入。例如，标记可以呈现在相机滚动应用中，用于视频加亮场面的位置检查和/或回放。

外部用户接口装置(例如经由应用)可无线地控制相机软件，硬件或两者。例如，外部用户接口设备可以包括可由用户访问的基于web的图形界面，用于从图像捕获设备100选择实况或先前记录的视频流以在外部用户接口设备上显示。

外部用户接口装置可接收指示用户设置的信息，例如图像分辨率设置(例如，3840像素乘2160像素)，帧速率设置(例如，每秒60帧(fps))，位置设置和/或上下文设置，其可响应于用户输入而指示活动，例如山地骑行，且可将设置或相关信息传送到图像捕获装置100。

图像捕获装置100可用于实施本公开中所描述的技术中的一些或全部，例如图7中所描述的技术700。

图2A至图2B示出了图像捕获装置200的另一实例。图像捕获装置200包括主体202和设置在主体202的相对表面上的两个照相机镜头204和206，例如，以背靠背配置、Janus配置或偏移Janus配置来设置。图像捕获装置200的主体202可以由刚性材料制成，例如塑料、铝、钢或玻璃纤维。

图像捕获装置200包括在主体202的表面的前部上的各种指示器(诸如LED、显示器等)，各种输入机构(诸如按钮、开关和触摸屏机构)，以及主体202内部的电子器件(例如，成像电子器件、功率电子器件等)，其被配置为支持经由两个相机镜头204和206的图像捕获和/或执行其他成像功能。

图像捕获装置200包括各种指示器，例如LED 208,210，以指示图像捕获装置100的状态。图像捕获设备200可以包括模式按钮212和快门按钮214，其被配置为允许图像捕获设备200的用户与图像捕获设备200交互，以打开图像捕获设备200，以及以其他方式配置图像捕获设备200的操作模式。然而，应了解，在替代实施例中，图像捕获装置200可包括额外按钮或输入以支持和/或控制额外功能性。

图像捕获装置200可以包括用于将图像捕获装置200连接到手柄或其它固定装置的互连机构216。在图2A和图2B所示的示例中，互连机构216包括折叠突起，该折叠突起构造成在嵌套或折叠位置(未示出)和如图所示的展开或打开位置之间移动，该展开或打开位置便于将突起联接到诸如手柄、支架、夹子或类似装置的其它装置的配合突起。

图像捕获装置200可包括音频部件218，220，222，例如麦克风，其经配置以结合记录视频来接收和记录音频信号(例如，语音或其它音频命令)。音频部件218，220，222还可以被配置成例如使用扬声器来回放音频信号或提供通知或警报。音频部件218，220，222的放置可以在图像捕获装置200的几个表面中的一个或多个上。在图2A和图2B的示例中，图像捕获装置200包含三个音频部件218，220，222，其中音频部件218在图像捕获装置200的前表面上，音频部件220在在图像捕获装置200的侧表面上，并且音频部件222在图像捕获装置200的后表面上。音频部件的其它数量和配置也是可能的。

图像捕获装置200可以包括交互式显示器224，其允许与图像捕获装置200交互，同时在图像捕获装置200的表面上显示信息。交互式显示器224可以包括I/O接口，接收触摸输入，在视频捕获期间显示图像信息，和/或向用户提供状态信息。由交互式显示器224提供的状态信息可以包括电池电力水平、存储卡容量、所记录的视频所经过的时间等。

图像捕获装置200可以包括释放机构225，其接收用户输入以改变图像捕获装置200的门(未示出)的位置。释放机构225可用于打开门(未示出)，以便访问电池、电池插座、I/O接口、存储卡接口等(未示出)，它们类似于关于图1A和图1B的图像捕获装置100所述的部件。

在一些实施例中，这里描述的图像捕获装置200包括与所描述的特征不同的特征。例如，代替I/O接口和交互式显示器224，图像捕获装置200可包括附加接口或不同接口特征。例如，图像捕获装置200可以包括附加的按钮或不同的接口特征，例如可互换镜头，冷靴座和热靴座，它们可以向图像捕获装置200添加功能特征。

图2C是图2A至图2B的图像捕获装置200的顶视图，图2D是图2C的图像捕获装置200的局部截面图。图像捕获装置200经配置以捕获球形图像，且因此包括第一图像捕获装置226和第二图像捕获装置228。第一图像捕获装置226限定第一视场230并且包括接收光并将光引导到第一图像传感器232上的透镜204。类似地，第二图像捕获装置228限定第二视场234并包括接收光并将光引导到第二图像传感器236上的透镜206。为了便于捕获球面图像，图像捕获设备226和228(以及相关部件)可以背靠背(Janus)配置来布置，使得透镜204，206面向大致相反的方向。

透镜204，206的视场230，234在以虚线表示的边界238，240的上方和下方示出。在第一透镜204之后，第一图像传感器232可以从进入第一透镜204的光捕获第一超半球形图像平面，并且在第二透镜206之后，第二图像传感器236可以从进入第二透镜206的光捕获第二超半球形图像平面。

一个或多个区域，例如盲点242，244可以在透镜204，206的视场230，234之外，以便限定“死区”。在死区中，可遮蔽来自透镜204，206和对应的图像传感器232，236的光，且可从捕获中省略盲点242，244中的内容。在一些实现方式中，图像捕获装置226，228可以被配置成最小化盲点242，244。

视场230，234可以重叠。邻近图像捕获装置200的缝合点246，248，即视场230，234重叠的位置，在本文中可称为重叠点或缝合点。由远离缝合点246，248的相应透镜204，206捕获的内容可以重叠。

由各个图像传感器232，236同时捕获的图像可以被组合以形成组合图像。产生组合图像可包括使由相应图像传感器232，236捕获的重叠区域相关，对准所捕获的视场230，234，以及将图像缝合在一起以形成粘聚(cohesive)组合图像。

透镜204，206，图像传感器232，236或两者的对准(例如位置和/或倾斜)的轻微改变可改变其各自视场230，234的相对位置和缝合点246，248的位置。对准的改变可影响盲点242，244的尺寸，这可包括不均等地改变盲点242，244的尺寸。

指示图像捕获装置226，228的对准的不完整或不准确的信息(例如缝合点246，248的位置)可降低产生组合图像的准确性、效率或两者。在一些实现方式中，图像捕获装置200可以保持指示透镜204，206和图像传感器232，236的位置和定向的信息，使得可以精确地确定视场230，234，缝合点246，248或两者；所维护的信息可以提高生成组合图像的准确性、效率或两者。

透镜204，206可以彼此横向偏移，可以偏离图像捕获装置200的中心轴，或者可以横向偏移并偏离中心轴。与具有背靠背透镜(例如沿同一轴线对准的透镜)的图像捕获装置相比，包括横向偏移透镜的图像捕获装置可包括相对于固定透镜的镜筒的长度显著减小的厚度。例如，图像捕获装置200的总厚度可以接近于单个镜筒的长度，这与在背靠背透镜结构中是单个镜筒的长度的两倍的情况形成对比。减小透镜204，206之间的横向距离可以改善视场230，234中的重叠。在另一实施例(未示出)中，透镜204，206可以沿公共成像轴对准。

由图像捕获装置226，228捕获的图像或帧可被组合、合并或缝合在一起以产生组合图像，例如球形或全景图像，其可以是等直角平面图像。在一些实现方式中，生成组合图像可以包括使用包括降噪，色调映射，白平衡或其他图像校正的技术。在一些实现方式中，可以精确地匹配沿着缝合边界的像素以最小化边界不连续性。

图像捕获装置200可用于实施本公开中所描述的技术(例如图7中所描述的技术700)中的一些或全部。

图3是图像捕获装置300中的电子部件的框图。图像捕获装置300可以是单透镜图像捕获装置、多透镜图像捕获装置或其变型，其包括具有多种能力的图像捕获装置，该多种能力例如使用可互换的集成传感器透镜部件。图像捕获装置300的描述也适用于图1A至图1B和2A至图2D的图像捕获装置100，200。

图像捕获装置300包括主体302，该主体302包括诸如捕获部件310，处理设备320，数据接口部件330，运动传感器340，电源部件350和/或用户接口部件360的电子部件。

捕获部件310包括用于捕获图像的一个或多个图像传感器312和用于捕获音频的一个或多个麦克风314。

图像传感器312被配置为检测特定光谱(例如，可见光谱或红外光谱)的光，并将构成图像的信息作为电信号(例如，模拟或数字信号)传送。图像传感器312检测通过耦合或连接到主体302的透镜入射的光。图像传感器312可以是任何合适类型的图像传感器，例如电荷耦合器件(CCD)传感器，有源像素传感器(APS)，互补金属氧化物半导体(CMOS)传感器，N型金属氧化物半导体(NMOS)传感器和/或任何其它图像传感器或图像传感器的组合。来自图像传感器312的图像信号可经由总线380传递到图像捕获装置300的其它电子部件，例如传递到处理设备320。在一些实现方式中，图像传感器312包括数模转换器。图像捕获装置300的多透镜变型可包括多个图像传感器312。

麦克风314被配置为检测声音，声音可以与捕获图像一起被记录以形成视频。麦克风314还可以检测声音以接收可听命令来控制图像捕获装置300。

处理设备320可经配置以执行图像信号处理(例如，滤波，色调映射，拼接和/或编码)以基于来自图像传感器312的图像数据产生输出图像。例如，处理装置320可以被配置为通过定义裁剪窗口并基于来自一个或多个运动传感器的惯性测量单元IMU数据映射像素来执行EIS。处理装置320可以包括具有单个或多个处理核的一个或多个处理器。在一些实现方式中，处理装置320可以包括专用集成电路(ASIC)。例如，处理装置320可以包括定制图像信号处理器。处理设备320可经由总线380与图像捕获装置300的其它部件(诸如，图像传感器312)交换数据(例如，图像数据)。

处理装置320可以包括存储器，例如随机存取存储器(RAM)设备、闪存、或另一合适类型的存储设备，例如非暂时性计算机可读存储器。处理设备320的存储器可以包括可由处理设备320的一个或多个处理器访问的可执行指令和数据。例如，处理装置320可以包括一个或多个动态随机存取存储器(DRAM)模块，例如双数据速率同步动态随机存取存储器(DDRSDRAM)。在一些实现方式中，处理装置320可以包括数字信号处理器(DSP)。多于一个的处理设备还可以存在或与图像捕获装置300相关联。

数据接口部件330使得能够在图像捕获装置300与其它电子装置(例如遥控器，智能电话，平板计算机，膝上型计算机，台式计算机或存储装置)之间进行通信。例如，数据接口部件330可用于接收命令以操作图像捕获装置300，将图像数据传送到其它电子装置，和/或将其它信号或信息传送到图像捕获装置300和从图像捕获装置300传送其它信号或信息。数据接口部件330可被配置用于有线和/或无线通信。例如，数据接口部件330可以包括为图像捕获设备提供有线通信的I/O接口332，其可以是USB接口(例如，USB type-C)，高清晰度多媒体接口(HDMI)或火线接口。数据接口部件330可以包括为图像捕获装置300提供无线通信的无线数据接口334，例如蓝牙接口，zigbee接口和/或Wi－Fi接口。数据接口部件330可包含存储接口336，例如经配置以接纳存储装置(例如，存储卡)并将其可操作地耦合到存储装置(例如，存储卡)以用于与图像捕获装置300进行数据传送(例如，用于存储所捕获的图像和/或所记录的音频和视频)的存储卡插槽。

运动传感器340可以检测图像捕获装置300的位置和运动。运动传感器340可以包括位置传感器342、加速度计344或陀螺仪346。位置传感器342(例如全球定位系统(GPS)传感器)用于确定图像捕获装置300的位置。诸如三轴加速度计的加速度计344测量图像捕获装置300的线性运动(例如，线性加速度)。诸如三轴陀螺仪的陀螺仪346测量图像捕获装置300的旋转运动(例如，旋转速率)。其它类型的运动传感器340也可存在或与图像捕获装置300相关联。

电源部件350可以接收、存储和/或提供用于操作图像捕获装置300的电力。电源部件350可以包括电池接口352和电池354。电池接口352可操作地耦合到电池354，例如通过导电触点将电力从电池354传输到图像捕获装置300的其它电子部件。电源部件350还可以包括外部接口356，并且电源部件350可以经由外部接口356接收来自诸如墙上插头或外部电池的外部源的电力，用于操作图像捕获装置300和/或对图像捕获装置300的电池354充电。在一些实现方式中，外部接口356可以是I/O接口332。在这样的实现方式中，I/O接口332可以使得电源部件350能够通过有线数据接口部件(例如，USB type-C电缆)从外部源接收电力。

用户接口部件360可允许用户与图像捕获设备300交互，例如，向用户提供输出并从用户接收输入。用户接口部件360可以包括可视输出部件362，以可视地向用户传递信息和/或呈现所捕获的图像。视觉输出部件362可以包括一个或多个灯364和/或多个显示器366。显示器366可以被配置为从用户接收输入的触摸屏。用户接口部件360还可以包括一个或多个扬声器368。扬声器368可用作音频输出部件，其可听地传递信息和/或向用户呈现所记录的音频。用户接口部件360还可以包括一个或多个物理输入接口370，其由用户物理地操纵以向图像捕获装置300提供输入。物理输入接口370可以例如被配置为按钮、拨动器或开关。用户接口部件360还可以被认为包括如虚线所示的麦克风314，并且麦克风314可以用于接收来自用户的音频输入，例如语音命令。

图像捕获装置300可用于实施本公开中所描述的技术(例如图7中所描述的技术700)中的一些或全部。

图4是图像捕获装置透镜组件410和适配器透镜420的局部截面图。在一些实施例中，适配器透镜420可以具有比图像捕获装置透镜组件410更大的视场(FOV)。如图4所示，图像捕获装置透镜组件410包括透镜壳体415。透镜外壳415可耦合到图像捕获装置主体430的内部部分中，该主体诸如图1A中所示的主体102，图2A中所示的主体202或图3中所示的主体302。透镜壳体415可以包括一个或多个光学元件435和图像传感器440。在一些实施例中，透镜壳体415可以包括图像捕获装置盖玻璃(未示出)。图像捕获装置盖玻璃可以保护一个或多个光学元件435免受灰尘、碎屑、水等的影响，并且允许光从图像捕获装置外部穿过一个或多个光学元件435到达图像传感器440。

一个或多个光学元件435可以包括球面元件、非球面元件或其任意组合。一个或多个光学元件435被配置成将图像投射到图像传感器440上。图像传感器440可以具有矩形表面区域。矩形表面区域可具有4：3的纵横比，16：9的纵横比或任何其它纵横比。

适配器透镜420包括适配器透镜壳体445。适配器透镜壳体445可耦合到透镜壳体415、图像捕获装置主体430的外部或两者。适配器透镜420可以刚性地耦合到透镜壳体415、图像捕获装置主体430或两者，以最小化可能引起光学失真的动态变化的相对运动。适配器透镜壳体445包括一个或多个光学元件450。一个或多个光学元件450可以包括球面元件、非球面元件或其任意组合。在一些实施例中，图像捕获装置盖玻璃(未示出)可以将适配器透镜的光学元件与图像捕获装置的光学元件435分开。一个或多个光学元件450可以被配置为获得场景，将该场景转换为图像圈，并且经由光学元件435将该图像圈投射到图像传感器440上。图像圈可以具有任何分辨率，例如，图像圈可以具有4223×4223像素的分辨率。适配器透镜420可以用于增加图像捕获装置的透镜组件410的FOV。例如，当附接到图像捕获装置的透镜组件410时，适配器透镜420可以产生全鱼眼视图，使得投射到图像传感器440上的图像圈内接在图像传感器高度内。

图像传感器可以电耦合到处理器，例如图3所示的处理装置320。映射表可以存储在处理器的存储器中。映射表可以包括基于图像捕获装置的透镜组件410的光学失真和适配器透镜420的光学失真的组合的失真值。处理器可以被配置为通过基于映射表调整EIS算法来执行EIS，以补偿适配器透镜420。

图5是映射表500的图形的示例的示图。如图5所示，映射表500示出失真510是半角FOV520和归一化图像传感器高度(IH)530之间的关系。半角FOV520也可以被称为视场角。图像捕获装置透镜和适配器透镜的组合的失真被设计成满足映射表500中所示的关系。该关系可以是轴向对称的。为了创建映射表500，可以将图像捕获装置透镜和适配器透镜视为一个系统。当图像捕获装置透镜参数固定时，可以通过改变适配器透镜的参数来获得最终失真。换句话说，改变适配器透镜参数不仅是为了补偿图像捕获装置透镜的失真，而且还为了确保适配器透镜和图像捕获装置透镜的组合的失真规范也得到满足。当使用适配器透镜执行增强的EIS时，映射表500可用于调整EIS算法以补偿适配器透镜。

图6A是示出图像圈620的中心中的裁剪区域610的示例的图。在该示例中，裁剪区域610的目标分辨率可以是2.7K，即2704×2028像素。如该示例所示，图像圈620内接在图像传感器630的高度内。使用诸如图4所示的适配器透镜420的适配器透镜来获得图像圈。下面的表1示出了裁剪区域610中的最终分辨率和过采样因子的示例。

表1

如上表1所示，当增大裁剪区域的FOV时，像素趋向于伸展更多。例如，对于特定失真轮廓的165°FOV裁剪区域，图像的最差情况欠采样位置在裁剪区域的拐角附近为0.81。当裁剪区域的FOV增加到180°时，图像的最差情况欠采样位置在裁剪区域的拐角附近为0.77，因此表明当裁剪区域的FOV增加时像素被拉伸更多。

图6B是示出图像圈620的边缘处的裁剪区域640的示例的示图。在该示例中，裁剪区域640的目标分辨率可以是2.7K，即2704×2028像素。在该示例中，裁剪区域640向右移动以补偿图像捕获设备的向左的俯仰移动。如该示例所示，图像圈620内接在图像传感器630的高度内。使用诸如图4所示的适配器透镜420的适配器透镜来获得图像圈。下面的表2示出了裁剪区域640中的最终分辨率和过采样因子的示例。

表2

如上表2所示，当增大裁剪区域的FOV时，像素趋向于伸展更多。例如，对于特定失真轮廓的165°FOV裁剪区域，图像的最差情况欠采样位置是0.76。当裁剪区域的FOV增加到180°时，拐角附近图像的最差情况欠采样位置为0.70，因此表明当裁剪区域的FOV增加时像素被拉伸更多。

图6C是示出图像圈的另一边缘处的裁剪区域650的示例的示图。在该示例中，裁剪区域650的目标分辨率可以是2.7K，即2704×2028像素。在该示例中，裁剪区域650被移动到图像圈的边缘以补偿图像捕获设备的滚动(roll)的移动。如该示例所示，图像圈620内接在图像传感器630的高度内。使用诸如图4所示的适配器透镜420的适配器透镜来获得图像圈。下面的表3示出了裁剪区域650中的最终分辨率和过采样因子的示例。

表3

如上表3所示，当增大裁剪区域的FOV时，像素趋向于伸展更多。例如，对于用于特定失真轮廓的165°FOV裁剪区域，裁剪区域的拐角附近的图像的最差情况欠采样位置是0.57，其指示一个像素被拉伸以覆盖几乎两个像素的区域。当裁剪区域的FOV增加到180°时，裁剪区域的拐角附近图像的最差情况欠采样位置为0.46，因此表明一个像素被拉伸以覆盖多于两个像素的区域。

图7是适配器透镜的增强电子图像稳定(EIS)裕度700的示例的图。图7示出了在偏航维度710、俯仰维度720、俯仰+53°滚动维度730、偏航+37°滚动维度740和俯仰+偏航维度750中旋转期间的示例裁剪区域705A至750E。下表4示出了当与单独的图像捕获装置的透镜相比时，当结合图像捕获装置透镜使用适配器透镜用于图像稳定时，针对各种FOV的EIS裕度的改进。

表4

图8是用于使用适配器透镜的增强EIS的方法800的示例的流程图。如图8所示，方法800包括检测810适配器透镜。检测810适配器透镜可以包括接收指示适配器透镜类型或适配器透镜模式的输入，例如用户输入。在示例中，用户可以使用触摸接口或按钮按压在图像捕获设备上进入适配器透镜模式。在另一示例中，当适配器透镜被附接到图像捕获装置时，适配器透镜可由图像捕获装置自动检测。

方法800包括调整820EIS算法。可以基于诸如图5所示的映射表500的映射表来调整EIS算法，以补偿适配器透镜。由于适配器透镜和图像捕获装置透镜的参数是已知的，因此可以调整EIS算法，使得适配器透镜的失真和图像捕获装置透镜的失真的组合符合映射表的参数的关系。方法800包括将视频捕获830为帧，并将调整后的EIS算法应用840到帧以获得稳定的帧。基于映射表调整视频的每个帧，以输出850稳定的帧作为稳定的视频。

虽然已经结合某些实施例描述了本公开，但是应当理解，本公开不限于所公开的实施例，而是相反，旨在覆盖包括在所附权利要求的范围内的各种修改和等同布置，该范围将被赋予最宽泛的解释，以便包括法律允许的所有这样的修改和等同结构。

Claims (42)

1.一种图像捕获系统，其特征在于，包括：

图像捕获装置，包括：

图像传感器；

透镜壳体；

透镜组件，包括被布置在所述透镜壳体内的第一组光学元件，其中所述第一组光学元件被配置成将图像投射到所述图像传感器上；以及

处理器，被配置为通过限定裁剪区域并且基于惯性测量单元数据映射像素来执行电子图像稳定EIS，其中所述处理器被配置为基于映射表来映射像素；以及

适配器透镜，被配置成用于增强所述图像捕获装置的EIS，所述适配器透镜包括：

适配器透镜壳体，被配置成与所述透镜壳体以接口方式连接；以及

第二组光学元件，被设置在所述适配器透镜壳体内，其中所述第二组光学元件被配置成将所述图像作为图像圈投射在所述图像传感器上。

2.根据权利要求1所述的图像捕获系统，其特征在于，所述图像传感器具有矩形表面区域。

3.根据权利要求2所述的图像捕获系统，其特征在于，所述矩形表面区域具有4：3的纵横比或16：9的纵横比。

4.根据权利要求2或3所述的图像捕获系统，其特征在于，所述图像圈被局限在所述图像传感器的矩形表面区域内。

5.根据权利要求1或2所述的图像捕获系统，其特征在于，所述映射表是基于所述透镜组件和所述适配器透镜的光学失真的。

6.根据权利要求1或2所述的图像捕获系统，其特征在于，所述第一组光学元件包括至少一个非球面元件和至少一个球面元件。

7.根据权利要求1或2所述的图像捕获系统，其特征在于，所述第二组光学元件包括至少一个非球面元件和至少一个球面元件。

8.根据权利要求1或2所述的图像捕获系统，其特征在于，所述第一组光学元件具有第一视场FOV。

9.根据权利要求8所述的图像捕获系统，其特征在于，所述第二组光学元件具有第二FOV，并且所述第二FOV大于所述第一FOV。

10.根据权利要求1或2所述的图像捕获系统，其特征在于，所述处理器还被配置为获取帧序列。

11.根据权利要求10所述的图像捕获系统，其特征在于，所述帧序列包括参考帧和第二帧。

12.根据权利要求11所述的图像捕获系统，其特征在于，所述参考帧和所述第二帧各自包括场景中的多个共同点。

13.根据权利要求12所述的图像捕获系统，其特征在于，所述场景中的所述多个共同点包括与待稳定的点对应的参考点。

14.根据权利要求13所述的图像捕获系统，其特征在于，所述参考点在所述参考帧的预定像素位置处。

15.根据权利要求14所述的图像捕获系统，其特征在于，所述预定像素位置是所述参考帧的中心像素。

16.根据权利要求13所述的图像捕获系统，其特征在于，所述处理器还被配置为动态地选择所述参考点。

17.根据权利要求16所述的图像捕获系统，其特征在于，所述处理器还被配置为执行内容识别以动态地选择所述参考点。

18.根据权利要求11或12所述的图像捕获系统，其特征在于，所述处理器还被配置为将翘曲功能应用至所述第二帧，以获得翘曲的第二帧。

19.根据权利要求18所述的图像捕获系统，其特征在于，所述翘曲功能非均匀地偏移所述第二帧的一个或多个点。

20.根据权利要求1或2所述的图像捕获系统，其特征在于，所述适配器透镜壳体被耦合至所述图像捕获装置的主体的外部分。

21.根据权利要求1或2所述的图像捕获系统，其特征在于，还包括盖玻璃，所述盖玻璃设置在所述第一组光学元件和所述第二组光学元件之间。

22.根据权利要求1或2所述的图像捕获系统，其特征在于，所述图像圈具有4223×4223像素的分辨率。

23.根据权利要求1或2所述的图像捕获系统，其特征在于，所述适配器透镜被配置为产生全鱼眼视图。

24.一种图像捕获装置，其特征在于，包括：

图像传感器；

透镜壳体，被配置成耦合到可拆卸适配器透镜，所述可拆卸适配器透镜被配置成增强电子图像稳定EIS；

透镜，包括被设置在所述镜片壳体内的第一组光学元件，其中所述第一组光学元件被配置成将图像投射到所述图像传感器上；以及

处理器，被配置为执行EIS。

25.根据权利要求24所述的图像捕获装置，其特征在于，所述可拆卸适配器透镜包括第二组光学元件，所述第二组光学元件被配置成将所述图像作为图像圈投射在所述图像传感器上。

26.根据权利要求25所述的图像捕获装置，其特征在于，所述图像圈被局限在所述图像传感器内。

27.根据权利要求25所述的图像捕获装置，其特征在于，所述第一组光学元件具有第一视场FOV。

28.根据权利要求27所述的图像捕获装置，其特征在于，所述第二组光学元件具有第二FOV，且其中所述第二FOV大于所述第一FOV。

29.根据权利要求24或25所述的图像捕获装置，其特征在于，所述处理器还被配置为获得帧序列。

30.根据权利要求29所述的图像捕获装置，其特征在于，所述帧序列包括参考帧和第二帧。

31.根据权利要求30所述的图像捕获装置，其特征在于，所述参考帧和所述第二帧各自包括场景中的多个共同点。

32.根据权利要求31所述的图像捕获装置，其特征在于，所述场景中的所述多个共同点包括与待稳定的点对应的参考点。

33.根据权利要求32所述的图像捕获装置，其特征在于，所述参考点在所述参考帧的预定像素位置处。

34.根据权利要求33所述的图像捕获装置，其特征在于，所述预定像素位置是所述参考帧的中心像素。

35.根据权利要求33所述的图像捕获装置，其特征在于，所述处理器还被配置为动态地选择所述参考点。

36.根据权利要求35所述的图像捕获装置，其特征在于，所述处理器还被配置为执行内容识别，以动态地选择所述参考点。

37.根据权利要求30或31所述的图像捕获装置，其特征在于，所述处理器还被配置为将翘曲功能应用至所述第二帧，以获得翘曲的第二帧。

38.根据权利要求37所述的图像捕获装置，其特征在于，所述翘曲功能非均匀地偏移所述第二帧的一个或多个点。

39.根据权利要求24或25所述的图像捕获装置，其特征在于，所述可拆卸适配器透镜包括被耦合至所述图像捕获装置的主体的外部分的壳体。

40.根据权利要求25所述的图像捕获装置，其特征在于，还包括盖玻璃，所述盖玻璃设置在所述第一组光学元件和所述第二组光学元件之间。

41.根据权利要求26所述的图像捕获装置，其特征在于，所述图像圈具有4223×4223像素的分辨率。

42.根据权利要求24或25所述的图像捕获装置，其特征在于，所述可拆卸适配器透镜被配置为产生全鱼眼视图。