CN113508573B - 一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法和装置 - Google Patents

一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法和装置 Download PDF

Info

Publication number
CN113508573B
CN113508573B CN202080017795.0A CN202080017795A CN113508573B CN 113508573 B CN113508573 B CN 113508573B CN 202080017795 A CN202080017795 A CN 202080017795A CN 113508573 B CN113508573 B CN 113508573B
Authority
CN
China
Prior art keywords
frame
length
image sensor
axis
distance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080017795.0A
Other languages
English (en)
Other versions
CN113508573A (zh
Inventor
V·库里克
M·索曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN113508573A publication Critical patent/CN113508573A/zh
Application granted granted Critical
Publication of CN113508573B publication Critical patent/CN113508573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

技术可以包括将相机组件中的可调整镜头的定位与图像传感器对图像帧的捕获进行同步并且优化可调整镜头的位置，以减少由于相机组件在帧的进程内沿着光轴的方向的平移而造成的模糊量。技术可以提供在帧的进程内将镜头移动到相对于图像传感器的多个优化位置，以减少由于相机组件在帧期间在沿着光轴的方向上的平移而在图像中引起的运动模糊。一些实施例可以在多个优化位置是基于时间相关函数的情况下提供“紧密”同步，该时间相关函数将在帧的进程内图像传感器的每一行何时被曝光考虑在内。

Description

一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法和装置
要求优先权
本专利申请要求享受于2019年3月7日递交的、名称为“TRANSLATIONCOMPENSATION IN OPTICAL IMAGE STABILIZATION(OIS)”的美国非临时专利申请No.16/295,146的优先权，该申请被转让给本申请的转让人并且据此通过引用方式被明确地并入本文中。
背景技术
光学图像稳定性(OIS)技术通过抵消由于相机不稳定或抖动引起的图像模糊和/或补偿在图像捕获期间的滚动快门失真，从而提高相机组件的性能。这对于合并到手持设备(诸如移动电话和平板计算设备)中的用于静态或视频图像的相机组件可能是特别重要的。OIS技术利用与相机镜头和/或相机组件的图像传感器耦合的一个或多个执行器，其在俯仰、翻滚和偏航方向中的至少一个方向上相对于相机组件来平移、倾斜和/或旋转镜头和/或传感器。因此，OIS技术可以在很大程度上或完全补偿相机运动的影响，包括旋转(例如，这可以通过陀螺来测量)和平移(例如，这可以通过加速计来测量)和/或滚动快门效应。
然而，在相机组件中实现这些OIS技术并非没有权衡。由于功率、尺寸、成本和/或其它限制约束，一些相机系统可能具有有限的OIS功能。因此，用于在这些有限制的系统中改进OIS功能的技术可以增加这种有限能力的相机系统的用户体验。
发明内容
本文描述的技术可以通过以下操作来解决这些或其它问题：将相机组件中的可调整镜头的定位与图像传感器对图像帧的捕获进行同步并且优化可调整镜头的位置，以减少由于相机组件在帧的进程内沿着光轴的方向的平移而造成的模糊量。更具体地，技术提供了在帧的进程内将镜头移动到相对于图像传感器的多个优化位置，以减少由于相机组件在帧期间在沿着光轴的方向上的平移而在图像中引起的运动模糊。一些实施例可以在多个优化位置是基于时间相关函数的情况下提供“紧密”同步，该时间相关函数将在帧的进程内图像传感器的每一行何时被曝光考虑在内。
根据说明书，一种在具有可调整镜头的相机组件中提供同步光学图像稳定的示例方法包括：针对所述相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；以及获得至少一个距离值，所述至少一个距离值指示所述图像传感器到所述图像传感器可见的至少一个对象的至少一个距离。所述方法还包括针对在所述帧期间的多个时间中的每个时间：获得指示所述相机组件在沿着与所述第一轴和所述第二轴正交的第三轴的方向上的平移的相应移动数据，所述平移对应于相应时间；至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及使得所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，在沿着所述第一轴的方向上、在沿着所述第二轴的方向上或两者的所述相应位置是至少部分地基于所述相应移动数据、所述时间相关函数的所述相应值、以及所述至少一个距离值。
根据说明书，一种具有光学图像稳定的示例相机组件包括：控制器，其被配置为与以下各项通信地耦合：图像传感器，其具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件；一个或多个执行器，其被配置为移动将光聚焦到所述图像传感器上的可调整镜头；以及运动传感器。所述控制器被配置为：获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段。所述控制器还被配置为：获得至少一个距离值，所述至少一个距离值指示所述图像传感器到所述图像传感器可见的至少一个对象的至少一个距离；以及针对在所述帧期间的多个时间中的每个时间：从所述运动传感器获得指示所述相机组件在沿着与所述第一轴和所述第二轴正交的第三轴的方向上的平移的相应移动数据，所述平移对应于相应时间；至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及使得所述一个或多个执行器将所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，在沿着所述第一轴的方向上、在沿着所述第二轴的方向上或两者的所述相应位置是至少部分地基于所述相应移动数据、所述时间相关函数的所述相应值、以及所述至少一个距离值。
根据说明书，一种示例装置包括：用于针对所述装置的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息的单元，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；以及用于获得至少一个距离值的单元，所述至少一个距离值指示所述图像传感器到所述图像传感器可见的至少一个对象的至少一个距离。所述示例装置还包括：用于针对在所述帧期间的多个时间中的每个时间来进行以下操作的单元：获得指示所述装置在沿着与所述第一轴和所述第二轴正交的第三轴的方向上的平移的相应移动数据，所述平移对应于相应时间；至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及使得可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，在沿着所述第一轴的方向上、在沿着所述第二轴的方向上或两者的所述相应位置是至少部分地基于所述相应移动数据、所述时间相关函数的所述相应值、以及所述至少一个距离值。
根据说明书，一种非暂时性计算机可读介质具有嵌入在其上的用于在具有可调整镜头的相机组件中提供同步光学图像稳定的指令。所述指令在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作：针对所述相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；获得至少一个距离值，所述至少一个距离值指示所述图像传感器到所述图像传感器可见的至少一个对象的至少一个距离；以及针对在所述帧期间的多个时间中的每个时间：获得指示所述相机组件在沿着与所述第一轴和所述第二轴正交的第三轴的方向上的平移的相应移动数据，所述平移对应于相应时间；至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及使得可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，在沿着所述第一轴的方向上、在沿着所述第二轴的方向上或两者的所述相应位置是至少部分地基于所述相应移动数据、所述时间相关函数的所述相应值、以及所述至少一个距离值。
附图说明
图1是根据一个实施例的具有相机组件的电子设备的图；
图2是根据一个实施例的相机组件的简化截面图；
图3是示出由于在图像捕获期间在沿着光轴的方向上的平移移动而在图像中引起的示例运动模糊的图；
图4是示出根据一个实施例的针对图像中的感兴趣区域的示例OIS运动模糊调整的图；
图5是根据一个实施例的示出图像传感器可以如何捕获图像帧的帧图；
图6是示出根据一个实施例的针对具有两个感兴趣区域的图像中的光轴平移的OIS运动模糊补偿的图；
图7是与图5类似的帧图，其示出了在帧的进程内传感器行的曝光和读出；
图8是示出根据一个实施例的在图7中执行的针对光轴平移的OIS运动模糊补偿可以如何减少或消除在沿着所得到的图像的y轴的方向上的运动模糊的图；
图9和10是示出连续捕获的帧的帧图；
图11是根据一个实施例的在具有可调整镜头的相机组件中提供同步OIS的方法的流程图。
根据某些示例实现，各个附图中的相同的附图标记指示相同的元素。另外，可以通过在用于元素的第一数字之后跟随字母或连字符和第二数字，来指示该元素的多个实例。例如，可以将元素110的多个实例指示为110-1、110-2、110-3等，或者110a、110b、110c等。当仅使用第一数字来指代这样的元素时，将理解为该元素的任何实例(例如，先前示例中的元素110将指代元素110-1、110-2和110-3或者元素110a、110b和110c)。
具体实施方式
现在将关于附图来描述若干说明性实施例，这些附图形成其一部分。虽然下文描述了可以实现本公开内容的一个或多个方面的特定实施例，但是可以使用其它实施例，并且可以在不脱离本公开内容的范围或所附的权利要求的精神的情况下进行各种修改。此外，所描述的实施例可以在合并有相机的任何设备、装置或系统中实现，诸如移动电话、启用多媒体互联网的蜂窝电话、移动电视接收机、无线设备、智能电话、可穿戴设备、个人数据助理(PDA)、无线电子邮件接收器、手持或便携式计算机、平板设备、相机、数字媒体播放器(诸如MP3播放器)、便携式摄像机、游戏控制台、手表、移动健康设备等、以及合并有此类电子设备的较大系统(例如，汽车、智能建筑等)。
可以注意的是，如本文所使用的，术语“图像帧”和“帧”指代从图像传感器(例如，CMOS传感器)捕获图像的时间段。这包括：曝光时段，其中图像传感器的光敏传感器元件被配置为在该曝光时段中感测光并且产生指示在曝光时段期间感测的光量的对应值(例如，电压)；以及读出时段，在该读出时段中，由图像处理电路读取和处理传感器元件的曝光值。对于滚动快门相机，在读出时段的进程内，一次(逐行地)读出传感器元件的曝光值。
另外可以注意的是，按照惯例，在本文的实施例中描述的图像传感器是关于具有相互正交的x、y和z轴的坐标系来描述的，其中，图像传感器的行与图像传感器的x轴对齐，列与图像传感器的y轴对齐。因此，图像传感器的光轴对应于z轴。相机组件的轴包括图像传感器。(该坐标系在适用的图中示出，以帮助说明各个图如何在坐标系内定向。)根据惯例，用于合并有相机组件的电子设备的坐标系可以是相同的，或者可以是不同的。本领域普通技术人员将认识到，根据所使用的惯例，在该坐标系内使用的量级和/或角度的值可以是正的或负的。因此，根据惯例，在本文提供的数学公式、等式和/或表达式中公开的变量可以是正的或负的。
图1是根据一个实施例的具有相机组件的电子设备100的图。本领域的普通技术人员将理解，尽管移动电话被描绘为电子设备100，但是各种替代设备也可以具有相机组件，并且因此可以利用本文描述的用于光学图像稳定(OIS)技术。在该示例中，用于电子设备100的坐标系不同于相机组件的坐标系，如通过设备轴104和相机轴106所示。具体地，设备轴104的x轴107和y轴108分别与相机轴108的y轴130和x轴120对齐。按照惯例，并且如前所描述的，本文描述的实施例使用相对于相机光圈110的坐标系，如通过相机轴108所示，其具有相互正交的轴(x轴120、y轴130和z轴140)。相机光圈110提供用于光照明被并入电子设备100中的相机组件(未示出)的图像传感器的开口，其中，图像传感器利用相机轴的坐标系。因此，在各图中所示以及下面描述的实施例利用相机轴108(而不是设备轴106)。
在图1中所示的朝向中(即，“横向”朝向，其中图像传感器的沿着x轴120的行是水平的)，y轴旋转150表示电子设备100的偏航的变化，并且x轴旋转160表示电子设备100的俯仰的变化。(在“纵向”朝向中，其中，图像传感器的沿着x轴120的行是垂直的，俯仰将对应于y轴旋转150，并且偏航将对应于x轴旋转160。)由于x轴旋转150和y轴旋转150，传统的2轴OIS系统可以提供模糊补偿。传统的4轴OIS系统可以进一步提供针对y平移170(即，在y轴130的方向上的平移)和x轴平移180(即，在x轴120的方向上的平移)的模糊补偿。
本文公开的技术提供了由于z轴(光轴)平移190而引起的模糊减少。因为这些技术利用在沿着x轴120和/或y轴130的方向上的镜头位移，所以它们可以由能够进行这样的x轴和y轴镜头位移的传统的2轴OIS系统和/或4轴OIS系统来实现。此外，本文的技术是附加的，并且因此可以与传统的2轴OIS和/或4轴OIS同时使用，从而分别有效地提供3轴OIS和/或5轴OIS。在图2中提供了能够实现本文公开的模糊减少技术的相机组件的示例
图2是根据一个实施例的相机组件200的简化截面图。相机组件200的一些或所有部件可以被集成到较大的电子设备中，诸如图1的电子设备100。在所示的实现中，相机组件200包括镜头210和图像稳定装置(ISA)220。ISA 220可以包括与镜头210光学耦合的图像传感器222以及与镜头210机械耦合的执行器224。尽管仅示出了一个执行器224，但是一个或多个执行器224(在一些实现中，其可以包括音圈电机(VCM)执行器)可以与镜头210耦合，并且被定位为将镜头210在沿着x轴120和/或y轴(未示出，但与xz平面正交)的方向移位(或平移)。因此，执行器224可以被配置为将镜头210移动到xy平面中的与光轴211正交的各个位置。(如前所述，光轴211是z轴140。)在一些实施例中，一个或多个执行器可以另外或替代地用于以类似的方式将图像传感器222相对于镜头210平移。(其它实施例可以另外能够使镜头210和/或图像传感器222沿着光轴211平移和/或旋转镜头210和/或图像传感器222，这取决于所实现的OIS的类型。)在一些实施例中，相机组件200可以包括可调整光圈(未示出)，其可以用于调整图像传感器222被曝光的光量。
相机组件200还包括控制器230，该制器230与ISA 220和至少一个用于测量相机运动的运动传感器240通信地耦合。控制器可以包括处理单元(例如，微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程门阵列(PGA)或类似可编程的电路)，其可以被配置为与如本文描述的相机组件200的其它部件交互。因此，控制器230可以被配置为执行被存储在非暂时性计算机可读介质中的软件。
运动传感器240可以包括陀螺仪、加速计和/或能够确定相机组件200的旋转和/或平移移动的任何其它类型的运动传感器(例如，其反映相机组件200被集成到其中的电子设备100的旋转和/或平移移动，如图1所示)。在一些实施例中，相机组件200可以不具有专用于OIS的运动传感器240。在这样的实施例中，控制器230可以从相机组件200被集成到其中的电子设备的其它部件获得运动数据。
OIS用于减少在图像传感器222正在捕获图像的时间期间(例如，帧的曝光时段)与相机组件200的移动相关联的模糊和其它影响。概括地说,，运动传感器240(其可以被配置为以特定频率捕获运动数据)向控制器230提供关于相机组件200的移动的运动数据。控制器230使得执行器224以补偿移动并且使图像传感器222所捕获的图像中的模糊最小化的方式来在xy平面中移动镜头210，该模糊是由于相机组件的运动引起的。因此，OIS镜头移位量是与移动量成比例的。
对于在平行于图像传感器222的平面(例如，xy平面)中移动镜头210的相机组件200，存在对非均匀图像质量改善的限制。这是因为镜头210和/或图像传感器222在xy平面中的移位仅能够使得均匀图像移位达如此多的像素。当运动模糊是由于在沿着光轴211的方向上的平移而引起时，当良好的补偿将需要非均匀移位时，这可能特别具有挑战性。
图3是示出图像300中的运动模糊的图，该运动模糊是由于在图像捕获期间在沿着光轴的方向上的平移移动而引起的。此处，图像300包括具有(作为示例)1080行和1920列的像素阵列。(替代实施例可以具有不同的分辨率和/或纵横比。)图像300中的像素对应于图像传感器222的被布置在xy平面中的对应行和列中的传感器元件。因此，如图所示，图像行与x轴120对齐，而列与y轴130对齐。
如图所示，在图像的外围附近的模糊大于在图像的中心附近的模糊。(外围模糊310大于中心模糊320。)因此，由于xy平面中的镜头移位而引起的OIS校正(其均匀地校正模糊)可能对在图像的外围附近的模糊补偿不足和/或对在图像300的中心附近的模糊补偿过度。然而，如果确定了图像内的“感兴趣区域”，则可以修改OIS镜头移位，以便按照如下方式来补偿翻滚：将图像300的最清晰区域从图像300的中心移动到感兴趣区域。(这种对镜头移位的修改也被称为“镜头移位调整”。)
可以注意的是，在图像300中所示的模糊效果是针对距图像传感器222均匀距离处的目标的图像的。根据平移的速度和该目标的距离，模糊可能变化。更具体地，由于视差引起的模糊，其可以被估计为：
Figure GDA0004026523170000081
传统的4轴OIS通常针对所有特征使用公共距离来补偿由于沿着x轴和/或y轴的平移而引起的视差，如同目标是平坦的。此外，传统的4轴OIS通常也仅针对特写摄影执行这种补偿，在特写摄影中，到目标的小距离导致大的视差。
然而，如本文进一步详细描述的，用于调整OIS镜头移位以提供由于如本文描述的光轴平移而引起的模糊减少的技术可以优化用于非平坦(3-D)目标支持的模糊减少和/或考虑不仅由于到目标的小距离而且由于大的平移(高速移动)而引起的模糊。这种模糊减少可以通过将图像300的最清晰部分(被称为“消失点”)从图像300的中心移动到以图像300中的其它地方为中心的“感兴趣区域”来减少图像300内的一个或多个位置处的模糊，或者基于与帧的“紧密”同步来为图像300的每一行提供最佳OIS镜头移位，以确定图像传感器222的行在帧的进程内何时被曝光。本文在下面提供了关于这些实施例的额外细节。
图4是示出图像400中的运动模糊的图，类似于图3，该运动模糊是由于在图像捕获期间在沿着光轴的方向上的平移移动而引起的。然而，此处，在图像捕获过程期间已经调整OIS镜头移位，使得消失点(由于Z平移而具有非常小的模糊)位于感兴趣区域410处，而不是图像400的中心处。感兴趣区域可以由电子设备100自动地确定(例如，以面部或其它检测到的对象的位置(其可以从一个或多个初步图像来确定)为中心)，或者由电子设备的用户手动地确定。
对于以特定行(Row)和列(Col)为中心的感兴趣区域410，在感兴趣区域处的拉伸/压缩速度的x和y分量可以被计算为：
针对x分量，
Figure GDA0004026523170000091
以及针对y分量，
Figure GDA0004026523170000092
此处，项MidRow和MidColumn分别指代图像400的中间行和中间列的行号和列号。(例如，在图4的图像400中，其具有1080行和1920列，MidRow等于540，并且MidColumn将等于960。)项ForwardTranslationSpeed(t)指代沿着光轴的方向的平移的速度(例如，其可以通过加速计或运动传感器240的其它部件来获得)，以及Distance(AI)指代在感兴趣区域的位置处的目标的距离，其可以例如从焦点位置来获得。
如上所述，项(2)和(3)是指示在帧期间在时间t处在感兴趣区域处的拉伸/压缩速度的量的值，以补偿在时间t处在沿着光轴的方向上的平移。由于这是对其它类型的OIS(诸如2轴OIS或4轴OIS)的补充，因此这些项可以被添加到现有的x和y OIS镜头移位中。这就是说，因为项(2)和(3)是以像素/s为单位的，所以当被添加到现有的OIS镜头移位时，它们可能需要首先通过除以相机组件200的焦距来转换为弧度/s。
例如，可以将项(2)和(3)添加到4轴OIS镜头移位中，以通过如下计算经调整的x和y OIS镜头移位来提供针对“5轴”OIS的镜头移位：针对在沿着x轴的方向上的OIS镜头移位，
Figure GDA0004026523170000101
以及针对在沿着y轴的方向上的OIS镜头移位，
Figure GDA0004026523170000102
项Xgyro(t)和Ygyro(t)是将在x和y方向上由于偏航和俯仰移动而引起的模糊考虑在内的OIS镜头移位值，因此这些项提供2轴OIS。另外的项XTranslationSpeed(t)/Distance(AI)和YTranslationSpeed(t)/Distance(AI)分别考虑了在沿着x轴和y轴的方向上的平移，从而当被添加到针对2轴OIS镜头移位的项中时提供4轴OIS。(此处，项XTranslationSpeed(t)和YTranslationSpeed(t)分别是在时间t处在沿着x轴和y轴的方向上的速度的度量)。因此，将项AIXspeed(t)/FL和AIYspeed(t)/FL添加到4轴OIS镜头移位中，提供由于在沿着光轴的方向上的移动的OIS补偿，从而产生5轴OIS。
根据一些实施例，通过将镜头移动与帧“紧密”同步，使得镜头210移动以针对图像的不同行以不同的方式优化OIS补偿，以这种方式进行的OIS镜头移位调整可以被应用于图像内的多个感兴趣区域。
图5是示出图像传感器222如何通过首先逐行地使各行经受曝光时段，然后在读出时段期间读出各行来捕获图像帧的帧图。与本文中的其它图一样，图5示出了具有1080行(例如，高清晰度(HD)视频质量)的示例，但是替代实施例可以在每个帧具有的行的数量方面变化。帧500是由具有滚动快门的相机组件捕获的。因此，帧500从曝光时段开始，之后跟随着读出时段。更具体地，在针对一行中的光敏传感器元件(图像传感器像素)的曝光值被重置之后，该行经受曝光时段，在该曝光时段之后，利用下游图像处理电路读取和处理针对传感器元件的曝光值。这种曝光和读出逐行地发生，从行1开始。因此，帧500从第一行(行1)的曝光开始，并且以最后一行(行1080)的曝光值的读出结束。
可以注意的是，如本文所使用的，术语“读出时段”可以指代读取帧的行所花费的时间，其可以小于图像传感器222的本地行数量。例如，在视频裁剪或数字变焦的情况下，可以仅读取图像传感器222的行子集。并且因此，读出时段对应于读取行子集的时间段。因此，如本文所使用的，术语“读出时段”可以指代该“有效”读出时段。
在该示例中，如图所示，帧500可以被划分为两个子帧，即子帧1和子帧2，以便为图像内的两个位置处的两个感兴趣区域提供对光轴平移的OIS补偿。第一感兴趣区域位于前半部分的行内，而第二感兴趣区域位于后半部分的行中。然而，将理解的是，子帧可以是不均等地划分的，使得一个子帧大于另一子帧。此外，帧可以被划分为两个以上的子帧以容纳两个以上的感兴趣区域。在图5中，可以在子帧1期间根据表达式(4)和(5)来调谐OIS镜头移位，以提供由于针对第一感兴趣区域所得到的图像中的光轴平移的OIS补偿，并且然后在子帧2期间“重新调谐”，以便为第二感兴趣区域提供对光轴平移的OIS补偿。
图6示出了所得到的图像600中的模糊。可以看出，在图像600的前半部分中关于第一感兴趣区域AI1 610的光轴平移模糊被减少，并且在图像600的后半部分中关于第二感兴趣区域AI2 620的光轴平移模糊也被减少。如前所述，该概念可以被扩展以提供对具有任何多个感兴趣区域的图像的光轴平移补偿。然而，由于图像传感器222的传感器元件一次读取一行，并且由于对镜头210在xy平面中的位置的调整在该行上均匀地应用校正，因此光轴平移补偿可以仅被应用于出现在图像600的不同行上的感兴趣区域。如前所述，可以使用各种技术中的任何一种来识别感兴趣的区域，包括手动用户输入和/或对象检测算法(例如，由电子设备100执行的面部检测)。
根据一些实施例，这些概念不仅可以被扩展到多个感兴趣的区域，而且可以被扩展到图像中的每一行。也就是说，在图像传感器222的行被曝光时，各实施例可以连续地重新调谐OIS镜头移位以便为每一行提供对光轴平移的OIS补偿，而不是为少量子帧重新调谐OIS镜头移位。图6和7帮助说明这可以如何来完成。
图7是与图6类似的帧图，其示出了在帧700的进程内传感器行的曝光和读出。然而，此处，根据在给定时间t处哪一行正在被曝光，可以基于行来重新调谐OIS，而不是将帧700划分为子帧并且使用表达式(4)和(5)来计算针对每个子帧的经调整的OIS移位。这使得OIS移位的调整随着时间变化，从而在每一行被曝光时优化光轴平移补偿。图7还将所使用的时间相关函数(Weight(t)710)的值叠加在帧700上，以示出Weight(t)的值随着时间的变化。可以看出，Weight(t)可以包括时间的线性函数。
作为一个示例，在表达式(5)中计算的y轴OIS镜头移位可以被如下修改：
Figure GDA0004026523170000121
其中，Distance是到目标的距离，ZTranslation Speed(t)是在沿着光轴的方向上的平移的速度，而Weight(t)是时间的近似线性函数，如下：
Figure GDA0004026523170000122
此处，Row(t)是在时间t处被曝光的行的值。
在表达式(6)中，项Distance可以是在帧700的整个进程内不变化的静态项。其可以例如是基于到目标的距离来选择的，并且可以例如通过自动聚焦算法来确定。然而，根据一些实施例，项Distance可以被替换为时间相关项Distance(t)，该项在帧700的进程内基于在时间t处哪一行被曝光而变化。也就是：
Distance(t)＝Distance(Row(t))      (8)
例如，可以根据相位检测自动聚焦(PDAF)推导的深度图和/或其它自动聚焦相关技术计算针对每一行的最佳距离。一些实施例可以利用诸如光或结构光的时间之类的主动方法。一些实施例可以使用被动方法，诸如来自立体(例如，双)相机的深度。另外或替代地，可以使用间接方法，诸如将当前镜头位置映射到一距离(其中，准确度可以取决于自动聚焦执行器的质量和校准)或者使用PDAF推导的深度图(其中，有可能在不同区域上聚焦之前和/或之后进行估计，并且与当前镜头位置相比，以不同的方式使用数据(例如，优化OIS平移补偿，其考虑了PDAF推导的深度图中的距离变化))。根据一些实施例，PDAF深度图还可以提供优先化信息，其指示哪些场景元素比其它场景元素更重要。
使用表达式(8)，表达式(6)可以被如下修改：
Figure GDA0004026523170000131
OIS与帧的同步可以允许确定在帧中的任何时间t处哪个Row(t)被曝光。因此，与图5(其中，OIS镜头移位与帧捕获同步以允许在帧的一半修改OIS镜头移位)相反，在图7中所示的实施例更“紧密”地同步到整个帧中的各行的曝光。如在图7中所指示的，可以在每一行的曝光时段的近似一半处应用OIS镜头移位调整。换句话说，Row(t)可以被计算为在时间t处在其曝光时段的近似一半处的行，但是各实施例可以变化。
为了提供这样的时间同步，控制器230可以经由中断或与帧捕获相关的其它数据获得关于帧何时开始以及用于帧的曝光和读出时段是什么的信息。在中断对于控制器230不可用的情况下，控制器230可以基于单个帧定时来预测或计算帧的开始。视频中的这种帧预测可以在几分钟内保持准确，因为帧时段在视频中通常是非常稳定的。
利用该信息以及关于传感器中的行数量的信息，OIS可以应用如图所示的镜头移位调整。对于具有540行和1500像素的FL的图像传感器，Weight(t)的值可以从近似-0.36到0.36变化。(同样，针对给定行的Weight(t)的值是正的还是负的可以取决于所使用的正负号约定。)
图8示出了在图7中执行的对光轴(z)平移的OIS运动模糊补偿可以如何减少或消除在沿着所得到的图像800的y轴的方向上的运动模糊。在图8中，在未经补偿的模糊(“W/O补偿”)与如本文描述的对光轴平移的补偿(“Y模糊消失”)之间的比较。可以看出，对光轴平移的补偿大大减少了在沿着y轴的方向上的运动模糊。
因此，如图7所示和如上所述的紧密同步的OIS镜头移位调整可以通过消除运动模糊的y分量而大大减少由于光轴平移而引起的运动模糊。也就是说，运动模糊的垂直分量仍然存在。这是因为每次一行读出图像传感器222的传感器元件的曝光值，从而允许各实施例针对每一行而不是每一列进行优化。虽然优化并没有另外针对每一列进行调整，但是以这种方式提供OIS镜头移位调整在许多应用中可以是有益的。如果没有其它情况，则这通过将相对不受运动模糊影响的区域从中心圆形区域(或消失点，例如，如图3所示)扩展到从图像的顶部拉伸到底部的列(如图8所示)，来减少由于光轴平移而引起的运动模糊量。
在一些实施例中，可以作出特殊考虑以帮助确保在图像传感器222的不同行可以针对连续捕获的帧(诸如在视频中)同时被曝光的情况下，或者在曝光时段相对于读出时段显著大的情况下，不使用本文的模糊补偿技术。
图9示出了帧图以帮助说明这一点。在图9中，连续捕获两个帧，即第一帧910和第二帧920。可以看出，用于帧910、920的曝光时段、读出时段和帧时段使得在帧之间在时间上不存在重叠。换句话说(例如，如在时间T1处被曝光的行和在时间T2处被曝光的行所示)，在任何时候都不会针对不同的帧910、920曝光图像传感器的不同行集合，并且在任何给定时间处，图像传感器222的相对小的百分比的行被曝光。对于具有相对长的曝光时段的帧，情况可能并非如此。
图10示出了帧图以帮助说明这一点。与图9类似，图10示出了连续捕获的两个帧，即第一帧1010和第二帧1020。然而，此处，曝光时段被延长(例如，由于低光和/或使经延长的曝光时段是期望的其它条件)。这可能导致出现一个或两个问题。
第一个问题是相对于读出时段而言的长曝光时段可能导致在帧中的给定时间处曝光大量的行。例如，在时间T1处，几乎所有的行都被曝光。这可能降低本文描述的紧密同步的OIS翻滚补偿技术(其中，镜头位置是基于被曝光的行的)的实施例的有效性，这是因为一次曝光较多的行。这个问题可能出现在连续捕获的帧(如图所示)或单个帧中。
第二个问题是延长曝光时段可能导致帧重叠。例如，在一些情况下，即使较长的曝光时间，也可能期望保持一定的帧速率(例如，30帧每秒(fps)的视频)。因此，可能存在诸如在图10中的时间T2处的情况，其中图像传感器222的不同行在不同的帧内被同时曝光，从而提出了紧密同步的OIS翻滚补偿(其中，镜头位置是取决于被曝光的行的)的问题。被曝光的行的两个不同集合将要求镜头处于两个不同的位置。
为了缓解这些问题，各实施例可以采用控制器230或其它处理单元来监测连续捕获的帧的曝光时段、读出时段和帧时段。在确定帧可能重叠的情况下和/或在曝光时段相对于读出时段的长度而言超过门限长度(例如，50％或更多，这导致同时曝光大量的行)的情况下，那么控制器230或其它处理单元可以减小曝光时段的长度，使得曝光时段的长度达到期望长度(例如，相对于读出时段的长度而言低于门限长度)，并且增加图像传感器的ISO以至少部分地补偿对曝光时段的长度的减小。另外或替代地，如果相机组件能够调整光圈(即，降低焦比或光圈级数)，则控制器230或其它处理单元可以增加相机组件的光圈，以至少部分地补偿对曝光时段的长度的减小。另外或替代地，如果相机组件能够调整帧速率(即，增加帧时段)，则控制器230或其它处理单元可以降低帧速率以确保帧不重叠。例如，可以在静态快照预览模式下执行此类调整。
图11是根据一个实施例的在具有可调整镜头的相机组件中提供同步OIS的方法1100的流程图。用于执行该方法的单元可以包括相机组件的一个或多个部件，诸如图2中的相机组件200。具体而言，在方法1100的框中描述的功能可以由例如能够响应于运动传感器数据而移动镜头的处理单元(例如，控制器230)来执行。
在框1110处，该功能包括：针对相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示图像传感器的帧的开始的信息，其中，帧包括一时间段，该时间段具有曝光时段，之后跟随着其中逐行地从传感器元件读取曝光值的读出时段。如前所指出的，本文的实施例可以被应用于具有其中逐行地读取传感器元件的滚动快门的相机组件，其中，行在沿着第一通道的方向(例如，x轴)上对齐，而列在沿着第二轴(例如，y轴)的方向上对齐。此外，如本文在其它地方所提到的，获得指示帧的开始的信息可以包括获得帧的开始的中断或其它直接指示符。另外或替代地，帧的开始可以通过基于指示帧的开始(例如，视频捕获的开始)的间接数据的计算来获得。
在框1120处，该功能包括：获得至少一个距离值，至少一个距离值指示图像传感器到图像传感器可见的至少一个对象的至少一个距离。如在以上实施例中所描述的，功能可以变化。例如，在图4和6中，可以识别一个或多个感兴趣区域，并且可以例如经由相机组件和/或电子设备的自动聚焦模块来确定到这些感兴趣区域中的每个感兴趣区域的距离。在一些实施例中，感兴趣区域可以被优先化，并且这种优先化可以用于确定在帧期间如何定位镜头。例如，在替代实施例中，方法1100还可以包括：从自动聚焦模块获得与至少一个距离值相关的至少一个优先级值，其中，针对在帧期间的多个时间中的每个时间，相应位置是另外至少部分地基于与至少一个距离值相关的至少一个优先级值。另外或替代地，可以从用户输入识别一个或多个感兴趣区域。在一些实施例中，可以捕获一个或多个初步图像和/或可以获得其它传感器数据，感兴趣的区域、距离或两者可以是根据一个或多个初步图像和/或其它传感器数据来确定的。
在框1130处，该功能包括：针对在帧期间的多个时间中的每个时间，执行在框1130-a、1130-b和1130-c中所示的功能。在框1130-a处，该功能包括：获得指示相机组件在沿着与第一轴和第二轴正交的第三轴的方向上的平移的相应移动数据，该平移对应于相应时间。在框1130-b处，该功能包括：至少部分地基于指示帧的开始的信息来确定时间相关函数的相应值，其中，时间相关函数的相应值取决于相应时间与帧的关系。并且在框1130-c处，该功能包括：使得可调整镜头在帧期间移动到相对于图像传感器的相应位置，其中，在沿着第一轴的方向上、在沿着第二轴的方向上或两者的相应位置是至少部分地基于相应移动数据、时间相关函数的相应值、以及至少一个距离值。
如在以上实施例中所提到的，时间相关函数可以是至少部分地基于图像传感器的传感器元件的行数量的。如前所提到的，时间相关函数可以包括线性时间相关权重(例如，Weight(t))。
另外或替代地，从图像传感器到感兴趣区域或行的对象的距离值也可以是时间相关的(例如，Distance(t))，但是替代实施例可以变化。因此，在一些实施例中，在框1120处获得的指示图像传感器到至少一个对象的至少一个距离值的信息包括指示多个距离值的信息，其中，每个距离值指示图像传感器到至少一个对象的距离。那么，针对在帧期间的多个时间中的每个时间，至少一个距离值可以包括多个距离值中的相应距离值。
如先前在描述中所指出的，并且如在图9-10中所示，该方法还可以包括：在帧的开始之前，确定曝光时段的长度和读出时段的长度。这可以帮助确定在帧期间一次曝光的行数量是否可能太多而导致同步OIS稳定无法有效地工作。该方法可以包括：监测这些值，并且一旦确定其落在有利范围内就继续进行。因此，方法1100的实施例可以另外或替代地包括：确定曝光时段的长度相对于读出时段的长度而言不超过门限长度，其中，针对在帧期间的多个时间中的每个时间，确定时间相关函数的相应值是响应于确定曝光时段的长度不超过读出时段的门限长度的。如前所提到的，该门限长度可以根据期望功能而变化。在一些实施例中，曝光时段的门限长度可以是读出时段的长度的近似50％。在其它实施例中，门限可以小于该值(例如，40％、30％或更小)或大于该值(例如，60％等)。
在曝光时段超过门限的情况下，一些实施例可以允许减小该曝光时段并且增加ISO和/或加宽光圈以保持传感器元件充分曝光。例如，在一些实施例中，在帧的开始之前，方法1100还可以包括：确定曝光时段的长度相对于读出时段的长度而言超过门限长度，并且响应于确定曝光时段的长度超过读出时段的门限长度，减小曝光时段的长度，使得曝光时段的长度不超过读出时段的门限长度，以及通过以下操作来至少部分地补偿对曝光时段的长度的减小：增加图像传感器的ISO、加宽相机组件的被配置为调整图像传感器被曝光的光量的光圈或两者。
对于本领域技术人员将显而易见的是，可以根据特定要求来进行实质变化。例如，还可以使用定制的硬件，和/或特定元素可以用硬件、软件(包括可移植软件(例如，小应用程序等))或者这二者来实现。此外，可以采用到其它计算设备(例如，网络输入/输出设备)的连接。
参照附图，可以包括存储器的部件(例如，控制器230)可以包括非暂时性机器可读介质。如本文中使用的术语“机器可读介质”和“计算机可读介质”指代参与提供用于使得机器以特定方式操作的数据的任何存储介质。在上文提供的实施例中，各种机器可读介质可以参与向处理单元和/或其它设备提供指令/代码以用于执行。另外或者替代地，机器可读介质可以用于存储和/或携带这样的指令/代码。在许多实现方式中，计算机可读介质是物理和/或有形存储介质。这样的介质可以采用许多种形式，包括但不限于非易失性介质、易失性介质以及传输介质。常见形式的计算机可读介质包括例如磁性和/或光学介质、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或者盒式存储器、如下文中描述的载波、或者计算机可以从其中读取指令和/或代码的任何其它介质。
本文讨论的方法、系统和设备是示例。各个实施例可以酌情忽略、替换或者添加各种过程或者部件。例如，可以在各个其它实施例中组合关于某些实施例所描述的特征。这些实施例的不同方面和元素可以以类似的方式来组合。本文提供的各图中的各种部件可以体现为硬件和/或软件。此外，技术发展，并且因此这些元素中的许多元素是示例，其不将本公开内容的范围限制为那些特定示例。
已经证明，主要是为了共同使用的原因，将这样的信号称为比特、信息、值、元素、符号、字符、变量、术语、数字、数值等，这常常是方便的。然而，应当理解的是，所有这些或者类似术语将与合适的物理量相关联，并且仅是方便的标记。除非另有特别说明，否则所明白的是，如在本文的论述中显而易见的，贯穿本说明书，利用诸如“处理”、“运算”、“计算”、“确定”、“查明”、“识别”、“关联”、“测量”、“执行”等的讨论指代特定装置(例如，专用计算机或者类似的专用电子计算设备)的动作或者过程。因此，在本说明书的背景下，专用计算机或者类似的专用电子计算设备能够操纵或者变换信号，信号通常被表示为专用计算机或者类似的专用电子计算设备的存储器、寄存器或者其它信息存储设备、传输设备或者显示器设备内的物理电子量、电气量或者磁量。
如本文中使用的术语“和”和“或”可以包括同样预期至少部分地取决于这样的术语被使用的上下文的各种含义。通常，术语“或者”在用于将列表(例如，A、B或者C)进行关联的情况下旨在意指A、B和C(此处，是以包括性意义来使用的)以及A、B或者C(此处，是以排除性意义来使用的)。另外，如本文中使用的术语“一个或多个”可以用于以单数形式描述任何特征、结构或者特性，或者可以用于描述各特征、结构或者特性的某种组合。然而，应当注意的是，这仅是说明性示例，并且所要求保护的主题并不限于该示例。此外，术语“中的至少一个”在用于将列表(例如，A、B或者C)进行关联的情况下可以被解释为意指A、B和/或C的任何组合，例如A、AB、AA、AAB、AABBCCC等。
在已经描述了若干实施例之后，在不脱离本公开内容的精神的情况下，可以使用各种修改、替代构造和等效物。例如，以上元素可以仅是较大型的系统的部件，其中，其它规则可以优先于或者以其它方式修改各个实施例的应用。此外，可以在考虑以上元素之前、期间或者之后进行数个步骤。相应地，以上描述并不限制本公开内容的范围。

Claims (36)

1.一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法，所述方法包括：
针对所述相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；
获得至少一个距离值，所述至少一个距离值指示所述图像传感器到所述图像传感器可见的至少一个对象的至少一个距离；以及
针对在所述帧期间的多个时间中的每个时间：
获得指示所述相机组件在沿着与所述第一轴和所述第二轴正交的第三轴的方向上的平移的相应移动数据，所述平移对应于相应时间；
至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及
使得所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，在沿着所述第一轴的方向上、在沿着所述第二轴的方向上或两者的所述相应位置是至少部分地基于所述相应移动数据、所述时间相关函数的所述相应值、以及所述至少一个距离值的。
2.根据权利要求1所述的方法，其中，所述时间相关函数指示在给定时间处所述图像传感器的哪一行传感器元件被曝光。
3.根据权利要求1所述的方法，其中，所述时间相关函数是基于所述图像传感器的传感器元件的行数量的。
4.根据权利要求1所述的方法，其中：
指示所述图像传感器到所述至少一个对象的所述至少一个距离值的所述信息包括指示多个距离值的信息，其中，每个距离值指示所述图像传感器到所述至少一个对象的距离；以及
针对在所述帧期间的所述多个时间中的每个时间，所述至少一个距离值包括所述多个距离值中的相应距离值。
5.根据权利要求1所述的方法，其中，获得所述至少一个距离值包括从所述相机组件的自动聚焦模块获得所述至少一个距离值。
6.根据权利要求5所述的方法，还包括：从所述自动聚焦模块获得与所述至少一个距离值相关的至少一个优先级值，其中，针对在所述帧期间的所述多个时间中的每个时间，所述相应位置是另外至少部分地基于与所述至少一个距离值相关的所述至少一个优先级值的。
7.根据权利要求1所述的方法，还包括：在所述帧的所述开始之前，确定所述曝光时段的长度和所述读出时段的长度。
8.根据权利要求7所述的方法，还包括：
确定所述曝光时段的长度相对于所述读出时段的长度而言不超过门限长度；
其中，针对在所述帧期间的所述多个时间中的每个时间，确定所述时间相关函数的所述相应值是响应于确定所述曝光时段的长度不超过所述读出时段的所述门限长度的。
9.根据权利要求7所述的方法，还包括：
在所述帧的所述开始之前，确定所述曝光时段的长度相对于所述读出时段的长度而言超过门限长度；以及
响应于确定所述曝光时段的长度超过所述读出时段的所述门限长度，减小所述曝光时段的长度使得所述曝光时段的长度不超过所述读出时段的所述门限长度，以及通过以下操作来至少部分地补偿对所述曝光时段的长度的所述减小：
增加所述图像传感器的ISO，
加宽所述相机组件的被配置为调整所述图像传感器被曝光的光量的光圈，或者
两者。
10.一种具有光学图像稳定的相机组件，所述相机组件包括：
控制器，其被配置为与以下各项通信地耦合：
图像传感器，其具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件；
一个或多个执行器，其被配置为移动将光聚焦到所述图像传感器上的可调整镜头；以及
运动传感器；
其中，所述控制器被配置为：
获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；
获得至少一个距离值，所述至少一个距离值指示所述图像传感器到所述图像传感器可见的至少一个对象的至少一个距离；以及
针对在所述帧期间的多个时间中的每个时间：
从所述运动传感器获得指示所述相机组件在沿着与所述第一轴和所述第二轴正交的第三轴的方向上的平移的相应移动数据，所述平移对应于相应时间；
至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及
使得所述一个或多个执行器将所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，在沿着所述第一轴的方向上、在沿着所述第二轴的方向上或两者的所述相应位置是至少部分地基于所述相应移动数据、所述时间相关函数的所述相应值、以及所述至少一个距离值的。
11.根据权利要求10所述的相机组件，其中，所述时间相关函数指示在给定时间处所述图像传感器的哪一行传感器元件被曝光。
12.根据权利要求10所述的相机组件，其中，所述时间相关函数是基于所述图像传感器的传感器元件的行数量的。
13.根据权利要求10所述的相机组件，其中：
指示所述图像传感器到所述至少一个对象的所述至少一个距离值的所述信息包括指示多个距离值的信息，其中，每个距离值指示所述图像传感器到所述至少一个对象的距离；以及
针对在所述帧期间的所述多个时间中的每个时间，所述至少一个距离值包括所述多个距离值中的相应距离值。
14.根据权利要求10所述的相机组件，其中，所述控制器被配置为至少部分地通过以下操作来获得所述至少一个距离值：从所述相机组件的自动聚焦模块获得所述至少一个距离值。
15.根据权利要求14所述的相机组件，其中，所述控制器还被配置为：从所述自动聚焦模块获得与所述至少一个距离值相关的至少一个优先级值，其中，针对在所述帧期间的所述多个时间中的每个时间，所述相应位置是另外至少部分地基于与所述至少一个距离值相关的所述至少一个优先级值的。
16.根据权利要求10所述的相机组件，其中，所述控制器还被配置为：在所述帧的所述开始之前，确定所述曝光时段的长度和所述读出时段的长度。
17.根据权利要求16所述的相机组件，其中，所述控制器还被配置为：确定所述曝光时段的长度相对于所述读出时段的长度而言不超过门限长度；并且
其中，所述控制器被配置为：响应于确定所述曝光时段的长度不超过所述读出时段的所述门限长度，针对在所述帧期间的所述多个时间中的每个时间，确定所述时间相关函数的所述相应值。
18.根据权利要求16所述的相机组件，其中，所述控制器还被配置为：
在所述帧的所述开始之前，确定所述曝光时段的长度相对于所述读出时段的长度而言超过门限长度；以及
响应于确定所述曝光时段的长度超过所述读出时段的所述门限长度，减小所述曝光时段的长度使得所述曝光时段的长度不超过所述读出时段的所述门限长度，以及通过以下操作来至少部分地补偿对所述曝光时段的长度的所述减小：
增加所述图像传感器的ISO，
加宽所述相机组件的被配置为调整所述图像传感器被曝光的光量的光圈，或者
两者。
19.一种在具有可调整镜头的相机组件中提供同步光学图像稳定的装置，所述装置包括：
用于针对所述装置的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息的单元，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；
用于获得至少一个距离值的单元，所述至少一个距离值指示所述图像传感器到所述图像传感器可见的至少一个对象的至少一个距离；以及
用于针对在所述帧期间的多个时间中的每个时间来进行以下操作的单元：
获得指示所述装置在沿着与所述第一轴和所述第二轴正交的第三轴的方向上的平移的相应移动数据，所述平移对应于相应时间；
至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及
使得可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，在沿着所述第一轴的方向上、在沿着所述第二轴的方向上或两者的所述相应位置是至少部分地基于所述相应移动数据、所述时间相关函数的所述相应值、以及所述至少一个距离值的。
20.根据权利要求19所述的装置，其中，所述时间相关函数指示在给定时间处所述图像传感器的哪一行传感器元件被曝光。
21.根据权利要求19所述的装置，其中，所述时间相关函数是基于所述图像传感器的传感器元件的行数量的。
22.根据权利要求19所述的装置，其中：
指示所述图像传感器到所述至少一个对象的所述至少一个距离值的所述信息包括指示多个距离值的信息，其中，每个距离值指示所述图像传感器到所述至少一个对象的距离；以及
针对在所述帧期间的所述多个时间中的每个时间，所述至少一个距离值包括所述多个距离值中的相应距离值。
23.根据权利要求19所述的装置，其中，所述用于获得所述至少一个距离值的单元包括用于从所述装置的自动聚焦模块获得所述至少一个距离值的单元。
24.根据权利要求23所述的装置，还包括：用于从所述自动聚焦模块获得与所述至少一个距离值相关的至少一个优先级值的单元，其中，针对在所述帧期间的所述多个时间中的每个时间，所述相应位置是另外至少部分地基于与所述至少一个距离值相关的所述至少一个优先级值的。
25.根据权利要求19所述的装置，还包括：用于在所述帧的所述开始之前，确定所述曝光时段的长度和所述读出时段的长度的单元。
26.根据权利要求25所述的装置，还包括：
用于确定所述曝光时段的长度相对于所述读出时段的长度而言不超过门限长度的单元；
其中，所述用于针对在所述帧期间的所述多个时间中的每个时间，确定所述时间相关函数的所述相应值的单元被配置为响应于确定所述曝光时段的长度不超过所述读出时段的所述门限长度来这样做。
27.根据权利要求25所述的装置，还包括：
用于在所述帧的所述开始之前，确定所述曝光时段的长度相对于所述读出时段的长度而言超过门限长度的单元；以及
用于响应于确定所述曝光时段的长度超过所述读出时段的所述门限长度，减小所述曝光时段的长度使得所述曝光时段的长度不超过所述读出时段的所述门限长度，以及通过以下操作来至少部分地补偿对所述曝光时段的长度的所述减小的单元：
增加所述图像传感器的ISO，
加宽所述装置的被配置为调整所述图像传感器被曝光的光量的光圈，或者
两者。
28.一种非暂时性计算机可读介质，其具有嵌入在其上的用于在具有可调整镜头的相机组件中提供同步光学图像稳定的指令，所述指令在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作：
针对所述相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；
获得至少一个距离值，所述至少一个距离值指示所述图像传感器到所述图像传感器可见的至少一个对象的至少一个距离；以及
针对在所述帧期间的多个时间中的每个时间：
获得指示所述相机组件在沿着与所述第一轴和所述第二轴正交的第三轴的方向上的平移的相应移动数据，所述平移对应于相应时间；
至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及
使得所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，在沿着所述第一轴的方向上、在沿着所述第二轴的方向上或两者的所述相应位置是至少部分地基于所述相应移动数据、所述时间相关函数的所述相应值、以及所述至少一个距离值的。
29.根据权利要求28所述的非暂时性计算机可读介质，其中，所述时间相关函数指示在给定时间处所述图像传感器的哪一行传感器元件被曝光。
30.根据权利要求28所述的非暂时性计算机可读介质，其中，所述时间相关函数是基于所述图像传感器的传感器元件的行数量的。
31.根据权利要求28所述的非暂时性计算机可读介质，其中：
指示所述图像传感器到所述至少一个对象的所述至少一个距离值的所述信息包括指示多个距离值的信息，其中，每个距离值指示所述图像传感器到所述至少一个对象的距离；以及
针对在所述帧期间的所述多个时间中的每个时间，所述至少一个距离值包括所述多个距离值中的相应距离值。
32.根据权利要求28所述的非暂时性计算机可读介质，其中，使得所述一个或多个处理单元获得所述至少一个距离值的所述指令还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：从所述相机组件的自动聚焦模块获得所述至少一个距离值。
33.根据权利要求32所述的非暂时性计算机可读介质，还包括：在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：从所述自动聚焦模块获得与所述至少一个距离值相关的至少一个优先级值，其中，针对在所述帧期间的所述多个时间中的每个时间，所述相应位置是另外至少部分地基于与所述至少一个距离值相关的所述至少一个优先级值的。
34.根据权利要求28所述的非暂时性计算机可读介质，还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：在所述帧的所述开始之前，确定所述曝光时段的长度和所述读出时段的长度。
35.根据权利要求34所述的非暂时性计算机可读介质，还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：确定所述曝光时段的长度相对于所述读出时段的长度而言不超过门限长度；
其中，针对在所述帧期间的所述多个时间中的每个时间，确定所述时间相关函数的所述相应值是响应于确定所述曝光时段的长度不超过所述读出时段的所述门限长度的。
36.根据权利要求34所述的非暂时性计算机可读介质，还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：
在所述帧的所述开始之前，确定所述曝光时段的长度相对于所述读出时段的长度而言超过门限长度；以及
响应于确定所述曝光时段的长度超过所述读出时段的所述门限长度，减小所述曝光时段的长度使得所述曝光时段的长度不超过所述读出时段的所述门限长度，以及通过以下操作来至少部分地补偿对所述曝光时段的长度的所述减小：
增加所述图像传感器的ISO，
加宽所述相机组件的被配置为调整所述图像传感器被曝光的光量的光圈，或者
两者。
CN202080017795.0A 2019-03-07 2020-03-05 一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法和装置 Active CN113508573B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/295,146 2019-03-07
US16/295,146 US10681277B1 (en) 2019-03-07 2019-03-07 Translation compensation in optical image stabilization (OIS)
PCT/US2020/021132 WO2020181059A1 (en) 2019-03-07 2020-03-05 Translation compensation in optical image stabilization (ois)

Publications (2)

Publication Number Publication Date
CN113508573A CN113508573A (zh) 2021-10-15
CN113508573B true CN113508573B (zh) 2023-04-04

Family

ID=70110345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080017795.0A Active CN113508573B (zh) 2019-03-07 2020-03-05 一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法和装置

Country Status (4)

Country Link
US (2) US10681277B1 (zh)
EP (1) EP3935828A1 (zh)
CN (1) CN113508573B (zh)
WO (1) WO2020181059A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745705A4 (en) * 2018-03-23 2020-12-30 Huawei Technologies Co., Ltd. VIDEO IMAGE ANTI-SHAKER PROCESS AND TERMINAL
US10681277B1 (en) 2019-03-07 2020-06-09 Qualcomm Incorporated Translation compensation in optical image stabilization (OIS)
CN112308783A (zh) * 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
CN114390197A (zh) * 2021-12-27 2022-04-22 维沃移动通信有限公司 拍摄方法和装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155597A (en) * 1990-11-28 1992-10-13 Recon/Optical, Inc. Electro-optical imaging array with motion compensation
WO2007015417A1 (ja) * 2005-08-04 2007-02-08 Matsushita Electric Industrial Co., Ltd. 撮像装置
CN108702450A (zh) * 2016-02-19 2018-10-23 快图有限公司 稳定图像序列的方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP5284169B2 (ja) * 2009-04-07 2013-09-11 キヤノン株式会社 像振れ補正装置およびそれを具備する光学機器、撮像装置
GB2492529B (en) * 2011-05-31 2018-01-10 Skype Video stabilisation
JP5984574B2 (ja) * 2012-08-14 2016-09-06 キヤノン株式会社 撮像システム及びその制御方法、撮像装置
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
US9810917B2 (en) * 2014-01-24 2017-11-07 Apple Inc. Passive damping for optical image stabilization
US9357132B2 (en) * 2014-05-30 2016-05-31 Apple Inc. Video rolling shutter correction for lens movement in optical image stabilization cameras
JP6577703B2 (ja) * 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US9596419B1 (en) * 2015-08-21 2017-03-14 Google Inc. Image capture system with motion compensation
US9743001B1 (en) * 2016-02-19 2017-08-22 Fotonation Limited Method of stabilizing a sequence of images
TWI672628B (zh) * 2016-12-08 2019-09-21 日商摩如富股份有限公司 影像處理裝置、方法以及電腦可讀取的記錄媒體
US11496684B2 (en) * 2017-12-11 2022-11-08 Gopro, Inc. Combined mechanical and electronic image stabilization
JP6961500B2 (ja) * 2018-01-18 2021-11-05 キヤノン株式会社 像振れ補正装置およびその制御方法、撮像装置
US20190258144A1 (en) * 2018-02-22 2019-08-22 Perspective Components, Inc. Dynamic camera adjustment mechanism
US10681277B1 (en) 2019-03-07 2020-06-09 Qualcomm Incorporated Translation compensation in optical image stabilization (OIS)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155597A (en) * 1990-11-28 1992-10-13 Recon/Optical, Inc. Electro-optical imaging array with motion compensation
WO2007015417A1 (ja) * 2005-08-04 2007-02-08 Matsushita Electric Industrial Co., Ltd. 撮像装置
CN108702450A (zh) * 2016-02-19 2018-10-23 快图有限公司 稳定图像序列的方法

Also Published As

Publication number Publication date
CN113508573A (zh) 2021-10-15
US10681277B1 (en) 2020-06-09
US11283999B2 (en) 2022-03-22
WO2020181059A1 (en) 2020-09-10
US20200296289A1 (en) 2020-09-17
EP3935828A1 (en) 2022-01-12

Similar Documents

Publication Publication Date Title
CN113508573B (zh) 一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法和装置
CN110035222B (zh) 半导体装置和电子设备
US8743222B2 (en) Method and apparatus for cropping and stabilization of video images
US10051183B2 (en) Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method for shake correction using shake angle
JP5328307B2 (ja) 振れ補正機能を有する撮影装置及びその制御方法
CN111246089B (zh) 抖动补偿方法和装置、电子设备、计算机可读存储介质
KR101856947B1 (ko) 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
CN110035223B (zh) 半导体设备和电子设备
US9413923B2 (en) Imaging apparatus
JP2008139893A (ja) イメージ撮像装置の手ブレ補償のための装置および方法
US20130050516A1 (en) Imaging device, imaging method and hand-held terminal device
US10827124B2 (en) Shake correction device, imaging apparatus, and shake correction method
US20160044241A1 (en) Image processing apparatus for generating wide-angle image by compositing plural images, image processing method, storage medium storing image processing program, and image pickup apparatus
CN113519152B (zh) 紧密同步的光学图像稳定（ois）中的翻滚补偿和模糊减少
US9204059B2 (en) Image processing apparatus having function of reading captured image, control method thereof, and imaging apparatus
KR101657283B1 (ko) 광학식 손떨림 보정장치
JP6250446B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP5393877B2 (ja) 撮像装置および集積回路
US20150168739A1 (en) Image stabilizer, camera system, and imaging method
CN104811688A (zh) 图像获取装置及其图像形变检测方法
CN113808173A (zh) 图像校正方法、装置、电子设备、存储介质
JP2021033015A5 (zh)
JP2007019743A (ja) 像ブレ検出装置及び電子カメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant