CN113519152A - 紧密同步的光学图像稳定（ois）中的翻滚补偿和模糊减少 - Google Patents

紧密同步的光学图像稳定（ois）中的翻滚补偿和模糊减少 Download PDF

Info

Publication number
CN113519152A
CN113519152A CN202080017442.0A CN202080017442A CN113519152A CN 113519152 A CN113519152 A CN 113519152A CN 202080017442 A CN202080017442 A CN 202080017442A CN 113519152 A CN113519152 A CN 113519152A
Authority
CN
China
Prior art keywords
length
frame
axis
time
camera assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080017442.0A
Other languages
English (en)
Other versions
CN113519152B (zh
Inventor
V·库里克
M·索曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN113519152A publication Critical patent/CN113519152A/zh
Application granted granted Critical
Publication of CN113519152B publication Critical patent/CN113519152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

将相机组件中的可调整镜头的定位与图像传感器对图像帧的捕获进行同步并且优化可调整镜头的位置，以减少由于相机组件在帧的过程中的旋转而造成的模糊量。更具体地，技术提供了在帧的过程中将镜头移动到相对于图像传感器的多个优化位置，以减少由于相机组件在帧期间的俯仰、偏航和/或翻滚运动而在图像中引起的运动模糊。一些实施例可以在多个优化位置是基于时间相关函数的情况下提供“紧密”同步，该时间相关函数将在帧的过程中图像传感器的正被曝光的各行考虑在内。

Description

紧密同步的光学图像稳定(OIS)中的翻滚补偿和模糊减少
要求优先权
本专利申请要求享受于2019年3月4日递交的、名称为“ROLL COMPENSATION ANDBLUR REDUCTION IN TIGHTLY SYNCHRONIZED OPTICAL IMAGE STABILIZATION(OIS)”的美国非临时申请No.16/291,977的优先权，该申请被转让给本申请的转让人并且据此通过引用方式被明确地并入本文中。
背景技术
光学图像稳定性(OIS)技术通过抵消由于相机不稳定或抖动引起的图像模糊和/或补偿在图像捕获期间的滚动快门失真，从而提高相机组件的性能。这对于合并到手持设备(诸如移动电话和平板计算设备)中的用于静态或视频图像的相机组件可能是特别重要的。OIS技术利用与相机镜头和/或相机组件的图像传感器耦合的一个或多个执行器，其在俯仰、翻滚和偏航方向中的至少一个方向上相对于相机组件来平移、倾斜和/或旋转镜头和/或传感器。因此，OIS技术可以在很大程度上或完全补偿相机运动的影响，包括旋转(例如，这可以通过陀螺来测量)和平移(例如，这可以通过加速计来测量)和/或滚动快门效应。
然而，在相机组件中实现这些OIS技术并非没有权衡。由于功率、尺寸、成本和/或其它限制约束，一些相机系统可能具有有限的OIS功能。因此，用于在这些有限制的系统中改进OIS功能的技术可以增加这种有限能力的相机系统的用户体验。
发明内容
本文描述的技术可以通过以下操作来解决这些或其它问题：将相机组件中的可调整镜头的定位与图像传感器对图像帧的捕获进行同步并且优化可调整镜头的位置，以减少由于相机组件在帧的过程中的旋转而造成的模糊量。更具体地，技术提供了在帧的过程中将镜头移动到相对于图像传感器的多个优化位置，以减少由于相机组件在帧期间的俯仰、偏航和/或翻滚运动而在图像中引起的运动模糊。一些实施例可以在多个优化位置是基于时间相关函数的情况下提供“紧密”同步，该时间相关函数将在帧的过程中图像传感器的每一行何时被曝光考虑在内。
根据说明书，一种在具有可调整镜头的相机组件中提供同步光学图像稳定的示例方法：针对所述相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段。所述方法还包括：针对在所述帧期间的多个时间中的每个时间：获得指示所述相机组件的对应于相应时间的旋转或平移的相应移动数据；至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及使得所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，所述相应位置是基于所述相应移动数据和所述时间相关函数的所述相应值的。
根据说明书，一种具有光学图像稳定的示例相机组件包括：控制器，其被配置为与以下各项通信地耦合：所述相机组件的图像传感器，其具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件；一个或多个执行器，其被配置为移动将光聚焦到所述图像传感器上的可调整镜头；以及运动传感器。所述控制器被配置为：获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；以及针对在所述帧期间的多个时间中的每个时间：从所述运动传感器获得指示所述相机组件的对应于相应时间的旋转或平移的相应移动数据；至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及利用所述一个或多个执行器将所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，所述相应位置是基于所述相应移动数据和所述时间相关函数的所述相应值的。
根据说明书，一种示例装置包括：用于针对相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息的单元，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段。所述示例装置还包括：用于针对在所述帧期间的多个时间中的每个时间来进行以下操作的单元：获得指示所述相机组件的对应于相应时间的旋转或平移的相应移动数据；至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及使得可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，所述相应位置是基于所述相应移动数据和所述时间相关函数的所述相应值的。
根据说明书，一种非暂时性计算机可读介质包括嵌入在其上的用于在具有可调整镜头的相机组件中提供同步光学图像稳定的指令。所述指令在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作：针对所述相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；以及针对在所述帧期间的多个时间中的每个时间：获得指示所述相机组件的对应于相应时间的旋转或平移的相应移动数据；至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及使得所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，所述相应位置是基于所述相应移动数据和所述时间相关函数的所述相应值的。
附图说明
图1是根据一个实施例的具有相机组件的电子设备的图；
图2是根据一个实施例的相机组件的简化截面图；
图3是示出由于在图像捕获期间的翻滚移动而在图像中引起的示例运动模糊的图；
图4是示出根据一个实施例的可以在图像中如何确定用于OIS镜头移位调整的值的图；
图5是根据一个实施例的示出图像传感器可以如何捕获图像帧的帧图；
图6是示出针对具有两个感兴趣区域的经翻滚补偿的图像的运动模糊的图；
图7是与图5类似的帧图，其示出了在帧的过程中传感器行的曝光和读出；
图8是示出根据一个实施例的在图7中执行的翻滚补偿可以如何能够减少或消除由于翻滚移动而在沿着所得到的图像的x轴的方向上引起的运动模糊的图；
图9A-9C是根据一些实施例的经翻滚补偿的图像的表示；
图10和11是示出连续捕获的帧的帧图；
图12是根据一个实施例的帧图和增益增加值；
图13是示出根据一个实施例的y轴模糊可以如何能够减少或消除在沿着所得到的图像的y轴的方向上的运动模糊的图；以及
图14是根据一个实施例的在具有可调整镜头的相机组件中提供同步OIS的方法的流程图。
根据某些示例实现，各个附图中的相同的附图标记指示相同的元素。另外，可以通过在用于元素的第一数字之后跟随字母或连字符和第二数字，来指示该元素的多个实例。例如，可以将元素110的多个实例指示为110-1、110-2、110-3等，或者110a、110b、110c等。当仅使用第一数字来指代这样的元素时，将理解为该元素的任何实例(例如，先前示例中的元素110将指代元素110-1、110-2和110-3或者元素110a、110b和110c)。
具体实施方式
现在将关于附图来描述若干说明性实施例，这些附图形成其一部分。虽然下文描述了可以实现本公开内容的一个或多个方面的特定实施例，但是可以使用其它实施例，并且可以在不脱离本公开内容的范围或所附的权利要求的精神的情况下进行各种修改。此外，所描述的实施例可以在合并有相机的任何设备、装置或系统中实现，诸如移动电话、启用多媒体互联网的蜂窝电话、移动电视接收机、无线设备、智能电话、可穿戴设备、个人数据助理(PDA)、无线电子邮件接收器、手持或便携式计算机、平板设备、相机、数字媒体播放器(诸如MP3播放器)、便携式摄像机、游戏控制台、手表、移动健康设备等、以及合并有此类电子设备的较大系统(例如，汽车、智能建筑等)。
可以注意的是，如本文所使用的，术语“图像帧”和“帧”指代从图像传感器(例如，CMOS传感器)捕获图像的时间段。这包括：曝光时段，其中图像传感器的光敏传感器元件被配置为在该曝光时段中感测光并且产生指示在曝光时段期间感测的光量的对应值(例如，电压)；以及读出时段，在该读出时段中，由图像处理电路读取和处理传感器元件的曝光值。对于滚动快门相机，在读出时段的过程中，一次(逐行地)读出传感器元件的曝光值。
另外可以注意的是，按照惯例，在本文的实施例中描述的图像传感器是关于具有相互正交的x、y和z轴的坐标系来描述的，其中，图像传感器的行与图像传感器的x轴对齐，列与图像传感器的y轴对齐。因此，图像传感器的光轴对应于z轴。相机组件的轴包括图像传感器。(该坐标系在适用的图中示出，以帮助说明各个图如何在坐标系内定向。)根据惯例，用于合并有相机组件的电子设备的坐标系可以是相同的，或者可以是不同的。本领域普通技术人员将认识到，根据所使用的惯例，在该坐标系内使用的量级和/或角度的值可以是正的或负的。因此，根据惯例，在本文提供的数学公式、等式和/或表达式中公开的变量可以是正的或负的。
图1是根据一个实施例的具有相机组件的电子设备100的图。本领域的普通技术人员将理解，尽管移动电话被描绘为电子设备100，但是各种替代设备也可以具有相机组件，并且因此可以利用本文描述的用于光学图像稳定(OIS)技术。在该示例中，用于电子设备100的坐标系不同于相机组件的坐标系，如通过设备轴104和相机轴106所示。具体地，设备轴104的x轴107和y轴108分别与相机轴108的y轴130和x轴120对齐。按照惯例，并且如前所描述的，本文描述的实施例使用相对于相机光圈110的坐标系，如通过相机轴108所示，其具有相互正交的轴(x轴120、y轴130和z轴140)。相机光圈110提供用于光照明被并入电子设备100中的相机组件(未示出)的图像传感器的开口，其中，图像传感器利用相机轴的坐标系。因此，在各图中所示以及下面描述的实施例利用相机轴108(而不是设备轴106)。
在图1中所示的朝向中(即，“横向”朝向，其中图像传感器的沿着x轴120的行是水平的)，y轴旋转150表示电子设备100的偏航的变化，并且x轴旋转160表示电子设备100的俯仰的变化。(在“纵向”朝向中，其中，图像传感器的沿着x轴120的行是垂直的，俯仰将对应于y轴旋转150，并且偏航将对应于x轴旋转160。)由于x轴旋转150和y轴旋转150，传统的2轴OIS系统可以提供模糊补偿。传统的4轴OIS系统可以进一步提供针对y平移170(即，在y轴130的方向上的平移)和x轴平移180(即，在x轴120的方向上的平移)的模糊补偿。
本文公开的技术提供了由于z轴旋转190的模糊减少和/或由于x轴旋转160或x轴平移180而沿着y轴130的模糊(以及在一些实施例中，沿着x轴120的模糊)的减少。因为这些技术利用在沿着x轴120和/或y轴130的方向上的镜头位移，所以它们可以由能够进行x轴和y轴镜头位移的传统的2轴OIS系统和/或4轴OIS系统来实现。此外，本文的技术是附加的，并且因此可以与传统的2轴OIS和/或4轴OIS同时使用。在图2中提供了能够实现本文公开的翻滚补偿和模糊减少技术的相机组件的示例
图2是根据一个实施例的相机组件200的简化截面图。相机组件200的一些或所有部件可以被集成到较大的电子设备中，诸如图1的电子设备100。在所示的实现中，相机组件200包括镜头210和图像稳定装置(ISA)220。ISA 220可以包括与镜头210光学耦合的图像传感器222以及与镜头210机械耦合的执行器224。尽管仅示出了一个致动器224，但是一个或多个执行器(在一些实现中，其可以包括音圈电机(VCM)执行器)可以与镜头210耦合，并且被定位为将镜头210在沿着x轴120和/或y轴(未示出，但与xz平面正交)的方向移位(或平移)。因此，执行器224可以被配置为将镜头210移动到xy平面中的与光轴211正交的各个位置。(如前所述，光轴211是z轴140。)在一些实施例中，一个或多个执行器可以另外或替代地用于以类似的方式将图像传感器222相对于镜头210平移。(其它实施例可以另外能够使镜头210和/或图像传感器222沿着光轴211平移和/或旋转镜头210和/或图像传感器222，这取决于所实现的OIS的类型。)在一些实施例中，相机组件200可以包括可调整光圈(未示出)，其可以用于调整图像传感器222被曝光的光量。
相机组件200还包括控制器230，该制器230与ISA 220和至少一个用于测量相机运动的运动传感器240通信地耦合。控制器可以包括处理单元(例如，微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程门阵列(PGA)或类似可编程的电路)，其可以被配置为与如本文描述的相机组件200的其它部件交互。因此，控制器230可以被配置为执行被存储在非暂时性计算机可读介质中的软件。
运动传感器240可以包括陀螺仪、加速计和/或能够确定相机组件200的旋转和/或平移移动的任何其它类型的运动传感器(例如，其反映相机组件200被集成到其中的电子设备的旋转和/或平移移动，如图1所示)。在一些实施例中，相机组件200可以不具有专用于OIS的运动传感器240。在这样的实施例中，控制器230可以从相机组件200被集成到其中的电子设备的其它部件获得运动数据。
OIS用于减少在图像传感器222正在捕获图像的时间期间(例如，帧的曝光时段)与相机组件200的移动相关联的模糊和其它影响。概括地说,，运动传感器240(其可以被配置为以特定频率捕获运动数据)向控制器230提供关于相机组件200的移动的运动数据。控制器230使得执行器224以补偿移动并且使图像传感器222所捕获的图像中的模糊最小化的方式来在xy平面中移动镜头210，该模糊是由于相机组件的运动引起的。因此，OIS镜头移位量是与移动量成比例的。
对于在平行于图像传感器222的平面(例如，xy平面)中移动镜头210的相机组件200，存在对非均匀图像质量改善的限制。这是因为镜头210和/或图像传感器222在xy平面中的移位仅能够使得均匀图像移位达如此多的像素。当运动模糊是由于翻滚(围绕光轴211的旋转)引起时，当良好的补偿将需要非均匀移位时，这可能特别具有挑战性。
翻滚补偿
图3是示出图像300中的运动模糊的图，该运动模糊是由于在图像捕获期间的翻滚移动而引起的。此处，图像300包括具有(作为示例)1080行和1920列的像素阵列。(替代实施例可以具有不同的分辨率和/或纵横比。)图像300中的像素对应于图像传感器222的被布置在xy平面中的对应行和列中的传感器元件。因此，如图所示，图像行与x轴120对齐，而列与y轴130对齐。
如图所示，在图像的外围附近的模糊大于在图像的中心附近的模糊。(外围模糊310大于中心模糊320。)因此，由于xy平面中的镜头移位而引起的OIS校正(其均匀地校正模糊)可能对在图像的外围附近的模糊补偿不足和/或对在图像300的中心附近的模糊补偿过度。然而，如果确定了图像内的“感兴趣区域”，则可以修改OIS镜头移位，以便按照如下方式来补偿翻滚：将图像300的最清晰区域从图像300的中心移动到感兴趣区域。(这种对镜头移位的修改也被称为“镜头移位调整”。)
图4是示出可以如何在图像400中实现这种镜头移位调整的图。此处，行和列是如图所示进行编号的，其中行1位于图像400的顶部，而列1位于左手侧。(同样，替代实施例可以产生具有不同分辨率和/或纵横比的图像。)相机围绕光轴(z)的A弧度的翻滚导致取决于图像400的行和列的运动模糊。如在图4中所指出的，针对给定行的沿着x轴的图像移位被计算为[(Row-540)*A]个像素，并且针对将给定行的沿着y轴的图像移位被计算为[(Col-920)*A]个像素，其中Row是行号，而Col是列号。数字540和960是重要的，因为它们是在图像400的中心处的相应行号和列号。因此，具有不同行数量和/或列数量的图像将使用表示该图像的一半行和/或列的数字。一般而言，图像400的中间行和中间列在本文中将分别被称为MidRow和MidColumn。
为了防止位于特定行(Row)和列(Col)处的一个特定点(例如，感兴趣区域的中心)中的图像移位(从而消除运动模糊)，将镜头210在相反方向上移位[(Row-MidRow)*A,(Col-MidColumn)*A]个像素。在针对给定时间t的Zgyro(t)是以rad/s为单位的翻滚的测量(例如，从运动传感器240获得)的情况下，用于在曝光时翻滚补偿的校正镜头移动被计算为：
[(Row-MidRow),(Col-MidColumn)]*Zgyro(t) (1)
其中，Zgyro(t)单位为rad/s。
如前所述，除了由于其它OIS功能(例如，2轴或4轴OIS)而引起的镜头移动之外，还可能发生这种移动。然而，由于上述翻滚补偿(1)的单位是像素/秒，因此在与来自其它OIS功能的项求和之前，可能需要将该项转换为rad/s。例如，针对在x轴的方向上的OIS镜头移位的经调整的值(其合并有翻滚补偿项(1))可以在2轴OIS中被计算为：
Figure BDA0003234106060000091
而在4轴OIS中被计算为：
Figure BDA0003234106060000092
其中，Xgyro(t)是用于传统2轴OIS的导致x轴的方向的模糊的旋转(即，围绕y轴的旋转)的测量(例如，从运动传感器240获得)，并且XTranslationSpeed(t)是在x轴的方向上的平移速度的测量。此处，翻滚补偿项除以镜头的焦距FL(以像素为单位)，以将该项转换为rad/s。
类似地，针对在y轴的方向上的OIS镜头移位的经调整的值可以在2轴OIS中被计算为：
Figure BDA0003234106060000093
而在4轴中被计算为：
Figure BDA0003234106060000094
其中，Ygyro(t)是导致y轴的方向的模糊的旋转(即，围绕x轴的旋转)的测量，而YTranslationSpeed(t)是在y轴的方向上的平移速度的测量。
因此，用(2)和(4)中计算的经调整的增益值不仅可以用于提供2轴OIS，而且可以通过最小化在图像中的针对以行Row和列Col的交叉点为中心的感兴趣区域的翻滚模糊来提供翻滚补偿。感兴趣区域可以由电子设备100自动地确定(例如，以图像内的面部的位置为中心)或由电子设备的用户手动地确定。
本文中的翻滚补偿的实施例建立在以下能力之上：通过以容纳一个以上的感兴趣区域的方式进一步利用执行器224来执行这种经调整的OIS镜头移位以考虑图像中的感兴趣区域。在图5和6中示出了这方面的示例。
图5是示出图像传感器222如何通过首先逐行地使各行经受曝光时段，然后在读出时段期间读出各行来捕获图像帧的帧图。与本文中的其它图一样，图5示出了具有1080行(例如，高清晰度(HD)视频质量)的示例，但是替代实施例可以在每个帧具有的行的数量方面变化。帧500是由具有滚动快门的相机组件捕获的。因此，帧500从曝光时段开始，之后跟随着读出时段。更具体地，在针对一行中的光敏传感器元件(像素)的曝光值被重置之后，该行经受曝光时段，在该曝光时段之后，利用下游图像处理电路读取和处理针对传感器元件的曝光值。这种曝光和读出逐行地发生，从行1开始。因此，帧500从第一行(行1)的曝光开始，并且以最后一行(行1080)的曝光值的读出结束。
可以注意的是，如本文所使用的，术语“读出时段”可以指代读取帧的最终将被捕获在图像中的“相关”行所花费的时间，其可以小于图像传感器222的本地行数量。例如，在视频裁剪或数字变焦的情况下，仅有图像传感器222的行子集是相关的(例如，在所捕获的图像中使用)。并且因此，读出时段对应于读取行子集的时间段。因此，如本文所使用的，术语“读出时段”可以指代该“有效”读出时段。
在该示例中，如图所示，帧500可以被划分为两个子帧，即子帧1和子帧2，以适应针对在图像内的两个位置处的两个感兴趣区域的翻滚补偿。第一感兴趣区域位于前半部分的行内，而第二感兴趣区域位于后半部分的行中。然而，将理解的是，子帧可以是不均等地划分的，使得一个子帧大于另一子帧。此外，帧可以被划分为两个以上的子帧以容纳两个以上的感兴趣区域。在图5中，可以在子帧1期间根据表达式(2)和(4)来调谐OIS Zgyro项增益系数，以在所得到的图像中提供针对第一感兴趣区域的翻滚补偿，并且然后在子帧2期间“重新调谐”，以提供针对第二感兴趣区的翻滚补偿。
为了提供时间同步以能够在帧捕获期间重新调谐OIS Zgyro项增益系数，控制器230可以经由中断或与帧捕获相关的其它数据来获得关于帧何时开始以及用于帧的曝光和读出时段是什么的信息。在中断对于控制器230不可用的情况下，控制器230可以基于单个帧定时来预测或计算帧的开始。视频中的这种帧预测可以在几分钟内保持准确，因为帧时段在视频中通常非常稳定。
图6示出了所得到的图像600中的模糊。可以看出，在图像600的前半部分中关于第一感兴趣区域AI1 610的翻滚模糊被减少，并且在图像600的后半部分中关于第二感兴趣区域AI2 620的翻滚模糊也被减少。如前所述，该概念可以被扩展以提供对具有任何多个感兴趣区域的图像的翻滚补偿。然而，由于图像传感器222的传感器元件一次读取一行，并且由于对镜头210在xy平面中的位置的调整在该行上均匀地应用校正，因此翻滚补偿可以仅被应用于出现在图像600的不同行上的感兴趣区域。如前所述，可以使用各种技术中的任何一种来识别感兴趣的区域，包括手动用户输入和/或对象检测算法(例如，由电子设备100执行的面部检测)。
根据一些实施例，这些概念不仅可以被扩展到多个感兴趣的区域，而且可以被扩展到图像中的每一行。也就是说，随着图像传感器222的各行被曝光，实施例可以持续地重新调谐OIS Zgyro项增益系数以便为每一行提供翻滚补偿，而不是为少量子帧重新调谐OISZgyro项增益系数。图6和7帮助说明这可以如何来完成。
图7是与图5类似的帧图，其示出了在帧700的过程中传感器行的曝光和读出。然而，此处，应用时间相关函数Weight(t)，而不是将帧700划分为子帧并且使用表达式(2)和(4)来计算针对每个子帧的经调整的OIS移位。这使得OIS移位的调整随着时间变化，从而在每一行被曝光时优化翻滚补偿。图7还将Weight(t)的值(权重值710)的值叠加在帧700上，以示出Weight(t)的值随着时间的变化。可以看出，Weight(t)可以包括线性函数。
在一些实施例中，Weight(t)可以是表达式(2)中的项(Row-MidRow)/FL的时变替代，其用时变值(Row(t))替换针对感兴趣区域的行的静态值(Row)。也就是说，表达式(2)可以被如下修改：
Xgyroadj(t)＝Xgyro(t)+Zgyro(t)*Weight(t) (6)
其中，
Figure BDA0003234106060000121
OIS与帧的同步可以允许确定在帧中的任何时刻哪一行被曝光。因此，与图5(其中，OIS Zgyro项增益系数与帧捕获同步以允许在整个帧的一半处重新调谐OIS镜头移位)相反，在图7中所示的实施例在整个帧中更“紧密地”同步到各行的曝光。如在图7中所指示的，可以在每一行的整个曝光的近似一半处应用OIS镜头移位调整，但是替代实施例可以变化。
利用该信息以及关于传感器中的行数量的信息，OIS可以应用如图所示的镜头移位调整。对于具有540行和1500像素的FL的图像传感器，Weight(t)的值可以从近似-0.36到0.36变化。(同样，针对给定行的Weight(t)的值是正的还是负的可以取决于所使用的正负号约定。)
图8示出了在图7中执行的翻滚补偿可以如何减少或消除由于翻滚移动而在沿着所得到的图像800的x轴的方向上的运动模糊。在图8中，将在“常规OIS”(即2轴OIS)与“同步OIS”(即2轴OIS，其与图7的翻滚补偿结合)之间的运动模糊进行比较。可以看出，常规OIS并不补偿由于翻滚移动引起的运动模糊，然而同步OIS大大减少了在沿着x轴的方向上的运动模糊。
因此，如图7所示和如上所述的紧密同步的OIS镜头移位调整可以通过消除运动模糊的x分量而大大减少由于相机翻滚而引起的运动模糊。而且，这可以另外减少或消除快门扭曲：在曝光时段期间由于相机翻滚移动而引起的对象沿着y轴的失真。也就是说，运动模糊的垂直分量仍然存在。这是因为每次一行读出图像传感器222的传感器元件的曝光值，从而允许各实施例针对每一行而不是每一列进行优化。虽然优化并没有另外针对每一列进行调整，但是以这种方式提供OIS镜头移位调整在许多应用中可以是有益的。如果没有其它情况，则这通过将相对不受运动模糊影响的区域从中心圆形区域(例如，如图3所示)扩展到从图像的顶部拉伸到底部的列(如图8所示)，来减少由于相机翻滚而引起的运动模糊量。
图9A是图7-8中描述的翻滚补偿如何影响图像900-A内的运动模糊的表示。此处，锐度用白色示出，而模糊度用黑色示出。可以看出，图像900-A包括处于中心的“清晰”列910，其中锐度在沿着x轴朝向图像900-A的外围的两个方向上衰减。这可能在其中针对图像900-A的中心可能存在多个感兴趣区域的情况下是有用的。
根据期望的功能，可以通过在沿着y轴的方向上移动镜头210来调整该清晰列910的一个或多个方面。例如，我们可以通过在沿着y轴的方向上调整OIS Zgyro项增益系数来倾斜和/或偏移清晰列910，类似于等式(6)：
Ygyroadj(t)＝Ygyro(t)+Zgyro(t)*(Weight(t)*C1+C2) (8)
此处，我们添加缩放和偏移值C1和C2，以允许以各种方式调整清晰列910。例如，设置C1＝1和C2＝0以使得翻滚调整项Zgyro(t)*Weight(t)与等式(6)中的相同，从而产生具有45度角的倾斜列920，如在图9B的图像900-B中所示。调整C1的值和正负号可以改变斜坡的角度和方向。调整C2的值可以将列向右或向左移位，这具体取决于正负号。图9C示出了图像900-C，其中将调整C1和C2以创建倾斜、经移位的列930。
利用该功能，各实施例可以以产生有利输出图像的方式调整清晰列910。在一些实施例中，可以在帧处或在帧的不久之前动态地进行这种确定。例如，在一些实施例中，电子设备100可以执行面部识别以识别在要捕获的图像中的面部(例如，对在帧之前拍摄的初步图像使用计算机视觉处理)。可以确定面部在图像内的位置，并且在一些实施例中，将其划分优先级。然后，可以基于位置和优先级来确定感兴趣区域，以从图像的顶部到底部垂直地对齐或倾斜，然后可以调整C1和C2的值以使得清晰列与感兴趣区域对齐。其它功能也可以用于使得图像具有要以其它方式进行操纵的清晰列。
在一些实施例中，可以作出特殊考虑以帮助确保在图像传感器222的不同行可以针对连续捕获的帧(诸如在视频中)同时被曝光的情况下，或者在曝光时段相对于读出时段显著大的情况下，不使用本文的模糊补偿技术。
图10示出了帧图以帮助说明这一点。在图10中，连续捕获两个帧，即第一帧1010和第二帧1020。可以看出，用于帧1010、1020的曝光时段、读出时段和帧时段使得在帧之间在时间上不存在重叠。换句话说(例如，如在时间T1处被曝光的行和在时间T2处被曝光的行所示)，在任何时间都不会针对不同的帧1010、1020曝光图像传感器的不同行集合，并且在任何给定时间处，图像传感器222的相对小的百分比的行被曝光。对于具有相对长的曝光时段的帧，情况可能并非如此。
图11示出了帧图以帮助说明这一点。与图10类似，图11示出了连续捕获的两个帧，即第一帧1110和第二帧1120。然而，此处，曝光时段被延长(例如，由于低光和/或使经延长的曝光时段是期望的其它条件)。这可能导致出现一个或两个问题。
第一个问题是相对于读出时段而言的长曝光时段可能导致在帧中的给定时间处曝光大量的行。例如，在时间T1处，几乎所有的行都被曝光。这可能降低本文描述的紧密同步的OIS翻滚补偿技术(其中，镜头位置是基于被曝光的行的)的实施例的有效性，这是因为一次曝光较多的行。这个问题可能出现在连续捕获的帧(如图所示)或单个帧中。
第二个问题是延长曝光时段可能导致帧重叠。例如，在一些情况下，即使较长的曝光时间，也可能期望保持一定的帧速率(例如，30帧每秒(fps)的视频)。因此，可能存在诸如在图11中的时间T2处的情况，其中图像传感器222的不同行在不同的帧内被同时曝光，从而提出了紧密同步的OIS翻滚补偿(其中，镜头位置是取决于被曝光的行的)的问题。被曝光的行的两个不同集合将要求镜头处于两个不同的位置。
为了缓解这些问题，各实施例可以采用控制器230或其它处理单元来监测连续捕获的帧的曝光时段、读出时段和帧时段。在确定帧可能重叠的情况下和/或在曝光时段相对于读出时段的长度而言超过门限长度(例如，50％或更多，这导致同时曝光大量的行)的情况下，那么控制器230或其它处理单元可以减小曝光时段的长度，使得曝光时段的长度达到期望长度(例如，相对于读出时段的长度而言低于门限长度)，并且增加图像传感器的ISO以至少部分地补偿对曝光时段的长度的减小。另外或替代地，如果相机组件能够调整光圈(即，降低焦比或光圈级数)，则控制器230或其它处理单元可以增加相机组件的光圈，以至少部分地补偿对曝光时段的长度的减小。另外或替代地，如果相机组件能够调整帧速率(即，增加帧时段)，则控制器230或其它处理单元可以降低帧速率以确保帧不重叠。例如，可以在静态快照预览模式下执行此类调整。
模糊减少
可以应用上述用于翻滚补偿的紧密同步的OIS镜头移位调整的许多方面，以减少由于在2轴OIS中的俯仰或偏航运动和/或在4轴OIS中的x和/或y平移而在沿着y轴的方向上的模糊。(同样，y轴模糊可能是由于俯仰或偏航，这取决于相机组件200和电子设备100的朝向。)然而，如前所述，在图像外围上的最优OIS x和y镜头移位不同于图像中心的移位。因此，这可能影响OIS在减少针对此类俯仰和偏航运动的模糊时的有效性(例如，使用传统的2轴OIS技术)。
再次参考图2，可以使用简单的射线跟踪图来确定对象250在图像传感器222上的投影。根据该图，可以确定用于对象在图像外围上的移动补偿的最佳OIS镜头移位将大于tan2(A)，其中，A是来自图像中心镜头210的投影角，和/或图像传感器222在xy平面中的移位可以仅导致如此多的像素的均匀图像移位，但是良好的补偿将需要非均匀移位。因此，镜头移位无法同样很好地补偿在图像的外围和中心两者处的模糊，但是可以针对图像传感器上的已知位置进行优化。
因此，与用于针对翻滚补偿的紧密同步的OIS镜头移位调整的技术类似，可以针对图像传感器的每一行优化OIS镜头移位以补偿俯仰和偏航运动。然而，与用于针对翻滚补偿的OIS镜头移位调整的技术类似，优化可以限于移除在y轴的方向上的模糊而不移除在x轴的方向上的模糊，因为图像传感器的传感器元件的读出逐行地发生。
如果行与中心行的距离被定义为：
Figure BDA0003234106060000151
其中，Row(t)是正被曝光的行(并且t可以是例如用于Row(t)的曝光时间的近似中间)，该术语可以与tan2(A)优化术语一起使用，以在沿着y轴的方向上调整OIS镜头偏移，如下：
Ygyroadj(t)＝Ygyro(t)*(1+tan2(RowAngle(t)) (10)
此处，Ygyro(t)是y轴OIS镜头移位的未经调整的值。项1+tan2(RowAngle(t))是针对时间t在Row(t)处的模糊减少的优化。然而，可以注意到，可以使用该项的近似，诸如1+RowAngle(t)2、简单抛物线或可能不一定涉及三角函数或平方的类似项。与本文描述的其它技术一样，OIS镜头移位调整的这种技术是附加的，并且因此可以与2轴OIS或4轴OIS和/或先前描述的翻滚补偿一起使用。因此，(10)中的项Ygyro(t)可以包括这些额外类型的OIS的y轴OIS镜头移位。
图12是与图7类似的帧图，其示出了在帧1200的过程中传感器行的曝光和读出。与图7中的时间相关函数Weight(t)类似，时间相关函数(1+tan2(RowAngle(t))或其近似导致OIS移位的调整随着时间变化，从而当每一行被曝光时优化模糊减少。在图12中还示出了镜头移位增加1210，表示(1+tan2(RowAngle(t))的值或当其在帧1200内变化时的其近似。
类似于图7的过程，OIS与帧1200的同步可以允许确定在帧中的任何给定时刻哪一行被曝光。因此，在图12中所示的实施例同样表示与整个帧中的各个行的曝光的“紧密”同步。如图12中所指示的，可以在每一行的整个曝光的近似一半处应用OIS镜头移位调整，但是替代实施例可以变化。可以使用本文如上所述的技术(例如，关于图7)来获得和/或估计同步。
图13是示出如上关于图12描述的y轴模糊减少可以如何减少或消除由于翻滚运动而在沿着所得到的图像1300的y轴的方向上的运动模糊的图。在图12中，关于任意俯仰和偏航移动，将“常规OIS”(即2-4轴OIS)和“同步OIS”(即，2-4轴OIS与本文描述的y轴模糊减少结合)之间的运动模糊进行比较。可以看出，常规OIS具有相对较大的模糊量，尤其是远离图像的中心(其中传统OIS最有效的位置)。然而，同步OIS大大减少了在沿着y轴的方向上的运动模糊。
从图13可以看出，这种y轴模糊减少可以创建类似于在图8和9A中所示的“清晰列”。此外，可以调整该清晰列910的一个或多个方面，如图9B和9C所示，例如，通过在图像1300的整个过程中在沿着x轴的方向上移动镜头210。例如，可以通过调整在沿着x轴的方向上的OIS镜头移位来将清晰列910倾斜和/或偏移，类似于等式(7)：或其近似
Xgyroadj(t)＝Xgyro(t)*(1+tan2(RowAngle(t))*C1+C2) (8)
此处，与等式(8)一样，添加缩放和偏移值C1和C2以允许以各种方式调整清晰列910，如上所述，包括导致斜坡(如图9B所示)、偏移或两者(如图9C所示)。同样，其它功能也可以用于使得图像具有以其它方式操纵的清晰列。
与翻滚补偿一样，可以作出特殊考虑以帮助确保在帧中在给定时间处曝光的大量行重叠和/或帧重叠从而减少或消除y轴模糊减少的效果的情况下不使用y轴模糊减少。同样，实施例可以采用控制器230或其它处理单元来监测连续捕获的帧的曝光时段、读出时段和帧时段。在确定帧可能重叠的情况下和/或在曝光时段相对于读出时段的长度而言超过门限长度(例如，50％或更多，从而导致同时曝光大量行)的情况下，那么控制器230或其它处理单元可以减小曝光时段的长度，使得曝光时段的长度达到期望长度(例如，相对于读出时段的长度而言低于门限长度)，并且增加图像传感器的ISO以至少部分地补偿曝光时段的长度的减小。另外或替代地，如果相机组件能够调整光圈(即，减小焦比或光圈级数)，则控制器230或其它处理单元可以增加相机组件的光圈，以至少部分地补偿曝光时段的长度的减小。
图14是根据一个实施例的在具有可调整镜头的相机组件中提供同步OIS的方法1400的流程图。用于执行该方法的单元可以包括相机组件的一个或多个部件，诸如图2中的相机组件200。具体而言，在方法1400的框中描述的功能可以由例如能够响应于运动传感器数据而移动镜头的处理单元(例如，控制器230)来执行。
在框1410处，该功能包括：针对相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示图像传感器的帧的开始的信息，其中，帧包括一时间段，该时间段具有曝光时段，之后跟随着其中逐行地从传感器元件读取曝光值的读出时段。如前所指出的，本文的实施例可以被应用于具有其中逐行地读取传感器元件的滚动快门的相机组件，其中，行在沿着第一通道的方向(例如，x轴)上对齐，而列在沿着第二轴(例如，y轴)的方向上对齐。此外，如本文在其它地方所提到的，获得指示帧的开始的信息可以包括获得帧的开始的中断或其它直接指示符。另外或替代地，帧的开始可以通过基于指示帧的开始(例如，视频捕获的开始)的间接数据的计算来获得。
在框1420处，针对帧期间的多个时间中的每个时间执行若干功能。在框1420-a处，该功能包括：获得指示相机组件的对应于相应时间的旋转的相应移动数据。此处，指示相机组件的对应于相应时间的旋转的数据可以包括翻滚、俯仰和/或偏航。(在翻滚的情况下，可以实现本文描述的用于翻滚补偿的技术，而在俯仰和/或偏航的情况下，可以实现用于y轴模糊减少的技术。)
在框1420-b处，该功能包括：至少部分地基于指示帧的开始的信息来确定时间相关函数的相应值，其中，时间相关函数的相应值取决于相应时间与帧的关系。如在以上实施例中所提到的，时间相关函数可以是至少部分地基于图像传感器的传感器元件的行数量的。例如，在翻滚补偿的情况下，时间相关函数可以包括线性时间相关权重(例如，Weight(t))，而在y轴模糊补偿的情况下，时间相关函数可以是非线性的(例如，(1+tan2(RowAngle(t)))，但是替代实施例可以变化。
最后，在框1420-c处，该功能包括：在帧期间使得可调整镜头移动到相对于图像传感器的相应位置，其中，相应位置是基于相应移动数据和时间相关函数的相应值。根据旋转数据的类型，时间相关函数可以以不同的方式影响镜头的位置。例如，在相应移动数据指示相机组件围绕与第一轴和第二轴正交的第三轴旋转(例如，围绕z轴的翻滚运动)的情况下，相应位置在沿着第一轴(例如，x轴)的方向上的定位是至少部分地基于相应移动数据和时间相关函数的相应值的。如关于图9A-9C所提到的，一些实施例可以另外在帧的过程中将镜头沿着y轴移动。也就是说，针对在帧期间的多个时间中的每个时间，相应位置在沿着第二轴的方向上的定位是至少部分地基于时间相关函数的相应值的。
另外或替代地，在移动数据指示相机组件围绕第一轴(例如，x轴，其导致y轴的方向的模糊)的旋转的情况下，相应位置在沿着第二轴(y轴)的方向上的定位可以是至少部分地基于相应移动数据和时间相关函数的相应值的。同样，如关于图9A-9C所提到的，一些实施例可以另外在帧的过程中将镜头沿着y轴移动。也就是说，针对在帧期间的多个时间中的每个时间，相应位置在沿着第一轴的方向上的定位是至少部分地基于时间相关函数的相应值的。
如先前在描述中所指出的，并且如在图10-11中所示，该方法还可以包括：在帧的开始之前，确定曝光时段的长度和读出时段的长度。这可以帮助确定在帧期间一次曝光的行数量是否可能太多而导致同步OIS稳定无法有效地工作。该方法可以包括：监测这些值，并且一旦确定其落在有利范围内就继续进行。因此，方法1400的实施例可以另外或替代地包括：确定曝光时段的长度相对于读出时段的长度而言不超过门限长度，其中，针对在帧期间的多个时间中的每个时间，确定时间相关函数的相应值是响应于确定曝光时段的长度不超过读出时段的门限长度的。如前所提到的，该门限长度可以根据期望功能而变化。在一些实施例中，曝光时段的门限长度可以是读出时段的长度的近似50％。在其它实施例中，门限可以小于该值(例如，40％、30％或更小)或大于该值(例如，60％等)。
在曝光时段超过门限的情况下，一些实施例可以允许减小该曝光时段并且增加ISO和/或加宽光圈以保持传感器元件充分曝光。例如，在一些实施例中，在帧的开始之前，方法1400还可以包括：确定曝光时段的长度相对于读出时段的长度而言超过门限长度，并且响应于确定曝光时段的长度超过读出时段的门限长度，减小曝光时段的长度，使得曝光时段的长度不超过读出时段的门限长度，以及通过以下操作来至少部分地补偿对曝光时段的长度的减小：增加图像传感器的ISO、加宽相机组件的被配置为调整图像传感器被曝光的光量的光圈或两者。
对于本领域技术人员将显而易见的是，可以根据特定要求来进行实质变化。例如，还可以使用定制的硬件，和/或特定元素可以用硬件、软件(包括可移植软件(例如，小应用程序等))或者这二者来实现。此外，可以采用到其它计算设备(例如，网络输入/输出设备)的连接。
参照附图，可以包括存储器的部件(例如，控制器230)可以包括非暂时性机器可读介质。如本文中使用的术语“机器可读介质”和“计算机可读介质”指代参与提供用于使得机器以特定方式操作的数据的任何存储介质。在上文提供的实施例中，各种机器可读介质可以参与向处理单元和/或其它设备提供指令/代码以用于执行。另外或者替代地，机器可读介质可以用于存储和/或携带这样的指令/代码。在许多实现方式中，计算机可读介质是物理和/或有形存储介质。这样的介质可以采用许多种形式，包括但不限于非易失性介质、易失性介质以及传输介质。常见形式的计算机可读介质包括例如磁性和/或光学介质、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、EEPROM、快闪EPROM、任何其它存储器芯片或者盒式存储器、如下文中描述的载波、或者计算机可以从其中读取指令和/或代码的任何其它介质。
本文讨论的方法、系统和设备是示例。各个实施例可以酌情忽略、替换或者添加各种过程或者部件。例如，可以在各个其它实施例中组合关于某些实施例所描述的特征。这些实施例的不同方面和元素可以以类似的方式来组合。本文提供的各图中的各种部件可以体现为硬件和/或软件。此外，技术发展，并且因此这些元素中的许多元素是示例，其不将本公开内容的范围限制为那些特定示例。
已经证明，主要是为了共同使用的原因，将这样的信号称为比特、信息、值、元素、符号、字符、变量、术语、数字、数值等，这常常是方便的。然而，应当理解的是，所有这些或者类似术语将与合适的物理量相关联，并且仅是方便的标记。除非另有特别说明，否则所明白的是，如在本文的论述中显而易见的，贯穿本说明书，利用诸如“处理”、“运算”、“计算”、“确定”、“查明”、“识别”、“关联”、“测量”、“执行”等的讨论指代特定装置(例如，专用计算机或者类似的专用电子计算设备)的动作或者过程。因此，在本说明书的背景下，专用计算机或者类似的专用电子计算设备能够操纵或者变换信号，信号通常被表示为专用计算机或者类似的专用电子计算设备的存储器、寄存器或者其它信息存储设备、传输设备或者显示器设备内的物理电子量、电气量或者磁量。
如本文中使用的术语“和”和“或”可以包括同样预期至少部分地取决于这样的术语被使用的上下文的各种含义。通常，术语“或者”在用于将列表(例如，A、B或者C)进行关联的情况下旨在意指A、B和C(此处，是以包括性意义来使用的)以及A、B或者C(此处，是以排除性意义来使用的)。另外，如本文中使用的术语“一个或多个”可以用于以单数形式描述任何特征、结构或者特性，或者可以用于描述各特征、结构或者特性的某种组合。然而，应当注意的是，这仅是说明性示例，并且所要求保护的主题并不限于该示例。此外，术语“中的至少一个”在用于将列表(例如，A、B或者C)进行关联的情况下可以被解释为意指A、B和/或C的任何组合，例如A、AB、AA、AAB、AABBCCC等。
在已经描述了若干实施例之后，在不脱离本公开内容的精神的情况下，可以使用各种修改、替代构造和等效物。例如，以上元素可以仅是较大型的系统的部件，其中，其它规则可以优先于或者以其它方式修改各个实施例的应用。此外，可以在考虑以上元素之前、期间或者之后进行数个步骤。相应地，以上描述并不限制本公开内容的范围。

Claims (40)

1.一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法，所述方法包括：
针对所述相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；以及
针对在所述帧期间的多个时间中的每个时间：
获得指示所述相机组件的对应于相应时间的旋转或平移的相应移动数据；
至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及
使得所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，所述相应位置是基于所述相应移动数据和所述时间相关函数的所述相应值的。
2.根据权利要求1所述的方法，其中，所述时间相关函数指示在给定时间处所述图像传感器的哪一行传感器元件被曝光。
3.根据权利要求2所述的方法，其中，所述时间相关函数是基于所述图像传感器的传感器元件的行数量的。
4.根据权利要求1所述的方法，其中：
所述相应移动数据指示所述相机组件围绕与所述第一轴和所述第二轴正交的第三轴的旋转；以及
针对在所述帧期间的所述多个时间中的每个时间，所述相应位置在沿着所述第一轴的方向上的定位是至少部分地基于所述相应移动数据和时间相关函数的所述相应值的。
5.根据权利要求4所述的方法，其中，针对在所述帧期间的所述多个时间中的每个时间，所述相应位置在沿着所述第二轴的方向上的所述定位是至少部分地基于时间相关函数的所述相应值的。
6.根据权利要求1所述的方法，其中：
所述相应移动数据指示所述相机组件围绕第一轴的旋转；以及
所述相应位置在沿着所述第二轴的方向上的定位是至少部分地基于所述相应移动数据和时间相关函数的所述相应值的。
7.根据权利要求6所述的方法，其中，针对在所述帧期间的所述多个时间中的每个时间，所述相应位置在沿着所述第一轴的方向上的所述定位是至少部分地基于时间相关函数的所述相应值的。
8.根据权利要求1所述的方法，还包括：确定所述曝光时段的长度和所述读出时段的长度。
9.根据权利要求8所述的方法，还包括：
确定所述曝光时段的长度相对于所述读出时段的长度而言不超过门限长度；
其中，针对在所述帧期间的所述多个时间中的每个时间，确定所述时间相关函数的所述相应值是响应于确定所述曝光时段的长度不超过所述读出时段的所述门限长度的。
10.根据权利要求8所述的方法，还包括：
在所述帧的所述开始之前，确定所述曝光时段的长度相对于所述读出时段的长度而言超过门限长度；以及
响应于确定所述曝光时段的长度超过所述读出时段的所述门限长度，减小所述曝光时段的长度使得所述曝光时段的长度不超过所述读出时段的所述门限长度，以及通过以下操作来至少部分地补偿对所述曝光时段的长度的所述减小：
增加所述图像传感器的ISO，
加宽所述相机组件的光圈，所述光圈被配置为调整所述图像传感器被曝光的光量，或者
两者。
11.一种具有光学图像稳定的相机组件，所述相机组件包括：
控制器，其被配置为与以下各项通信地耦合：
所述相机组件的图像传感器，其具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件；
一个或多个执行器，其被配置为移动将光聚焦到所述图像传感器上的可调整镜头；以及
运动传感器；
其中，所述控制器被配置为：
获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；以及
针对在所述帧期间的多个时间中的每个时间：
从所述运动传感器获得指示所述相机组件的对应于相应时间的旋转或平移的相应移动数据；
至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及
利用所述一个或多个执行器将所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，所述相应位置是基于所述相应移动数据和所述时间相关函数的所述相应值的。
12.根据权利要求11所述的相机组件，其中，所述时间相关函数指示在给定时间处所述图像传感器的哪一行传感器元件被曝光。
13.根据权利要求12所述的相机组件，其中，所述时间相关函数是基于所述图像传感器的传感器元件的行数量的。
14.根据权利要求11所述的相机组件，其中：
所述相应移动数据指示所述相机组件围绕与所述第一轴和所述第二轴正交的第三轴的旋转；以及
针对在所述帧期间的所述多个时间中的每个时间，所述控制器至少部分地基于所述相应移动数据和时间相关函数的所述相应值来确定所述相应位置在沿着所述第一轴的方向上的定位。
15.根据权利要求14所述的相机组件，其中，针对在所述帧期间的所述多个时间中的每个时间，所述控制器至少部分地基于时间相关函数的所述相应值来确定所述相应位置在沿着所述第二轴的方向上的所述定位。
16.根据权利要求11所述的相机组件，其中：
所述相应移动数据指示所述相机组件围绕第一轴的旋转；以及
所述控制器至少部分地基于所述相应移动数据和时间相关函数的所述相应值来确定所述相应位置在沿着所述第二轴的方向上的定位。
17.根据权利要求16所述的相机组件，其中，针对在所述帧期间的所述多个时间中的每个时间，所述控制器至少部分地基于时间相关函数的所述相应值来确定所述相应位置在沿着所述第一轴的方向上的所述定位。
18.根据权利要求11所述的相机组件，其中，所述控制器还被配置为：确定所述曝光时段的长度和所述读出时段的长度。
19.根据权利要求18所述的相机组件，其中，所述控制器还被配置为：确定所述曝光时段的长度相对于所述读出时段的长度而言不超过门限长度；
其中，所述控制器被配置为：响应于确定所述曝光时段的长度不超过所述读出时段的所述门限长度，针对在所述帧期间的所述多个时间中的每个时间，确定所述时间相关函数的所述相应值。
20.根据权利要求18所述的相机组件，其中，所述控制器还被配置为：
在所述帧的所述开始之前，确定所述曝光时段的长度相对于所述读出时段的长度而言超过门限长度；以及
响应于确定所述曝光时段的长度超过所述读出时段的所述门限长度，减小所述曝光时段的长度使得所述曝光时段的长度不超过所述读出时段的所述门限长度，以及通过以下操作来至少部分地补偿对所述曝光时段的长度的所述减小：
增加所述图像传感器的ISO，
加宽所述相机组件的光圈，所述光圈被配置为调整所述图像传感器被曝光的光量，或者
两者。
21.一种装置，包括：
用于针对相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息的单元，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；以及
用于针对在所述帧期间的多个时间中的每个时间来进行以下操作的单元：
获得指示所述相机组件的对应于相应时间的旋转或平移的相应移动数据；
至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及
使得可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，所述相应位置是基于所述相应移动数据和所述时间相关函数的所述相应值的。
22.根据权利要求21所述的装置，其中，所述时间相关函数指示在给定时间处所述图像传感器的哪一行传感器元件被曝光。
23.根据权利要求22所述的装置，其中，所述时间相关函数是基于所述图像传感器的传感器元件的行数量的。
24.根据权利要求21所述的装置，其中：
所述相应移动数据指示所述相机组件围绕与所述第一轴和所述第二轴正交的第三轴的旋转；以及
所述装置还包括：针对在所述帧期间的所述多个时间中的每个时间，用于至少部分地基于所述相应移动数据和时间相关函数的所述相应值来确定所述相应位置在沿着所述第一轴的方向上的定位的单元。
25.根据权利要求24所述的装置，还包括：用于针对在所述帧期间的所述多个时间中的每个时间，至少部分地基于时间相关函数的所述相应值来确定所述相应位置在沿着所述第二轴的方向上的所述定位的单元。
26.根据权利要求21所述的装置，其中：
所述相应移动数据指示所述相机组件围绕第一轴的旋转；以及
所述装置还包括：用于至少部分地基于所述相应移动数据和时间相关函数的所述相应值来确定所述相应位置在沿着所述第二轴的方向上的定位的单元。
27.根据权利要求26所述的装置，还包括：用于针对在所述帧期间的所述多个时间中的每个时间，至少部分地基于时间相关函数的所述相应值来确定所述相应位置在沿着所述第一轴的方向上的所述定位的单元。
28.根据权利要求21所述的装置，还包括：用于确定所述曝光时段的长度和所述读出时段的长度的单元。
29.根据权利要求28所述的装置，还包括：
用于确定所述曝光时段的长度相对于所述读出时段的长度而言不超过门限长度的单元；
其中，针对在所述帧期间的所述多个时间中的每个时间，确定所述时间相关函数的所述相应值是响应于确定所述曝光时段的长度不超过所述读出时段的所述门限长度。
30.根据权利要求28所述的装置，还包括：
用于在所述帧的所述开始之前，确定所述曝光时段的长度相对于所述读出时段的长度而言超过门限长度的单元；以及
用于响应于确定所述曝光时段的长度超过所述读出时段的所述门限长度，减小所述曝光时段的长度使得所述曝光时段的长度不超过所述读出时段的所述门限长度，以及通过以下操作来至少部分地补偿对所述曝光时段的长度的所述减小：
增加所述图像传感器的ISO，
加宽所述相机组件的光圈，所述光圈被配置为调整所述图像传感器被曝光的光量，或者
两者。
31.一种非暂时性计算机可读介质，其具有嵌入在其上的用于在具有可调整镜头的相机组件中提供同步光学图像稳定的指令，所述指令在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作：
针对所述相机组件的具有被布置于在沿着第一轴的方向上定向的行和在沿着第二轴的方向上定向的列中的传感器元件的图像传感器，获得指示所述图像传感器的帧的开始的信息，其中，所述帧包括一时间段，所述时间段具有曝光时段，之后跟随着其中逐行地从所述传感器元件读取曝光值的读出时段；以及
针对在所述帧期间的多个时间中的每个时间：
获得指示所述相机组件的对应于相应时间的旋转或平移的相应移动数据；
至少部分地基于指示所述帧的所述开始的所述信息来确定时间相关函数的相应值，其中，所述时间相关函数的所述相应值取决于所述相应时间与所述帧的关系；以及
使得所述可调整镜头在所述帧期间移动到相对于所述图像传感器的相应位置，其中，所述相应位置是基于所述相应移动数据和所述时间相关函数的所述相应值的。
32.根据权利要求31所述的非暂时性计算机可读介质，其中，所述时间相关函数指示在给定时间处所述图像传感器的哪一行传感器元件被曝光。
33.根据权利要求32所述的非暂时性计算机可读介质，其中，所述时间相关函数是基于所述图像传感器的传感器元件的行数量的。
34.根据权利要求31所述的非暂时性计算机可读介质，其中，所述相应移动数据指示所述相机组件围绕与所述第一轴和所述第二轴正交的第三轴的旋转；
所述非暂时性计算机可读介质还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：针对在所述帧期间的所述多个时间中的每个时间，至少部分地基于所述相应移动数据和时间相关函数的所述相应值来确定所述相应位置在沿着所述第一轴的方向上的定位。
35.根据权利要求34所述的非暂时性计算机可读介质，还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：针对在所述帧期间的所述多个时间中的每个时间，至少部分地基于时间相关函数的所述相应值来确定所述相应位置在沿着所述第二轴的方向上的所述定位。
36.根据权利要求31所述的非暂时性计算机可读介质，其中，所述相应移动数据指示所述相机组件围绕第一轴的旋转；
所述非暂时性计算机可读介质还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：至少部分地基于所述相应移动数据和时间相关函数的所述相应值来确定所述相应位置在沿着所述第二轴的方向上的定位。
37.根据权利要求36所述的非暂时性计算机可读介质，还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：针对在所述帧期间的所述多个时间中的每个时间，至少部分地基于时间相关函数的所述相应值来确定所述相应位置在沿着所述第一轴的方向上的所述定位。
38.根据权利要求31所述的非暂时性计算机可读介质，还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：确定所述曝光时段的长度和所述读出时段的长度。
39.根据权利要求38所述的非暂时性计算机可读介质，还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的指令：
确定所述曝光时段的长度相对于所述读出时段的长度而言不超过门限长度；
其中，针对在所述帧期间的所述多个时间中的每个时间，确定所述时间相关函数的所述相应值是响应于确定所述曝光时段的长度不超过所述读出时段的所述门限长度的。
40.根据权利要求38所述的非暂时性计算机可读介质，还包括在由一个或多个处理单元执行时使得所述一个或多个处理单元进行以下操作的单元：
在所述帧的所述开始之前，确定所述曝光时段的长度相对于所述读出时段的长度而言超过门限长度；以及
响应于确定所述曝光时段的长度超过所述读出时段的所述门限长度，减小所述曝光时段的长度使得所述曝光时段的长度不超过所述读出时段的所述门限长度，以及通过以下操作来至少部分地补偿对所述曝光时段的长度的所述减小：
增加所述图像传感器的ISO，
加宽所述相机组件的光圈，所述光圈被配置为调整所述图像传感器被曝光的光量，或者
两者。
CN202080017442.0A 2019-03-04 2020-02-10 紧密同步的光学图像稳定（ois）中的翻滚补偿和模糊减少 Active CN113519152B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/291,977 2019-03-04
US16/291,977 US10609288B1 (en) 2019-03-04 2019-03-04 Roll compensation and blur reduction in tightly synchronized optical image stabilization (OIS)
PCT/US2020/017538 WO2020180462A1 (en) 2019-03-04 2020-02-10 Roll compensation and blur reduction in tightly synchronized optical image stabilization (ois)

Publications (2)

Publication Number Publication Date
CN113519152A true CN113519152A (zh) 2021-10-19
CN113519152B CN113519152B (zh) 2023-05-16

Family

ID=69844890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080017442.0A Active CN113519152B (zh) 2019-03-04 2020-02-10 紧密同步的光学图像稳定（ois）中的翻滚补偿和模糊减少

Country Status (5)

Country Link
US (1) US10609288B1 (zh)
EP (1) EP3935827A1 (zh)
CN (1) CN113519152B (zh)
TW (1) TW202044819A (zh)
WO (1) WO2020180462A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110731077B (zh) * 2018-03-23 2021-10-01 华为技术有限公司 视频图像防抖方法和终端
GB2618819A (en) * 2022-05-18 2023-11-22 Cambridge Mechatronics Ltd A computer-implemented method for optical image stabilisation and wearable article providing optical image stabilisation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769718A (zh) * 2006-06-22 2012-11-07 核心无线许可有限公司 用于图像稳定化的方法和系统
CN102790847A (zh) * 2011-05-18 2012-11-21 宾得理光映像有限公司 图像稳定系统及数码相机
US20130113886A1 (en) * 2011-11-07 2013-05-09 Samsung Electronics Co., Ltd. 3D Image Photographing Apparatus and Method
CN103595923A (zh) * 2013-11-04 2014-02-19 西北核技术研究所 一种基于曝光编码的双机高速成像系统及方法
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
CN108206916A (zh) * 2016-12-16 2018-06-26 三星电子株式会社 用于获得平移拍摄图像的方法及支持该方法的电子装置
US10033917B1 (en) * 2015-11-13 2018-07-24 Apple Inc. Dynamic optical shift/tilt lens
CN108702450A (zh) * 2016-02-19 2018-10-23 快图有限公司 稳定图像序列的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282376B1 (en) * 1990-05-16 2001-08-28 Canon Kabushiki Kaisha Image stabilizing device
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US7978222B2 (en) * 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
JP4770924B2 (ja) * 2008-12-17 2011-09-14 ソニー株式会社 撮像装置、撮像方法、およびプログラム
US8913140B2 (en) * 2011-08-15 2014-12-16 Apple Inc. Rolling shutter reduction based on motion sensors
KR20160037972A (ko) * 2013-07-24 2016-04-06 더 리전트 오브 더 유니버시티 오브 캘리포니아 카메라 모션 추정 및 정정 방법
IL233684B (en) * 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
FR3044141B1 (fr) * 2015-11-23 2017-12-08 Parrot Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble
WO2017197653A1 (en) * 2016-05-20 2017-11-23 Sz Dji Osmo Technology Co., Ltd. Systems and methods for digital video stabalization
WO2017197651A1 (en) * 2016-05-20 2017-11-23 SZ DJI Technology Co., Ltd. Systems and methods for rolling shutter correction
JP7007871B2 (ja) * 2017-11-17 2022-02-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10412306B1 (en) * 2018-08-21 2019-09-10 Qualcomm Incorporated Optical image stabilization method and apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769718A (zh) * 2006-06-22 2012-11-07 核心无线许可有限公司 用于图像稳定化的方法和系统
CN102790847A (zh) * 2011-05-18 2012-11-21 宾得理光映像有限公司 图像稳定系统及数码相机
US20130113886A1 (en) * 2011-11-07 2013-05-09 Samsung Electronics Co., Ltd. 3D Image Photographing Apparatus and Method
CN103595923A (zh) * 2013-11-04 2014-02-19 西北核技术研究所 一种基于曝光编码的双机高速成像系统及方法
US10033917B1 (en) * 2015-11-13 2018-07-24 Apple Inc. Dynamic optical shift/tilt lens
CN108702450A (zh) * 2016-02-19 2018-10-23 快图有限公司 稳定图像序列的方法
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
CN108206916A (zh) * 2016-12-16 2018-06-26 三星电子株式会社 用于获得平移拍摄图像的方法及支持该方法的电子装置

Also Published As

Publication number Publication date
EP3935827A1 (en) 2022-01-12
US10609288B1 (en) 2020-03-31
WO2020180462A1 (en) 2020-09-10
CN113519152B (zh) 2023-05-16
TW202044819A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN110035222B (zh) 半导体装置和电子设备
CN113508573B (zh) 一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法和装置
CN111246089B (zh) 抖动补偿方法和装置、电子设备、计算机可读存储介质
US8743222B2 (en) Method and apparatus for cropping and stabilization of video images
CN110035223B (zh) 半导体设备和电子设备
US20100295956A1 (en) Imaging apparatus and shake correcting method
CN110475067B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109951638B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
US8436906B2 (en) Image processing apparatus, image processing method, program, and recording medium
US20130050516A1 (en) Imaging device, imaging method and hand-held terminal device
CN113994658A (zh) 组合的电子图像稳定和光学图像稳定
CN113556464B (zh) 拍摄方法、装置及电子设备
CN113519152B (zh) 紧密同步的光学图像稳定（ois）中的翻滚补偿和模糊减少
CN105635559A (zh) 用于终端的拍照控制方法及装置
JP2007082044A (ja) 撮像方法および撮像装置
JP2007243335A (ja) 手振れ補正方法、手振れ補正装置および撮像装置
CN109584311B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
US9204059B2 (en) Image processing apparatus having function of reading captured image, control method thereof, and imaging apparatus
KR101657283B1 (ko) 광학식 손떨림 보정장치
JP5393877B2 (ja) 撮像装置および集積回路
CN110519513A (zh) 防抖方法和装置、电子设备、计算机可读存储介质
CN113438421A (zh) 图像处理方法、装置、终端和可读存储介质
WO2015158953A1 (en) Transformations for image stabilization and refocus
JP2007306436A (ja) 撮像装置
JP2021033015A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant