CN108702450B - 用于图像捕获设备的相机模块 - Google Patents
用于图像捕获设备的相机模块 Download PDFInfo
- Publication number
- CN108702450B CN108702450B CN201780011421.6A CN201780011421A CN108702450B CN 108702450 B CN108702450 B CN 108702450B CN 201780011421 A CN201780011421 A CN 201780011421A CN 108702450 B CN108702450 B CN 108702450B
- Authority
- CN
- China
- Prior art keywords
- image
- motion
- correction
- camera module
- quaternion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 86
- 238000012937 correction Methods 0.000 claims abstract description 80
- 239000013598 vector Substances 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 description 34
- 230000006641 stabilisation Effects 0.000 description 22
- 238000011105 stabilization Methods 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000005096 rolling process Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Abstract
本发明公开了一种用于图像捕获设备的相机模块，包括：惯性测量传感器，指示图像捕获设备运动；透镜；图像传感器和相机模块处理器。相机模块处理器被布置为：按照X、Y和Z轴中的每一者的旋转来提供图像帧的运动的测量结果；根据透镜的投影模型将多个节点从图像传感器空间反向投影到三维空间，为校正网格的每个节点提供四元数表示Q；根据图像帧的运动的测量结果来旋转四元数Q；通过以下步骤将旋转的四元数Q=(w,i,j,k)投影回图像传感器空间以形成校正网格：计算
；将1/d用作查找表的索引以检索半径值r；从四元数分量计算旋转矢量的X,Y坐标：X=id,Y=jd；计算校正网格上的投影点的位置：x=Yr,y=Xr；向中央相机处理器提供帧和帧的校正网格，来校正图像帧。
Description
技术领域
本发明涉及用于图像捕获设备的相机模块。
背景技术
光学图像稳定(OIS)是用于静物照相机或摄像机中的机制，其通过在图像采集期间改变通向传感器的光学路径来稳定单独图像的记录。该技术可在透镜内实现或通过移动作为光学路径中的最终元件的传感器来实现。所有光学图像稳定系统的关键要素是在传感器将经校正的图像转换为数字信息之前这些系统能使投影在传感器上的图像稳定。
参见图1，例如，尼康(Nikon)和佳能(Canon)的OIS具体实施通过使用浮动透镜元件来工作，该浮动透镜元件使用电磁体沿与透镜的光轴正交的方向移动透镜移位距离。使用两个压电角速度传感器(通常称为陀螺传感器)来检测振动，这两个压电角速度传感器未示出，一个用于检测水平运动，另一个用于检测垂直运动。当相机如图1所示的那样旋转时，OIS通过以下方式补偿由相机旋转引起的对象运动：使透镜镜筒移位以便保持传感器上的对象位置。这种类型的补偿具有其局限性：光学图像稳定器仅校正俯仰和/或偏航轴旋转，而不会校正沿着光轴的旋转，因此不会补偿由相机旋转引起的透视投影变化，或可因所应用的校正而造成透视失真；另外，OIS所提供的校正范围通常是有限的。因此，如图2(a)的示例中所示，其中如果相机在图像采集期间显著运动，则仅会补偿该运动的一部分，留下经OIS校正的失真图像。应当注意，所示的失真图像的形式是通过使用滚动快门在图像的捕获期间改变偏航运动引起的。
OIS的应用仍然很普遍，这是由于其可有效地减少最终图像中的运动模糊的量，这是由于透镜在图像曝光时间期间跟随图像的运动，从而使帧的中心稳定(在一定限度内)保持在传感器表面上。
电子图像稳定(EIS)涉及使图像从视频的帧到帧移位，以足以抵消帧间运动。EIS可仅基于帧到帧图像分析，其使用可见帧边界以外的像素来提供运动的缓冲区。该技术通过使从一个帧到另一个帧的过渡平滑化来减少视频内令人分心的振动。该技术不影响图像的噪声水平，但如果外推图像，则在极端边界中有影响。该技术对现有运动模糊毫无作用，这可导致在补偿运动时图像好似失焦了一样。
然而，该方法有其自身的问题，因为其在某些情形(细节缺乏、运动对象较大以及重复模式)下可变得不可靠。
一些形式的EIS补充有由相机惯性传感器(IMU)提供的相机运动测量结果。在这种情况下，若已知相机内在特性，可对传感器平面中的运动进行重新创建和滤波，以便即使存在潜在相机运动模糊图像，也能提供稳定视频序列。
应当注意，OIS和EIS稳定(尤其是基于透镜外部的IMU的那些)不一起使用。这是由于OIS引入了不再与相机运动相关的图像运动。例如，让我们假定OIS校正20％的相机抖动。基于IMU的EIS稳定将没有关于该校正的信息，因此将试图补偿100％的相机抖动。这导致过度校正，该过度校正在所得的视频中显现为残余相机抖动。该抖动特别明显，因为其不遵循自然运动模式。该情形由图2(b)示出，该图示出了根据已经由OIS部分地校正的图像上的相机轨迹所应用的校正。我们得到了在相反方向上弯曲的对象，而并非笔直的对象。
Lepetit et al“Monocular Model-Based 3D Tracking of Rigid Objects:ASurvey”，Foundations and Trends in Computer Graphics and Vision,NOW PUBLISHERSINC,US,vol.1,no.1,1January 2005,pages 1-89,ISSN:1572-2740(Lepetit等人，“对刚性对象的基于单眼模型的3D跟踪：一项调查”，《原理与趋势：计算机图形与视觉》，美国NOWPUBLISHERS公司，第1卷，第1期，2005年1月1日，第1-89页，ISSN:1572-2740)公开了使用四元数来估计3D空间中的给定相机旋转的相机姿态。
发明内容
根据本发明，提供了一种用于图像捕获设备的相机模块(60)，所述相机模块包括：惯性测量传感器(20)，所述惯性测量传感器被布置为指示图像采集期间的图像捕获设备运动，透镜(12)，图像传感器，和相机模块处理器，所述相机模块处理器被布置为：按照围绕表示为四元数的所述图像捕获设备的X、Y和Z轴中的每一者的旋转来提供图像帧的运动的测量结果；根据所述透镜的投影模型将多个节点从图像传感器空间反向投影到三维空间，以便为校正网格的每个节点提供四元数表示Q；根据图像帧的运动的所述测量结果来旋转所述四元数Q；将所述旋转的四元数Q＝(w,i,j,k)投影回所述图像传感器空间以形成校正网格。
附图说明
现在将结合附图以举例的方式描述本发明的实施方案，在附图中：
图1示出了与常规OIS控制器一起使用的相机运动和OIS透镜补偿运动；
图2(a)示出了利用OIS进行的校正，结果在图像中留下了一些运动和滚动快门伪像；并且图2(b)示出了在将基于IMU的EIS应用于经OIS校正的帧时图像的过度校正；
图3示出了根据本发明的第一实施方案的使用相机运动和透镜位置信息执行视频稳定的图像采集设备；
图4示出了在两个连续图像之间测量的示例性运动矢量；
图5示出了根据本发明的第二实施方案的使用未知OIS执行视频稳定的图像采集设备；并且
图6是根据本发明的实施方案的包括相机模块的图像捕获设备的示意图。
具体实施方式
参见图3，该图示出了根据本发明的第一实施方案的图像采集设备10。设备10包括具有OIS控制器14的透镜12，该OIS控制器被布置为通过在图像采集期间以常规方式移动透镜镜筒16来执行OIS控制。(在替代具体实施中，OIS控制器14可同样地移动图像传感器(未示出)。)OIS控制器14向视频稳定模块报告透镜的运动(图1中的透镜移位距离)。在该实施方案中，假定使用滚动快门技术从图像传感器读取图像，其中从图像传感器连续地读取每行(或每组行)图像。因此，在图像采集期间透镜的x和y运动从图像的行到行改变以及可能沿着图像的各行改变。因此透镜运动的所得记录可被认为是矩阵T[]，其中每行指示在图像采集期间的不同时刻的x,y运动。应当注意，矩阵T[]的分辨率不必与图像分辨率相对应。另外，应当注意，x,y分量在图像的各行中改变，但是如果一行像素被同时捕获，则情况可能不是这样，即，沿着任何给定行的T[]的分量可能相同，在这种情况下，矩阵T[]可表示为Ax1矩阵，其中A是矩阵的行数。
返回参见图3，设备10还包括一组惯性传感器(IMU)20，并且这些惯性传感器产生指示在帧采集期间设备的x、y和z运动和取向的矩阵R[]。IMU传感器20可包括指示图像序列捕获期间的设备运动的陀螺传感器、加速度计和/或磁力计的任何组合。应当注意，由IMU传感器20记录的x、y及z运动将至少与OIS控制器所需的那些运动一样大，该OIS控制器在图像采集期间的透镜/传感器运动是有限的；并且还因为图像曝光仅占帧时间的一部分。另外，应当注意，图像采集期间的相机取向(RX RY RZ)变化的表示不限于取向矩阵。可使用如欧拉角、四元数等的其他表示。
应当注意，重要的是，由IMU传感器20捕获的设备运动R[]的记录能够与由OIS控制器14记录的透镜运动T[]同步。虽然不需要在相同的时空分辨率下捕获这些运动，但如果值要准确地彼此相关，则它们需要在相同的时间基础上执行。因此在一些实施方案中，OIS控制器所提供的矩阵T[]使用用于生成IMU矩阵R[]的时间戳的相同定时器来加盖时间戳；或至少时间戳源被校准，使得矩阵R[]和T[]可彼此相关。在其他实施方案中，OIS控制器14和IMU传感器20中的每一者可采用公共时钟信号，但应当理解，可使用任何同步技术。
在任何情况下，运动矩阵T[]和R[]中的每一者被馈送到视频稳定模块18。在一个实施方案中，视频稳定模块18使用矩阵R[]基于相对于前一帧中的取向的相机取向变化来计算视频稳定所需的校正量(传感器平面中的局部位移)。
然后视频稳定模块18减去由矩阵T[]指示的透镜镜筒移位量以提供最终校正矩阵M[]。这样做是为了去除已经由OIS控制器14应用的校正，因为不从使用IMU数据计算的校正中减去前述校正将导致过度校正。
视频稳定模块18向图像扭曲模块22提供最终校正矩阵M[]，以便基于对应于矩阵T[]的经OIS校正的输入图像26来产生已稳定的输出帧24。
更正式地讲，若已知相机内参矩阵K：
其中f＝焦距；x0,y0是主点偏移；并且s＝轴倾斜，则最终校正变换矩阵M可定义如下：
M＝KRK-1T-1
其中R[]和T-1[]已被归一化以彼此对应。
因此在对由OIS控制器14应用的校正T求逆之后，可执行基于由图像扭曲模块22应用的最终校正(M)的EIS，而不将失真引入到所得的输出图像24中。
与第一实施方案的OIS控制器14不同，当OIS控制器无法提供关于透镜位置的信息时，基于OIS和IMU传感器的EIS稳定的精确组合是不可能的。
现在参见图5，在第二实施方案中，图像采集设备50从其惯性传感器(IMU)20尽可能地恢复关于帧采集期间的相机运动的尽可能可靠的信息，并且将透镜内执行的OIS稳定当作具有未知参数的黑盒。(因此，OIS控制器在图5中未示出。)
图5的实施方案基于OIS控制器不校正围绕光轴的旋转这一假设，但应当理解，该实施方案的变型可容易适于与曾试图校正此类旋转的OIS控制器一起操作。图5的实施方案同样基于这一假设：OIS校正是有限的，并且相机运动的x、y(和可能z)校正的程度小于由设备IMU传感器20记录的校正。
如前所述，由图像传感器捕获的每个输入图像帧…N-1,N…已经使用OIS稳定，但稳定的水平未知。应当注意，由于OIS控制器通常仅使用惯性传感器，因此其不受可能处于相机视场中的对象的运动的影响。
但是，可确定估计任何给定输入帧N与前一(或后一)帧N-1之间的帧到帧运动的位移图V[](图4)，例如如WO2014146983(参考号：FN-389)中所公开，该专利的教导内容以引用方式并入本文。该图可采取与由第一实施方案中的OIS控制器14提供的位移矩阵T[]类似的形式，不同的是其表示图像的整体帧到帧运动减去由控制器在帧期间采集的图像内执行的OIS校正。
因此，该实施方案基于从IMU传感器20获知整体帧到帧运动R[]并且将该信息与位移图V[]相结合以提取在整个图像中应用的OIS校正的估计值，使得可在图像扭曲模块22(与图3类似)校正输入图像帧之前去除该估计值。
同样，相机IMU传感器20提供关于在帧采集期间沿着所有三条轴的实际相机旋转(RX RY RZ)的信息。在OIS控制器无法校正围绕光轴(通常为Z轴)的旋转的情况下，图像扭曲模块22可基于陀螺仪输入完全应用对围绕该轴的运动的校正。
因此，在计算位置校正矩阵之前，可通过RZ去除方框54从由局部运动估计单元52所产生的位移图V[]中去除整个图像中的运动的Rz分量。此后，运动场V-Rz[]将仅含有由OIS控制器部分地校正的X,Y方向上的运动，并且含有由运动对象和估计误差引起的异常值。
最终校正计算模块56使用由IMU传感器输出RX RY RZ支持的图像分析来计算残差校正矩阵M[]。在这种情况下，RX RY RZ不直接应用于V-Rz[]，而是帮助验证由方框56执行的图像分析所检索的局部运动矢量以从V-Rz[]矩阵中提取OIS控制器运动分量T[]。因此例如，最终校正计算方框56可使用IMU传感器输出R[]从运动场V-Rz[]中滤除任何异常值矢量。然后可使用其余矢量计算变换矩阵T[]。
一旦已生成该矩阵T[]，就可如第一实施方案中那样生成残差校正矩阵M[]，以指示需要由图像扭曲模块22在整个图像中执行的X,Y稳定。
由于此前从运动场中减去了相机的旋转Rz，因此最终校正计算方框56将此添加回以形成两个连续帧之间的最终变换。如果需要，可进一步对该矩阵M+Rz[]进行滤波。
概括地说，使用第二实施方案时，可从使用OIS稳定了的一系列图像生成与图4所示类似的形式的运动场VI。该稳定相当于使图像沿X,Y方向在传感器平面中移位矢量场T的未知值。与此同时，使用来自IMU传感器20的RX和RY，在已知相机内参矩阵K的情况下，我们可重新创建参考X,Y运动场VR。VR的每个分量应大于VI的对应分量，因为VI分量的量值随OIS控制的程度而减小并且VI分量仅在帧时间的一部分期间生成。
假定一个完美的运动场VI(无异常值或误差)，OIS所引入的移位将为：
T＝VR-VI
在真实情形下，VI场将含有异常值，因此，矢量场T将含有异常值。然而，由于矢量场T是严格在图像平面中的运动的结果，我们只需要找到具有两个独立参数X,Y的平移矩阵。相比之下，单应性矩阵的估计将需要找到8或9个独立参数，这不仅更复杂，而且更易出现数值调节和过拟合。
假定我们面对的是滚动快门相机，我们需要找到每行矢量的平移值并且插入中间值(如有必要)。这将给出由OIS控制器应用的估计轨迹T[]。
下一步将是使用从IMU获得的相机旋转和透镜投影参数对校正值M[]进行的计算。从该校正中，我们需要减去已经由OIS(基于T运动场)校正的运动以得到最终校正。
使用上述实施方案，可在允许恢复帧的曝光时间期间的相机轨迹T[]的任何时间点执行所有计算，并且因此执行有效的滚动快门效应去除。
结合来自IMU传感器20的信息能够在残差校正矩阵M[]的计算期间减少自由度的数量。这有助于从初始运动场中去除异常值并且增加所估计的校正矩阵的可靠性。
在上述实施方案的变型中，来自相机IMU 20的测量结果RX RY RZ，尤其是陀螺仪信号，可如名称为“A method for correcting an acquired image”(用于校正所采集的图像的方法)的共同提交的美国专利申请no.15/048,224(参考号：FN-483-US)中所公开的那样相对于图像帧的曝光时间积分，以减轻由相机的高频振动引起的失真。具有适当调节的这些信号可部分或完全地替代原始RX RY RZ测量结果或者与这些测量结果相结合来执行如上所述的EIS。
已就图3中的模块18以及图5中的模块52、54和56描述了上述实施方案，这些模块被实现为下游处理模块，其对由相机模块提供的输入帧作出响应以确定用于校正帧到帧图像失真的校正矩阵M[]。然而，应当理解，并非采用单独透镜(未示出)和相机IMU 20，而是结合在相机模块60内的单个IMU 20不仅可用于OIS，而且使相机模块60能够为图像采集设备的其余部分提供与每个所采集的图像帧相关联的校正网格，以允许每个帧均被校正，从而以与WO2014/005783(参考号：FN-384)中所公开的几何失真核心(GDC)采用失真(校正)网格来校正失真图像的方式类似的方式提供例如EIS。
应当理解，一旦这种功能已结合在相机模块60内，相机模块的功能就可进一步扩展到控制校正网格并且适应EIS以外的失真效应，如下文相对于图6更详细地描述。
在图6中，这种相机模块60包括运动处理单元70，其实现上文分别相对于模块18和52-56所述的功能。
应当注意，图3和图5的实施方案的校正计算模块18和56的输出可包括从诸如图4所示的运动图导出的校正矩阵M[]。然而，可能有用的是，运动处理单元70将该运动图变换为校正网格，诸如由WO2014/005783(参考号：FN-384)中所公开的网格格式化程序提供的校正网格。
因此，在图6的实施方案中，相机模块60的运动处理单元使用运动场(图4)、IMU 20输出以及来自OIS控制器的信息(如果提供的话)来计算校正网格，诸如WO2014/005783(参考号：FN-384)中所公开。
运动处理单元70将所采集的输入图像74连同相应的相关联的校正网格76一起写入到系统存储器80中，使得处理单元(在这种情况下为专用图形处理单元(GPU)72)可校正每个输入图像并将经校正的输出图像78写回到系统存储器80。与WO2014/005783(参考号：FN-384)中一样，为每个图像提供的校正网格76(在这种情况下称为混合校正网格)可考虑全局变换特征、局部变换特征或甚至仿射变换特征，例如以补偿滚动快门失真。
除了提供所采集的图像及其相关联的校正网格之外，相机模块60还将运动数据79写入到系统存储器80，使得该实例被设备中运行的其他应用程序或模块使用，从而避免对设备内的第二IMU的需要。
除了该功能以外，相机模块60还结合透镜模型62，以便使运动处理单元70能够适当地预测由相机透镜12投影且由相机成像传感器采集的图像的行为。
使用该透镜模型62时，运动处理单元70可控制为每个图像帧提供的校正网格以考虑图像采集系统、透镜模型62以及IMU输入20和OIS控制14(如果被激活)的特征。
通常，透镜投影可表示为3D网格，该网格用于变换图像以便将校正应用于由相机运动和滚动快门引起的伪像，例如如WO2014/005783(参考号：FN-384)中所公开。
如上所述，在一些实施方案中，图像采集期间的相机取向(RX RY RZ)变化可使用四元数来表示。在这种情况下，并非将四元数转换为旋转矩阵以便通过相乘(这会带来比两个四元数相乘大得多的计算成本)来变换校正网格节点(表示为笛卡儿坐标系中的矢量)，而是基于透镜投影确定的校正网格节点可表示为四元数并且照此变换。这样做的原因可能在于这一事实：相机的投影可表示为入射光线与单位球面的交点对投影平面表面上的位置的映射。
通过将表示光轴的矢量A＝(0,0,1)旋转到P＝(X,Y,Z)来获得四元数Q＝(w,i,j,k)可按如下方式执行：
1.d＝dot(A,P)//矢量点积
2.ax＝cross(A,P)//矢量叉积
3.w＝sqrt(norm(A)^2+norm(P)^2)+d//四元数的w分量
4.Q＝normalizeQuaternion([w,i＝ax(0),j＝ax(1),k＝ax(2)])//最终四元数
在考虑相机的旋转之后，在以下算法的步骤3中执行与校正网格的节点相对应的3D空间中的点P向投影平面上的投影。因此图像的校正网格的计算包括：
1.根据透镜投影模型从图像(传感器)空间向3D的反向投影，以便为校正网格的每个节点提供四元数表示Q；
2.四元数Q的旋转(以考虑陀螺仪或其他装置所测量的旋转)。使用来自IMU 20内的陀螺仪的输入来计算该旋转。该旋转表示为四元数；
3.投影回图像空间。根据相机运动四元数来旋转基于透镜投影模型的参考3D点(或如上所计算的四元数Q)，并将这些点投影回2D空间以形成校正网格，然后GPU 72可使用该校正网格来执行校正。
在一些具体实施中，步骤3可使用常规方法执行，其中找到参考点P＝(X,Y,Z)的投影坐标p＝(x,y)需要找到点P离投影轴的距离：
计算入射角：
α＝atan(R,Z)
获得投影半径
r＝f(α)
以及最后计算该点在投影平面上的位置
然而，可以看出这样操作所需的平方根和atan()函数将是处理器密集型的。
在基于四元数的实施方案中，w分量不能直接用作表示w向半径的转换的查找表的索引，这是由于该函数的高度非线性。并非将w直接用作查找表的索引，而是上述过程的步骤3按如下方式进行：
1.取一个表示空间中的点取向P(X,Y,Z)的四元数(w,i,j,k)；
2.计算
3.将1/d用作查找表的索引以检索半径值r。按如下方式使用精度方面的精确数学预先计算查找表：将角度值的给定范围写入到均匀分布的阵列中；计算对应的w值，并且将对应的索引值写入到另一个阵列中(这建立了角度->索引映射)；然后可例如使用样条内插颠倒该关系，从而建立具有均匀分布的索引的索引->角度关系；
4.从四元数分量计算旋转矢量的X,Y坐标：X＝id,Y＝jd；
5.计算投影点的位置：x＝Yr,y＝Xr。应当注意，这不是错误-旋转矢量X,Y坐标交换而实现90度旋转。
此时，一旦如上所述的那样已确定考虑了透镜投影以及使用四元数表示的图像采集期间的相机取向(RX RY RZ)变化的校正网格，就可进一步调整校正网格以考虑图像采集期间的OIS控制，具体方式是例如在图像采集期间从校正网格中减去IMU 20所测量的由OIS控制器14应用的平移T[]。
可在前向失真映射的情况下使用计算透镜投影的替代方式。在这种情况下，将未失真的网格与传感器图像相关联，并且计算输出图像上的像素位置。由于规则网格与传感器相关联，因此可以假定沿着单行网格节点的像素被同时捕获并且共用相机取向。在这种情况下，校正旋转可每行计算一次，并且应用于属于该行的所有网格节点。在这种情况下，更有效的是，将3D参考网格存储为笛卡儿坐标中的正常3D矢量，从四元数计算旋转矩阵，并且将这些矢量乘以该矩阵。矩阵相乘需要9个标量乘，而四元数相乘需要16个标量乘。这种情况也可因以下事实而受益：所有形成参考网格的3D矢量均位于单位球面上。矢量的Z距离与入射角将存在函数关系。根据与四元数实例类似的想法，Z坐标可用于以类似的计算成本为查找表(而非四元数的w分量)编制索引。因此，上述第2点将具有以下形式：
查找表将必须相应地按照与四元数方法(步骤3)类似的步骤构建。步骤4将不必要，因为方向将由矢量的X和Y分量明确给出。由于X、Y分量不形成单位矢量，因此查找表将需要含有r/R(而非单独的r)的预先计算值。
使用如图6所示的系统时，可通过电子图像稳定(EIS)、光学图像稳定(OIS)或两者的组合来实现图像稳定。模块70可计算OIS的控制信号和EIS的校正网格两者。当OIS激活时，校正网格的计算将考虑由OIS引入的校正并且仅校正其余运动伪像。
校正网格76可按两种样式生成：
1.适用于GPU样式校正的前向映射网格，其中目标图像的内容被底层扭曲网格所扭曲，如WO2014/005783(参考号：FN-384)中所公开。
2.其中变换被定义为将输出坐标系映射到源坐标系的纹理映射网格。
运动处理单元70生成每个校正网格76也可考虑自动对焦(AF)活动，以防止“追焦”过程期间图像尺度的变化或对图像尺度的变化进行平滑处理。为此，运动处理单元70从相机模块60内部和外部的传感器64采集数据，例如以跟踪用于驱动自动对焦机构的DAC代码，如WO2016/000874(参考号：FN-396)中更详细描述，并且这可用于缩放校正网格以确保在焦点改变时成像的对象(诸如面部)保持其在图像内的尺度。
提供作为元数据的校正网格76以及输入图像74解除了下游处理器(诸如GPU 72)执行运动分析以及运动数据与图像数据之间的同步的必要性。
应当理解，运动处理单元70为任何给定的所采集的输入图像74计算校正网格76可能存在一些延迟，因此，由相机模块60提供的运动数据79可经内部缓冲，并且校正网格76可以以预编程的延迟生成。例如，如果该延迟为10个帧，则相机模块60可缓冲编号为0至9的帧，并且连同帧10一起向该系统的其余部分提供帧0的校正网格，然后与帧11一起提供帧1的校正网格，以此类推。在这种情况下，相机模块60将必须缓冲预定义数量的帧。然而，这也将实现更好的运动分析和更优的图像稳定。
Claims (3)
1.一种用于图像捕获设备的相机模块(60)，所述相机模块包括：
惯性测量传感器(20)，所述惯性测量传感器被布置为指示图像采集期间的图像捕获设备运动，
透镜(12)，
图像传感器，和
相机模块处理器，所述相机模块处理器被布置为：
按照围绕表示为四元数的所述图像捕获设备的X、Y和Z轴中的每一者的旋转来提供图像帧的运动的测量结果；
根据所述透镜的投影模型将多个节点从图像传感器空间反向投影到三维空间，以便为校正网格的每个节点提供四元数表示Q；
根据图像帧的运动的所述测量结果来旋转所述四元数Q；
通过以下步骤将所述旋转的四元数Q＝(w,i,j,k)投影回所述图像传感器空间以形成校正网格：
计算
将1/d用作查找表的索引以检索半径值r；
按如下方式从所述四元数分量计算旋转矢量的X,Y坐标：X＝id,Y＝jd；以及
按如下方式计算所述校正网格上的投影点的位置：x＝Yr,y＝Xr；以及
向中央相机处理器提供所述帧和所述帧的所述校正网格，以便基于运动的所述测量结果和所述投影模型来校正所述图像帧。
2.根据权利要求1所述的相机模块，其中预先计算所述查找表。
3.根据权利要求1所述的相机模块，其中所述相机模块处理器被进一步布置为：
在图像序列中的图像的捕获期间基于所述惯性测量传感器的信号选择性地执行OIS控制(14)，以从所述图像传感器获得经OIS校正的图像，
至少获得在图像采集期间执行的OIS控制的估计值；
调整所述校正网格以从针对捕获所述经OIS校正的图像的所述帧所确定的帧内运动中去除所述估计值。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/048,149 | 2016-02-19 | ||
| US15/048,149 US9743001B1 (en) | 2016-02-19 | 2016-02-19 | Method of stabilizing a sequence of images |
| US201662359582P | 2016-07-07 | 2016-07-07 | |
| US62/359,582 | 2016-07-07 | ||
| US201662385152P | 2016-09-08 | 2016-09-08 | |
| US62/385,152 | 2016-09-08 | ||
| PCT/EP2017/050390 WO2017140438A1 (en) | 2016-02-19 | 2017-01-10 | A method of stabilizing a sequence of images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108702450A CN108702450A (zh) | 2018-10-23 |
| CN108702450B true CN108702450B (zh) | 2020-10-27 |
Family
ID=57906593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780011421.6A Active CN108702450B (zh) | 2016-02-19 | 2017-01-10 | 用于图像捕获设备的相机模块 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3417606B1 (zh) |
| CN (1) | CN108702450B (zh) |
| WO (1) | WO2017140438A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11477382B2 (en) | 2016-02-19 | 2022-10-18 | Fotonation Limited | Method of stabilizing a sequence of images |
| US10097757B1 (en) | 2017-03-24 | 2018-10-09 | Fotonation Limited | Method for determining bias in an inertial measurement unit of an image acquisition device |
| KR102452564B1 (ko) * | 2018-02-07 | 2022-10-11 | 삼성전자주식회사 | 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법 |
| US10999507B2 (en) * | 2018-10-30 | 2021-05-04 | Qualcomm Incorporated | Optical image stabilization techniques |
| US10609288B1 (en) * | 2019-03-04 | 2020-03-31 | Qualcomm Incorporated | Roll compensation and blur reduction in tightly synchronized optical image stabilization (OIS) |
| US10681277B1 (en) * | 2019-03-07 | 2020-06-09 | Qualcomm Incorporated | Translation compensation in optical image stabilization (OIS) |
| US20200412954A1 (en) * | 2019-06-25 | 2020-12-31 | Qualcomm Incorporated | Combined electronic image stabilization and optical image stabilization |
| US10983363B2 (en) | 2019-09-19 | 2021-04-20 | Fotonation Limited | Method for stabilizing a camera frame of a video sequence |
| US11610338B2 (en) | 2021-03-26 | 2023-03-21 | Fotonation Limited | Method of controlling a camera |
| EP4280615A1 (en) * | 2021-07-30 | 2023-11-22 | Honor Device Co., Ltd. | Image anti-shake method and electronic device |
| US11538192B1 (en) | 2021-08-10 | 2022-12-27 | Fotonation Limited | Method for calibrating a vehicle cabin camera |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104982027A (zh) * | 2012-12-11 | 2015-10-14 | 脸谱公司 | 用于通过基于约束的转动平滑的数字视频稳定的系统和方法 |
| CN105118055A (zh) * | 2015-08-11 | 2015-12-02 | 北京电影学院 | 摄影机定位修正标定方法及系统 |
| CN105208247A (zh) * | 2015-09-02 | 2015-12-30 | 长春理工大学 | 一种基于四元数的全景稳像方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3513950B2 (ja) * | 1993-12-14 | 2004-03-31 | 株式会社ニコン | 像振れ補正カメラ |
| US8493454B1 (en) * | 2010-02-17 | 2013-07-23 | Ambarella, Inc. | System for camera motion compensation |
| US8531504B2 (en) * | 2010-06-11 | 2013-09-10 | Intel Corporation | System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates |
| US8928730B2 (en) | 2012-07-03 | 2015-01-06 | DigitalOptics Corporation Europe Limited | Method and system for correcting a distorted input image |
| JP5984574B2 (ja) * | 2012-08-14 | 2016-09-06 | キヤノン株式会社 | 撮像システム及びその制御方法、撮像装置 |
| US8970709B2 (en) * | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
| CN105051785B (zh) | 2013-03-18 | 2017-07-04 | 快图有限公司 | 用于运动估算的方法和装置 |
| US9232138B1 (en) * | 2013-06-03 | 2016-01-05 | Amazon Technologies, Inc. | Image stabilization techniques |
| CN106664365B (zh) | 2014-07-01 | 2020-02-14 | 快图有限公司 | 用于校准图像捕获设备的方法 |
-
2017
- 2017-01-10 EP EP17701640.9A patent/EP3417606B1/en active Active
- 2017-01-10 CN CN201780011421.6A patent/CN108702450B/zh active Active
- 2017-01-10 WO PCT/EP2017/050390 patent/WO2017140438A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104982027A (zh) * | 2012-12-11 | 2015-10-14 | 脸谱公司 | 用于通过基于约束的转动平滑的数字视频稳定的系统和方法 |
| CN105118055A (zh) * | 2015-08-11 | 2015-12-02 | 北京电影学院 | 摄影机定位修正标定方法及系统 |
| CN105208247A (zh) * | 2015-09-02 | 2015-12-30 | 长春理工大学 | 一种基于四元数的全景稳像方法 |
Non-Patent Citations (1)
| Title |
|---|
| Digital Video Stabilization and Rolling Shutter Correction using Gyroscopes;Alexandre Karpenko等;《Stanford Tech Report CTSR》;20110331;摘要，第1页右栏第2段，第2页左栏第3段-右栏倒数第2段，第3页-第4页右栏第1段，图1-5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3417606A1 (en) | 2018-12-26 |
| CN108702450A (zh) | 2018-10-23 |
| WO2017140438A1 (en) | 2017-08-24 |
| EP3417606B1 (en) | 2020-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108702450B (zh) | 用于图像捕获设备的相机模块 | |
| US9743001B1 (en) | Method of stabilizing a sequence of images | |
| US11477382B2 (en) | Method of stabilizing a sequence of images | |
| KR102526794B1 (ko) | 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 | |
| US7929043B2 (en) | Image stabilizing apparatus, image-pickup apparatus and image stabilizing method | |
| US7564482B2 (en) | Image capturing device, correction device, mobile phone, and correcting method | |
| JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| KR100968974B1 (ko) | 손떨림 보정 장치 | |
| JP2018189730A (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
| JP2015022027A (ja) | 撮像装置およびその制御方法 | |
| JP2009124597A (ja) | 防振画像処理装置及び防振画像処理方法 | |
| CN110415186B (zh) | 一种图像去抖动的方法和设备 | |
| CN111479035B (zh) | 图像处理方法、电子装置及计算机可读存储介质 | |
| CN108827341A (zh) | 用于确定图像采集装置的惯性测量单元中的偏差的方法 | |
| KR20070088836A (ko) | 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법 | |
| US11196929B2 (en) | Signal processing device, imaging device, and signal processing method | |
| JP7082713B2 (ja) | ローリングシャッター画像／ビデオのｓｆｍ／ｓｌａｍに対するアプリケーションで畳み込みニューラルネットワークを用いる画像／ビデオにおけるローリングシャッター補正 | |
| JP2016208483A (ja) | 映像システムおよびそれを用いた空撮システム | |
| JP6257289B2 (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
| JP5940392B2 (ja) | ブレ補正装置及び方法 | |
| JP2019062340A (ja) | 像振れ補正装置および制御方法 | |
| Zhang et al. | A dataset for deep image deblurring aided by inertial sensor data | |
| JP5279453B2 (ja) | 画像振れ補正装置、撮像装置及び画像振れ補正方法 | |
| JP2019149717A (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 | |
| JP2012124939A (ja) | 撮像装置及び撮像装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |