CN101473266B - 用于图像稳定化的方法和系统 - Google Patents

用于图像稳定化的方法和系统 Download PDF

Info

Publication number
CN101473266B
CN101473266B CN2007800234271A CN200780023427A CN101473266B CN 101473266 B CN101473266 B CN 101473266B CN 2007800234271 A CN2007800234271 A CN 2007800234271A CN 200780023427 A CN200780023427 A CN 200780023427A CN 101473266 B CN101473266 B CN 101473266B
Authority
CN
China
Prior art keywords
exposure
imaging system
cycle
image
during
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800234271A
Other languages
English (en)
Other versions
CN101473266A (zh
Inventor
H·卡科里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Inc
Original Assignee
Core Wiresless Licensing SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Core Wiresless Licensing SARL filed Critical Core Wiresless Licensing SARL
Publication of CN101473266A publication Critical patent/CN101473266A/zh
Application granted granted Critical
Publication of CN101473266B publication Critical patent/CN101473266B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

一种用于感应在曝光周期期间相机移动的运动传感器。该相机具有图像传感器以形成一个或多个曝光。当移动在特定范围内时，曝光用于提供一个或多个帧，从而可以基于帧构造图像。在一个实施方式中，将曝光周期划分为多个短时间间隔，从而捕获多个图像帧，并且仅在相机的位置处于预定的范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小，从而减小各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止，那么所有或很多较短帧用于形成最终图像。

Description

用于图像稳定化的方法和系统
技术领域
本发明一般地涉及图像稳定化，并且更特别地涉及通过图像处理的图像稳定化。
背景技术
图像稳定化的问题追溯到摄影术的开始，并且该问题涉及这样的事实，即图像传感器需要足够的曝光时间来形成相当良好的图像。在曝光时间期间，相机的任何运动都引起投影在图像传感器上的图像的平移，其导致形成的图像的退化。与运动相关的退化称作运动模糊。在拍摄时使用一只或两只手握持相机，在相当长的曝光或合成时间期间几乎不可能避免不期望的相机运动。运动模糊在相机设置在高变焦比时，特别容易发生的是甚至很小的运动也可以显著退化所获取的图像的质量。在恢复运动模糊的图像中一个主要的困难归因于这样的事实：根据在曝光时间期间发生的实际相机运动，该运动模糊在图像之间有所不同。
正在进行的具有图像获取能力的消费者设备的开发和小型化增加了对于鲁棒性和有效图像稳定化方案的需求。这种需求基于以下两个主要因素：
1.在使用小型手持设备(比如相机电话)时，在合成时间期间避免不希望的运动的困难。
2.由于源自图像传感器小型化以及图像分辨率的增加导致的小像素区域而需要较长的合成时间。像素区域越小，每单位时间可以由像素捕获的光子越少，这样为了良好的结果需要更长的合成时间。
图像稳定化通常在称作单帧方案的技术中执行。单帧方案基于在长曝光时间期间捕获单个图像帧。这实际上是图像捕获的经典情况，其中获取的图像通常被运动模糊破坏，该运动模糊由曝光时间期间发生的运动造成。为了恢复图像，必须具有关于曝光时间期间发生的运动的非常准确的知识。因而该方法可能需要非常昂贵的运动传感器(陀螺仪)，除了它们的成本以外，其在尺寸上也很大并且因此很难包含在小型设备中。此外，如果曝光时间长，那么从运动传感器输出导出的位置信息展现出相对于真实值的偏移误差。该误差随时间累积，从而在某一点可能显著地影响系统的结果。
在单帧方案中，已经使用多个方法来减小或消除运动模糊。在对相机运动的补偿中，光学图像稳定化通常包括侧向平移投影在图像传感器上的图像。图像的平移可以由以下四个通用技术之一获得：
透镜平移，该光学图像稳定化方法包括在基本上垂直于系统光轴的方向上移动该光学系统的一个或多个透镜元件；
图像传感器平移，该光学图像稳定化方法包括在基本上垂直于光学系统光轴的方向上移动图像传感器；
液体棱镜，该方法包括将两个平行板之间密封的液体层改变为楔形，从而通过折射改变系统的光轴；以及
相机模块倾斜，该方法保持光学系统中的所有组件不变，而倾斜整个模块，从而相对于场景(scene)平移光轴。
在上述图像稳定化技术中的任何一个中，需要致动器机构来影响光轴中的改变或图像传感器的平移。致动器机构通常是复杂的，这意味着它们昂贵并且在尺寸上很大。
另一个图像稳定化的方法是多帧方法。该方法基于将长曝光时间划分为多个较短时间间隔并且在那些较短时间间隔中捕获相同场景的多个图像帧。每帧的曝光时间很小，从而减小了各个帧的运动模糊退化。在捕获所有这些帧之后，在两个步骤中计算最终图像：
-登记步骤：相对于作为参考的所选图像中的一个登记所有图像帧，以及
-像素融合：基于所有各个帧中相应的值计算最终图像中每个像素的值。像素融合的一个简单方法可以计算每个像素的最终值作为各个帧中的其值的平均值。
典型多帧图像稳定化方案中主要问题包括：
1.图像登记中的复杂计算，以及
2.场景中的移动对象：如果在获取图像帧的时间的期间，在场景中存在正在移动的对象，则这些对象在最终图像中失真。失真存在于对象的粘合(paste)在一起的多个实例中。
希望提供用于图像稳定化的更简单的方法和系统。
发明内容
本发明涉及基于在较短时间间隔中捕获相同场景的单个图像帧或多个图像帧的多帧方法。捕获帧的数量通过由相机运动引起的运动模糊和实施方式的实现确定。
根据本发明的一个实施方式，将长曝光时间划分成多个较短时间间隔，从而捕获多个图像帧，并且仅将在相机位置处于预定范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小，从而减小了各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止，那么将所有或很多较短帧用于形成最终图像。如果相机不足够稳定，则使用一个或几个较短帧。
根据其他实施方式，对于图像传感器的曝光持续时间由曝光期间的相机运动确定。来自于多个曝光的多个捕获的帧可以用于形成最终图像。可替换地，仅从多个曝光中捕获单个帧并且该单个帧用于形成最终图像。
如果多个帧用于形成最终图像，则将这些帧中的相应像素的像素灰度(intensity)值相加从而获取最终图像。相加过程可以在图像传感器中或处理器中完成。
本发明使用运动传感器感应曝光时间期间的相机移动。如果相机移动超过了相对于参考点的预定范围，则丢弃在该大移动周期期间捕获的较短帧。可替换地，图像传感器在大移动周期期间不被有效曝光。可以通过机械快门、光阀或图像传感器中的电子电路切断曝光光线。根据本发明的帧选择或选择性曝光方法，不需要在像素融合过程中光学地或电子地平移较短帧中捕获的图像。
因此，本发明的第一方面提供在曝光周期期间对成像系统中获取的图像进行稳定化的方法。该方法包括：
为了获得一个或多个曝光，对投影在成像系统的图像传感器上的图像曝光至少部分曝光周期；
为了在所述曝光周期中获取相对于所述成像系统的初始位置的移动量，在所述曝光周期期间感应所述成像系统的移动；以及
基于在所述曝光周期中所述移动量处于预定移动范围内时获得的一个或多个曝光构造获取的图像。
根据一个实施方式，在移动量处于预定移动范围内时获得的一个或多个曝光形成曝光周期期间的单个图像帧，并且该方法进一步包括在曝光周期之后捕获单个图像帧用于构造获取的图像。
根据另一个实施方式，在移动量处于预定移动范围内时获得的一个或多个曝光分别地形成曝光周期期间的一个或多个图像帧，并且该方法进一步包括：至少在曝光周期期间捕获多个图像帧用于构造获取的图像。
根据不同的实施方式，曝光周期划分为多个较短时间周期并且在至少部分曝光周期期间获得的所述一个或多个曝光形成一个或多个图像帧，每个图像帧针对一个较短时间周期，所述方法进一步包括：至少在曝光周期期间捕获所述一个或多个图像帧；以及为了构造获取的图像，在移动量处于预定移动范围内时选择从一个或多个曝光中形成的捕获的图像帧。
本发明的第二方面提供一种成像系统，包括：
图像传感器，用于在曝光周期期间获得一个或多个曝光；
移动传感器，用于感应在曝光周期期间成像系统的移动，从而获得在曝光周期中相对于成像系统初始位置的移动量；以及
处理器，可操作地连接至图像传感器，用于基于在移动量处于预定的移动范围内时获得的一个或多个曝光构造图像。
成像系统进一步包括光学系统，用于在图像传感器上提供投影的图像，从而允许图像传感器在曝光周期期间获得一个或多个曝光，以及快门，与光学系统相关地定位，用于在移动量处于预定的移动范围之外时防止投影图像到达图像传感器。
可替换地，该成像系统进一步包括电子电路，其可操作地连接至图像传感器，用于在移动量处于预定的移动范围之外时防止图像传感器获得曝光。该电子电路可以提供信号以指示移动量是否处于预定的移动范围内，从而允许图像传感器仅在移动量处于预定的范围内时获得所述一个或多个曝光。
本发明的第三方面提供一种在成像系统中使用的图像稳定化模块，其中成像系统包括图像传感器；光学模块，该光学模块用于将图像投影在图像传感器上，从而允许图像传感器在曝光周期期间获得一个或多个曝光；以及处理器，可操作地连接至图像传感器，用于基于一个或多个曝光构造图像。图像稳定化模块包括：
移动传感器，用于感应曝光周期期间成像系统的移动；以及
装置，可操作地连接至移动传感器，用于在曝光周期中确定相对于成像系统初始位置的成像系统的移动量，以及用于向处理器提供指示移动量是否处于预定的移动范围内的信号，从而处理器仅在移动量处于预定的范围内时获得一个或多个曝光。
光快门可以用于在移动量处于预定的移动范围之外时防止投影的图像到达图像传感器。
本发明将在结合附图1至图9阅读说明书时变得明显。
附图说明
图1示出了由于相机的线性移动在图像传感器上的图像中的平移。
图2示出了由于相机的旋转移动在图像传感器上的图像中的平移。
图3示出了图像平移的距离与图像平移的角度改变的关系。
图4a示出了由于相机移动，在图像平面上投影的图像点的轨迹。
图4b示出了在图像平面上投影的图像点的轨迹以及不同的希望的曝光区域。
图4c示出了在图像平面上投影的图像点的轨迹以及另一希望的曝光区域。
图4d示出了在图像平面上投影的图像点的轨迹以及又一希望的曝光区域。
图5是示出了根据本发明的一个实施方式的如何读出曝光的时间图。
图6是示出了根据本发明的另一实施方式的如何读出曝光的时间图。
图7是示出了根据本发明的又一实施方式的如何读出曝光的时间图。
图8是示出了根据本发明的运动稳定化系统的示意图。
图9是示出了根据本发明的图像稳定化方法的流程图。
具体实施方式
使用小型手持设备，诸如相机电话来拍摄，设备相对于场景的移动在大部分时间中是不可避免的。如果曝光时间长，则发生图像模糊。图像模糊是图像平面中图像平移的结果。如图1所示，图像传感器上的图像点P由于相机相对于场景中的点S的线性移动而平移到点P’。图2示出了由于相机相对于点S的旋转运动而造成的图像平移。如果点P和点P’之间的图像平移距离D大于三个或四个像素，那么图像质量可能很差。因此，希望限制相机移动，从而图像平移处于预定的范围内，该预定的范围即一个或两个像素。图像平移距离不仅随相机移动而改变，而且随图像平面和透镜之间的焦距f改变。在具有变焦透镜的相机中，图像平移距离在透镜拉变时较大。
图像平移距离D可以涉及平移角度α，如图3所示。平移角度α约等于D/f。针对相机移动的相同量，平移角度α不随着焦距f而显著改变。
如果相机在长曝光时间期间不稳定，则图像平面中的图像点P可能响应于相机相对于场景的移动而环绕移动。通常，相机的用户尝试将相机瞄准场景。因此，尽管在长曝光时间期间相机移动，但是相同的图像不会偏离图像点P很远。图4a至图4d示出了在长曝光时间期间图像点的轨迹。当轨迹穿过其本身时，这指示相机在从某瞄准方向或位置移开后又移回到该相同的方向或位置。然而，轨迹可以穿过或可以不穿过初始的图像点P。
根据本发明的图像稳定化方法涉及基于在较短时间间隔中捕获相同场景的单个图像帧或多个图像帧的多帧方法。捕获帧的数量通过由相机运动引起的运动模糊和实施方式的实现确定。
根据本发明的一个实施方式，长曝光时间划分成多个短时间间隔，从而捕获多个图像帧并且仅将在相机的位置处于预定的范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小，从而减小了各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止，那么将所有或很多较短帧用于形成最终图像。如果相机不足够稳定，则使用一个或几个较短帧。
根据其他实施方式，对图像传感器的曝光持续时间由曝光期间的相机运动确定。来自多个曝光的多个捕获的帧可以用于形成最终图像。可替换地，仅从多个曝光中捕获单个帧并且将该单个帧用于形成最终图像。
如图4a所示，尽管在特定的曝光时间期间轨迹不通过图像点P，但是其可能通过图像点P初始所位于的像素。该像素通过由虚线矩形限定的区域指示并且该轨迹在t1通过该像素。在这种情况中，至少初始较短帧和t1处的较短帧可以用于形成最终图像。让我们将由虚线矩形限定的区域称作“希望的曝光区域”。
根据本发明，将其中图像点的轨迹通过希望的曝光区域的某些或所有较短帧用于形成最终图像。最终图像的清晰度取决于希望的曝光区域有多大。在数码相机中，较小的希望的曝光区域是一个像素。然而，希望的曝光区域可以大于一个像素。当希望的曝光区域增大时，轨迹更可能通过希望的曝光区域。如图4b所示，轨迹在t2再次通过希望的曝光区域。因此，至少三个较短帧可以用于形成最终图像。
可替换地，在形成最终图像中，替代希望的曝光区域，希望的曝光角度范围可以用于选择较短帧。希望的曝光角度范围可以通过希望的曝光区域除以相机的焦距f限定。在图4c中，希望的曝光角度范围由虚线圆圈界定。在图4d中，希望的曝光角度范围由虚线椭圆界定。
应该指出，针对相同的相机移动，存在不止一种形成最终图像的方式，如图5至图7所示。在图5(d)、图6(d)和图7(d)中示出了相机移动。如图所示，相机移动的某部分处于描述为“希望的曝光区域”(或角度)的预定的范围内。仅在相机移动处于预定的范围内时对图像传感器的曝光被使用。当激活相机上的快门按钮时，曝光开始，如图5(a)、图6(a)和图7(a)所示。在图5(b)和图6(b)中，图像传感器仅在相机移动处于预定的范围内时有效曝光。如果相机移动处于预定的范围之外，则由机械或光学快门、或者由电子电路或图像传感器内的多个电子元件切断曝光光线。在诸如电荷耦合器件(CCD)的图像传感器中，电荷将在曝光周期期间在像素中聚积以形成图像。通常，每个像素中聚积的电荷读出作为像素灰度。在每个曝光周期之后，捕获帧，如图6(c)所示。如图6(d)所示，相机移动的轨迹移出希望的曝光区域三次，并且因此在快门按钮被激活之后存在三个曝光。因而，分别地以及单独地捕获三个帧以用于最终图像。在该实施方式中，在可操作地连接至图像传感器的处理器中将像素灰度相加。
可替换地，仅在拍摄后读出单个帧，如图5(c)所示。该单个帧有效地将三个不同曝光周期中的像素灰度相加。
在不同的实施方式中，将用于拍摄的长曝光时间划分成多个短周期并且针对每个短周期中的曝光捕获帧。在拍摄时读出针对每个捕获的帧的图像。如图7(c)所示，仅将针对在相机移动处于预定的范围内时的曝光捕获的帧用于相加。在图7(c)中，使用的帧标记为“OK”并且丢弃的帧标记为“NG”。在该实施方式中，将使用的帧的像素灰度在可操作地连接到图像传感器的处理器中相加。尽管图7(b)示出了有效光快门周期，但是该实施方式不需要快门。
为了选择用于形成最终图像的较短帧，本发明使用运动传感器，诸如陀螺仪或加速计，以在相机运动处于关于初始位置的希望的曝光角度范围之外或希望的曝光区域之外时选择性地切断图像传感器。如图8所示，本发明的成像系统10包括一个或多个透镜20以将图像投影在图像传感器30上。图像/信号处理器40配置为读出在图像传感器上形成的图像。当照明充足时，一个短帧可能足以捕获场景的图像。在低光照情况中，将很多短帧用于捕获多个短曝光图像，从而短帧中的像素灰度可以由图像/信号处理器40相加以形成最终图像。可操作地连接至图像/信号处理器40的运动传感器50向处理器40发送信号，以在相机移动处于希望的曝光角度范围之外或希望的曝光区域之外时有效地切断图像传感器30。曝光光线例如可以由机械快门或光阀55切断。
在很多成像系统中，曝光时间随照明改变。在照明较低时使用较长的曝光时间。出于该目的，使用光传感器60。根据本发明，在成像系统中，曝光时间也可以取决于照明。因此，在低光照情况中，曝光时间可以增加从而增加图像点的轨迹通过希望的曝光区域或角度范围的可能性。然而，还可能在低光照情况中增加希望的曝光角度范围或希望的曝光区域。
总之，本发明使用单个捕获的帧或多个捕获的帧形成最终图像。如果多帧用于形成最终图像，则帧中对应像素的像素灰度值相加，从而获得最终图像。相加过程可以在图像传感器中或处理器中完成。全稳定化过程概括在图9所示的流程图中。如图9中流程图100所示，在步骤100，当激活相机上的快门按钮时，开始投影到图像传感器的图像的曝光。在步骤120，为了确定相机移动是否处于希望的曝光区域或角度内，立即开始相机移动感应。在步骤130，在曝光周期期间或曝光周期期间捕获图像帧。在步骤140，将从在移动处于希望的曝光区域或角度内时的曝光形成的图像帧用于构造最终图像。在本发明的一个实施方式中，在移动超出希望的曝光区域或角度时，防止投影的图像到达图像传感器。仅使用图像传感器上的像素子集确定相机的移动是有优势的。
本发明使用运动传感器来感应曝光时间期间的相机移动。如果相机移动超过了相对于参考点的预定范围，那么丢弃在该大移动周期期间捕获的较短帧。可替换地，图像传感器在大移动周期期间不被有效曝光。可以通过机械快门、光阀或图像传感器中的电子电路切断曝光光线。根据本发明的帧选择或选择性曝光方法，在像素融合过程中不需要光学地或电子地平移较短帧中捕获的图像。
因此，尽管已经相对于本发明的一个或多个实施方式描述了本发明，但是本领域的技术人员应该理解在不脱离本发明的范围的情况下，可以在实施方式的形式和细节方面进行前述和各种其他改变、省略和变形。

Claims (28)

1.一种用于构造图像的方法，包括：
在曝光周期期间对成像系统的图像传感器上投影的图像进行曝光，以获得至少两个曝光；
感测在所述曝光周期期间所述成像系统的移动，以便获得在所述曝光周期中所述成像系统相对于所述成像系统的初始位置的移动量；以及
基于至少第一曝光和第二曝光构造图像，其中所述第一曝光在所述曝光周期内在第一时间周期期间获得，在所述第一时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于预定移动范围以内，所述第二曝光在所述曝光周期内在第二时间周期期间获得，在所述第二时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围以内，并且在所述第一时间周期和所述第二时间周期之间存在第三时间周期，在所述第三时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于预定移动范围以外。
2.根据权利要求1所述的方法，其中在所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围以内时所获得的至少第一曝光和第二曝光形成曝光周期期间的单个图像帧，所述方法进一步包括：
在所述曝光周期之后捕获所述单个图像帧以用于构造所述图像。
3.根据权利要求1所述的方法，其中所述第一曝光形成第一图像帧，所述第二曝光形成分离的第二图像帧，并且
所述方法进一步包括：
在所述曝光周期期间捕获所述第一和第二图像帧以用于构造所述图像。
4.根据权利要求1所述的方法，其中所述曝光周期划分为多个较短时间周期，并且所述第一时间周期、第二时间周期和第三时间周期中的每个均来自所述多个较短时间周期，其中在所述第一时间周期期间获得的第一曝光形成第一图像帧，在所述第二时间周期期间获得的第二曝光形成第二图像帧，在所述第三时间周期期间获得的第三曝光形成第三图像帧，所述方法进一步包括：
在所述曝光周期期间捕获至少所述第一图像帧、第二图像帧和第三图像帧；以及
选择所述第一图像帧和所述第二图像帧而非第三图像帧用于构造所述图像。
5.根据权利要求1至3任一项所述的方法，进一步包括：
在第三时间周期期间，当所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围之外时，防止投影的图像到达所述图像传感器。
6.根据权利要求1至4任一项所述的方法，其中所述图像传感器包括像素阵列，每个像素具有像素区域，并且所述预定移动范围基于一个或多个像素区域确定。
7.根据权利要求1至4任一项所述的方法，其中所述成像系统包括光学系统，用于在所述图像传感器上提供所述投影的图像，并且所述预定移动范围基于所述光学系统的焦距确定。
8.根据权利要求1至4任一项所述的方法，其中所述预定移动范围基于形成所述投影的图像的至少部分光的亮度确定。
9.一种成像系统，包括：
图像传感器，用于在曝光周期期间获得至少第一曝光和第二曝光；
移动传感器，用于感测在所述曝光周期期间所述成像系统的移动，以便能够确定在所述曝光周期期间所述成像系统相对于所述成像系统的初始位置的移动量；以及
处理器，配置为基于至少第一曝光和第二曝光构造图像，其中所述第一曝光在所述曝光周期内在第一时间周期期间获得，在所述第一时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于预定移动范围以内，所述第二曝光在所述曝光周期内在第二时间周期期间获得，在所述第二时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围以内，并且在所述第一时间周期和所述第二时间周期之间存在第三时间周期，在所述第三时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围以外。
10.根据权利要求9所述的成像系统，其中在所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围以内时所获得的所述至少第一曝光和第二曝光形成所述曝光周期期间的单个图像帧，以及其中所述图像基于在所述曝光周期之后捕获的所述单个图像帧构造。
11.根据权利要求9所述的成像系统，其中所述第一曝光形成第一图像帧，所述第二曝光形成分离的第二图像帧，以及使用在所述曝光周期期间捕获的所述第一和第二图像帧构造所述图像。
12.根据权利要求9所述的成像系统，其中所述图像传感器配置为将所述曝光周期划分为多个较短时间周期，所述第一时间周期、第二时间周期和第三时间周期中的每个均来自所述多个较短时间周期，其中在所述第一时间周期期间获得的第一曝光形成第一图像帧，在所述第二时间周期期间获得的第二曝光形成第二图像帧，在所述第三时间周期期间获得的第三曝光形成第三图像帧，以及其中
所述处理器配置为捕获在所述曝光周期期间的所述第一图像帧、第二图像帧和第三图像帧，以及配置为选择从所述第一图像帧和第二图像帧而非所述第三图像帧用于构造所述图像。
13.根据权利要求9至11任一项所述的成像系统，进一步包括
光学系统，用于在所述图像传感器上提供投影的图像，从而允许所述图像传感器获得在所述曝光周期期间的至少所述第一曝光和所述第二曝光。
14.根据权利要求13所述的成像系统，进一步包括：
快门，与所述光学系统相关地定位，用于在第三时间周期期间，当所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围之外时，防止所述投影的图像到达所述图像传感器。
15.根据权利要求13所述的成像系统，其中所述预定移动范围基于所述光学系统的焦距确定。
16.根据权利要求9至11任一项所述的成像系统，进一步包括：
电子电路，配置为在第三时间周期期间，当所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围之外时，防止所述图像传感器获得第三曝光。
17.根据权利要求9所述的成像系统，其中所述移动传感器被配置为提供信号以指示所述成像系统的移动量是否处于所述预定移动范围内，从而允许所述图像传感器在所述第一时间周期期间获得所述第一曝光以及在所述第二时间周期期间获得所述第二曝光。
18.根据权利要求9所述的成像系统，其中所述移动传感器包括加速计。
19.根据权利要求9至11任一项所述的成像系统，其中所述图像传感器包括像素阵列，每个像素具有像素区域，并且所述预定移动范围基于一个或多个像素区域确定。
20.根据权利要求9至11任一项所述的成像系统，其中所述预定移动范围基于形成所述投影的图像的至少部分光的亮度确定。
21.一种成像系统，包括：
用于感测图像的装置；
用于在曝光周期期间在所述用于感测图像的装置上提供投影的图像从而允许所述用于感测图像的装置获得至少两个曝光的装置；
用于感测在所述曝光周期期间所述成像系统的移动以确定在所述曝光周期中所述成像系统相对于所述成像系统的初始位置的移动量的装置；以及
用于基于至少第一曝光和第二曝光构造图像的装置，其中所述第一曝光在所述曝光周期内在第一时间周期期间获得，在所述第一时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于预定移动范围以内，所述第二曝光在所述曝光周期内在第二时间周期期间获得，在所述第二时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围以内，并且在所述第一时间周期和所述第二时间周期之间存在第三时间周期，在所述第三时间周期中，所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围以外。
22.根据权利要求21所述的成像系统，其中在所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围以内时，所获得的所述至少第一曝光和第二曝光形成所述曝光周期期间的单个图像帧，以及所述图像基于在所述曝光周期之后捕获的所述单个图像帧构造。
23.根据权利要求21所述的成像系统，进一步包括
用于捕获所述第一曝光作为第一图像帧以及用于捕获所述第二曝光作为第二图像帧的装置。
24.根据权利要求23所述的成像系统，进一步包括：
用于选择所述第一图像帧和所述第二图像帧用于构造所述的图像的装置。
25.根据权利要求21至24任一项所述的成像系统，进一步包括：
用于在第三时间周期期间、在所述成像系统相对于所述成像系统的初始位置的移动量处于所述预定移动范围之外时、防止所述投影的图像形成曝光的装置。
26.根据权利要求21至24任一项所述的成像系统，其中所述用于感测的装置包括像素阵列，每个像素具有像素区域，并且所述预定移动范围基于一个或多个像素区域确定。
27.根据权利要求21至24任一项所述的成像系统，其中所述预定移动范围基于所述用于提供投影的图像的装置的焦距确定。
28.根据权利要求21至24任一项所述的成像系统，其中所述预定移动范围基于形成所述投影的图像的至少部分光的亮度确定。
CN2007800234271A 2006-06-22 2007-05-07 用于图像稳定化的方法和系统 Expired - Fee Related CN101473266B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/474,047 US7952612B2 (en) 2006-06-22 2006-06-22 Method and system for image construction using multiple exposures
US11/474,047 2006-06-22
PCT/IB2007/001174 WO2007148169A1 (en) 2006-06-22 2007-05-07 Method and system for image stabilization

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2012101134409A Division CN102769718A (zh) 2006-06-22 2007-05-07 用于图像稳定化的方法和系统

Publications (2)

Publication Number Publication Date
CN101473266A CN101473266A (zh) 2009-07-01
CN101473266B true CN101473266B (zh) 2012-06-20

Family

ID=38833114

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007800234271A Expired - Fee Related CN101473266B (zh) 2006-06-22 2007-05-07 用于图像稳定化的方法和系统
CN2012101134409A Pending CN102769718A (zh) 2006-06-22 2007-05-07 用于图像稳定化的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2012101134409A Pending CN102769718A (zh) 2006-06-22 2007-05-07 用于图像稳定化的方法和系统

Country Status (6)

Country Link
US (3) US7952612B2 (zh)
EP (2) EP2035891B1 (zh)
JP (6) JP5284954B2 (zh)
CN (2) CN101473266B (zh)
ES (1) ES2523462T3 (zh)
WO (1) WO2007148169A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856295B2 (en) 2020-07-29 2023-12-26 Google Llc Multi-camera video stabilization

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7952612B2 (en) 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
US7734161B2 (en) 2007-04-19 2010-06-08 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Image stabilization with adaptive shutter control
JP2009017030A (ja) * 2007-07-02 2009-01-22 Sony Corp 画像撮像装置、撮像制御方法
TWI381243B (zh) * 2008-09-10 2013-01-01 E Ten Information Sys Co Ltd 可攜式電子裝置及其運作方法
CN101685236B (zh) * 2008-09-22 2012-01-25 倚天资讯股份有限公司 可携式电子装置及其运作方法
US9628711B2 (en) * 2011-12-15 2017-04-18 Apple Inc. Motion sensor based virtual tripod method for video stabilization
US20130176463A1 (en) * 2012-01-09 2013-07-11 Nokia Corporation Method and Apparatus for Image Scaling in Photography
US9055222B2 (en) * 2012-02-24 2015-06-09 Htc Corporation Electronic device and method for image stabilization
US9451163B2 (en) * 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
JP5962974B2 (ja) * 2012-06-04 2016-08-03 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
JP6082274B2 (ja) * 2012-06-08 2017-02-15 キヤノン株式会社 撮像装置、及びその制御方法
JP5974913B2 (ja) * 2013-01-25 2016-08-23 富士通株式会社 撮像方法、撮像装置及び撮像プログラム
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9424598B1 (en) 2013-12-02 2016-08-23 A9.Com, Inc. Visual search in a controlled shopping environment
US9536161B1 (en) * 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
KR20160019215A (ko) * 2014-08-11 2016-02-19 삼성전자주식회사 촬영 장치 및 그 촬영 방법
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
US9843789B2 (en) * 2014-09-08 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Still-image extracting method and image processing device for implementing the same
KR102229152B1 (ko) 2014-10-16 2021-03-19 삼성전자주식회사 이미지 촬영 장치
AU2015367738B2 (en) 2014-12-15 2020-04-02 Gvbb Holdings S.A.R.L. Image capture having improved temporal resolution and perceived image sharpness
CN104994305B (zh) * 2015-06-12 2018-06-05 青岛海信电器股份有限公司 一种拍照方法及设备
CN105430265A (zh) * 2015-11-27 2016-03-23 努比亚技术有限公司 一种增大摄像头成像范围的方法及装置
US11956544B2 (en) 2016-03-11 2024-04-09 Apple Inc. Optical image stabilization with voice coil motor for moving image sensor
CN114384738A (zh) 2016-03-11 2022-04-22 苹果公司 具有用于移动图像传感器的音圈电机的光学图像稳定
US10437023B2 (en) 2016-03-28 2019-10-08 Apple Inc. Folded lens system with three refractive lenses
CN105847686B (zh) * 2016-04-01 2019-10-15 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN105898141B (zh) * 2016-04-01 2017-09-19 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US10306148B2 (en) 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
JP7159866B2 (ja) * 2016-09-30 2022-10-25 株式会社ニコン 撮像装置およびプログラム
CN109983758B (zh) * 2016-12-02 2021-11-16 索尼半导体解决方案公司 成像元件、成像方法以及电子设备
KR102649220B1 (ko) * 2017-02-06 2024-03-20 삼성전자주식회사 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법
US10890734B1 (en) 2017-03-29 2021-01-12 Apple Inc. Camera actuator for lens and sensor shifting
US10863094B2 (en) 2017-07-17 2020-12-08 Apple Inc. Camera with image sensor shifting
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
JP7023676B2 (ja) * 2017-11-20 2022-02-22 キヤノン株式会社 撮像装置およびその制御方法
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
US11122205B1 (en) * 2018-09-14 2021-09-14 Apple Inc. Camera actuator assembly with sensor shift flexure arrangement
JP7034052B2 (ja) * 2018-11-02 2022-03-11 京セラ株式会社 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム
JP7187269B2 (ja) * 2018-11-05 2022-12-12 キヤノン株式会社 撮像装置およびその制御方法
US10609288B1 (en) * 2019-03-04 2020-03-31 Qualcomm Incorporated Roll compensation and blur reduction in tightly synchronized optical image stabilization (OIS)
US11258951B2 (en) * 2019-06-27 2022-02-22 Motorola Mobility Llc Miniature camera device for stabilized video using shape memory alloy actuators
CN110531578B (zh) * 2019-09-02 2021-04-13 深圳大学 多画幅分幅成像方法、装置和设备
CN118672030A (zh) * 2019-10-29 2024-09-20 富士胶片株式会社 摄像支援装置、摄像支援系统、摄像系统、摄像支援方法及计算机程序产品
KR20220037876A (ko) * 2020-09-18 2022-03-25 삼성전기주식회사 카메라 모듈
US11575835B2 (en) 2020-09-24 2023-02-07 Apple Inc. Multi-axis image sensor shifting system
CN112672059B (zh) * 2020-12-28 2022-06-28 维沃移动通信有限公司 一种拍摄方法及拍摄装置
CN115694089A (zh) * 2021-07-27 2023-02-03 北京小米移动软件有限公司 致动器、摄像头模组和电子设备
CN115633262B (zh) * 2022-12-21 2023-04-28 荣耀终端有限公司 图像处理方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2253067A (en) * 1991-02-20 1992-08-26 Asahi Optical Co Ltd Blur preventing camera
US6487369B1 (en) * 1999-04-26 2002-11-26 Olympus Optical Co., Ltd. Camera with blur reducing function
CN1554184A (zh) * 2001-09-07 2004-12-08 使用颜色匹配的图像稳定化
CN1744673A (zh) * 2005-10-09 2006-03-08 北京中星微电子有限公司 一种视频电子防抖的装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3163715B2 (ja) * 1992-01-14 2001-05-08 株式会社ニコン ブレ防止装置
JPH095816A (ja) 1995-06-20 1997-01-10 Olympus Optical Co Ltd 手振れ軽減カメラ
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
US6044228A (en) * 1997-09-09 2000-03-28 Minolta Co., Ltd. Camera capable of shake correction
JPH11317904A (ja) * 1998-05-01 1999-11-16 Canon Inc 撮像装置及びその制御方法
JP2000305123A (ja) * 1999-04-26 2000-11-02 Olympus Optical Co Ltd ブレ軽減機能付きカメラ
JP4436506B2 (ja) 1999-12-08 2010-03-24 オリンパス株式会社 電子カメラ装置
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
JP2002077706A (ja) * 2000-08-29 2002-03-15 Nikon Corp 撮像装置および撮像方法
JP2002094839A (ja) * 2000-09-20 2002-03-29 Matsushita Electric Ind Co Ltd 電子スチルカメラ
JP2002112100A (ja) * 2000-09-28 2002-04-12 Nikon Corp 撮像装置
JP2002118780A (ja) * 2000-10-05 2002-04-19 Ricoh Co Ltd 手振れ補正機能付き撮像装置
JP2002116477A (ja) * 2000-10-11 2002-04-19 Ricoh Co Ltd 撮像装置
JP2002311471A (ja) 2001-04-13 2002-10-23 Fuji Photo Optical Co Ltd 防振装置
JP2003101862A (ja) 2001-09-21 2003-04-04 Ricoh Co Ltd 撮像装置および撮像方法
US7307653B2 (en) 2001-10-19 2007-12-11 Nokia Corporation Image stabilizer for a microcamera module of a handheld device, and method for stabilizing a microcamera module of a handheld device
JP2003304492A (ja) * 2002-02-08 2003-10-24 Canon Inc 画像処理装置
JP2004007220A (ja) * 2002-05-31 2004-01-08 Canon Inc 振れ補正カメラ
JP2004201247A (ja) * 2002-12-20 2004-07-15 Fuji Photo Film Co Ltd デジタルカメラ
JP4224690B2 (ja) * 2002-12-27 2009-02-18 ソニー株式会社 記録方法、記録装置、再生方法、再生装置および撮像装置
US7212230B2 (en) * 2003-01-08 2007-05-01 Hewlett-Packard Development Company, L.P. Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera
JP3804617B2 (ja) 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
EP1599036A1 (en) * 2003-02-25 2005-11-23 Matsushita Electric Industrial Co., Ltd. Image pickup processing method and image pickup apparatus
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
US7209601B2 (en) * 2003-07-22 2007-04-24 Omnivision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
US20080052090A1 (en) * 2003-09-04 2008-02-28 Jens Heinemann Method and Device for the Individual, Location-Independent Designing of Images, Cards and Similar
WO2005066897A1 (ja) * 2004-01-06 2005-07-21 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
JP4321265B2 (ja) * 2004-01-06 2009-08-26 株式会社ニコン 電子カメラ
JP2005277812A (ja) * 2004-03-25 2005-10-06 Canon Inc 手振れ低減装置を持ったデジタルカメラ装置および画像再生装置
US8045009B2 (en) * 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
JP2006109079A (ja) * 2004-10-05 2006-04-20 Olympus Corp 電子カメラ
US7639888B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
US20060182430A1 (en) * 2005-02-15 2006-08-17 Stavely Donald J Camera exposure program coupled to image stabilization capability
EP1952624A4 (en) 2005-09-14 2011-03-23 Nokia Corp SYSTEM AND METHOD FOR IMPLEMENTING MOTION-CONTROLLED BRAKE MODE IMAGE STABILIZATION
JP2007300595A (ja) * 2006-04-06 2007-11-15 Winbond Electron Corp 静止画像撮影の手ブレ回避方法
US20090115860A1 (en) * 2006-04-11 2009-05-07 Matsushita Electric Industrial Co., Ltd. Image pickup device
US7952612B2 (en) 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2253067A (en) * 1991-02-20 1992-08-26 Asahi Optical Co Ltd Blur preventing camera
US6487369B1 (en) * 1999-04-26 2002-11-26 Olympus Optical Co., Ltd. Camera with blur reducing function
CN1554184A (zh) * 2001-09-07 2004-12-08 使用颜色匹配的图像稳定化
CN1744673A (zh) * 2005-10-09 2006-03-08 北京中星微电子有限公司 一种视频电子防抖的装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856295B2 (en) 2020-07-29 2023-12-26 Google Llc Multi-camera video stabilization

Also Published As

Publication number Publication date
JP2013214096A (ja) 2013-10-17
EP2035891A4 (en) 2009-12-16
WO2007148169A1 (en) 2007-12-27
JP2013062849A (ja) 2013-04-04
JP2013176160A (ja) 2013-09-05
JP2009542076A (ja) 2009-11-26
JP2013034247A (ja) 2013-02-14
USRE48552E1 (en) 2021-05-11
JP5284954B2 (ja) 2013-09-11
JP2013211898A (ja) 2013-10-10
EP2428838A1 (en) 2012-03-14
EP2035891B1 (en) 2014-09-10
USRE46239E1 (en) 2016-12-13
EP2035891A1 (en) 2009-03-18
ES2523462T3 (es) 2014-11-26
CN102769718A (zh) 2012-11-07
CN101473266A (zh) 2009-07-01
US20070296821A1 (en) 2007-12-27
US7952612B2 (en) 2011-05-31

Similar Documents

Publication Publication Date Title
CN101473266B (zh) 用于图像稳定化的方法和系统
US9426350B2 (en) Image capturing apparatus and control method thereof
US8593531B2 (en) Imaging device, image processing method, and computer program
JP2006086978A (ja) カメラシステム、カメラ本体及び交換レンズ
JP2006179966A (ja) 動画撮像装置及び動画撮像方法
KR20230048447A (ko) 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
JP5484617B2 (ja) 撮像装置
JPWO2019087928A1 (ja) 撮像装置、ファインダ装置、撮像装置の制御方法、ファインダ装置の制御方法、撮像装置の制御プログラム及びファインダ装置の制御プログラム
JP2009124313A (ja) 電子カメラ
JP2006091915A (ja) 撮像装置
JP5279638B2 (ja) 撮像装置
JP2011035752A (ja) 撮像装置
JP3551932B2 (ja) 測距装置及びそれを用いた撮像装置
JP5183441B2 (ja) 撮像装置
JP2009302794A (ja) 撮像装置
JP2006030972A (ja) 撮像装置及び撮像方法
JP5861420B2 (ja) 電子カメラ
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP2005164669A (ja) デジタルカメラ
JP2006019852A (ja) 撮像装置およびズーム撮像方法およびプログラム
JP2008028591A (ja) 撮像装置における画像処理方法と撮像装置
JP2007174574A (ja) デジタル一眼レフレックスカメラ
JP2016086210A (ja) 像ぶれ補正装置を有する光学機器、カメラシステム
JP3670308B2 (ja) カメラ
JP2018107546A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NOKIA 2011 PATENT ASSETS TRUSTS CORPORATION

Free format text: FORMER OWNER: NOKIA OY

Effective date: 20120228

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Delaware

Applicant after: 2011 Intellectual Property Asset Trust

Address before: Delaware

Applicant before: NOKIA 2011 patent trust

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: NOKIA 2011 PATENT ASSETS TRUSTS CORPORATION TO: 2011 INTELLECTUAL PROPERTY ASSETS TRUST CORPORATION

TA01 Transfer of patent application right

Effective date of registration: 20120228

Address after: Delaware

Applicant after: NOKIA 2011 patent trust

Address before: Espoo, Finland

Applicant before: NOKIA Corp.

ASS Succession or assignment of patent right

Owner name: CORE WIRELESS LICENSING S.A.R.L.

Free format text: FORMER OWNER: 2011 INTELLECTUAL PROPERTY ASSET TRUST CORPORATION

Effective date: 20120426

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120426

Address after: Luxemburg Luxemburg

Applicant after: NOKIA Inc.

Address before: Delaware

Applicant before: 2011 Intellectual Property Asset Trust

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120620

Termination date: 20160507