CN102769718A - 用于图像稳定化的方法和系统 - Google Patents
用于图像稳定化的方法和系统 Download PDFInfo
- Publication number
- CN102769718A CN102769718A CN2012101134409A CN201210113440A CN102769718A CN 102769718 A CN102769718 A CN 102769718A CN 2012101134409 A CN2012101134409 A CN 2012101134409A CN 201210113440 A CN201210113440 A CN 201210113440A CN 102769718 A CN102769718 A CN 102769718A
- Authority
- CN
- China
- Prior art keywords
- imaging system
- exposure
- imageing sensor
- movement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Exposure Control For Cameras (AREA)
Abstract
一种用于感应在曝光周期期间相机移动的运动传感器。该相机具有图像传感器以形成一个或多个曝光。当移动在特定范围内时,曝光用于提供一个或多个帧,从而可以基于帧构造图像。在一个实施方式中,将曝光周期划分为多个短时间间隔,从而捕获多个图像帧,并且仅在相机的位置处于预定的范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小,从而减小各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止,那么所有或很多较短帧用于形成最终图像。
Description
本申请为申请号200780023427.1、申请日2007年5月7日、名称为“用于图像稳定化的方法和系统”的分案申请。
技术领域
本发明一般地涉及图像稳定化,并且更特别地涉及通过图像处理的图像稳定化。
背景技术
图像稳定化的问题追溯到摄影术的开始,并且该问题涉及这样的事实,即图像传感器需要足够的曝光时间来形成相当良好的图像。在曝光时间期间,相机的任何运动都引起投影在图像传感器上的图像的平移,其导致形成的图像的退化。与运动相关的退化称作运动模糊。在拍摄时使用一只或两只手握持相机,在相当长的曝光或合成时间期间几乎不可能避免不期望的相机运动。运动模糊在相机设置在高变焦比时,特别容易发生的是甚至很小的运动也可以显著退化所获取的图像的质量。在恢复运动模糊的图像中一个主要的困难归因于这样的事实:根据在曝光时间期间发生的实际相机运动,该运动模糊在图像之间有所不同。
正在进行的具有图像获取能力的消费者设备的开发和小型化增加了对于鲁棒性和有效图像稳定化方案的需求。这种需求基于以下两个主要因素:
1.在使用小型手持设备(比如相机电话)时,在合成时间期间避免不希望的运动的困难。
2.由于源自图像传感器小型化以及图像分辨率的增加导致的小像素区域而需要较长的合成时间。像素区域越小,每单位时间可以由像素捕获的光子越少,这样为了良好的结果需要更长的合成时间。
图像稳定化通常在称作单帧方案的技术中执行。单帧方案基于在长曝光时间期间捕获单个图像帧。这实际上是图像捕获的经典情况,其中获取的图像通常被运动模糊破坏,该运动模糊由曝光时间期间发生的运动造成。为了恢复图像,必须具有关于曝光时间期间发生的运动的非常准确的知识。因而该方法可能需要非常昂贵的运动传感器(陀螺仪),除了它们的成本以外,其在尺寸上也很大并且因此很难包含在小型设备中。此外,如果曝光时间长,那么从运动传感器输出导出的位置信息展现出相对于真实值的偏移误差。该误差随时间累积,从而在某一点可能显著地影响系统的结果。
在单帧方案中,已经使用多个方法来减小或消除运动模糊。在对相机运动的补偿中,光学图像稳定化通常包括侧向平移投影在图像传感器上的图像。图像的平移可以由以下四个通用技术之一获得:
透镜平移,该光学图像稳定化方法包括在基本上垂直于系统光轴的方向上移动该光学系统的一个或多个透镜元件;
图像传感器平移,该光学图像稳定化方法包括在基本上垂直于光学系统光轴的方向上移动图像传感器;
液体棱镜,该方法包括将两个平行板之间密封的液体层改变为契形,从而通过折射改变系统的光轴;以及
相机模块倾斜,该方法保持光学系统中的所有纽件不变,而倾斜整个模块,从而相对于场景(scene)平移光轴。
在上述图像稳定化技术中的任何一个中,需要致动器机构来影响光轴中的改变或图像传感器的平移。致动器机构通常是复杂的,这意味着它们昂贵并且在尺寸上很大。
另一个图像稳定化的方法是多帧方法。该方法基于将长曝光时间划分为多个较短时间间隔并且在那些较短时间间隔中捕获相同场景的多个图像帧。每帧的曝光时间很小,从而减小了各个帧的运动模糊退化。在捕获所有这些帧之后,在两个步骤中计算最终图像:
-登记步骤:相对于作为参考的所选图像中的一个登记所有图像帧,以及
-像素融合:基于所有各个帧中相应的值计算最终图像中每个像素的值。像素融合的一个简单方法可以计算每个像素的最终值作为各个帧中的其值的平均值。
典型多帧图像稳定化方案中主要问题包括:
1.图像登记中的复杂计算,以及
2.场景中的移动对象:如果在获取图像帧的时间的期间,在场景中存在正在移动的对象,则这些对象在最终图像中失真。失真存在于对象的粘合(paste)在一起的多个实例中。
希望提供用于图像稳定化的更简单的方法和系统。
发明内容
本发明涉及基于在较短时间间隔中捕获相同场景的单个图像帧或多个图像帧的多帧方法。捕获帧的数量通过由相机运动引起的运动模糊和实施方式的实现确定。
根据本发明的一个实施方式,将长曝光时间划分成多个较短时间间隔,从而捕获多个图像帧,并且仅将在相机位置处于预定范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小,从而减小了各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止,那么将所有或很多较短帧用于形成最终图像。如果相机不足够稳定,则使用一个或几个较短帧。
根据其他实施方式,对于图像传感器的曝光持续时间由曝光期间的相机运动确定。来自于多个曝光的多个捕获的帧可以用于形成最终图像。可替换地,仅从多个曝光中捕获单个帧并且该单个帧用于形成最终图像。
如果多个帧用于形成最终图像,则将这些帧中的相应像素的像素灰度(intensity)值相加从而获取最终图像。相加过程可以在图像传感器中或处理器中完成。
本发明使用运动传感器感应曝光时间期间的相机移动。如果相机移动超过了相对于参考点的预定范围,则丢弃在该大移动周期期间捕获的较短帧。可替换地,图像传感器在大移动周期期间不被有效曝光。可以通过机械快门、光阀或图像传感器中的电子电路切断曝光光线。根据本发明的帧选择或选择性曝光方法,不需要在像素融合过程中光学地或电子地平移较短帧中捕获的图像。
因此,本发明的第一方面提供在曝光周期期间对成像系统中获取的图像进行稳定化的方法。该方法包括:
为了获得一个或多个曝光,对投影在成像系统的图像传感器上的图像曝光至少部分曝光周期;
为了在所述曝光周期中获取相对于所述成像系统的初始位置的移动量,在所述曝光周期期间感应所述成像系统的移动;以及
基于在所述曝光周期中所述移动量处于预定移动范围内时获得的一个或多个曝光构造获取的图像。
根据一个实施方式,在移动量处于预定移动范围内时获得的一个或多个曝光形成曝光周期期间的单个图像帧,并且该方法进一步包括在曝光周期之后捕获单个图像帧用于构造获取的图像。
根据另一个实施方式,在移动量处于预定移动范围内时获得的一个或多个曝光分别地形成曝光周期期间的一个或多个图像帧,并且该方法进一步包括:至少在曝光周期期间捕获多个图像帧用于构造获取的图像。
根据不同的实施方式,曝光周期划分为多个较短时间周期并且在至少部分曝光周期期间获得的所述一个或多个曝光形成一个或多个图像侦,每个图像帧针对一个较短时间周期,所述方法进一步包括:至少在曝光周期期间捕获所述一个或多个图像帧;以及为了构造获取的图像,在移动量处于预定移动范围内时选择从一个或多个曝光中形成的捕获的图像帧。
本发明的第二方面提供一种成像系统,包括:
图像传感器,用于在曝光周期期间获得一个或多个曝光;
移动传感器,用于感应在曝光周期期间成像系统的移动,从而获得在曝光周期中相对于成像系统初始位置的移动量;以及
处理器,可操作地连接至图像传感器,用于基于在移动量处于预定的移动范围内时获得的一个或多个曝光构造图像。
成像系统进一步包括光学系统,用于在图像传感器上提供投影的图像,从而允许图像传感器在曝光周期期间获得一个或多个曝光,以及快门,与光学系统相关地定位,用于在移动量处于预定的移动范围之外时防止投影图像到达图像传感器。
可替换地,该成像系统进一步包括电子电路,其可操作地连接至图像传感器,用于在移动量处于预定的移动范围之外时防止图像传感器获得曝光。该电子电路可以提供信号以指示移动量是否处于预定的移动范围内,从而允许图像传感器仅在移动量处于预定的范围内时获得所述一个或多个曝光。
本发明的第三方面提供一种在成像系统中使用的图像稳定化模块,其中成像系统包括图像传感器;光学模块,该光学模块用于将图像投影在图像传感器上,从而允许图像传感器在曝光周期期间获得一个或多个曝光;以及处理器,可操作地连接至图像传感器,用于基于一个或多个曝光构造图像。图像稳定化模块包括:
移动传感器,用于感应曝光周期期间成像系统的移动;以及
装置,可操作地连接至移动传感器,用于在曝光周期中确定相对于成像系统初始位置的成像系统的移动量,以及用于向处理器提供指示移动量是否处于预定的移动范围内的信号,从而处理器仅在移动量处于预定的范围内时获得一个或多个曝光。
光快门可以用于在移动量处于预定的移动范围之外时防止投影的图像到达图像传感器。
本发明将在结合附图1至图9阅读说明书时交得明显。
附图说明
图1示出了由于相机的线性移动在图像传感器上的图像中的平移。
图2示出了由于相机的旋转移动在图像传感器上的图像中的平移。
图3示出了图像平移的距离与图像平移的角度改变的关系。
图4a示出了由于相机移动,在图像平面上投影的图像点的轨迹。
图4b示出了在图像平面上投影的图像点的轨迹以及不同的希望的曝光区域。
图4c示出了在图像平面上投影的图像点的轨迹以及另一希望的曝光区域。
图4d示出了在图像平面上投影的图像点的轨迹以及又一希望的曝光区域。
图5是示出了根据本发明的一个实施方式的如何读出曝光的时间图。
图6是示出了根据本发明的另一实施方式的如何读出曝光的时间图。
图7是示出了根据本发明的又一实施方式的如何读出曝光的时间图。
图8是示出了根据本发明的运动稳定化系统的示意图。
图9是示出了根据本发明的图像稳定化方法的流程图。
具体实施方式
使用小型手持设备,诸如相机电话来拍摄,设备相对于场景的移动在大部分时间中是不可避免的。如果曝光时间长,则发生图像模糊。图像模糊是图像平面中图像平移的结果。如图1所示,图像传感器上的图像点P由于相机相对于场景中的点S的线性移动而平移到点P′。图2示出了由于相机相对于点S的旋转运动而造成的图像平移。如果点P和点P′之间的图像平移距离D大于三个或四个像素,那么图像质量可能很差。因此,希望限制相机移动,从而图像平移处于预定的范围内,该预定的范围即一个或两个像素。图像平移距离不仅随相机移动而改变,而且随图像平面和透镜之间的焦距f改变。在具有变焦透镜的相机中,图像平移距离在透镜拉变时较大。
图像平移距离D可以涉及平移角度α,如图3所示。平移角度α约等于D/f。针对相机移动的相同量,平移角度α不随着焦距f而显著改变。
如果相机在长曝光时间期间不稳定,则图像平面中的图像点P可能响应于相机相对于场景的移动而环绕移动。通常,相机的用户尝试将相机瞄准场景。因此,尽管在长曝光时间期间相机移动,但是相同的图像不会偏离图像点P很远。图4a至图4d示出了在长曝光时间期间图像点的轨迹。当轨迹穿过其本身时,这指示相机在从某瞄准方向或位置移开后又移回到该相同的方向或位置。然而,轨迹可以穿过或可以不穿过初始的图像点P。
根据本发明的图像稳定化方法涉及基于在较短时间间隔中捕获相同场景的单个图像帧或多个图像帧的多帧方法。捕获帧的数量通过由相机运动引起的运动模糊和实施方式的实现确定。
根据本发明的一个实施方式,长曝光时间划分成多个短时间间隔,从而捕获多个图像帧并且仅将在相机的位置处于预定的范围内时捕获的图像帧用于形成最终图像。每帧的曝光时间很小,从而减小了各个帧的运动模糊退化。如果相机稳定并且相对于场景基本上静止,那么将所有或很多较短帧用于形成最终图像。如果相机不足够稳定,则使用一个或几个较短帧。
根据其他实施方式,对图像传感器的曝光持续时间由曝光期间的相机运动确定。来自多个曝光的多个捕获的帧可以用于形成最终图像。可替换地,仅从多个曝光中捕获单个帧并且将该单个帧用于形成最终图像。
如图4a所示,尽管在特定的曝光时间期间轨迹不通过图像点P,但是其可能通过图像点P初始所位于的像素。该像素通过由虚线矩形限定的区域指示并且该轨迹在t1通过该像素。在这种情况中,至少初始较短帧和t1处的较短帧可以用于形成最终图像。让我们将由虚线矩形限定的区域称作“希望的曝光区域”。
根据本发明,将其中图像点的轨迹通过希望的曝光区域的某些或所有较短帧用于形成最终图像。最终图像的清晰度取决于希望的曝光区域有多大。在数码相机中,较小的希望的曝光区域是一个像素。然而,希望的曝光区域可以大于一个像素。当希望的曝光区域增大时,轨迹更可能通过希望的曝光区域。如图4b所示,轨迹在t2再次通过希望的曝光区域。因此,至少三个较短帧可以用于形成最终图像。
可替换地,在形成最终图像中,替代希望的曝光区域,希望的曝光角度范围可以用于选择较短帧。希望的曝光角度范围可以通过希望的曝光区域除以相机的焦距f限定。在图4c中,希望的曝光角度范围由虚线圆圈界定。在图4d中,希望的曝光角度范围由虚线椭圆界定。
应该指出,针对相同的相机移动,存在不止一种形成最终图像的方式,如图5至图7所示。在图5(d)、图6(d)和图7(d)中示出了相机移动。如图所示,相机移动的某部分处于描述为“希望的曝光区域“(或角度)的预定的范围内。仅在相机移动处于预定的范围内时对图像传感器的曝光被使用。当激活相机上的快门按钮时,曝光开始,如图5(a)、图6(a)和图7(a)所示。在图5(b)和图6(b)中,图像传感器仅在相机移动处于预定的范围内时有效曝光。如果相机移动处于预定的范围之外,则由机械或光学快门、或者由电子电路或图像传感器内的多个电子元件切断曝光光线。在诸如电荷耦合器件(CCD)的图像传感器中,电荷将在曝光周期期间在像素中聚积以形成图像。通常,每个像素中聚积的电荷读出作为像素灰度。在每个曝光周期之后,捕获帧,如图6(c)所示。如图6(d)所示,相机移动的轨迹移出希望的曝光区域三次,并且因此在快门按扭被激活之后存在三个曝光。因而,分别地以及单独地捕获三个帧以用于最终图像。在该实施方式中,在可操作地连接至图像传感器的处理器中将像素灰度相加。
可替换地,仅在拍摄后读出单个帧,如图5(c)所示。该单个帧有效地将三个不同曝光周期中的像素灰度相加。
在不同的实施方式中,将用于拍摄的长曝光时间划分成多个短周期并且针对每个短周期中的曝光捕获帧。在拍摄时读出针对每个捕获的帧的图像。如图7(c)所示,仅将针对在相机移动处于预定的范围内时的曝光捕获的帧用于相加。在图7(c)中,使用的帧标记为“OK”并且丢弃的帧标记为“NG“。在该实施方式中,将使用的帧的像素灰度在可操作地连接到图像传感器的处理器中相加。尽管图7(b)示出了有效光快门周期,但是该实施方式不需要快门。
为了选择用于形成最终图像的较短帧,本发明使用运动传感器,诸如陀螺仪或加速计,以在相机运动处于关于初始位置的希望的曝光角度范围之外或希望的曝光区域之外时选择性地切断图像传感器。如图8所示,本发明的成像系统10包括一个或多个透镜20以将图像投影在图像传感器30上。图像/信号处理器40配置为读出在图像传感器上形成的图像。当照明充足时,一个短帧可能足以捕获场景的图像。在低光照情况中,将很多短帧用于捕获多个短曝光图像,从而短帧中的像素灰度可以由图像/信号处理器40相加以形成最终图像。可操作地连接至图像/信号处理器40的运动传感器50向处理器40发送信号,以在相机移动处于希望的曝光角度范围之外或希望的曝光区域之外时有效地切断图像传感器30。曝光光线例如可以由机械快门或光阀55切断。
在很多成像系统中,曝光时间随照明改变。在照明较低时使用较长的曝光时间。出于该目的,使用光传感器60。根据本发明,在成像系统中,曝光时间也可以取决于照明。因此,在低光照情况中,曝光时间可以增加从而增加图像点的轨迹通过希望的曝光区域或角度范围的可能性。然而,还可能在低光照情况中增加希望的曝光角度范围或希望的曝光区域。
总之,本发明使用单个捕获的帧或多个捕获的帧形成最终图像。如果多帧用于形成最终图像,则帧中对应像素的像素灰度值相加,从而获得最终图像。相加过程可以在图像传感器中或处理器中完成。全稳定化过程概括在图9所示的流程图中。如图9中流程图100所示,在步骤100,当激活相机上的快门按钮时,开始投影到图像传感器的图像的曝光。在步骤120,为了确定相机移动是否处于希望的曝光区域或角度内,立即开始相机移动感应。在步骤130,在曝光周期期间或曝光周期期间捕获图像帧。在步骤140,将从在移动处于希望的曝光区域或角度内时的曝光形成的图像帧用于构造最终图像。在本发明的一个实施方式中,在移动超出希望的曝光区域或角度时,防止投影的图像到达图像传感器。仅使用图像传感器上的像素子集确定相机的移动是有优势的。
本发明使用运动传感器来感应曝光时间期间的相机移动。如果相机移动超过了相对于参考点的预定范围,那么丢弃在该大移动周期期间捕获的较短帧。可替换地,图像传感器在大移动周期期间不被有效曝光。可以通过机械快门、光阀或图像传感器中的电子电路切断曝光光线。根据本发明的帧选择或选择性曝光方法,在像素融合过程中不需要光学地或电子地平移较短帧中捕获的图像。
因此,尽管已经相对于本发明的一个或多个实施方式描述了本发明,但是本领域的技术人员应该理解在不脱离本发明的范围的情况下,可以在实施方式的形式和细节方面进行前述和各种其他改变、省略和变形。
Claims (18)
1.一种用于构造图像的方法,包括:
在检测到成像系统的快门按钮激活时,开始曝光周期;
在曝光周期期间感测所述成像系统的移动,以便获得所述成像系统相对于所述成像系统的初始位置的移动量;
在所述曝光周期期间捕获多个帧,使得基于所述成像系统的相应移动量是否处于预定的移动范围内,每个被捕获的帧都被标记为指示被捕获的帧是否将被丢弃;以及
基于没有被标记为将被丢弃的至少一个被捕获的帧,构造图像。
2.如权利要求1所述的方法,其中,所述曝光周期的长度随照明而变化。
3.如权利要求1所述的方法,其中,所述成像系统的移动量是使用图像传感器上的像素子集来确定。
4.一种用于构造图像的方法,包括:
在检测到成像系统的快门按钮激活时,开始曝光周期;
在曝光周期期间感测所述成像系统的移动,以便获得所述成像系统相对于所述成像系统的初始位置的移动量;
控制所述成像系统,使得当所述成像系统的移动量处于预定的移动范围以内时,图像传感器被有效地曝光,当所述成像系统的移动量不是处于所述预定的移动范围以内时,图像传感器没有被有效地曝光,并且当所述成像的移动量回到所述预定的移动范围以内时,所述图像传感器被有效地重新曝光;以及
基于至少一个曝光来构造图像,每个曝光都是在所述图像传感器是曝光周期期间被曝光和被重新曝光中的一个的情况下获得的。
5.如权利要求2所述的方法,其中,针对每个曝光捕获帧,并且所述图像基于所捕获的帧被构造。
6.如权利要求2所述的方法,其中,所述图像是通过将每个曝光期间所累积的像素灰度累积起来而构造。
7.如权利要求4-6中任一项所述的方法,其中,通过对机械快门、光学快门以及所述图像传感器内的至少一个电子元件中的至少一个进行控制,使得所述图像传感器没有被有效地曝光。
8.如权利要求4-6中任一项所述的方法,其中,所述曝光周期的长度随照明而变化。
9.如权利要求4-6中任一项所述的方法,其中,所述成像系统的移动量是使用图像传感器上的像素子集来确定。
10.一种成像系统,包括:
移动传感器,用于在曝光周期期间感测所述成像系统的移动,以便获得所述成像系统相对于所述成像系统的初始位置的移动量,该初始位置被确定为曝光周期的开始,并且在检测到所述成像系统的快门按钮激活时,所述曝光周期开始;
图像传感器,用于在所述曝光周期期间捕获多个帧,使得基于所述成像系统的相应移动量是否处于预定的移动范围内,每个被捕获的帧都被标记为指示被捕获的帧是否将被丢弃;以及
处理器,被配置为控制所述成像系统的整体操作,并基于没有被标记为将被丢弃的至少一个被捕获的帧来构造图像。
11.如权利要求10所述的成像系统,其中,所述曝光周期的长度随照明而变化。
12.如权利要求10所述的成像系统,其中,所述成像系统的移动量是使用所述图像传感器上的像素子集来确定。
13.一种成像系统,包括:
移动传感器,用于在曝光周期期间感测所述成像系统的移动,以便获得所述成像系统相对于所述成像系统的初始位置的移动量,该初始位置被确定为曝光周期的开始,并且在检测到所述成像系统的快门按钮激活时,所述曝光周期开始;
处理器,被配置为:
控制所述成像系统,使得当所述成像系统的移动量处于预定的移动范围以内时,图像传感器被有效地曝光,当所述成像系统的移动量不是处于所述预定的移动范围以内时,图像传感器没有被有效地曝光,并且当所述成像的移动量回到所述预定的移动范围以内时,所述图像传感器被有效地重新曝光;以及
基于至少一个曝光来构造图像,每个曝光都是在所述图像传感器是曝光周期期间被曝光和被重新曝光中的一个的情况下获得的。
14.如权利要求13所述的成像系统,其中,针对每个曝光捕获帧,并且所述处理器基于所捕获的帧来构造所述图像。
15.如权利要求13所述的成像系统,其中,所述处理器通过将每个曝光期间所累积的像素灰度进行累积来构造所述图像。
16.如权利要求13-15中任一项所述的成像系统,其中,通过对机械快门、光学快门以及所述图像传感器内的至少一个电子元件中的至少一个进行控制,所述图像传感器没有被有效地曝光。
17.如权利要求13-15中任一项所述的成像系统,其中,所述曝光周期的长度随照明而变化。
18.如权利要求13-15中任一项所述的成像系统,其中,所述移动传感器基于图像传感器上的像素子集来确定所述成像系统的移动量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/474,047 US7952612B2 (en) | 2006-06-22 | 2006-06-22 | Method and system for image construction using multiple exposures |
US11/474,047 | 2006-06-22 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800234271A Division CN101473266B (zh) | 2006-06-22 | 2007-05-07 | 用于图像稳定化的方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102769718A true CN102769718A (zh) | 2012-11-07 |
Family
ID=38833114
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800234271A Expired - Fee Related CN101473266B (zh) | 2006-06-22 | 2007-05-07 | 用于图像稳定化的方法和系统 |
CN2012101134409A Pending CN102769718A (zh) | 2006-06-22 | 2007-05-07 | 用于图像稳定化的方法和系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800234271A Expired - Fee Related CN101473266B (zh) | 2006-06-22 | 2007-05-07 | 用于图像稳定化的方法和系统 |
Country Status (6)
Country | Link |
---|---|
US (3) | US7952612B2 (zh) |
EP (2) | EP2428838A1 (zh) |
JP (6) | JP5284954B2 (zh) |
CN (2) | CN101473266B (zh) |
ES (1) | ES2523462T3 (zh) |
WO (1) | WO2007148169A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109983758A (zh) * | 2016-12-02 | 2019-07-05 | 索尼半导体解决方案公司 | 成像元件、成像方法以及电子设备 |
CN113519152A (zh) * | 2019-03-04 | 2021-10-19 | 高通股份有限公司 | 紧密同步的光学图像稳定(ois)中的翻滚补偿和模糊减少 |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7952612B2 (en) | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
US7548689B2 (en) * | 2007-04-13 | 2009-06-16 | Hewlett-Packard Development Company, L.P. | Image processing method |
US7734161B2 (en) | 2007-04-19 | 2010-06-08 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Image stabilization with adaptive shutter control |
JP2009017030A (ja) * | 2007-07-02 | 2009-01-22 | Sony Corp | 画像撮像装置、撮像制御方法 |
TWI381243B (zh) * | 2008-09-10 | 2013-01-01 | E Ten Information Sys Co Ltd | 可攜式電子裝置及其運作方法 |
CN101685236B (zh) * | 2008-09-22 | 2012-01-25 | 倚天资讯股份有限公司 | 可携式电子装置及其运作方法 |
US9628711B2 (en) * | 2011-12-15 | 2017-04-18 | Apple Inc. | Motion sensor based virtual tripod method for video stabilization |
US20130176463A1 (en) * | 2012-01-09 | 2013-07-11 | Nokia Corporation | Method and Apparatus for Image Scaling in Photography |
US9055222B2 (en) * | 2012-02-24 | 2015-06-09 | Htc Corporation | Electronic device and method for image stabilization |
US9451163B2 (en) * | 2012-05-11 | 2016-09-20 | Qualcomm Incorporated | Motion sensor assisted rate control for video encoding |
JP5962974B2 (ja) * | 2012-06-04 | 2016-08-03 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
JP6082274B2 (ja) * | 2012-06-08 | 2017-02-15 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
JP5974913B2 (ja) * | 2013-01-25 | 2016-08-23 | 富士通株式会社 | 撮像方法、撮像装置及び撮像プログラム |
US9955084B1 (en) * | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
US9424598B1 (en) | 2013-12-02 | 2016-08-23 | A9.Com, Inc. | Visual search in a controlled shopping environment |
US9536161B1 (en) * | 2014-06-17 | 2017-01-03 | Amazon Technologies, Inc. | Visual and audio recognition for scene change events |
KR20160019215A (ko) * | 2014-08-11 | 2016-02-19 | 삼성전자주식회사 | 촬영 장치 및 그 촬영 방법 |
CN104243819B (zh) * | 2014-08-29 | 2018-02-23 | 小米科技有限责任公司 | 照片获取方法及装置 |
US9843789B2 (en) * | 2014-09-08 | 2017-12-12 | Panasonic Intellectual Property Management Co., Ltd. | Still-image extracting method and image processing device for implementing the same |
KR102229152B1 (ko) | 2014-10-16 | 2021-03-19 | 삼성전자주식회사 | 이미지 촬영 장치 |
JP6803335B2 (ja) | 2014-12-15 | 2020-12-23 | ジーブイビービー ホールディングス エス.エイ.アール.エル. | 時間的分解能及び知覚される画像鮮鋭度を改善した画像捕捉 |
CN104994305B (zh) * | 2015-06-12 | 2018-06-05 | 青岛海信电器股份有限公司 | 一种拍照方法及设备 |
CN105430265A (zh) * | 2015-11-27 | 2016-03-23 | 努比亚技术有限公司 | 一种增大摄像头成像范围的方法及装置 |
US11956544B2 (en) | 2016-03-11 | 2024-04-09 | Apple Inc. | Optical image stabilization with voice coil motor for moving image sensor |
JP6710775B2 (ja) | 2016-03-11 | 2020-06-17 | アップル インコーポレイテッドApple Inc. | 画像センサを移動させるボイスコイルモータを有する光学画像安定化 |
US10437023B2 (en) | 2016-03-28 | 2019-10-08 | Apple Inc. | Folded lens system with three refractive lenses |
CN105898141B (zh) * | 2016-04-01 | 2017-09-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN105847686B (zh) * | 2016-04-01 | 2019-10-15 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
US10306148B2 (en) | 2016-08-30 | 2019-05-28 | Microsoft Technology Licensing, Llc | Motion triggered gated imaging |
US11190703B2 (en) * | 2016-09-30 | 2021-11-30 | Nikon Corporation | Image-capturing apparatus, program, and electronic device that controls image sensor based on moving velocity |
KR102649220B1 (ko) * | 2017-02-06 | 2024-03-20 | 삼성전자주식회사 | 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법 |
US10890734B1 (en) | 2017-03-29 | 2021-01-12 | Apple Inc. | Camera actuator for lens and sensor shifting |
US10863094B2 (en) | 2017-07-17 | 2020-12-08 | Apple Inc. | Camera with image sensor shifting |
US10462370B2 (en) | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
JP7023676B2 (ja) * | 2017-11-20 | 2022-02-22 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US10171738B1 (en) | 2018-05-04 | 2019-01-01 | Google Llc | Stabilizing video to reduce camera and face movement |
US11122205B1 (en) * | 2018-09-14 | 2021-09-14 | Apple Inc. | Camera actuator assembly with sensor shift flexure arrangement |
JP7034052B2 (ja) * | 2018-11-02 | 2022-03-11 | 京セラ株式会社 | 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム |
JP7187269B2 (ja) * | 2018-11-05 | 2022-12-12 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US11258951B2 (en) * | 2019-06-27 | 2022-02-22 | Motorola Mobility Llc | Miniature camera device for stabilized video using shape memory alloy actuators |
CN110531578B (zh) * | 2019-09-02 | 2021-04-13 | 深圳大学 | 多画幅分幅成像方法、装置和设备 |
JP7265642B2 (ja) * | 2019-10-29 | 2023-04-26 | 富士フイルム株式会社 | 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム |
US11190689B1 (en) | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
KR102380841B1 (ko) * | 2020-09-18 | 2022-03-31 | 삼성전기주식회사 | 카메라 모듈 |
US11575835B2 (en) | 2020-09-24 | 2023-02-07 | Apple Inc. | Multi-axis image sensor shifting system |
CN112672059B (zh) * | 2020-12-28 | 2022-06-28 | 维沃移动通信有限公司 | 一种拍摄方法及拍摄装置 |
CN115694089A (zh) * | 2021-07-27 | 2023-02-03 | 北京小米移动软件有限公司 | 致动器、摄像头模组和电子设备 |
CN115633262B (zh) * | 2022-12-21 | 2023-04-28 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003101862A (ja) * | 2001-09-21 | 2003-04-04 | Ricoh Co Ltd | 撮像装置および撮像方法 |
US20040160525A1 (en) * | 2003-02-14 | 2004-08-19 | Minolta Co., Ltd. | Image processing apparatus and method |
CN1638440A (zh) * | 2004-01-06 | 2005-07-13 | 株式会社尼康 | 电子照相机 |
US20050248660A1 (en) * | 2004-05-10 | 2005-11-10 | Stavely Donald J | Image-exposure systems and methods |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05107622A (ja) * | 1991-02-20 | 1993-04-30 | Asahi Optical Co Ltd | 手ブレ写真防止カメラ |
JP3163715B2 (ja) * | 1992-01-14 | 2001-05-08 | 株式会社ニコン | ブレ防止装置 |
JPH095816A (ja) | 1995-06-20 | 1997-01-10 | Olympus Optical Co Ltd | 手振れ軽減カメラ |
US6429895B1 (en) * | 1996-12-27 | 2002-08-06 | Canon Kabushiki Kaisha | Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function |
US6044228A (en) * | 1997-09-09 | 2000-03-28 | Minolta Co., Ltd. | Camera capable of shake correction |
JPH11317904A (ja) * | 1998-05-01 | 1999-11-16 | Canon Inc | 撮像装置及びその制御方法 |
US6487369B1 (en) * | 1999-04-26 | 2002-11-26 | Olympus Optical Co., Ltd. | Camera with blur reducing function |
JP2000305123A (ja) * | 1999-04-26 | 2000-11-02 | Olympus Optical Co Ltd | ブレ軽減機能付きカメラ |
JP4436506B2 (ja) | 1999-12-08 | 2010-03-24 | オリンパス株式会社 | 電子カメラ装置 |
US6731799B1 (en) * | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
JP2002077706A (ja) * | 2000-08-29 | 2002-03-15 | Nikon Corp | 撮像装置および撮像方法 |
JP2002094839A (ja) * | 2000-09-20 | 2002-03-29 | Matsushita Electric Ind Co Ltd | 電子スチルカメラ |
JP2002112100A (ja) * | 2000-09-28 | 2002-04-12 | Nikon Corp | 撮像装置 |
JP2002118780A (ja) * | 2000-10-05 | 2002-04-19 | Ricoh Co Ltd | 手振れ補正機能付き撮像装置 |
JP2002116477A (ja) * | 2000-10-11 | 2002-04-19 | Ricoh Co Ltd | 撮像装置 |
JP2002311471A (ja) | 2001-04-13 | 2002-10-23 | Fuji Photo Optical Co Ltd | 防振装置 |
CN100359923C (zh) * | 2001-09-07 | 2008-01-02 | 英特图形软件技术公司 | 使用颜色匹配的图像稳定化 |
US7307653B2 (en) | 2001-10-19 | 2007-12-11 | Nokia Corporation | Image stabilizer for a microcamera module of a handheld device, and method for stabilizing a microcamera module of a handheld device |
JP2003304492A (ja) * | 2002-02-08 | 2003-10-24 | Canon Inc | 画像処理装置 |
JP2004007220A (ja) * | 2002-05-31 | 2004-01-08 | Canon Inc | 振れ補正カメラ |
JP2004201247A (ja) * | 2002-12-20 | 2004-07-15 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP4224690B2 (ja) * | 2002-12-27 | 2009-02-18 | ソニー株式会社 | 記録方法、記録装置、再生方法、再生装置および撮像装置 |
US7212230B2 (en) * | 2003-01-08 | 2007-05-01 | Hewlett-Packard Development Company, L.P. | Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera |
WO2004077820A1 (ja) * | 2003-02-25 | 2004-09-10 | Matsushita Electric Industrial Co. Ltd. | 画像撮像処理方法および画像撮像装置 |
JP2004357202A (ja) * | 2003-05-30 | 2004-12-16 | Canon Inc | 撮影装置 |
US7209601B2 (en) * | 2003-07-22 | 2007-04-24 | Omnivision Technologies, Inc. | CMOS image sensor using high frame rate with frame addition and movement compensation |
DE112004002147D2 (de) * | 2003-09-04 | 2006-07-13 | Birgit Dolde | Verfahren und Vorrichtung zur individuellen, ortsunabhängigen Gestaltung von Bildern, Karten und dergleichen |
WO2005066897A1 (ja) * | 2004-01-06 | 2005-07-21 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2005277812A (ja) * | 2004-03-25 | 2005-10-06 | Canon Inc | 手振れ低減装置を持ったデジタルカメラ装置および画像再生装置 |
JP2006109079A (ja) * | 2004-10-05 | 2006-04-20 | Olympus Corp | 電子カメラ |
US7639888B2 (en) * | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts |
JP4487191B2 (ja) * | 2004-12-24 | 2010-06-23 | カシオ計算機株式会社 | 画像処理装置および画像処理プログラム |
US20060182430A1 (en) * | 2005-02-15 | 2006-08-17 | Stavely Donald J | Camera exposure program coupled to image stabilization capability |
JP4708479B2 (ja) | 2005-09-14 | 2011-06-22 | ノキア コーポレイション | 動き主導のマルチショット画像安定化を実現するためのシステム及び方法 |
CN100389601C (zh) * | 2005-10-09 | 2008-05-21 | 北京中星微电子有限公司 | 一种视频电子防抖的装置 |
JP2007300595A (ja) * | 2006-04-06 | 2007-11-15 | Winbond Electron Corp | 静止画像撮影の手ブレ回避方法 |
WO2007119680A1 (ja) * | 2006-04-11 | 2007-10-25 | Panasonic Corporation | 撮像装置 |
US7952612B2 (en) | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
-
2006
- 2006-06-22 US US11/474,047 patent/US7952612B2/en not_active Ceased
-
2007
- 2007-05-07 CN CN2007800234271A patent/CN101473266B/zh not_active Expired - Fee Related
- 2007-05-07 CN CN2012101134409A patent/CN102769718A/zh active Pending
- 2007-05-07 ES ES07734490.1T patent/ES2523462T3/es active Active
- 2007-05-07 WO PCT/IB2007/001174 patent/WO2007148169A1/en active Application Filing
- 2007-05-07 EP EP11192332A patent/EP2428838A1/en not_active Withdrawn
- 2007-05-07 EP EP07734490.1A patent/EP2035891B1/en not_active Not-in-force
- 2007-05-07 JP JP2009515976A patent/JP5284954B2/ja not_active Expired - Fee Related
-
2012
- 2012-11-07 JP JP2012245547A patent/JP2013062849A/ja active Pending
- 2012-11-07 JP JP2012245578A patent/JP2013034247A/ja active Pending
-
2013
- 2013-05-27 JP JP2013111068A patent/JP2013176160A/ja active Pending
- 2013-05-27 JP JP2013111017A patent/JP2013211898A/ja active Pending
- 2013-05-29 US US13/904,351 patent/USRE46239E1/en active Active
- 2013-07-08 JP JP2013142768A patent/JP2013214096A/ja active Pending
-
2016
- 2016-11-15 US US15/351,832 patent/USRE48552E1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003101862A (ja) * | 2001-09-21 | 2003-04-04 | Ricoh Co Ltd | 撮像装置および撮像方法 |
US20040160525A1 (en) * | 2003-02-14 | 2004-08-19 | Minolta Co., Ltd. | Image processing apparatus and method |
CN1638440A (zh) * | 2004-01-06 | 2005-07-13 | 株式会社尼康 | 电子照相机 |
US20050248660A1 (en) * | 2004-05-10 | 2005-11-10 | Stavely Donald J | Image-exposure systems and methods |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109983758A (zh) * | 2016-12-02 | 2019-07-05 | 索尼半导体解决方案公司 | 成像元件、成像方法以及电子设备 |
US11095816B2 (en) | 2016-12-02 | 2021-08-17 | Sony Semiconductor Solutions Corporation | Image pickup element, image pickup method, and electronic device for image stabilization |
CN113519152A (zh) * | 2019-03-04 | 2021-10-19 | 高通股份有限公司 | 紧密同步的光学图像稳定(ois)中的翻滚补偿和模糊减少 |
CN113519152B (zh) * | 2019-03-04 | 2023-05-16 | 高通股份有限公司 | 紧密同步的光学图像稳定(ois)中的翻滚补偿和模糊减少 |
Also Published As
Publication number | Publication date |
---|---|
JP2013034247A (ja) | 2013-02-14 |
US7952612B2 (en) | 2011-05-31 |
WO2007148169A1 (en) | 2007-12-27 |
CN101473266B (zh) | 2012-06-20 |
EP2428838A1 (en) | 2012-03-14 |
EP2035891A4 (en) | 2009-12-16 |
USRE48552E1 (en) | 2021-05-11 |
ES2523462T3 (es) | 2014-11-26 |
CN101473266A (zh) | 2009-07-01 |
JP2013211898A (ja) | 2013-10-10 |
JP5284954B2 (ja) | 2013-09-11 |
EP2035891B1 (en) | 2014-09-10 |
USRE46239E1 (en) | 2016-12-13 |
JP2009542076A (ja) | 2009-11-26 |
JP2013176160A (ja) | 2013-09-05 |
JP2013062849A (ja) | 2013-04-04 |
JP2013214096A (ja) | 2013-10-17 |
EP2035891A1 (en) | 2009-03-18 |
US20070296821A1 (en) | 2007-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101473266B (zh) | 用于图像稳定化的方法和系统 | |
US9426350B2 (en) | Image capturing apparatus and control method thereof | |
CN100478728C (zh) | 用于图像拍摄设备的系统和方法 | |
KR102515482B1 (ko) | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 | |
JP5652157B2 (ja) | 撮像装置、画像処理方法、並びにコンピューター・プログラム | |
JP5484617B2 (ja) | 撮像装置 | |
JP2006020111A (ja) | カメラ | |
JP2011035752A (ja) | 撮像装置 | |
JP2003101862A (ja) | 撮像装置および撮像方法 | |
JP3551932B2 (ja) | 測距装置及びそれを用いた撮像装置 | |
JP2011040990A (ja) | 撮像装置 | |
JP5183441B2 (ja) | 撮像装置 | |
JP2006030972A (ja) | 撮像装置及び撮像方法 | |
JP7102301B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
JP2012099887A (ja) | 撮像装置 | |
JP2006019852A (ja) | 撮像装置およびズーム撮像方法およびプログラム | |
JP2008104070A (ja) | カメラ付き携帯機器とカメラ付き携帯機器のためのプログラム | |
JP2008028591A (ja) | 撮像装置における画像処理方法と撮像装置 | |
JP5131554B2 (ja) | 撮像装置、及びプログラム | |
JP2007174574A (ja) | デジタル一眼レフレックスカメラ | |
WO2019181579A1 (ja) | カメラ、撮像方法、及びプログラム | |
JP2016086210A (ja) | 像ぶれ補正装置を有する光学機器、カメラシステム | |
JP3670308B2 (ja) | カメラ | |
JP2020028079A (ja) | 撮像装置及、画像処理装置、それらの制御方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1177072 Country of ref document: HK |
|
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121107 |
|
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1177072 Country of ref document: HK |