CN101300830B - 用于实现运动驱动的多张拍摄图像稳定性的系统和方法 - Google Patents
用于实现运动驱动的多张拍摄图像稳定性的系统和方法 Download PDFInfo
- Publication number
- CN101300830B CN101300830B CN2005800519879A CN200580051987A CN101300830B CN 101300830 B CN101300830 B CN 101300830B CN 2005800519879 A CN2005800519879 A CN 2005800519879A CN 200580051987 A CN200580051987 A CN 200580051987A CN 101300830 B CN101300830 B CN 101300830B
- Authority
- CN
- China
- Prior art keywords
- motion
- time
- camera
- integration
- catching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
- H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
一种用于使用照相机或者照相机模块捕获图像的改进的系统和方法。在本发明中,基于关于照相机运动的存在或者不存在的知识来控制所摄取的图像拍摄的数量以及每张图像拍摄的积分时间。无论何时检测到运动超过预定运动阈值,都结束当前图像拍摄的积分阶段,并开始下一图像拍摄的积分。因此本发明适用于在曝光期间的实际照相机运动。如果不存在照相机运动,则捕获单张长曝光的图像拍摄。如果存在照相机运动,则根据照相机运动的程度在多张拍摄之间划分总曝光时间。
Description
技术领域
本发明通常涉及照相机和照相机模块领域。更具体地,本发明涉及用于改进照相机和照相机模块中的图像稳定性的系统。
背景技术
自摄影术的开始,图像稳定性就已经成为一贯的问题。即使照相机技术发展到现代,确保不会因照相机运动而使照片模糊的难题仍然是个问题。在数字照相机中,图像稳定的问题源于这样的事实,即任何已知的图像传感器都需要在此处被称为积分时间(integrationtime)的时间周期内将图像投影到传感器上。照相机在该时间期间的任何运动致使投影到传感器上的图像的移位,从而导致最终图像的质量降低。此处将该质量降低称为运动模糊。
恢复运动模糊的图像的主要困难之一涉及到这样的事实,即在每个质量降低的图像中运动模糊是不同的。运动模糊的等级取决于在曝光时间期间发生的照相机运动。
具有图像获取能力的消费者设备的微型化以及正在进行的发展增加了对于稳固的和有效的图像稳定性解决方案的需求。这种需求由两个主要因素推动。第一因素是当使用诸如照相电话的小型手持设备时避免在积分时间期间不期望运动的固有困难。第二因素是因小像素区域而引起需要更长的积分时间,该小像素区域是由图像传感器的微型化以及图像分辨率的增加而引起的。像素区域越小,像素每秒可以捕获的光子越少。因此,得到满意结果需要更长的积分时间。
目前,存在两种类型的用于解决图像稳定性的传统解决方案。这些解决方案被称作单张拍摄和多张拍摄解决方案。单张拍摄解决方案是基于在长曝光时间期间捕获单张图像拍摄的解决方案。这是用于图像捕获的经典系统,其中所捕获的图像通常因曝光时间期间发生的运动所导致的运动模糊被破坏。为了恢复图像,必须具有关于在曝光时间期间所发生的运动的非常准确的知识。因此,该方法可能需要高价的运动传感器(即,以陀螺仪形式),该运动传感器在尺寸上也较大并因此难以包括在小型设备中。此外,如果曝光时间长,那么从运动传感器输出导出的位置信息展现出相对于真实值的偏差漂移误差。偏差漂移误差随时间而累积,使得该过程的结果可能随着时间而受到显著破坏。
若干机构已经在高端照相机中实现了特定类型的单张拍摄解决方案。该方法涉及通过移动光学器件或者传感器来对运动进行补偿,以便在曝光时间期间保持图像被投影到传感器的相同位置上。然而,该解决方案还遭受系统漂移误差,因此对于长曝光时间该方案是不实用的。
相反,多张拍摄方案建立在通过捕获相同景物的若干图像拍摄而将长曝光时间划分成若干较短的时间间隔的基础上.针对每张拍摄的曝光时间很小,以便减少单独拍摄的运动模糊质量降低.在捕获到所有这些拍摄后,以两个步骤来计算最终图像.第一步骤包括相对于第一张图像拍摄配准(register)所有图像拍摄.该步骤被称做配准步骤.第二步骤,被称作像素融合,包括基于每个单独拍摄中的像素值来计算最终图像中每个像素的值.一个简单的像素融合方法包括将每个像素的最终值计算为单独拍摄中像素值的平均.
尽管解决了上述中的某些问题,但是多张拍摄解决方案需要大量的计算资源,以便在短时间间隔期间捕获若干高分辨率帧。此外,这些方法还需要大量的存储器,以便在像素融合步骤之前存储所捕获的图像拍摄。在存储器资源可能非常有限的较小设备中,这实现起来可能代价特别高。
发明内容
本发明提供了一种在多张拍摄和单张拍摄解决方案之间的混合方式,以用于图像捕获。在本发明中,基于关于任何照相机运动的存在或者不存在的知识来控制所摄取的图像拍摄的数量以及每张图像拍摄的积分时间。无论何时检测到运动,都结束当前图像拍摄的积分阶段,并开始下一图像拍摄的积分。因此本发明适用于在曝光期间的实际照相机运动。如果不存在照相机运动,则捕获单张长曝光的图像拍摄。如果存在照相机运动,则根据照相机运动的程度在多张拍摄之间划分总曝光时间。
本发明包括一种使用照相机在图像捕获周期期间捕获图像的方法。所述方法包括开始积分阶段以便捕获帧。如果在照相机中检测到超过预定运动阈值的运动,或者如果达到预定积分周期的结束,则结束积分阶段并保存所捕获的帧。如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间,则继续捕获和保存帧,直到积分阶段的总时间达到图像捕获周期的时间为止,此后通过组合每个所捕获的帧来生成最终图片。
本发明还包括一种用于使用照相机在图像捕获周期期间捕获图像的计算机程序产品。该计算机程序产品包括:用于开始积分阶段以便捕获帧的计算机代码;用于如果在照相机中检测到超过预定运动阈值的运动或者如果达到预定积分周期的结束,则结束积分阶段并保存所捕获的帧的计算机代码;用于如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间,则继续捕获和保存帧直到积分阶段的总时间达到图像捕获周期的时间为止的计算机代码;以及用于通过组合每个所捕获的帧来生成最终图片的计算机代码。
本发明还进一步包括一种电子设备,所述电子设备包括处理器和操作性地连接到所述处理器的存储器单元。所述存储器单元包括:用于开始积分阶段以便捕获帧的计算机代码;用于如果在照相机中检测到超过预定运动阈值的运动或者如果达到预定积分周期的结束,则结束积分阶段并保存所捕获的帧的计算机代码;用于如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间,则继续捕获和保存帧直到积分阶段的总时间达到图像捕获周期的时间为止的计算机代码;以及用于通过组合每个所捕获的帧来生成最终图片的计算机代码。
本发明还包括一种照相机模块。所述照相机模块包括:透镜,安置用于聚焦图像;传感器单元,用于接收由所述透镜聚焦的图像;处理器,操作性地连接至所述传感器单元;以及存储器单元,操作性地连接到所述处理器。所述存储器单元包括:用于积分阶段以便捕获帧的计算机代码;用于如果在照相机模块中检测到超过预定运动阈值的运动或者如果达到预定积分周期的结束,则结束积分阶段并保存所捕获的帧的计算机代码;用于如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间,则继续捕获和保存帧直到积分阶段的总时间达到图像捕获周期的时间为止的计算机代码;以及用于通过组合每个所捕获的帧来生成最终图片的计算机代码。
本发明进一步包括一种用于在图像捕获周期期间使用照相机模块捕获图像的计算机程序。该计算机程序包括:用于开始积分阶段以便捕获帧的装置;用于如果在照相机中检测到超过预定运动阈值的运动或者如果达到预定积分周期的结束,则结束积分阶段并保存所捕获的帧的装置;用于如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间,则继续捕获和保存帧直到积分阶段的总时间达到图像捕获周期的时间为止的装置;以及用于通过组合每个所捕获的帧来生成最终图片的计算机代码。
本发明提供了传统系统中得不到的大量显著优势。利用本发明,由于仅仅需要检测运动而不必测量运动,因此就无需使用昂贵的运动传感器。为了该目的,简单的运动传感器就可以提供非常好的结果。例如,加速度计比陀螺仪小得多并且也便宜得多,因此对于本发明的目的能够特别有用。还可以使用沿着装置的边界分布的两个或更多加速度计,以便在线性平移之外还感测旋转运动。
利用本发明,将曝光期间捕获的图像拍摄的数量降低到最小,从而与经典的多张拍摄方式相比,降低对许多图像拍摄进行处理的计算成本以及存储器需求。另外,本发明允许根据系统状态对运动检测阈值的等级进行调整。例如,该阈值可以根据捕获图像时使用的变焦比来调整。因此,当使用大变焦比时,将需要小阈值,这是因为甚至很小的运动就能够导致投影到图像传感器上的图像的显著移位。另一方面,当使用变焦xl时,相同运动可能导致非常小的移位,这并不是中断当前帧的曝光时间的合理理由。
本发明的系统和方法拥有上述多张拍摄技术的所有优势。特别地,本发明的使用产生了低等级的噪声敏感度,并且本发明并不要求该系统应用反向滤波来恢复图像。与此同时,本发明拥有单张拍摄技术的优势,即由于所捕获的图像拍摄的数量小,所以存储器需求小且计算成本低。
从下面结合附图进行的详细描述中,本发明的这些和其他优势和特征及其操作的组织和方式将变得显而易见,其中在下面描述的若干附图中,相似的元件具有相似的标记。
附图说明
图1示出了根据本发明原理的普通数字照相机的剖面侧视图;
图2示出了可以在本发明的实现中使用的移动电话的透视图;
图3示出了图2的移动电话的电话电路的示意性表示;
图4(a)-图4(c)示出了用于降低图像模糊的经典单张拍摄方式、传统的多张拍摄技术以及本发明的运动驱动的多张拍摄方法之间的差别的图示;以及
图5示出了本发明的一个实施例的实现的流程图。
具体实施方式
在图1中以110示出了根据本发明的原理构造的普通照相机模块.照相机模块110可以是单独的设备或者可以并入到诸如便携式电话的另外的电子设备.照相机模块110包括外壳111,该外壳包含至少一个透镜112、主存储器单元114和照相机处理器116以及至少一个图像传感器118.主存储器单元114可以用来存储数字图像和用于执行照相机模块110中的各种功能的计算机软件,以及用来实现本发明.在该数字照相机内还可以包括存储卡形式的可移动的辅助存储器单元120,用以提供额外的存储空间.图像传感器118可以是电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或者其他系统.照相机模块110还包括至少一个运动传感器130,其操作性地连接到照相机处理器116.当摄取对象128的图片时,该至少一个透镜112将图像聚焦到该至少一个图像传感器118上,该图像传感器118以电子学方式记录光.然后照相机处理器116将电子信息分解成数字数据,该数字数据可以存储在主存储器单元114和/或辅助存储器单元120中.
图2和图3示出了可以在其上实现本发明的一个代表性移动电话12。然而,重要的是需要注意本发明并不仅限于任何类型的电子设备,并且可以结合到诸如个人数字助理、个人计算机以及其他设备的设备中。应当理解的是,本发明能够结合到广泛种类的移动电话12上。图2和图3的移动电话12包括外壳30、液晶显示器形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外端口42、天线44、根据本发明一个实施例的通用集成电路卡(UICC)形式的智能卡46、读卡器48、无线接口电路52、编解码器电路54、控制器56以及存储器58。应当理解的是,控制器56可以是与照相机处理器116相同的单元或者不同的单元。在本发明的各种实施例中,存储器58与主存储器单元114可以是也可以不是相同的部件。单独的电路和元件可以是本领域公知的所有类型,例如Nokia移动电话系列。
本发明涉及对由照相机或者照相机模块所摄取的图像拍摄的数量的控制。特别地,本发明涉及基于任何照相机运动的存在或者不存在来调整每张图像拍摄的积分时间。无论何时检测到运动,结束当前图像拍摄的积分阶段,并开始下一图像拍摄的积分。因此本发明适合于在曝光期间的实际照相机运动。如果没有照相机运动,则捕获单张长曝光的图像拍摄。如果存在照相机运动,则根据照相机运动的程度在多张拍摄之间划分总曝光时间。本发明提供了一种在单张拍摄方式和多张拍摄方式之间的混合解决方案,其中通过在一个或多个运动传感器的辅助下检测存在或不存在照相机运动来驱动多张拍摄技术。
本发明涉及在没有运动的周期中或者在由运动传感器检测的运动在特定阈值以下时保持每个单独图像拍摄的曝光阶段。只要感测到运动(或者检测到超过阈值的运动),则结束当前拍摄的积分,并开始下一拍摄的新的积分阶段。
本发明并不需要关于照相机或照相机模块的运动的精确幅度的准确信息,这意味这不需要复杂的运动传感器。由于本发明仅仅需要用于检测运动存在或者不存在的机构,并且不需准确地测量运动轨迹,因此诸如加速度计的小型且便宜的运动传感器可以用于本发明。这种运动的存在或者不存在可以通过将一个或多个运动传感器的输出值与给定阈值(此处称作运动检测阈值)进行比较而容易地确定。
除上述情况之外,本发明允许照相机或者照相机模块根据照相机运动来调节拍摄的数量以及每张拍摄的曝光时间二者。如果一个或多个运动传感器没有检测到运动,那么该照相机或者照相机模块只是在给定曝光时间期间摄取单张拍摄。另一方面,如果一个或多个运动传感器检测到照相机或者照相机模块的运动,那么在多张图像拍摄之间划分给定曝光时间。该自适应方式根据曝光期间的现有运动来确保最小的拍摄数量。
本发明的一个普通实施例的实现涉及通过软件或者硬件方法控制照相机快门,使得在任何时候检测到运动时关闭快门.在本发明的各种实施例的实现中存在许多需要考虑的基本方面.例如,应该建立用于帧的最小曝光时间.如果在开始曝光时立刻检测到运动,则为了避免非常短的帧,这种做法是需要的.另外,最大总积分时间(即,用于每张拍摄的单独积分时间的总和)也需要设置.为了在没有运动以及仅仅捕获了一帧的情况下建立积分时间的合理限度,需要用于每帧的最大总积分时间.最后,应当设置运动检测阈值.运动检测阈值代表运动幅度(例如,加速度)的最小值,如果低于最小值,就会如同没有出现能够影响照片的运动一样来对待系统.运动检测阈值用于根据由一个或多个运动传感器所产生的值的观点来区分“运动”和“未运动”情形.
图4(a)-图4(c)描述了传统的单张拍摄方式、传统的多张拍摄方式和本发明的方式之间的差别。图4(a)示出了单张拍摄方法,其中单个积分阶段500用于在积分时间开始510和积分时间停止520之间的时间期间捕获图像拍摄。图4(b)示出了多张拍摄方式,其中在相同时间周期期间存在若干积分阶段500,每个积分阶段具有其自己的积分时间开始510和积分时间停止520。对于每个积分时间500,积分时间开始510和积分时间结束520之间的时间长度基本相同。与此对比,图4(c)示出了本发明的实现。在图4(c)中,与图4(b)类似地涉及多个积分阶段500。然而,每个积分阶段500的时间长度并不是恒定的。相反,每张拍摄的积分时间停止520是由检测到任何运动或者检测到预定等级的运动来确定的,任何运动或者预定等级的运动两者均在步骤530表示。该过程继续,直到系统基于光条件或其他因素所要求的总积分时间结束540为止。
图5示出了本发明的一个实施例的实现的流程图。在图5的步骤600,第一积分阶段开始。这通常伴随着照相机快门的打开。在步骤610,照相机快门在曝光时间周期保持打开,在积分阶段继续。该时间周期通常具有最小阈值,并且它还可以具有最大阈值。在步骤620,读取一个或多个运动传感器的值。然后,在步骤630,确定运动传感器输出是否超过运动检测阈值。该运动阈值可以是零,或者该运动阈值可以是更高的等级,以允许确定什么运动是不显著的运动。如果没有超过运动阈值,则将会在随后的时间再次读取一个或多个运动传感器。应当注意的是,这可以在连续的基础上发生,或者下一次读取可以在预定时间周期之后发生。
如果运动传感器输出超过该阈值,则在步骤640终止该积分阶段。在该点处,照相机快门关闭。如果达到了每帧的最大曝光时间周期,也称为积分周期,则该快门也可以关闭。在本发明的又一实施例中,如果摄取完整图片的总时间量已经届满,则可以关闭该快门。照相机快门的关闭还可以伴随有人工声音的产生,从而给予用户与照相机或者照相机模块的相对运动相关的指导。在步骤650,对捕获的帧进行处理。该步骤涉及诸如色彩插值的功能以及其他功能。在步骤660,确定捕获的帧是否是第一张图像拍摄。如果捕获的帧是第一张图像拍摄,则在步骤680记录该帧以及积分时间的值。如果所捕获的帧不是第一张图像拍摄,则将该图像拍摄关于第一张图像拍摄进行配准。这在步骤670进行,并且之后是步骤680,其中更新积分时间的值。
在步骤690,确定总积分时间是否小于特定照片所需的积分时间,该特定照片所需的积分时间也称作图像捕获周期。如果总积分时间不小于所需的积分时间或者图像捕获周期,那么通过结合单独配准的拍摄中的像素值来计算最终像素值。该操作在步骤700表示,并且最终图像被如此处理。另一方面,如果总积分时间小于所需的积分时间或者图像捕获周期,那么该过程返回到步骤600,并开始新的积分阶段。
像素融合步骤700可以以各种方式来执行。一种方式是将最终像素值计算为所有单独图像拍摄中的像素值的加权平均。特定实施例中最自然的权重正好是用于每张拍摄的积分时间。因此,通过将N个捕获的图像拍摄的积分时间指示为T1,T2,...,TN,位于(x,y)坐标处的像素的最终值由以下式子给出:
在该情景下,In(x,y)指示了第n个图像拍摄中的(x,y)像素的值。
在方法步骤的普通场景下对本发明进行了描述,本发明可以通过程序产品在一个实施例中来实现,该计算机程序产品包括在联网环境中由计算机执行的计算机可执行指令,诸如程序代码。
通常,程序代码包括用于执行特定任务或者实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关数据结构和程序模块代表了用于执行此处公开的方法的步骤的程序代码的实例。这种可执行指令或者相关数据结构的特定序列代表了用于实现在这种步骤中描述的功能的对应动作的实例。
本发明的软件和网络实现能够利用标准编程技术来完成,利用基于规则的逻辑或者其他逻辑来实现各种数据库搜索步骤、相关步骤、比较步骤和决策步骤。还应当注意的是,此处以及权利要求中使用的词语“组件”和“模块”意在包括使用一行或多行软件代码的实现和/或硬件实现和/或用于接收手工输入的设备。
出于示例和描述的目的,已经给出了本发明实施例的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式,根据上述教导还可能存在变型和修改,或者是可能从本发明的实践中得到变型和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用,以使得本领域的技术人员能够在各种实施例中并利用适合于所设想的特定用途的各种修改来利用本发明。
Claims (18)
1.一种用于在图像捕获周期期间使用照相机捕获图像的方法,包括:
开始积分阶段,以便捕获帧;
如果在所述照相机中检测到超过预定运动阈值的照相机运动,或者如果达到作为积分阶段的预定周期的预定积分周期的结束,则结束所述积分阶段并保存所述捕获的帧;
如果用于所述捕获的帧的所述积分阶段的时间未达到作为捕获图像的周期的图像捕获周期的时间,则继续捕获和保存帧,直到所述积分阶段的总时间达到所述图像捕获周期的时间为止;以及
通过组合每个所述捕获的帧来生成最终图片。
2.根据权利要求1所述的方法,其中使用至少一个运动传感器来检测在照相机中的运动。
3.根据权利要求1所述的方法,其中所述运动检测阈值根据捕获图像时使用的变焦比来自动调整。
4.根据权利要求1所述的方法,其中所述运动检测阈值可由用户手动调整。
5.根据权利要求1所述的方法,其中每个积分阶段具有最小的曝光时间量。
6.根据权利要求1所述的方法,其中每个积分阶段的开始包括照相机快门的打开,并且其中每个积分阶段的结束包括照相机快门的关闭。
7.根据权利要求1所述的方法,其中所述生成最终图片包括:针对每个像素,基于相同像素在每个所述捕获的图像中的像素值来计算最终像素值。
8.根据权利要求1所述的方法,其中所述预定积分周期小于或等于所述图像捕获周期。
9.根据权利要求2所述的方法,其中所述至少一个运动传感器包括至少一个加速度计。
10.根据权利要求1所述的方法,进一步包括在保存之前对每个所述捕获的帧进行处理。
11.根据权利要求1所述的方法,其中所述处理包括色彩插值。
12.一种用于使用照相机模块捕获图像的设备,包括:
用于开始积分阶段以便捕获帧的装置;
用于如果在所述照相机中检测到超过预定运动阈值的照相机运动或者如果达到作为积分阶段的预定周期的预定积分周期的结束,则结束所述积分阶段并保存所述捕获的帧的装置;
用于如果用于所述捕获的帧的积分阶段的时间未达到作为捕获图像的周期的图像捕获周期的时间,则继续捕获和保存帧,直到所述积分阶段的总时间达到所述图像捕获周期的时间的装置;以及
用于通过组合每个所述捕获的帧来生成最终图片的装置。
13.根据权利要求12所述的设备,其中所述运动检测阈值根据捕获所述图像时使用的变焦比来自动调整。
14.根据权利要求12所述的设备,其中所述运动检测阈值可由用户手动调整。
15.根据权利要求12所述的设备,其中所述生成最终图片包括:针对每个像素,基于相同像素在每个所述捕获的图像中的像素值来计算最终像素值。
16.根据权利要求12所述的设备,其中每个积分阶段具有最小的曝光时间量。
17.根据权利要求12所述的设备,其中所述预定积分周期小于或等于所述图像捕获周期。
18.根据权利要求12所述的设备,其中所述处理器进一步配置用于在保存之前对每个所述捕获的帧进行处理。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2005/002725 WO2007031808A1 (en) | 2005-09-14 | 2005-09-14 | System and method for implementing motion-driven multi-shot image stabilization |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101300830A CN101300830A (zh) | 2008-11-05 |
CN101300830B true CN101300830B (zh) | 2010-05-12 |
Family
ID=37864644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2005800519879A Expired - Fee Related CN101300830B (zh) | 2005-09-14 | 2005-09-14 | 用于实现运动驱动的多张拍摄图像稳定性的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7965317B2 (zh) |
EP (1) | EP1952624A4 (zh) |
JP (1) | JP4708479B2 (zh) |
CN (1) | CN101300830B (zh) |
WO (1) | WO2007031808A1 (zh) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8698924B2 (en) | 2007-03-05 | 2014-04-15 | DigitalOptics Corporation Europe Limited | Tone mapping for low-light video frame enhancement |
US8989516B2 (en) | 2007-09-18 | 2015-03-24 | Fotonation Limited | Image processing method and apparatus |
US9160897B2 (en) * | 2007-06-14 | 2015-10-13 | Fotonation Limited | Fast motion estimation method |
US7636486B2 (en) * | 2004-11-10 | 2009-12-22 | Fotonation Ireland Ltd. | Method of determining PSF using multiple instances of a nominally similar scene |
US8264576B2 (en) * | 2007-03-05 | 2012-09-11 | DigitalOptics Corporation Europe Limited | RGBW sensor array |
US7639889B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method of notifying users regarding motion artifacts based on image analysis |
US8199222B2 (en) * | 2007-03-05 | 2012-06-12 | DigitalOptics Corporation Europe Limited | Low-light video frame enhancement |
US8417055B2 (en) * | 2007-03-05 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Image processing method and apparatus |
US7639888B2 (en) * | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts |
IES20070229A2 (en) * | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
US7952612B2 (en) * | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
US9307212B2 (en) | 2007-03-05 | 2016-04-05 | Fotonation Limited | Tone mapping for low-light video frame enhancement |
US7773118B2 (en) * | 2007-03-25 | 2010-08-10 | Fotonation Vision Limited | Handheld article with movement discrimination |
US20080309770A1 (en) * | 2007-06-18 | 2008-12-18 | Fotonation Vision Limited | Method and apparatus for simulating a camera panning effect |
CN102377934B (zh) * | 2010-08-23 | 2016-01-13 | 中国电信股份有限公司 | 一种移动终端的自动变焦方法、装置和移动终端 |
EP2688279A4 (en) * | 2011-03-15 | 2014-09-24 | Nec Casio Mobile Comm Ltd | PICTURE DEVICE, INFORMATION PROCESSING DEVICE AND NON-TEMPERATURE COMPUTER-READABLE MEDIA WITH A PROGRAM SAVED THEREIN |
EP2547097A1 (en) * | 2011-07-15 | 2013-01-16 | Thomson Licensing | Method of controlling an electronic image sensor |
JP5536010B2 (ja) | 2011-11-02 | 2014-07-02 | カシオ計算機株式会社 | 電子カメラ、撮像制御プログラム及び撮像制御方法 |
US9270906B2 (en) * | 2012-05-02 | 2016-02-23 | Semiconductor Components Industries, Llc | Exposure time selection using stacked-chip image sensors |
EP2712174B1 (en) * | 2012-09-21 | 2019-11-20 | BlackBerry Limited | Methods and devices for controlling camera image capture |
US8941743B2 (en) * | 2012-09-24 | 2015-01-27 | Google Technology Holdings LLC | Preventing motion artifacts by intelligently disabling video stabilization |
US9554042B2 (en) * | 2012-09-24 | 2017-01-24 | Google Technology Holdings LLC | Preventing motion artifacts by intelligently disabling video stabilization |
KR102229152B1 (ko) | 2014-10-16 | 2021-03-19 | 삼성전자주식회사 | 이미지 촬영 장치 |
EP3958557A1 (en) | 2015-04-23 | 2022-02-23 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
CN105812670B (zh) * | 2016-05-12 | 2019-07-12 | 珠海市魅族科技有限公司 | 一种拍照的方法及终端 |
US9716825B1 (en) | 2016-06-12 | 2017-07-25 | Apple Inc. | User interface for camera effects |
CN110036629B (zh) * | 2016-09-30 | 2021-08-24 | 株式会社尼康 | 拍摄装置、由拍摄装置执行的方法 |
KR102649220B1 (ko) * | 2017-02-06 | 2024-03-20 | 삼성전자주식회사 | 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법 |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
CN108234867B (zh) * | 2017-12-21 | 2020-06-30 | 维沃移动通信有限公司 | 图像处理方法及移动终端 |
US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
CN111901479B (zh) * | 2019-05-06 | 2021-05-25 | 苹果公司 | 一种用于显示相机用户界面的方法、电子设备和非暂态计算机可读存储介质 |
US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
CN113592887B (zh) * | 2021-06-25 | 2022-09-02 | 荣耀终端有限公司 | 视频拍摄方法、电子设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5585848A (en) * | 1990-10-31 | 1996-12-17 | Canon Kabushiki Kaisha | Control of solid-state image sensor |
WO2000052926A1 (en) * | 1999-03-04 | 2000-09-08 | Vision-Sciences Inc. | Image sensor's unit cell with individually controllable electronic shutter circuit |
WO2001010110A2 (en) * | 1999-07-29 | 2001-02-08 | Vision - Sciences Inc. | Image-sensor architecture for per-pixel charge-integration control |
EP1304872A1 (en) * | 2001-10-19 | 2003-04-23 | Nokia Corporation | An image stabiliser for a microcamera module of a handheld device and method for stabilising a microcamera module of a hand-held device |
CN1465033A (zh) * | 2001-06-26 | 2003-12-31 | 索尼公司 | 图像处理设备和方法、以及图像拍摄设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5870217A (ja) * | 1981-10-23 | 1983-04-26 | Fuji Photo Film Co Ltd | カメラブレ検出装置 |
US6778210B1 (en) | 1999-07-15 | 2004-08-17 | Olympus Optical Co., Ltd. | Image pickup apparatus with blur compensation |
JP4094253B2 (ja) * | 2001-07-12 | 2008-06-04 | オリンパス株式会社 | 撮像装置 |
WO2004017088A2 (en) * | 2002-08-15 | 2004-02-26 | Lc Technologies, Inc. | Motion clutter suppression for image-subtracting cameras |
JP3804617B2 (ja) | 2003-02-14 | 2006-08-02 | コニカミノルタフォトイメージング株式会社 | 画像処理装置及び方法 |
JP4181923B2 (ja) * | 2003-05-29 | 2008-11-19 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
JP2005077886A (ja) * | 2003-09-02 | 2005-03-24 | Canon Inc | 撮影装置 |
US8045009B2 (en) * | 2004-05-10 | 2011-10-25 | Hewlett-Packard Development Company, L.P. | Image-exposure systems and methods using detecting motion of a camera to terminate exposure |
US7714890B2 (en) * | 2005-04-26 | 2010-05-11 | Olympus Imaging Corp. | Image pickup apparatus and method for controlling pixel reading using a shake determination |
IES20070229A2 (en) * | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
-
2005
- 2005-09-14 JP JP2008530629A patent/JP4708479B2/ja active Active
- 2005-09-14 EP EP05787365A patent/EP1952624A4/en not_active Withdrawn
- 2005-09-14 CN CN2005800519879A patent/CN101300830B/zh not_active Expired - Fee Related
- 2005-09-14 WO PCT/IB2005/002725 patent/WO2007031808A1/en active Application Filing
- 2005-09-14 US US12/066,821 patent/US7965317B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5585848A (en) * | 1990-10-31 | 1996-12-17 | Canon Kabushiki Kaisha | Control of solid-state image sensor |
WO2000052926A1 (en) * | 1999-03-04 | 2000-09-08 | Vision-Sciences Inc. | Image sensor's unit cell with individually controllable electronic shutter circuit |
WO2001010110A2 (en) * | 1999-07-29 | 2001-02-08 | Vision - Sciences Inc. | Image-sensor architecture for per-pixel charge-integration control |
CN1465033A (zh) * | 2001-06-26 | 2003-12-31 | 索尼公司 | 图像处理设备和方法、以及图像拍摄设备 |
EP1304872A1 (en) * | 2001-10-19 | 2003-04-23 | Nokia Corporation | An image stabiliser for a microcamera module of a handheld device and method for stabilising a microcamera module of a hand-held device |
Also Published As
Publication number | Publication date |
---|---|
EP1952624A1 (en) | 2008-08-06 |
CN101300830A (zh) | 2008-11-05 |
US20090009612A1 (en) | 2009-01-08 |
JP4708479B2 (ja) | 2011-06-22 |
EP1952624A4 (en) | 2011-03-23 |
JP2009508425A (ja) | 2009-02-26 |
US7965317B2 (en) | 2011-06-21 |
WO2007031808A1 (en) | 2007-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101300830B (zh) | 用于实现运动驱动的多张拍摄图像稳定性的系统和方法 | |
CN109005366B (zh) | 摄像模组夜景摄像处理方法、装置、电子设备及存储介质 | |
CN101601279B (zh) | 摄像装置以及摄像方法 | |
JP5159515B2 (ja) | 画像処理装置およびその制御方法 | |
CN102891960B (zh) | 用于确定图像调整参数的方法和相机 | |
US20120300115A1 (en) | Image sensing device | |
CN101095340A (zh) | 用于图像捕获设备的焦距检测 | |
CN103733607A (zh) | 用于检测运动物体的装置和方法 | |
CN101326814A (zh) | 具有可调节光学器件的成像系统 | |
US8767096B2 (en) | Image processing method and apparatus | |
CN110198418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP5125734B2 (ja) | 撮像装置、画像選択方法及び画像選択プログラム | |
CN101895783A (zh) | 数字摄像装置稳定度的侦测方法及数字摄像装置 | |
CN109691085A (zh) | 摄像装置及摄像控制方法 | |
CN101534394A (zh) | 摄像装置和摄像方法 | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
CN110278375A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN101841654B (zh) | 图像处理装置以及图像处理方法 | |
US8243154B2 (en) | Image processing apparatus, digital camera, and recording medium | |
US20110050913A1 (en) | Method of controlling digital photographing apparatus having memory, recording medium for recording the method, and digital photographing apparatus | |
JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
JP2007243320A (ja) | 電子式スチルカメラ及び撮影方法 | |
JP2019083580A (ja) | 画像処理装置、画像処理方法、プログラム | |
KR20120008806A (ko) | 카메라 모듈 및 이를 포함한 이동통신 단말기 | |
JP5111293B2 (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160112 Address after: Espoo, Finland Patentee after: Technology Co., Ltd. of Nokia Address before: Espoo, Finland Patentee before: Nokia Oyj |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100512 Termination date: 20190914 |