CN101479660B - 具有滚动带快门的图像采集设备 - Google Patents

具有滚动带快门的图像采集设备 Download PDF

Info

Publication number
CN101479660B
CN101479660B CN2007800240840A CN200780024084A CN101479660B CN 101479660 B CN101479660 B CN 101479660B CN 2007800240840 A CN2007800240840 A CN 2007800240840A CN 200780024084 A CN200780024084 A CN 200780024084A CN 101479660 B CN101479660 B CN 101479660B
Authority
CN
China
Prior art keywords
digital
digital values
scanning
values
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800240840A
Other languages
English (en)
Other versions
CN101479660A (zh
Inventor
乔治·C·约翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Google Technology Holdings LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN101479660A publication Critical patent/CN101479660A/zh
Application granted granted Critical
Publication of CN101479660B publication Critical patent/CN101479660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00037—Detecting, i.e. determining the occurrence of a predetermined state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00068—Calculating or estimating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00082—Adjusting or controlling
    • H04N1/00087—Setting or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供一种用于补偿图像采集中的移动的设备和方法。处理器(205)启动在数字图像传感器(203)中部分地并发的扫描(208、209)，以获取数字值集合(210、211)。至少第一数字值集合(210)与第二数字值集合(211)被存储在存储器(206)中。图像构建模块(213)比较第一数字值集合(210)的数字值与第二数字值集合(211)的数字值，以估计移动量。通过确定第一数字值集合(210)与第二数字值集合(211)之间的动差，完成估计。在补偿任何移动之后，将结果数字值(412)写入存储器(206)，作为已补偿的图像。为了改善整个信噪比，也可以将降噪滤波器应用于第一数字值集合(210)、第二数字值集合(211)或其组合。

Description

具有滚动带快门的图像采集设备
技术领域
本发明一般涉及图像采集设备，更具体地，涉及使用滚动带快门以修正在采集图像时的设备移动的图像采集设备。
背景技术
由于技术的进步，摄影正在经历迅速的普及。数码照相机和数字成像激发了对摄影的新兴趣。不久前，采集图像的唯一方式是使用胶片照相机。用户调整照相机并将其对准一个对象，然后，拍摄照片。然后，用户完全不知道到照片看起来怎样，直到他们将胶片从照相机中取出，将该胶片送到冲洗中心，并且将该胶片冲洗出来。
数码照相机革命化了摄影过程。利用数码照相机，人们对准并且拍摄，就能看到即刻出现在显示器上的图像，而无须冲洗胶片。而且，当图像未能如所计划的那样时，用户可以简单地从存储器中删除该电子图像，并且重新拍摄。与数字摄影相关的效率和低成本对于消费者非常有吸引力。事实上，它是如此有吸引力，以至于数码照相机出现在包括移动电话的各种电子设备中。
然而，与摄影相关的一个问题是照相机抖动的问题。当在拍摄照片过程中照相机有轻微移动时，就出现了照相机的抖动。这种移动能够使对象显得模糊或失焦。该问题在弱光情形下更为显著，在该情形下，图像传感器曝光时间较长。因为照相机和设备有时非常小且轻，这一问题在数码摄影中也尤为严重。轻量的设备能够轻易地容纳于口袋中，虽然便携性极佳，但是在拍摄照片时，有时难以保持完全稳定，特别是在弱光条件下。
现在参考图1，在图1中示出了在拍摄照片过程中的现有技术的数码图像采集设备101。如线102所示的，在采集对象103的图像时，该数码图像采集设备101轻微地移动。这种移动可能是由于用户手的移动、该用户所乘车辆的移动、风或任何其他原因所致。无论何种原因，在图像104中的结果是清楚的：对象看起来模糊，并且失焦。
对照相机抖动问题的一种现有技术的解决方案是为对象拍摄多张照片。一旦已经拍摄了若干张照片，则可以将这些照片彼此平均，以消除照相机抖动所导致的某些模糊。然而，这种解决方案存在三方面问题：第一，拍摄多个照片的处理需要在其中存储这些图像的大量的存储空间。第二，拍摄多个照片的处理需要时间。如果对象是有生命的，例如，是动物或人物，则该对象可能在多个照片拍摄处理中移动。第三，由于照相机分辨率通常在四至六兆像素的范围，将多个六兆像素的图像平均需要大量的处理能力，这增加了整个图像采集设备的成本。
因此，存在改善图像采集设备和方法的需要，即，在减少存储空间和缩短曝光时间的情况下，补偿照相机的抖动。
附图说明
图1示出了在采集图像时，经受了照相机抖动的现有技术的图像采集设备。
图2示出了根据本发明的使用滚动带快门的图像采集设备的一个实施例。
图3、4和5示出了执行多个扫描以获取数字化数据的具有滚动带快门的图像采集设备的一个实施例。
图6和7示出了根据本发明的用于补偿相机抖动的方法的一个实施例。
本领域的技术人员应当理解，在图中所示的元件是出于简明目的，而并非按比例绘制的。例如，为了有助于增强对本发明的实施例的理解，图中的某些元件的尺寸相对于其他元件可能被放大。
具体实施方式
在具体描述根据本发明的实施例之前，应注意的是，这些实施例主要在于涉及执行用于图像补偿的滚动带快门的方法步骤和装置构件的组合。相应地，在图中，这些装置构件与方法步骤在适当位置通过传统符号标出，仅示出了与理解本发明的实施例有关的具体细节，以避免因那些对于从此处描述获利的本领域的技术人员显而易见的细节而模糊了本公开。
应理解的是，此处所描述的本发明的实施例可以包括一个或多个传统处理器和唯一存储的程序指令，其中，该程序指令控制该一个或多个处理器，结合某些非处理器电路，来执行滚动带快门、图像补偿、以及照相机抖动修正功能的某些、多数或全部。非处理器电路可以包括，但不限于，无线电接收器、无线电发射器、信号驱动器、时钟电路、电源电路、以及用户输入设备。像这样，这些功能可以解释为利用滚动带快门与照相机移动修正来执行图像采集的方法的步骤。可选择地，能够通过不具有存储的程序指令的状态机，或在一个或多个特定应用的集成电路中来执行某些或所有功能，其中，在所述集成电路中，每个功能或某些功能的组合作为定制逻辑而被执行。而且，可预计的是，尽管可能存在由诸如可用时间、当前技术、以及经济考虑所激发的显著努力和许多设计选择，但是当在此处所公开的概念和原理的引导下时，本领域的技术人员将能够以最少的实验，轻易地生成此类软件和程序以及电路。
现在具体描述本发明的实施例。参考附图，在全部视图中，同样的标号表示同样的部件。如在此处描述以及在全部权利要求中所使用的，除非文中另有明确规定，下述术语具有与此处相关的明确含义：“一个”和“这个”的意思包括复数个；“在……中”的意思包括“在……中”和“在……上”。诸如第一和第二、顶部和底部等的关系术语仅仅被用于将一个实体或动作区别于另一实体或动作，而并不必然要求或意味着在该实体或动作之间的任何实际的这种关系或顺序。而且，本文所示的在括号内的参考标记表示在图中所示的部件，而非表示所讨论的这幅图。例如，在讨论图A时所提到的设备(10)，是指图中所示的元件10，而非图A。
如此处所示出和描述的，使用滚动带快门的图像采集设备提供一种设备和方法，以修正在采集图像时的移动。与上述多图片方法形成相比，在本发明的一个实施例中，数码图像传感器使用滚动电子快门，其中，仅少数列像素或感光点(photosite)被激活，用来在时间上的任何给定点，将入射光数字化。这个被激活的感光点的“带”，扫描过数字图像传感器，从而连续获取对应于入射光的数字值。在任何给定时间的该带的宽度将影响曝光时间。
在本发明的一个实施例中，使用多个部分地并发扫描来采集图像。将该多个扫描在时间上以数字图像传感器的部分宽度(portional width)分隔开。当第二扫描从由第一扫描所采集的像素或感光点获取数字值时，将比较来自相同感光点位置的这两个数字值，以确定在图像采集过程中的数字图像传感器的任何移动。由于该扫描为部分地并发的，需要较少的存储器来存储用于比较的数据。在一个实施例中，在修正了移动之后，然后，可以对来自每个扫描的数据进行平均，以进一步抑制可能存在的噪声。可以从带本身来估计，或者可以从外部设备来获取传感器的移动。因此，本发明的实施例既能够修正由移动所引起的模糊，也能够改善整个信噪比。
参考图2，其中所示的是便携式电子设备201的一个实施例，其中，所述电子设备201包括根据本发明的一个实施例的图像采集装置202。出于讨论目的，图2的示例性实施例为诸如移动电话或无线电话的通信设备。本发明的一种应用为具有集成数码照相机的通信设备。然而，对于从本公开获利的本领域的技术人员显而易见的是，本发明不限于此。其他设备，包括便携式计算机、数码照相机、游戏设备等也可以使用本发明的实施例及其等效物。
图像采集装置202包括数字图像传感器203。数字图像传感器203可以是电荷耦合图像传感器、互补金属氧化物半导体器件图像传感器、或其他类型的图像传感器，其具有多个沿着该图像传感器203设置的感光点204。每个感光点204是接收光并且将光转换成数字电子数据的电子或半导体器件。
将处理器205或控制电路耦合至数字图像传感器203。处理器205可以是微处理器、可编程逻辑、或能够执行指令代码集的其他设备，其执行数字图像传感器203的扫描。在处理器205为微处理器或其他等效设备的情形下，可以包括存储器206或存储模块，以用于存储具有用于执行扫描和图像修正的指令代码集的内嵌软件。
数据采集模块207在此处示出为内嵌固件，但其可以是硬件设备，其被配置成用于启动感光点204的多个扫描。该多个扫描可以包括任何数目的扫描。例如，虽然在此处将示出两个扫描以用于讨论，但是也可以同样地使用三个、四个或更多个扫描。
每个扫描获取对应于在多个感光点204上的入射光的一个数字数据值的集合。在一个实施例中，在图2中用感光点条来表示的多个扫描208、209，是至少部分地并发的。部分地并发是指至少在发生第二扫描209的部分时间内，发生第一扫描208。换言之，部分地并发意味着在前一扫描完成之前，至少启动第二个扫描。
数字值的每个集合，即，从第一扫描208所获取的第一数字值集合210以及从第二扫描209所获取的的第二数字值集合211，形成了由数字图像传感器203所接收的图像的至少部分图像。这些数字值集合210、211可以以二进制数据，存储在存储器206中。处理器205可以从存储器206取回二进制图像数据，用于在显示模块212上显示。
将可以利用处理器205操作的图像构建模块213，配置成用于补偿第一数字值集合210的数字值和第二数字值集合211的相应数字值之间的差异。换言之，当第一扫描208从特定感光点接收数字值时，可以将该数字值与从在第二扫描209期间的相同感光点所获取的数字值相比较。通过将第一数字值集合210的数字值和第二数字值集合211的相应数字值相比较，可以估计移动量。通过确定第一数字值集合210与第二数字值集合211之间的动差(moment)，可以执行这种移动估计。在本技术领域中，通过比较数据进行移动估计是已知的。例如，由授予Niihara的，于1992年10月20日发布，题为“Motion image data compressionsystem”的美国专利No.5,157,742；授予Auyeung等人的，于2005年5月10日发布，题为“Multi-phase motion estimation system and method”的美国专利No.6,891,890；以及授予Auyeung等人的，于2005年8月23日发布的，题为“Motion estimation using predetermined pixel patterns andsubpatterns”的美国专利No.6,934,332所教导的各种方法，其中，这些文献通过引用在此并入。结合图像构建模块213，处理器205被配置成用于通过比较第一数字值集合210的数字值与第二数字值集合211的数字值，来补偿便携式电子设备201的移动。
现在参考图3、4和5，在所述参考图3、4和5中示出了数字图像传感器203的扫描208、209的时延视图，以及数字值的存储和处理，以获取根据本发明的一个实施例的补偿图像。从图3开始，数字图像传感器203从图示为花朵的对象401接收入射光。为了简化本讨论，数字图像传感器在图中被分成子部分A-K，所述子部分代表在该数字图像传感器上的感光点204的组。虽然示出了11个子部分，由于一个或多个感光点204的串可以构成任何一个子部分，所以显然具有数兆像素分辨率的数字图像传感器203可以包括更多的子部分。
第一扫描208扫过数字图像传感器203，以获取第一数字值集合210。将第一数字值集合210存储在存储器的第一缓冲器402中。如图3中所示，由于第一扫描208已经从子部分A前进至子部分E，相应的数字值210被存储在第一缓冲器402中。
由于第二扫描尚未启动，所以，在第二缓冲器403中没有数字数据。类似地，由于未执行数字值之间的比较，所以，没有数字值存储在第三缓冲器404中，其中，该第三缓冲器404将最后包含用于最终图像的数字值。
为了有助于讨论，也示出了每个缓冲器的图像显示。例如，图像405示出了对应于存储在第一缓冲器402中的数字值的图像。由于从子部分A至E的数字值已经被存储，图3中的第一数字值集合210包括对象401的部分图像，其在图像405中示出。由于当前没有值存储在缓冲器403和404中，图像406和图像407为空白。
现在参考图4，第一扫描208在数字图像传感器203中已经进行至子部分H。第二扫描209现正在数字图像传感器203中进行。第二扫描209在第一扫描208完成之前启动，因此，与第一扫描208部分地并发。
随着第一扫描208以及第二扫描209进行，将第一数字值集合210的数字值与第二数字值集合211的数字值相比较。例如，在410，将从在第一扫描208期间的子部分E408所获取的第一数字值与从第二扫描209期间的子部分E409所获取的第二数字值相比较。在此比较期间，图像构建模块(213)估计从子部分E408所获取的第一数字值与从子部分E409所获取的第二数字值之间的移动量。然后，图像构建模块(213)补偿这种移动，并且将得出的数字值410写入第三缓冲器404。
因为第一缓冲器只需要将数据保持到第二扫描209赶上已经被第一扫描208所扫描的子部分为止，所以这种比较允许第一数字值210和第二数字值211各自代表部分图像。换言之，第二扫描209从第一扫描位移数字图像传感器203的部分宽度411。该部分宽度411包括感光点的集合，并且因此，对应于数字值的集合，其中，该数字值的集合多于设置在部分宽度411内的感光点的数量，但是少于设置在数字图传感器203内的感光点的数量。
通过示例，第一缓冲器402必须保持回溯到子部分E的数据值，直至第二扫描209从子部分E获取数字值。该情况一旦发生，图像构建模块(213)将比较从子部分E所获取的数字值，估计移动，补偿，并且然后将结果值412写入第三缓冲器404。然后，第一数字值集合210的数字值与第二数字值集合211的相应数字值可以从存储器206清除。
参考图4，第一缓冲器402、第一数字值集合210包括来自子部分E、F、G和H的数字值。如在图像405中所示，这些数字值包括部分图像。同时，第二缓冲器403具有第二数字值集合211，该第二数字值集合211包括来自子部分E的数字值。这些数字值对应于图像406中示出的部分图像。第二数字值集合211包括的值少于第一数字值集合210。将已比较且已补偿的数字值410写入第三缓冲器404。结果图像在图像407中示出。
现在参考图5，完成了第一扫描(208)，并且第二扫描209在图像传感器203中已经进行到子部分H。存储在第一缓冲器402中的第一数字值集合210包括来自子部分H-K的数字值，其对应于在图像405中示出的部分图像。第二数字值集合211至少包括来自子部分H的数字值。这些值对应于在图像406中示出的部分图像。在410，图像构建模块(213)比较的子部分H的数字值，通过确定动差来估计移动量，并且将结果值412写入第三缓冲器404。在图像407中示出了相应的图像。
一旦将第一数字值集合210的每个值与第二数字值集合211的相应值都进行了比较，则完整的图像将被存储在第三缓冲器404中。该完整的图像已经修正了在图像采集过程中的数字图像传感器的移动。
现在参考图6，在图6中示出了根据本发明的用于在具有包括感光点组的图像传感器的数字图像采集装置中的移动补偿方法的一个实施例。在步骤601，结合适当模块(207、213)操作的处理器(205)，启动对感光点组的第一扫描(208)。第一扫描(208)获取第一数字值集合(210)，该第一数字值集合(210)由在感光点组上的入射光的数字化602而产生。在步骤603，将从第一扫描(208)所获取的第一数字值集合(210)存储在存储器(206)中。
在步骤604，处理器(205)启动第二扫描(209)。在一个实施例中，第二扫描(209)在完成第一扫描(208)之前启动。在第二扫描(209)期间的入射光的数字化605生成了第二数字值集合(211)，在步骤606，该第二数字值集合(211)被存储在存储器(206)中。由于第一扫描和第二扫描为部分地并发，第二数字值集合(211)可以包括少于第一数字值集合(210)的值。第一数字值集合(210)与第二数字值集合(211)均包括部分图像。
在步骤607，图像构建模块(213)补偿在第一数字值集合(210)与第二数字值集合(211)之间的变化，该变化可能由图像传感器移动引起。暂时参考图7，在一个实施例中，补偿步骤(607)包括通过将第一数字值集合(210)与第二数字值集合(211)相比较，估计701在图像采集装置中的移动量。通过确定第一数字值集合(210)的数字值与第二数字值集合(211)的数字值之间的动差，可以执行该估计步骤。在步骤702，执行对估计的移动量的修正。
再参考图6，在步骤608，图像构建模块(213)在步骤608构建结果图像。在一个实施例中，为了进一步改善结果图像，在步骤609，可以应用降噪滤波器。该噪声滤波器可应用于第一数字值集合(210)的数字值、第二数字值集合(211)的数字值、结果值(412)、或它们的组合。
降噪滤波器可以采用各种形式。例如，在一个实施例中，应用降噪滤波器的步骤609可以包括将第一数字值集合(210)的数字值和第二数字值集合(211)的数字值进行平均。在另一实施例中，应用降噪滤波器的步骤609可以包括确定第一数字值集合(210)的数字值和第二数字值集合(211)的数字值之间的几何平均值。降噪滤波器的应用有助于改善结果图像的整个信噪比。
在前述说明中，已经描述了本发明的特定实施例。然而，本领域的技术人员应当理解，在不脱离如所附权利要求阐明的本发明的范围的条件下，能够做出各种修改和改变。因此，虽然已经示出了并且描述了本发明的优选实施例，显然本发明不限于此。在不脱离如所附的权利要求所定义的本发明的精神和范围的条件下，本领域的技术人员将能够得出各种修改、改变、变更、替代和等效实施方式。相应地，本说明书及附图应被视为是说明性而非限制性意义的，并且本发明的范围旨在包括所有此类修改。

Claims (16)

1.一种数字图像传感器，包括：
多个感光点，所述多个感光点沿着所述数字图像传感器设置；以及
数据采集模块，所述数据采集模块被配置成用于启动对所述多个感光点的多个扫描，以获取对应于在所述多个感光点上的入射光的数字值集合，其中，所述多个扫描是至少部分地并发的，其中，每个所述数字值集合均包括部分图像。
2.根据权利要求1所述的数字图像传感器，其中，所述多个扫描包括：第一扫描，以获取第一数字值集合；以及第二扫描，以获取第二数字值集合。
3.根据权利要求2所述的数字图像传感器，还包括图像构建模块，所述图像构建模块被配置成用于补偿所述第一数字值集合的数字值与所述第二数字值集合的相应数字值之间的差异。
4.根据权利要求3所述的数字图像传感器，其中，所述图像构建模块被配置成通过比较所述第一数字值集合的数字值与所述第二数字值集合的相应数字值，来估计所述数字图像传感器的移动量。
5.根据权利要求3所述的数字图像传感器，其中，所述图像构建模块被配置成通过确定所述第一数字值集合的数字值与所述第二数字值集合的相应数字值之间的动差，来估计移动量。
6.根据权利要求3所述的数字图像传感器，其中，所述第二数字值集合包括的数字值少于所述第一数字值集合包括的数字值。
7.根据权利要求1所述的数字图像传感器，还包括耦合至所述数据采集模块的存储器模块，其中，所述存储器模块被配置成用于存储从所述多个扫描的每一个所获取的全部所述数字值。
8.一种用于在数字图像采集装置中的移动补偿的方法，所述数字图像采集装置包括具有感光点组的图像传感器，所述方法包括以下步骤：
启动对所述感光点组的第一扫描，所述第一扫描包括数字化在所述感光点组上的入射光线；
存储从所述第一扫描所获取的第一数字值集合；
在所述第一扫描完成之前，启动对所述感光点组的第二扫描；
存储从所述第二扫描所获取的第二数字值集合；
补偿在所述第一数字值集合与所述第二数字值集合之间的变化；以及
构建图像。
9.根据权利要求8所述的方法，其中，所述补偿步骤包括：
通过比较所述第一数字值集合与所述第二数字值集合，估计在所述图像采集装置中的移动量；以及
修正所述移动量。
10.根据权利要求9所述的方法，其中，所述的估计移动量的步骤包括：确定在所述第一数字值集合的数字值与所述第二数字值集合的数字值之间的动差。
11.根据权利要求9所述的方法，还包括将降噪滤波器应用至所述第一数字值集合和所述第二数字值集合之一或其组合的步骤。
12.根据权利要求11所述的方法，其中，所述的将降噪滤波器应用至所述第一数字值集合和所述第二数字值集合之一或其组合的步骤包括：对所述第一数字值集合的数字值与所述第二数字值集合的相应数字值进行平均。
13.根据权利要求11所述的方法，其中，所述的将降噪滤波器应用至所述第一数字值集合和所述第二数字值集合之一或其组合的步骤包括：确定所述第一数字值集合的数字值与所述第二数字值集合的相应数字值之间的几何平均值。
14.根据权利要求9所述的方法，其中，所述第一数字值集合与所述第二数字值集合均包括部分图像。
15.根据权利要求9所述的方法，其中，所述第二扫描从所述第一扫描位移所述图像传感器的部分宽度，其中，所述第一数字值集合包括大于设置在所述图像传感器的所述部分宽度内的感光点的数量并且小于设置在所述图像传感器内的感光点的数量的值的集合。
16.一种便携式电子设备，包括：
图像采集装置，包括：
数字图像传感器，所述数字图像传感器包括多个感光点；以及
数据采集模块，所述数据采集模块耦合至所述数字图像传感器，所述数据采集模块被配置成用于启动对所述多个感光点的第一扫描，以获取第一数字值集合，所述数据采集模块还被配置成用于，在完成所述第一扫描之前，启动第二扫描，以获取第二数字值集合；
处理器，所述处理器耦合至所述图像采集装置；以及
显示模块；
其中，所述处理器被配置成通过比较所述第一数字值集合的数字值与所述第二数字值集合的数字值，来补偿所述便携式电子设备的移动。
CN2007800240840A 2006-06-27 2007-03-26 具有滚动带快门的图像采集设备 Active CN101479660B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/426,618 2006-06-27
US11/426,618 US7830565B2 (en) 2006-06-27 2006-06-27 Image capture device with rolling band shutter
PCT/US2007/064890 WO2008002697A2 (en) 2006-06-27 2007-03-26 Image capture device with rolling band shutter

Publications (2)

Publication Number Publication Date
CN101479660A CN101479660A (zh) 2009-07-08
CN101479660B true CN101479660B (zh) 2011-12-28

Family

ID=38846352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800240840A Active CN101479660B (zh) 2006-06-27 2007-03-26 具有滚动带快门的图像采集设备

Country Status (5)

Country Link
US (1) US7830565B2 (zh)
JP (1) JP5062861B2 (zh)
KR (1) KR101318503B1 (zh)
CN (1) CN101479660B (zh)
WO (1) WO2008002697A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US8223235B2 (en) * 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
US8175541B2 (en) 2009-02-06 2012-05-08 Rfaxis, Inc. Radio frequency transceiver front end circuit
US8078119B2 (en) 2009-02-17 2011-12-13 Rfaxis, Inc. Multi mode radio frequency transceiver front end circuit with inter-stage power divider
US9231680B2 (en) 2009-03-03 2016-01-05 Rfaxis, Inc. Multi-channel radio frequency front end circuit
US8467738B2 (en) 2009-05-04 2013-06-18 Rfaxis, Inc. Multi-mode radio frequency front end module
US8649739B2 (en) 2010-01-06 2014-02-11 Rfaxis, Inc. Increased receive sensitivity radio frequency front end integrated circuits
US9143184B2 (en) 2010-10-19 2015-09-22 Rfaxis, Inc. Radio frequency multi-port switches
US8928428B2 (en) 2010-12-22 2015-01-06 Rfaxis, Inc. On-die radio frequency directional coupler
JP2014514879A (ja) 2011-05-02 2014-06-19 アールエフアクシス インコーポレイテッド 共存フィルタを有する電力増幅器
JP5857322B2 (ja) * 2011-06-02 2016-02-10 新シコー科技株式会社 オートフォーカスカメラ及びカメラ付きモバイル端末装置
JP6131556B2 (ja) * 2012-09-28 2017-05-24 富士通株式会社 撮像信号処理装置及び撮像信号処理方法
KR102020941B1 (ko) 2013-02-08 2019-09-11 삼성전자주식회사 움직임 추정 장치 및 추정 방법
US9554048B2 (en) * 2013-09-26 2017-01-24 Apple Inc. In-stream rolling shutter compensation
US11700027B2 (en) 2020-05-05 2023-07-11 Mobix Labs, Inc. Multi-mode WiFi bluetooth RF front-ends

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157742A (en) * 1990-02-28 1992-10-20 Victor Company Of Japan, Ltd. Motion image data compression system
US5410347A (en) * 1992-08-19 1995-04-25 Hewlett-Packard Company Color optical scanner with image registration holding assembly
CN1170329A (zh) * 1996-07-10 1998-01-14 摩托罗拉公司 通信装置
WO2002019030A1 (en) * 2000-08-31 2002-03-07 Recon/Optical, Inc. Dual band framing reconnaissance camera
CN1787615A (zh) * 2004-12-09 2006-06-14 安捷伦科技有限公司 检测和校正数字图像传感器中有缺陷像素的系统和方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3103897B2 (ja) * 1991-03-19 2000-10-30 ソニー株式会社 手振れ補正装置および手振れ補正方法
US5253071A (en) * 1991-12-20 1993-10-12 Sony Corporation Of America Method and apparatus for stabilizing an image produced in a video camera
JP3364945B2 (ja) * 1992-01-31 2003-01-08 ソニー株式会社 手振れ補正装置及び手振れ補正方法
US5625411A (en) * 1992-12-22 1997-04-29 Fuji Photo Film, Ltd. Video camera printer apparatus and method of controlling same and apparatus and method for detecting print inhibit signal
JPH0795351A (ja) * 1993-08-18 1995-04-07 Hewlett Packard Co <Hp> 走査装置
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法
JPH0965195A (ja) * 1995-08-25 1997-03-07 Fujitsu Ltd 動き検出方法、動き検出装置及び動き検出撮像装置
EP0831644A3 (en) * 1996-09-20 2000-01-12 Sony Corporation Image shake discriminator and stabilizer
EP0936575B1 (fr) * 1998-02-17 2004-07-28 Koninklijke Philips Electronics N.V. Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images
US6642964B1 (en) * 1998-12-15 2003-11-04 Xerox Corporation Geometric configurations for photosites for reducing moire patterns
US6760485B1 (en) * 1999-05-20 2004-07-06 Eastman Kodak Company Nonlinearly modifying a rendered digital image
JP4378804B2 (ja) * 1999-09-10 2009-12-09 ソニー株式会社 撮像装置
US6618173B1 (en) * 1999-10-07 2003-09-09 Hewlett-Packard Development Company, Lp. Method for automatic prevention of vertical streaks by selectively applying gains to the output signals of optical sensor elements
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
JP4385479B2 (ja) * 2000-03-23 2009-12-16 株式会社ニコン 撮像装置
JP2001358928A (ja) * 2000-06-15 2001-12-26 Fuji Photo Film Co Ltd 画像修正装置
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
US6934332B1 (en) * 2001-04-24 2005-08-23 Vweb Corporation Motion estimation using predetermined pixel patterns and subpatterns
US6961157B2 (en) * 2001-05-29 2005-11-01 Xerox Corporation Imaging apparatus having multiple linear photosensor arrays with different spatial resolutions
US7046401B2 (en) * 2001-06-01 2006-05-16 Hewlett-Packard Development Company, L.P. Camera-based document scanning system using multiple-pass mosaicking
JP3631169B2 (ja) * 2001-06-19 2005-03-23 三洋電機株式会社 ディジタルカメラ
JP2003078808A (ja) * 2001-08-31 2003-03-14 Sony Corp 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
JP3944829B2 (ja) * 2002-01-17 2007-07-18 ソニー株式会社 固体撮像装置およびその駆動方法
JP3862621B2 (ja) * 2002-06-28 2006-12-27 キヤノン株式会社 画像処理装置、画像処理方法、及びそのプログラム
JP2004140479A (ja) * 2002-10-16 2004-05-13 Sony Corp 固体撮像装置、カメラ装置、及びその制御方法
US7236190B2 (en) * 2002-10-31 2007-06-26 Freescale Semiconductor, Inc. Digital image processing using white balance and gamma correction
US7474339B2 (en) * 2002-12-18 2009-01-06 Nikon Corporation Image-processing device with a first image sensor and a second image sensor
JP3925415B2 (ja) * 2003-01-22 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7443548B2 (en) * 2003-01-31 2008-10-28 Xerox Corporation Systems and methods for creating a single electronic scanned job from multiple scanned documents
US7446907B2 (en) * 2003-04-22 2008-11-04 Xerox Corporation Photosensor architecture for a color raster input scanner
US7499081B2 (en) * 2003-04-30 2009-03-03 Hewlett-Packard Development Company, L.P. Digital video imaging devices and methods of processing image data of different moments in time
US7978245B2 (en) * 2004-06-24 2011-07-12 Hewlett-Packard Development Company, L.P. Method and apparatus for controlling color balance in a digital imaging device
JP4531484B2 (ja) * 2004-08-16 2010-08-25 パナソニック株式会社 カメラシステム
JP2006095351A (ja) * 2004-09-28 2006-04-13 Tokuyama Corp 廃石膏の処理方法
JP2006148496A (ja) * 2004-11-18 2006-06-08 Sony Corp フォーカルプレーン歪みの補正回路および補正方法、並びに電子機器、プログラム、記録媒体
JP4389766B2 (ja) * 2004-11-22 2009-12-24 セイコーエプソン株式会社 撮像装置
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US7557832B2 (en) * 2005-08-12 2009-07-07 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
JP4723401B2 (ja) * 2006-03-03 2011-07-13 富士フイルム株式会社 固体撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157742A (en) * 1990-02-28 1992-10-20 Victor Company Of Japan, Ltd. Motion image data compression system
US5410347A (en) * 1992-08-19 1995-04-25 Hewlett-Packard Company Color optical scanner with image registration holding assembly
CN1170329A (zh) * 1996-07-10 1998-01-14 摩托罗拉公司 通信装置
WO2002019030A1 (en) * 2000-08-31 2002-03-07 Recon/Optical, Inc. Dual band framing reconnaissance camera
CN1787615A (zh) * 2004-12-09 2006-06-14 安捷伦科技有限公司 检测和校正数字图像传感器中有缺陷像素的系统和方法

Also Published As

Publication number Publication date
JP2009542108A (ja) 2009-11-26
US20070297026A1 (en) 2007-12-27
KR20090023632A (ko) 2009-03-05
WO2008002697B1 (en) 2008-10-02
JP5062861B2 (ja) 2012-10-31
KR101318503B1 (ko) 2013-10-16
WO2008002697A2 (en) 2008-01-03
CN101479660A (zh) 2009-07-08
US7830565B2 (en) 2010-11-09
WO2008002697A3 (en) 2008-04-17

Similar Documents

Publication Publication Date Title
CN101479660B (zh) 具有滚动带快门的图像采集设备
CN101945222B (zh) 摄像装置和脸检测方法
CN102480598B (zh) 摄影装置和摄影方法
US7548659B2 (en) Video enhancement
TWI459324B (zh) 修改色彩及全色通道彩色濾光片陣列影像
US7546026B2 (en) Camera exposure optimization techniques that take camera and scene motion into account
CN102025917B (zh) 图像处理设备、图像捕捉设备、图像处理方法和程序
CN101601279B (zh) 摄像装置以及摄像方法
US20230247277A1 (en) Imaging apparatus, imaging method and imaging program
CN104067605A (zh) 拍摄装置、拍摄图像处理系统、程序以及记录介质
CN105338338A (zh) 用于成像条件检测的方法和装置
CN102870403A (zh) 图像处理装置、摄像装置、程序以及图像处理方法
US10306196B2 (en) Pixel mixing device and method for controlling operation of same
CN112734659A (zh) 图像校正方法、装置及电子设备
CN103024263A (zh) 图像处理装置及图像处理方法
CN102480595A (zh) 图像处理设备、图像处理方法和计算机可读信息记录介质
US9384552B2 (en) Image registration methods for still image stabilization
JP5513490B2 (ja) 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法
JP2009272740A (ja) 撮像装置、画像選択方法及び画像選択プログラム
JP6332212B2 (ja) 姿勢推定装置、姿勢推定方法及びプログラム
CN104106259B (zh) 图像处理设备和图像处理方法
US20210152763A1 (en) Image processing device, imaging apparatus, image processing method, and program
EP2632146B1 (en) Image processing apparatus
CN103680381B (zh) 图像处理装置以及图像处理方法
CN116132805A (zh) 成像元件、摄像装置、成像元件的工作方法及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MOTOROLA MOBILE CO., LTD

Free format text: FORMER OWNER: MOTOROLA INC.

Effective date: 20110117

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20110117

Address after: Illinois State

Applicant after: MOTOROLA MOBILITY, Inc.

Address before: Illinois State

Applicant before: Motorola, Inc.

C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY, Inc.

TR01 Transfer of patent right

Effective date of registration: 20160308

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC