CN101755448B - 校正曝光期间的成像设备运动 - Google Patents

校正曝光期间的成像设备运动 Download PDF

Info

Publication number
CN101755448B
CN101755448B CN200880025408.7A CN200880025408A CN101755448B CN 101755448 B CN101755448 B CN 101755448B CN 200880025408 A CN200880025408 A CN 200880025408A CN 101755448 B CN101755448 B CN 101755448B
Authority
CN
China
Prior art keywords
pixel
group
collecting device
pixel signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200880025408.7A
Other languages
English (en)
Other versions
CN101755448A (zh
Inventor
J·N·博德
T·J·安德森
A·T·迪弗
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN101755448A publication Critical patent/CN101755448A/zh
Application granted granted Critical
Publication of CN101755448B publication Critical patent/CN101755448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Abstract

提供一种用于确定和校正曝光期间成像设备的运动的系统和方法。根据本发明的各个实施例，在图像传感器上定义多组图像像素，其中每组像素至少部分地包含在图像传感器的输出图像区中。在曝光期间一次或多次地读出来自每组图像像素的信号，利用从一组或多组图像像素的信号读出计算运动估计，以及处理来自一组或多组图像像素的信号读出以形成最终的输出图像。

Description

校正曝光期间的成像设备运动
技术领域
本发明涉及在图像的曝光期间发生的成像设备运动。特别地，本发明的实施例涉及确定和校正在图像的曝光期间发生的成像设备运动的数字信号处理方法。
背景技术
目前的数字照相机具有在弱光条件下当闪光灯不可用或者闪光灯并不有益时性能较差的问题。可以增大曝光时间以增加到达传感器的光子的数目，不过如果场景中存在任何运动或者如果未保持照相机绝对稳定，那么这种解决方案通常会降低图像中的锐度。数字照相机还可利用数字增益系数人为地增大光强度。增益系数有效地按比例增大每个像素的输出码值。这种技术的问题在于，其不但放大信号内容，而且放大噪声。弱光图像一般具有低的信噪比，并且把图像提高到可接受的亮度级所需的增益系数也会导致在图像中存在不可接受的噪声级。
控制曝光期间的照相机运动的一种方法是迫使曝光时间很短，例如1/240秒。不过在许多情况下，这样的短曝光是不足够的，并且导致形成曝光不足的有噪声的图像。
还提出了光学图像稳定法来补偿曝光期间的照相机运动。光学图像稳定法一般是通过使用陀螺测量伴随安装有横向致动器的透镜组件的受控运动在图像捕捉期间而实现的。现有技术公开一系列的用于陀螺测量和横向透镜运动的方法。由于需要多个方向上的陀螺测量以及同样在多个方向上需要透镜系统中的横向致动器，因此光学图像稳定法成本较高。
可替换地，在基于对在图像捕捉期间发生的照相机运动的测量的图像捕捉之后，能够降低所捕捉的图像中的模糊。照相机运动的改进的测量精度一般将产生来自去模糊算法的更好的结果。跟踪这种照相机运动的现有技术方法可被分成两个普通类。一类是使用机械方法(诸如利用陀螺测量)来跟踪照相机的运动。由于在图像捕捉设备中需要额外的机械设备，因此这种方法可能成本较高。用于跟踪照相机运动的另一类是通过从所捕捉的图像本身或者从一系列所捕捉的图像得出运动信息。这些解决方法有时被称为电子图像稳定法。
用于校正曝光期间的照相机运动的这样的方法包括捕捉一连串图像，每个图像均以期望的总曝光时间的几分之一被捕捉。将多个帧对准并组合以校正照相机运动，并提供具有期望的总曝光时间的输出图像。这种方法的缺陷包括关于能够多快地从传感器读出图像数据帧的传感器限制，以及用于存储多个图像的存储器成本。
校正曝光期间的照相机运动的另一种方法是使用盲去卷积算法。盲去卷积算法的例子(诸如Lucy-Richardson算法)是本领域技术人员公知的，并且可用于减少照相机运动模糊。盲去卷积算法的缺陷在于，它们假定没有对曝光期间的运动的先验知识，并且因此相对于具有在曝光期间发生的运动的知识的技术它们的性能有限。
另一种估计曝光期间的照相机运动的方法涉及专用于收集将用于运动估计的数据的CMOS图像传感器的第一部分的使用，同时图像传感器的第二部分代表图像区。所述第一部分通常是一条带来自传感器区的顶部和/或底部的数行，并且在传感器的第二部分的曝光期间能够被多次读出。这些读出可被用于估计在传感器的第二部分的曝光期间的照相机运动。这种方法的缺陷包括由于专用于运动估计的传感器像素而导致的输出图像的空间分辨率的降低。另外，沿着传感器的顶部和/或底部的多条数据通常提供的信息不足以确定全局运动。
估计曝光期间的照相机运动的另一种方法包括同时使用独立的传感器来捕捉用于运动估计的数据。这种方法的缺陷包括额外的传感器所需的额外成本和空间。
因此，本领域需要一种用于确定和校正曝光期间的照相机运动的改进过程。
发明内容
通过根据本发明的各个实施例的用于确定和校正曝光期间成像设备(诸如数字静态照相机或数字摄像机)的运动的系统和方法，上述问题得以解决并且一种技术解决方案得以实现。
根据本发明的一个实施例，在图像传感器上定义多组像元采集设备，诸如本领域中已知的CCD。为了清楚起见，这里一般把像元采集设备称为“像素”或“图像像素”。在捕捉期间，一次或多次地从第一组像元采集设备(诸如本领域中已知的CCD)读出信号。还一次或多次地从第二组像元采集设备读出信号。从至少第一组像元信号的读出被用于确定曝光时间期间的成像设备运动的估计。从第二组像元信号中的至少一些的读出被用于至少基于所确定的运动组合输出图像。
在本发明的一些实施例中，在图像传感器上定义四组像元采集设备。在捕捉期间，从所述四组像元采集设备中的第一组像元采集设备一次或多次地读出第一组像元信号。第二组、第三组和第四组像元信号也分别从对应的各组像元采集设备一次或多次地被读出。从至少第一组像元的读出被用于产生曝光时间期间的成像设备运动的估计。从至少第二组、第三组和第四组像元的读出被用于组合输出图像。
在本发明的一些实施例中，处理来自各组像元采集设备的用于组合输出图像的读出。该处理可包括去模糊、空间对准和锐化，以及丢弃一些数据。
根据本发明的一些实施例，第一组像元采集设备可以是邻接或基本邻接的一组像元采集设备。可独立于待捕捉的图像场景，确定该第一组像元采集设备的位置，或者可在捕捉之前至少部分地从对图像场景的分析得到该第一组像元采集设备的位置。
根据本发明的其它实施例，第一组像元采集设备可由不邻接或者基本不邻接的一组像元采集设备构成。
在本发明的一些实施例中，像元信号由对像元采集设备的破坏性读出而产生。在本发明的其它实施例中，来自至少第一组像元的信号由对像元采集设备的非破坏性读出而产生。
除了上面说明的实施例之外，通过参考附图并研究下列详细说明，其它实施例将变得显而易见。
附图说明
通过结合附图考虑对以下提供的示例性实施例的详细说明，将更易于理解本发明，在附图中：
图1示出根据本发明的一个实施例的系统的例子的框图；
图2示出根据本发明的一个实施例的用于确定和校正曝光期间的成像设备运动的框图；
图3图解说明根据本发明的一个实施例的第一组和第二组图像像素的一个例子；
图4图解说明根据本发明的一个实施例的第一组和第二组图像像素的另一个例子；
图5图解说明根据本发明的一个实施例的第一组、第二组、第三组和第四组图像像素的一个例子；
图6图解说明根据本发明的一个实施例的第一组和第二组图像像素的读出的一个例子；
图7图解说明根据本发明的一个实施例的两组图像数据之间的块匹配处理；
图8图解说明根据本发明的一个实施例的第一组和第二组图像像素的读出的另一个例子；
图9图解说明用以估计第一组和第二组图像像素的读出之间的运动的积分投影技术；以及
图10图解说明根据本发明的一个实施例的第一组、第二组、第三组和第四组图像像素的读出的一个例子。
应当理解的是，附图为了举例说明本发明的原理的目的，并且可不按比例绘制。
具体实施方式
由于采用图像传感器和用于信号处理的相关电路的数字成像设备众所周知，因此本说明书将特别针对构成根据本发明的实施例的设备的一部分或者更直接地与其相互协作的元件。在此为具体示出或描述的元件可从本领域已知的那些元件中选择。待描述的实施例的某些方面可用软件的形式提供。给定根据本发明实施例的如所示和所述的系统，则在下面的材料中，这里未具体示出、描述或建议的、对本发明的实施例的实施有用的软件是常规的并且在这样的领域的普通技术之内。
图1示出根据本发明的一个实施例的数字成像设备10的例子的框图。数字成像设备10是电池供电的便携式设备，其足够小以便在捕捉和浏览图像时用户能够容易地握持它。数字成像设备10优选地产生存储在可移除存储卡54上的静止数字图像和运动数字图像序列(例如，视频片断)。可替换地，数字成像设备可以只产生和存储静止数字图像。
数字成像设备10包括向对应的图像传感器提供图像的变焦透镜。变焦透镜3由变焦和聚焦电动机5控制，并向图像传感器14提供图像。使用可调透镜孔径连同由控制处理器和定时发生器40向图像传感器14提供的电子曝光时间控制一起用于控制图像传感器14的曝光。
在一些优选实施例中，图像传感器是14是使用公知的Bayer彩色滤光片模式捕捉彩色图像的单片彩色百万像素CMOS传感器。图像传感器14可具有例如4∶3的图像长宽比和2848列有效像素×2144行有效像素即总共6.1MP的有效兆像素(百万像素)。控制处理器和定时发生器40通过向时钟驱动器13提供信号来控制图像传感器14。
在其它优选例子中，图像传感器14可具有一些这样的像素：对于这些像素，滤光片使所有波长的可见光透过。这样的传感器在JohnT.Compton和John F.Hamilton的美国专利US 20070024931A1“Image Sensor with Improved Light Sensitivity”中被描述。
控制处理器和定时发生器40还控制变焦和聚焦电动机5，以及发光以照亮场景的闪光灯48。用户控制装置42被用于控制数字成像设备10的操作。
来自图像传感器14的模拟输出信号18被模拟信号处理器和A/D转换器22放大和转换成数字图像信号，并被提供给DRAM缓冲存储器36。存储在DRAM缓冲存储器36中的图像数据由诸如图像处理器50之类的数据处理系统处理，从而产生经处理的数字图像文件，所述数字图像文件可包含运动图像序列或静止数字图像。应注意的是，控制处理器和定时发生器40也可被认为是数据处理系统的一部分。
图像处理器50进行的处理是由存储在处理器可访问的存储系统中的固件控制的，所述处理器可访问的存储系统可包括固件存储器58，固件存储器58可以是闪速EPROM存储器。通过利用可包括RAM存储器56的处理器可访问的存储系统来存储处理阶段期间的中间结果，处理器50处理来自DRAM缓冲存储器36的数字输入图像。
，应注意的是，图像处理器50虽然通常为可编程图像处理器，但可替换地也可以是硬连线的定制集成电路(IC)处理器、通用微处理器或者硬连线的定制IC处理器和可编程处理器的组合。此外，图1中被示出为独立的框的功能中的一个或多个，诸如DRAM缓冲存储器36和RAM存储器58，可被合并成包含图像处理器50的IC中的处理器可访问的存储系统。
处理后的数字图像文件可被存储在处理器可访问的存储系统中，处理器可访问的存储系统还可包括通过存储卡接口52被访问的可移除存储卡54。可移除存储卡54是一种可移除的数字图像存储介质，该存储介质可以是处理器可访问的存储系统的一部分，并且可以几种不同的物理形式被获得。例如，可移除存储卡54可包括(但不限于)适合于公知形式，比如Compact Flash(闪存卡)、SmartMedia(智能卡)、MemoryStick(记忆棒)、MMC、SD或XD存储卡形式的存储卡。可替换地，可以使用其它种类的可移除数字图像存储介质，比如硬盘驱动器，磁带或光盘，来存储静止和运动数字图像。可替换地，数字成像设备10可以使用内部的非易失性存储器(未示出)，比如内部闪速EPROM存储器来存储处理后的数字图像文件。在这样的例子中，不需要存储卡接口52和可移除存储卡54。
图像处理器50执行各种图像处理功能，包括后面跟随着颜色和色调校正的颜色插值，以便产生渲染的彩色图像数据。如果成像设备处于静止图像模式，那么渲染的彩色图像数据随后被JPEG压缩，并作为JPEG图像文件被存储在可移除存储卡54上。渲染的彩色图像数据也可经由通过诸如SCSI连接、USB连接或火线连接的适当的互连64而进行通信的主机接口62被提供给主机PC 66。JPEG文件优选地使用由日本东京的日本电子和信息技术工业协会(JEITA)在“Digital Still Camera Image File Format(Exif)”2.2版中定义的所谓“Exif”图像格式。该格式包括存储特殊的图像元数据(包括捕捉图像的日期/时间以及透镜f数和其它照相机设置)的Exif应用部分。
如果成像设备处于运动图像模式中，那么利用Apple ComputerInc.开发的公知的QuickTime格式，把渲染的彩色图像数据存储在可移除存储卡54上。应理解的是，使用各种已知的压缩技术，比如MPEG-1、MPEG-2、MPEG-4、H.263、H.264等，可以采用其它的运动图像格式。在运动图像模式下，渲染的彩色图像数据也可经由通过适当的互连64进行通信的主机接口62被提供给主机PC 66。
图像处理器50还创建静止图像或合适的运动图像帧的低分辨率“缩略图”尺寸图像。可如在以Kuchta等人的名义颁发的、共同转让的、题为“Electronic Still Camera Providing Multi-Format Storage ofFull and Reduced Resolution Images”的美国专利No.5,164,831中所述的那样创建该缩略图尺寸图像。在捕捉静止和运动图像之后，通过利用缩略图图像来选择期望的静止图像或运动图像序列，能够在彩色LCD图像显示器70上快速回顾捕捉的静止和运动图像。显示在彩色LCD图像显示器70上的图形用户界面由用户控制装置42控制。
在本发明的一些实施例中，数字成像设备10被包括作为拍照手机的一部分。在这样的例子中，图像处理器50还与蜂窝处理器90连接，蜂窝处理器90使用蜂窝调制解调器92经天线94利用射频传输向蜂窝网络(未示出)传送数字图像。
图2示出用于确定和校正曝光期间的成像设备运动的本发明的实施例的流程图。起初，在图像传感器上定义多组像素201。图3-5图解说明根据本发明的实施例的用于在图像传感器上定义多组像素的示例性方法。在图3中，在图像传感器308上定义两组像素。第一组像素302包含贯穿图像传感器被间隔开的多个邻接像素块。贯穿图像传感器，所述块可以具有任意的大小、形状和位置，不过，在本发明的优选实施例中，所述块是正方形的，并且贯穿图像传感器被均匀地间隔。第二组像素304包含整个图像传感器。因此，第一组像素是第二组像素的子集。第一组像素和第二组像素都具有与图像传感器306的输出图像区的非空重叠。输出图像区对应于包含由成像设备产生的输出图像的那些像素。传感器可具有不包括在输出图像中的其它像素。
在图4中，按跨越图像传感器406的输出图像区的棋盘的模式，在图像传感器408上定义不邻接的或者分离的两组图像像素。第一组像素402包含1/2的像素位置。第二组像素404包含其余1/2的像素位置。
在图5中，在图像传感器512上定义分离的四组图像像素，以使得所述四组图像像素以始终如一的模式出现在图像传感器510的输出图像区的每个2×2区域上。第一组像素502包含1/4的像素位置。类似地，第二组像素504，第三组像素506和第四组像素508均包含独立的1/4的像素位置。
返回图2，一旦定义了多组像素，就开始图像捕捉202。在本发明的一个替换实施例中，也可根据例如对成像设备捕捉设置的分析，在开始图像捕捉之后立即定义多组像素。在开始图像捕捉之后，一次或多次地从图像传感器读出每组像素204。
图6示出与图3中描述的像素组对应的图像传感器读出的示例性方法。在时间0，开始曝光601。注意，图像传感器可具有各种曝光、快门和读出系统。在一个例子中，传感器具有全局快门，从而使得给定组的所有像素同时开始曝光时间。随后，与给定组对应的像素数据信号(即，像元信号)被同时传送给蔽光存储单元，并从传感器被读出。在另一个例子中，传感器具有滚动快门系统，其中各行图像传感器像素具有与传感器的读出速度相应的稍微偏移的积分周期。该方法允许传感器的每行接收相同周期的积分，而不需要信号的蔽光临时存储。
在本发明的一些实施例中，破坏性地读出传感器图像像素信号(即，像元信号)，从而使得信号从传感器像素被读出而像素随后被重置。在本发明的其它实施例中，非破坏性地读出传感器图像像素，以使得在不重置像素的情况下从传感器像素位置读出信号。这些例子并不意味着限制，并且本领域技术人员会认识到本发明也适用于其它的传感器设计。
在图6中，来自第一组像素的像元信号被多次读出602，而来自第二组像素的像元信号只在曝光结束时的时间t被读出一次604。类似于下面讨论的图8和9，图6中的每一行可被看作从一组像元采集设备的像元信号的所指示的传输。在图6的具体实施例中，除最后一行外的每一行(602)可被视为从第一组像元采集设备的第一像元信号的所指示的传输，所述第一组像元采集设备包含所述多个像元采集设备中的一些但不是全部。图6的最后一行(604)可被视为从第二组像元采集设备的第二像元信号的所指示的传输，所述第二组像元采集设备包含所述多个像元采集设备中的一些或全部。
返回参照图2，读出的数据随后被用于计算运动估计206。在图6的例子中，从第一组像素的像元信号的多个读出被用于估计成像设备运动。本领域技术人员将会认识到存在许多用于估计两组图像数据之间的运动的公知方法。在用于估计第一组图像像素的两个连续读出之间的运动的一种优选方法中，对于来自相同像素块302的每对像元信号组，得出平移运动估计。可以利用比如块匹配的任何公知的技术来得出平移运动估计。
图7图解说明根据如关于图6所述的从第一组图像像素的信号的连续读出而得到两个对应的图像数据块702之间的运动估计的过程。来自第一读出的数据子块704被选为基准子块。该子块的大小可被选择成允许在期望的搜索范围708内的搜索而不离开整块图像数据区。从第二读出706中找出基准子块的最佳匹配，并且运动估计被计算为基准子块和匹配子块之间的平移偏移。
对来自每个像素块702的每对对应信号重复该过程，从而得到一批运动估计。可以将从第一组图像像素的信号的连续读出之间的全局平移运动估计作为该批运动估计的函数来计算。一种这样的函数是采用该批运动估计的平均值。另一种这样的函数是在水平方向和垂直方向上独立地采用该批运动估计的中位值。在一个优选实施例中，每对对应块不仅与运动估计相关，而且与指示最佳匹配的精度的成本值相关。在全局运动估计的计算中，只包括具有指示良好匹配的低相关成本值的块运动估计的子集。运动估计的该子集的中位值被用作全局运动估计。公知的是，各个块运动估计可反映与全局成像设备运动相反的局部被摄物体运动。优选的方法通过排除具有通常指示噪声或局部运动的高成本值的块运动估计并通过利用剩余估计的中位值来避免由局部运动引起的任何可能的残余离群数据，来计算全局运动的鲁棒测量结果。
用于计算运动估计的数据可取决于传感器像素的光谱灵敏度。在标准的Bayer模式传感器中，绿色像素可被用于确定最佳匹配。在包含全色像素的传感器中，这些像素可被用于比较各个运动偏移的质量。在任何一种情况下，数据可被插值，以使得在每个像素位置处特定光谱灵敏度(例如绿色或全色)的值是可获得的。
可如图3中所示预先定义产生第一组图像数据的像素块的位置。在另一个实施例中，恰在开始捕捉之前，分析预览数据。所述预览数据被用于确定图像场景内的高局部对比度的区域。块位置可被选择成以高局部对比度的区域为中心，因为它们通常产生改进的运动估计精度。块的数目和位置可以完全不受约束，或者受约束于特定数目和/或一般位置。在一个例子中，在垂直方向上约束块位置，但是在水平方向上不进行约束。因此确保必须被访问的传感器数据的行数受到控制以使行读出开销降到最小，同时允许块的水平布置的灵活性以使可能的运动估计性能达到最大。
随后结合从第一组图像像素的信号的连续读出之间的运动估计来形成曝光区间[0，t]期间的全局运动的函数。本领域技术人员将会认识到，存在许多用于得到这样的函数的方式。例如，运动可被约束为在从第一组图像像素的信号的连续读出之间的时间的每个子区间上是分段线性的或者分段恒定的。作为另一例子，运动估计也可被用于找出到二次或三次多项式的最小二乘拟合。这些例子并不意味着限制，而事实上把各个运动估计转换成曝光区间[0，t]期间的全局运动的函数的任何适当方法都被认为在本发明的范围之内。
返回参照图2，随后处理来自一组或多组图像像素中的至少一些的信号，以形成输出图像208。在图6的例子中，在时间t，从第二组图像像素的像元信号的读出604表示被处理从而形成输出图像的信号。在本实施例中，第二组图像像素包含整个传感器图像区，并且在曝光结束时将对应的像元信号一次读出，因此代表光在整个曝光区间[0，t]上的积分。
在本实施例中，第二组图像像素包含也属于第一组图像像素的图像像素。如果非破坏性地发生从第一组图像像素的像元信号的多个读出，那么当从第二组图像像素读出像元信号时，该测量结果将代表针对所有传感器图像像素光贯穿整个曝光区间的总积分。但是，如果破坏性地发生从第一组图像像素的像元信号的多个读出，那么必须合计这些测量结果与从第二组图像像素的像元信号的最终读出，以便在传感器的为第一组和第二组图像像素的并集的那些区域中形成与整个区间[0，t]对应的曝光测量结果。
本领域技术人员将会认识到，存在与从CMOS传感器的每个数据读出相关的读出噪声，并且在破坏性地进行从第一组图像像素的每个信号读出的情况下，与仅在曝光区间结束时被一次读出的图像传感器的区域相比，这些读出的集合将包含更多的读出噪声。在这种情况下，可能必须执行一些信号处理以匹配不同区域的噪声特性。
返回参照图6，在时间t读出的来自第二组图像像素的像元信号可被处理，以消除由曝光期间的成像设备运动引起的运动模糊。在本发明的一个实施例中，从来自第一组图像像素的信号的多个读出得到的全局运动函数可被用于产生在曝光区间[0，t]期间发生的模糊点扩展函数的估计。模糊点扩展函数可以和来自第二组图像像素的信号一起被输入到图像去卷积函数，从而产生增强的图像。这样的算法在本领域中是众所周知的。
图8描述与图4中描述的像素组对应的图像传感器读出的示例性方法。在时间0，开始第一组图像像素402的曝光(802)。随后以统一的曝光长度多次读出来自第一组图像像素的像元信号806。来自第二组图像像素的像元信号按照类似的方式与来自第一组图像像素的信号交错地被曝光804和读出808。在一个实施例中，第二组图像像素的信号读出在来自第一组图像像素的信号的连续读出之间在时间上被均匀地间隔开，不过这并不构成限制。
来自第一组和第二组图像像素的信号读出随后被用于运动估计。用于计算连续读出之间的全局平移运动的示例性方法是如在Rabbani等的美国专利申请2006/0274156A1“Image SequenceStabilization Method and Camera Having Dual Path Image SequenceStabilization”中所述并且还在图9中被图解说明的积分投影技术。
在图9中，来自第一组图像像素902的读出的像元信号沿垂直轴被合计，从而形成单个水平向量904。类似地，来自第二组图像像素906的读出的像元信号沿垂直轴被合计，从而形成单个水平向量908。随后比较这两个向量以确定两组数据之间的水平运动偏移910。本领域技术人员将会认识到，用于计算两个向量之间的相对运动值(包括确定最高相关性的偏移)的适当方法有许多种。
图9图解说明两组像元信号之间的水平运动偏移的计算。可以通过沿水平轴合计数据以形成代表每组像元信号的单个垂直向量，按照类似的方式计算垂直运动偏移。
在图9中，用于运动估计的两组像元信号来自连续的读出，即，得自于第一组图像像素的第一读出和得自于第二组图像像素的第二读出。不过，这并不意味着限制，并且通常，这两个读出可以是曝光时间期间的任意两个读出。
如图9中所述的积分投影技术也可适用于其它图像组，比如图5中所述的图像组。在给定信号读出不包含特定行(用于垂直运动估计)或列(用于水平运动估计)的数据的情况下，合计的信号向量可被插值以填充缺少的行或列的数据值。
取决于传感器的光谱灵敏度，用于运动估计中的两个图像像素组可以具有相同的光谱灵敏度，或者可不具有相同的光谱灵敏度。例如，第一组图像像素可以只包含全色像素，而第二组图像像素可以包含红色、绿色和蓝色像素。在这种情况下，在运动估计之前，为了匹配来自两个像素组的信号，一些信号处理可能是必需的。在上述情况下，来自绿色像素的信号可被用作来自全色像素的信号的近似，并被简单地按比例缩放以匹配整体强度。在另一种方法中，来自绿色、蓝色和红色像素的信号可被进行颜色插值，并被变换成亮度-色度表示，并且亮度数据可被用作全色表示的近似。
随后结合来自各组图像像素的信号的连续读出之间的运动估计来形成曝光区间[0，t]期间的全局运动的函数。如前所述，用于得到这样的函数的方式很多。在给定全局运动函数的情况下，处理来自多组图像像素的信号从而形成最终的输出图像。
用于处理来自各组图像像素的信号的方法有很多。一种这样的示例性方法是首选独立地增强每组像元信号。可对在其曝光期间存在显著的成像设备运动的任意一组像元信号应用去卷积算法。对在其曝光期间只存在轻微的成像设备运动的任意一组像元信号可应用更基本的锐化算法。在每种情况下，该组像元信号可被插值以填充空缺，从而使得在锐化或去卷积步骤之前在每个传感器像素位置处都存在数据。在完成各组像元信号的处理之后，处理后的数据然后可被进行运动对准并被合计以形成最终的输出图像。该步骤还可包括时间滤波器，例如中值滤波器或sigma滤波器，以确保合计图像不包含由不正确的运动估计或局部被摄物体运动而产生的模糊或伪像。还可处理该数据，以使得与过度成像设备运动的时段相对应的任意图像数据可被排除在进一步的处理之外且还被阻止对最终的组合图像起作用。
也可按照图6中描述的顺序读出图4中描述的像素组。在这种情况下，第一像素组被多次读取，并通过利用例如如前所述的积分投影技术而被用于照相机运动的估计。第二像素组只在曝光时间结束时被一次读取。如图4中那样定义第二像素组，或者可替换地，第二像素组可被定义成包含传感器上的所有像素。由于由多次读出而导致可在第一像素组位置处获得的数据是有噪声的，因此可以利用来自第二组图像像素的像素值来计算这些位置处的替换像素值。通过从第二组图像像素的相邻值的插值，可计算在与第一组图像像素对应的位置处的像素值。例如，在单色传感器的情况下，四个最近的近邻的双线性插值可被用于构造在与第一组图像像素对应的位置处的像素值。通常，与图4中所示相比较少的像素位置可被分配给第一组图像像素，其折衷是较不精确的运动估计是可能的，不过较少的像素位置包含插值的数据。在插值之后，可按照所计算的运动估计如前所述对整个图像应用去卷积算法。
图10示出与图5中描述的像素组对应的图像传感器读出的示例性方法。在时间0，开始第一组图像像素502的曝光1002。随后按统一的曝光长度多次读出来自第一组图像像素的信号1010。来自第二组图像像素的信号按照类似的方式、与第一组图像像素交错地被曝光1004和读出1012。类似地，来自第三组图像像素的信号与第一组图像像素交错地被曝光1006和读出1014。类似地，来自第四组图像像素的信号与第一组图像像素交错地被曝光1008和读出1016。在一个实施例中，从第三组图像像素的读出在从第一组图像像素的连续读出之间在时间上被均匀地间隔开，从第二组图像像素的读出在从第一组图像像素的读出和后面的从第三组图像像素的读出之间被均匀地间隔开，从第四组图像像素的读出在从第三组图像像素的读出和后面的从第一组图像像素的读出之间被均匀地间隔开，不过这并不是限制。
通过利用例如前面关于图8说明的技术，从所有四组图像像素的读出随后被用于运动估计。和与图8相关的例子一样，可以处理来自各组图像像素的像元信号的方法也有许多种。一种这样的示例性方法是首先增强每组像元信号。可对在其曝光期间存在显著的成像设备运动的任意一组像元信号应用去卷积算法。可对在其曝光期间只存在轻微的成像设备运动的任意一组像元信号应用更基本的锐化算法。在每种情况下，该组像元信号可被插值以填充空缺，以使得在锐化或去卷积步骤之前在每个传感器像素位置处都存在数据。每组像元信号还可被看作传感器图像数据的2×2下采样，并且可以以创建具有降低的分辨率的最终输出图像为目的，或者以只有在完成所有其它处理之后才插值回到传感器全分辨率为目的，以该分辨率进行处理。在完成各组像元信号的处理之后，处理后的数据然后可被运动对准并合计以形成最终的输出图像。该步骤还可包括时间滤波器，比如中值滤波器或sigma滤波器，以确保合计图像不包含由不正确的运动估计或局部被摄物体运动而产生的模糊或伪像。还可处理该数据，以使得与过度成像设备运动的时段对应的任意图像数据可被排除在进一步处理之外，并且还被阻止对最终的组合图像起作用。
运动估计也可用于其它用途，诸如提醒成像设备用户，由于曝光期间的过度成像设备运动使得捕捉的图像可能具有低图像质量。
部件列表
3  变焦透镜
5  变焦和聚焦电动机
10 数字成像设备
13 时钟驱动器
14 图像传感器
18 模拟输出信号
22 模拟信号处理器和模数转换器
36 DRAM缓冲存储器
40 控制处理器和定时发生器
42  用户控制装置
48  电子闪光灯
50  图像处理器
52  存储卡接口
54  可移除存储卡
56  RAM存储器
58  固件存储器
62  主机接口
64  互连
66  主机PC
70  彩色LCD图像显示器
90  蜂窝处理器
92  蜂窝调制解调器
94  天线
201 在图像传感器上定义多组图像像素的步骤
202 开始图像捕捉的步骤
204 一次或多次地从每组图像像素读出信号的步骤
206 利用来自一组或多组图像像素的信号的读出计算运动估计的步骤
208 处理来自图像像素的一组或多组信号以形成输出数字图像的步骤
302 第一组图像像素
304 第二组图像像素
306 输出图像区
308 传感器图像区
402 第一组图像像素
404 第二组图像像素
406 输出图像区
408 传感器图像区
502 第一组图像像素
504 第二组图像像素
506 第三组图像像素
508  第四组图像像素
510  输出图像区
512  传感器图像区
601  开始图像像素的曝光的步骤
602  从第一组图像像素读出信号的步骤
604  从第二组图像像素读出信号的步骤
702  来自第一组图像像素的连续读出的对应块
704  用作运动估计基准的子块
706  与基准子块比较的子块匹配
708  运动估计搜索范围
802  开始第一组图像像素的曝光的步骤
804  开始第二组图像像素的曝光的步骤
806  从第一组图像像素读出信号的步骤
808  从第二组图像像素读出信号的步骤
902  来自第一组图像像素的读出的信号
904  来自第一组图像像素的读出的信号沿垂直轴的合计
906  来自第二组图像像素的读出的信号
908  来自第二组图像像素的读出的信号沿垂直轴的合计
910  确定两个向量之间的运动偏移的步骤
1002 开始第一组图像像素的曝光的步骤
1004 开始第二组图像像素的曝光的步骤
1006 开始第三组图像像素的曝光的步骤
1008 开始第四组图像像素的曝光的步骤
1010 从第一组图像像素读出信号的步骤
1012 从第二组图像像素读出信号的步骤
1014 从第三组图像像素读出信号的步骤
1016 从第四组图像像素读出信号的步骤

Claims (14)

1.一种用于确定图像采集期间成像设备的运动的方法，所述成像设备包括图像传感器，所述图像传感器包括多个像元采集设备，所述方法至少部分地由数据处理系统来实施，并且包括下述步骤：
恰在由所述像元采集设备开始捕捉图像场景之前，至少部分地通过对所述图像场景的分析来识别邻接的一组像元采集设备；
指示来自第一组像元采集设备的第一像元信号的传输，所述第一组像元采集设备包含所述多个像元采集设备中的一些但不是全部，其中第一组像元采集设备包括所识别的所述邻接的一组像元采集设备；
指示来自第二组像元采集设备的第二像元信号的传输，所述第二组像元采集设备包含所述多个像元采集设备中的一些或者全部，并且其中第一像元信号中的一个和第二像元信号中的一个源自相同的像元采集设备；
接收第一像元信号；
接收第二像元信号；
至少基于第一像元信号与所接收的其它像元信号的比较，确定成像设备的运动，其中，所述所接收的其它像元信号是第二像元信号；
把标识所确定的运动的信息存储在处理器可访问的存储系统中；以及
至少基于：(a)标识所确定的运动的信息以及(b)第二像元信号中的至少一些，而组合图像。
2.根据权利要求1所述的方法，其中至少第一像元信号通过对相应的像元采集设备的破坏性读出而产生。
3.根据权利要求1所述的方法，其中至少第一像元信号通过对相应的像元采集设备的非破坏性读出而产生。
4.根据权利要求1所述的方法，其中标识所确定的运动的信息表示曝光期间的平移运动。
5.根据权利要求1所述的方法，还包括下述步骤：
在组合图像之前，指示至少基于所确定的运动而执行至少作用于第二像元信号的图像处理步骤。
6.根据权利要求5所述的方法，其中所述图像处理步骤包括：
去模糊步骤；
对第二像元信号中的至少一些第二像元信号的空间对准；
对第二像元信号中的至少一些第二像元信号的锐化；或
阻止第二像元信号中的至少一些第二像元信号对组合图像起作用。
7.根据权利要求1所述的方法，其中所述所接收的其它像元信号是从所述第一组像元采集设备接收的第二像元信号。
8.一种用于确定图像采集期间成像设备的运动的方法，所述成像设备包括图像传感器，所述图像传感器包括多个像元采集设备，所述方法至少部分地由数据处理系统来实施，并且包括下述步骤：
指示来自第一组像元采集设备的第一像元信号的传输，所述第一组像元采集设备包含所述多个像元采集设备中的一些但不是全部；
指示来自第二组像元采集设备的第二像元信号的传输，其中所述第二组像元采集设备包含所述多个像元采集设备中的一些但不是全部并且第一组像元采集设备与第二组像元采集设备没有交叠；
接收第一像元信号；
通过沿着垂直轴合计或沿着水平轴合计所接收的第一像元信号来形成第一矢量；
接收第二像元信号；
通过沿着与第一像元信号相同的垂直轴合计或沿着与第一像元信号相同的水平轴合计所接收的第二像元信号来形成第二矢量；
基于所形成的第一矢量和所形成的第二矢量的比较而确定第一像元信号和第二像元信号之间的水平运动或垂直运动；
把标识所确定的运动的信息存储在处理器可访问的存储系统中；以及
至少基于：(a)标识所确定的运动的所述信息，(b)第一像元信号中的至少一些，以及(c)第二像元信号中的至少一些，来组合图像。
9.根据权利要求8所述的方法，还包括下述步骤：
从另外一组像元采集设备接收另外的像元信号，其中所述另外一组像元采集设备包含所述多个像元采集设备中的一些但不是全部并且与(a)第一组像元采集设备和(b)第二组像元采集设备是互斥的，
其中在来自相应的像元采集设备的第一像元信号的传输和来自相应的像元采集设备的第二像元信号的传输之间的时段期间，从相应的像元采集设备传输所述另外的像元信号。
10.根据权利要求8所述的方法，其中所述第一组像元采集设备是不邻接的像元采集设备。
11.根据权利要求8所述的方法，还包括下述步骤：
在组合图像之前，指示至少基于所确定的运动执行至少作用于第二像元信号的图像处理步骤。
12.一种用于确定图像采集期间成像设备的运动的系统，所述成像设备包括图像传感器，所述图像传感器包括多个像元采集设备，所述系统至少部分地由数据处理系统来实施且包括：
用于恰在由所述像元采集设备开始捕捉图像场景之前、至少部分地通过对所述图像场景的分析来识别邻接的一组像元采集设备的装置；
用于指示从第一组像元采集设备传输第一像元信号的装置，所述第一组像元采集设备包含所述多个像元采集设备中的一些但不是全部，其中第一组像元采集设备包括所识别的所述邻接的一组像元采集设备；
用于指示从第二组像元采集设备传输第二像元信号的装置，所述第二组像元采集设备包含所述多个像元采集设备中的一些或者全部，并且其中第一像元信号中的一个和第二像元信号中的一个源自相同的像元采集设备；
用于接收第一像元信号的装置；
用于接收第二像元信号的装置；
用于至少基于第一像元信号和所接收的其它像元信号的比较而确定成像设备的运动的装置，其中，所述所接收的其它像元信号是第二像元信号；
用于把标识所确定的运动的信息存储在处理器可访问的存储系统中的装置；以及
用于至少基于(a)标识所确定的运动的信息和(b)第二像元信号中的至少一些而组合图像的装置。
13.根据权利要求12所述的系统，其中所述所接收的其它像元信号是从所述第一组像元采集设备接收的第二像元信号。
14.一种用于确定图像采集期间成像设备的运动的系统，所述成像设备包括图像传感器，所述图像传感器包括多个像元采集设备，所述系统至少部分地由数据处理系统来实施且包括：
用于指示从第一组像元采集设备传输第一像元信号的装置，所述第一组像元采集设备包含所述多个像元采集设备中的一些但不是全部；
用于指示从第二组像元采集设备传输第二像元信号的装置，其中所述第二组像元采集设备包含所述多个像元采集设备中的一些但不是全部并且第一组像元采集设备与第二组像元采集设备没有交叠；
用于接收第一像元信号的装置；
用于通过沿着垂直轴合计或沿着水平轴合计所接收的第一像元信号来形成第一矢量的装置；
用于接收第二像元信号的装置；
用于通过沿着与第一像元信号相同的垂直轴合计或沿着与第一像元信号相同的水平轴合计所接收的第二像元信号来形成第二矢量的装置；
用于基于所形成的第一矢量和所形成的第二矢量的比较而确定第一像元信号和第二像元信号之间的水平运动或垂直运动的装置；
用于把标识所确定的运动的信息存储在处理器可访问的存储系统中的装置；以及
用于至少基于(a)标识所确定的运动的信息、(b)第一像元信号中的至少一些以及(c)第二像元信号中的至少一些而组合图像的装置。
CN200880025408.7A 2007-07-20 2008-07-07 校正曝光期间的成像设备运动 Active CN101755448B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/780,841 2007-07-20
US11/780,841 US8896712B2 (en) 2007-07-20 2007-07-20 Determining and correcting for imaging device motion during an exposure
PCT/US2008/008323 WO2009014594A1 (en) 2007-07-20 2008-07-07 Correcting imaging device motion during an exposure

Publications (2)

Publication Number Publication Date
CN101755448A CN101755448A (zh) 2010-06-23
CN101755448B true CN101755448B (zh) 2013-03-13

Family

ID=39745118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880025408.7A Active CN101755448B (zh) 2007-07-20 2008-07-07 校正曝光期间的成像设备运动

Country Status (5)

Country Link
US (1) US8896712B2 (zh)
EP (1) EP2191639B1 (zh)
JP (1) JP5124642B2 (zh)
CN (1) CN101755448B (zh)
WO (1) WO2009014594A1 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP5078458B2 (ja) * 2007-06-22 2012-11-21 キヤノン株式会社 撮像装置及びその制御方法並びに撮像システム
US8253810B2 (en) * 2007-12-05 2012-08-28 Aptina Imaging Corporation Method, apparatus and system for image stabilization using a single pixel array
TWI381719B (zh) * 2008-02-18 2013-01-01 Univ Nat Taiwan 穩定全幅式視訊之方法
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
FI20095273A0 (fi) * 2009-03-17 2009-03-17 On2 Technologies Finland Oy Digitaalinen videokoodaus
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8194166B2 (en) 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194164B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279316B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8314873B2 (en) 2009-09-30 2012-11-20 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279317B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20110074997A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US8194165B2 (en) 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8294803B2 (en) * 2009-09-30 2012-10-23 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8144220B2 (en) 2009-09-30 2012-03-27 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8134628B2 (en) * 2009-09-30 2012-03-13 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8149303B2 (en) * 2009-09-30 2012-04-03 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20130070862A1 (en) * 2010-05-20 2013-03-21 Galaxia Communications Co., Ltd. Video compression encoding device implementing an applied motion compensation technique using a selective motion search, and method for determining selective motion compensation
WO2011145761A1 (ko) * 2010-05-20 2011-11-24 갤럭시아커뮤니케이션즈 주식회사 선택적 참조영상을 이용한 움직임 보상기법을 적용한 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 참조영상 결정방법
EP2405661B1 (en) 2010-07-06 2017-03-22 Google, Inc. Loss-robust video transmission using two decoders
US8810692B2 (en) 2010-10-19 2014-08-19 Apple Inc. Rolling shutter distortion correction
FR2968499B1 (fr) * 2010-12-06 2013-06-14 Astrium Sas Procede d'utilisation d'un capteur d'image.
FR2968764B1 (fr) 2010-12-13 2012-12-14 Onera (Off Nat Aerospatiale) Sonde optique pour mesurer des caracteristiques physiques et chimiques d'un milieu en ecoulement
WO2012155142A1 (en) 2011-05-12 2012-11-15 Olive Medical Corporation Pixel array area optimization using stacking scheme for hybrid image sensor with minimal vertical interconnects
US8823813B2 (en) 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US8648919B2 (en) 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization
EP3471420B1 (en) * 2011-11-18 2020-05-13 Google Technology Holdings LLC An explicit way for signaling a collocated picture for high efficiency video coding (hevc)
BR112014012038A2 (pt) 2011-11-18 2017-05-30 Motorola Mobility Llc armazenamento eficiente de informação de movimento para codificação de vídeo de alta eficiência
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
BR112014012187A2 (pt) 2011-11-21 2017-05-30 Motorola Mobility Llc determinação implícita e determinação implícita e explícita combinadas de imagem colocalizada para predição temporal
US9014265B1 (en) 2011-12-29 2015-04-21 Google Inc. Video coding using edge detection and block partitioning for intra prediction
KR102099485B1 (ko) 2012-04-11 2020-04-09 구글 테크놀로지 홀딩스 엘엘씨 시간적 예측을 위한 시간적 모션 벡터 예측기(mvp) 플래그의 시그널링
US9549177B2 (en) 2012-04-11 2017-01-17 Google Technology Holdings LLC Evaluation of signaling of collocated reference picture for temporal prediction
JP2013223043A (ja) * 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
FR2991785B1 (fr) 2012-06-06 2014-07-18 Astrium Sas Stabilisation d'une ligne de visee d'un systeme d'imagerie embarque a bord d'un satellite
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
BR112015001555A2 (pt) 2012-07-26 2017-07-04 Olive Medical Corp vídeo contínuo em ambiente com deficiência de luz
CN111938543A (zh) 2012-07-26 2020-11-17 德普伊辛迪斯制品公司 具有最小面积单片式cmos图像传感器的相机系统
JP6284937B2 (ja) 2012-07-26 2018-02-28 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 光が不十分な環境におけるＹＣｂＣｒパルス照明システム
US9040892B2 (en) 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
US9500526B2 (en) * 2013-02-01 2016-11-22 Dicon Fiberoptics Inc. High-throughput and high resolution method for measuring the color uniformity of a light spot
US9210424B1 (en) 2013-02-28 2015-12-08 Google Inc. Adaptive prediction block size in video coding
JP6433975B2 (ja) 2013-03-15 2018-12-05 デピュイ・シンセス・プロダクツ・インコーポレイテッド 入力クロック及びデータ伝送クロックのない画像センサ同期
WO2014145249A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Controlling the integral light energy of a laser pulse
US9641815B2 (en) 2013-03-15 2017-05-02 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
EP2967286B1 (en) 2013-03-15 2021-06-23 DePuy Synthes Products, Inc. Minimize image sensor i/o and conductor counts in endoscope applications
AU2014233464B2 (en) 2013-03-15 2018-11-01 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
US10051183B2 (en) * 2013-03-29 2018-08-14 Sony Corporation Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method for shake correction using shake angle
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
WO2015013534A1 (en) * 2013-07-24 2015-01-29 Mourikis Anastasios I Method for camera motion estimation and correction
CN104144345B (zh) * 2013-09-18 2016-08-17 腾讯科技（深圳）有限公司 在移动终端进行实时图像识别的方法及该移动终端
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
WO2015192056A1 (en) 2014-06-13 2015-12-17 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
CN107107231A (zh) * 2014-12-19 2017-08-29 林肯环球股份有限公司 焊接视像与控制系统
US20160175964A1 (en) * 2014-12-19 2016-06-23 Lincoln Global, Inc. Welding vision and control system
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
US10615513B2 (en) 2015-06-16 2020-04-07 Urthecast Corp Efficient planar phased array antenna assembly
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
US10955546B2 (en) 2015-11-25 2021-03-23 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US9934559B2 (en) * 2016-02-19 2018-04-03 Fotonation Limited Method for correcting an acquired image
KR102558471B1 (ko) * 2016-07-27 2023-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
US11506778B2 (en) 2017-05-23 2022-11-22 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods
CA3064586A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
US10497105B2 (en) 2017-11-01 2019-12-03 Google Llc Digital image auto exposure adjustment
WO2019226194A2 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
US11025825B2 (en) * 2018-07-19 2021-06-01 Karl Storz Imaging, Inc. System and method to obtain a moving endoscopic image
CN115086517A (zh) * 2022-05-26 2022-09-20 联宝(合肥)电子科技有限公司 一种图像采集方法、装置、电子设备及存储介质

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2508267A (en) * 1945-10-26 1950-05-16 Du Mont Allen B Lab Inc Color television
US2446791A (en) * 1946-06-11 1948-08-10 Rca Corp Color television tube
US2884483A (en) * 1955-03-09 1959-04-28 Grimson Color Inc Color image pick up apparatus
JPS5016134B1 (zh) * 1970-12-26 1975-06-11
JPS6056030B2 (ja) * 1975-10-24 1985-12-07 松下電器産業株式会社 カラー固体撮像装置
US4047203A (en) * 1976-05-12 1977-09-06 Eastman Kodak Company Color imaging array
JPS5763983A (en) * 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
US4500914A (en) 1981-08-01 1985-02-19 Sharp Kabushiki Kaisha Color imaging array and color imaging device
EP0119862B1 (en) 1983-03-17 1990-12-27 Nec Corporation Solid-state color imaging apparatus
US4663661A (en) * 1985-05-23 1987-05-05 Eastman Kodak Company Single sensor color video camera with blurring filter
US5018006A (en) * 1985-10-31 1991-05-21 Canon Kabushiki Kaisha Multi-plate type image pickup apparatus having picture elements for producing color and luminance signals
CH669271A5 (fr) * 1986-08-15 1989-02-28 Canon Kk Procede pour stabiliser une image focalisee par un objectif photographique et dispositif pour la mise en oeuvre de ce procede.
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
US4962419A (en) * 1989-02-13 1990-10-09 Eastman Kodak Company Detail processing method and apparatus providing uniform processing of horizontal and vertical detail components
US5164831A (en) * 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5374956A (en) * 1992-05-29 1994-12-20 Eastman Kodak Company Electronic imaging apparatus with dithered color filter array
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US6112031A (en) * 1995-07-27 2000-08-29 Eastman Kodak Company Generating digitized images on silver halide
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
US6243133B1 (en) * 1997-03-07 2001-06-05 Eastman Kodak Company Method for automatic scene balance of digital images
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
KR100252080B1 (ko) * 1997-10-10 2000-04-15 윤종용 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
JP4140077B2 (ja) * 1998-02-18 2008-08-27 ソニー株式会社 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ
US6982746B1 (en) * 1998-02-24 2006-01-03 Canon Kabushiki Kaisha Apparatus and method for correcting shake by controlling sampling timing of shake signal
US6650704B1 (en) * 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
JP2002027300A (ja) 2000-07-05 2002-01-25 Minolta Co Ltd デジタルカメラ
US7042507B2 (en) * 2000-07-05 2006-05-09 Minolta Co., Ltd. Digital camera, pixel data read-out control apparatus and method, blur-detection apparatus and method
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US8120690B2 (en) * 2001-04-12 2012-02-21 Nikon Corporation Imaging device
JP4072348B2 (ja) * 2002-01-25 2008-04-09 キヤノン株式会社 振れ補正装置、撮像装置、振れ補正方法、振れ補正装置の制御プログラム、及び記憶媒体
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7095420B2 (en) 2002-10-17 2006-08-22 Lockheed Martin Corporation System and related methods for synthesizing color imagery
JP2006506813A (ja) 2002-11-12 2006-02-23 マイクロン テクノロジー インコーポレイテッド Ｃｍｏｓイメージセンサにおける暗電流を減少させる接地ゲート及び分離技術
US7091536B2 (en) * 2002-11-14 2006-08-15 Micron Technology, Inc. Isolation process and structure for CMOS imagers
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
JP2004289709A (ja) 2003-03-25 2004-10-14 Toshiba Corp 撮像装置、撮像方法
US7462553B2 (en) * 2003-06-25 2008-12-09 Semicoa Ultra thin back-illuminated photodiode array fabrication methods
US20050057801A1 (en) * 2003-09-11 2005-03-17 Bushnell Performance Optics Talking telescope
US7214999B2 (en) * 2003-10-31 2007-05-08 Motorola, Inc. Integrated photoserver for CMOS imagers
JP4412710B2 (ja) * 2003-11-25 2010-02-10 キヤノン株式会社 光電変換装置の設計方法
US20050117017A1 (en) * 2003-12-01 2005-06-02 Baer Richard L. System and method for imaging regions of interest
US7705908B2 (en) * 2003-12-16 2010-04-27 Eastman Kodak Company Imaging method and system for determining camera operating parameter
JP2005354610A (ja) * 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
US20060028544A1 (en) * 2004-08-06 2006-02-09 Mei-Chuan Tseng Electronic blind guidance cane
JP2006050457A (ja) * 2004-08-06 2006-02-16 Canon Inc 撮像装置
JP4869572B2 (ja) * 2004-08-09 2012-02-08 株式会社ニコン 撮像装置
US7385238B2 (en) * 2004-08-16 2008-06-10 Micron Technology, Inc. Low dark current image sensors with epitaxial SiC and/or carbonated channels for array transistors
JP2006157568A (ja) * 2004-11-30 2006-06-15 Konica Minolta Holdings Inc 撮像装置およびプログラム
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP4841834B2 (ja) 2004-12-24 2011-12-21 浜松ホトニクス株式会社 ホトダイオードアレイ
ATE381852T1 (de) 2005-02-03 2008-01-15 Sony Ericsson Mobile Comm Ab Verfahren und vorrichtung zur erzeugung von verbesserten bildern aus mehreren konsekutiven belichtungen
WO2006113583A2 (en) * 2005-04-15 2006-10-26 Mississippi State University Remote sensing imagery accuracy analysis method and apparatus
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US7643062B2 (en) * 2005-06-08 2010-01-05 Hewlett-Packard Development Company, L.P. Method and system for deblurring an image based on motion tracking
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
JP2007067571A (ja) * 2005-08-29 2007-03-15 Fujitsu Ltd 画像処理装置
JP2007098260A (ja) * 2005-10-04 2007-04-19 Hitachi Koki Co Ltd 遠心分離機
JP5003991B2 (ja) 2005-10-26 2012-08-22 カシオ計算機株式会社 動きベクトル検出装置及びそのプログラム
US7576404B2 (en) * 2005-12-16 2009-08-18 Icemos Technology Ltd. Backlit photodiode and method of manufacturing a backlit photodiode
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US20080121306A1 (en) * 2006-06-15 2008-05-29 Markus Koeger Vacuum filling of syringe liquids with outgassing compensation stroke
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
TWI479887B (zh) 2007-05-24 2015-04-01 Sony Corp 背向照明固態成像裝置及照相機
JP5104036B2 (ja) 2007-05-24 2012-12-19 ソニー株式会社 固体撮像素子とその製造方法及び撮像装置
JP5055026B2 (ja) * 2007-05-31 2012-10-24 富士フイルム株式会社 撮像素子、撮像素子の製造方法、及び、撮像素子用の半導体基板
EP2188840A1 (en) 2007-08-10 2010-05-26 Array Optronix, Inc. Back-illuminated, thin photodiode arrays with trench isolation
US7608906B2 (en) * 2007-11-13 2009-10-27 Teledyne Licensing, Llc Simultaneous unipolar multispectral integrated technology (SUMIT) detectors
US8017426B2 (en) * 2008-07-09 2011-09-13 Omnivision Technologies, Inc. Color filter array alignment mark formation in backside illuminated image sensors
US20100006908A1 (en) * 2008-07-09 2010-01-14 Brady Frederick T Backside illuminated image sensor with shallow backside trench for photodiode isolation
US7859033B2 (en) * 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8068153B2 (en) 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images

Also Published As

Publication number Publication date
US8896712B2 (en) 2014-11-25
US20090021588A1 (en) 2009-01-22
JP2010534429A (ja) 2010-11-04
EP2191639A1 (en) 2010-06-02
CN101755448A (zh) 2010-06-23
EP2191639B1 (en) 2018-11-07
WO2009014594A1 (en) 2009-01-29
JP5124642B2 (ja) 2013-01-23

Similar Documents

Publication Publication Date Title
CN101755448B (zh) 校正曝光期间的成像设备运动
US10009538B2 (en) Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9736425B2 (en) Methods and systems for coded rolling shutter
US9325918B2 (en) Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program
KR101267661B1 (ko) 불량 색 및 전정색 ｃｆａ 이미지의 개선
TWI504257B (zh) 在產生數位影像中曝光像素群組
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US7924317B2 (en) Method and apparatus for reducing motion blur in digital images
JP7129234B2 (ja) 撮像装置、撮像システム、および撮像装置の制御方法
CN108322650A (zh) 视频拍摄方法和装置、电子设备、计算机可读存储介质
US10366478B2 (en) Method and device for obtaining a HDR image by graph signal processing
JP5738904B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
Moore Integrating 3-D Modelling with Unmanned Aerial Vehicles in Subterranean Environments to aid Archaeological Stratigraphy
CN116506745A (zh) 成像装置和方法
CN111316634A (zh) Hdr图像成像方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FULL VISION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20110706

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: STATE OF NEW YORK, THE USA TO: STATE OF CALIFORNIA, THE USA

TA01 Transfer of patent application right

Effective date of registration: 20110706

Address after: California, USA

Applicant after: Full Vision Technology Co., Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: OmniVision Technologies, Inc.

Address before: California, USA

Patentee before: Full Vision Technology Co., Ltd.

CP01 Change in the name or title of a patent holder