CN101426092A - 使用对象跟踪的用于数字图像稳定的设备和方法 - Google Patents

使用对象跟踪的用于数字图像稳定的设备和方法 Download PDF

Info

Publication number
CN101426092A
CN101426092A CNA200810170411XA CN200810170411A CN101426092A CN 101426092 A CN101426092 A CN 101426092A CN A200810170411X A CNA200810170411X A CN A200810170411XA CN 200810170411 A CN200810170411 A CN 200810170411A CN 101426092 A CN101426092 A CN 101426092A
Authority
CN
China
Prior art keywords
image
comparative degree
exposure value
motion
value condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200810170411XA
Other languages
English (en)
Other versions
CN101426092B (zh
Inventor
李荣信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixelplus Co Ltd
Original Assignee
Core Logic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Core Logic Inc filed Critical Core Logic Inc
Publication of CN101426092A publication Critical patent/CN101426092A/zh
Application granted granted Critical
Publication of CN101426092B publication Critical patent/CN101426092B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6047—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis wherein the test pattern is part of an arbitrary user image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

一种使用对象跟踪的用于数字图像稳定的设备可以在没有单独硬件的情况下获得免于由于手抖动引起的图像模糊现象的数字静止图像，并且可以获得没有噪声的明亮清晰的图像。所述设备包括：图像信号处理单元，用于输出在第一曝光值条件下获得的第一数字图像数据和在第二曝光值条件下获得的多个第二数字图像数据；手抖动补偿单元，用于使用对象跟踪来补偿比较级第二数字图像相对于基准第二数字图像的运动，并且通过将每个补偿后比较级图像与基准图像重叠来生成手抖动补偿后图像；和图像属性校正单元，用于基于第一数字图像的属性来校正手抖动补偿后图像的属性。

Description

使用对象跟踪的用于数字图像稳定的设备和方法
优先权要求
本申请要求2007年11月2日向韩国知识产权局提交的韩国专利申请No.10-2007-0111485基于35 U.S.C.§119(a)的优先权，由此通过引用合并其全部内容。
技术领域
本发明涉及数字图像处理，并更具体地，涉及能够在获得数字图像时校正由于手抖动引起的图像模糊现象的用于数字图像稳定的设备和方法。
背景技术
近来，利用诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的图像传感器技术的数字相机正被广泛使用。数字相机被商业化用作仅相机产品(camera-only-product)，并且典型地被安装在诸如移动电话或PDA之类的手持式终端中。
然而，手持式终端的中央处理单元并不具有个人计算机的高时钟速度和存储容量。而且，手持式终端的发展趋势倾向于终端的厚度和尺寸的降低，使得终端在安装诸如相机之类的附加装置时具有空间限制。而且，在向手持式终端中的仅相机产品应用各种图像处理技术(例如，用于防止由于拍摄者的手抖动引起的数字图像恶化的数字图像稳定技术)时存在限制。
典型的数字相机支持自动曝光模式。在自动曝光模式中，EV(曝光值)根据进行拍摄的位置的亮度而自动地改变。也就是，在暗地方，EV增加，而在亮地方，EV减小。
然而，EV的增加导致曝光时间的增加。这可能会导致图像模糊现象，因为在照片中反映由于手抖动引起的焦点的小量调节(tweak)。传统上，为了防止图像模糊现象，引入了各种图像稳定技术，例如DIS(数字图像稳定)、EIS(电图像稳定)或OIS(光学图像稳定)。
DIS技术使用存储器中存储的图像信号来检测/补偿手抖动效果。DIS技术使用在图像拾取装置中生成的并被存储在存储器中的图像信号来检测运动矢量，并且使用检测到的运动矢量来改变存储器的读取定时，以补偿手抖动。
DIS技术具有简单图像稳定的优点。然而，因为改变了存储器的读取定时，所以可从存储器读取的图像的尺寸等于有效像素区域的尺寸。因此，DIS技术通过数字缩放来放大从存储器读取的图像并播放/记录放大后的图像，这导致图像质量的恶化。
EIS技术使用角速度传感器和高像素图像拾取装置来检测/补偿手抖动效果。EIS技术使用水平/垂直角速度传感器来检测手颤动的量和方向，并且使用检测到的手颤动的量和方向来改变高像素图像拾取装置的输出定时，以便补偿手抖动。
由于高像素图像拾取装置的输出定时改变，所以由从高像素图像拾取装置输出的图像信号组成的图像的尺寸等于原始图像的尺寸。这是由于在EIS技术中使用的高像素图像拾取装置具有比有效像素的数目更多数目的像素而产生的。因此，EIS技术能够减少所播放/所记录的图像的质量恶化。然而，EIS技术需要角速度传感器和高像素图像拾取装置，这导致制造成本增加。
OIS技术使用角速度传感器和棱镜来检测/补偿手抖动效果。OIS技术与EIS技术的相同之处在于使用水平/垂直角速度传感器来检测手颤动的量和方向。然而，区别在于OIS技术使用能够改变图像拾取装置上的入射光的路径的棱镜来补偿手抖动。
OIS技术不会经受所播放/所记录的图像的质量恶化，并且不需要高图像拾取装置。然而，OIS技术需要角速度传感器和棱镜，这增加了拍摄装置的体积和制造成本。而且，OIS技术难以控制棱镜。
发明内容
本发明的一个目的是提供一种用于消除对于诸如用以补偿手抖动的角速度传感器或棱镜之类的单独硬件的需求的数字图像稳定方法。
本发明的另一目的是提供一种用于在安装于具有有限的硬件资源的终端(例如移动电话或PDA)中的数字相机中降低图像质量恶化和图像模糊现象的数字图像稳定方法。
为了实现上述目的，根据本发明的一种使用对象跟踪的用于数字图像稳定的设备，包括：(1)图像信号处理单元，用于输出在第一曝光值条件下获得的第一数字图像数据和在第二曝光值条件下获得的多个第二数字图像数据；(2)手抖动补偿单元，用于通过对象跟踪来补偿比较级第二数字图像相对于基准第二数字图像的运动，并且通过将每个补偿后比较级图像与基准图像重叠来生成手抖动补偿后图像；和(3)图像属性校正单元，用于基于第一数字图像的属性来校正手抖动补偿后图像的属性。
根据本发明，所述设备还包括曝光模式转换单元，用于基于第一曝光值条件自适应地确定第二曝光值条件，并且将图像传感器的曝光属性从第一曝光值条件变为第二曝光值条件。
优选地，所述第一曝光值条件是自动曝光模式的曝光值条件，而所述第二曝光值条件对应于比自动曝光模式的照度更低的照度。
优选地，所述第一数字图像数据是在自动曝光模式中获得的预览图像数据，而所述第二数字图像数据是在图像捕获模式中按照规则时间间隔连续生成的全尺寸捕获静止图像数据。
根据本发明，所述手抖动补偿单元包括：(1)对象标记单元，用于将多个第二数字图像分类为基准图像和比较级图像，并且使用对象跟踪来标记基准图像的对象和每个比较级图像的对象；(2)运动值计算单元，用于将每个比较级图像的对象与基准图像的对象进行匹配，计算匹配后对象的参数，并且通过所计算的参数来计算每个比较级图像相对于基准图像的运动值；(3)运动补偿单元，用于将每个所计算的运动值施加到对应的比较级图像，以便补偿每个比较级图像的运动；和(4)补偿后图像生成单元，用于将每个运动补偿后的比较级图像与基准图像重叠，以便生成手抖动补偿后图像。
优选地，所述对象标记单元包括：图像二值化单元，用于将基准图像和每个比较级图像转换为二进制图像；和对象标记器，用于从基准二进制图像和每个比较级二进制图像中提取对象，并且标记所提取的对象。更优选地，所述对象标记单元还包括：图像滤波器，用于过滤基准图像和每个比较级图像，以便对图像进行边界锐化(boundary-sharpened)；和图像合成器，用于将从图像滤波器输出的边界锐化后图像与二进制图像进行合成。在这种情况下，所述对象标记器标记来自合成后图像的对象。
根据本发明，所述设备还可在所述对象标记单元之前包括图像尺寸调整器(resizer)，用于通过将第二数字图像的尺寸按比例缩放为预定尺寸或者从第二数字图像中剪切预定宽度的边界，来调整多个第二数字图像的尺寸。所述设备可以作为选择在所述对象标记单元之前包括图像选择单元，用于如果比较级图像相对于基准图像的运动矢量的幅度超过临界值，或者如果基准图像与比较级图像之间的亮度差不超过临界值，则从用于对象标记的图像中排除比较级图像。
在本发明中，每个比较级图像的运动值包括从由根据平移的运动值、根据旋转的运动值、根据按比例缩放的运动值、和根据修剪(shear)的运动值、或者它们的组合组成的组中选择的任意一个。
优选地，所述图像属性校正单元包括：色彩校正单元，用于通过用第一数字图像的像素数据替换手抖动补偿后图像的像素数据，或者通过考虑第一数字图像与手抖动补偿后图像之间的尺寸比率基于第一数字图像的像素数据来内插手抖动补偿后图像的像素数据，来校正手抖动补偿后图像的色彩。所述图像属性校正单元可以附加或者替换地包括亮度校正单元，用于定量地计算第一数字图像与手抖动补偿后图像之间的亮度差，自适应地选择亮度校正强度，并且通过所选择的强度来校正手抖动补偿后图像的亮度。
本发明还包括使用对象跟踪的数字图像稳定方法。
附图说明
考虑结合附图进行的详细描述，本发明的特征和优点将变得更加明显，全文中类似的附图标记表示类似的部分，并且其中：
图1是图示根据本发明实施例的使用对象跟踪的用于数字图像稳定的设备的方框图。
图2是图示根据本发明实施例的手抖动补偿单元的方框图。
图3是图示根据本发明实施例的对象标记单元的方框图。
图4是图示根据本发明另一实施例的对象标记单元的方框图。
图5是图示根据本发明另一实施例的手抖动补偿单元的方框图。
图6是图示根据本发明另一实施例的手抖动补偿单元的方框图。
图7概念地图示了根据本发明实施例的由运动值计算单元计算的对象参数。
图8是图示根据本发明的手抖动补偿单元的操作的示例的流程图。
图9是图示其中施加图像处理模块的色彩校正单元基于预览图像校正手抖动补偿后图像的色彩的处理的流程图。
图10是图示其中施加图像处理模块的亮度校正单元基于预览图像校正手抖动补偿后图像的亮度的处理的流程图。
图11是示出从在预览模式中生成预览图像到通过取景器(view finder)输出预览图像的处理的方框图。
图12是示出其中校正被捕获静止图像的图像模糊现象的处理流程的方框图。
图13图示了图像(A)和图像(B)，该图像(A)由在自动曝光模式中没有图像稳定功能的典型数字拍摄装置拍摄，该图像(B)由实现根据本发明的使用对象跟踪的数字图像稳定方法的数字拍摄装置拍摄。
具体实施方式
尽管该说明书包含许多细节，但是这些都不应当被解释为对本发明或权利要求的范围的限制，而是相反，被解释为本发明的特殊实施例特定的描述。在该说明书中的单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或者以任何适当的子组合方式来实现。
应当理解，说明书和所附权利要求中使用的术语不必限于一般含义和字典含义，而是应当基于与此处所描述的本发明的技术方面对应的含义和概念进行解释。
根据本发明的使用对象跟踪的用于数字图像稳定的设备被安装在各种数字拍摄装置中。数字拍摄装置包括例如数字相机、数字摄像机、具有内置数字相机的移动电话、PDA和个人多媒体播放器。数字拍摄装置被配置用来通过用户的快门操作获得物体的图像，将所获得的图像转换为数字图像，并且将该数字图像存储在存储介质中。
与传统相机不同，商业数字拍摄装置支持预览功能，用于通过具有诸如LCD之类的显示器的取景器查看照片中将要包含的物体的图像。因此，用户在预览模式中通过取景器查看根据数字拍摄装置的移动按照短帧间隔改变的图像，并且当用户发觉期望的最佳图像时，用户操作快门来获得该物体的数字静止图像。
根据本发明的使用对象跟踪的用于数字图像稳定的设备获得在第一曝光值条件下拍摄的第一数字图像和在第二曝光值条件(小于第一曝光值条件)下拍摄的多个第二数字图像，通过对象跟踪计算每个比较级第二数字图像相对于基准第二数字图像的运动值，根据每个计算的运动值来补偿对应第二数字图像的运动，将(多个)运动补偿后图像与基准图像重叠以便生成手抖动补偿后图像，并且使用第一数字图像的属性来校正手抖动补偿后图像的属性。
在本发明的示例性实施例中，第一数字图像是预览图像，而第二数字图像是捕获的静止图像。预览图像是在操作快门之前以短时间间隔在取景器上显示的数字图像，而捕获的静止图像是在操作快门时以用户设置的分辨率拍摄的物体的静止数字图像。然而，本发明不限于这一点。第一数字图像应当被解释为在比第二数字图像更高的曝光值条件中捕获并以这样的短帧间隔拍摄以去除手抖动效果的影响的数字图像。
参考图1，根据本发明的使用对象跟踪的用于数字图像稳定的设备被安装在各种数字拍摄装置中并且执行图像稳定功能。该设备包括图像传感器10、图像信号处理单元20、传感器控制器30、施加图像处理模块40、图像显示模块50和用户接口60。
图像传感器10拾取物体的图像，并且将该图像的模拟图像信号输出到图像信号处理单元20。优选地，图像传感器10是使用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)技术的图像拾取装置。然而，本发明不限于特定类型的图像传感器。
在数字拍摄装置的快门操作之前，图像传感器10以短帧间隔(例如，30f/s)生成并输出物体的预览图像(AP)。当数字拍摄装置的快门操作时，图像传感器10以规则间隔输出物体的多个捕获静止图像(AC)。所述多个捕获静止图像(AC)以比预览图像(AP)更长的帧间隔输出。预览图像(AP)和所述多个捕获静止图像(AC)分别在第一曝光值条件和第二曝光值条件下生成。这里，曝光值缩写为EV，并且通过包括表示图像传感器10的快门速度的“f”和表示图像传感器10的灵敏度的ISO增益(下文中称作“I”)的参数来定义。图像传感器10的曝光值由传感器控制器30来设置。当曝光值增加时，图像传感器10的曝光时间增加。对应于特定曝光值的特定“f”和“I”值由图像传感器10的制造公司预先定义并且以查找表的形式参考。
优选地，第一曝光值大于第二曝光值。也就是，当第一曝光值是EV1和第二曝光值是EV2时，满足条件“EV1>EV2”。优选地，第一曝光值是对应于数字拍摄装置的自动曝光模式的曝光值。作为选择，第一曝光值可以由用户通过用户接口60来任意地设置或者可以基于对应于自动曝光模式的曝光值增加或减少与预置宽度一样多。增加或减少宽度由数字拍摄装置的制造公司设置为优选值。
优选地，在第一曝光值条件下生成的预览图像(AP)是在数字拍摄装置的快门操作之前在预览模式中在通过图像显示模块50的取景器90提供的物体的运动图像中的、在操作快门的最近时间生成的图像。作为参考，施加图像处理模块40将预览图像存储在显示存储器70中，并且显示操作单元80通过取景器90的显示器以运动图像的形式输出所存储的预览图像。
以非常短的帧间隔连续生成预览图像(AP)。因此，在第一曝光值条件下获得的预览图像(AP)免于由于拍摄者的手抖动引起的图像模糊现象。预览图像(AP)与通过快门操作获得的多个捕获静止图像(AC)中包含基本相同的物体的范围。而且，预览图像(AP)在自动曝光模式中生成，并且因此保持比在较低曝光值条件下更好的物体的亮度和色彩属性。
其间，捕获的静止图像(AC)是当数字拍摄装置的快门操作时在第二曝光值条件下获得的图像。该捕获的静止图像(AC)是在与预览图像(AP)的第一曝光值条件相比足够短的曝光时间条件下获得的。由此，捕获的静止图像(AC)几乎不受手抖动影响。当图像传感器10的曝光时间减少时，手抖动的影响减少。然而，如果当获得捕获的静止图像(AC)时曝光时间减少，则捕获的静止图像(AC)以及预览图像(AP)不保持物体的亮度和色彩属性。
图像信号处理单元20接收从图像传感器10输出的模拟图像信号，将模拟图像信号转换为数字图像信号，并且将该数字图像信号输出到施加图像处理模块40。数字图像信号包括图像中包含的像素的亮度信号(Y)和色差信号(Cb和Cr)。数字图像信号可以是YVU(YCbCr)颜色坐标系统以外的颜色坐标系统例如RGB(红、绿、蓝)中的信号。
在数字拍摄装置的快门操作之前，图像信号处理单元20以规则帧间隔接收在图像传感器10中生成的预览图像(AP)。处理单元20然后将该预览图像(AP)转换为数字图像信号，并且遵照取景器90的显示器的标准分辨率(例如320*240或240*320)来缩小(downscale)数字图像信号。其间，当数字拍摄装置的快门操作时，图像信号处理单元20接收图像传感器10中以规则帧间隔连续生成的多个捕获静止图像(AC)，将该捕获静止图像(AC)转换为数字图像信号，并且遵照拍摄者设置的分辨率(例如320*240或256*192)缩小数字图像信号。图像信号处理单元20所处理的预览图像(DP)和多个捕获静止图像(DC)被输出到施加图像处理模块40。预览图像(DP)的尺寸被缩小到取景器90的显示器的尺寸，并因此小于被捕获的静止图像(DC)的尺寸。其间，预览图像(DP)和捕获静止图像(DC)的缩小可以通过施加图像处理模块40来执行。
图像信号处理单元20可以包括用于编码数字图像信号的图像编码单元100。优选地，图像编码单元100通过JPEG(联合摄影专家组)标准来编码数字图像信号。然而，本发明不限于特定的编码方法。图像编码单元100可以仅编码转换为数字图像信号的捕获静止图像(DC)，并且在一些情况下，可以省略图像编码处理。在图像信号处理单元20编码并输出捕获静止图像(DC)的情况下，施加图像处理模块40优选地包括用于解码该捕获静止图像(DC)的解码单元110。
图像信号处理单元20已知为ISP(图像信号处理器)，并且用于数字化图像信号的处理为本领域的普通技术人员公知。因此，这里省略其详细描述。
传感器控制器30在施加图像处理模块40的控制下设置图像传感器10的曝光值条件。在拍摄装置的快门操作之前，传感器控制器30将图像传感器10设置为第一曝光值条件。当快门操作时，传感器控制器30将图像传感器10设置为第二曝光值条件。传感器控制器30从施加图像处理模块40接收对应于第一曝光值条件和第二曝光值条件的参数。如上所述，所述参数包括快门速度“f”和ISO增益“I”。
施加图像处理模块40在快门操作之前以预览模式操作，并且在快门操作之后以静止图像捕获模式操作。为此目的，施加图像处理模块40包括曝光模式转换单元120。在快门操作之前，曝光模式转换单元120控制传感器控制器30将图像传感器10设置为第一曝光值条件，并且在预览模式中操作图像传感器10。因此，图像传感器10以预定帧间隔生成预览图像(AP)，并且将该预览图像(AP)输出到图像信号处理单元20。然后，施加图像处理模块40从图像信号处理单元20接收在第一曝光值条件中周期地生成的数字化的预览图像(DP)，并且将该数字化的预览图像(DP)存储在显示存储器70中。通过取景器90的显示器以运动图像的形式输出所存储的预览图像(DP)。
当快门操作时，曝光模式转换单元120从显示存储器70中读取在快门操作之前的最近时间生成的预览图像(DP)，以便获得预览图像(DP)。接着，曝光模式转换单元120基于第一曝光值条件自适应地确定第二曝光值条件，并且控制传感器控制器30将图像传感器10的曝光值条件从第一曝光值条件变为第二曝光值条件，从而转换为静止图像捕获模式。
这里，“自适应地确定曝光值条件”是指通过参考预置的基准曝光值基于第一曝光值条件确定第二曝光值条件。为此目的，优选地提供传感器数据表130来创建定义第二曝光值条件的参数(即“f”和“I”值)与定义第一曝光值条件的参数(即“f”和“I”值)之间的一一映射关系。传感器数据表130被存储在寄存器(registry)中，并且当施加图像处理模块40操作时被参考。其间，本发明基于第一曝光值条件自适应地确定第二曝光值条件。用于自适应地确定曝光值条件的配置不限于上述示例(即，查找表)，并且可以在其他配置中进行实现。
在图像传感器10的曝光值条件被转换为第二曝光值条件之后，施加图像处理模块40控制传感器控制器30将多个静止图像捕获信号发送到图像传感器10。然后，图像传感器10以规则帧间隔连续地生成物体的多个捕获静止图像(AC)，并且将所述捕获静止图像(AC)输出到图像信号处理单元20。图像信号处理单元20连续接收、数字化、按比例缩放所述多个捕获静止图像，并且将其输出到施加图像处理模块40。
施加图像处理模块40包括手抖动补偿单元140，用于通过对象跟踪基于所述多个捕获静止图像(DC)中的一个图像(基准图像)来补偿其他图像(比较级图像)的运动，并且将(多个)运动补偿后图像与基准图像重叠，以便生成手抖动补偿后图像。
补偿比较级图像的运动包括从基准图像和比较级图像中提取对象，标记所提取的对象，匹配标记的对象，定量地计算(多个)所匹配对象的运动值，并且将每个所计算的运动值施加到对应的比较级图像，以便补偿比较级图像的运动。
图2示出了手抖动补偿单元140，其包括对象标记单元141、运动值计算单元142、运动补偿单元143和补偿后图像生成单元144。
对象标记单元141从图像信号处理单元20接收多个捕获静止图像(DC)。对象标记单元141将所述多个捕获静止图像(DC)分类为基准图像和比较级图像。这里，比较级图像是指至少一个比较级图像。然后，对象标记单元141将基准图像和每个比较级图像转换为二进制图像，从基准二进制图像和每个比较级二进制图像中提取对象，并且标记所提取的对象。
优选地，对象标记单元141将多个捕获静止图像(DC)中的首先拍摄的图像选择为基准图像。替换地，对象标记单元141可以选择多个被捕获静止图像(DC)中的最近或中间拍摄的图像作为基准图像。例如，如果拍摄了5个捕获静止图像(DC)，则可以选择第一图像、第三图像和第五图像中的任意一个作为基准图像。
对象是二进制图像中彼此相连的白像素组。在对象的像素数目超过临界值(例如30000)的情况下，对象标记单元141可以将对应的对象看作背景。优选地，对象标记单元141使用4相连成分标记或8相连成分标记来提取对象。该4相连成分标记基于目标像素而跟踪上、下、左和右方向的四个像素以便提取对象，而该8相连成分标记基于对象像素而跟踪上、下、左和右方向的四个像素以及对角方向的四个像素以便提取对象。此外，对象标记单元140可以使用闭合轮廓对象扫描方法或者开放轮廓对象扫描方法来提取对象。上述对象提取方法为本领域的普通技术人员已知，并省略它们的描述。
图3示出了根据本发明第一实施例的对象标记单元141，其包括用于将基准图像和每个比较级图像转换为黑白二进制图像的图像二值化单元1411。该对象标记单元141还包括对象标记器1412，用于接收每个二进制图像，从每个图像中提取对象，并且标记所提取的对象。
图像二值化包括计算图像的直方图分布、以及将亮度大于特定阈值的像素设置为白和将亮度小于特定阈值的像素设置为黑。下文中，用于基于特定阈值将每个像素的亮度设置为黑或白的处理被称作限值(thresholding)步骤。该阈值可以是从直方图分布计算的图像的平均亮度值。然而，本发明不限于这一点。
图4示出了根据本发明第二实施例的对象标记单元441，其包括：图像二值化单元1411，用于通过限值步骤将基准图像和每个比较级图像转换为二进制图像；图像滤波器1413，用于将基准二进制图像和每个比较级二进制图像过滤为边界锐化后图像；图像合成器1414，用于将从图像滤波器1413输出的边界锐化后图像与从图像二值化单元1411输出的对应二进制图像进行合成；和对象标记器1412，用于从合成后基准图像和每个合成后比较级图像中提取对象，并且标记所提取的对象。这里，合成后基准图像是其中基准图像的二进制图像与基准图像的边界锐化后图像合成的图像，并且合成后比较级图像是其中比较级图像的二进制图像与比较级图像的边界锐化后图像合成的图像。
在如上所述从基准图像中提取对象并且将比较级图像与边界锐化后图像合成时，增强了对象的边界，并且更容易地提取对象。优选地，图像滤波器1413是拉普拉斯(Laplacian)滤波器或Sobel边缘滤波器。然而，本发明不限于特定类型的图像滤波器。
参考图2，运动值计算单元142从对象标记单元141接收基准图像和每个比较级图像的所标记的对象数据。然后，运动值计算单元142将基准图像的对象与每个比较级图像的对象进行匹配，并且计算每个对象的参数。
图7概念地图示了由运动值计算单元142计算的对象的参数。对象的参数包括：对象的面积(S)；当包括该对象的正方形边界被形成为具有预定界限时的该对象的边界长度(边界的外围长度)；该正方形的中心坐标(0)；该对象的质心坐标(C)；在穿过中心坐标(0)并且在两端处与对象边界相遇的线当中的长轴长度(Max0)和短轴长度(Min0)和它们的角度；在穿过质心坐标(C)并且在两端处与对象边界相遇的线当中的长轴长度(MaxC)和短轴长度(MinC)和它们的角度；或者当按照标记顺序连接对象的质心坐标时每条连接线(L)的长度及其角度。
接下来，运动值计算单元142使用所计算的参数计算每个比较级图像的运动值。相对于基准图像来计算每个比较级图像的运动值。也就是，每个比较级图像的运动值表示比较级图像相对于基准图像的移动程度。每个比较级图像的运动值包括从由根据平移的运动值、根据旋转的运动值、根据按比例缩放的运动值、和根据修剪的运动值、或者它们的组合组成的组中选择的任意一个。
例如，通过对基准图像和每个比较级图像的匹配后对象之间的中心坐标或质心坐标的差进行平均化，来计算根据平移的运动值。
通过将连接基准图像和每个比较级图像的质心坐标的线进行匹配、然后对这些连接线之间的角度进行平均化，来计算根据旋转的运动值。作为选择，通过将连接基准图像和每个比较级图像的质心坐标的线进行匹配、然后对预置基准轴与该连接线之间的角度差进行平均化，来计算根据旋转的运动值。
通过对每个比较级图像的匹配后对象之间的长轴长度的比率、短轴长度的比率、或者基准图像与边界长度的比率或面积的比率进行平均化，来计算根据按比例缩放的运动值。
使用基准图像与每个比较级图像的匹配后对象之间的长轴长度的比率、短轴长度的比率、边界长度的比率、以及面积的比率、或者使用当在图像的水平方向和垂直方向上计算预置基准轴与基准图像和每个比较级图像的质心坐标的连接线之间的角度差的分布时该分布的外形(profile)梯度，来计算根据修剪的运动值。
当已知基准图像与每个比较级图像的各种对象参数时，可以通过上述方法以外的其他方法来替换地计算每个比较级图像相对于基准图像的运动值。
运动值计算单元142将每个比较级图像的运动值数据输出到运动补偿单元143。运动补偿单元143计算用于补偿每个比较级图像的运动的矩阵。
优选地，该矩阵是仿射(affin)变换矩阵。然而，本发明不限于特定类型的矩阵。该仿射变换矩阵公知用于执行矩阵变换，包括平移、旋转、按比例缩放和修剪。矩阵的行和列数据可以通过所计算的运动值来运算。
运动补偿单元143推导出每个比较级图像的变换矩阵，并且在二值化之前，用推导出的矩阵对每个原始比较级图像执行矩阵运算，以便补偿每个比较级图像的运动。然后，运动补偿单元143将每个运动补偿后比较级图像和基准图像输出到补偿后图像生成单元144。
比较级图像的运动补偿包括从由根据平移的运动补偿、根据旋转的运动补偿、根据按比例缩放的运动补偿、和根据修剪的运动补偿、或者它们的组合组成的组中选择的任意一个。为了减少与比较级图像的运动补偿有关的操作开销，优选地，按照根据修剪、按比例缩放、旋转和平移的运动补偿的顺序来执行操作。然而，本发明不限于这一点。
补偿后图像生成单元144从运动补偿单元143接收每个运动补偿后比较级图像和基准图像。然后，补偿后图像生成单元144将所有比较级图像与基准图像重叠，以便生成手抖动补偿后图像，并且输出该手抖动补偿后图像。
这里，图像重叠包括对每个颜色通道的基准图像和(多个)比较级图像的色彩数据进行平均化、以及用获得的每个颜色通道的色彩数据的平均值来替换基准图像的色彩数据。在一些情况下，当对每个颜色通道的色彩数据进行平均化以重叠图像时，可以排除基准图像的色彩数据。
图5示出了手抖动补偿单元的另一实施例。手抖动补偿单元540包括图像尺寸调整器145，其在对象标记单元141之前。图像尺寸调整器145缩小从图像信号处理单元20接收的预览图像(DP)和多个捕获静止图像(DC)，或者剪切所述图像的边界以便减小所述图像的尺寸。因为对象倾向于集中在图像的中心部分，因此执行用于图像尺寸调整的边界剪切。如果图像尺寸调整器145被包含在手抖动补偿单元140中，则诸如图像二值化单元1411、对象标记器1412和图像滤波器1413之类的逻辑块对更小的尺寸调整后图像执行操作。因此，减少了每个逻辑块的操作开销。在运动值计算单元142使用通过缩小而被尺寸调整的比较级图像来计算运动值之后，运动值计算单元142可以考虑缩小因子基于原始比较级图像来转换计算的运动值。
图6示出了手抖动补偿单元的另一实施例。手抖动补偿单元640包括图像选择单元146，其在对象标记器141之前。图像选择单元146将多个捕获静止图像(DC)分类为基本图像和比较级图像。用于选择基准图像的基础如上所述。图像选择单元146计算每个比较级图像相对于基准图像的运动矢量。每个比较级图像的运动矢量是表示比较级图像相对于基准图像的运动程度的索引，并且是以诸如MPEG(运动图像专家组)或H.26x之类的公知图像压缩标准的典型方式来计算的。然后，如果运动矢量的幅度过大或者运动矢量未被计算，则图像选择单元146确定基准图像中包含的物体不同于比较级图像中包含的物体，并且从用于手抖动补偿的图像中排除对应的比较级图像。这可能是因为手颤动量过大或者在拍摄比较级图像时另一个物体突然侵入到图像拾取范围内而发生。另一方面，如果比较级图像的运动矢量在适当范围内，则图像选择单元146确定该比较级图像可被用来补偿手抖动效果，并且将预览图像(DP)和捕获静止图像(DC)输入到对象标记单元141中。然后，对象标记单元141执行如上所述的对象标记操作。
另外，图像选择单元146定量地计算基准图像与每个比较级图像之间的亮度差。如果所述差小于预定等级，则图像选择单元146从手抖动补偿中排除对应的比较级图像。例如，图像选择单元146计算基准图像与比较级图像之间的异或运算后的图像，对异或运算后的图像的亮度进行平均化，并且将所获得的亮度平均值定义为基准图像与比较级图像之间的亮度差。如果基准图像与比较级图像之间的亮度差小于预定等级(例如0.85)，则图像选择单元146确定不存在对象的有意义的运动，并且不将对应的比较级图像输出到对象标记单元141。另一方面，如果基准图像与比较级图像之间的差大于预定等级(例如0.85)，则图像选择单元146确定存在对象的有意义的运动，并且将对应的比较级图像输出到对象标记单元141。如上所述，使用基准图像与每个比较级图像之间的亮度差的图像选择可以减少用于对象标记的操作开销。
图像选择单元146可被插入在如图5所示的图像尺寸调整器145与对象标记单元141之间。在这种情况下，图像选择单元146对尺寸调整后基准图像和比较级图像执行上述操作。
图8示出了根据本发明的手抖动补偿单元140的操作的示例。下述的每个步骤由手抖动补偿单元140执行。
第一捕获静止图像被输入(P10)并且被指定为基准图像(P20)。注意，用作基准图像的捕获静止图像可任意地改变，并且在基准图像之后拍摄的捕获静止图像变成比较级图像。
第二捕获静止图像(k＝2)被输入为比较级图像(P30)，并且计算比较级图像相对于基准图像的运动矢量(P40)。将所计算的运动矢量与临界值相比较，以便确定运动矢量的幅度是否超过临界值(P50)。
如果在P50中确定未计算运动矢量或者所计算的运动矢量超过临界值，则不执行比较级图像的对象标记步骤，而取而代之执行P60。相反，如果在P50中确定所计算的运动矢量未超过临界值，则执行P70，以便定量地计算基准图像与比较级图像之间的亮度差。例如，计算基准图像与比较级图像的异或运算后的图像，计算异或运算后的图像的平均亮度，并且将亮度的平均值定义为基准图像与比较级图像之间的亮度差。
接下来，该处理检查基准图像与比较级图像之间的亮度差是否超过预置的临界值。如果该亮度差超过预置的临界值，则在比较级图像中存在对象的有意义的运动，并且执行对象标记步骤(P90)。如果该亮度差未超过预置的临界值，则省略比较级图像的对象标记步骤，并执行P60。
从基准图像和比较级图像中提取对象，并且通过几何运算来计算对象参数(P90)。优选地，执行从图像的对象提取，使得该图像被转换为二进制图像。二进制图像中彼此相连的白像素组被识别为对象，并且提取该对象。更优选地，执行从图像的对象提取，使得在对象被识别并且从边界锐化后图像和二进制图像的合成图像中提取之前，该图像被过滤以便边界锐化并被合成。用于提取对象参数的处理在上面进行了详细描述，并省略其描述。
从基准图像和比较级图像中提取的对象参数彼此匹配，并且计算比较级图像相对于基准图像的运动值(P100)。这里，每个比较级图像的运动值包括从由根据平移的运动值、根据旋转的运动值、根据比例缩放的运动值、和根据修剪的运动值、或者它们的组合组成的组中选择的任意一个。然后，使用所计算的运动值计算用于运动补偿的矩阵，并且通过仿射变换对比较级图像补偿运动(P110)。
接下来，该处理检查运动补偿后的比较级图像的顺序(k)达到了预置数(N)(P120)。N是用于补偿图像的手抖动的捕获静止图像的数目，并且被预先设置。根据P120，如果k小于或等于N，则执行P60，以便使比较级图像的顺序递增1，并且处理返回到P30。然后，输入第二捕获静止图像到第N捕获静止图作为比较级图像，计算比较级图像的运动值，并使用该运动值对比较级图像补偿运动。重复该处理，直到k大于N为止。如果k大于N，则对所有比较级图像补偿运动，并由此执行P130。
运动补偿后比较级图像和(其中判断出基本上不存在对象的运动的)没有实质运动的比较级图像与基准图像重叠，以便生成手抖动补偿后图像(P130)。上面更详细地描述了图像重叠。在一些情况下，可以从用于图像重叠的图像中排除其中判断出基本上不存在对象的运动的比较级图像。对于那些图像，可以省略P40到P80，以便减少手抖动补偿单元140的操作开销。
尽管图8中未示出，但是本发明可在从基准图像和比较级图像中提取对象之前、还包括缩小基准图像和比较级图像或者通过剪切图像的边界来调整基准图像和比较级图像的尺寸。本发明可以还包括图像选择步骤。在计算比较级图像相对于基准图像的运动矢量之后，并且如果运动矢量的幅度超过临界值，则从运动补偿中排除对应的比较级图像。在计算基准图像与比较级图像之间的亮度差之后，并且如果该亮度差不超过临界值，则从运动补偿中排除对应的比较级图像。图像尺寸调整步骤或者图像选择步骤可以减少用于对象提取所需的操作开销。
现在描述在获得手抖动补偿后图像之后的图像属性校正。
参考图1，在通过手抖动补偿单元140生成手抖动补偿后图像之后，使用在预览模式中获得的预览图像(DP)校正手抖动补偿后图像的各种属性。
优选地，使用预览图像(DP)校正的手抖动补偿后图像的属性包括图像色彩、图像噪声和图像亮度。为此目的，施加图像处理模块40被提供有图像属性校正单元150，该图像属性校正单元150包括色彩校正单元151、噪声校正单元152和亮度校正单元153。优选地，按照校正图像色彩、图像噪声和图像亮度的顺序，依次执行手抖动补偿后图像的图像属性校正。然而，本发明不限于特定顺序的图像属性校正，并可以按照任意顺序来执行图像属性校正。
参考图1和9来描述色彩校正处理。首先，色彩校正单元151将手抖动补偿后图像按比例缩放到预览图像(DP)的尺寸，以便生成缩小的图像(S10)。接下来，色彩校正单元151使用预览图像(DP)作为基准图像来计算缩小的图像的运动矢量(S20)。运动矢量表示缩小的图像中包含的对象相对于预览图像(DP)的移动方向和移动量。运动矢量可以按照诸如MPEG(运动图像专家组)或H.26x之类的公知图像压缩标准的典型方式来计算。即，按照缩小的图像被划分为均匀尺寸的块的方式来计算运动矢量，并且推断出从中移动每个块的基准图像的面积。在计算运动矢量之后，色彩校正单元151根据该运动矢量来移动预览图像(DP)的每个像素数据的位置(S30)。然后，色彩校正单元151基于完成了每个像素数据的位置移动处理的预览图像(DP)，使用内插方法，来校正手抖动补偿后图像的像素数据(S40)。即，色彩校正单元151基于(当生成缩小的图像时应用的)缩放因子，将预览图像(DP)的每个像素数据的位置(xi，yj)转换为手抖动补偿后图像的位置(XI，YJ)。接下来，色彩校正单元151用对应于预览图像(DP)的位置(xi，yj)的像素数据替换对应于手抖动补偿后图像的位置(XI，YJ)的像素数据。预览图像(DP)的像素的数目小于手抖动补偿后图像的像素的数目，并由此手抖动补偿后图像的所有像素数据不被预览图像(DP)的像素数据替代。因此，色彩校正单元151对手抖动补偿后图像的像素数据进行内插，以便使用相邻的替代后的像素数据来填充未被预览图像(DP)的像素数据替代的像素。所述内插方法包括双线性(Bi-linear)内插、双立方(Bi-Cubic)内插或B-样条(B-spline)内插，然而，本发明不限于这一点。
经过上述色彩校正处理的手抖动补偿后图像被输入到施加图像处理模块40的噪声校正单元152。噪声校正单元152使用各种公知噪声滤波器来去除手抖动补偿后图像的噪声和错误色彩。所述滤波器包括低通滤波器、中值滤波器、高斯滤波器、高斯滤波器的拉普拉斯算子、或者高斯滤波器的差。然而，本发明不限于这一点，可以使用其他公知的滤波技术来去除噪声。
经过如上所述的噪声和错误色彩去除的手抖动补偿后图像被输入到亮度校正单元153。亮度校正单元153定量地计算预览图像(DP)与手抖动补偿后图像之间的亮度差，自适应地确定手抖动补偿后图像的亮度校正强度，并且校正手抖动补偿后图像的亮度。
参考图1和图10来描述亮度校正处理。首先，亮度校正单元153将手抖动补偿后图像缩小到预览图像(DP)的尺寸，以便生成缩小的图像(S50)。这时，不需要单独地执行步骤S50，并且可以再次使用为色彩校正而生成的缩小的图像。接下来，亮度校正单元153定量地计算缩小的图像与预览图像(DP)之间的亮度差(S60)。该亮度差可以使用两个图像之间的直方图的平均值的差来计算。例如，在缩小的图像和预览图像(DP)的直方图的平均值分别为“85”和“140”的情况下，平均值的差为“55”。接下来，亮度校正单元153根据平均值的差自适应地确定亮度校正强度，并且通过所确定的强度来校正手抖动补偿后图像的亮度(S70)。可以将伽马函数或Retinex算法应用于亮度校正。在这种情况下，亮度校正强度是伽马函数或Retinex算法的强度。为了自适应地选择亮度校正算法的强度，优选地以查找表170的形式准备可根据平均值的差选择的强度等级，并且参考该查找表170。
通过定义第一曝光值和第二曝光值的参数之间的差，可以定量地计算手抖动补偿后图像与预览图像(DP)之间的亮度差。也就是，手抖动补偿后图像与预览图像(DP)之间的亮度差可以通过定义第一曝光值和第二曝光值的参数(即，“f”和“I”)之间的差进行计算。例如，在对应于第一曝光值的“f”和“I”值分别是“1/30”和“200”、以及对应于第二曝光值的“f”和“I”值分别是“1/60”和“100”的情况下，快门速度和ISO增益的差分别被定量计算为“1/60”和“100”。接下来，亮度校正单元153通过“f”和“I”值的差来自适应地确定亮度校正强度，并且校正手抖动补偿后图像的亮度。可按照与上述实施例相同的方式将伽马函数或Retinex算法应用于亮度校正。在这种情况下，亮度校正强度是伽马函数或Retinex算法的强度。为了自适应地选择亮度校正算法的强度，优选地以查找表的形式准备可根据“f”和“I”值的差选择的强度等级，并且参考该查找表。
本发明中用于校正手抖动补偿后图像的亮度的伽马函数或Retinex算法在现有技术中广为人知，并在此处省略其详细描述。本发明不限于特定种类的亮度校正函数或算法，并且可以应用用于调节手抖动补偿后图像的亮度的各种公知理论。
在色彩校正单元151、噪声校正单元152和亮度校正单元153校正处理之后，编码并输出手抖动补偿后图像。为此目的，施加图像处理模块40还包括用于编码该手抖动补偿后图像的编码单元160。优选地，编码单元160通过JPEG标准来编码手抖动补偿后图像，以便生成图像文件并输出该图像文件。然而，本发明不限于特定的编码方法。所述图像文件可被存储在数字拍摄装置的备用(inactive)存储介质例如闪存中。
用户接口60是提供给数字拍摄装置的普通接口，用于调节用于获得数字图像所需的各种参数(例如数字相机的焦点、光学或数字放大/缩小、白平衡或曝光模式)，并操作快门。如果数字拍摄装置被安装在诸如移动电话之类的手持式终端中，则用户接口60可实施为手持式终端的小键盘。
现在描述如上配置的使用对象跟踪的用于数字图像稳定的设备的数字拍摄处理。下述假设：在操作数字拍摄装置之后，通过用户接口60的操纵来启动拍摄模式。
参考图1和11，当拍摄模式开始时，施加图像处理模块40将传感器数据表130加载到存储器中，该数据表130用于基于第一曝光值条件而选择第二曝光值条件。然后，当拍摄模式开始时，施加图像处理模块40控制传感器控制器30将图像传感器10设置为第一曝光值条件(F10)。用于定义曝光值的参数(例如快门速度“f”和ISO增益“I”)参考传感器数据表130。优选地，第一曝光值条件对应于自动曝光模式。可替换地，第一曝光值条件可以通过用户接口60由用户任意地设置。
当图像传感器10被设置为第一曝光值条件时，施加图像处理模块40向传感器控制器30请求生成预览图像(F20)。然后，传感器控制器30将预览图像生成信号周期地发送到图像传感器10(F30)。然后，图像传感器10按照规则帧间隔以模拟图像信号的形式将物体的预览图像(AP)输出到图像信号处理单元20(F40)。图像信号处理单元20对从图像传感器10周期地接收的预览图像信号进行数字化，将数字化的图像信号缩小到取景器90的显示器的尺寸，并且将缩小的图像输出到施加图像处理模块40(F50)。接着，施加图像处理模块40接收缩小的预览图像(DP)并且在显示存储器70中周期地存储该预览图像(DP)(F60)。显示操作单元80读取在显示存储器70中周期地存储的预览图像(DP)(F70)。接下来，显示操作单元80将预览图像(DP)转换为模拟图像信号，并且通过取景器90的显示器按照规则间隔输出预览图像(DP)(F80)。
图12示出了下列处理，其中通过在操作数字拍摄装置的快门时生成预览图像(DP)和手抖动补偿后图像、并且基于预览图像(DP)的属性校正手抖动补偿后图像的属性，来校正捕获静止图像的图像模糊现象。
参考图1和12，当拍摄者在取景器90的显示器中捕获期望的图像并且操作快门时，施加图像处理模块40将图像处理模式从预览模式改变为静止图像捕获模式。接着，施加图像处理模块40从显示存储器70中读取在操作快门之前的最近时间生成的预览图像(DP)，以便获得预览图像(DP)(F100)。接着，施加图像处理模块40通过参考传感器数据表基于第一曝光值条件来自适应地确定第二曝光值条件，并且控制传感器控制器30将图像传感器10设置为第二曝光条件(F110)。用于基于第一曝光值条件计算第二曝光值条件的配置如上所述。
当图像传感器10被设置为第二曝光值条件时，施加图像处理模块40向传感器控制器30请求生成多个捕获静止图像(F120)。传感器控制器30将多个捕获静止图像生成信号发送到图像传感器10(F130)。然后，图像传感器10以规则间隔连续地捕获物体的多个捕获静止图像(AC)，并且以模拟图像信号的形式将捕获静止图像(AC)顺序地输出到图像信号处理单元20(F140)。图像信号处理单元20对从图像传感器10接收的多个捕获静止图像(AC)进行数字化，将数字化的图像的尺寸缩放到由拍摄者通过用户接口60设置的图像尺寸，并且将缩放后的图像输出到施加图像处理模块40(F150)。
然后，施加图像处理模块40分类多个捕获静止图像(DC)，使得单个捕获静止图像被用作基准图像，其他捕获静止图像被用作比较级图像。该施加图像处理模块40补偿比较级图像相对于基准图像的运动，并且将运动补偿后比较级图像与基准图像重叠，以便生成手抖动补偿后图像。接着，施加图像处理模块40使用预览图像(DP)的色彩和亮度属性来校正手抖动补偿后图像的色彩和亮度，并且从手抖动补偿后图像中去除各种噪声和色彩缺陷，以便获得免于由于手抖动引起的图像模糊现象的捕获静止图像。所获得的捕获静止图像被编码，并且以文件的形式记录到存储介质中或者通过取景器90输出。
图13比较图像(A)和图像(B)，该图像(A)由在自动曝光模式中没有图像稳定功能的典型数字拍摄装置拍摄，而该图像(B)由执行根据本发明的使用对象跟踪的数字图像稳定方法的数字拍摄装置拍摄。如图13所示，由根据本发明的数字图像稳定方法获得的图像免于图像模糊现象，并且更加明亮和清晰。
在上述实施例中，图像信号处理单元20和施加图像处理模块40是根据它们的功能划分的单独单元。然而，图像信号处理单元20和施加图像处理模块40可被集成到单个模块中，或者施加图像处理模块40中包含的至少一个子元件可被构造为单独模块。而且，预览图像(DP)的缩放因子不受取景器90的显示器的尺寸的限制。因此，预览图像(DP)的缩放因子可以根据用于运动补偿的捕获静止图像(DC)的尺寸而改变。例如，可以调节预览图像(DP)的缩放因子，使得捕获静止图像(DC)的宽度和高度是预览图像(DC)的宽度和高度的整数倍。在这种情况下，当校正捕获静止图像(DC)的色彩时，在映射预览图像(DP)和捕获静止图像(DC)的像素数据的位置方面，减少了操作开销。
根据本发明的数字图像稳定方法可被合并为计算机可读介质中的计算机可读代码。该计算机可读介质包括用于存储可由计算机系统读取的数据的各种存储装置。计算机可读介质的一些示例是ROM、RAM、CD-ROM、磁带、软盘或光数据存储装置，并且能够以载波(例如经由因特网传输)的形式合并。计算机可读介质可以存储并运行在经由网络彼此连接的计算机系统中分发并且可由计算机通过分发方法读取的代码。
上面仅描述了一些实施方式。基于本申请中所描述及所图示的发明，可以做出其他实现、增强和变形。
根据本发明的一方面，与EIS或OIS技术不同，本发明能够去除由于手抖动引起的图像模糊现象，而不需要用于测量手抖动程度的硬件，例如角速度传感器或棱镜。因此，本发明降低了数字拍摄装置的制造成本，并且获得了良好质量的数字静止图像。
根据本发明的另一方面，与DIS技术不同，本发明在存储捕获静止图像时不涉及数字缩放。因此本发明能够获得比DIS技术更好质量的数字静止图像。
根据本发明的另一方面，本发明使用保持物体的亮度和色彩属性的预览图像来校正捕获静止图像。因此本发明能够获得更清晰更亮的数字静止图像。
根据本发明的另一方面，本发明使用滤波器来去除在校正捕获静止图像的色彩数据时创建的噪声，由此改善了图像的质量。

Claims (27)

1.一种用于数字图像稳定的设备，包括：
图像信号处理单元，操作用于输出在第一曝光值条件下获得的第一数字图像数据和在第二曝光值条件下获得的多个第二数字图像数据；
补偿单元，操作用于
使用对象跟踪来补偿多个比较级第二数字图像相对于基准第二数字图像的运动，和
通过将每个补偿后比较级图像与基准图像重叠，来生成补偿后图像；和
图像属性校正单元，操作用于基于该第一数字图像的属性来校正补偿后图像的属性。
2.如权利要求1所述的设备，其中：
所述图像信号处理单元操作用于从图像传感器接收第一曝光值条件下的图像信号和第二曝光值条件下的多个图像信号；和
所述设备还包括曝光模式转换单元，操作用于：
基于第一曝光值条件自适应地确定第二曝光值条件，和
将图像传感器的曝光属性从第一曝光值条件改变为第二曝光值条件。
3.如权利要求1所述的设备，其中：
所述第一曝光值条件是自动曝光模式的曝光值条件，和
所述第二曝光值条件是与比自动曝光模式的照度更低的照度对应的曝光值条件。
4.如权利要求2所述的设备，还包括：
传感器控制器，操作用于改变图像传感器的曝光值条件；和
传感器数据表，定义基于第一曝光值条件而选择的第二曝光值条件；和
其中所述曝光模式转换单元通过参考所述传感器数据表而基于第一曝光值条件确定第二曝光值条件，并且控制所述传感器控制器将图像传感器的曝光值条件改变为第二曝光值条件。
5.如权利要求1所述的设备，其中所述第一数字图像数据是在自动曝光模式中获得的预览图像数据。
6.如权利要求5所述的设备，其中所述第一数字图像数据是在预览模式中以规则帧间隔生成预览图像数据的快门操作之前生成的预览图像数据。
7.如权利要求1所述的设备，其中所述第二数字图像数据是在图像捕获模式中以规则时间间隔生成的全尺寸捕获静止图像数据。
8.如权利要求1所述的设备，其中所述补偿单元包括：
对象标记单元，操作用于：
将多个第二数字图像分类为基准图像和比较级图像，和
使用对象跟踪来标记基准图像的对象和每个比较级图像的对象；
运动值计算单元，操作用于：
将每个比较级图像的对象与基准图像的对象进行匹配，
计算匹配后的对象的参数，和
通过所计算的参数来计算每个比较级图像相对于基准图像的运动值；
运动补偿单元，操作用于将每个所计算的运动值施加到对应的比较级图像，以便补偿每个比较级图像的运动；和
补偿后图像生成单元，操作用于将每个运动补偿后比较级图像与基准图像重叠，以便生成补偿后图像。
9.如权利要求8所述的设备，其中所述对象标记单元包括：
图像二值化单元，操作用于将基准图像和每个比较级图像转换为二进制图像；和
对象标记器，操作用于：
从基准二进制图像和每个比较级二进制图像中提取对象，和
标记所提取的对象。
10.如权利要求9所述的设备，其中所述对象标记单元还包括：
图像滤波器，操作用于过滤基准图像和每个比较级图像，以便锐化图像的边界；和
图像合成器，操作用于将从图像滤波器输出的边界锐化后图像与二进制图像进行合成，
其中所述对象标记器对来自合成后图像的对象进行标记。
11.如权利要求9所述的设备，还包括：图像尺寸调整器，用于在第二数字图像被对象标记单元处理之前，通过将第二数字图像的尺寸按比例缩放为预定尺寸或者从第二数字图像中剪切预定宽度的边界，来调整多个第二数字图像的尺寸。
12.如权利要求9所述的设备，还包括：图像选择单元，操作用于如果满足下列条件：
比较级图像相对于基准图像的运动矢量的幅度超过第一临界值，或者
基准图像与比较级图像之间的亮度差不超过第二临界值，
则从用于对象标记的图像中排除该比较级图像。
13.如权利要求9所述的设备，其中每个比较级图像的运动值包括从由根据平移的运动值、根据旋转的运动值、根据按比例缩放的运动值、和根据修剪的运动值、或者它们的组合组成的组中选择的任意一个。
14.如权利要求1所述的设备，其中所述图像属性校正单元包括色彩校正单元，用于通过下列步骤来校正补偿后图像的色彩：
用第一数字图像的像素数据替换补偿后图像的像素数据，或者
考虑补偿后图像与第一数字图像之间的尺寸比率，基于第一数字图像的像素数据来对补偿后图像的像素数据进行内插。
15.如权利要求1所述的设备，其中所述图像属性校正单元包括亮度校正单元，操作用于：
计算第一数字图像与补偿后图像之间的亮度差，
自适应地选择亮度校正强度，和
通过所选择的亮度校正强度来校正补偿后图像的亮度。
16.一种使用对象跟踪的用于数字图像稳定的方法，包括：
接收在第一曝光值条件下获得的第一数字图像数据和在第二曝光值条件下获得的多个第二数字图像数据；
使用对象跟踪来补偿多个比较级第二数字图像相对于基准第二数字图像的运动，并且通过将每个补偿后比较级图像与基准图像重叠，来生成补偿后图像；和
基于第一数字图像的属性来校正补偿后图像的属性。
17.如权利要求16所述的方法，还包括：在接收第一数字图像数据和第二数字图像数据之前，
加载用于定义基于第一曝光值条件选择的第二曝光值条件的传感器数据表；
感测第一曝光值条件，在所述第一曝光值条件下拍摄第一数字图像；
通过参考所述传感器数据表，而基于第一曝光值条件自适应地确定第二曝光值条件；和
将图像传感器的曝光属性从第一曝光值条件改变为第二曝光值条件。
18.如权利要求16所述的方法，其中
所述第一曝光值条件是自动曝光模式的曝光值条件，和
所述第二曝光值条件是与比自动曝光模式的照度更低的照度对应的曝光值条件。
19.如权利要求16所述的方法，其中所述第一数字图像数据是在自动曝光模式中以规则帧间隔生成预览图像数据的快门操作之前生成的预览图像数据。
20.如权利要求16所述的方法，其中所述第二数字图像数据是在图像捕获模式中以规则时间间隔生成的捕获静止图像数据。
21.如权利要求16所述的方法，其中所述补偿运动的步骤包括：
将多个第二数字图像分类为基准图像和比较级图像；
从基准图像和每个比较级图像中提取对象，标记所提取的对象，并且计算每个标记的对象的参数；
将每个比较级图像的对象与基准图像的对象进行匹配，并且使用所匹配的对象的参数来计算每个比较级图像的运动值；
将每个所计算的运动值施加到对应的比较级图像，以便补偿每个比较级图像的运动；和
将每个运动补偿后比较级图像与基准图像重叠，以便生成手抖动补偿后图像。
22.如权利要求21所述的方法，其中所述提取对象的步骤包括：
将用于对象提取的图像转换为二进制图像；和
检测对象，该对象包括二进制图像中彼此相连的多个白像素；和
提取该对象。
23.如权利要求21所述的方法，其中所述提取对象的步骤包括：
过滤图像以便锐化图像的边界；
将所述图像转换为二进制图像；
将边界锐化后图像与二进制图像进行合成；
检测对象，该对象包括合成后图像中彼此相连的多个白像素；和
提取该对象。
24.如权利要求21所述的方法，还包括：在提取对象之前，
将每个第二数字图像按比例缩放或者边界剪切到预定尺寸，以便调整第二数字图像的尺寸；或
如果满足下列条件：
比较级图像的运动矢量的幅度超过第一临界值，或者
基准图像与比较级图像之间的亮度差不超过第二临界值，
则从用于对象标记的图像中排除该比较级图像。
25.如权利要求21所述的方法，其中每个比较级图像的运动值包括从由根据平移的运动值、根据旋转的运动值、根据按比例缩放的运动值、和根据修剪的运动值、或者它们的组合组成的组中选择的任何一个。
26.如权利要求16所述的方法，其中所述校正属性的步骤包括通过下列步骤来校正补偿后图像的色彩：
用第一数字图像的像素数据替换补偿后图像的像素数据，或者
考虑补偿后图像与第一数字图像之间的尺寸比率，而根据第一数字图像的像素数据来对补偿后图像的像素数据进行内插。
27.如权利要求16所述的方法，其中所述校正属性的步骤包括：
计算第一数字图像与补偿后图像之间的亮度差；
自适应地选择亮度校正强度；和
通过所选择的亮度校正强度来校正补偿后图像的亮度。
CN200810170411XA 2007-11-02 2008-11-03 使用对象跟踪的用于数字图像稳定的设备和方法 Expired - Fee Related CN101426092B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070111485A KR101041366B1 (ko) 2007-11-02 2007-11-02 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR111485/07 2007-11-02

Publications (2)

Publication Number Publication Date
CN101426092A true CN101426092A (zh) 2009-05-06
CN101426092B CN101426092B (zh) 2011-11-23

Family

ID=40130575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810170411XA Expired - Fee Related CN101426092B (zh) 2007-11-02 2008-11-03 使用对象跟踪的用于数字图像稳定的设备和方法

Country Status (6)

Country Link
US (1) US7952614B2 (zh)
EP (1) EP2059028B1 (zh)
JP (1) JP4898761B2 (zh)
KR (1) KR101041366B1 (zh)
CN (1) CN101426092B (zh)
DE (1) DE602008006329D1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469253A (zh) * 2010-11-16 2012-05-23 华晶科技股份有限公司 影像拍摄装置及其曝光时间调整方法
CN103229496A (zh) * 2011-06-21 2013-07-31 奥林巴斯株式会社 摄像装置以及摄像方法
CN103929647A (zh) * 2013-01-16 2014-07-16 索尼公司 图像处理装置以及图像处理方法
CN104469139A (zh) * 2013-09-24 2015-03-25 佳能株式会社 图像捕获装置和图像捕获方法
CN106303225A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种图像处理方法及电子设备
CN109660728A (zh) * 2018-12-29 2019-04-19 维沃移动通信有限公司 一种拍照方法及装置
CN111798658A (zh) * 2019-11-08 2020-10-20 方勤 行驶车道通行效率检测平台
CN113438511A (zh) * 2013-03-15 2021-09-24 谷歌有限责任公司 对视频方向的自动调节

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5036482B2 (ja) * 2007-10-19 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置及び画像処理方法、画像処理プログラム
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP5106432B2 (ja) * 2009-01-23 2012-12-26 株式会社東芝 画像処理装置、方法、及びプログラム
KR101599872B1 (ko) * 2009-02-25 2016-03-04 삼성전자주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
US20110019018A1 (en) * 2009-07-22 2011-01-27 National Chung Cheng University Image comprssion system in coordination with camera motion
WO2011027190A1 (en) * 2009-09-04 2011-03-10 Tannhäuser, Gunter Mobile wide-angle video recording system
JP5424835B2 (ja) * 2009-11-30 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
KR101692401B1 (ko) * 2011-01-21 2017-01-03 삼성전자주식회사 영상 처리 방법 및 장치
JP5240349B2 (ja) 2011-11-14 2013-07-17 カシオ計算機株式会社 画像合成装置、及びプログラム
KR101657525B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
KR101657526B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
KR101986108B1 (ko) * 2012-12-06 2019-06-05 엘지이노텍 주식회사 선명도 향상장치
US9454827B2 (en) 2013-08-27 2016-09-27 Qualcomm Incorporated Systems, devices and methods for tracking objects on a display
KR101403937B1 (ko) * 2014-01-24 2014-06-09 (주)인펙비전 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법
US9384403B2 (en) 2014-04-04 2016-07-05 Myscript System and method for superimposed handwriting recognition technology
US9524440B2 (en) 2014-04-04 2016-12-20 Myscript System and method for superimposed handwriting recognition technology
KR20160051390A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
JP6904843B2 (ja) * 2017-08-03 2021-07-21 キヤノン株式会社 撮像装置およびその制御方法
KR20190057847A (ko) 2017-11-21 2019-05-29 (주)호모미미쿠스 반려견 견착 촬영 영상의 흔들림 보정 장치, 방법 및 시스템
US11200653B2 (en) 2019-08-06 2021-12-14 Samsung Electronics Co., Ltd. Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
WO2021025445A1 (en) * 2019-08-06 2021-02-11 Samsung Electronics Co., Ltd. Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
CN110675343B (zh) * 2019-09-24 2023-02-24 西安科技大学 一种井下输煤图像的图像增强方法
WO2024096494A1 (ko) * 2022-11-01 2024-05-10 삼성전자주식회사 이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985172B1 (en) * 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
US20010017650A1 (en) * 1999-12-23 2001-08-30 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for transmitting a video image
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US7245320B2 (en) * 2002-06-04 2007-07-17 Micron Technology, Inc. Method and apparatus for automatic gain and exposure control for maintaining target image brightness in video imager systems
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP2006157568A (ja) 2004-11-30 2006-06-15 Konica Minolta Holdings Inc 撮像装置およびプログラム
JP4378272B2 (ja) 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
JP2006191305A (ja) 2005-01-05 2006-07-20 Mitsubishi Electric Corp カメラ付き携帯端末装置
ATE486332T1 (de) * 2005-03-17 2010-11-15 British Telecomm Verfahren zur verfolgung von objekten in einer videosequenz
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
JP2006325274A (ja) 2006-09-11 2006-11-30 Olympus Corp 撮像装置
JP2007274731A (ja) * 2007-06-15 2007-10-18 Fujifilm Corp 手振れ補正方法
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469253A (zh) * 2010-11-16 2012-05-23 华晶科技股份有限公司 影像拍摄装置及其曝光时间调整方法
CN103229496A (zh) * 2011-06-21 2013-07-31 奥林巴斯株式会社 摄像装置以及摄像方法
CN103229496B (zh) * 2011-06-21 2015-03-11 奥林巴斯株式会社 摄像装置以及摄像方法
CN103929647A (zh) * 2013-01-16 2014-07-16 索尼公司 图像处理装置以及图像处理方法
CN113438511A (zh) * 2013-03-15 2021-09-24 谷歌有限责任公司 对视频方向的自动调节
CN113438511B (zh) * 2013-03-15 2023-09-12 谷歌有限责任公司 用于对视频方向的自动调节的方法、介质以及系统
CN104469139A (zh) * 2013-09-24 2015-03-25 佳能株式会社 图像捕获装置和图像捕获方法
US9641756B2 (en) 2013-09-24 2017-05-02 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
CN104469139B (zh) * 2013-09-24 2017-11-14 佳能株式会社 图像捕获装置和图像捕获方法
CN106303225A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种图像处理方法及电子设备
CN109660728A (zh) * 2018-12-29 2019-04-19 维沃移动通信有限公司 一种拍照方法及装置
CN111798658A (zh) * 2019-11-08 2020-10-20 方勤 行驶车道通行效率检测平台

Also Published As

Publication number Publication date
JP2009118483A (ja) 2009-05-28
KR101041366B1 (ko) 2011-06-14
JP4898761B2 (ja) 2012-03-21
EP2059028B1 (en) 2011-04-20
EP2059028A1 (en) 2009-05-13
KR20090045585A (ko) 2009-05-08
CN101426092B (zh) 2011-11-23
DE602008006329D1 (de) 2011-06-01
US20090115858A1 (en) 2009-05-07
US7952614B2 (en) 2011-05-31

Similar Documents

Publication Publication Date Title
CN101426092B (zh) 使用对象跟踪的用于数字图像稳定的设备和方法
CN101426091B (zh) 使用目标跟踪的数字图像稳定的装置及其方法
EP1377036B1 (en) Video processing system and method for automatic enhancement of digital video
US8233062B2 (en) Image processing apparatus, image processing method, and imaging apparatus
CA2627999C (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
US8125528B2 (en) Apparatus for digital image stabilization, method using the same and computer readable medium stored thereon computer executable instructions for performing the method
JP2010239636A (ja) 画像生成装置、画像生成方法、およびプログラム
CN105407271A (zh) 图像处理设备和方法、摄像设备以及图像生成设备
US11876987B2 (en) Video encoder and encoding method
CN100486301C (zh) 用于稳定化视频数据的方法和系统
US20120044389A1 (en) Method for generating super resolution image
Gutiérrez et al. Color Reconstruction and Resolution Enhancement Using Super-Resolution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: PIXELPLUS CO., LTD.

Free format text: FORMER OWNER: CORE LOGIC INC.

Effective date: 20150424

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150424

Address after: Gyeonggi Do, South Korea

Patentee after: Pixelplus Co., Ltd.

Address before: Seoul, South Korea

Patentee before: Core Logic Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111123

Termination date: 20201103