CN101426091B - 使用目标跟踪的数字图像稳定的装置及其方法 - Google Patents

使用目标跟踪的数字图像稳定的装置及其方法 Download PDF

Info

Publication number
CN101426091B
CN101426091B CN2008101704105A CN200810170410A CN101426091B CN 101426091 B CN101426091 B CN 101426091B CN 2008101704105 A CN2008101704105 A CN 2008101704105A CN 200810170410 A CN200810170410 A CN 200810170410A CN 101426091 B CN101426091 B CN 101426091B
Authority
CN
China
Prior art keywords
image
target
movement images
behind
benchmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101704105A
Other languages
English (en)
Other versions
CN101426091A (zh
Inventor
李荣信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixelplus Co Ltd
Original Assignee
Core Logic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Core Logic Inc filed Critical Core Logic Inc
Publication of CN101426091A publication Critical patent/CN101426091A/zh
Application granted granted Critical
Publication of CN101426091B publication Critical patent/CN101426091B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

一种使用目标跟踪的数字图像稳定装置，包括图像信号处理单元，用于输出在第一曝光值条件下获取的第一数字图像数据和在第二曝光值条件下获取的多个第二数字图像数据。所述装置还包括手抖动补偿单元，用于通过在具有更多目标的该多个第二数字图像的二进制图像或者反转二进制图像中跟踪一目标，补偿比较第二数字图像相对于基准第二数字图像的运动。该补偿单元然后通过将运动补偿后图像与基准图像重叠，生成手抖动补偿后图像。所述装置还包括图像属性校正单元，用于根据第一数字图像的属性来校正手抖动补偿后图像的属性。

Description

使用目标跟踪的数字图像稳定的装置及其方法
本申请要求于2007年11月2日向韩国知识产权局提交的韩国专利申请No.10-2007-0111487的优先权，其全部内容在此并入作为参考。
技术领域
本发明涉及数字图像处理，更具体地涉及一种能够在获取数字图像时校正由于手抖动引起的图像模糊现象的数字图像稳定装置和方法。
背景技术
近来，采用诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的图像传感器技术的数码相机正被广泛使用。数码相机被商业化用作仅相机产品(camera-only-product)，并且典型地被安装在诸如移动电话或PDA之类的手持式终端中。
然而，手持式终端的中央处理单元并不具有个人计算机的高时钟速度和存储器容量。而且，手持式终端的发展趋势倾向于减小终端的厚度和尺寸，因此终端在安装诸如相机之类的附加部件方面受到空间限制。而且，在将各种图像处理技术(例如，用于防止由于拍摄者的手抖动引起的数字图像恶化的数字图像稳定技术)应用于手持式终端中的仅相机产品时存在限制。
典型的数码相机支持自动曝光模式。在自动曝光模式中，EV(曝光值)根据进行拍摄的位置的亮度而自动改变。也就是，在暗地方，EV增加，而在亮地方，EV减小。
然而，EV的增加会导致曝光时间的增加。这可能导致图像模糊现象，因为在影像上会反映由于手抖动引起的焦点的少量调节(tweak)。通常，为了防止图像模糊现象，引入了各种图像稳定技术，例如DIS(数字图像稳定)技术、EIS(电子图像稳定)技术或OIS(光学图像稳定)技术。
DIS技术使用存储器中存储的图像信号来检测/补偿手抖动影响。DIS技术使用在图像拾取装置中生成的并被存储在存储器中的图像信号来检测运动矢量，并且使用检测到的运动矢量来改变存储器的读取定时，以补偿手抖动。 DIS技术的优点在于图像稳定简单。然而，因为改变了存储器的读取定时，所以可从存储器读取的图像的尺寸等于有效像素区域的尺寸。因此，DIS技术应当通过数字缩放来放大从存储器读取的图像并播放/记录放大后的图像，这会导致图像的质量恶化。
EIS技术使用角速度传感器和高像素图像拾取装置来检测/补偿手抖动影响。EIS技术使用水平/垂直角速度传感器来检测手颤动的量和方向，并且使用检测到的手颤动的量和方向来改变高像素图像拾取装置的输出定时，以便补偿手抖动。由于高像素图像拾取装置的输出定时改变，由从高像素图像拾取装置输出的图像信号组成的图像的尺寸等于原始图像的尺寸。这是因为在EIS技术中使用的高像素图像拾取装置具有比有效像素的数目更多的像素数目而产生的。因此，EIS技术能够减少所播放/所记录的图像的质量恶化。然而，EIS技术需要角速度传感器和高像素图像拾取装置，这导致制造成本增加。
OIS技术使用角速度传感器和棱镜来检测/补偿手抖动影响。OIS技术与EIS技术的相同之处在于使用水平/垂直角速度传感器来检测手颤动的量和方向。然而，区别在于OIS技术使用能够改变图像拾取装置上的入射光的路径的棱镜来补偿手抖动。OIS技术不会经受所播放/所记录的图像的质量恶化，并且不需要高图像拾取装置。然而，OIS技术需要角速度传感器和棱镜，这增加了拍摄设备的体积和制造成本。而且，OIS技术在控制棱镜上存在困难。
发明内容
本发明的一个目的是提供一种数字图像稳定的装置和方法，其消除针对诸如用以补偿手抖动的角速度传感器或棱镜之类的独立硬件的需要。
本发明的另一目的是提供一种用于在安装于具有有限的硬件资源的终端(例如移动电话或PDA)中的数码相机中减少图像质量恶化和图像模糊现象的数字图像稳定的装置和方法。
为了实现上述目的，一种根据本发明的使用目标跟踪的数字图像稳定的装置，包括：(1)图像信号处理单元，用于输出在第一曝光值条件下获取的第一数字图像数据和在第二曝光值条件下获取的多个第二数字图像数据；(2)手抖动补偿单元，用于(a)通过在第二数字图像的二进制图像或者反转(reverse)二进制图像当中具有更多目标的图像上跟踪一目标来补偿比较 (comparative)第二数字图像相对于基准第二数字图像的运动，并且(b)通过将运动补偿后图像与基准图像重叠，以便生成手抖动补偿后图像；和(3)图像属性校正单元，用于根据第一数字图像的属性来校正手抖动补偿后图像的属性。
优选地，所述第一数字图像数据是在自动曝光模式的曝光值条件下获取的预览图像数据，所述多个第二数字图像数据是在低于自动曝光模式的曝光值条件的曝光值条件下以正常间隔持续地获取的被捕捉静止图像数据。
根据本发明，所述手抖动补偿单元包括：(1)目标标记单元，用于在二进制图像或者反转二进制图像中上跟踪一目标，并且标记所述目标；(2)运动值计算单元，用于(a)将每个比较图像的目标参数与基准图像的相应目标进行匹配，(b)计算每个比较图像的目标参数，并且(c)使用所计算的目标参数来计算每个比较图像的运动值；(3)运动补偿单元，用于将每个计算的运动值应用于相应的比较图像，以便补偿每个比较图像的运动；和(4)补偿后图像生成单元，用于将每个运动补偿的比较图像与基准图像重叠，以便生成手抖动补偿后图像。
优选地，所述目标标记单元包括：(1)图像二进制化器，用于将基准图像和每个比较图像转换为二进制图像；(2)图像反转器，用于将基准图像和每个比较图像的二进制图像转换为反转二进制图像；(3)目标标记器，用于在每个二进制图像和每个反转二进制图像上标记目标；和(4)图像选择器，用于(a)将基准图像的二进制图像中的目标的数目与基准图像的反转二进制图像中的目标的数目进行比较，并且(b)选择具有更多目标的图像作为目标跟踪图像。
更优选地，所述目标标记单元还包括：(1)图像滤波器，用于过滤基准图像和每个比较图像，以便锐化图像的边界；和(2)图像合成器，用于(a)将来自图像滤波器的边界锐化后图像与二进制图像进行合成，(b)将来自图像滤波器的边界锐化后图像与来自图像反转器的反转二进制图像进行合成，并且(c)输出合成后二进制图像和合成后反转二进制图像。这时，所述目标标记器在合成后二进制图像和合成后反转二进制图像上标记目标。
根据本发明，所述装置，在所述目标标记单元之前，可以还包括图像尺寸修改器，用于通过将第二数字图像的尺寸按比例缩放为预定尺寸或者从第二数字图像中剪切预定宽度的边界，来修改多个第二数字图像的尺寸。所述装置在所述目标标记单元之前，可以或者包括图像选择单元，用于如果比较图像相对于基准图像的运动矢量的幅值超过临界值，或者如果基准图像与比较图像之间的亮度差不超过临界值，则从用于目标标记的图像中排除比较图像。
优选地，所述图像属性校正单元包括用于校正手抖动补偿后图像的色彩的色彩校正单元。所述校正单元通过用第一数字图像的像素数据替换手抖动补偿后图像的像素数据，或者通过考虑第一数字图像与手抖动补偿后图像之间的尺寸比率基于第一数字图像的像素数据来插值手抖动补偿后图像的像素数据，来校正色彩。所述图像属性校正单元可以另外或者替换地包括亮度校正单元，用于(a)定量地计算手抖动补偿后图像与第一数字图像之间的亮度差，(b)自适应地选择亮度校正强度，并且(c)通过所选择的强度来校正手抖动补偿后图像的亮度。
本发明还包括使用目标跟踪的数字图像稳定的方法。
附图说明
考虑结合附图进行的详细描述，本发明的特征和优点将变得更加明显，全文中类似的参考字符表示类似的部件，其中：
图1图示了根据本发明优选实施例的、使用目标跟踪的用于数字图像稳定的装置；
图2图示了根据本发明实施例的手抖动补偿单元；
图3图示了根据本发明实施例的目标标记单元；
图4图示了根据本发明另一实施例的目标标记单元；
图5图示了根据本发明另一实施例的手抖动补偿单元；
图6图示了根据本发明再一实施例的手抖动补偿单元；
图7概念地图示了根据本发明实施例的、由运动值计算单元计算的目标参数；
图8图示了根据本发明的使用目标跟踪的用于数字图像稳定的方法的示例；
图9图示了根据本发明的用于生成手抖动补偿后图像的处理的优选示例；
图10图示了根据本发明实施例的图像属性校正单元；
图11图示了一种处理，其中根据本发明的图像属性校正单元中包含的色彩校正单元基于预览图像来校正手抖动补偿后图像的色彩；
图12图示了一种处理，其中根据本发明的图像属性校正单元中包含的亮度校正单元基于预览图像来校正手抖动补偿后图像的亮度；
图13(A)图示了由在自动曝光模式中没有图像稳定功能的典型数字拍摄设备拍摄的图像；和
图13(B)图示了由实施根据本发明的使用目标跟踪的用于数字图像稳定的方法的数字拍摄设备拍摄的相同图像。
具体实施方式
尽管该说明书包含许多细节，但是这些都不应当被曲解为对本发明或权利要求的范围的限制，而是相反作为特定于本发明的具体实施例的描述。在该说明书中的独立实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或者以任何适当的子组合方式来实现。
应当理解，说明书和所附权利要求书中使用的术语不必限于一般的字典含义，但是应当基于相应于此处所描述的本发明的技术内容的含义和概念进行解释。
根据本发明的使用目标跟踪的数字图像稳定的装置与各种数字拍摄设备相关联。数字拍摄设备例如包括数码相机、数码摄像机、或者具有内置数码相机的移动电话、PDA或个人多媒体播放器。数字拍摄设备被配置用来(a)通过用户的快门操作获取图像，(b)将所获取的图像转换为数字图像，以及(c)将该数字图像存储在存储介质中。
与传统相机不同，商业数字拍摄设备支持预览功能，用于通过诸如LCD之类的取景器(view finder)显示器在拍摄之前查图像。因此，用户查看以短帧间隔更新的图像。并且当用户在取景器中看到期望的图像时，用户操作快门来获取数字静止图像。
根据本发明的使用目标跟踪的数字图像稳定装置获取在第一曝光值条件下拍摄的第一数字图像和在第二曝光值条件下拍摄的多个第二数字图像(即，第二曝光值条件的EV小于第一曝光值条件的EV)。通过跟踪在具有多个目标的二进制图像或反转二进制图像中的一个目标，该装置计算每个比较第二数字图像相对于基准第二数字图像的运动值，根据每个计算的运动值补偿相应第二数字图像的运动，将运动补偿后图像与基准图像重叠以便生成手抖动补偿后图像，并且使用第一数字图像的属性来校正手抖动补偿后图像的属性。
在本发明的示例性实施例中，第一数字图像是预览图像，第二数字图像是被捕捉的静止图像。预览图像是在操作快门之前以短帧间隔在取景器上显示的数字图像，被捕捉静止图像是在操作快门时以用户设置的分辨率拍摄的物体的静止数字图像。然而，本发明不限于这一点。第一数字图像应当被解释为在比第二数字图像更高的曝光值条件下被捕捉并以如此短帧间隔以致消除手抖动效果影响被拍摄的数字图像。
参考图1，根据本发明的使用目标跟踪的数字图像稳定的装置包括图像信号处理单元110、手抖动补偿单元120和图像属性校正单元130。图像信号处理单元110从图像传感器100接收在第一曝光值条件下拍摄的预览图像信号和在第二曝光值条件下拍摄的多个被捕捉静止图像信号。图像信号处理单元110执行数字图像信号处理，并且在显示单元170输出相对于第一曝光值条件的预览图像数据和对应于第二曝光值条件的多个被捕捉静止图像数据。手抖动补偿单元120通过在多个被捕捉静止图像的二进制图像和反转二进制图像中跟踪一目标，补偿比较被捕捉静止图像相对于基准被捕捉静止图像的运动，并且将运动补偿后图像与基准图像重叠，以便生成手抖动补偿后图像。图像属性校正单元130使用预览图像的相应属性来校正手抖动补偿后图像的属性。
优选地，第一曝光值大于第二曝光值。也就是，“EV1>EV2”，其中EV1是第一曝光值，EV2是第二曝光值。优选地，第一曝光值是数字拍摄设备的自动曝光模式的曝光值。曝光值缩写为EV，其通过包括表示图像传感器100的快门速度的“f”和表示图像传感器100的灵敏度的ISO增益(下文中称作“I”)的参数来定义。
在数字拍摄设备的快门操作之前，图像传感器100以短帧间隔(例如，30f/s)生成并输出预览图像(AP)。当快门操作时，图像传感器100以短帧间隔持续地输出多个被捕捉静止图像。该多个被捕捉静止图像以比预览图像更长的帧间隔输出。图像传感器100可以是使用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)技术的图像拾取装置。然而，本发明不限于特定类型的图像传感器。
预览图像是以非常短的帧间隔持续地生成的。因此，在第一曝光值条件下获取的预览图像没有拍摄者的手抖动引起的图像模糊。预览图像中包含的物体的范围与多个被捕捉静止图像中包含的物体的范围基本相同。预览图像在自动曝光模式中生成，并且因此保持物体适当的亮度和色彩属性。
相反，被捕捉静止图像是在比预览图像的第一曝光值条件更短的曝光时间条件下获取的。因此，被捕捉静止图像几乎不受手抖动影响。当图像传感器100的曝光时间减少时，手抖动的影响也减少。然而，如果当获取被捕捉静止图像时曝光时间减少，则被捕捉静止图像不与预览图像一样保持物体的亮度和色彩属性。同时，被捕捉静止图像具有由数字拍摄设备的用户设置的尺寸，例如长度和宽度，并且该尺寸相对于预览图像的尺寸更大。
优选地，根据本发明的用于数字图像稳定的装置还包括模式转换单元140和传感器控制器150。该模式转换单元140将图像传感器100的曝光值条件从第一曝光值条件转换为第二曝光值条件。在快门操作之前，模式转换单元140控制传感器控制器150将图像传感器100设定为第一曝光值条件，并且以预览模式操作图像传感器100。因此，图像传感器100以预定的帧间隔(例如30f/s)生成预览图像的模拟图像，并且将该模拟图像输出到图像信号处理单元110。然后，图像信号处理单元110数字化该预览图像信号，并且将该预览图像输出到显示单元170。显示单元170在取景器上以运动图像的形式显示该预览图像。
当快门操作时，模式转换单元140基于第一曝光值条件自适应地确定第二曝光值条件，并且控制传感器控制器150将图像传感器100的曝光值条件从第一曝光值条件转换为第二曝光值条件。因此，图像传感器100被配置用于静止图像捕捉模式。
自适应地确定曝光值条件是指基于第一曝光值条件相对于预定的曝光值组来确定第二曝光值条件。为此，优选地，传感器数据表160被提供来创建定义第一曝光值条件的参数(即，“f”值和“I”值)与定义第二曝光值条件的参数(即，“f”值和“I”值)之间的一对一的映射。传感器数据表160被记载，并且当所述装置操作时被参考。同时，本发明根据第一曝光值条件自适应地确定第二曝光值条件，并且用于自适应地确定曝光值条件的技术配置不限于上述示例。
模式转换单元140控制传感器控制器150来设置图像传感器100的曝光值条件。传感器控制器150在快门操作之前将图像传感器100设置为第一曝光值条件，并且当快门操作时将图像传感器100设置为第二曝光值条件。传感器控制器150从模式转换单元140接收对应于第一曝光值条件和第二曝光值条件的参数。如上所述，所述参数包括快门速度“f”和ISO增益“I”。
当图像传感器100的曝光值条件被设置为第二曝光值条件时，传感器控制器150将用于捕捉多个被捕捉静止图像的信号发送到图像传感器100。然后，图像传感器100以正常帧间隔持续地生成多个被捕捉静止图像，并且将该被捕捉静止图像输出到图像信号处理单元110。
在快门操作之前，图像信号处理单元110接收在图像传感器100中以正常的帧间隔生成的预览图像，执行模数转换，并且将预览图像输出到显示单元170。而且，当快门操作时，图像信号处理单元110从图像传感器100接收以正常的帧间隔持续生成的多个被捕捉静止图像，执行模数转换，并且将数字图像信号输出到手抖动补偿单元120。被转换为数字图像信号的预览图像数据和被捕捉静止图像数据包括用于图像中包含的每个像素的亮度信号(Y)和色彩差信号(Cb和Cr)。数字图像信号可以是YUV(YCbCr)颜色坐标系统以外的颜色坐标系统(例如RGB(红、绿、蓝)颜色坐标系统)中的信号。
图像信号处理单元110将预览图像转换为数字信号，并且可以将预览图像降级(downscale)到符合按照取景器的显示器的标准分辨率(例如320*240或240*320)。图像信号处理单元110将多个被捕捉静止图像转换为数字信号，并且可以将该被捕捉静止图像降级到符合由拍摄者设置的图像分辨率(320*240或256*192)。
使用用户接口来设置被捕捉静止图像的图像分辨率。用户接口是提供给数字拍摄设备的普通接口，用于操作快门并且调节用于获取数字图像所需的各种参数(例如图像传感器100的焦距、光学或数字变焦(zoom-in/zoom-out)、白平衡或曝光模式)。在数字拍摄设备被安装在诸如移动电话之类的手持式终端时，用户接口可具体为手持式终端的小键盘。
图像信号处理单元110在现有技术中已知为ISP(图像信号处理器)，并且用于数字化图像信号的处理为本领域的普通技术人员公知。因此，省略对图像信号处理单元110的详细描述。如图2所示，手抖动补偿单元120包括目标标记单元121、运动值计算单元122、运动补偿单元123和补偿后图像生成单元124。
手抖动补偿单元120通过对从多个被捕捉静止图像中选择的基准图像进行目标跟踪，补偿每个比较图像相对于基准图像的运动。手抖动补偿单元120将运动补偿后图像与基准图像重叠，以便生成手抖动补偿后图像。
使用目标跟踪对比较图像相对于基准图像的运动的补偿包括提取基准图像和比较图像中包含的目标，标记该目标，匹配所标记的目标，定量地计算匹配后目标的运动值，并且将所计算的运动值施加到比较图像。
目标标记单元121在快门操作之后立即从图像信号处理单元110接收多个被捕捉静止图像。目标标记单元121将该多个被捕捉静止图像分类为一个基准图像和多个比较图像。存在至少一个比较图像。然后，目标标记单元121从基准图像和每个比较图像中提取目标，并且标记所提取的目标。优选地，目标标记单元121选择最先拍摄的被捕捉静止图像作为基准图像。或者，目标标记单元121可以选择最后拍摄或者中间拍摄的被捕捉静止图像作为基准图像。例如，如果拍摄了5个被捕捉静止图像，则可以选择第一图像、第三图像或第五图像作为基准图像。
目标是二进制化图像中彼此相连的白像素组。当目标的像素数目超过临界值(例如30000)时，目标标记单元121可以将相应的目标当作背景。优选地，目标标记单元121使用4相连成分标记或8相连成分标记来提取目标。该4相连成分标记基于目标像素而跟踪上、下、左和右方向的四个像素以便提取目标，该8相连成分标记除了跟踪上、下、左和右方向的四个像素之外还跟踪目标像素的对角方向的四个像素。此外，目标标记单元121可以使用闭合轮廓目标扫描方法或者开放轮廓目标扫描方法来提取目标。上述的目标提取方法为本领域的普通技术人员公知，因此省略它们的描述。
图3图示了根据本发明第一实施例的目标标记单元121，图4图示了根据本发明第二实施例的目标标记单元421。
参考图3，根据本发明第一实施例的目标标记单元121包括：(1)图像二进制化器1211，用于将基准图像和每个比较图像转换为黑白二进制图像；(2)图像反转器1213，用于通过每个二进制图像的白和黑反转将基准图像和每个比较图像的二进制图像转换为反转二进制图像；(3)目标标记器1212，用于从每个二进制图像和每个反转二进制图像中提取目标，并且标记所提取的目标；和(4)图像选择器1214，用于(a)将从基准图像的二进制图像中提取的目标的数目与从基准图像的反转二进制图像中提取的目标的数目进行比较，以及(b)选择具有更多目标的图像(二进制图像或反转二进制图像)作为目标跟踪图像。
图像二进制化计算图像的直方图分布。如果像素的亮度大于特定阈值，则将该像素设置为白，如果像素的亮度小于特定阈值，则将该像素设置为黑。下文中，用于基于特定阈值将每个像素设置为黑或白的处理被称作限值(thresholding)步骤。从直方图分布计算的图像的平均亮度值可被用作阈值。然而，本发明不限于这一点。
参考图4，根据本发明第二实施例的目标标记单元421包括：(1)图像二进制化器1211，用于通过限值步骤将基准图像和每个比较图像转换为二进制图像；(2)图像反转器1213，用于通过白和黑转换将基准图像和每个比较图像的二进制图像转换为反转二进制图像；(3)图像滤波器1215，用于过滤基准图像和每个比较图像，以便锐化所述图像的边界；(4)图像合成器1216，用于(a)将从图像滤波器1215接收的边界锐化后图像与从图像二进制化器1211接收的相应二进制图像进行合成，(b)将从图像滤波器1215接收的边界锐化后图像与从图像反转器1213接收的相应反转二进制图像进行合成，以及(c)输出合成后二进制图像和合成后反转二进制图像；(5)目标标记器1212，用于(a)从自图像合成器1216接收的每个合成后二进制图像和每个合成后反转二进制图像中提取目标，以及(b)标记所提取的目标；和(6)图像选择器1214，用于(a)将从基准图像的合成后二进制图像中提取的目标的数目与从基准图像的合成后反转二进制图像中提取的目标的数目进行比较，以及(b)选择具有更多目标的图像(合成后二进制图像或合成后反转二进制图像)作为目标跟踪图像。合成后二进制图像是与边界锐化后图像合成的二进制图像，并且合成后反转二进制图像是与边界锐化后图像合成的反转二进制图像。
当如上所述从具有锐化后边界的合成后二进制图像和合成后反转二进制图像中提取目标时，因为目标的边界被增强，因此更容易地提取目标。优选地，图像滤波器1215是拉普拉斯滤波器或苏贝尔边缘滤波器。然而，本发明不限于特定类型的图像滤波器。
参考图2，运动值计算单元122从目标标记单元121接收基准图像和每个比较图像的标记后目标数据。然后，运动值计算单元122将基准图像的目标与每个比较图像的目标进行匹配，并且计算每个目标的参数。
上面的目标数据是指在被选择为目标跟踪图像的二进制图像或者反转二进制图像上标记的目标数据。也就是，如果二进制图像被选择为目标跟踪图像，则目标数据是在基准图像和每个比较图像的二进制图像中标记的目标。另一方面，如果反转二进制图像被选择为目标跟踪图像，则目标数据是在基准图像和每个比较图像的反转二进制图像上标记的目标。
替换地，目标数据可以是被选择为目标跟踪图像的合成后二进制图像或者合成后反转二进制图像上标记的目标数据。也就是，如果合成后二进制图像被选择为目标跟踪图像，则目标数据是在基准图像和每个比较图像的合成后二进制图像上标记的目标数据。另一方面，如果合成后反转二进制图像被选择为目标跟踪图像，则目标数据是在基准图像和每个比较图像的合成后反转二进制图像上标记的目标数据。
图7概念地图示由运动值计算单元122计算的目标的参数。目标的参数包括：目标的面积(S)；该目标的边界长度(边界的外围长度)；以及当该目标包含具有预定边际(margin)的正方形边界中时，该正方形的中心坐标(O)；该目标的质心坐标(C)；在穿过中心坐标(O)并且在其两端处与目标的边界相交的线当中的主轴(major axis)长度(Max0)和次轴(minor axis)长度(Min0)和它们的角度；在穿过质心坐标(C)并且在其两端处与目标的边界相交的线当中的主轴长度(MaxC)和次轴长度(MinC)和它们的角度；连接各目标的质心坐标(C)的每条连接线的长度；以及当目标的质心坐标以标记顺序连接时连接线(L)之间的角度。
接着，运动值计算单元122使用所计算的目标参数计算每个比较图像的运动值。每个比较图像的运动值是指比较目标跟踪图像相对于基准目标跟踪图像的运动值。基准目标跟踪图像是基准图像的二进制图像、反转二进制图像、合成后二进制图像或合成后反转二进制图像中的任意一个。比较目标跟踪图像是比较图像的二进制图像、反转二进制图像、合成后二进制图像或合成后反转二进制图像中的任意一个。比较目标跟踪图像和基准目标跟踪图像的种类相同。运动值定量地表示比较目标跟踪图像相对于基准目标跟踪图像的运动程度。具体地，运动值包括从由根据平移的运动值、根据旋转的运动值、根据按比例缩放的运动值和根据穿越(shear)的运动值、或者它们的组合组成的组中选择的任意一个。
通过几何地分析基准目标跟踪图像和比较目标跟踪图像的匹配后目标参数，计算比较目标跟踪图像的运动值。
例如，通过平均基准目标跟踪图像和比较目标跟踪图像的匹配后目标之间的中心坐标或质心坐标的差，计算根据平移的运动值。
通过将连接基准目标跟踪图像中的质心坐标的线(L)与比较目标跟踪图像中的线(L)进行匹配并且平均所匹配的线之间的角度，计算根据旋转的运动值。或者，可以通过将连接基准目标跟踪图像中的质心坐标的线(L)与比较目标跟踪图像中的线(L)进行匹配并且平均预设基准轴与所匹配的线(L)之间的角度差，计算根据旋转的运动值。
通过平均基准目标跟踪图像与比较目标跟踪图像的匹配后目标之间的主轴长度的比率、次轴长度的比率、边界长度的比率或面积的比率，计算根据比例缩放的运动值。
使用基准目标跟踪图像与比较目标跟踪图像的匹配后目标之间的主轴长度的比率、次轴长度的比率、边界长度的比率和面积的比率，或者使用当在图像的水平方向和垂直方向上计算预设基准轴与基准目标跟踪图像和比较目标跟踪图像的质心坐标的连接线之间的角度差的分布时该分布外形的梯度，计算根据穿越的运动值。
当已知了基准目标跟踪图像与比较目标跟踪图像的各种目标参数时，可以通过上述方法以外的方法来替换地计算比较目标跟踪图像相对于基准目标跟踪图像的运动值。
运动值计算单元122将所计算的每个比较图像的运动值数据输出到运动补偿单元123。运动补偿单元123计算用于补偿每个比较图像的运动的矩阵。
优选地，该矩阵是仿射变换矩阵。然而，本发明不限于特定类型的矩阵。该仿射变换矩阵公知用于执行矩阵变换，包括平移、旋转、按比例缩放和穿越。通过所计算的运动值可以运算矩阵的行和列数据。通过运动值推导矩阵的技术是现有技术中公知的，省略对其的描述。
运动补偿单元123通过推导出每个比较图像的变换矩阵，并且通过推导出的矩阵对每个比较图像执行矩阵运算，来补偿每个比较图像的运动。然后，运动补偿单元123将每个运动补偿后比较图像和基准图像输出到补偿后图像生成单元124。
比较图像的运动补偿包括下列中的任意一个：根据平移的运动补偿、根据旋转的运动补偿、根据按比例缩放的运动补偿、根据穿越的运动补偿、或者它们的组合。为了减少与比较图像的运动补偿有关的运算，优选地，以根据穿越、按比例缩放、旋转和平移的运动补偿的顺序来执行操作。然而，本发明不限于这一点。
补偿后图像生成单元124从运动补偿单元123接收每个运动补偿后比较图像和基准图像。然后，补偿后图像生成单元124将所有比较图像与基准图像进行重叠，以便生成手抖动补偿后图像，并且输出该手抖动补偿后图像。
图像重叠包括对于每个颜色通道平均基准图像和比较图像的色彩数据、以及用对于每个颜色通道获取的色彩数据的平均值来替换基准图像的色彩数据。在一些情况下，当平均每个颜色通道的色彩数据以重叠图像时，可以排除基准图像的色彩数据。
图5图示了手抖动补偿单元的另一实施例。手抖动补偿单元520包括图像尺寸修改器125，其在目标标记单元121之前。图像尺寸修改器125通过降级预览图像和多个被捕捉静止图像或者剪切所述图像的边界，来减小所述图像的尺寸。因为目标倾向于集中在图像的中心部分，因此执行用于图像尺寸修改的边界剪切。如果图像尺寸修改器125被包含在手抖动补偿单元120中，则图像二进制化器1211、图像反转器1213、目标标记器1212和图像滤波器1215对更小的尺寸修改后图像进行操作，因此减少了操作开销。在运动值计算单元122计算通过降级处理而被尺寸修改的比较图像的运动值之后，运动值计算单元122可以根据降级因子基于原始比较图像来转换计算后运动值。
图6示出了手抖动补偿单元120的又一实施例。手抖动补偿单元620包括图像选择单元126，其在目标标记器121之前。图像选择单元126将多个被捕捉静止图像分类为基本图像和比较图像。用于选择基准图像的基础如上所述。图像选择单元126计算每个比较图像相对于基准图像的运动矢量。每个比较图像的运动矢量是表示比较图像相对于基准图像的运动程度的索引，并且是以诸如MPEG(运动图像专家组)或H.26x之类的公知图像压缩标准的典型方式来计算的。然后，如果比较图像的运动矢量的幅值过大或者运动矢量未被计算，则图像选择单元126确定基准图像中包含的物体不同于比较图像中包含的物体，并且从用于手抖动补偿的图像中排除相应的比较图像。这种情况可能发生的原因是手颤动量是在拍摄比较图像时突然侵入到图像拾取范围的额外的或者另一个物体。另一方面，如果比较图像的运动矢量在合适范围内，则图像选择单元126确定该比较图像可被用来补偿手抖动影响，并且将预览图像和被捕捉静止图像输入到目标标记单元121。而且，目标标记单元121执行如上所述的目标标记操作。
另外，图像选择单元126定量地计算基准图像与比较图像之间的亮度差。如果所述差小于预定等级，则图像选择单元126从手抖动补偿中排除相应的比较图像。例如，图像选择单元126计算基准图像与比较图像之间的异或运算后图像，计算异或运算后图像的亮度的平均值，并且将所获取的亮度平均值定义为基准图像与比较图像之间的亮度差。如果基准图像与比较图像之间的亮度差小于预定等级(例如0.85)，则图像选择单元126确定目标的有意义的运动不存在，并且不将相应的比较图像输出到目标标记单元121。另一方面，如果基准图像与比较图像之间的差大于预定等级(例如0.85)，则图像选择单元126确定目标的有意义的运动存在，并且将相应的比较图像输出到目标标记单元121。如上所述，使用基准图像与每个比较图像之间的亮度差的图像选择可以减少用于目标标记的操作开销。
图像选择单元126可被插入在如图5所示的图像尺寸修改器125与目标标记单元121之间。在这种情况下，图像选择单元126对尺寸修改后基准图像和尺寸修改后比较图像执行上述操作。
图8示出了根据本发明的使用目标跟踪的用于数字图像稳定的方法的示例。下述的每个步骤由本发明的装置执行。
接收预览图像和多个被捕捉静止图像(F10)。预览图像是在第一曝光值条件下获取的，多个被捕捉静止图像是在第二曝光值条件下获取的。这里，第二曝光值条件是基于第一曝光值条件自适应地确定的。而且，被捕捉静止图像之一是基准图像，其他被捕捉静止图像是比较图像。接着，选择目标跟踪图像(F20)。目标跟踪图像或者是具有更多目标的多个被捕捉静止图像的二进制图像或者是具有更多目标的多个被捕捉静止图像的反转二进制图像。然后，执行每个比较被捕捉静止图像的运动补偿(F30)。通过跟踪目标跟踪图像中的一目标，基于基准被捕捉静止图像来执行运动补偿。接着，通过将运动补偿后比较图像与基准图像重叠来生成手抖动补偿后图像(F40)。而且，基于预览图像的属性来校正手抖动补偿后图像的属性(F50)。
图9示出了根据本发明的用于生成手抖动补偿后图像的处理的示例。下述的每个步骤由手抖动补偿单元执行。
第一被捕捉静止图像被接收并且被指定为基准图像。注意，用作基准图像的被捕捉静止图像可任意地改变，并且在基准图像之后拍摄的被捕捉静止图像变成比较图像。
第二被捕捉静止图像(k＝2)被接收作为比较图像(P30)，并且计算比较图像相对于基准图像的运动矢量(P40)。所计算的运动矢量与临界值相比较，以便确定运动矢量的幅值是否超过预设的临界值(P50)。
如果在P50中确定未计算运动矢量或者所计算的运动矢量超过临界值，则不执行比较图像的目标标记步骤，而是执行步骤P60。如果在步骤P50中确定所计算的运动矢量未超过临界值，则执行P70，以便定量地计算基准图像与比较图像之间的亮度差。例如，计算基准图像与比较图像之间的异或运算后图像，计算异或运算后图像的平均亮度，并且将平均亮度定义为基准图像与比较图像之间的亮度差。
接着，所述处理检查基准图像与比较图像之间的亮度差是否超过预设的临界值。如果该亮度差超过预设的临界值，则在比较图像中存在目标的有意义的运动，并且执行目标标记步骤(P90)。如果该亮度差未超过预设的临界值，则省略比较图像的目标标记步骤，并执行P60。
从基准图像和比较图像中提取目标，并且通过几何运算来计算目标参数(P90)。即，(1)将基准图像和每个比较图像转换为二进制图像(或者合成后二进制图像)和反转二进制图像(或者合成后二进制图像)，(2)从中检测到更多目标的这种二进制图像被选择为目标跟踪图像，(3)在基准目标跟踪图像和每个比较目标跟踪图像上标记目标，并且(4)计算目标参数。目标标记和目标参数计算如上所述。接着，从基准目标跟踪图像和每个比较目标跟踪图像中提取的目标参数彼此匹配，并且计算每个比较图像相对于基准图像的运动值(P100)。这里，每个比较图像的运动值包括下列中的任意一个：根据平移的运动值、根据旋转的运动值、根据比例缩放的运动值、根据穿越的运动值、或者它们的组合。然后，使用所计算的运动值计算用于运动补偿的矩阵，并且通过仿射变换对比较图像进行运动补偿(P110)。
接着，所述处理检查运动补偿后比较图像的顺序号(k)是否达到预设数(N)(P120)。N是用于补偿图像的手抖动的被捕捉静止图像的数目，并且被预先设置。根据P120，如果k小于或等于N，则执行步骤P60，以便使比较图像的顺序号递增1，并且所述处理返回到步骤P30。然后，输入下一被捕捉静止图像作为比较图像，计算比较图像的运动值，使用该运动值对比较图像进行运动补偿。重复该处理，直到k大于N为止。如果k大于N，则对所有比较图像都进行运动补偿，因此执行P130。
运动补偿后比较图像和没有明显运动的比较图像(其中目标的运动被确定为基本上不存在)与基准图像重叠，以便生成手抖动补偿后图像(P130)。上面描述了图像重叠。在一些情况下，可以从用于图像重叠的图像中排除其中确定目标的运动基本上不存在的比较图像。因此，对于那些图像可以省略步骤P40到P80，以便减少手抖动补偿单元120的操作开销。
尽管图9中未示出，但是本发明在从基准图像和每个比较图像中提取目标之前，可以还包括通过降级基准图像和每个比较图像或者通过剪切所述图像的边界来修改基准图像和每个比较图像的尺寸。图像尺寸修改步骤可以减少目标提取所需的操作。
在如上所述生成手抖动补偿后图像之后，图像属性校正单元130使用预览图像的属性来校正手抖动补偿后图像的属性。在快门操作的最近时间生成预览图像，并且可以从帧存储器中参考该预览图像。
图10图示了根据本发明实施例的图像属性校正单元130的配置。图像属性校正单元130包括色彩校正单元131、噪声校正单元132和亮度校正单元133。色彩校正单元131通过用预览图像的像素数据替换手抖动补偿后图像的像素数据，或者考虑预览图像与手抖动补偿后图像之间的尺寸比率，通过基于预览图像的像素数据来插值手抖动补偿后图像的像素数据，来校正手抖动补偿后图像的色彩。色彩校正单元131将色彩校正后的手抖动补偿后图像输出到噪声校正单元132。噪声校正单元132使用各种众所周知的噪声滤波器来消除手抖动补偿后图像的噪声和错误色彩，并且将噪声消除后的手抖动补偿后图像输出到亮度校正单元133。所述滤波器包括低通滤波器、中值滤波器、高斯滤波器、高斯滤波器的拉普拉斯算子或者高斯滤波器的差。然而，本发明不限于这一点，可以使用其他公知的滤波技术来消除噪声。
亮度校正单元133定量地计算预览图像与手抖动补偿后图像之间的亮度差，自适应地确定手抖动补偿后图像的亮度校正强度，并且校正手抖动补偿后图像的亮度。
分别参考图11和图12来描述色彩校正单元131和亮度校正单元133的操作。图11示出了其中色彩校正单元131基于预览图像校正手抖动补偿后图像的色彩的处理。具体地，色彩校正单元131将手抖动补偿后图像的尺寸按比例缩放到预览图像的尺寸，以便生成降级后图像(S10)。接着，色彩校正单元131使用预览图像作为基准图像来计算降级后图像的运动矢量(S20)。运动矢量表示降级后图像中的目标相对于预览图像的运动方向和运动量。运动矢量可以按照诸如MPEG(运动图像专家组)或H.26x之类的公知图像压缩标准的方式来计算。也就是，以降级后图像被划分为均匀尺寸的块的方式来计算运动矢量，并且推断出从其中每个块被移动的基准图像的面积。在计算运动矢量之后，色彩校正单元131根据该运动矢量移动预览图像的每个像素数据的位置(S30)。然后，色彩校正单元131基于完成了每个像素数据的位置移动处理的预览图像，使用插值方法来校正手抖动补偿后图像的像素数据(S40)。即，色彩校正单元131基于(当生成降级后图像时应用的)缩放因子将预览图像的每个像素数据的位置(xi，yj)转换为手抖动补偿后图像的位置(XI，YJ)。接着，色彩校正单元131用对应于预览图像的位置(xi，yj)的像素数据替换对应于手抖动补偿后图像的位置(XI，YJ)的像素数据。预览图像的像素的数目小于手抖动补偿后图像的像素的数目，因此手抖动补偿后图像的所有像素数据不被预览图像的像素数据替换。因此，色彩校正单元131使用相邻替换后的像素数据来插值手抖动补偿后图像的像素数据，以便填充未被预览图像的像素数据替换的像素。所述插值方法包括双线性(Bi-linear)插值、双三次(Bi-Cubic)插值或B-样条(B-spline)插值，然而，本发明不限于这一点。
图12示出了其中亮度校正单元133基于预览图像校正手抖动补偿后图像的亮度的处理。具体地，亮度校正单元133将手抖动补偿后图像降级到预览图像的尺寸，以便生成降级后图像(S50)。这时，不需要单独地执行步骤S50，并且可以再次使用为色彩校正而生成的降级后图像。接着，亮度校正单元133定量地计算降级后图像与预览图像之间的亮度差(S60)。该亮度差可以使用两个图像之间的直方图的平均值的差来计算。例如，在降级后图像和预览图像的直方图的平均值分别为“85”和“140”的情况下，平均值的差为“55”。接着，亮度校正单元133根据平均值的差自适应地确定亮度校正强度，并且通过所确定的强度来校正手抖动补偿后图像的亮度(S70)。可以将伽马函数或Retinex算法应用于亮度校正。在这种情况下，亮度校正强度是伽马函数或 Retinex算法的强度。为了自适应地选择亮度校正算法的强度，优选地以查找表134的形式并且参考该查找表134准备可根据平均值的差选择的强度等级。
通过定义第一曝光值和第二曝光值的参数之间的差可以定量地计算手抖动补偿后图像与预览图像之间的亮度差。也就是，手抖动补偿后图像与预览图像之间的亮度差可以通过定义第一曝光值和第二曝光值的参数(即，“f”和“I”)之间的差来进行计算。例如，在对应于第一曝光值的“f”和“I”值分别是“1/30”和“200”以及对应于第二曝光值的“f”和“I”值分别是“1/60”和“100”的情况下，快门速度和ISO增益的差分别被定量计算为“1/60”和“100”。接着，亮度校正单元133通过“f”和“I”值的差来自适应地确定亮度校正强度，并且校正手抖动补偿后图像的亮度。能够以与上述相同的方式将伽马函数或Retinex算法应用于亮度校正。在这种情况下，亮度校正强度是伽马函数或Retinex算法的强度。为了自适应地选择亮度校正算法的强度，优选地以查找表的形式并且参考该查找表准备可根据“f”和“I”值的差选择的强度等级。
本发明中用于校正手抖动补偿后图像的亮度的伽马函数或Retinex算法为本领域的普通技术人员公知，因此省略对其的详细描述。本发明不限于特定种类的亮度校正函数或算法，并且可以应用用于调节手抖动补偿后图像的亮度的各种公知的理论。
在色彩校正单元131、噪声校正单元132和亮度校正单元133分别校正手抖动补偿后图像的色彩、噪声和亮度之后，手抖动补偿后图像被编码且以图像文件的形式被输出。为此，数字图像稳定的装置可以在图像属性校正单元130之后还包括编码单元180。优选地，编码单元180通过JPEG标准来编码手抖动补偿后图像，以便生成图像文件并然后输出所生成的图像文件。然而，本发明不限于特定的编码方法。该图像文件可被存储在数字拍摄设备的备用(inactive)存储介质例如闪存中。
在上述实施例中，图像属性校正单元130以色彩、噪声和亮度的顺序校正手抖动补偿后图像的属性。然而，本发明不限于特定顺序的手抖动补偿后图像的属性的校正，并且图像属性校正能够以任意顺序执行。
图13将图像(A)与相同的图像(B)进行比较，该图像(A)由在自动曝光模式中没有图像稳定功能的典型数字拍摄设备拍摄，该图像(B)由执行根据本发明的使用目标跟踪的数字图像稳定方法的数字拍摄设备拍摄。如图 13所示，使用根据本发明的数字图像稳定方法获取的图像没有图像模糊现象，并且更加明亮和更加清晰。
根据本发明的用于数字图像稳定的方法可被整合为计算机可读介质中的计算机可读代码。该计算机可读介质包括用于存储可由计算机系统读取的数据的所有类型的存储设备。计算机可读介质的一些示例是ROM、RAM、CD-ROM、磁带、软盘或光数据存储设备。该计算机可读介质可以存储并执行在经由网络彼此连接的计算机系统中被分发并且可由计算机通过分发方法读取的代码。
上面仅描述了一些实施方式。基于本申请中所描述及所图示的本发明，可以做出其他实施方式、改进和变型。
根据本发明的一方面，与EIS和OIS技术不同，本发明能够校正由于手抖动引起的图像模糊现象，而不需要用于测量手抖动程度的硬件，例如角速度传感器或棱镜。因此，本发明减少了数字拍摄设备的制造成本并且获取良好质量的数字静止图像。
根据本发明的另一方面，与DIS技术不同，本发明在存储被捕捉静止图像时不涉及数字缩放。因此，本发明能够获取比DIS技术更好质量的数字静止图像。
根据本发明的另一方面，本发明使用保持物体的亮度和色彩属性的预览图像来校正被捕捉静止图像的属性。因此，本发明能够获取更清晰更明亮的数字静止图像。
根据本发明的又一方面，本发明使用滤波器来消除在校正被捕捉静止图像的色彩数据时产生的噪声。因此，本发明提高了图像的质量。

Claims (18)

1.一种用于数字图像稳定的装置，包括：
图像信号处理单元，可操作用于输出在第一曝光值条件下获取的第一数字图像数据和在第二曝光值条件下获取的多个第二数字图像数据；
补偿单元，可操作用于：
将所述多个第二数字图像分类为一个基准图像和多个比较图像，并通过在目标跟踪图像中跟踪一目标，补偿所述多个比较图像相对于所述基准图像的运动，其中所述目标跟踪图像是在该多个第二数字图像的二值图像以及反转二值图像当中具有更多目标的图像，和
通过将运动补偿后图像与基准图像重叠，生成手抖动补偿后图像；和
图像属性校正单元，可操作用于根据第一数字图像的属性来校正手抖动补偿后图像的属性，
其中所述补偿单元包括：目标标记单元，可操作用于在基准图像和每个比较图像的二值图像以及反转二值图像当中的图像上跟踪一目标，并标记所述目标；
其中所述目标标记单元包括：
图像二值化器，可操作用于将基准图像和每个比较图像转换为二值图像；
图像反转器，可操作用于将基准图像和每个比较图像的二值图像转换为反转二值图像；
目标标记器，可操作用于在每个二值图像和每个反转二值图像上标记目标；和
图像选择器，可操作用于
将基准图像和每个比较图像的二值图像中包含的目标的数目与基准图像和每个比较图像的反转二值图像中包含的目标的数目进行比较，和
选择具有更多目标的图像作为目标跟踪图像。
2.如权利要求1所述的装置，其中：
所述第一数字图像数据是在自动曝光模式的曝光值条件下拍摄的预览图像数据，和
所述多个第二数字图像数据是在不同于自动曝光模式的曝光值条件的曝光值条件下以设定的快门速度持续地拍摄的被捕捉静止图像数据。
3.如权利要求1所述的装置，还包括：
传感器控制器，可操作用于改变与图像信号处理单元连接的图像传感器的曝光值条件；
传感器数据表，包括多个第二曝光值条件与多个第一曝光值条件之间的映射；和
曝光模式转换单元，可操作用于
通过参考所述传感器数据表基于第一曝光值条件确定第二曝光值条件，和
控制所述传感器控制器将图像传感器的曝光值条件变为第二曝光值条件。
4.如权利要求1所述的装置，其中所述补偿单元还包括：
运动值计算单元，可操作用于
将每个比较图像的目标参数与基准图像的目标进行匹配，
计算每个比较图像的目标参数，和
使用所计算的目标参数来计算每个比较图像的运动值；
运动补偿单元，可操作用于将每个所计算的运动值应用于相应的比较图像，以便补偿每个比较图像的运动；和
补偿后图像生成单元，可操作用于将每个运动补偿后比较图像与基准图像重叠，以便生成手抖动补偿后图像。
5.如权利要求1所述的装置，其中所述目标标记单元还包括：
图像滤波器，可操作用于过滤基准图像和每个比较图像，以便锐化所述图像的边界；和
图像合成器，可操作用于
将从图像滤波器接收的边界锐化后图像与从图像二值化器接收的二值图像进行合成，
将从图像滤波器接收的边界锐化后图像与从图像反转器接收的反转二值图像进行合成，和
输出合成后二值图像和合成后反转二值图像，
其中所述目标标记器在合成后二值图像和合成后反转二值图像上标记目标。
6.如权利要求4所述的装置，在所述目标标记单元之前，还包括：图像尺寸修改器，可操作用于通过将第二数字图像的尺寸按比例缩放为预定尺寸或者从第二数字图像中剪切预定宽度的边界，来修改多个第二数字图像的尺寸。
7.如权利要求4所述的装置，在所述目标标记单元之前，还包括：图像选择单元，可操作用于如果比较图像相对于基准图像的运动矢量的幅值超过第一临界值，则从用于目标标记的图像中排除比较图像。
8.如权利要求4所述的装置，在所述目标标记单元之前，还包括：图像选择单元，可操作用于如果基准图像与比较图像之间的亮度差不超过第二临界值，则从用于目标标记的图像中排除比较图像。
9.如权利要求1所述的装置，其中所述图像属性校正单元包括色彩校正单元，其可操作用于通过下列步骤来校正手抖动补偿后图像的色彩：
用第一数字图像的像素数据替换手抖动补偿后图像的像素数据；或者
考虑第一数字图像与手抖动补偿后图像之间的尺寸比率，基于第一数字图像的像素数据来插值手抖动补偿后图像的像素数据。
10.如权利要求1所述的装置，其中所述图像属性校正单元包括亮度校正单元，其可操作用于：
定量地计算第一数字图像与手抖动补偿后图像之间的亮度差；
选择亮度校正强度；和
通过所选择的强度来校正手抖动补偿后图像的亮度。
11.一种用于数字图像稳定的方法，包括：
接收在第一曝光值条件下获取的第一数字图像数据和在第二曝光值条件下获取的多个第二数字图像数据；
将所述多个第二数字图像分类为一个基准图像和多个比较图像，并选择目标跟踪图像，其中所述目标跟踪图像是在该多个第二数字图像的二值图像以及反转二值图像当中具有更多目标的图像；
通过在所述目标跟踪图像中跟踪一目标，补偿所述多个比较图像相对于所述基准图像的运动；
通过将运动补偿后比较图像与基准图像重叠，生成手抖动补偿后图像；和
基于第一数字图像的属性来校正手抖动补偿后图像的属性，
其中所述选择目标跟踪图像包括：
将基准图像和每个比较图像转换为二值图像和反转二值图像；
在每个二值图像和每个反转二值图像上标记目标；
将基准图像和每个比较图像的二值图像中包含的目标的数目与基准图像和每个比较图像的反转二值图像中包含的目标的数目进行比较；和
选择具有更多目标的二值图像或反转二值图像作为目标跟踪图像。
12.如权利要求11所述的方法，还包括：
加载用于将第二曝光值条件组映射到第一曝光值条件组的传感器数据表；
感测拍摄第一数字图像的第一曝光值条件；
通过参考所述传感器数据表，确定第二曝光值条件；和
将图像传感器的曝光属性从第一曝光值条件变为第二曝光值条件。
13.如权利要求11所述的方法，其中
所述第一数字图像数据是在自动曝光模式的曝光值条件下拍摄的预览图像数据，和
所述多个第二数字图像数据是在不同于自动曝光模式的曝光值条件的曝光值条件下以设定的快门速度持续地拍摄的被捕捉静止图像数据。
14.如权利要求11所述的方法，其中选择目标跟踪图像包括：
将基准图像和每个比较图像转换为边界锐化后图像；
将基准图像和每个比较图像转换为二值图像和反转二值图像；
将每个二值图像与每个相应的边界锐化后图像进行合成；
将每个反转二值图像与每个相应的边界锐化后图像进行合成；
在每个合成后二值图像和每个合成后反转二值图像上标记目标；
将基准图像的合成后二值图像中包含的目标的数目与基准图像的合成后反转二值图像中包含的目标的数目进行比较；和
选择具有更多目标的二值图像或反转二值图像作为目标跟踪图像。
15.如权利要求11所述的方法，在转换基准图像和比较图像之前，还包括：
通过将第二数字图像按比例缩放为预定尺寸或者从第二数字图像中剪切预定宽度的边界，来修改每个第二数字图像的尺寸。
16.如权利要求11所述的方法，在转换基准图像和比较图像之前，还包括：
如果比较图像相对于基准图像的运动矢量的幅值超过第一临界值，则从用于运动补偿的图像中排除该比较图像。
17.如权利要求11所述的方法，在转换基准图像和比较图像之前，还包括：
如果基准图像与比较图像之间的亮度差不超过第二临界值，则从用于运动补偿的图像中排除比较图像。
18.如权利要求11所述的方法，其中校正属性包括：
通过以下步骤来校正手抖动补偿后图像的色彩：用第一数字图像的像素数据替换手抖动补偿后图像的像素数据，或者考虑第一数字图像与手抖动补偿后图像之间的尺寸比率基于第一数字图像的像素数据来插值手抖动补偿后图像的像素数据；或者
通过以下步骤来校正手抖动补偿后图像的色彩：
定量地计算第一数字图像与手抖动补偿后图像之间的亮度差；
选择亮度校正强度；和
通过所选择的强度来校正手抖动补偿后图像的亮度。
CN2008101704105A 2007-11-02 2008-11-03 使用目标跟踪的数字图像稳定的装置及其方法 Expired - Fee Related CN101426091B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR111487/07 2007-11-02
KR1020070111487A KR101023946B1 (ko) 2007-11-02 2007-11-02 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법

Publications (2)

Publication Number Publication Date
CN101426091A CN101426091A (zh) 2009-05-06
CN101426091B true CN101426091B (zh) 2011-06-15

Family

ID=40257333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101704105A Expired - Fee Related CN101426091B (zh) 2007-11-02 2008-11-03 使用目标跟踪的数字图像稳定的装置及其方法

Country Status (6)

Country Link
US (1) US7952615B2 (zh)
EP (1) EP2058763B1 (zh)
JP (1) JP4703710B2 (zh)
KR (1) KR101023946B1 (zh)
CN (1) CN101426091B (zh)
DE (1) DE602008006501D1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141542A (zh) * 2015-10-23 2018-06-08 Lg 电子株式会社 移动终端及其控制方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101187909B1 (ko) * 2007-10-04 2012-10-05 삼성테크윈 주식회사 감시 카메라 시스템
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
KR101599872B1 (ko) * 2009-02-25 2016-03-04 삼성전자주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
US20110019018A1 (en) * 2009-07-22 2011-01-27 National Chung Cheng University Image comprssion system in coordination with camera motion
KR101603112B1 (ko) * 2009-10-20 2016-03-14 엘지전자 주식회사 필터링 방법 및 필터링 기능을 구비한 촬상장치
JP5424835B2 (ja) * 2009-11-30 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
US8314865B2 (en) 2009-12-23 2012-11-20 Nokia Corporation Lens shading correction
US8547440B2 (en) 2010-01-29 2013-10-01 Nokia Corporation Image correction for image capturing with an optical image stabilizer
CN107257434B (zh) * 2010-07-14 2020-06-16 株式会社尼康 图像处理装置、摄像装置及介质
CN101984651A (zh) * 2010-09-08 2011-03-09 北京中星微电子有限公司 图像稳定系统、显示装置及稳定图像的方法
JP5562808B2 (ja) * 2010-11-11 2014-07-30 オリンパス株式会社 内視鏡装置及びプログラム
CN102487429A (zh) * 2010-12-01 2012-06-06 华晶科技股份有限公司 多重防手震系统及其方法
KR20120068655A (ko) * 2010-12-19 2012-06-27 김인선 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
KR101710631B1 (ko) * 2010-12-23 2017-03-08 삼성전자주식회사 손 떨림 보정 모듈을 구비하는 디지털 영상 촬영 장치 및 이의 제어 방법
TW201230805A (en) * 2011-01-04 2012-07-16 Aptos Technology Inc Video playback apparatus and method
JP2012142827A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
CN102496353B (zh) * 2011-11-30 2014-04-30 深圳万兴信息科技股份有限公司 一种去除画面抖动的方法及图像显示控件
KR101933454B1 (ko) 2012-09-25 2018-12-31 삼성전자주식회사 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US9350916B2 (en) 2013-05-28 2016-05-24 Apple Inc. Interleaving image processing and image capture operations
US9384552B2 (en) * 2013-06-06 2016-07-05 Apple Inc. Image registration methods for still image stabilization
US9262684B2 (en) 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization
US9491360B2 (en) 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
US9066014B2 (en) * 2013-10-11 2015-06-23 Facebook, Inc. Applying video stabilization to a multimedia clip
US10051274B2 (en) * 2013-10-25 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus, method of calculating information according to motion of frame, and storage medium
CN103957351B (zh) * 2014-04-21 2017-12-15 深圳市视晶无线技术有限公司 一种三维摄像系统及其图像去抖处理方法
KR101426385B1 (ko) 2014-05-30 2014-08-06 주식회사 인스턴 이미지를 기반으로 재가공된 드릴 비트의 품질을 판단하는 방법 및 장치
CN105556957B (zh) * 2014-08-27 2018-06-26 华为技术有限公司 一种图像处理方法、计算机存储介质、装置及终端
JP6727791B2 (ja) * 2015-11-05 2020-07-22 キヤノン株式会社 追尾制御装置および追尾制御方法、撮像装置
US20170134746A1 (en) * 2015-11-06 2017-05-11 Intel Corporation Motion vector assisted video stabilization
CN106303223A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种图片处理方法及设备
US11057565B2 (en) 2016-10-17 2021-07-06 Huawei Technologies Co., Ltd. Image obtaining method and terminal device
WO2018077156A1 (en) 2016-10-26 2018-05-03 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
CN106657801B (zh) * 2016-10-26 2019-05-24 浙江大华技术股份有限公司 一种视频信息采集方法及装置
CN107566738A (zh) * 2017-10-13 2018-01-09 维沃移动通信有限公司 一种全景拍摄方法、移动终端及计算机可读存储介质
CN107809592B (zh) 2017-11-13 2019-09-17 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
CN110475072B (zh) 2017-11-13 2021-03-09 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
CN109379531B (zh) * 2018-09-29 2021-07-16 维沃移动通信有限公司 一种拍摄方法及移动终端
JP7341758B2 (ja) * 2019-07-08 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN110599433B (zh) * 2019-07-30 2023-06-06 西安电子科技大学 一种基于动态场景的双曝光图像融合方法
CN111275644B (zh) * 2020-01-20 2023-06-02 浙江大学 一种基于Retinex算法的水下图像增强方法和装置
CN113364978B (zh) * 2021-05-27 2022-07-05 艾酷软件技术(上海)有限公司 图像处理方法、装置、电子设备及可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985172B1 (en) * 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
US6548047B1 (en) * 1997-09-15 2003-04-15 Bristol-Myers Squibb Medical Imaging, Inc. Thermal preactivation of gaseous precursor filled compositions
US6425867B1 (en) * 1998-09-18 2002-07-30 University Of Washington Noise-free real time ultrasonic imaging of a treatment site undergoing high intensity focused ultrasound therapy
US20010017650A1 (en) * 1999-12-23 2001-08-30 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for transmitting a video image
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US6858011B2 (en) * 2001-09-21 2005-02-22 Trustees Of The University Of Pennsylvania Method and apparatus to control microbubble destruction during contrast-enhanced ultrasound imaging, and uses therefor
US7245320B2 (en) * 2002-06-04 2007-07-17 Micron Technology, Inc. Method and apparatus for automatic gain and exposure control for maintaining target image brightness in video imager systems
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP2006157568A (ja) * 2004-11-30 2006-06-15 Konica Minolta Holdings Inc 撮像装置およびプログラム
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
JP2006191305A (ja) * 2005-01-05 2006-07-20 Mitsubishi Electric Corp カメラ付き携帯端末装置
CN1814323B (zh) * 2005-01-31 2010-05-12 重庆海扶(Hifu)技术有限公司 一种聚焦超声波治疗系统
US7553284B2 (en) * 2005-02-02 2009-06-30 Vaitekunas Jeffrey J Focused ultrasound for pain reduction
US8073197B2 (en) * 2005-03-17 2011-12-06 British Telecommunications Public Limited Company Method of tracking objects in a video sequence
WO2007026298A2 (en) * 2005-08-30 2007-03-08 Koninklijke Philips Electronics, N.V. Combination imaging and therapy transducer
JP4987355B2 (ja) 2005-10-14 2012-07-25 京セラ株式会社 撮像装置および撮像方法
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
JP4921795B2 (ja) * 2006-01-06 2012-04-25 株式会社東芝 超音波薬剤導入装置及び医用画像診断装置
JP2006325274A (ja) * 2006-09-11 2006-11-30 Olympus Corp 撮像装置
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141542A (zh) * 2015-10-23 2018-06-08 Lg 电子株式会社 移动终端及其控制方法
CN108141542B (zh) * 2015-10-23 2020-05-12 Lg 电子株式会社 移动终端及其控制方法

Also Published As

Publication number Publication date
JP4703710B2 (ja) 2011-06-15
KR20090045587A (ko) 2009-05-08
EP2058763A1 (en) 2009-05-13
CN101426091A (zh) 2009-05-06
DE602008006501D1 (de) 2011-06-09
KR101023946B1 (ko) 2011-03-28
US20090115859A1 (en) 2009-05-07
JP2009118484A (ja) 2009-05-28
EP2058763B1 (en) 2011-04-27
US7952615B2 (en) 2011-05-31

Similar Documents

Publication Publication Date Title
CN101426091B (zh) 使用目标跟踪的数字图像稳定的装置及其方法
CN101426092B (zh) 使用对象跟踪的用于数字图像稳定的设备和方法
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
US8526761B2 (en) Image processing apparatus and image sensing apparatus
JP4321287B2 (ja) 撮影装置および撮影方法、並びに、プログラム
JP5113171B2 (ja) イメージ情報にフィルタをかけるための適応空間イメージフィルタ
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US8125528B2 (en) Apparatus for digital image stabilization, method using the same and computer readable medium stored thereon computer executable instructions for performing the method
CN110475067B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR20120008062A (ko) 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법
JP2006229908A (ja) 撮像装置および撮像方法、並びに撮像装置の設計方法
US20190281215A1 (en) Method for High-Quality Panorama Generation with Color, Luminance, and Sharpness Balancing
US20210067689A1 (en) Image processing apparatus, image processing method, and program
CN116324882A (zh) 多相机系统中的图像信号处理
CN100486301C (zh) 用于稳定化视频数据的方法和系统
JP2009118434A (ja) ぶれ補正装置及び撮像装置
JP4333785B2 (ja) 撮像装置
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法
JP2013175803A (ja) 画像処理装置およびカメラ
JP4731529B2 (ja) 撮像装置
JP6708490B2 (ja) 画像処理方法および画像処理装置
JP2010026801A (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP2011160204A (ja) 画像処理装置、画像処理方法およびプログラム
JP2009033304A (ja) 画像フィルタ、画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: PIXELPLUS CO., LTD.

Free format text: FORMER OWNER: CORE LOGIC INC.

Effective date: 20150424

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150424

Address after: Gyeonggi Do, South Korea

Patentee after: Pixelplus Co., Ltd.

Address before: Seoul, South Korea

Patentee before: Core Logic Inc.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110615

Termination date: 20201103

CF01 Termination of patent right due to non-payment of annual fee