New! View global litigation for patent families

CN101494794A - 获得图像的设备和方法以及处理图像的设备和方法 - Google Patents

获得图像的设备和方法以及处理图像的设备和方法 Download PDF

Info

Publication number
CN101494794A
CN101494794A CN 200810186925 CN200810186925A CN101494794A CN 101494794 A CN101494794 A CN 101494794A CN 200810186925 CN200810186925 CN 200810186925 CN 200810186925 A CN200810186925 A CN 200810186925A CN 101494794 A CN101494794 A CN 101494794A
Authority
CN
Grant status
Application
Patent type
Prior art keywords
image
color
exposure
obtaining
reference
Prior art date
Application number
CN 200810186925
Other languages
English (en)
Other versions
CN101494794B (zh )
Inventor
吴炫和
姜东求
李性德
魏浩千
Original Assignee
三星电子株式会社;三星电机株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles
    • H04N5/23248Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles for stable pick-up of the scene in spite of camera body vibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration, e.g. from bit-mapped to bit-mapped creating a similar image
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration, e.g. from bit-mapped to bit-mapped creating a similar image
    • G06T5/001Image restoration
    • G06T5/003Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Abstract

提供了一种获得图像和设备和方法以及处理图像的设备和方法。所述图像获得设备包括:传感器,通过使用彩色滤光片检测像素阵列值,所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素;曝光控制器,控制彩色像素和参考像素的曝光时间;图像产生器,从检测的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。因此,能够进行手抖函数的准确估计,从而实现高质量彩色图像恢复。

Description

获得图像的设备和方法以及处理图像的设备和方法

本申请要求于2008年1月22日在韩国知识产权局提交的10-2008-0006478号韩国专利申请的优先权,该申请全部公开于此以资参考。

技术领域

本发明涉及一种获得和处理图像的设备和方法,更具体地,涉及一种通过有效地处理在低光照等级获得的图像来获得高质量彩色图像的设备和方法。

背景技术

随着数字相机的使用的增多,有更多机会在低光照情况(诸如,弱光的室内或夜晚)下进行拍摄。此外,相机用户对于能够在甚至是低光照条件下获得清晰的图像的功能的需求增加。因此,相机制造商竟相研究和开发在低光照下具有优越性能的数字相机。然而,由于稳定由拍摄者的手抖或由去除拍摄的图像的噪声造成的不稳定图像会限制得到清晰的图像。

发明内容

提出本发明以克服上述问题,其目的在于提供一种获得互相对齐的长曝光彩色图像和短曝光参考图像的设备和方法,以不改变相机的现有结构而在低光照下恢复高质量的更清晰的彩色图像。

本发明还提供一种处理图像的设备和方法,以通过使用互相对齐的长曝光彩色图像和短曝光参考图像获得清晰的彩色图像。

本发明公开了一种图像获得设备,包括:传感器,通过使用彩色滤光片检测像素阵列值,所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素;曝光控制器,控制彩色像素和参考像素的曝光时间;图像产生器,从检测的像素阵列值中产生长曝光彩

色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。本发明还公开了一种获得图像的方法,该方法包括:通过控制用于获得

彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的

曝光时间来获得像素阵列值,所述彩色像素和参考像素包括在彩色滤光片中;以及通过使用获得的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。

本发明还公开了一种图像处理设备,包括:图像获得单元,通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光彩色图像信号和短曝光参考图像信号;函数估计单元,通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数;图像恢复单元,通过使用估计的手抖函数对长曝光彩色图像信号执行去巻积来产生恢复的图像信号。

本发明还公开了一种处理图像的方法,该方法包括:通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光彩色图像信号和短曝光参考图像信号;通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数;以及通过使用估计的手抖函数对长曝光彩色图像信号执行去巻积来产生恢复的图像信号。

附图说明

被包括以提供对本发明进一步理解并合并于此的附图是本说明书的一部分,示出本发明的示例性实施例,并与本发明的描述一起用于解释本发明的各个方面。

图1是示出根据本发明实施例的图像获得设备的框图;图2A和图2B示出根据本发明实施例的用于获得图像的方法的彩色滤光片阵列的配置;

图3A和图3B是根据本发明实施解释例如何控制每个彩色滤光片的曝光时间的示图;

图4示出如何从使用黑和白像素作为参考像素的彩色滤光片的像素阵列值产生具有相同分辨率的长曝光彩色图像和短曝光单色图像;图5是根据本发明实施例的图像处理设备的框图;图6是根据本发明实施例的使用像素阵列值获得恢复的图像的方法的流程图;

图7是根据本发明实施例的获得图像的方法的流程图;图8是根据本发明实施例的处理图像的方法的流程图;图9示出依照本发明的根据获得和处理图像的方法获得的图像。

具体实施方式

以下参照示出本发明的示例性实施例的附图来更全面地描述本发明。在以下对本发明的描述中,当认为描述模糊本发明的观点时,将省略对该领域的技术人员共知的相关功能或结构的详细描述。考虑本发明中的组件的功能来定义在此使用的术语,可根据使用者或操作者的意图或习惯改变所述术语。

图1是示出根据本发明实施例的图像获得设备100的框图。参照图1,图像获得设备100包括传感器110、曝光控制器120和图像产生器130。

可用以下等式1表示将图像输入到图像获得设备(诸如,数字相机)。

等式l

B=I®K

这里,B表示输入图像,I表示高质量图像,K指示模糊内核(blur kernel ),即是,手抖的点扩展函数(PSF), 0表示巻积操作。因此,需要准确估计模糊内核以获得高质量图像。

图像获得设备100期望获得作为完全对齐的图像的长曝光图像和短曝光图像。通过拍摄需要准确估计手抖的PSF的相同场景来获得长曝光图像和短曝光图像。众所周知,如果用于PSF估计的获得的图像信号没有被正确对齐,则PSF估计的准确度会大幅地降低。

传感器110通过获得经由形成彩色滤光片的像素发送的作为彩色信息的像素阵列值来感测图像。传感器110包括感测图像的图像传感器,诸如电荷耦合器(CCD)或互补金属氧化物半导体(CMOS)。彩色滤光片可如典型的数字相机一样被放置在图像传感器的光学元件的前方。

根据本发明的当前实施例,彩色滤光片可以是常规使用的彩色滤光片。例如,包括在彩色滤光片中的彩色像素包括红(R)像素、绿像素(G)和蓝像素(B)。通常,由彩色滤光片获得的像素阵列值仅用于获得彩色图像。

然而,在本发明中,控制用于包括在彩色滤光片中的像素的曝光时间以

7获得互相正确对齐的彩色图像和参考图像。参考图像是被参考用于估计手抖

(以下称为"手抖函数")的PSF的图像。

通过短曝光创建参考图像,从而将被用于获得参考图像的参考像素可以是能够发送具有高感光度的光的像素。例如,参考像素可以是黑和白(W)像素或绿(G)像素。然而,只要手抖函数可被有效地估计,彩色滤光片的类型或系统,或形成彩色滤光片的像素的颜色都可以以不同方式被改变。

因此,通过使用由R、 G、 B和W像素形成的彩色滤光片的阵列,传感器110可获得三通道长曝光彩色像素阵列值和单通道短曝光单色阵列值。

曝光控制器120控制传感器110的彩色像素和参考像素的曝光时间。曝光控制器120同步彩色像素和参考像素的曝光开始时间,并控制彩色像素的曝光时间长于参考像素的曝光时间。在这种情况下,由于在实质上短时间内获得参考图像,故曝光控制器120可控制传感器IIO感测具有高感光度的参考图像。

此外,曝光控制器120可控制传感器110,故在保持曝光彩色像素的同时,可重复发生参考像素的短曝光。可通过研究通过重复参考像素的短曝光获得的参考图像的改变的信息来估计手抖的轨迹,关于估计的手抖的轨迹的信息可被用作手抖函数的初始信息。

图像产生器130从感测的像素阵列值产生互相正确对齐的长曝光彩色图像和短曝光参考图像。才艮据本发明的当前实施例,图像产生器130对通过彩色像素和参考像素检测的像素阵列值执行插值,并产生彩色像素的各个颜色

的长曝光参考图像信号和短曝光图像信号。

如上所述,根据本发明的当前实施例,由于可获得互相完全对齐且具有相同开始时间的长曝光彩色图像和短曝光参考图像,故从开始就避免了对齐错误,从而以后不需执行对齐图像的附加过程。

图2A和图2B示出根据本发明实施例的用于获得图像的方法的彩色滤光片阵列的配置。

图2A示出包括R、 G、 B和W像素的彩色滤光片阵列。在图2A中,R、G和B像素被用作彩色像素,W像素被用作参考像素。

图2B示出包括R、 G和B像素的彩色滤光片阵列。在图2B中,R、 Gl和B像素被用作彩色像素,G2像素被用作参考像素。此外,在图2B中,由于Gl像素被用作彩色像素且G2像素被用作参考像素,故分别示出都是G像素的Gl和G2像素。

图3A和图3B是根据本发明实施例解释如何控制每个彩色滤光片的曝光时间的示图。

在图3A和图3B中,水平轴表示时间。如图3A所示,曝光控制器120将彩色像素(R、 G和B像素)和参考像素(W或G2像素)的曝光开始时间彼此同步,并控制彩色像素(R、 G和B像素)的曝光时间长于参考像素(W或G2像素)的曝光时间。

此外,为了获得如图3B中所示的手抖函数的初始信息,曝光控制器120可控制传感器110使得在曝光彩色像素的同时重复发生参考像素的短曝光。

图4示出如何从使用黑和白像素作为参考像素的彩色滤光片的像素阵列值产生具有相同清晰度的长曝光彩色图像和短曝光单色图像。

如图4所示,拜尔型(Bayer-type)彩色滤光片可通过将从彩色像素阵列410获得的像素阵列值插值来产生三通道长曝光RGB彩色图像420和单通道黑白图像430。

图5是^f艮据本发明实施例的图像处理设备500的框图。

图像处理设备500包括图像获得单元510、函数估计单元520和图像恢复单元530。

图像获得单元510具有与图1中的图像获得设备100的结构相应的结构。图像获得单元510具有包括用于获得彩色图像的彩色像素和用于获得用于估计手抖函数的参考图像的参考像素的彩色滤光片,控制彩色像素的曝光时间和参考像素的曝光时间以获得互相正确对齐的长曝光彩色图像信号和短曝光参考图像信号。

图像获得单元510同步彩色像素和参考像素的曝光开始时间,并控制彩色像素的曝光时间长于参考像素的曝光时间,以获得长曝光彩色图像信号和短曝光参考图像信号。

函数估计单元520使用长曝光彩色图像信号和短曝光参考图像信号估计手抖函数。 ,

根据本发明的当前实施例,可通过最小化对象函数的等式(诸如,以下满足1^>0且5>,=1的等式2)计算手抖函数。

等式2 ''

A:* = argmin|5 _ / ®《||2 +剩|2这里,2J&f是用于稳定解的Tikhonov正则化项,且参数入可被固定为 3。然而,Tikhonov正则化项仅是示例,能够表示手抖函数的特点的任何其它 项也能够被用作为正则化项。此外,参数可以是固定值,但是也可以是在优 化期间在每次重复时改变的值。

根据本发明的当前实施例,表示长曝光彩色图像信号的值取代B,表示 短曝光参考图像信号的值取代I,从而可估计手抖函数。

同时,根据本发明的当前实施例,在曝光彩色像素的同时,通过重复发 生参考像素的短曝光来获得参考图像,关于参考图像的信息被用作手抖函数 的初始信息,从而可更准确和快速地估计手抖函数。

为此,图像获得单元510通过在曝光彩色像素的同时重复参考像素的短 曝光来收集多个短曝光参考图像信号。随后,由于获得已经以预定时间间隔 拍摄的参考图像的信号,故函数估计单元520通过使用收集的参考图像信号 根据运动估计方法来追踪手抖的轨迹。追踪的手抖的轨迹被用作手抖函数的 初始信息,从而可更准确和快速地估计手抖函凄t。

图像恢复单元530使用估计的手抖函数对通过图像获得单元510获得的 长曝光彩色图像信号执行去巻积,并产生恢复图像信号。

此外,根据本发明的当前实施例,可对用于估计手抖函数的长曝光彩色 图像信号和短曝光参考图像信号执行以下处理。

首先,函数估计单元520减小长曝光彩色图傳_信号和短曝光参考图像信 号的噪声。随后,函数估计单元520将减噪的长曝光彩色图像信号转换为长 曝光单通道图像信号,以统一用于估计手抖函数的图像信号的通道数。

可使用各种方法统一图像信号的通道数。例如,在长曝光彩色图像中, 可使用三个通道中的一个(例如,红、绿和蓝)的图像,或RGB图像的平均 图像可被产生为单通道图像。或者,RGB图像可被转换为灰度图以产生单通 道图像。

接下来,函凄t估计单元520通过使用转换的长曝光单通道图像信号和减 噪的短曝光参考图像信号估计手抖函数。

图6是根据本发明实施例的使用像素阵列值获得恢复的图像的方法的流 程图。在图6中,对通过使用如图4所示的RGBW像素阵列产生的图像执行 处理。根据本发明的当前实施例,通过使用RGBW像素阵列获得的单色(W) 像素阵列和RGB像素阵列互相完全对齐。将从单色像素阵列获得的像素阵列值插值以产生短曝光黑白图像

img—white—SET,即是,参考图像(操作S610 )。随后,将从RGB像素阵列 获得的像素阵列值插值以产生长曝光彩色图像imgjgb—LET (操作S620)。

减小单通道黑白图像的噪声以获得减噪的短曝光黑白图像 img—white_SET_NR (操作S630 )。此外,同样通过减小长曝光彩色图像 img—rgb—LET的噪声获得减噪的长曝光彩色图像img—rgb—LET—NR (操作 S640)。在这种情况中,考虑到短曝光黑白图像具有短曝光时间,从而具有比 长曝光彩色图像更多的噪声的事实,对短曝光黑白图像使用噪声减小滤波器。

由于长曝光彩色图像img—rgb—LET—NR具有三通道且短曝光黑白图像 img—white—SET—NR具有单通道,故长曝光彩色图像img_rgb—LET一NR和短 曝光黑白图像img—white一SET一NR需要具有相同的通道数以估计手抖的PSF, 即,手抖函数。为此,在长曝光彩色图像img—rgb一LET—NR上执行灰度转换 以产生灰度图象img—gray—LET (操作S650 )。

随后,使用减噪的短曝光黑白图像img—white—SET—NR和灰度图象 img—gray—LET估计手抖的PSF (操作S660 )。使用估计的PSF和已经获得的 长曝光彩色图像img—rgb—LET—NR产生恢复的彩色图像(或恢复的RGB图像) (操作S670 )。

图7是根据本发明实施例的获得图像的方法的流程图。 通过控制包括在彩色滤光片中的彩色像素和参考像素的曝光时间获得像 素阵列值(操作S710)。在这种情况下,彩色像素用于获得彩色图像且参考 像素用于获得参考图像以进行手抖函数估计。为了在操作S710中控制曝光时 间,使彩色像素和参考像素的曝光开始时间彼此同步,且彩色像素的曝光时 间被设置为长于参考像素的曝光时间。

通过使用获得的像素阵列值获得互相正确对齐的长曝光彩色图像信号和 短曝光参考图像信号(操作S720)。根据本发明的当前实施例,在操作S720, 可对从彩色像素和参考像素获得的像素阵列值执行插值,以产生彩色像素的 各个彩色的长曝光图像信号和短曝光图像信号。

图8是根据本发明实施例的处理图像的方法的流程图。 控制包括在彩色滤光片中的彩色像素和参考像素的曝光时间以获得互相 正确对齐的长曝光彩色图像信号和短曝光参考图像信号(操作S810)。在这 种情况中,彩色像素用于获得彩色图像且参考像素用于获得参考图像以进行

ii手抖函数估计。此外,使彩色像素和参考像素的曝光开始时间彼此同步,且 彩色像素的曝光时间被设置为长于参考像素的曝光时间。

通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数

(操作S820 )。

通过使用估计的手抖函数对长曝光彩色图像信号执行去巻积以产生恢复 的图像信号(操作S830)。

在操作S810,在曝光彩色像素的同时,通过重复参考像素的短曝光来收 集多个短曝光参考图像信号。随后,在操作S820,使用获得的参考图像信号 来追踪手抖的轨迹,所述轨迹信息可被用作手抖函数的初始信息。因此,可 更准确和快速地估计手抖函数。

在操作S820,长曝光彩色图像信号和短曝光参考图像信号的噪声被减小。 为了统一长曝光彩色图像信号和短曝光参考图像信号的通道数,将减噪的长 曝光彩色图像信号转换为长曝光单通道图像信号。随后,转换的长曝光单通 道图像信号和减噪的短曝光参考图像信号用于估计手抖函数。

图9示出依照本发明的根据获得和处理图像的方法获得的图像。

图像910是高感光度短曝光黑白图像,图像920是低感光度长曝光彩色 图像(图9中用黑白示出)。如果具有对齐错误,则不能够进行准确的PSF 估计,这会引起严重的伪影(artifact),致使如图像940的低质量图像恢复。

然而,根据本发明的当前实施例,当使用高感光度短曝光黑白图像和低 感光度彩色图像时,可解决由于对齐错误引起的手抖函数的不准确估计的问 题。

当比较通过根据本发明的图像处理方法的恢复的彩色图像930与通过使 用不准确的手抖函数恢复的彩色图像940时,显而易见地,根据本发明恢复 的图像930比图像940具有更高的质量。

根据本发明,控制包括在彩色滤光片中的彩色像素和参考像素的曝光时 间,从而具有相同图像获得开始时间的长曝光彩色图像信号和短曝光参考图 像信号互相完全对齐。使用所述长曝光彩色图像信号和短曝光参考图像信号, 从根本上避免了对齐错误,从而能够进行手抖函数的准确估计。

此外,通过使用根据本发明估计的手抖函数,可恢复清晰的彩色图像。 根据本发明,处理图像的设备和方法可用于在夜晚拍摄景色、实施夜晚监控、 拍摄室内场景等。本领域的技术人员应该理解:在不脱离本发明的精神和范围的情况下, 可以对本发明进行各种修改和改变。因此,本发明覆盖提供的这些本发明的 修改和改变,该修改和改变落入附加权利要求和其同等物的范围内。

Claims (16)

1、一种图像获得设备,包括: 传感器,通过使用彩色滤光片检测像素阵列值,所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素; 曝光控制器,控制彩色像素和参考像素的曝光时间;和 图像产生器,从检测的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
2、 如权利要求1所述的图像获得设备,其中,曝光控制器同步彩色像素和参考像素的曝光开始时间,并控制彩色像素的曝光时间长于参考像素的曝光时间。
3、 如权利要求2所述的图像获得设备,其中,为了获得手抖函数的初始信息,曝光控制器控制传感器在曝光彩色像素的同时,重复发生参考像素的短曝光。
4、 如权利要求1所述的图像获得设备,其中,图像产生器对通过彩色像素和参考像素检测的像素阵列值执行插值,从而产生彩色像素的各个颜色的长曝光图像信号和短曝光图像信号。
5、 一种获得图像的方法,该方法包括:通过控制用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的曝光时间来获得像素阵列值,所述彩色像素和参考像素包括在彩色滤光片中;以及通过使用获得的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
6、 如权利要求5所述的方法,其中,在曝光时间的控制步骤中,彩色像素和参考像素的曝光开始时间彼此同步,且彩色像素的曝光时间被设置为长于参考像素的曝光时间。
7、 如权利要求6所述的方法,其中,为了获得手抖函数的初始信息,在曝光时间的控制步骤中,在曝光彩色像素的同时,控制参考像素的曝光时间,从而重复发生参考像素的短曝光。
8、 如权利要求5所述的方法,其中,在图像信号的产生步骤中,对通过彩色像素和参考像素检测的像素阵列值执行插值,从而产生彩色像素的各个 颜色的长曝光图像信号和短曝光图像信号。
9、 一种图像处理设备,包括:图像获得单元,通过控制包括用于获得彩色图像的彩色像素和用于获得 用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互 相对齐的长曝光彩色图像信号和短曝光参考图像信号;函数估计单元,通过使用长曝光彩色图像信号和短曝光参考图像信号来 估计手抖函数;和图像恢复单元,通过使用估计的手抖函数对长曝光彩色图像信号执行去 巻积来产生恢复的图像信号。
10、 如权利要求9所述的图像处理设备,其中,图像获得单元通过同步 彩色像素和参考像素的曝光开始时间并控制彩色像素的曝光时间长于参考像 素的曝光时间来获得长曝光彩色图像信号和短曝光参考图像信号。
11、 如权利要求IO所述的图像处理设备,其中,图像获得单元通过在曝 光彩色像素的同时控制重复发生参考像素的短曝光来收集多个短曝光参考图 像信号,函数估计单元通过^f吏用收集的参考图像信号来追踪手抖的轨迹来获 得信息,并使用获得的信息作为手抖函数的初始信息。
12、 如权利要求9所述的图像处理设备,其中,函数估计单元减小长曝 光彩色图像信号和短曝光参考图像信号的噪声,将减噪的长曝光彩色图像信 号转换为长曝光单通道图像信号,并通过使用转换的长曝光单通道图像信号 和减噪的短曝光参考图像信号来估计手抖函数。
13、 一种处理图^f象的方法,该方法包括:通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估 计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光 彩色图像信号和短曝光参考图像信号;通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数;以及通过使用估计的手抖函数对长曝光彩色图像信号执行去巻积来产生恢复 的图像信号。
14、 如权利要求13所述的方法,其中,在获得图像信号的步骤中,彩色 像素和参考像素的曝光开始时间彼此同步,且彩色像素的曝光时间被设置为长于参考像素的曝光时间。
15、 如权利要求14所述的方法,其中,在获得图像信号的步骤中,通过 在曝光彩色像素的同时控制重复发生参考像素的短曝光来收集多个短曝光参 考图像信号,通过使用收集的参考图像信号来追踪手抖的轨迹来获得信息, 并使用获得的信息作为手抖函数的初始信息。
16、 如权利要求13所述的方法,其中,手抖函数的估计的步骤包括: 减小长曝光彩色图l象信号和短曝光参考图傳_信号的噪声; 将减噪的长曝光彩色图像信号转换为长曝光单通道图像信号;以及 通过使用转换的长曝光单通道图像信号和减噪的短曝光参考图像信号估计手抖函数。
CN 200810186925 2008-01-22 2008-12-10 获得图像的设备和方法以及处理图像的设备和方法 CN101494794B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2008-0006478 2008-01-22
KR20080006478A KR101391432B1 (ko) 2008-01-22 2008-01-22 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN101494794A true true CN101494794A (zh) 2009-07-29
CN101494794B CN101494794B (zh) 2013-04-24

Family

ID=40622130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810186925 CN101494794B (zh) 2008-01-22 2008-12-10 获得图像的设备和方法以及处理图像的设备和方法

Country Status (4)

Country Link
US (1) US8169491B2 (zh)
EP (1) EP2083563B1 (zh)
KR (1) KR101391432B1 (zh)
CN (1) CN101494794B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
JP4855704B2 (ja) * 2005-03-31 2012-01-18 株式会社東芝 固体撮像装置
US8169486B2 (en) 2006-06-05 2012-05-01 DigitalOptics Corporation Europe Limited Image acquisition method and apparatus
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US9307212B2 (en) 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
GB201103755D0 (en) * 2011-03-07 2011-04-20 Sony Corp Image processing
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
KR20140008623A (ko) * 2012-07-10 2014-01-22 삼성전자주식회사 영상 처리 방법 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6825884B1 (en) 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
US6876384B1 (en) 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US7409104B2 (en) * 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP4522207B2 (ja) * 2004-09-17 2010-08-11 キヤノン株式会社 カメラシステム、カメラ本体及び交換レンズ
JP2006157568A (ja) * 2004-11-30 2006-06-15 Konica Minolta Holdings Inc 撮像装置およびプログラム
JP4487191B2 (ja) 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
JP4193812B2 (ja) * 2005-05-13 2008-12-10 カシオ計算機株式会社 撮像装置、撮像方法及びそのプログラム
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5079271B2 (ja) 2006-06-28 2012-11-21 京セラ株式会社 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法

Also Published As

Publication number Publication date Type
CN101494794B (zh) 2013-04-24 grant
US8169491B2 (en) 2012-05-01 grant
KR20090080616A (ko) 2009-07-27 application
US20090185041A1 (en) 2009-07-23 application
KR101391432B1 (ko) 2014-05-07 grant
EP2083563B1 (en) 2012-01-11 grant
EP2083563A1 (en) 2009-07-29 application

Similar Documents

Publication Publication Date Title
US20070183765A1 (en) Imaging device with image blurring reduction function
US8199222B2 (en) Low-light video frame enhancement
US20110069205A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and program
US20060115297A1 (en) Imaging device and imaging method
US20080112644A1 (en) Imaging device
US20090167911A1 (en) Imaging device and its shutter drive mode selection method
US20140232929A1 (en) Image capturing apparatus and method for controlling the same
JP2004343483A (ja) 手振れ補正装置および方法、手振れ検出装置
US20110169980A1 (en) Apparatus and method for obtaining high dynamic range image
US20110050946A1 (en) Method and apparatus for increasing dynamic range of image by using electronic shutter
US20130051700A1 (en) Image processing apparatus, image processing method, and program
US20100321510A1 (en) Image processing apparatus and method thereof
US20110205381A1 (en) Tone mapping for low-light video frame enhancement
US20030090577A1 (en) Imaging apparatus that corrects an imbalance in output levels of image data
US20110080494A1 (en) Imaging apparatus detecting foreign object adhering to lens
US20100295954A1 (en) Image processing apparatus and image processing method
US20120086829A1 (en) Image processing unit, image processing method, and image processing program
US20060140604A1 (en) Image sensing apparatus with camera shake correction function
US20090185041A1 (en) Apparatus and method of obtaining image and apparatus and method of processing image
US20080273793A1 (en) Signal processing apparatus and method, noise reduction apparatus and method, and program therefor
JP2007060449A (ja) 撮像装置
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
JP2010074535A (ja) 撮影装置及び撮影方法
US20060140600A1 (en) Image sensing apparatus with camera shake correction function
JP2005236662A (ja) 撮像方法、撮像装置及び撮像システム

Legal Events

Date Code Title Description
C06 Publication
C10 Request of examination as to substance
C14 Granted