CN101764959A - 图像拾取系统及图像处理方法 - Google Patents
图像拾取系统及图像处理方法 Download PDFInfo
- Publication number
- CN101764959A CN101764959A CN200810186544A CN200810186544A CN101764959A CN 101764959 A CN101764959 A CN 101764959A CN 200810186544 A CN200810186544 A CN 200810186544A CN 200810186544 A CN200810186544 A CN 200810186544A CN 101764959 A CN101764959 A CN 101764959A
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- data
- exposure frames
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种图像拾取系统，包括图像传感器，按不同曝光时间进行交替曝光，将图像转换为图像原始数据；预处理器，将所述图像原始数据按所述曝光时间的长短进行合成处理，输出合成图像数据；图像信号处理器，对所述合成图像数据进行图像恢复处理，输出图像信号。本发明还公开了一种相应的图像处理方法。本发明的图像拾取系统及图像处理方法在成本较低的情况下实现了动态范围的扩展。
Description
技术领域
本发明涉及数字图像处理领域，特别涉及一种具有较宽动态范围的图像拾取系统及图像处理方法。
背景技术
图像拾取系统主要包括图像传感器及图像处理单元。其中，图像传感器是指将光学图像转换成电信号的半导体器件。现有的图像传感器主要分为两类，一为电荷耦合器件(CCD，Charge Couple Device)图像传感器，二为互补金属氧化物半导体(CMOS，Complementary Metal-OxideSemiconductor)图像传感器。其中，因具有价格低、制造工艺简单、耗电量低的优点，CMOS图像传感器已受到越来越多的关注，尤其在便携式设备中更得到了广泛的应用。
评价图像传感器(或说图像拾取系统)质量的一个重要指标是动态范围。动态范围为不失真情况下可以处理的输入信号的最大范围，其代表了图像传感器分辨同一幅图像中亮处与暗处细节的能力。通常可以将动态范围理解为在图像传感器所拍摄的一幅画面中，所能分辨细节的最亮处与最暗处的亮度之比。
现有技术中，常用的扩展图像传感器的动态范围的方法有两种：
A、提高像素光电子容量的方法。光电子容量越大，图像整体可分辨的层次越多，动态范围越宽。
然而，提高像素的光电子容量需要增大面积，或增加技术上的复杂性，导致图像传感器芯片的制造成本增加。
B、多次曝光的方法。分别采用较短的曝光时间，分辨图像中较亮的区域；采用较长的曝光时间，分辨图像中较暗的区域；再将多次曝光的图像原始数据综合到一起，就可以同时分辨图像中亮和暗的部分，实现了动态范围的扩展。
对于多次曝光方法现有技术中主要有两种实现手段：
B1：利用双图像信号处理单元(ISP)结构进行处理。图1为现有的具有双图像信号处理单元结构的图像拾取系统示意图，如图1所示，分别设置长时间曝光条件与短时间曝光条件，利用图像传感器101在不同曝光条件下对图像进行感应，生成相应的图像原始数据，再将感应得到的长时间曝光的图像原始数据和短时间曝光的图像原始数据分别传送至两个图像信号处理单元102a和102b进行合成处理，形成图像数字信号。由于该方法采用了两个ISP结构，其所需的硬件成本和系统复杂度将大大增加。
B2：利用带自动增益控制器(AGC)的像素结构进行处理。该方法中可以在曝光时对每一个像素均进行量度检测，从而通过AGC实现放大倍数调节。但该方法极大的增加了图像传感器(像素)设计的复杂性和系统成本。
上述现有的扩展图像传感器动态范围的各种方法，均需增加系统的硬件成本及复杂性，对于价格低廉的CMOS图像传感器而言并不适用。而实际上，CMOS图像传感器因普遍采用光电二极管线性有源像素，感光能力有限，动态范围较小，其对于扩展动态范围的需求更为迫切。
发明内容
本发明提供一种图像拾取系统及图像处理方法，以改善现有的具有较宽动态范围的图像拾取系统较为复杂、成本较高的现象。
为达到上述目的，本发明提供的一种图像拾取系统，包括图像传感器，按不同曝光时间进行交替曝光，将图像转换为图像原始数据；
预处理器，将所述图像原始数据按所述曝光时间的长短进行合成处理，输出合成图像数据；
图像信号处理器，对所述合成图像数据进行图像恢复处理，输出图像信号。
优选地，所述预处理器包括算术平均运算单元，所述算术平均运算单元依次对所述图像原始数据中相邻的两个曝光时间长短不同的帧图像原始数据进行算术平均计算，输出由长曝光帧与短曝光帧合成的长短曝光帧图像数据，以及由短曝光帧与长曝光帧合成的短长曝光帧图像数据。
优选地，所述预处理器还包括帧存储单元，所述帧存储单元缓存所述图像原始数据中的至少一帧，并提供至所述算术平均运算单元。
可选地，所述预处理器还包括存储固形噪声数据的固形噪声存储单元，所述图像原始数据先与所述固形噪声存储单元内存储的所述固形噪声数据相减，再缓存至所述帧存储单元内。
可选地，所述图像拾取系统还包括曝光控制单元，所述曝光控制单元根据对曝光条件的预先设定，控制所述图像传感器按不同曝光时间进行交替曝光。
可选地，所述图像信号处理器包括自动曝光控制单元，所述自动曝光控制单元根据预先设定向所述曝光控制单元发出包含所述交替曝光的时间设定的曝光控制信息。
可选地，所述图像信号处理器还包括用于对所述合成图像数据进行图像恢复处理的自动白平衡控制单元和自动增益控制单元。
本发明提供的一种用于上述的图像拾取系统的图像处理方法，包括步骤：
利用图像传感器按不同曝光时间对图像进行交替曝光，并将图像转换为图像原始数据；
利用预处理器对所述图像原始数据按所述曝光时间的长短进行合成处理，输出合成图像数据；
利用图像处理器对所述合成图像数据进行图像恢复处理，输出图像信号。
可选地，当所述图像传感器的按不同曝光时间对图像进行交替曝光设置为按一帧长时间、一帧短时间交替曝光时，所述合成处理包括步骤：
依次对所述图像传感器输出的相邻的两个曝光时间长短不同的帧图像原始数据进行算术平均计算，得到由长曝光帧与短曝光帧合成的长短曝光帧图像数据，以及由短曝光帧与长曝光帧合成的短长曝光帧图像数据；
由所述长短曝光帧图像数据和/或所述短长曝光帧图像数据构成所述合成图像数据。
可选地，在所述将图像转换为图像原始数据之后，按所述曝光时间的长短进行合成处理之前，还包括步骤：
利用预处理器将所述图像原始数据与在所述预处理器内存储的固形噪声数据相减。
与现有技术相比，本发明具有以下优点：
本发明的图像拾取系统，在现有的图像拾取系统中的图像传感器与图像处理器之间加入了结构简单、成本较低的预处理器，专门对不同曝光时间条件下得到的图像原始数据进行合成处理，不再需要设置双图像处理单元来进行合成处理，在成本较低、结构改动较少的情况下实现了图像拾取系统动态范围的扩展。
本发明利用上述图像拾取系统实现的图像处理方法，利用专门设置的预处理器接收图像传感器在不同曝光条件下得到的图像原始数据，并进行合成处理，改善了现有的具有较宽动态范围的图像拾取系统较为复杂、成本较高的现象。
附图说明
图1为现有的具有双图像信号处理单元结构的图像拾取系统示意图；
图2为本发明第一实施例中的图像拾取系统结构示意图；
图3为本发明第一实施例中交替长短曝光的示意图；
图4为本发明第二实施例的图像处理方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
本发明的装置及处理方法可以被广泛地应用于各个领域中，下面是通过具体的实施例来加以说明，当然本发明并不局限于该具体实施例，本领域内的普通技术人员所熟知的一般的替换无疑地涵盖在本发明的保护范围内。
利用图像拾取系统将图像转换为电信号时，场景明暗程度的不同将可能造成图像中某些区域细节的损失。尤其是动态范围较小的图像拾取系统，这一损失会更为严重。因此，动态范围已成为衡量图像拾取系统质量的一个重要指标。为实现动态范围的扩展，现有技术中采用了多种方法，如提高像素光电子容量的方法或利用双ISP处理的多次曝光方法等，但这些方法均需明显增加硬件成本，对于以价格低廉为优势的基于CMOS图像传感器的图像拾取系统并不适用。
为此，本发明提供了一种新的图像拾取系统，增设了结构简单、成本较低的预处理器专门对不同曝光条件下的图像原始数据进行合成处理，在低成本条件下实现了动态范围的扩展。
注意到，本申请中以“图像原始数据”表示将图像感应器输出的原始图像信息，以“图像数据”表示预处理器合成处理过程中及完成后的图像信息，以“图像信号”表示经过图像信号处理器进行图像恢复处理后的图像信息。
第一实施例：
本发明的第一实施例介绍了一种图像拾取系统，图2为本发明第一实施例中的图像拾取系统结构示意图，下面结合图2对本发明的第一实施例进行详细介绍。
如图2所示，该图像拾取系统包括可按不同曝光时间进行交替曝光，并在该交替曝光条件下将图像转换为图像原始数据的图像传感器201和对图像数据进行图像恢复处理，输出图像信号的图像信号处理器203。
本实施例中的所述图像传感器201采用了CMOS图像传感器，具体地，该CMOS图像传感器可以采用常用的四晶体管(4T)结构，也可以采用三晶体管(3T)结构或五晶体管(5T)结构。受CMOS图像传感器感光元件能力所限，其动态范围较小，若采用相同的曝光条件进行图像感应，则当场景明暗不同时，易出现细节显示不足的问题，极大地影响了图像质量。
为扩展该图像拾取系统的动态范围，本实施例中还可以专门设置与所述图像传感器201相连的曝光控制单元204，该曝光控制单元204可根据对曝光条件的预先设定，控制所述图像传感器按不同曝光时间进行交替曝光。
本实施例中，设置的交替变化的曝光条件为按一帧长时间曝光、一帧短时间曝光交替变化的曝光条件。图3为本发明第一实施例中交替长短曝光的示意图，如图3所示，图中横坐标为时间，纵坐标为曝光强度，图中将长曝光帧以L1、L2......等表示，短曝光帧以S1、S2......等表示。其中，长、短曝光帧的曝光时间长度由图像信号处理器203内集成的自动曝光控制模块(AEC)设置(图中未示出)，二者可以分别地进行独立设置，也可以按一定的比例关系进行关联设置(如1∶8、1∶16等)。
注意到虽然曝光时间长短不同，但每一帧的时间长度是一样的，均为T。对于PAL制式，其帧频率为50帧/秒，帧周期(T)为20毫秒；对于NTSC制式，其帧频率为60帧/秒，帧周期(T)为16.67毫秒。
由于本实施例中采用了交替长短曝光的方式，需要对相应得到的长曝光帧及短曝光帧进行合成处理。传统方法中一种常用的方式是采用双图像信号处理器进行合成处理，但图像信号处理器较为复杂，成本较高，尤其对于以低成本为优势的基于CMOS图像传感器的图像拾取系统并不适用。
本实施例中，专门设置了与所述图像传感器201直接相连的结构简单、成本较低的预处理器202，该预处理器202可以将所述图像原始数据按所述曝光时间的长短进行合成处理，并输出合成图像数据。如，利用该预处理器202接收所述图像传感器201发出的包含长曝光帧与短曝光帧的图像原始数据，合成为具有宽动态范围的图像数据。
本实施例中，该预处理器202可以包括算术平均运算单元(图中未示出)，所述算术平均运算单元依次对所述图像原始数据中相邻的两个曝光时间长短不同的帧图像原始数据进行算术平均计算，输出由长曝光帧与短曝光帧合成的长短曝光帧图像数据，以及由短曝光帧与长曝光帧合成的短长曝光帧图像数据。
另外，该预处理器202还可以包括可存储至少一帧所述图像传感器201输出的图像原始数据的帧存储单元2021，其通常可以利用静态存储器(SRAM)形成。此时，将所述图像原始数据按曝光时间长短进行合成处理的步骤包括：
A、将帧存储单元2021作为缓冲器，依次将各帧图像原始数据存储于其内。
B、利用算术平均运算单元依次对相邻的两个曝光时间长短不同的帧图像原始数据进行算术平均计算，分别得到由长曝光帧与短曝光帧合成的长短曝光帧An与由短曝光帧与长曝光帧合成的短长曝光帧Bn的图像数据，其中An＝(Ln+Sn)/2，Bn＝(Sn+L(n+1))/2，且n为自然数。
C、由所述长短曝光帧和/或所述短长曝光帧的图像数据组合形成所述合成图像数据。
预处理器202的具体工作步骤可以为：
a：接收图像传感器201输出的图像原始数据中以长时间曝光形成的第一长曝光帧L1的图像原始数据；
b：将该第一长曝光帧L1的图像原始数据存储于所述帧存储单元2021中；
c：接收图像传感器201输出的图像原始数据中以短时间曝光形成的第一短曝光帧S1的图像原始数据；
d：利用预处理器的算术平均运算单元将所述第一短曝光帧S1的图像原始数据与所述帧存储单元2021中存储的所述第一长曝光帧L1图像原始数据进行算术平均计算，得到第一长短曝光帧A1的图像数据，即A1＝(L1+S1)/2；
e：接收图像传感器201输出的图像原始数据中以长时间曝光形成的第二长曝光帧L2的图像原始数据；
f：将该第一短曝光帧S1的图像原始数据存储于所述帧存储单元2021中，如果该帧存储单元2021仅能存储一帧图像原始数据，则本步将覆盖前面所存储的第一长曝光帧L1的图像原始数据；
g：利用预处理器的算术平均运算单元将所述第二长曝光帧L2的图像原始数据与所述帧存储单元2021中存储的所述第一短曝光帧S1图像原始数据进行算术平均计算，得到第一短长曝光帧B1的图像数据，即B1＝(S1+L2)/2；
h：接收图像传感器201输出的图像原始数据中以短时间曝光形成的第二短曝光帧S2的图像原始数据；
i：将该第二长曝光帧L2的图像原始数据存储于所述帧存储单元2021中，同样地，如果该帧存储单元2021仅能存储一帧图像原始数据，则本步将覆盖前面所存储的第一短曝光帧S1的图像原始数据；
j：利用预处理器的算术平均运算单元将所述第二短曝光帧S2的图像原始数据与所述帧存储单元2021中存储的所述第二长曝光帧L2图像原始数据进行算术平均计算，得到第二长短曝光帧A2的图像数据，即A2＝(L2+S2)/2；
依此类推，可得到全部的各长短曝光帧An和短长曝光帧Bn的图像数据。
当图像信号处理器203的处理能力较强，可以对全部的长短曝光帧An和短长曝光帧Bn的图像数据进行处理并得到较快的输出帧速时，可以将全部的长短曝光帧An和短长曝光帧Bn的图像数据共同作为合成图像数据输入图像信号处理单元203内进行后续处理。当图像信号处理器203的处理能力较弱时，可以仅将长短曝光帧An或短长曝光帧Bn中的一种图像数据作为合成图像数据输入图像信号处理单元203内进行后续处理。
上述的各种合成图像数据(可能包含An+Bn、An或Bn)均已全部包含了长曝光条件及短曝光条件下的图像原始数据，其已实现了动态范围的扩展。
由于已利用预处理器202实现了对交替长短曝光的图像原始数据的合成处理，本实施例中的图像信号处理器203可以仅用一个，且可仅用一个具有普通功能的图像信号处理器，即可实现低成本下动态范围的扩展。
为提高图像的信噪比，本实施例中还在预处理器202内设置了用于存储固形噪声(FPN)数据的固形噪声存储单元2022，其可以由闪速存储器(flash memory)形成。此时，预处理器202在接收到图像原始数据(包括长曝光帧图像原始数据和短曝光帧图像原始数据)后，先将其与固形噪声存储单元2022内存储的固形噪声数据相减，以消除图像原始数据中的固形噪声的成份，提高图像的信噪比，之后再按前面所述的步骤进行长、短曝光帧的合成处理。
在本发明的其它实施例中，为凸显图像的宽动态范围，进一步提高图像的质量或观感，还可以在用于进行图像恢复处理的图像信号处理器203内加入自动白平衡控制模块(AWB)、自动增益控制模块(AGC)等(图中未示出)，以进一步对合成图像数据进行优化处理，在本发明上述实施例的启示下，这一应用的延伸对于本领域普通技术人员而言是易于理解和实现的，在此不再赘述。
本实施例中对长短曝光帧的合成是采用了算术平均的算法，其是通过在预处理器中设置一个用于算术平均计算的运算单元(图中未示出)实现的，在本发明的其它实施例中，还可以利用不同的算法对长短曝光帧进行合成，此时，其所采用的运算单元可以根据所选用算法的改变而变动，在本发明上述实施例的启示下，这一应用的延伸对本领域普通技术人员而言是易于理解及实现的，在此不再赘述。
本实施例中，采用了在图像信号处理器203内集成用于设置曝光条件的自动曝光控制模块(AEC)的方式，该AEC模块可以根据预先设定向所述曝光控制单元204发出包含所述交替曝光的时间设定的曝光控制信息。在本发明的其它实施例中，也可以不将该AEC模块集成于图像信号处理器203内，而将其独立设置于曝光控制单元204及图像信号处理器203之间。
本实施例中的图像拾取系统所用的图像传感器201为CMOS图像传感器，在进行上述改进后，其的动态范围可以由一般的50-60dB扩展至60-70dB(此为普通CCD图像传感器所能达到的动态范围)，可在维持较低成本的基础上实现动态范围的扩展。
本发明的其它实施例中，该图像拾取系统中也可以采用CCD图像传感器，其效果虽不如CMOS图像传感器的明显，但也能在一定程度上实现动态范围的扩展。在本发明上述实施例的启示下，这一应用的延伸对于本领域普通技术人员而言是易于理解和实现的，在此不再赘述。
第二实施例：
本发明的第二实施例介绍了利用本发明的上述图像拾取系统实现的图像处理方法，图4为本发明第二实施例的图像处理方法流程图，下面结合图2-图4对本发明的第二实施例进行详细介绍。
步骤401：利用图像传感器按不同曝光时间对图像进行交替曝光，并将图像转换为图像原始数据。
为扩展该图像拾取系统的动态范围，本实施例中利用曝光控制单元204控制图像传感器201按不同的曝光时间进行交替曝光。其中，较短时间的曝光可以分辨图像中较亮区域的细节，较长时间的曝光可以分辨图像中较暗区域的细节，将不同曝光时间下的图像原始数据综合到一起，就可以同时分辨图像亮和暗区域的细节，实现动态范围的扩展。
具体地，可以按一帧长时间曝光、一帧短时间曝光交替变化设置曝光时间。如图3所示，可以将长曝光帧以L1、L2......等表示，将短曝光帧以S1、S2......等表示。其中，长、短曝光帧的曝光时间长度可以分别地进行独立设置，也可以按一定的比例关系进行关联设置(如1∶8、1∶16等)。
注意到虽然曝光时间长度不一致，但每一帧的时间长度是一样的，均为T。对于PAL制式，其帧频率为50帧/秒，帧周期(T)为20毫秒；对于NTSC制式，其帧频率为60帧/秒，帧周期(T)为16.67毫秒。
由于本实施例中采用了按不同曝光时间对图像进行交替曝光的方式，需要对相应得到的长曝光帧及短曝光帧进行合成处理。传统方法中一种常用的方式是采用双图像信号处理器，但图像信号处理器较为复杂，成本较高，尤其对于以低成本为优势的基于CMOS图像传感器的图像拾取系统并不适用。
本实施例中，采用了在所述图像传感器201和所述图像信号处理器203之间预先设置结构简单、成本较低的预处理器202的方式对不同曝光时间下得到的图像原始数据进行合成处理。该预处理器202可用于接收包含长曝光帧与短曝光帧的图像原始数据，将所述图像原始数据按曝光时间长短进行合成处理，形成具有宽动态范围的合成图像数据。
步骤402：由预先设置的预处理器对所述图像原始数据进行合成处理，形成合成图像数据。
本实施例中，该预先设置的预处理器202包括可存储至少一帧所述图像传感器201输出的图像原始数据的帧存储单元2021，其通常可以利用静态存储器形成。此时，将所述图像原始数据按曝光时间长短进行合成处理的步骤包括：
A、将帧存储单元2021作为缓冲器，依次将各帧图像原始数据存储于其内。
B、依次对相邻的两个曝光时间长短不同的帧图像原始数据进行算术平均计算，分别得到由长曝光帧与短曝光帧合成的长短曝光帧An与由短曝光帧与长曝光帧合成的短长曝光帧Bn的图像数据，其中An＝(Ln+Sn)/2，Bn＝(Sn+L(n+1))/2，且n为自然数。
C、由所述长短曝光帧和/或所述短长曝光帧的图像数据构成所述合成图像数据。
具体实现步骤可以为：
a：接收图像传感器201输出的图像原始数据中以长时间曝光形成的第一长曝光帧L1的图像原始数据；
b：将该第一长曝光帧L1的图像原始数据存储于所述帧存储单元2021中；
c：接收图像传感器201输出的图像原始数据中以短时间曝光形成的第一短曝光帧S1的图像原始数据；
d：利用预处理器的运算功能将所述第一短曝光帧S1的图像原始数据与所述帧存储单元2021中存储的所述第一长曝光帧L1图像原始数据进行算术平均计算，得到第一长短曝光帧A1的图像数据，即A1＝(L1+S1)/2；
e：接收图像传感器201输出的图像原始数据中以长时间曝光形成的第二长曝光帧L2的图像原始数据；
f：将该第一短曝光帧S1的图像原始数据存储于所述帧存储单元2021中，如果该帧存储单元2021仅能存储一帧图像原始数据，则本步将覆盖前面所存储的第一长曝光帧L1的图像原始数据；
g：利用预处理器将所述第二长曝光帧L2的图像原始数据与所述帧存储单元2021中存储的所述第一短曝光帧S1图像原始数据进行算术平均计算，得到第一短长曝光帧B1的图像数据，即B1＝(S1+L2)/2；
h：接收图像传感器201输出的图像原始数据中以短时间曝光形成的第二短曝光帧S2的图像原始数据；
i：将该第二长曝光帧L2的图像原始数据存储于所述帧存储单元2021中，同样地，如果该帧存储单元2021仅能存储一帧图像原始数据，则本步将覆盖前面所存储的第一短曝光帧S1的图像原始数据；
j：利用预处理器将所述第二短曝光帧S2的图像原始数据与所述帧存储单元2021中存储的所述第二长曝光帧L2图像原始数据进行算术平均计算，得到第二长短曝光帧A2的图像数据，即A2＝(L2+S2)/2；
依此类推，可得到全部的各长短曝光帧An和短长曝光帧Bn的图像数据。
当图像信号处理器203的处理能力较强，可以对全部的长短曝光帧An和短长曝光帧Bn的图像数据进行处理并得到较快的输出帧速时，可以将全部的长短曝光帧An和短长曝光帧Bn的图像数据组合，作为合成图像数据输入图像信号处理单元203内进行后续处理。当图像信号处理器203的处理能力较弱时，可以仅将长短曝光帧An或短长曝光帧Bn中的一种图像数据作为合成图像数据输入图像信号处理单元203内进行后续处理。
上述的各种合成图像数据(包括An+Bn、An或Bn)均已全部包含了长曝光条件及短曝光条件下的图像原始数据，其已实现了动态范围的扩展。
步骤403：利用图像处理器对所述合成图像数据进行处理，输出图像信号。
由于已利用预处理器202实现了对交替长短曝光的图像原始数据的合成处理，本实施例中利用图像处理器对所述合成图像数据进行的处理，可以与普通的图像信号处理器进行的处理相同，无需额外的步骤即可得到动态范围扩展后的图像信号。
为提高图像的信噪比，本实施例中还在预处理器202内设置了用于存储固形噪声(FPN)数据的固形噪声存储单元2022。此时，预处理器202在接收到图像传感器201发来的图像原始数据(包括长曝光帧图像原始数据和短曝光帧图像原始数据)后，先将其与固形噪声存储单元2022内存储的固形噪声数据相减，以消除图像原始数据中的固形噪声的成份，提高图像的信噪比，之后再按前面所述的步骤进行长、短曝光帧的合成处理。
在本发明的其它实施例中，还可以在该图像信号处理器203内加入自动白平衡控制模块(AWB)、自动增益控制模块(AGC)等(图中未示出)，以在输出图像信号之前对其进行自动白平衡控制、自动增益控制等处理，以凸显图像的宽动态范围，进一步提高图像的质量或观感。在本发明上述实施例的启示下，这一应用的延伸对于本领域普通技术人员而言是易于理解和实现的，在此不再赘述。
本实施例中对长短曝光帧的合成是采用了算术平均的算法，在本发明的其它实施例中，还可以利用不同的算法对长、短曝光帧的图像原始数据进行合成。在本发明上述实施例的启示下，这一应用的延伸对本领域普通技术人员而言是易于理解及实现的，在此不再赘述。
本实施例中所用的图像传感器为CMOS图像传感器，在采用上述方法进行处理后，所得图像的动态范围由传统的50-60dB扩展至60-70dB(此为一般的CCD图像传感器所能达到的动态范围)，在维持较低成本的基础上实现了动态范围的扩展。
本发明的其它实施例中，上述方法也可以应用于CCD图像传感器，其效果虽不如CMOS图像传感器的明显，但也能在一定程度上实现动态范围的扩展。在本发明上述实施例的启示下，这一应用的延伸对于本领域普通技术人员而言是易于理解和实现的，在此不再赘述。
本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。
Claims (10)
1.一种图像拾取系统，其特征在于，包括：
图像传感器，按不同曝光时间进行交替曝光，将图像转换为图像原始数据；
预处理器，将所述图像原始数据按所述曝光时间的长短进行合成处理，输出合成图像数据；
图像信号处理器，对所述合成图像数据进行图像恢复处理，输出图像信号。
2.如权利要求1所述的图像拾取系统，其特征在于：所述预处理器包括算术平均运算单元，所述算术平均运算单元依次对所述图像原始数据中相邻的两个曝光时间长短不同的帧图像原始数据进行算术平均计算，输出由长曝光帧与短曝光帧合成的长短曝光帧图像数据，以及由短曝光帧与长曝光帧合成的短长曝光帧图像数据。
3.如权利要求2所述的图像拾取系统，其特征在于：所述预处理器还包括帧存储单元，所述帧存储单元缓存所述图像原始数据中的至少一帧，并提供至所述算术平均运算单元。
4.如权利要求3所述的图像拾取系统，其特征在于：所述预处理器还包括存储固形噪声数据的固形噪声存储单元，所述图像原始数据先与所述固形噪声存储单元内存储的所述固形噪声数据相减，再缓存至所述帧存储单元内。
5.如权利要求1所述的图像拾取系统，其特征在于：所述图像拾取系统还包括曝光控制单元，所述曝光控制单元根据对曝光条件的预先设定，控制所述图像传感器按不同曝光时间进行交替曝光。
6.如权利要求5所述的图像拾取系统，其特征在于：所述图像信号处理器包括自动曝光控制单元，所述自动曝光控制单元根据预先设定向所述曝光控制单元发出包含所述交替曝光的时间设定的曝光控制信息。
7.如权利要求6所述的图像拾取系统，其特征在于：所述图像信号处理器还包括用于对所述合成图像数据进行图像恢复处理的自动白平衡控制单元和自动增益控制单元。
8.一种用于如权利要求1-7中任一项所述的图像拾取系统的图像处理方法，其特征在于，包括步骤：
利用图像传感器按不同曝光时间对图像进行交替曝光，并将图像转换为图像原始数据；
利用预处理器对所述图像原始数据按所述曝光时间的长短进行合成处理，输出合成图像数据；
利用图像处理器对所述合成图像数据进行图像恢复处理，输出图像信号。
9.如权利要求8所述的图像处理方法，其特征在于：当所述图像传感器的按不同曝光时间对图像进行交替曝光设置为按一帧长时间、一帧短时间交替曝光时，所述合成处理包括步骤：
依次对所述图像原始数据中相邻的两个曝光时间长短不同的帧图像原始数据进行算术平均计算，得到由长曝光帧与短曝光帧合成的长短曝光帧图像数据，以及由短曝光帧与长曝光帧合成的短长曝光帧图像数据；
由所述长短曝光帧图像数据和/或所述短长曝光帧图像数据构成所述合成图像数据。
10.如权利要求9所述的图像处理方法，其特征在于：在所述将图像转换为图像原始数据之后，按所述曝光时间的长短进行合成处理之前，还包括步骤：
利用预处理器将所述图像原始数据与在所述预处理器内存储的固形噪声数据相减。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200810186544A CN101764959A (zh) | 2008-12-25 | 2008-12-25 | 图像拾取系统及图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200810186544A CN101764959A (zh) | 2008-12-25 | 2008-12-25 | 图像拾取系统及图像处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101764959A true CN101764959A (zh) | 2010-06-30 |
Family
ID=42495931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200810186544A Pending CN101764959A (zh) | 2008-12-25 | 2008-12-25 | 图像拾取系统及图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101764959A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101588446A (zh) * | 2008-05-19 | 2009-11-25 | 索尼株式会社 | 图像合成设备、图像拾取设备、图像合成方法和程序 |
| CN102572245A (zh) * | 2011-12-22 | 2012-07-11 | 深圳市赛格导航科技股份有限公司 | 一种扩展图像动态范围的方法及装置 |
| CN102629995A (zh) * | 2012-03-29 | 2012-08-08 | 天津大学 | Cmos图像传感器像素时序控制方法 |
| CN104639920A (zh) * | 2013-11-13 | 2015-05-20 | 上海微锐智能科技有限公司 | 基于单帧双次曝光模式的宽动态融合方法 |
| CN104914106A (zh) * | 2014-03-11 | 2015-09-16 | 由田新技股份有限公司 | 缺陷检测方法及缺陷检测装置 |
| CN104966071A (zh) * | 2015-07-03 | 2015-10-07 | 武汉烽火众智数字技术有限责任公司 | 一种基于红外补光的夜间车牌检测和识别方法以及装置 |
| CN105827971A (zh) * | 2016-03-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN106254782A (zh) * | 2016-09-28 | 2016-12-21 | 北京旷视科技有限公司 | 图像处理方法及装置和相机 |
| CN108401154A (zh) * | 2018-05-25 | 2018-08-14 | 同济大学 | 一种图像曝光度无参考质量评价方法 |
| WO2018161640A1 (zh) * | 2017-03-06 | 2018-09-13 | 中兴通讯股份有限公司 | 长曝光拍照方法及装置 |
| CN109413335A (zh) * | 2017-08-16 | 2019-03-01 | 福州瑞芯微电子股份有限公司 | 一种双重曝光合成hdr图像的方法和装置 |
| WO2019100270A1 (zh) * | 2017-11-22 | 2019-05-31 | 深圳市大疆创新科技有限公司 | 图像噪声标定方法及装置、图像降噪方法及装置、图像处理装置 |
| CN110012227A (zh) * | 2019-04-09 | 2019-07-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110035233A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110049241A (zh) * | 2019-04-09 | 2019-07-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110198417A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110198419A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110266954A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| WO2020103786A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 多路视频流生成方法及装置 |
| CN112219391A (zh) * | 2018-06-07 | 2021-01-12 | 杜比实验室特许公司 | 从单拍摄hdr彩色图像传感器生成hdr图像 |
| CN112738410A (zh) * | 2020-12-24 | 2021-04-30 | 重庆金山医疗器械有限公司 | 一种成像方法及装置、内窥镜设备 |
| CN113473034A (zh) * | 2021-07-02 | 2021-10-01 | 杭州思锐迪科技有限公司 | 孔位补光方法、孔位补光器、孔位扫描方法和系统 |
| CN113572972A (zh) * | 2021-07-05 | 2021-10-29 | 深圳市阿达视高新技术有限公司 | 高动态范围图像合成方法、系统、图像处理设备和介质 |
-
2008
- 2008-12-25 CN CN200810186544A patent/CN101764959A/zh active Pending
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101588446A (zh) * | 2008-05-19 | 2009-11-25 | 索尼株式会社 | 图像合成设备、图像拾取设备、图像合成方法和程序 |
| CN102572245A (zh) * | 2011-12-22 | 2012-07-11 | 深圳市赛格导航科技股份有限公司 | 一种扩展图像动态范围的方法及装置 |
| CN102572245B (zh) * | 2011-12-22 | 2014-12-17 | 深圳市赛格导航科技股份有限公司 | 一种扩展图像动态范围的方法及装置 |
| CN102629995A (zh) * | 2012-03-29 | 2012-08-08 | 天津大学 | Cmos图像传感器像素时序控制方法 |
| CN104639920A (zh) * | 2013-11-13 | 2015-05-20 | 上海微锐智能科技有限公司 | 基于单帧双次曝光模式的宽动态融合方法 |
| CN104914106A (zh) * | 2014-03-11 | 2015-09-16 | 由田新技股份有限公司 | 缺陷检测方法及缺陷检测装置 |
| CN104966071A (zh) * | 2015-07-03 | 2015-10-07 | 武汉烽火众智数字技术有限责任公司 | 一种基于红外补光的夜间车牌检测和识别方法以及装置 |
| CN104966071B (zh) * | 2015-07-03 | 2018-07-24 | 武汉烽火众智数字技术有限责任公司 | 一种基于红外补光的夜间车牌检测和识别方法以及装置 |
| CN105827971A (zh) * | 2016-03-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN105827971B (zh) * | 2016-03-31 | 2019-01-11 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN106254782A (zh) * | 2016-09-28 | 2016-12-21 | 北京旷视科技有限公司 | 图像处理方法及装置和相机 |
| WO2018161640A1 (zh) * | 2017-03-06 | 2018-09-13 | 中兴通讯股份有限公司 | 长曝光拍照方法及装置 |
| CN109413335A (zh) * | 2017-08-16 | 2019-03-01 | 福州瑞芯微电子股份有限公司 | 一种双重曝光合成hdr图像的方法和装置 |
| WO2019100270A1 (zh) * | 2017-11-22 | 2019-05-31 | 深圳市大疆创新科技有限公司 | 图像噪声标定方法及装置、图像降噪方法及装置、图像处理装置 |
| CN108401154A (zh) * | 2018-05-25 | 2018-08-14 | 同济大学 | 一种图像曝光度无参考质量评价方法 |
| US11922639B2 (en) | 2018-06-07 | 2024-03-05 | Dolby Laboratories Licensing Corporation | HDR image generation from single-shot HDR color image sensors |
| CN112219391A (zh) * | 2018-06-07 | 2021-01-12 | 杜比实验室特许公司 | 从单拍摄hdr彩色图像传感器生成hdr图像 |
| CN112219391B (zh) * | 2018-06-07 | 2022-05-10 | 杜比实验室特许公司 | 生成hdr彩色图像的方法、hdr相机及蜂窝电话 |
| WO2020103786A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 多路视频流生成方法及装置 |
| CN110012227B (zh) * | 2019-04-09 | 2021-06-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110012227A (zh) * | 2019-04-09 | 2019-07-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110035233A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110049241A (zh) * | 2019-04-09 | 2019-07-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US11503223B2 (en) | 2019-04-09 | 2022-11-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for image-processing and electronic device |
| CN110198417A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110266954A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110198419A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112738410A (zh) * | 2020-12-24 | 2021-04-30 | 重庆金山医疗器械有限公司 | 一种成像方法及装置、内窥镜设备 |
| CN113473034A (zh) * | 2021-07-02 | 2021-10-01 | 杭州思锐迪科技有限公司 | 孔位补光方法、孔位补光器、孔位扫描方法和系统 |
| CN113572972A (zh) * | 2021-07-05 | 2021-10-29 | 深圳市阿达视高新技术有限公司 | 高动态范围图像合成方法、系统、图像处理设备和介质 |
| WO2023279457A1 (zh) * | 2021-07-05 | 2023-01-12 | 深圳市阿达视高新技术有限公司 | 高动态范围图像合成方法、系统、图像处理设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101764959A (zh) | 图像拾取系统及图像处理方法 | |
| CN101399923B (zh) | 成像装置、成像方法 | |
| JP5019543B2 (ja) | 撮像装置 | |
| CN1685710B (zh) | 摄像装置、摄像装置图像输出方法 | |
| JP4154157B2 (ja) | 撮像装置 | |
| WO2004110057A1 (ja) | 広ダイナミックレンジイメージセンサ | |
| WO2007074659A1 (ja) | 映像信号処理方法および映像信号処理装置 | |
| CN105453542A (zh) | 用于通过多个图像感测元件俘获图像的系统及方法 | |
| KR100925191B1 (ko) | 카메라의 백라이트 보정 장치 및 방법 | |
| JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
| JP2012120132A (ja) | 撮像装置およびプログラム | |
| CN110012227B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| EP1557790A2 (en) | Noise reduction in low-illuminance image | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| JP4523629B2 (ja) | 撮像装置 | |
| CN110572585A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20230128031A1 (en) | Solid-state imaging apparatus | |
| JP2015133628A (ja) | 撮像装置、撮像方法、画像処理装置、撮像プログラム | |
| JP4872502B2 (ja) | 撮像装置、及びそのクランプ方法 | |
| KR101408359B1 (ko) | 촬상장치 및 촬상방법 | |
| JP2003209850A (ja) | 撮像装置用信号処理回路およびその信号処理方法 | |
| JP2007049533A (ja) | 撮像装置および電子情報機器 | |
| JP4229234B2 (ja) | デジタルカメラ | |
| JPH09102930A (ja) | 映像入力装置 | |
| JP2006174337A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100630 |