CN114520884A - 一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器 - Google Patents

一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器 Download PDF

Info

Publication number
CN114520884A
CN114520884A CN202011298924.6A CN202011298924A CN114520884A CN 114520884 A CN114520884 A CN 114520884A CN 202011298924 A CN202011298924 A CN 202011298924A CN 114520884 A CN114520884 A CN 114520884A
Authority
CN
China
Prior art keywords
row
current frame
light incidence
potential value
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011298924.6A
Other languages
English (en)
Other versions
CN114520884B (zh
Inventor
李�杰
李玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Galaxycore Shanghai Ltd Corp
Original Assignee
Galaxycore Shanghai Ltd Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Galaxycore Shanghai Ltd Corp filed Critical Galaxycore Shanghai Ltd Corp
Priority to CN202011298924.6A priority Critical patent/CN114520884B/zh
Publication of CN114520884A publication Critical patent/CN114520884A/zh
Application granted granted Critical
Publication of CN114520884B publication Critical patent/CN114520884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Abstract

本发明提供一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器,所述方法包括:获取所述图像传感器的像素阵列中预设像素单元的历史输出值,所述历史输出值包括至少一帧所述预设像素单元前序帧的输出值;获取设于所述预设像素单元上的入光量控制单元上一帧的电位值;根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量。本发明通过以上步骤,能够有效地通过单帧曝光获取高动态范围的图像,减少一般多帧合成高动态范围时的“鬼影”现象,以及改善长短曝光帧合成时对快速变换场景的成像质量。

Description

一种图像传感器获取单帧高动态范围图像的方法和一种图像 传感器
技术领域
本发明涉及图像传感器领域,特别涉及一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器。
背景技术
标准图像传感器的动态范围大约在60dB到70dB之间,远远小于现实世界的亮度动态范围。自然景象的范围通常跨越90dB以上,因此,为了同时捕获强光和阴影,更好地呈现图像本来的品貌,图像传感器中已经大量地使用了高动态范围技术对捕获的动态范围进行扩增。
目前主流的解决方案主要有两种。一种是在时间上连续输出不同曝光时间的多帧图像,根据图像亮度、对比度等参数确定某一帧图像的权重,再将多帧图像融合生成新图像,从而增加图像的动态范围。但是这种方法由于被融合的图像之间具有一帧的时间间隔,很容易产生“鬼影”的现象,而且多次成像需要提供存储图像的存储器。第二种是在第一种的基础上,图像传感器每行以长短两种曝光时间先后输出两次,即长曝光帧和短曝光帧通过行的交织依次输出,这样一定程度上解决了“鬼影”的问题,但是当场景快速变换时(例如快速闪烁的LED灯)仍存在成像问题。
发明内容
本发明的目的在于提供一种图像传感器获取单帧高动态范围图像的方法,包括:
获取所述图像传感器的像素阵列中预设像素单元的历史输出值,所述历史输出值包括至少一帧所述预设像素单元前序帧的输出值;
获取设于所述预设像素单元上的入光量控制单元上一帧的电位值;
根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量,实现单帧高动态范围。
优选地,每个所述入光量控制单元由列控制信号线与行选通信号线控制;其中,
位于所述像素阵列中同一列的所述入光量控制单元通过开关接入同一所述列控制信号线;
所述行选通信号线控制位于所述像素阵列中同一行或多行的全部或部分所述入光量控制单元对应的所述开关。
优选地,每个所述开关控制一个所述入光量控制单元;或,
每个所述开关控制所述像素阵列同一行或多行上多个所述入光量控制单元的组合。
优选地,所述根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量包括:
按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光;
其中,所述调整每行的所述预设像素单元的入光量包括:
按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
若所述历史输出值大于第一预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系降低所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
若所述历史输出值小于第二预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系提高所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,所述第一预设阈值大于或等于所述第二预设阈值;
所述当前帧的电位值调整完成后,关闭当前行包括的所述行选通信号线控制的所述开关,按照所述预设像素单元的曝光顺序,逐行重复上述步骤,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;
其中,完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
优选地,在所述调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量之后,还包括步骤:
根据所述预设的对应关系和各像素单元当前帧的输出值,将当前帧得到的非线性图像换算为线性图像,实现单帧高动态范围。
优选地,所述入光量控制单元由上到下依次包括上偏光片、上基板、液晶、下基板和下偏光片;
其中,所述上基板和下基板的内侧设有透明导电薄膜和配向膜;
各所述列控制信号线分别与位于所述像素阵列同一列的所述上基板连接;
所述上基板的配向膜的配向方向与所述上偏光片的透光轴方向相同,所述下基板的配向膜的配向方向与所述下偏光片的透光轴方向相同。
优选地,所述所上基板的配向膜的配向方向与所述下基板的配向膜的配向方向垂直。
优选地,所述根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量包括:
按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光;
其中,所述调整每行的所述预设像素单元的入光量包括:
按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
若所述历史输出值大于第三预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述液晶的分子排列取向,使通过所述下偏光片的入光量降低,降低所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
若所述历史输出值小于第四预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述液晶的分子排列取向,使通过所述下偏光片的入光量增加,提高所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,所述第三预设阈值大于或等于所述第四预设阈值;
所述当前帧的电位值调整完成后,关闭当前行包括的所述行选通信号线控制的所述开关,按照所述预设像素单元的曝光顺序,逐行重复上述步骤,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;
其中,完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
优选地,所述入光量控制单元包括至少一个开合叶片以及微机系统;
通过调整所述列控制信号线的电位值,使所述微机系统控制所述开合叶片的展开程度和/或展开数量,改变所述预设像素单元的入光量。
优选地,所述根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量包括:
按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光;
其中,所述调整每行的所述预设像素单元的入光量包括:
按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
若所述历史输出值大于第五预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述开合叶片减小展开程度,和/或减少所述开合叶片的展开数量,使通过所述下偏光片的入光量降低,降低所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
若所述历史输出值小于第六预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述开合叶片增大展开程度,和/或增加所述开合叶片的展开数量,使通过所述下偏光片的入光量增多,提高所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,所述第五预设阈值大于所述第六预设阈值;
所述当前帧的电位值调整完成后,关闭当前行包括的所述行选通信号线控制的所述开关,按照所述预设像素单元的曝光顺序,逐行重复上述步骤,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;
其中,完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
优选地,所述图像传感器包括第一存储模块和第二存储模块;
其中,所述第一存储模块用于存储所述图像传感器的像素阵列中各预设像素单元的历史输出值;
所述第二存储模块用于存储所述图像传感器的像素阵列中各预设像素单元对应的入光量控制单元上一帧的电位值。
本申请中提供的图像传感器获取单帧高动态范围图像的方法,能够通过对历史帧数据中输出值的情况判断,控制当前帧中像素的入光量,实现在单帧数据中调节平衡画面中亮部和暗部的曝光程度,扩大输出图像的动态范围。由于仅在一帧中实现图像的高动态范围,本申请中的方法能够很好地减少一般多帧合成高动态范围时的“鬼影”现象,以及改善长短曝光帧合成时对快速变换场景的成像质量。
附图说明
通过参照附图阅读以下所作的对非限制性实施例的详细描述,本发明的其它特征、目的和优点将会变得更明显。
图1-本发明一实施例中图像传感器实现单帧高动态范围步骤流程示意图;
图2-本发明一实施例中图像传感器结构示意图;
图3-本发明一实施例中图像传感器结构示意图;
图4-本发明一实施例中调整预设像素单元入光量流程示意图;
图5-本发明一实施例中存储电容设置示意图;
图6-本发明一实施例中液晶入光量控制单元结构示意图;
图7-本发明一实施例中微机系统入光量控制单元结构示意图。
在图中,贯穿不同的示图,相同或类似的附图标记表示相同或相似的装置(模块)或步骤。
具体实施方式
高动态范围图像(High-Dynamic Range,HDR)相对于普通的图像来说,能够提供更丰富的图像细节。由于图像传感器能够表示的亮度范围有限,当场景中存在非常明亮或黑暗的部分时,直接拍摄往往会忽略掉其中的微小差异,使得图像不能真实地反映场景细节。而在高动态范围图像中,能够扩大图像中能够显示的亮度范围,使得亮部不会过亮,阴影处也不会过暗,有能力展示更多的场景细节。
传统的HDR实现方式多为采用多次曝光,再进行合成的方式。例如对待拍摄的场景进行三次程度不同的曝光,分别为过亮、普通、过暗,在过亮的曝光图像中暗部信息更加丰富,过暗的曝光图像中亮部的信息则更全面,将三张图像进行合成,互相补偿,就能够得到动态范围更大的HDR图像。
但是,多次曝光的方式也存在一些问题,对于动态场景,三次曝光拍摄的画面会产生错位,进而合成后出现“鬼影”。如果能够在单帧内实现获取HDR图像即可避免出现这种问题。
在本发明的第一实施例中,给出了一种图像传感器获取单帧高动态范围图像的方法,如图1所示,包括以下步骤:
步骤S100:获取所述图像传感器的像素阵列中预设像素单元的历史输出值,所述历史输出值包括至少一帧所述预设像素单元前序帧的输出值;
步骤S200:获取设于所述预设像素单元上的入光量控制单元上一帧的电位值;
步骤S300:根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量,实现单帧高动态范围。
在本实施例中,图像传感器可以根据像素单元的历史输出值,例如某像素单元上一帧的输出值,决定该像素单元在当前帧的入光量,进而调节当前帧各像素单元的输出值,实现单帧HDR的效果。
具体地,在本申请中,选定图像传感器像素阵列中的预设像素单元,在预设像素单元上方设有入光量控制单元。该入光量控制单元用于控制对应像素单元的入光量。其中,预设像素单元可以为图像像素阵列中所有的像素单元,也可以根据需求,针对图像的部分区域,选择一部分的像素单元或者若干单独的像素单元。
首先在步骤S100中,获取上述预设像素单元的历史输出值。该历史输出值可以为上一帧该像素单元的输出信号,也可以对之前若干帧输出信号进行综合整理,再用于判断决定该像素单元当前帧的入光量。
在获取预设像素单元的历史输出值之后,在步骤S200中,获取各个预设像素单元对应的入光量控制单元上一帧的电位值,该电位值用于调节入光量控制单元,根据该电位值的变化,入光量控制单元可以控制对应的像素单元入光量增加或者减少。该电位值一般仅能保存上一帧的数据,因此步骤S200中只获取前一帧的电位值。
在步骤S300中,根据前两步获取的历史输出值和上一帧电位值,对入光量控制单元当前帧的电位值进行调整,从而达到控制预设像素单元当前帧入光量的目的。
通过上述步骤,本实施例可实现根据历史信号输出值调整像素单元当前帧入光量。在实际应用中,可以令过于明亮的区域入光量减小,过于阴暗的区域入光量提高,只需在单帧图像内进行调整,无需多帧数据合成调节,从而实现单帧HDR的方案,有效避免了“鬼影”现象的产生,提高了成像质量,改善了图像传感器的性能。
在本实施例一项可选的实施方式中,如图2所示,每个所述入光量控制单元由列控制信号线与行选通信号线控制;其中,
位于所述像素阵列中同一列的所述入光量控制单元通过开关接入同一所述列控制信号线;
所述行选通信号线控制位于所述像素阵列中同一行或多行的全部或部分所述入光量控制单元对应的所述开关。
亦即,在像素阵列中,通过列控制信号线和行选通信号线控制入光量控制单元。同一列的入光量控制单元由列控制信号线控制,列控制信号线则用于给出控制的电位值。入光量控制单元通过开关接入列控制信号线,同一行的入光量控制单元对应的开关由行选通信号线控制。如图2所示,依次对各行的预设像素单元进行调整,当轮到Row1行调节时,接通Row1行的行选通信号线控制的开关K1、K2,对该行的预设像素单元P1、P2等分别根据对应Col1、Col2等各列的列控制信号线上给出的电位值来调整P1、P2的入光量;当轮到Row2行上的预设像素单元P3、P4调节时,则选通开关K3、K4。
优选地,每个所述开关也可以控制所述像素阵列同一行或多行上多个所述入光量控制单元的组合。即一个开关可以控制位于不同行的入光量控制单元,例如图3所示,开关K1同时控制位于行Row1、Row2上的预设像素单元P1、P2、P3、P4,能够同时选通多行、多列上的预设像素单元以调整其入光量。
进一步地,在进行入光量控制调整时,前述步骤S300中根据历史输出值和上一帧的电位值对当前帧预设像素单元的入光量进行调整可以具体根据如下操作:按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光。
具体地,如图4所示,其中所述调整每行的所述预设像素单元的入光量包括:
步骤S310:按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
步骤S320:对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
进一步地,在步骤S330和步骤S340中根据比较结果继续进行判断:
A.若所述历史输出值大于第一预设阈值:
步骤S330:判断所述入光量控制单元上一帧的电位值是否处于可调节范围。
若是,步骤S340中调整所述列控制信号线当前帧的电位值,按照预设的对应关系降低所述预设像素单元当前帧的入光量,若否,步骤S340中则保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
B.若所述历史输出值小于第二预设阈值:
步骤S330:判断所述入光量控制单元上一帧的电位值是否处于可调节范围。
若是,步骤S340中调整所述列控制信号线当前帧的电位值,按照预设的对应关系提高所述预设像素单元当前帧的入光量,若否,步骤S340中则保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,在步骤S320中,所述第一预设阈值大于或等于所述第二预设阈值。
所述当前帧的电位值调整完成后,进行步骤S350,关闭当前行包括的所述行选通信号线控制的所述开关。之后,按照所述预设像素单元的曝光顺序,逐行重复上述步骤S310~S350,以完成当前帧曝光。
其中,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;且完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
步骤S310~S350给出了本发明中调整预设像素单元当前帧入光量的步骤。以图2为例,图像传感器逐行进行复位操作,当对行Row1中的预设像素单元进行调整时,接通控制该行选通信号线的控制开关,对预设像素单元P1,获取事先存储的P1的历史输出值和电位值,之后进行比较。
其中,对于历史输出值,具有第一预设阈值T1和第二预设阈值T2。第一预设阈值T1影响当前帧入光量的最大值,第二预设阈值T2则影响当前帧入光量的最小值,且T1大于T2。
当历史输出值超出第一预设阈值T1时,说明该预设像素单元处光强较高,应当适当降低。但是入光量控制单元的调节也有自己的限制范围,因此仍需要判断当前的电位值是否仍可继续调节,如果上一帧的电位值已经调节到极限,即不在可调节的范围内,说明上一帧入光量控制单元已经将可入光量调节到最低值,此时即只能保持在当前的状态,保持电位值、保持入光量,尽可能降低入射的光强度。而如果电位值仍在可调节的范围,则对应调整当前帧该预设像素单元的电位值,降低该像素单元的入光量。
同样地,当历史输出值小于第二预设阈值T2时,说明该预设像素单元所在处的光强较低,场景较暗,应当适当提高入光量。因此,若上一帧电位值处在可调节范围内,即可根据设定调整当前帧该预设像素单元的电位值,提高该像素单元的入光量;若已经超出可调节范围,则说明在此电位值时入光量控制单元已经达到了最大的通光程度,因而保持电位值和当前帧的入光量不变,尽可能提高入光量。
在本实施例中,通过将历史输出值与第一预设阈值、第二预设阈值进行比较,进一步判断上一帧电位值是否能够继续调节,进而控制预设像素单元当前帧的入光量。当电位值可调节时,若历史输出值较高,光强较强,则适当降低当前帧的入光量,若历史输出值较低,光强较弱,则适当提高当前帧的入光量。
进一步地,在此基础上,在步骤S300调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量之后,还包括步骤:
步骤S400:根据所述预设的对应关系和各像素单元当前帧的输出值,将当前帧得到的非线性图像换算为线性图像,实现单帧高动态范围。
在本实施例中,入光量控制单元调节的电位值与当前帧的入光量二者之间存在预设的函数关系,本发明对具体的函数关系不做限制,根据该预设的对应关系,可以将当前帧输出的非线性图像反推换算成线性图像,在单帧内实现高动态范围。例如,当电位值为1V时,入光量控制单元的透光程度为100%,电位值为1.5V时,透光程度为50%,电位值为2V时,不透光。这样就能够建立起电位值与当前帧入光量的关系,进而建立当前帧入光量与实际光照情况的对应关系,并能够推得线性图像。
优选地,本发明中设计的图像传感器还可以包括第一存储模块和第二存储模块;其中,所述第一存储模块用于存储所述图像传感器的像素阵列中各预设像素单元的历史输出值;所述第二存储模块用于存储所述图像传感器的像素阵列中各预设像素单元对应的入光量控制单元上一帧的电位值。
在优选的方案中,图像传感器中设置了两个存储模块,分别用来存储各个预设像素单元对应的历史输出值和上一帧电位值,在当前帧进行曝光前获取存储的数据,预设像素单元对应的入光量控制单元可以据此调整当前帧的入光量。
例如,在具体的实施方式中,如图5所示,可以通过设置在控制预设像素单元开关和预设像素单元之间的电容来存储电位值,入光量控制单元根据历史输出值对当前帧的电位值进行调整,电容存储当前帧的电位值,在该行曝光时间范围内保持该行入光量控制单元的电位值。
本发明在此给出几种具体的实施方案,需要注意的是,这些实施方案不代表本发明仅有的实现方式,任何符合本发明权利要求的技术方案均属于本发明的保护范围。
在本发明的一种具体实施方式中,如图6所示,入光量控制单元由上到下依次包括上偏光片、上基板、液晶、下基板和下偏光片;
其中,所述上基板和下基板的内侧设有透明导电薄膜和配向膜;
各所述列控制信号线分别与位于所述像素阵列同一列的所述上基板连接;
其中,所述上基板的配向膜的配向方向与所述上偏光片的透光轴方向相同,所述下基板的配向膜的配向方向与所述下偏光片的透光轴方向相同。
在本实施例中,入光量控制单元由常见的液晶显示结构组成。在电场的作用下,液晶分子原有的排列方式会发生变化,改变光线的偏振方向,配合上偏光片和下偏光片,可以实现通过电位值改变透光程度、进而调整当前帧的入光量的技术方案。即,可以列控制信号线与上基板相连接,通过改变当前的电位值来控制液晶分子排列,改变入光量控制单元的通透性。
优选地,所述所上基板的配向膜的配向方向与所述下基板的配向膜的配向方向垂直。在正常情况下,具有特定方向的光线会被阻挡掉,但经过液晶的扭曲后,光线便可以从另一侧射出。通电后改变了液晶分子的排列形式,会改变入射光的偏振方向,因而通常当上下配向膜的方向垂直时可以通过更多的入射光。
具体地,在本实施例中,所述根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量包括:
按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光;
其中,所述调整每行的所述预设像素单元的入光量包括:
按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
若所述历史输出值大于第三预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述液晶的分子排列取向,使通过所述下偏光片的入光量降低,降低所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
若所述历史输出值小于第四预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述液晶的分子排列取向,使通过所述下偏光片的入光量增加,提高所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,所述第三预设阈值大于或等于所述第四预设阈值;
所述当前帧的电位值调整完成后,关闭当前行包括的所述行选通信号线控制的所述开关,按照所述预设像素单元的曝光顺序,逐行重复上述步骤,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;
其中,完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
在步骤S310~步骤S350的基础上,本实施例中,在入光量控制单元中采用了液晶控制通光量,因此在调节过程中,根据历史输出值与上一帧电位值调整当前帧的电位值,进而控制液晶的排布。其中第三预设阈值T3和第四预设阈值T4分别影响当前帧入光量的最大值和最小值,超出T3则说明入光量太强,需要降低,不足T4说明场景较昏暗,需要提高入光量,此时如果上一帧的电位值仍在可调节范围,则继续根据需要调节当前帧的电位值,改变当前帧的入光量,如果不在可调节范围,则保持当前帧入光量不变,使当前帧入光量保持最小/最大状态。
在本种具体的实施方式中利用了液晶的电光特性,实现根据当前帧电位值调整控制预设像素单元入光量,进而构造了本申请中的入光量控制单元。通过电压对当前帧画面的入光量进行控制,从而在单帧实现高动态范围的图像输出。
在本发明另一种具体实施方式中,如图7所示,入光量控制单元包括至少一个开合叶片以及微机系统;通过调整所述列控制信号线的电位值,使所述微机系统控制所述开合叶片的展开程度和/或展开数量,改变所述预设像素单元的入光量。
在本种实施方式中,入光量控制单元通过微机系统控制预设像素单元的入光量。具体地,在预设像素单元上方设置至少一个开合叶片,叶片的展开程度和/或展开的数量受当前帧的电位值控制。当需要增加入射光透光量时,增大叶片的展开程度,或者展开更多的叶片,以增大对应预设像素单元的透光量,反之亦然。
在本实施例中,采用微机系统对开合叶片进行控制,本发明不对微机系统的具体结构和实现方式加以限定,只要能够通过电位值对开合叶片进行控制即可。
具体地,在本实施例实施过程中,所述根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量包括:
按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光;
其中,所述调整每行的所述预设像素单元的入光量包括:
按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
若所述历史输出值大于第五预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述开合叶片减小展开程度,和/或减少所述开合叶片的展开数量,使通过所述下偏光片的入光量降低,降低所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
若所述历史输出值小于第六预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述开合叶片增大展开程度,和/或增加所述开合叶片的展开数量,使通过所述下偏光片的入光量增多,提高所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,所述第五预设阈值大于所述第六预设阈值;
所述当前帧的电位值调整完成后,关闭当前行包括的所述行选通信号线控制的所述开关,按照所述预设像素单元的曝光顺序,逐行重复上述步骤,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;
其中,完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
在步骤S310~步骤S350的基础上,本实施例中,在入光量控制单元中采用微机系统控制开合叶片,在调节过程中,根据历史输出值与上一帧电位值调整当前帧的电位值,进而控制当前帧的叶片开合程度/数量。其中第五预设阈值T5和第六预设阈值T6分别影响当前帧入光量的最大值和最小值,超出T5则说明入光量太强,需要降低,不足T6说明场景较昏暗,需要提高入光量,此时如果上一帧的电位值仍在可调节范围,则继续根据需要调节当前帧的电位值,改变当前帧的入光量,如果不在可调节范围,则保持当前帧入光量不变,使当前帧入光量保持最小/最大状态。
本发明一实施例中还提供了一种图像传感器,能够适于实现前述各实施例中实现单帧HDR的方案。具体地,该图像传感器的像素阵列中包括多个像素单元,其中包括若干预设像素单元,在各所述预设像素单元上方设有入光量控制单元,入光量控制单元会根据改预设像素单元的历史输出值和上一帧电位值调整当前帧的入光量。
进一步地,入光量控制单元由列控制信号线与行选通信号线控制;其中,位于所述像素阵列中同一列的所述入光量控制单元通过开关接入同一所述列控制信号线;所述行选通信号线控制位于所述像素阵列中同一行或多行的全部或部分所述入光量控制单元对应的所述开关。
优选地,每个所述开关也可以控制所述像素阵列同一行或多行上多个所述入光量控制单元的组合。
当进行曝光之前,按照像素阵列的排布逐行进行曝光。通过行选通信号线打开当前行预设像素单元的开关,各预设像素单元对应的列信号控制线根据调整好的当前帧电位值对对应的入光量控制单元进行控制,调整预设像素单元当前帧的入光量,从而实现单帧HDR图像输出。
优选地,在一种实施方式中,在该图像传感器的入光量控制单元中可以通过设置液晶来调整入光量,在本种实施方式中,利用液晶材料的电光特性,通过改变列控制信号线的电位值改变液晶分子的排列形式,以改变能通过入光量控制单元的光强。例如,在入光量控制单元中可以包括上偏光片、上基板、液晶、下基板和下偏光片,所述上基板和下基板的内侧设有透明导电薄膜和配向膜,各所述列控制信号线分别与位于所述像素阵列同一列的所述上基板连接;所述上基板的配向膜的配向方向与所述上偏光片的透光轴方向相同,所述下基板的配向膜的配向方向与所述下偏光片的透光轴方向相同。进一步地,所述所上基板的配向膜的配向方向与所述下基板的配向膜的配向方向垂直,更好地控制入光量。
在另一种可选的实施方式中,入光量控制单元包括至少一个开合叶片以及微机系统。在调整预设像素单元的入光量时,可以通过调整所述列控制信号线的电位值,使所述微机系统控制所述开合叶片的展开程度和/或展开数量,进而改变所述预设像素单元的入光量。
在本种实施方式中,对开合叶片的数量不做限制,一个预设像素单元可以对应一个开合叶片,也可以对应多个开合叶片。当需要提高入光量时,可以打开更多的开合叶片,也可以使叶片的展开程度更大,同理,当需要减少入光量时,可以减少打开的叶片数量,闭合一部分叶片,或者缩小叶片的展开程度。
进一步地,在本发明提供的图像传感器中,还可以包括第一存储模块和第二存储模块;其中,所述第一存储模块用于存储所述图像传感器的像素阵列中各预设像素单元的历史输出值;所述第二存储模块用于存储所述图像传感器的像素阵列中各预设像素单元对应的入光量控制单元上一帧的电位值。
在优选地方案中,图像传感器中设置了两个存储模块,分别用来存储各个预设像素单元对应的历史输出值和上一帧电位值,在当前帧进行曝光前获取存储的数据,预设像素单元对应的入光量控制单元可以据此调整当前帧的入光量。例如,在具体的实施方式中,如图所示,在控制预设像素单元开关后设置有电容,用于存储上一帧电位值,电容通过上一帧储存的电量产生电位值,即相当于对电位值进行了存储,入光量控制单元根据历史输出值对当前帧的电位值进行调整,在开始曝光之前控制当前帧预设像素单元的入光量,此时电容也就存储了当前帧的电位值。
本发明提供一种图像传感器实现单帧HDR的方法以及一种图像传感器,对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论如何来看,均应将实施例看作是示范性的,而且是非限制性的。此外,明显的,“包括”一词不排除其他元素和步骤,并且措辞“一个”不排除复数。装置权利要求中陈述的多个元件也可以由一个元件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (12)

1.一种图像传感器获取单帧高动态范围图像的方法,其特征在于,包括以下步骤:
获取所述图像传感器的像素阵列中预设像素单元的历史输出值,所述历史输出值包括至少一帧所述预设像素单元前序帧的输出值;
获取设于所述预设像素单元上的入光量控制单元上一帧的电位值;
根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量,实现单帧高动态范围。
2.如权利要求1所述的方法,其特征在于,每个所述入光量控制单元由列控制信号线与行选通信号线控制;其中,
位于所述像素阵列中同一列的所述入光量控制单元通过开关接入同一所述列控制信号线;
所述行选通信号线控制位于所述像素阵列中同一行或多行的全部或部分所述入光量控制单元对应的所述开关。
3.如权利要求2所述的方法,其特征在于,每个所述开关控制一个所述入光量控制单元;或,
每个所述开关控制所述像素阵列同一行或多行上多个所述入光量控制单元的组合。
4.如权利要求2所述的方法,其特征在于,所述根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量包括:
按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光;
其中,所述调整每行的所述预设像素单元的入光量包括:
按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
若所述历史输出值大于第一预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系降低所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
若所述历史输出值小于第二预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系提高所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,所述第一预设阈值大于或等于所述第二预设阈值;
所述当前帧的电位值调整完成后,关闭当前行包括的所述行选通信号线控制的所述开关,按照所述预设像素单元的曝光顺序,逐行重复上述步骤,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;
其中,完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
5.如权利要求4所述的方法,其特征在于,在所述调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量之后,还包括步骤:
根据所述预设的对应关系和各像素单元当前帧的输出值,将当前帧得到的非线性图像换算为线性图像,实现单帧高动态范围。
6.如权利要求2所述的方法,其特征在于,所述入光量控制单元由上到下依次包括上偏光片、上基板、液晶、下基板和下偏光片;
其中,所述上基板和下基板的内侧设有透明导电薄膜和配向膜;
各所述列控制信号线分别与位于所述像素阵列同一列的所述上基板连接;
所述上基板的配向膜的配向方向与所述上偏光片的透光轴方向相同,所述下基板的配向膜的配向方向与所述下偏光片的透光轴方向相同。
7.如权利要求6所述的方法,其特征在于,
所述所上基板的配向膜的配向方向与所述下基板的配向膜的配向方向垂直。
8.所述根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量包括:
按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光;
其中,所述调整每行的所述预设像素单元的入光量包括:
按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
若所述历史输出值大于第三预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述液晶的分子排列取向,使通过所述下偏光片的入光量降低,降低所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
若所述历史输出值小于第四预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述液晶的分子排列取向,使通过所述下偏光片的入光量增加,提高所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,所述第三预设阈值大于或等于所述第四预设阈值;
所述当前帧的电位值调整完成后,关闭当前行包括的所述行选通信号线控制的所述开关,按照所述预设像素单元的曝光顺序,逐行重复上述步骤,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;
其中,完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
9.如权利要求2所述的方法,其特征在于,所述入光量控制单元包括至少一个开合叶片以及微机系统;
通过调整所述列控制信号线的电位值,使所述微机系统控制所述开合叶片的展开程度和/或展开数量,改变所述预设像素单元的入光量。
10.如权利要求9所述的方法,其特征在于,所述根据所述历史输出值和所述上一帧的电位值,调整所述入光量控制单元当前帧的电位值,控制所述预设像素单元当前帧的入光量包括:
按照顺序,以行为单位调整每行的所述预设像素单元的入光量,对所述像素阵列中的各像素单元逐行进行曝光,直至所述像素阵列中每一行都完成曝光;
其中,所述调整每行的所述预设像素单元的入光量包括:
按照所述预设像素单元的曝光顺序,依次连通当前行包括的所述行选通信号线控制的所述开关,每个所述开关对应一条所述列控制信号线;
对于当前行的每一所述预设像素单元,分别比较对应的所述历史输出值与预设阈值的大小;
若所述历史输出值大于第五预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述开合叶片减小展开程度,和/或减少所述开合叶片的展开数量,使通过所述下偏光片的入光量降低,降低所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
若所述历史输出值小于第六预设阈值,判断所述入光量控制单元上一帧的电位值是否处于可调节范围,若是,调整所述列控制信号线当前帧的电位值,按照预设的对应关系控制所述开合叶片增大展开程度,和/或增加所述开合叶片的展开数量,使通过所述下偏光片的入光量增多,提高所述预设像素单元当前帧的入光量,若否,保持所述列控制信号线当前帧的电位值,保持所述预设像素单元当前帧的入光量;
其中,所述第五预设阈值大于所述第六预设阈值;
所述当前帧的电位值调整完成后,关闭当前行包括的所述行选通信号线控制的所述开关,按照所述预设像素单元的曝光顺序,逐行重复上述步骤,所述当前帧的电位值通过设于所述开关与所述入光量控制单元之间的存储电容至少保持至当前行曝光结束;
其中,完成所述调整所述列控制信号线当前帧的电位值的时间早于或等于当前行开始曝光的时间。
11.如权利要求1所述的方法,其特征在于,所述图像传感器包括第一存储模块和第二存储模块;
其中,所述第一存储模块用于存储所述图像传感器的像素阵列中各预设像素单元的历史输出值;
所述第二存储模块用于存储所述图像传感器的像素阵列中各预设像素单元对应的入光量控制单元上一帧的电位值。
12.一种图像传感器,其特征在于,适于通过如权利要求1~11的方法实现单帧高动态范围。
CN202011298924.6A 2020-11-18 2020-11-18 一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器 Active CN114520884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011298924.6A CN114520884B (zh) 2020-11-18 2020-11-18 一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011298924.6A CN114520884B (zh) 2020-11-18 2020-11-18 一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器

Publications (2)

Publication Number Publication Date
CN114520884A true CN114520884A (zh) 2022-05-20
CN114520884B CN114520884B (zh) 2024-04-16

Family

ID=81594880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011298924.6A Active CN114520884B (zh) 2020-11-18 2020-11-18 一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器

Country Status (1)

Country Link
CN (1) CN114520884B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070216789A1 (en) * 2006-03-15 2007-09-20 Honeywell International, Inc. System and apparatus for high dynamic range sensor
TW201242353A (en) * 2011-04-08 2012-10-16 Pixart Imaging Inc High dynamic range imager circuit and method for reading high dynamic range image
CN103149721A (zh) * 2011-11-29 2013-06-12 索尼公司 液晶调光装置、图像拾取单元和驱动液晶调光器件的方法
WO2018040483A1 (zh) * 2016-08-29 2018-03-08 华为技术有限公司 光照处理方法及装置
CN109040608A (zh) * 2018-08-20 2018-12-18 上海晔芯电子科技有限公司 一种单帧高动态范围成像方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070216789A1 (en) * 2006-03-15 2007-09-20 Honeywell International, Inc. System and apparatus for high dynamic range sensor
TW201242353A (en) * 2011-04-08 2012-10-16 Pixart Imaging Inc High dynamic range imager circuit and method for reading high dynamic range image
CN103149721A (zh) * 2011-11-29 2013-06-12 索尼公司 液晶调光装置、图像拾取单元和驱动液晶调光器件的方法
WO2018040483A1 (zh) * 2016-08-29 2018-03-08 华为技术有限公司 光照处理方法及装置
CN109040608A (zh) * 2018-08-20 2018-12-18 上海晔芯电子科技有限公司 一种单帧高动态范围成像方法及系统

Also Published As

Publication number Publication date
CN114520884B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
TWI433533B (zh) 影像擷取裝置及其影像合成方法
US20110176031A1 (en) Camera and method for capturing and processing photos in camera
CN101983510B (zh) 自适应局部白平衡调节的系统与方法
US8737755B2 (en) Method for creating high dynamic range image
CN101420531A (zh) 高动态范围图片撷取装置及方法
US20070212055A1 (en) Image capture apparatus
US11601600B2 (en) Control method and electronic device
CN107801011B (zh) 全景拍摄的白平衡处理方法、装置及设备
CN107800971B (zh) 全景拍摄的自动曝光控制处理方法、装置及设备
US20230007161A1 (en) Systems and methods for high dynamic range imaging using crossed polarizers
CN102984463A (zh) 图像处理方法及系统
WO2020034702A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN107509044A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN102883105A (zh) 摄像装置及其控制方法
US20080094481A1 (en) Intelligent Multiple Exposure
Mann et al. Painting with looks: Photographic images from video using quantimetric processing
CN101930129A (zh) 具有相机快门功能的薄膜电晶体液晶面板
CN105611194B (zh) 基于dmd的双目高动态调光成像系统及成像方法
CN106133820A (zh) 显示装置及其控制方法、以及取景器装置
CN114520884B (zh) 一种图像传感器获取单帧高动态范围图像的方法和一种图像传感器
CN110389463B (zh) 用于显示高动态范围图像的方法及系统
CN102090054B (zh) 成像设备,图像处理设备和图像处理方法
CN101483717B (zh) 数字拍摄设备及其控制方法
CN113364996A (zh) 基于lcd多晶元板的图像生成方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant