CN113676635B - 高动态范围图像的生成方法、装置、电子设备和存储介质 - Google Patents
高动态范围图像的生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113676635B CN113676635B CN202110936469.6A CN202110936469A CN113676635B CN 113676635 B CN113676635 B CN 113676635B CN 202110936469 A CN202110936469 A CN 202110936469A CN 113676635 B CN113676635 B CN 113676635B
- Authority
- CN
- China
- Prior art keywords
- full
- color
- exposure time
- pixel
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000010586 diagram Methods 0.000 claims description 83
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 14
- 108010001267 Protein Subunits Proteins 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种高动态范围图像的生成方法、装置、计算机设备和存储介质。方法包括:对像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;第一全尺寸图或第二全尺寸图中每一个像素均是像素点阵列中对应的一个像素点曝光得到,第一全尺寸图包括第一曝光时长对应的全色像素和第二曝光时长对应的单颜色像素,第二全尺寸图包括第三曝光时长对应的全色像素和第四曝光时长对应的单颜色像素,第一曝光时长大于第二曝光时长,第三曝光时长小于第四曝光时长;基于第一全尺寸图和第二全尺寸图,生成高动态范围图像。采用本方法能够提高提高生成的高动态范围图像的准确性。
Description
技术领域
本申请涉及计算机技术,特别是涉及一种高动态范围图像的生成方法、装置、电子设备和计算机可读存储介质。
背景技术
在越多越多的电子设备中,会安装有摄像头,以实现拍照功能。摄像头中设置有图像传感器,通过图像传感器采集图像。随着计算机技术的发展,出现了HDR(High-DynamicRange,高动态范围)技术,HDR技术即将多张图像进行融合得到一张最终的高动态范围图像。
然而,传统的高动态范围图像的生成方法,存在融合得到的图像不准确的问题。
发明内容
本申请实施例提供了一种高动态范围图像的生成方法、装置、电子设备、计算机可读存储介质,可以提高生成的高动态范围图像的准确性。
一种高动态范围图像的生成方法,应用于包括图像传感器的电子设备,所述图像传感器包括像素点阵列,所述像素点阵列包括最小像素点重复单元,每个所述最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个所述单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个所述全色像素点子单元包括多个矩阵排列的全色像素点;所述方法包括:
对所述像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,所述第一全尺寸图或所述第二全尺寸图中每一个像素均是所述像素点阵列中对应的一个像素点曝光得到,所述第一全尺寸图包括以第一曝光时长对所述全色像素点进行曝光得到的全色像素和以第二曝光时长对所述单颜色像素点进行曝光得到的单颜色像素,所述第二全尺寸图包括以第三曝光时长曝光对所述全色像素点进行曝光得到的全色像素和以第四曝光时长对所述单颜色像素点进行曝光得到的单颜色像素,所述第一曝光时长大于所述第二曝光时长,所述第三曝光时长小于所述第四曝光时长;
基于所述第一全尺寸图和所述第二全尺寸图,生成高动态范围图像。
一种高动态范围图像的生成装置,应用于包括图像传感器的电子设备,所述图像传感器包括像素点阵列,所述像素点阵列包括最小像素点重复单元,每个所述最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个所述单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个所述全色像素点子单元包括多个矩阵排列的全色像素点;所述装置包括:
曝光模块,用于对所述像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,所述第一全尺寸图或所述第二全尺寸图中每一个像素均是所述像素点阵列中对应的一个像素点曝光得到,所述第一全尺寸图包括以第一曝光时长对所述全色像素点进行曝光得到的全色像素和以第二曝光时长对所述单颜色像素点进行曝光得到的单颜色像素,所述第二全尺寸图包括以第三曝光时长曝光对所述全色像素点进行曝光得到的全色像素和以第四曝光时长对所述单颜色像素点进行曝光得到的单颜色像素,所述第一曝光时长大于所述第二曝光时长,所述第三曝光时长小于所述第四曝光时长;
图像生成模块,用于基于所述第一全尺寸图和所述第二全尺寸图,生成高动态范围图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述的高动态范围图像的生成方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述高动态范围图像的生成方法、装置、电子设备、计算机可读存储介质,电子设备中的图像传感器包括像素点阵列,像素点阵列包括最小像素点重复单元,每个最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个全色像素点子单元包括多个矩阵排列的全色像素点;对像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,第一全尺寸图或第二全尺寸图中每一个像素均是像素点阵列中对应的一个像素点曝光得到,第一全尺寸图包括以第一曝光时长对全色像素点进行曝光得到的全色像素和以第二曝光时长对单颜色像素点进行曝光得到的单颜色像素,第二全尺寸图包括以第三曝光时长曝光对全色像素点进行曝光得到的全色像素和以第四曝光时长对单颜色像素点进行曝光得到的单颜色像素,第一曝光时长大于第二曝光时长,第三曝光时长小于第四曝光时长;也就是说,第一全尺寸图具有以较长曝光时长曝光得到的像素和以较短曝光时长曝光得到的像素,第二全尺寸图也具有以较长曝光时长曝光得到的像素和以较短曝光时长曝光得到的像素,那么,第一全尺寸图中各区域的亮度和第二全尺寸图中相应区域的亮度较为接近,从而可以基于第一全尺寸图和第二全尺寸图进行更准确地比对,生成更准确的高动态范围图像。
并且,相对于传统技术中采用三个或者三个以上的图像进行融合得到高动态范围图像的方法,电子设备对像素点阵列进行两次曝光,得到第一全尺寸图和第二全尺寸图,基于第一全尺寸图和第二全尺寸图,可以更快速生成高动态范围图像,也节约了电子设备的资源,降低了功耗。
一种高动态范围图像的生成方法,应用于包括图像传感器的电子设备,其特征在于,所述图像传感器包括像素点阵列,所述像素点阵列包括最小像素点重复单元,每个所述最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个所述单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个所述全色像素点子单元包括多个矩阵排列的全色像素点,所述全色像素点子单元包括多个以第一曝光时长进行曝光的全色像素点和多个以第三曝光时长进行曝光的全色像素点,所述单颜色像素点子单元中包括多个以第二曝光时长进行曝光的单颜色像素点和多个以第四曝光时长进行曝光的单颜色像素点;所述第一曝光时长大于所述第三曝光时长,所述第二曝光时长小于所述第四曝光时长;所述方法包括:
对所述像素点阵列中各像素点进行曝光,得到各所述像素点对应的感光数据;所述感光数据包括所述全色像素点以所述第一曝光时长进行曝光得到的第一全色感光数据、所述全色像素点以所述第三曝光时长进行曝光得到的第二全色感光数据、所述单颜色像素点以所述第四曝光时长进行曝光得到的第一单颜色感光数据和所述单颜色像素点以所述第二曝光时长进行曝光得到的第二单颜色感光数据;
从每个所述全色像素点子单元获取到多个所述第一全色感光数据进行合并,得到第一全色像素;从每个所述单颜色像素点子单元获取到多个所述第一单颜色感光数据进行合并,得到第一单颜色像素;
从每个所述全色像素点子单元获取到多个所述第二全色感光数据进行合并,得到第二全色像素;从每个所述单颜色像素点子单元获取到多个所述第二单颜色感光数据进行合并,得到第二单颜色像素;
基于各所述第一全色像素和各所述第一单颜色像素生成第一中间图;基于各所述第二全色像素和各所述第二单颜色像素生成第二中间图;
基于所述第一中间图和所述第二中间图,生成高动态范围图像。
一种高动态范围图像的生成装置,应用于包括图像传感器的电子设备,其特征在于,所述图像传感器包括像素点阵列,所述像素点阵列包括最小像素点重复单元,每个所述最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个所述单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个所述全色像素点子单元包括多个矩阵排列的全色像素点,所述全色像素点子单元包括多个以第一曝光时长进行曝光的全色像素点和多个以第三曝光时长进行曝光的全色像素点,所述单颜色像素点子单元中包括多个以第二曝光时长进行曝光的单颜色像素点和多个以第四曝光时长进行曝光的单颜色像素点;所述第一曝光时长大于所述第三曝光时长,所述第二曝光时长小于所述第四曝光时长;所述装置包括:
曝光模块,用于对所述像素点阵列中各像素点进行曝光,得到各所述像素点对应的感光数据;所述感光数据包括所述全色像素点以所述第一曝光时长进行曝光得到的第一全色感光数据、所述全色像素点以所述第三曝光时长进行曝光得到的第二全色感光数据、所述单颜色像素点以所述第四曝光时长进行曝光得到的第一单颜色感光数据和所述单颜色像素点以所述第二曝光时长进行曝光得到的第二单颜色感光数据;
图像生成模块,用于从每个所述全色像素点子单元获取到多个所述第一全色感光数据进行合并,得到第一全色像素;从每个所述单颜色像素点子单元获取到多个所述第一单颜色感光数据进行合并,得到第一单颜色像素;从每个所述全色像素点子单元获取到多个所述第二全色感光数据进行合并,得到第二全色像素;从每个所述单颜色像素点子单元获取到多个所述第二单颜色感光数据进行合并,得到第二单颜色像素;基于各所述第一全色像素和各所述第一单颜色像素生成第一中间图;基于各所述第二全色像素和各所述第二单颜色像素生成第二中间图;基于所述第一中间图和所述第二中间图,生成高动态范围图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述的高动态范围图像的生成方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述高动态范围图像的生成方法、装置、电子设备、计算机可读存储介质,电子设备对像素点阵列中各像素点进行一次曝光,即可得到包含有第一曝光时长对应的第一全色感光数据和第三曝光时长对应的第二全色感光数据,以及第四曝光时长对应的第一单颜色感光数据和第二曝光时长对应的第二单颜色感光数据,那么,基于各第一全色感光数据和各第一单颜色感光数据,可以合并得到较长曝光时长的第一中间图,基于各第二全色感光数据和各第二单颜色像素,可以合并得到较短曝光时长的第二中间图,从而生成高动态范围图像。相比于传统技术中需要对像素点阵列进行多次曝光得到多个图像再融合生成高动态范围图像的方法,上述高动态范围图像的生成方法,仅需要对像素点阵列中各像素点进行一次曝光,即可生成高动态范围图像,提高了高动态范围图像生成的效率,生成高动态范围图像的帧率也更高,节约了电子设备的资源。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的结构示意图;
图2为一个实施例中图像传感器的分解示意图;
图3为一个实施例中最小滤色片重复单元的排布方式示意图;
图4为一个实施例中高动态范围图像的生成方法的流程图;
图5为一个实施例中通过像素点阵列得到第一全尺寸图和第二全尺寸图的示意图;
图6为另一个实施例中高动态范围图像的生成方法的流程图;
图7为一个实施例中基于第一全尺寸图和第二全尺寸图得到第一一级合并图和第二一级合并图的示意图;
图8为一个实施例中基于第一一级合并图得到第一二级合并图和第二二级合并图的示意图;
图9为一个实施例中通过像素点阵列得到第三全尺寸图、第四全尺寸图和第五全尺寸图的示意图;
图10为一个实施例中通过第三全尺寸图、第四全尺寸图和第五全尺寸图得到第三一级合并图、第四一级合并图和第五一级合并图的示意图;
图11为一个实施例中通过第三一级合并图、第四一级合并图和第五一级合并图得到第三二级合并图、第四二级合并图和第五二级合并图的示意图;
图12为一个实施例中全尺寸图、一级合并图和二级合并图之间的关系示意图;
图13为另一个实施例中高动态范围图像的生成方法的流程图;
图14为一个实施例中得到第一中间图和第二中间图的示意图;
图15为一个实施例的高动态范围图像的生成装置的结构框图;
图16为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
如图1所示,电子设备包括摄像头102,摄像头102包含图像传感器,图像传感器包括滤色片阵列和像素点阵列。
下面以电子设备为手机进行说明,但电子设备不限于手机。终端包括摄像头、处理器和壳体。摄像头和处理器均设置在壳体内,壳体还可用于安装终端的供电装置、通信装置等功能模块,以使壳体为功能模块提供防尘、防摔、防水等保护。
摄像头可以是前置摄像头、后置摄像头、侧置摄像头、屏下摄像头等,在此不做限制。摄像头包括镜头及图像传感器,摄像头在拍摄图像时,光线穿过镜头并到达图像传感器,图像传感器用于将照射到图像传感器21上的光信号转化为电信号。
如图2所示,图像传感器包括微透镜阵列21、滤色片阵列22和像素点阵列23。
微透镜阵列21包括多个微透镜211,微透镜211、滤色片阵列22中的滤色片和像素点阵列23中的像素点一一对应设置,微透镜211用于将入射的光线进行聚集,聚集之后的光线会穿过对应的滤色片,然后投射至像素点上,被对应的像素点接收,像素点再将接收的光线转化成电信号。
滤色片阵列22包括多个最小滤色片重复单元221。每个最小滤色片重复单元221包括多个单颜色滤色片子单元222和多个全色滤色片子单元223。每个单颜色滤色片子单元222包括多个矩阵排列的单颜色滤色片,每个全色滤色片子单元223包括多个矩阵排列的全色滤色片。
单颜色滤色片是指能够透过单个颜色光线的滤色片。单颜色滤色片可以是红色(Red,R)滤色片、绿色(Green,G)滤色片或蓝色(Blue,B)滤色片,全色滤色片可以是白色滤色片。
全色滤色片是指能够透过全部颜色光线的滤色片。全色滤色片可以是白色(White,W)滤色片。可以理解的是,全色滤色片可以透过白色光线,而白色光线是由各个波段的波长一起投射所得的光,即全色滤色片可以透过全部颜色的光线。
单颜色滤色片可以透过相应颜色的光线,并投射至单颜色像素点上,全色滤色片可以透过全部颜色的光线,并投射至全色像素点上。例如,红色滤色片可以透过红色光线并投射至红色像素点上,绿色滤色片可以透过红色光线并投射至绿色像素点上,白色滤色片可以透过红色光线并投射至白色像素点上。在本实施例中,最小滤色片重复单元221包括8个单颜色滤色片子单元222和8个全色滤色片子单元223,并且8个单颜色滤色片子单元222和8个全色滤色片子单元223呈矩阵排列;每个单颜色滤色片子单元包括4个矩阵排列的单颜色滤色片,每个全色滤色片子单元包括4个矩阵排列的全色滤色片。
在一个实施例中,如图3所示,最小滤色片重复单元为8行8列64个滤色片,排布方式为:
其中,w表示全色滤色片,占最小滤色片重复单元的50%,a、b和c均表示单颜色滤色片,a和c占最小滤色片重复单元的12.5%,b占最小滤色片重复单元的25%。
在其中一个实施例中,w可以表示白色滤色片,a、b和c可以表示分别表示红色滤色片、绿色滤色片和蓝色滤色片。在其他实施例中,w可以表示白色滤色片,a、b和c可以表示分别表示青色滤色片、品红色滤色片和黄色滤色片。
例如,w可以表示白色滤色片,a表示红色滤色片,b表示绿色滤色片,c表示蓝色滤色片。又如,w可以表示白色滤色片,a表示绿色滤色片,b表示红色滤色片,c表示蓝色滤色片。
需要说明的是,通过单颜色滤色片得到的各种像素的顺序可以根据需要进行设置,并不限定。
同样的,像素点阵列23包括多个最小像素点重复单元231。每个最小像素点重复单元231包括多个单颜色像素点子单元232和多个全色像素点子单元233。每个单颜色像素点子单元232包括多个矩阵排列的单颜色像素点,每个全色像素点子单元233包括多个矩阵排列的全色像素点。
单颜色像素点是指接收单个颜色光线的像素点。单颜色滤色片具体可以包括红色(Red,R)像素点、绿色(Green,G)像素点或蓝色(Blue,B)像素点。全色像素点是指接收全部颜色光线的像素点。全色像素点可以是白色(White,W)像素点。
在本实施例中,最小像素点重复单元231包括8个单颜色像素点子单元232和8个全色像素点子单元233,并且8个单颜色像素点子单元232和8个全色像素点子单元233呈矩阵排列;每个单颜色像素点子单元包括4个矩阵排列的单颜色像素点,每个全色像素点子单元包括4个矩阵排列的全色像素点。
图4为一个实施例中高动态范围图像的生成方法的流程图。本实施例中的高动态范围图像的生成方法,以运行于图1中的电子设备上为例进行描述。如图4所示,高动态范围图像的生成方法包括步骤402至步骤404。
步骤402,对像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,第一全尺寸图或第二全尺寸图中每一个像素均是像素点阵列中对应的一个像素点曝光得到,第一全尺寸图包括以第一曝光时长对全色像素点进行曝光得到的全色像素和以第二曝光时长对单颜色像素点进行曝光得到的单颜色像素,第二全尺寸图包括以第三曝光时长曝光对全色像素点进行曝光得到的全色像素和以第四曝光时长对单颜色像素点进行曝光得到的单颜色像素,第一曝光时长大于第二曝光时长,第三曝光时长小于第四曝光时长。
第一全尺寸图是以第一曝光时长对全色像素点进行曝光,以第二曝光时长对单颜色像素点进行曝光,并且每个像素点得到对应的一个像素所构成的图像。第二全尺寸图是以第三曝光时长对全色像素点进行曝光,以第四曝光时长对单颜色像素点进行曝光,并且每个像素点得到对应的一个像素所构成的图像。其中,第一曝光时长大于第二曝光时长,第三曝光时长小于第四曝光时长。
第一曝光时长、第二曝光时长、第三曝光时长和第四曝光时长均可以根据需要进行设置。第一曝光时长和第四曝光时长可以相同,也可以不同。第二曝光时长和第三曝光时长可以相同,也可以不同。需要说明的是,第二曝光时长应小于第四曝光时长,第三曝光时长应小于第一曝光时长。
例如,第一曝光时长为0.02ms(毫秒),第二曝光时长为0.01ms,第三曝光时长为0.01ms,第四曝光时长为0.02ms。又如,第一曝光时长为0.04ms,第二曝光时长为0.02ms,第三曝光时长为0.02ms,第四曝光时长为0.03ms。
电子设备以第一曝光时长对像素点阵列中各全色像素点进行曝光得到相应的各全色像素,并且以第二曝光时长对像素点阵列中各单颜色像素点进行曝光得到相应的各单颜色像素,将各全色像素和各单颜色像素进行组合,生成第一全尺寸图。其中,全色像素点与全色像素一一对应,单颜色像素点与单颜色像素一一对应。
电子设备以第三曝光时长对像素点阵列中各全色像素点进行曝光得到相应的各全色像素,并且以第四曝光时长对像素点阵列中各单颜色像素点进行曝光得到相应的各单颜色像素,将各全色像素和各单颜色像素进行组合,生成第二全尺寸图。其中,全色像素点与全色像素一一对应,单颜色像素点与单颜色像素一一对应。
电子设备在对像素点阵列进行曝光时,可以采用DOL(Digital overlap,数字交叠)技术进行曝光,也可以采用MF(Multiframe,多帧)技术进行曝光。
其中,DOL技术指的是像素点阵列中每行像素点对当前帧曝光完成时,继续进行下一帧曝光。例如,电子设备需要对像素点阵列分别进行长曝光时长L和短曝光时长S的曝光,从而得到长曝光时长L对应的长曝光图和短曝光时长S对应的短曝光图。电子设备以长曝光时长L对像素点阵列中的第一行像素点进行曝光,曝光完成时以长曝光时长L对第二行像素点进行曝光,从而得到长曝光时长L对应的长曝光图;在对第一行像素点进行曝光完成的同时,以短曝光时长S对第一行像素点进行曝光,在以短曝光时长S对第一行像素点进行曝光完成、并且以长曝光时长L对第二行像素点进行曝光完成时,则以短曝光时长S对第二行像素点进行曝光,从而最终得到短曝光时长S对应的长曝光图。电子设备采用DOL技术,可以更快速曝光得到多帧图像。
MF技术指的是对像素点阵列曝光完成得到一帧图像后,再进行下一帧图像的曝光。例如,电子设备需要对像素点阵列分别进行长曝光时长L和短曝光时长S的曝光,从而得到长曝光时长L对应的长曝光图和短曝光时长S对应的短曝光图。电子设备先以长曝光时长L对像素点阵列中每一行像素点进行曝光,得到长曝光图之后,再以短曝光时长S对像素点阵列中每一行像素点进行曝光,得到短曝光图。
步骤404,基于第一全尺寸图和第二全尺寸图,生成高动态范围图像。
高动态范围图像(High-Dynamic Range,简称HDR)是指相比普通图像能够提供更多的动态范围和图像细节。
具体地,电子设备将第一全尺寸图和第二全尺寸图进行亮度对齐,将亮度对齐后的第一全尺寸图和第二全尺寸图进行合并,生成高动态范围图像。
可以理解的是,曝光时间长的像素位置亮度高,曝光时间短的像素位置亮度低,而第一全尺寸图包括以第一曝光时长对应的全色像素和以第二曝光时长对应的单颜色像素,第二全尺寸图包括以第三曝光时长曝光对应的全色像素和以第四曝光时长对应的单颜色像素,也即第一全尺寸图包括较长曝光时长的像素和较短曝光时长的像素,第二全尺寸图也包括较长曝光时长的像素和较短曝光时长的像素,故第一全尺寸图和第二全尺寸图中相应区域的亮度较为接近,可以更准确地将相应区域进行亮度对齐,从而生成更准确的高动态范围图像,生成的高动态范围图像更贴近于实际场景,图像的保真率更高。
例如,电子设备拍摄建筑物A时,对像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图,而第一全尺寸图和第二全尺寸图中建筑物A所在区域的亮度较为接近,则可以更准确地将建筑物A所在区域进行亮度对齐,从而生成更准确的高动态范围图像。
并且,第一全尺寸图的亮度和第二全尺寸图的亮度不同,则将第一全尺寸图和第二全尺寸图进行融合,可以得到更宽动态范围的高动态融合图像。例如,第一全尺寸图中人脸区域的亮度范围为10bit,第二全尺寸图中相同人脸区域的亮度范围也为10bit,则将第一全尺寸图和第二全尺寸图进行融合,可以得到亮度范围为20bit的更宽动态范围的高动态融合图像。
在一种实施方式中,电子设备将亮度对齐后的第一全尺寸图和第二全尺寸图进行合并处理,生成高动态范围图像。在另一种实施方式中,电子设备分别从亮度对齐后的第一全尺寸图和第二全尺寸图中提取出需要的像素,生成高动态范围图像。在另一种实施方式中,电子设备还可以分别获取亮度对齐后的第一全尺寸图和第二全尺寸图的权重因子,对亮度对齐后的第一全尺寸图和第二全尺寸图进行加权处理后再进行合并,生成高动态范围图像。
需要说明的是,基于第一全尺寸图和第二全尺寸图生成高动态范围图像的方式可以根据需要进行设置,在此并不限定。
上述高动态范围图像的生成方法,电子设备中的图像传感器包括像素点阵列,像素点阵列包括最小像素点重复单元,每个最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个全色像素点子单元包括多个矩阵排列的全色像素点;对像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,第一全尺寸图或第二全尺寸图中每一个像素均是像素点阵列中对应的一个像素点曝光得到,第一全尺寸图包括以第一曝光时长对全色像素点进行曝光得到的全色像素和以第二曝光时长对单颜色像素点进行曝光得到的单颜色像素,第二全尺寸图包括以第三曝光时长曝光对全色像素点进行曝光得到的全色像素和以第四曝光时长对单颜色像素点进行曝光得到的单颜色像素,第一曝光时长大于第二曝光时长,第三曝光时长小于第四曝光时长;也就是说,第一全尺寸图具有以较长曝光时长曝光得到的像素和以较短曝光时长曝光得到的像素,第二全尺寸图也具有以较长曝光时长曝光得到的像素和以较短曝光时长曝光得到的像素,那么,第一全尺寸图中各区域的亮度和第二全尺寸图中相应区域的亮度较为接近,从而可以基于第一全尺寸图和第二全尺寸图进行更准确地比对,生成更准确的高动态范围图像。
并且,相对于传统技术中采用三个或者三个以上的图像进行融合得到高动态范围图像的方法,电子设备对像素点阵列进行两次曝光,得到第一全尺寸图和第二全尺寸图,基于第一全尺寸图和第二全尺寸图,可以更快速生成高动态范围图像,也节约了电子设备的资源,降低了功耗。
图5为一个实施例中通过像素点阵列得到第一全尺寸图和第二全尺寸图的示意图。电子设备对像素点阵列502进行一次曝光得到第一全尺寸图504,第一全尺寸图504中每一个像素均是像素点阵列中对应的一个像素点曝光得到,第一全尺寸图包括以曝光时长L对全色像素点w进行曝光得到的全色像素w和以曝光时长S对单颜色像素点a、b或c进行曝光得到的单颜色像素a、b或c。其中,曝光时长L大于曝光时长S。
电子设备对像素点阵列502进行另一次曝光得到第二全尺寸图506,第一全尺寸图506中每一个像素均是像素点阵列中对应的一个像素点曝光得到,第二全尺寸图506包括以曝光时长S对全色像素点w进行曝光得到的全色像素w和以曝光时长L对单颜色像素点a、b或c进行曝光得到的单颜色像素a、b或c。其中,曝光时长L大于曝光时长S。
在一个实施例中,第一全尺寸图采用第一预设方式对像素点阵列进行曝光得到,第二全尺寸图采用第二预设方式对像素点阵列进行曝光得到;上述方法还包括:获取电子设备的当前环境亮度;基于当前环境亮度从第一预设方式和第二预设方式中确定目标预设方式,采用目标预设方式对像素点阵列进行曝光,得到目标全尺寸图像;目标全尺寸图为第一全尺寸图或第二全尺寸图。
第一预设方式是对像素点进行曝光得到第一全尺寸图的方式。第一预设方式也即像素点阵列中全色像素点以第一曝光时长进行曝光,单颜色像素点以第二曝光时长进行曝光的方式。
第二预设方式是对像素点进行曝光得到第二全尺寸图的方式。第二预设方式也即像素点阵列中全色像素点以第三曝光时长进行曝光,单颜色像素点以第四曝光时长进行曝光的方式。
当前环境亮度指的是电子设备当前所处的环境的亮度。目标预设方式是从第一预设方式和第二预设方式中确定其中一种的方式,目标全尺寸图是目标预设方式对像素点阵列进行曝光得到的图像。也即,目标预设方式为第一预设方式或第二预设方式,目标全尺寸图为相应的第一全尺寸图或第二全尺寸图。
电子设备获取到目标全尺寸图之后,可以输出该目标全尺寸图。在一种实施方式中,电子设备可以直接将输出的目标全尺寸图展示在显示界面中。在另一种实施方式中,电子设备可以将该目标全尺寸图分解出单颜色通道图和全色通道图,将单颜色通道图和全色通道图进行融合,得到拜耳阵列图像,输出该拜耳阵列图像。其中,融合方式可以是将单颜色通道图和全色通道图中相应位置的单颜色像素和全色像素相加,也可以将单颜色通道图和全色通道图中相应位置的单颜色像素和全色像素求平均值,在此不做限定。拜耳阵列是一种模拟人眼对色彩的敏感程度,采用1红2绿1蓝的排列方式将灰度信息转换成彩色信息的技术,是实现CCD(Charge-coupled Device,电荷耦合元件)或CMOS(ComplementaryMetal Oxide Semiconductor,互补金属氧化物半导体)传感器拍摄彩色图像的主要技术之一。
可以理解的是,当前环境亮度高则在曝光时可以获取到更多的光线,当前环境亮度低则在曝光时获取到更少的光线,那么基于当前环境亮度可以确定出相匹配的目标预设方式,从而更准确地得到目标全尺寸图。并且,电子设备对像素点阵列进行一次曝光可以得到一张图像,可以保证较高的图像帧率。当对帧率要求较高的情况下,可以采用本实施例输出目标全尺寸图。
在一个实施例中,获取电子设备的当前环境亮度,包括:获取当前时刻;当当前时刻处于预设白天时长范围内时,确定电子设备的当前环境亮度为第一环境亮度;当当前时刻处于预设夜晚时长范围内时,确定电子设备的当前环境亮度为第二环境亮度;第一环境亮度大于第二环境亮度;基于当前环境亮度从第一预设方式和第二预设方式中确定目标预设方式,包括:当当前环境亮度为第一环境亮度时,确定第一预设方式为目标预设方式;当当前环境亮度为第二环境亮度时,确定第二预设方式为目标预设方式。
预设白天时长范围指的是预先设置的处于白天的时间范围。例如,预设白天时长范围可以是8点-18点、9点-19点或8点-20点等。预设夜晚时长范围指的是预先设置的处于夜晚的时间范围。例如,预设夜晚时长范围可以是18点-8点、19点-9点或20点-8点等。
第一环境亮度是当前时刻处于预设白天时长范围内时电子设备的当前环境亮度。第二环境亮度是当前时刻处于预设夜晚时长范围内时电子设备的当前环境亮度。
当当前时刻处于预设白天时长范围内时,表示当前时刻处于白天时刻,则确定电子设备的当前环境亮度为亮度较高的第一环境亮度,那么对单颜色像素点进行较短时长曝光也可以得到充足的进光量,并且全色像素点以较长时长曝光具有更高的信噪比,则确定第一预设方式为目标预设方式,也即像素点阵列中全色像素点以第一曝光时长进行曝光,单颜色像素点以第二曝光时长进行曝光的方式,可以提升生成的目标全尺寸图中较暗的区域的信噪比,从而生成更准确的目标全尺寸图。
当当前时刻处于预设夜晚时长范围内时,表示当前时刻处于夜晚时刻,则确定电子设备的当前环境亮度为亮度较低的第二环境亮度,那么电子设备在曝光时进光量较少,则确定第二预设方式为目标预设方式,也即像素点阵列中全色像素点以第三曝光时长进行曝光,单颜色像素点以第四曝光时长进行曝光的方式,以较长曝光时长进行曝光的单颜色像素点可以保证生成的目标全尺寸图的色彩准确性,并且以较短曝光时长进行曝光的全色像素点可以降低目标全尺寸图的运动模糊,从而生成更准确的目标全尺寸图。
在一个实施例中,基于第一全尺寸图和第二全尺寸图,生成高动态范围图像,包括:将第一全尺寸图中每个像素子单元中各像素进行合并,得到第一一级合并图;将第二全尺寸图中每个像素子单元中各像素进行合并,得到第二一级合并图;像素子单元与像素点子单元一一对应,第一一级合并图中对角方向上的两个像素,包括以第一曝光时长进行曝光得到的像素和以第二曝光时长进行曝光得到的像素,第二一级合并图中对角方向上的两个像素,包括以第三曝光时长进行曝光得到的像素和以所述第四曝光时长进行曝光得到的像素;基于第一一级合并图和第二一级合并图,生成高动态范围图像。
第一一级合并图是第一全尺寸图中每个像素子单元中各像素进行合并得到的图像。第二一级合并图是第二全尺寸图中每个像素子单元中各像素进行合并得到的图像。
第一全尺寸图和第二全尺寸图中均包括有多个单颜色像素子单元和多个全色像素子单元。那么,合并得到的第一一级合并图和第二一级合并图中均有多个单颜色像素和多个全色像素。
可选地,各像素进行合并的方式可以是各像素的像素值进行相加,也可以是各像素的像素值求平均值,在此不做限定。
电子设备对第一一级合并图和第二一级合并图进行亮度对齐处理,得到亮度对齐后的第一一级合并图;对亮度对齐后的第一一级合并图进行运动检测,得到运动检测结果;基于运动检测结果将第二一级合并图和亮度对齐后的第一一级合并图进行融合,生成高动态范围图像。
其中,亮度对齐处理包括:识别第一一级合并图中像素值大于第一预设阈值的过曝图像像素;对于每一个过曝图像像素,以该过曝图像像素为中心扩展预设区域;在预设区域内查找像素值小于第一预设阈值的中间图像像素;获取第二一级合并图中该过曝图像像素和中间图像像素分别对应位置的参考像素;按照各参考像素的像素值之间的对应关系,以及中间图像像素的像素值,确定过曝图像像素新的像素值并进行更新,得到亮度对齐后的第一一级合并图。其中,第一预设阈值、预设区域均可以根据需要进行设置。
例如,第一一级合并图中的过曝图像像素的像素值为A,在预设区域内查找到像素值小于第一预设阈值的中间图像像素,该中间图像像素的像素值为B,第二一级合并图中该过曝图像像素和中间图像像素分别对应位置的参考像素的像素值为C和D,则过曝图像像素新的像素值=B*C/D。
可以理解的是,通过对第一一级合并图中的过曝图像像素的像素值进行修正,可以得到更加准确的亮度对齐后的第一一级合并图。
基于运动检测结果将第二一级合并图和亮度对齐后的第一一级合并图进行融合,生成高动态范围图像,包括:若运动检测结果表示亮度对齐后的第一一级合并图中不存在运动模糊区域,则直接融合第二中间图像和亮度对齐后的第一一级合并图,得到高动态范围图像;若运动检测结果表示亮度对齐后的第一一级合并图中存在运动模糊区域,则将第一一级合并图中的运动模糊区域剔除,只融合第二一级合并图的所有区域以及亮度对齐后的第一一级合并图中除运动模糊区域以外的区域,得到高动态范围图像。
若运动检测结果表示亮度对齐后的第一一级合并图中不存在运动模糊区域,则此时第一一级合并图和第二一级合并图的融合遵循以下原则:(1)亮度对齐后的第一一级合并图中,将过曝区域的图像像素的像素值直接替换为第二一级合并图中对应于该过曝区域的图像像素的像素值;(2)亮度对齐后的第一一级合并图中,欠曝区域的图像像素的像素值为:长曝光像素值除以长短像素值比例;(3)亮度对齐后的第一一级合并图中,未欠曝也未过曝区域的图像像素的像素值为:长曝光像素值除以长短像素值比例。
若运动检测结果表示亮度对齐后的第一一级合并图中存在运动模糊区域,则此时第一一级合并图和第二一级合并图的融合除了遵循上述三个原则外,还需要遵循第(4)个原则:亮度对齐后的第一一级合并图中,将运动模糊区域的图像像素的像素值直接替换为第二一级合并图中对应于该运动模糊区域的图像像素的像素值。需要说明的是,对于欠曝区域以及未欠曝也未过曝区域而言,这些区域内的图像像素的像素值为长曝光像素值除以长短像素值比例,即VL/(VL/VS)=VS’,其中,VL表示长曝光像素值,VS表示短曝光像素值,VS’表示计算出来的欠曝区域以及未欠曝也未过曝区域中图像像素的像素值。VS’的信噪比会大于VS的信噪比。
进一步地,在得到运动检测结果之后,还可以获取亮度对齐后的第一一级合并图中各像素和第二一级合并图中各像素分别对应的权重因子;基于运动检测结果将第二一级合并图和亮度对齐后的第一一级合并图进行融合,生成高动态范围图像,包括:基于运动检测结果,将经过加权处理的第二一级合并图,以及经过加权处理的亮度对齐后的第一一级合并图进行融合,生成高动态范围图像。其中,亮度对齐后的第一一级合并图中各像素和第二一级合并图中各像素分别对应的权重因子均可以根据需要进行设置。
在一个实施例中,如图6所示,电子设备将第一一级合并图和第二一级合并图602依次输入亮度对齐模块604、运动检测模块606、计算权重模块608和图像融合模块610,可以得到高动态范围图像610。
在本实施例中,分别将第一全尺寸图和第二全尺寸图中每个像素子单元中各像素进行合并,分别得到第一一级合并图和二一级合并图,第一一级合并图中的全色像素是以较长第一曝光时长进行曝光得到,单颜色感光像素是以较短的第二曝光时长得到,第二一级合并图中的全色像素是以较短第三曝光时长进行曝光得到,单颜色感光像素是以较长的第四曝光时长得到,那么,第一一级合并图中各区域的亮度和第二一级合并图中相应区域的亮度较为接近,从而可以基于第一一级合并图和第二一级合并图进行更准确地比对,生成更准确的高动态范围图像。
图7为一个实施例中基于第一全尺寸图和第二全尺寸图得到第一一级合并图和第二一级合并图的示意图。电子设备将第一全尺寸图504中每个像素子单元中各像素进行合并,得到第一一级合并图702,将第二全尺寸图506中每个像素子单元中各像素进行合并,得到第二一级合并图704。
在一个实施例中,基于第一一级合并图和第二一级合并图,生成高动态范围图像,包括:从第一一级合并图和第二一级合并图中选择目标一级合并图;在目标一级合并图中,获取第一曝光时长或第四曝光时长对应的像素,生成第一二级合并图,获取第二曝光时长或第三曝光时长对应的像素,生成第二二级合并图;基于第一二级合并图和第二二级合并图,生成高动态范围图像。
目标一级合并图是第一一级合并图和第二一级合并图的其中一种。第一二级合并图是将目标一级合并图中第一曝光时长或第四曝光时长对应的像素生成的图像,即第一二级合并图是较长曝光时长对应的多个像素生成的图像。
第二二级合并图是将目标一级合并图中第二曝光时长或第三曝光时长对应的像素生成的图像,即第二二级合并图是较短曝光时长对应的多个像素生成的图像。
电子设备将第一二级合并图和第二二级合并图分别进行亮度对齐、运动检测、权重计算操作后,生成高动态范围图像。
在本实施例中,从第一一级合并图和第二一级合并图中选择目标一级合并图;在目标一级合并图中,获取第一曝光时长或第四曝光时长对应的像素,生成第一二级合并图,获取第二曝光时长或第三曝光时长对应的像素,生成第二二级合并图,则可以基于第一二级合并图和第一二级合并图,实现生成高动态范围图像。
以目标一级合并图为第一一级合并图为例进行说明,如图8所示,电子设备从第一一级合并图702中获取第一曝光时长L对应的像素,生成第一二级合并图802,从第一一级合并图702中获取第二曝光时长S对应的像素,生成第二二级合并图804。
在一个实施例中,上述方法还包括:将像素点阵列中各像素点均按照第五曝光时长、第六曝光时长和第七曝光时长进行曝光,分别得到第三全尺寸图、第四全尺寸图和第五全尺寸图;第五曝光时长、第六曝光时长和第七曝光时长依次减小;基于第三全尺寸图、第四全尺寸图和第五全尺寸图,生成高动态范围图像。
第三全尺寸图是像素点阵列中各像素点均以第五曝光时长进行曝光,并且每个像素点得到对应的一个像素所构成的图像。第四全尺寸图是像素点阵列中各像素点均以第六曝光时长进行曝光,并且每个像素点得到对应的一个像素所构成的图像。第五全尺寸图是像素点阵列中各像素点均以第七曝光时长进行曝光,并且每个像素点得到对应的一个像素所构成的图像。
电子设备将第一二级合并图和第二二级合并图分别进行亮度对齐、运动检测、权重计算操作后,生成高动态范围图像。
在本实施例中,将像素点阵列中各像素点均按照第五曝光时长、第六曝光时长和第七曝光时长进行曝光,分别得到第三全尺寸图、第四全尺寸图和第五全尺寸图;第五曝光时长、第六曝光时长和第七曝光时长依次减小;则可以不同曝光时长得到的第三全尺寸图、第四全尺寸图和第五全尺寸图,可以生成清晰度更高的高动态范围图像。
图9为一个实施例中通过像素点阵列得到第三全尺寸图、第四全尺寸图和第五全尺寸图的示意图。电子设备将像素点阵列902中各像素点均按照第五曝光时长L进行曝光,得到第三全尺寸图904,将像素点阵列902中各像素点均按照第六曝光时长M进行曝光,得到第四全尺寸图906,将像素点阵列902中各像素点均按照第七曝光时长S进行曝光,得到第五全尺寸图906。
在一个实施例中,基于第三全尺寸图、第四全尺寸图和第五全尺寸图,生成高动态范围图像,包括:分别将第三全尺寸图、第四全尺寸图和第五全尺寸图中每个像素子单元中各像素进行合并,得到第三一级合并图、第四一级合并图和第五一级合并图,基于第三一级合并图、第四一级合并图和第五一级合并图,生成高动态范围图像。
第三一级合并图是将第三全尺寸图中每个像素子单元中各像素进行合并得到的图像。第四一级合并图是将第四全尺寸图中每个像素子单元中各像素进行合并得到的图像。和第五一级合并图是将第五全尺寸图中每个像素子单元中各像素进行合并得到的图像。
电子设备将第三一级合并图、第四一级合并图和第五一级合并图分别进行亮度对齐、运动检测、权重计算操作后,生成高动态范围图像。
在本实施例中,分别将第三全尺寸图、第四全尺寸图和第五全尺寸图中每个像素子单元中各像素进行合并,得到第三一级合并图、第四一级合并图和第五一级合并图,则可以不同曝光时长得到的第三全尺寸图、第四全尺寸图和第五全尺寸图,可以生成清晰度更高的高动态范围图像。
图10为一个实施例中通过第三全尺寸图、第四全尺寸图和第五全尺寸图得到第三一级合并图、第四一级合并图和第五一级合并图的示意图。电子设备将第三全尺寸图904中每个像素子单元中各像素进行合并,得到第三一级合并图1002,将第四全尺寸图906中每个像素子单元中各像素进行合并,得到第四一级合并图1004,将第五全尺寸图908中每个像素子单元中各像素进行合并,得到第五一级合并图1006。
在一个实施例中,基于第三一级合并图、第四一级合并图和第五一级合并图,生成高动态范围图像,包括:对于第三一级合并图、第四一级合并图和第五一级合并图中的每个一级合并图,将多个同种像素进行合并,得到第三一级合并图对应的第三二级合并图、第四一级合并图对应的第四二级合并图和第五一级合并图对应的第五二级合并图;基于第三二级合并图、第四二级合并图和第五二级合并图,生成高动态范围图像。
第三二级合并图是将第三一级合并图中多个同种像素进行合并得到的图像。第四二级合并图是将第四一级合并图中多个同种像素进行合并得到的图像。第五二级合并图是将第五一级合并图中多个同种像素进行合并得到的图像。
电子设备将第三二级合并图、第四二级合并图和第五二级合并图分别进行亮度对齐、运动检测、权重计算操作后,生成高动态范围图像。
在本实施例中,对于第三一级合并图、第四一级合并图和第五一级合并图中的每个一级合并图,将多个同种像素进行合并,得到第三一级合并图对应的第三二级合并图、第四一级合并图对应的第四二级合并图和第五一级合并图对应的第五二级合并图,则可以不同曝光时长得到的第三全尺寸图、第四全尺寸图和第五全尺寸图,可以生成清晰度更高的高动态范围图像。
图11为一个实施例中通过第三一级合并图、第四一级合并图和第五一级合并图得到第三二级合并图、第四二级合并图和第五二级合并图的示意图。电子设备将第三一级合并图1002中第一对角线方向的2个全色像素w进行合并,并将第二对角线方向的2个同种单颜色像素(a、b或c)进行合并,得到第三二级合并图1102;将第四一级合并图1004中第一对角线方向的2个全色像素w进行合并,并将第二对角线方向的2个同种单颜色像素(a、b或c)进行合并,得到第四二级合并图1104;将第五一级合并图1006中第一对角线方向的2个全色像素w进行合并,并将第二对角线方向的2个同种单颜色像素(a、b或c)进行合并,得到第五二级合并图1106。其中,第一对角线方向和第二对角线方向相互垂直。第一对角线方向是左上角与右下角之间连线所指示的方向,第二对角线方向是右上角与左下角之间连线所指示的方向。
图12为一个实施例中全尺寸图、一级合并图和二级合并图之间的关系示意图。电子设备对像素点阵列进行曝光得到全尺寸图1202,全尺寸图1202中每一像素是由像素点阵列中对应的一个像素点曝光得到。电子设备将全尺寸图1202中每个像素点子单元中各像素进行合并,得到一级合并图1204。电子设备将一级合并图中一级合并图中第一对角线方向1208的2个全色像素w进行合并,并将第二对角线方向1210的2个同种单颜色像素(a、b或c)进行合并,得到二级合并图1206。
在一个实施例中,提供了另一种高动态范围图像的生成方法,应用于包括图像传感器包括像素点阵列,像素点阵列包括最小像素点重复单元,每个最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个全色像素点子单元包括多个矩阵排列的全色像素点,全色像素点子单元包括多个以第一曝光时长进行曝光的全色像素点和多个以第三曝光时长进行曝光的全色像素点,单颜色像素点子单元中包括多个以第二曝光时长进行曝光的单颜色像素点和多个以第四曝光时长进行曝光的单颜色像素点;第一曝光时长大于第三曝光时长,第二曝光时长小于第四曝光时长。
在一个实施例中,像素点阵列中同一行的同种像素点的曝光时长相同。在另一个实施例中,像素点阵列中同一列的同种像素点的曝光时长相同。在另一个实施例中,像素点阵列中对角方向的同种像素点的曝光时长相同。
如图13所示,该高动态范围图像的生成方法包括:
步骤1302,对像素点阵列中各像素点进行曝光,得到各像素点对应的感光数据;感光数据包括全色像素点以第一曝光时长进行曝光得到的第一全色感光数据、全色像素点以第三曝光时长进行曝光得到的第二全色感光数据、单颜色像素点以第四曝光时长进行曝光得到的第一单颜色感光数据和单颜色像素点以第二曝光时长进行曝光得到的第二单颜色感光数据。
第一全色感光数据是全色像素点以第一曝光时长进行曝光得到的数据。第二全色感光数据是全色像素点以第三曝光时长进行曝光得到的数据。第一单颜色感光数据是单颜色像素点以第四曝光时长进行曝光得到的数据。第二单颜色感光数据是单颜色像素点以第二曝光时长进行曝光得到的数据。
第一曝光时长、第二曝光时长、第三曝光时长和第四曝光时长均可以根据需要进行设置。第一曝光时长和第四曝光时长可以相同,也可以不同。第二曝光时长和第三曝光时长可以相同,也可以不同。需要说明的是,第一曝光时长应大于第二曝光时长,第四曝光时长应大于第三曝光时长。
例如,第一曝光时长为0.02ms(毫秒),第二曝光时长为0.01ms,第三曝光时长为0.01ms,第四曝光时长为0.02ms。又如,第一曝光时长为0.04ms,第二曝光时长为0.02ms,第三曝光时长为0.02ms,第四曝光时长为0.03ms。
步骤1304,从每个全色像素点子单元获取到多个第一全色感光数据进行合并,得到第一全色像素;从每个单颜色像素点子单元获取到多个第一单颜色感光数据进行合并,得到第一单颜色像素。
步骤1306,从每个全色像素点子单元获取到多个第二全色感光数据进行合并,得到第二全色像素;从每个单颜色像素点子单元获取到多个第二单颜色感光数据进行合并,得到第二单颜色像素。
步骤1308,基于各第一全色像素和各第一单颜色像素生成第一中间图;基于各第二全色像素和各第二单颜色像素生成第二中间图。
第一中间图是各第一全色像素和各第一单颜色像素生成的图像。可以理解的是,第一全色像素是以第一曝光时长进行曝光得到的第一全色感光数据进行合并得到的像素,第一单颜色像素是以第四曝光时长进行曝光得到的第一单颜色感光数据进行合并得到的像素,即第一中间图中各像素是以较长曝光时长进行曝光得到的感光数据进行合并得到的像素,第一中间图包含有更多的信息。
第二中间图是各第二全色像素和各第二单颜色像素生成的图像。可以理解的是,第二全色像素是以第三曝光时长进行曝光得到的第二全色感光数据进行合并得到的像素,第二单颜色像素是以第二曝光时长进行曝光得到的第二单颜色感光数据进行合并得到的像素,即第二中间图中各像素是以较短曝光时长进行曝光得到的感光数据进行合并得到的像素。
步骤1310,基于第一中间图和第二中间图,生成高动态范围图像。
电子设备将第一二级合并图和第二二级合并图分别进行亮度对齐、运动检测、权重计算操作后,生成高动态范围图像。
上述高动态范围图像的生成方法,电子设备对像素点阵列中各像素点进行一次曝光,即可得到包含有第一曝光时长对应的第一全色感光数据和第三曝光时长对应的第二全色感光数据,以及第四曝光时长对应的第一单颜色感光数据和第二曝光时长对应的第二单颜色感光数据,那么,基于各第一全色感光数据和各第一单颜色感光数据,可以合并得到较长曝光时长的第一中间图,基于各第二全色感光数据和各第二单颜色像素,可以合并得到较短曝光时长的第二中间图,从而生成高动态范围图像。相比于传统技术中需要对像素点阵列进行多次曝光得到多个图像再融合生成高动态范围图像的方法,上述高动态范围图像的生成方法,仅需要对像素点阵列中各像素点进行一次曝光,即可生成高动态范围图像,提高了高动态范围图像生成的效率,生成高动态范围图像的帧率也更高,节约了电子设备的资源。
并且,上述高动态范围图像的生成方法,通过较长曝光时长进行曝光得到的第一全色感光数据,也具有更高的信噪比,可以提高高动态范围图像的总体信噪比。高动态范围图像中各像素是均具有较长曝光时长的信息和较短曝光时长的信息,从而使得该高动态范围图像中各像素的信息具有更宽的动态范围。
以第一曝光时长和第四曝光时长均为L,第二曝光时长和第三曝光时长均为S进行说明。如图14所示,电子设备对像素点阵列1402进行曝光,将全色像素点子单元中第一对角线方向1408上2个w像素点以曝光时长L进行曝光得到的w感光数据进行合并,得到第一中间图1404中w像素,将单颜色像素点子单元中第一对角线方向1408上2个单颜色像素点(a、b或c)以曝光时长L进行曝光得到的单颜色感光数据进行合并,得到第一中间图1404中的单颜色像素,从而生成第一中间图1404。
电子设备将全色像素点子单元中第二对角线方向1410上2个w像素点以曝光时长S进行曝光得到的w感光数据进行合并,得到第二中间图1406中w像素,将单颜色像素点子单元中第二对角线方向1410上2个单颜色像素点(a、b或c)以曝光时长S进行曝光得到的单颜色感光数据进行合并,得到第一中间图1406中的单颜色像素,从而生成第一中间图1406。
其中,第一对角线方向1408和第二对角线方向1410相互垂直。第一对角线方向1408是左上角与右下角之间连线所指示的方向,第二对角线方向1410是右上角与左下角之间连线所指示的方向。
应该理解的是,虽然图2、图6和图13的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图6和图13中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图15为一个实施例的高动态范围图像的生成装置的结构框图。如图15所示,提供了一种高动态范围图像的生成装置,应用于包括图像传感器的电子设备,图像传感器包括像素点阵列,像素点阵列包括最小像素点重复单元,每个最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个全色像素点子单元包括多个矩阵排列的全色像素点;该高动态范围图像的生成装置包括:曝光模块1502和图像生成模块1504,其中:
曝光模块1502,用于对像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,第一全尺寸图或第二全尺寸图中每一个像素均是像素点阵列中对应的一个像素点曝光得到,第一全尺寸图包括以第一曝光时长对全色像素点进行曝光得到的全色像素和以第二曝光时长对单颜色像素点进行曝光得到的单颜色像素,第二全尺寸图包括以第三曝光时长曝光对全色像素点进行曝光得到的全色像素和以第四曝光时长对单颜色像素点进行曝光得到的单颜色像素,第一曝光时长大于第二曝光时长,第三曝光时长小于第四曝光时长。
图像生成模块1504,用于基于第一全尺寸图和第二全尺寸图,生成高动态范围图像。
上述高动态范围图像的生成装置,电子设备中的图像传感器包括像素点阵列,像素点阵列包括最小像素点重复单元,每个最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个全色像素点子单元包括多个矩阵排列的全色像素点;对像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,第一全尺寸图或第二全尺寸图中每一个像素均是像素点阵列中对应的一个像素点曝光得到,第一全尺寸图包括以第一曝光时长对全色像素点进行曝光得到的全色像素和以第二曝光时长对单颜色像素点进行曝光得到的单颜色像素,第二全尺寸图包括以第三曝光时长曝光对全色像素点进行曝光得到的全色像素和以第四曝光时长对单颜色像素点进行曝光得到的单颜色像素,第一曝光时长大于第二曝光时长,第三曝光时长小于第四曝光时长;也就是说,第一全尺寸图具有以较长曝光时长曝光得到的像素和以较短曝光时长曝光得到的像素,第二全尺寸图也具有以较长曝光时长曝光得到的像素和以较短曝光时长曝光得到的像素,那么,第一全尺寸图中各区域的亮度和第二全尺寸图中相应区域的亮度较为接近,从而可以基于第一全尺寸图和第二全尺寸图进行更准确地比对,生成更准确的高动态范围图像。
并且,相对于传统技术中采用三个或者三个以上的图像进行融合得到高动态范围图像的方法,电子设备对像素点阵列进行两次曝光,得到第一全尺寸图和第二全尺寸图,基于第一全尺寸图和第二全尺寸图,可以更快速生成高动态范围图像,也节约了电子设备的资源,降低了功耗。
在一个实施例中,第一全尺寸图采用第一预设方式对像素点阵列进行曝光得到,第二全尺寸图采用第二预设方式对像素点阵列进行曝光得到;上述装置还包括亮度获取模块,用于获取电子设备的当前环境亮度;上述曝光模块1502还用于基于当前环境亮度从第一预设方式和第二预设方式中确定目标预设方式,采用目标预设方式对像素点阵列进行曝光,得到目标全尺寸图;目标全尺寸图为第一全尺寸图或第二全尺寸图。
在一个实施例中,上述亮度获取模块还用于获取当前时刻;当当前时刻处于预设白天时长范围内时,确定电子设备的当前环境亮度为第一环境亮度;当当前时刻处于预设夜晚时长范围内时,确定电子设备的当前环境亮度为第二环境亮度;第一环境亮度大于第二环境亮度;上述曝光模块1502还用于当当前环境亮度为第一环境亮度时,确定第一预设方式为目标预设方式;当当前环境亮度为第二环境亮度时,确定第二预设方式为目标预设方式。
在一个实施例中,上述图像生成模块1504还用于将第一全尺寸图中每个像素子单元中各像素进行合并,得到第一一级合并图;将第二全尺寸图中每个像素子单元中各像素进行合并,得到第二一级合并图;像素子单元与像素点子单元一一对应,第一一级合并图中对角方向上的两个像素,包括以第一曝光时长进行曝光得到的像素和以第二曝光时长进行曝光得到的像素,第二一级合并图中对角方向上的两个像素,包括以第三曝光时长进行曝光得到的像素和以第四曝光时长进行曝光得到的像素;基于第一一级合并图和第二一级合并图,生成高动态范围图像。
在一个实施例中,上述图像生成模块1504还用于从第一一级合并图和第二一级合并图中选择目标一级合并图;在目标一级合并图中,获取第一曝光时长或第四曝光时长对应的像素,生成第一二级合并图,获取第二曝光时长或第三曝光时长对应的像素,生成第二二级合并图;基于第一二级合并图和第二二级合并图,生成高动态范围图像。
在一个实施例中,上述曝光模块1502还用于将像素点阵列中各像素点均按照第五曝光时长、第六曝光时长和第七曝光时长进行曝光,分别得到第三全尺寸图、第四全尺寸图和第五全尺寸图;第五曝光时长、第六曝光时长和第七曝光时长依次减小;上述图像生成模块1504还用于基于第三全尺寸图、第四全尺寸图和第五全尺寸图,生成高动态范围图像。
在一个实施例中,上述图像生成模块1504还用于分别将第三全尺寸图、第四全尺寸图和第五全尺寸图中每个像素子单元中各像素进行合并,得到第三一级合并图、第四一级合并图和第五一级合并图;基于第三一级合并图、第四一级合并图和第五一级合并图,生成高动态范围图像。
在一个实施例中,上述图像生成模块1504还用于对于第三一级合并图、第四一级合并图和第五一级合并图中的每个一级合并图,将多个同种像素进行合并,得到第三一级合并图对应的第三二级合并图、第四一级合并图对应的第四二级合并图和第五一级合并图对应的第五二级合并图;基于第三二级合并图、第四二级合并图和第五二级合并图,生成高动态范围图像。
在一个实施例中,提供了另一种高动态范围图像的生成装置,应用于包括图像传感器的电子设备,图像传感器包括像素点阵列,像素点阵列包括最小像素点重复单元,每个最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个全色像素点子单元包括多个矩阵排列的全色像素点,全色像素点子单元包括多个以第一曝光时长进行曝光的全色像素点和多个以第三曝光时长进行曝光的全色像素点,单颜色像素点子单元中包括多个以第二曝光时长进行曝光的单颜色像素点和多个以第四曝光时长进行曝光的单颜色像素点;第一曝光时长大于第三曝光时长,第二曝光时长小于第四曝光时长;该高动态范围图像的生成装置包括:曝光模块和图像生成模块,其中:
曝光模块,用于对像素点阵列中各像素点进行曝光,得到各像素点对应的感光数据;感光数据包括全色像素点以第一曝光时长进行曝光得到的第一全色感光数据、全色像素点以第三曝光时长进行曝光得到的第二全色感光数据、单颜色像素点以第四曝光时长进行曝光得到的第一单颜色感光数据和单颜色像素点以第二曝光时长进行曝光得到的第二单颜色感光数据。
图像生成模块,用于从每个全色像素点子单元获取到多个第一全色感光数据进行合并,得到第一全色像素;从每个单颜色像素点子单元获取到多个第一单颜色感光数据进行合并,得到第一单颜色像素;从每个全色像素点子单元获取到多个第二全色感光数据进行合并,得到第二全色像素;从每个单颜色像素点子单元获取到多个第二单颜色感光数据进行合并,得到第二单颜色像素;基于各第一全色像素和各第一单颜色像素生成第一中间图;基于各第二全色像素和各第二单颜色像素生成第二中间图;基于第一中间图和第二中间图,生成高动态范围图像。
上述高动态范围图像的生成装置,电子设备对像素点阵列中各像素点进行一次曝光,即可得到包含有第一曝光时长对应的第一全色感光数据和第三曝光时长对应的第二全色感光数据,以及第四曝光时长对应的第一单颜色感光数据和第二曝光时长对应的第二单颜色感光数据,那么,基于各第一全色感光数据和各第一单颜色感光数据,可以合并得到较长曝光时长的第一中间图,基于各第二全色感光数据和各第二单颜色像素,可以合并得到较短曝光时长的第二中间图,从而生成高动态范围图像。相比于传统技术中需要对像素点阵列进行多次曝光得到多个图像再融合生成高动态范围图像的方法,上述高动态范围图像的生成方法,仅需要对像素点阵列中各像素点进行一次曝光,即可生成高动态范围图像,提高了高动态范围图像生成的效率,生成高动态范围图像的帧率也更高,节约了电子设备的资源。
上述高动态范围图像的生成装置中各个模块的划分仅仅用于举例说明,在其他实施例中,可将高动态范围图像的生成装置按照需要划分为不同的模块,以完成上述高动态范围图像的生成装置的全部或部分功能。
关于高动态范围图像的生成装置的具体限定可以参见上文中对于高动态范围图像的生成方法的限定,在此不再赘述。上述高动态范围图像的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图16为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing,数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种高动态范围图像的生成方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的高动态范围图像的生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行高动态范围图像的生成方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行高动态范围图像的生成方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory,只读存储器)、PROM(Programmable Read-only Memory,可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory,电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory,随机存取存储器),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如SRAM(Static Random Access Memory,静态随机存取存储器)、DRAM(Dynamic Random Access Memory,动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory,同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory,双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory,增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory,同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory,总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory,接口动态随机存储器)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种高动态范围图像的生成方法,应用于包括图像传感器的电子设备,其特征在于,所述图像传感器包括像素点阵列,所述像素点阵列包括最小像素点重复单元,每个所述最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个所述单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个所述全色像素点子单元包括多个矩阵排列的全色像素点;所述方法包括:
对所述像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,所述第一全尺寸图或所述第二全尺寸图中每一个像素均是所述像素点阵列中对应的一个像素点曝光得到,所述第一全尺寸图包括以第一曝光时长对所述全色像素点进行曝光得到的全色像素和以第二曝光时长对所述单颜色像素点进行曝光得到的单颜色像素,所述第二全尺寸图包括以第三曝光时长曝光对所述全色像素点进行曝光得到的全色像素和以第四曝光时长对所述单颜色像素点进行曝光得到的单颜色像素,所述第一曝光时长大于所述第二曝光时长,所述第三曝光时长小于所述第四曝光时长;
将所述第一全尺寸图中每个像素子单元中各像素进行合并,得到第一一级合并图;
将所述第二全尺寸图中每个像素子单元中各像素进行合并,得到第二一级合并图;所述像素子单元与所述像素点子单元一一对应,所述第一一级合并图中对角方向上的两个像素,包括以第一曝光时长进行曝光得到的像素和以所述第二曝光时长进行曝光得到的像素,所述第二一级合并图中对角方向上的两个像素,包括以第三曝光时长进行曝光得到的像素和以所述第四曝光时长进行曝光得到的像素;
基于所述第一一级合并图和所述第二一级合并图,生成高动态范围图像。
2.根据权利要求1所述的方法,其特征在于,所述第一全尺寸图采用第一预设方式对所述像素点阵列进行曝光得到,所述第二全尺寸图采用第二预设方式对所述像素点阵列进行曝光得到;
所述方法还包括:
获取所述电子设备的当前环境亮度;
基于所述当前环境亮度从所述第一预设方式和所述第二预设方式中确定目标预设方式,采用所述目标预设方式对所述像素点阵列进行曝光,得到目标全尺寸图;所述目标全尺寸图为所述第一全尺寸图或所述第二全尺寸图。
3.根据权利要求2所述的方法,其特征在于,所述获取所述电子设备的当前环境亮度,包括:
获取当前时刻;
当所述当前时刻处于预设白天时长范围内时,确定所述电子设备的当前环境亮度为第一环境亮度;
当所述当前时刻处于预设夜晚时长范围内时,确定所述电子设备的当前环境亮度为第二环境亮度;所述第一环境亮度大于所述第二环境亮度;
所述基于所述当前环境亮度从所述第一预设方式和所述第二预设方式中确定目标预设方式,包括:
当所述当前环境亮度为第一环境亮度时,确定所述第一预设方式为目标预设方式;
当所述当前环境亮度为第二环境亮度时,确定所述第二预设方式为目标预设方式。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第一一级合并图和所述第二一级合并图,生成高动态范围图像,包括:
从所述第一一级合并图和所述第二一级合并图中选择目标一级合并图;
在所述目标一级合并图中,获取所述第一曝光时长或所述第四曝光时长对应的像素,生成第一二级合并图,获取所述第二曝光时长或所述第三曝光时长对应的像素,生成第二二级合并图;
基于所述第一二级合并图和所述第二二级合并图,生成高动态范围图像。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述像素点阵列中各像素点均按照第五曝光时长、第六曝光时长和第七曝光时长进行曝光,分别得到第三全尺寸图、第四全尺寸图和第五全尺寸图;所述第五曝光时长、所述第六曝光时长和所述第七曝光时长依次减小;
基于所述第三全尺寸图、第四全尺寸图和第五全尺寸图,生成高动态范围图像。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第三全尺寸图、第四全尺寸图和第五全尺寸图,生成高动态范围图像,包括:
分别将所述第三全尺寸图、第四全尺寸图和第五全尺寸图中每个像素子单元中各像素进行合并,得到第三一级合并图、第四一级合并图和第五一级合并图;
基于所述第三一级合并图、第四一级合并图和第五一级合并图,生成高动态范围图像。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第三一级合并图、第四一级合并图和第五一级合并图,生成高动态范围图像,包括:
对于所述第三一级合并图、第四一级合并图和第五一级合并图中的每个一级合并图,将多个同种像素进行合并,得到所述第三一级合并图对应的第三二级合并图、所述第四一级合并图对应的第四二级合并图和所述第五一级合并图对应的第五二级合并图;
基于所述第三二级合并图、第四二级合并图和第五二级合并图,生成高动态范围图像。
8.一种高动态范围图像的生成方法,应用于包括图像传感器的电子设备,其特征在于,所述图像传感器包括像素点阵列,所述像素点阵列包括最小像素点重复单元,每个所述最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个所述单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个所述全色像素点子单元包括多个矩阵排列的全色像素点,所述全色像素点子单元包括多个以第一曝光时长进行曝光的全色像素点和多个以第三曝光时长进行曝光的全色像素点,所述单颜色像素点子单元中包括多个以第二曝光时长进行曝光的单颜色像素点和多个以第四曝光时长进行曝光的单颜色像素点;所述第一曝光时长大于所述第三曝光时长,所述第二曝光时长小于所述第四曝光时长;所述方法包括:
对所述像素点阵列中各像素点进行曝光,得到各所述像素点对应的感光数据;所述感光数据包括所述全色像素点以所述第一曝光时长进行曝光得到的第一全色感光数据、所述全色像素点以所述第三曝光时长进行曝光得到的第二全色感光数据、所述单颜色像素点以所述第四曝光时长进行曝光得到的第一单颜色感光数据和所述单颜色像素点以所述第二曝光时长进行曝光得到的第二单颜色感光数据;
从每个所述全色像素点子单元获取到多个所述第一全色感光数据进行合并,得到第一全色像素;从每个所述单颜色像素点子单元获取到多个所述第一单颜色感光数据进行合并,得到第一单颜色像素;
从每个所述全色像素点子单元获取到多个所述第二全色感光数据进行合并,得到第二全色像素;从每个所述单颜色像素点子单元获取到多个所述第二单颜色感光数据进行合并,得到第二单颜色像素;
基于各所述第一全色像素和各所述第一单颜色像素生成第一中间图;基于各所述第二全色像素和各所述第二单颜色像素生成第二中间图;所述第一中间图的曝光时长大于所述第二中间图的曝光时长;
基于所述第一中间图和所述第二中间图,生成高动态范围图像。
9.一种高动态范围图像的生成装置,应用于包括图像传感器的电子设备,其特征在于,所述图像传感器包括像素点阵列,所述像素点阵列包括最小像素点重复单元,每个所述最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个所述单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个所述全色像素点子单元包括多个矩阵排列的全色像素点;所述装置包括:
曝光模块,用于对所述像素点阵列进行两次曝光,分别得到第一全尺寸图和第二全尺寸图;其中,所述第一全尺寸图或所述第二全尺寸图中每一个像素均是所述像素点阵列中对应的一个像素点曝光得到,所述第一全尺寸图包括以第一曝光时长对所述全色像素点进行曝光得到的全色像素和以第二曝光时长对所述单颜色像素点进行曝光得到的单颜色像素,所述第二全尺寸图包括以第三曝光时长曝光对所述全色像素点进行曝光得到的全色像素和以第四曝光时长对所述单颜色像素点进行曝光得到的单颜色像素,所述第一曝光时长大于所述第二曝光时长,所述第三曝光时长小于所述第四曝光时长;
图像生成模块,用于将所述第一全尺寸图中每个像素子单元中各像素进行合并,得到第一一级合并图;将所述第二全尺寸图中每个像素子单元中各像素进行合并,得到第二一级合并图;所述像素子单元与所述像素点子单元一一对应,所述第一一级合并图中对角方向上的两个像素,包括以第一曝光时长进行曝光得到的像素和以所述第二曝光时长进行曝光得到的像素,所述第二一级合并图中对角方向上的两个像素,包括以第三曝光时长进行曝光得到的像素和以所述第四曝光时长进行曝光得到的像素;基于所述第一一级合并图和所述第二一级合并图,生成高动态范围图像。
10.一种高动态范围图像的生成装置,应用于包括图像传感器的电子设备,其特征在于,所述图像传感器包括像素点阵列,所述像素点阵列包括最小像素点重复单元,每个所述最小像素点重复单元包括多个单颜色像素点子单元和多个全色像素点子单元,每个所述单颜色像素点子单元包括多个矩阵排列的单颜色像素点,每个所述全色像素点子单元包括多个矩阵排列的全色像素点,所述全色像素点子单元包括多个以第一曝光时长进行曝光的全色像素点和多个以第三曝光时长进行曝光的全色像素点,所述单颜色像素点子单元中包括多个以第二曝光时长进行曝光的单颜色像素点和多个以第四曝光时长进行曝光的单颜色像素点;所述第一曝光时长大于所述第三曝光时长,所述第二曝光时长小于所述第四曝光时长;所述装置包括:
曝光模块,用于对所述像素点阵列中各像素点进行曝光,得到各所述像素点对应的感光数据;所述感光数据包括所述全色像素点以所述第一曝光时长进行曝光得到的第一全色感光数据、所述全色像素点以所述第三曝光时长进行曝光得到的第二全色感光数据、所述单颜色像素点以所述第四曝光时长进行曝光得到的第一单颜色感光数据和所述单颜色像素点以所述第二曝光时长进行曝光得到的第二单颜色感光数据;
图像生成模块,用于从每个所述全色像素点子单元获取到多个所述第一全色感光数据进行合并,得到第一全色像素;从每个所述单颜色像素点子单元获取到多个所述第一单颜色感光数据进行合并,得到第一单颜色像素;从每个所述全色像素点子单元获取到多个所述第二全色感光数据进行合并,得到第二全色像素;从每个所述单颜色像素点子单元获取到多个所述第二单颜色感光数据进行合并,得到第二单颜色像素;基于各所述第一全色像素和各所述第一单颜色像素生成第一中间图;基于各所述第二全色像素和各所述第二单颜色像素生成第二中间图;所述第一中间图的曝光时长大于所述第二中间图的曝光时长;基于所述第一中间图和所述第二中间图,生成高动态范围图像。
11.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的高动态范围图像的生成方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110936469.6A CN113676635B (zh) | 2021-08-16 | 2021-08-16 | 高动态范围图像的生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110936469.6A CN113676635B (zh) | 2021-08-16 | 2021-08-16 | 高动态范围图像的生成方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113676635A CN113676635A (zh) | 2021-11-19 |
CN113676635B true CN113676635B (zh) | 2023-05-05 |
Family
ID=78542976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110936469.6A Active CN113676635B (zh) | 2021-08-16 | 2021-08-16 | 高动态范围图像的生成方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113676635B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114338988B (zh) * | 2021-12-29 | 2024-08-02 | Oppo广东移动通信有限公司 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
CN114693580B (zh) * | 2022-05-31 | 2022-10-18 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108965729A (zh) * | 2018-08-13 | 2018-12-07 | Oppo广东移动通信有限公司 | 控制方法、装置、电子设备和计算机可读存储介质 |
CN111479071A (zh) * | 2020-04-03 | 2020-07-31 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297701B (zh) * | 2012-02-27 | 2016-12-14 | 江苏思特威电子科技有限公司 | 成像方法及成像装置 |
KR102159256B1 (ko) * | 2013-11-25 | 2020-09-23 | 삼성전자 주식회사 | 픽셀 어레이 및 이를 포함하는 이미지 센서 |
US9344639B2 (en) * | 2014-08-12 | 2016-05-17 | Google Technology Holdings LLC | High dynamic range array camera |
WO2019236626A2 (en) * | 2018-06-07 | 2019-12-12 | Dolby Laboratories Licensing Corporation | Hdr image generation from single-shot hdr color image sensors |
CN113709382B (zh) * | 2019-08-26 | 2024-05-31 | Oppo广东移动通信有限公司 | 一种图像传感器、图像处理方法及存储介质 |
CN111432099B (zh) * | 2020-03-30 | 2021-04-30 | Oppo广东移动通信有限公司 | 图像传感器、处理系统及方法、电子设备和存储介质 |
CN111491110B (zh) * | 2020-04-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和存储介质 |
-
2021
- 2021-08-16 CN CN202110936469.6A patent/CN113676635B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108965729A (zh) * | 2018-08-13 | 2018-12-07 | Oppo广东移动通信有限公司 | 控制方法、装置、电子设备和计算机可读存储介质 |
WO2020034702A1 (zh) * | 2018-08-13 | 2020-02-20 | Oppo广东移动通信有限公司 | 控制方法、装置、电子设备和计算机可读存储介质 |
CN111479071A (zh) * | 2020-04-03 | 2020-07-31 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113676635A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN113676636B (zh) | 高动态范围图像的生成方法、装置、电子设备和存储介质 | |
CN108322669B (zh) | 图像获取方法及装置、成像装置和可读存储介质 | |
CN113676635B (zh) | 高动态范围图像的生成方法、装置、电子设备和存储介质 | |
CN110213494B (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
US20220166930A1 (en) | Method and device for focusing on target subject, and electronic device | |
US9118883B2 (en) | High dynamic range imaging with multi-storage pixels | |
CN113676675B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN113518210B (zh) | 图像自动白平衡的方法及装置 | |
US9438827B2 (en) | Imaging systems and methods for generating binned high-dynamic-range images | |
CN114125242B (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
CN113676708B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN108848306B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN113840067B (zh) | 图像传感器、图像生成方法、装置和电子设备 | |
US11825179B2 (en) | Auto exposure for spherical images | |
WO2023124607A1 (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN113573030B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN114157795B (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
CN114363486B (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
CN114040084B (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
CN114125318B (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
CN108600631B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN113891006A (zh) | 对焦控制方法、装置、图像传感器、电子设备和计算机可读存储介质 | |
CN110213499B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN114554046B (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |