CN114450934B - 获取图像的方法、装置、设备及计算机可读存储介质 - Google Patents

获取图像的方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114450934B
CN114450934B CN202080006227.0A CN202080006227A CN114450934B CN 114450934 B CN114450934 B CN 114450934B CN 202080006227 A CN202080006227 A CN 202080006227A CN 114450934 B CN114450934 B CN 114450934B
Authority
CN
China
Prior art keywords
pixel
value
brightness
type
beta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080006227.0A
Other languages
English (en)
Other versions
CN114450934A (zh
Inventor
程敏
胡彬林
邓志鹏
刘俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN114450934A publication Critical patent/CN114450934A/zh
Application granted granted Critical
Publication of CN114450934B publication Critical patent/CN114450934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

电子设备的处理器获取图像像素阵列中的至少两类像素点的像素值,不同类的像素点中的像素值是根据不同的亮度控制参数拍摄生成,且在帧内同时结束曝光,既保留高亮细节又保留暗部细节。因此,该处理器获取各个亮度控制参数对应的图像,并融合各个亮度控制参数对应的图像,能够实现较高的动态范围,最大限度地减小运动拖尾。

Description

获取图像的方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及图像拍摄技术领域,特别涉及获取图像的方法、装置、设备及计算机可读存储介质。
背景技术
随着图像拍摄技术的发展,图像质量也越来越高。使用摄像机拍摄动态范围较宽的场景时,往往会出现高亮过曝、暗部区域过黑导致细节丢失的问题。因此,如何获取高亮和暗部细节同时显现的图像,以提高图像质量,是亟待解决的问题。
相关技术中,为了获取高亮和暗部细节同时显现的图像,采用帧间多次曝光,即前一帧长曝光,获取暗部细节信息,后一帧短曝光,获取高亮细节信息。之后,再通过图像处理技术将长曝光图像和短曝光图像进行融合,获得一幅超宽动态的图像,从而使得最终获取的图像既保留高亮细节又保留暗部细节。
然而,采用帧间多次曝光的方式会导致帧与帧之间的曝光时间差,当拍摄运动物体时,长短曝光之间会存在运动位移,导致产生运动拖尾的情况发生,因此,采用相关技术所获取的图像质量仍然不佳。
发明内容
本申请提供了一种获取图像的方法、装置、设备及计算机可读存储介质,能够提高获取的图像质量,解决运动拖尾的问题。
第一方面,提供了一种获取图像的方法,该方法应用于电子设备的处理器中,该电子设备包括但不限于照相机、摄像机等能够获取图像的设备。在获取图像时,首先,处理器获取图像像素阵列中的至少两类像素点的像素值,在图像中,不同类的像素点中的像素值是根据不同的亮度控制参数拍摄生成,该至少两类像素点均为黑白像素点,或者,该至少两类像素点均为彩色像素点。之后,处理器根据至少两类像素点的像素值获取各个亮度控制参数对应的图像;融合各个亮度控制参数对应的图像。
基于该获取图像的方法,由于图像像素阵列中的同一种像素点分为至少两类,每一类采用不同的亮度控制参数拍摄,以实现在同一帧内、不同位置处的像素点采用不同的亮度控制参数拍摄,能够既保留高亮细节,又保留暗部细节,实现较高的动态范围。另外,虽然不同位置处的像素点采用不同的亮度控制参数拍摄,但均在同一帧内同时结束曝光,且融合的不同亮度控制参数对应的图像,也都是基于同一帧图像得到的,因而能够最大限度地减小运动拖尾。
示例性地,亮度控制参数包括但不限于曝光时长和增益,不同的亮度控制参数是指曝光时长相同,增益不同;或者,不同的亮度控制参数是指曝光时长不同,增益相同;或者,不同的亮度控制参数是指曝光时长不同,且增益也不同。针对曝光时长不同的情况,需要满足同时结束曝光。也就是说,根据不同的亮度控制参数拍摄时,曝光开始时间可以不同,但曝光结束时间需要相同,从而保证根据不同的亮度控制参数拍摄得到的图像是同一帧图像。
在一种可能的实现方式中,至少两类像素点包括第一类像素点和第二类像素点,第一类像素点的像素值根据第一亮度控制参数拍摄生成,第二类像素点的像素值根据第二亮度控制参数拍摄生成;
根据至少两类像素点的像素值获取各个亮度控制参数对应的图像,包括:根据第一类像素点的像素值获取第一亮度控制参数对应的第一图像,根据第二类像素点的像素值获取第二亮度控制参数对应的第二图像;融合各个亮度控制参数对应的图像,包括:融合第一图像和第二图像。
在一种可能的实现方式中,以插值的方式根据第一类像素点的像素值获取第一亮度控制参数对应的第一图像,包括:根据第一目标像素点的像素值确定第二类像素点在第一亮度控制参数下的第一互相关插值,根据第一类像素点的像素值和第一互相关插值获取第一图像,第一目标像素点包括与第二类像素点相邻的第一类像素点;
根据第二类像素点的像素值获取第二亮度控制参数对应的第二图像,包括:根据第二目标像素点的像素值确定第一类像素点在第二亮度控制参数下的第二互相关插值,根据第二类像素点的像素值和第二互相关插值获取第二图像,第二目标像素点包括与第一类像素点相邻的第二类像素点。
在一种可能的实现方式中,根据第一目标像素点的像素值确定第二类像素点在第一亮度控制参数下的第一互相关插值,包括:根据第二类像素点的像素值确定第一目标像素点的加权权重,第一目标像素点的加权权重与第二类像素点及第一目标像素点的差异大小正相关;根据第一目标像素点的像素值以及加权权重确定第二类像素点在第一亮度控制参数下的第一互相关插值;
根据第二目标像素点的像素值确定第一类像素点在第二亮度控制参数下的第二互相关插值,包括:根据第一类像素点的像素值确定第二目标像素点的加权权重,第二目标像素点的加权权重与第一类像素点及第二目标像素点的差异大小正相关;根据第二目标像素点的像素值以及加权权重确定第一类像素点在第二亮度控制参数下的第二互相关插值。
在一种可能的实现方式中,根据第一目标像素点的像素值以及加权权重确定第二类像素点在第一亮度控制参数下的第一互相关插值,包括:
对于任一第一目标像素点,将任一第一目标像素点的像素值以及加权权重相乘,得到任一第一目标像素点对应的乘积结果;将各个第一目标像素点对应的乘积结果进行累加,得到第一累加和;将各个第一目标像素点的加权权重进行累加,得到第二累加和;将第一累加和与第二累加和的商作为第二类像素点在第一亮度控制参数下的第一互相关插值;
以α2i为第一目标像素点的加权权重,W2i为第一目标像素点的像素值,N1为第一目标像素点的数量为例,根据第一目标像素点的像素值以及加权权重确定第二类像素点在第一亮度控制参数下的第一互相关插值,包括:根据第一目标像素点的像素值以及加权权重按照如下公式确定第二类像素点在第一亮度控制参数下的第一互相关插值W′2
Figure GWB0000003541010000041
根据第二目标像素点的像素值以及加权权重确定第一类像素点在第二亮度控制参数下的第二互相关插值,包括:
对于任一第二目标像素点,将任一第二目标像素点的像素值以及加权权重相乘,得到任一第二目标像素点对应的乘积结果;将各个第二目标像素点对应的乘积结果进行累加,得到第三累加和;将各个第二目标像素点的加权权重进行累加,得到第四累加和;将第三累加和与第四累加和的商作为第一类像素点在第二亮度控制参数下的第二互相关插值。
例如,根据第二目标像素点的像素值以及加权权重按照如下公式确定第一类像素点在第二亮度控制参数下的第二互相关插值W′1
Figure GWB0000003541010000051
其中,α1i为第二目标像素点的加权权重,W1i为第二目标像素点的像素值,N2为第二目标像素点的数量。
在一种可能的实现方式中,第二亮度控制参数小于第一亮度控制参数,融合第一图像和第二图像,包括:
将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,融合第一类像素点的像素值及第一亮度对齐结果;
将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果;融合第一互相关插值及第二亮度对齐结果。
通过亮度对齐的过程,以通过亮度平滑算法,来实现高亮区域不过曝、暗部区域不过暗的成像目标,从而保持获取到的最终图像的清晰度不损失。
在一种可能的实现方式中,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,包括:
根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,差异倍数基于第一亮度控制参数与第二亮度控制参数之间的综合差异得到;
示例性地,按照如下公式根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果
Figure GWB0000003541010000052
Figure GWB0000003541010000053
其中,K为第一亮度控制参数与第二亮度控制参数的差异倍数,BL为黑电平的值,W′2为第二互相关插值。
将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果,包括:根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果。
示例性地,按照如下公式将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果
Figure GWB0000003541010000054
Figure GWB0000003541010000055
其中,W2为第二类像素点的像素值。
在一种可能的实现方式中,融合第一类像素点的像素值及第一亮度对齐结果,包括:
将第一类像素点的像素值及对应的加权权重相乘,得到第一乘积结果,将第一亮度对齐结果及对应的加权权重相乘,得到第二乘积结果;将第一乘积结果与第二乘积结果求和,得到第一和值;将第一类像素点对应的加权权重与第一亮度对齐结果对应的加权权重求和,得到第二和值;将第一和值与第二和值的商作为第一类像素点的像素值及第一亮度对齐结果的融合结果。
示例性地,根据第一类像素点的像素值及对应的加权权重,以及第一亮度对齐结果及对应的加权权重,按照如下公式融合第一类像素点的像素值及第一亮度对齐结果:
Figure GWB0000003541010000061
其中,WF1为第一类像素点的像素值W1及第一亮度对齐结果
Figure GWB0000003541010000062
的融合结果,β11为第一加权权重,β12为第二加权权重。
融合第一互相关插值及第二亮度对齐结果,包括:
将第一互相关插值及对应的加权权重相乘,得到第三乘积结果,将第二亮度对齐结果及对应的加权权重相乘,得到第四乘积结果;将第三乘积结果与第四乘积结果求和,得到第三和值;将第二类像素点对应的加权权重与第二亮度对齐结果对应的加权权重求和,得到第四和值;将第三和值与第四和值的商作为第一互相关插值及第二亮度对齐结果的融合结果。
例如,以第一互相关插值对应的加权权重为第三加权权重,第二亮度对齐结果对应的加权权重为第四加权权重为例,按照如下公式融合第一互相关插值及第二亮度对齐结果:
Figure GWB0000003541010000063
其中,WF2为第一互相关插值W′1及第二亮度对齐结果
Figure GWB0000003541010000064
的融合结果,β21为第三加权权重,β22为第四加权权重。
在一种可能的实现方式中,融合第一类像素点的像素值及第一亮度对齐结果之前,还包括:基于W1小于第一过暗阈值,确定β11为第一值,β12为第二值,第一值大于第二值;或者,基于W1大于等于第一过暗阈值,确定β11为第二值,β12为第一值;
融合第一互相关插值及第二亮度对齐结果之前,还包括:基于W′1大于第一过曝阈值,确定β21为第二值,β22为第一值;或者,基于W′1小于等于第一过曝阈值,确定β21为第一值,β22为第二值。
在一种可能的实现方式中,融合第一类像素点的像素值及第一亮度对齐结果之前,还包括:基于W1小于第二过暗阈值,确定β11为第一值,β12为第二值,第一值大于第二值;或者,基于W1大于第二过曝阈值,确定β11为第二值,β12为第一值;或者,基于W1介于第二过暗阈值与第二过曝阈值之间,确定β11从第一值开始随W1增大而减小,β12从第二值开始随W1增大而增大;
融合第一互相关插值及第二亮度对齐结果之前,还包括:基于W′1小于第二过暗阈值,确定β21为第一值,β22为第二值,第一值大于第二值;或者,基于W′1大于第二过曝阈值,确定β21第二值,β22为第一值;或者,基于W′1介于第二过暗阈值与第二过曝阈值之间,确定β21从第一值开始随W′1增大而减小,β22从第二值开始随W′1增大而增大。
在一种可能的实现方式中,该方法应用于电子设备的处理器中,电子设备还包括图像传感器及至少两个控制电路,至少两个控制电路用于控制图像传感器按照不同的亮度控制参数拍摄生成不同类的像素点中的像素值。
第二方面,提供了一种获取图像的装置,该装置包括:
第一获取模块,用于获取图像像素阵列中的至少两类像素点的像素值,在图像中,不同类的像素点中的像素值是根据不同的亮度控制参数拍摄生成,至少两类像素点均为黑白像素点,或者,至少两类像素点均为彩色像素点;
第二获取模块,用于根据至少两类像素点的像素值获取各个亮度控制参数对应的图像;
融合模块,用于融合各个亮度控制参数对应的图像。
在一种可能的实现方式中,至少两类像素点包括第一类像素点和第二类像素点,第一类像素点的像素值根据第一亮度控制参数拍摄生成,第二类像素点的像素值根据第二亮度控制参数拍摄生成;
第二获取模块,用于根据第一类像素点的像素值获取第一亮度控制参数对应的第一图像,根据第二类像素点的像素值获取第二亮度控制参数对应的第二图像;
融合模块,用于融合第一图像和第二图像。
在一种可能的实现方式中,第二获取模块,用于根据第一目标像素点的像素值确定第二类像素点在第一亮度控制参数下的第一互相关插值,根据第一类像素点的像素值和第一互相关插值获取第一图像,第一目标像素点包括与第二类像素点相邻的第一类像素点;
第二获取模块,用于根据第二目标像素点的像素值确定第一类像素点在第二亮度控制参数下的第二互相关插值,根据第二类像素点的像素值和第二互相关插值获取第二图像,第二目标像素点包括与第一类像素点相邻的第二类像素点。
在一种可能的实现方式中,第二获取模块,用于根据第二类像素点的像素值确定第一目标像素点的加权权重,第一目标像素点的加权权重与第二类像素点及第一目标像素点的差异大小正相关;根据第一目标像素点的像素值以及加权权重确定第二类像素点在第一亮度控制参数下的第一互相关插值;
第二获取模块,用于根据第一类像素点的像素值确定第二目标像素点的加权权重,第二目标像素点的加权权重与第一类像素点及第二目标像素点的差异大小正相关;根据第二目标像素点的像素值以及加权权重确定第一类像素点在第二亮度控制参数下的第二互相关插值。
在一种可能的实现方式中,第二获取模块,用于对于任一第一目标像素点,将任一第一目标像素点的像素值以及加权权重相乘,得到任一第一目标像素点对应的乘积结果;将各个第一目标像素点对应的乘积结果进行累加,得到第一累加和;将各个第一目标像素点的加权权重进行累加,得到第二累加和;将第一累加和与第二累加和的商作为第二类像素点在第一亮度控制参数下的第一互相关插值;
第二获取模块,用于对于任一第二目标像素点,将任一第二目标像素点的像素值以及加权权重相乘,得到任一第二目标像素点对应的乘积结果;将各个第二目标像素点对应的乘积结果进行累加,得到第三累加和;将各个第二目标像素点的加权权重进行累加,得到第四累加和;将第三累加和与第四累加和的商作为第一类像素点在第二亮度控制参数下的第二互相关插值。
在一种可能的实现方式中,第二亮度控制参数小于第一亮度控制参数,融合模块,用于将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,融合第一类像素点的像素值及第一亮度对齐结果;将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果;融合第一互相关插值及第二亮度对齐结果。
在一种可能的实现方式中,融合模块,用于根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,差异倍数基于第一亮度控制参数与第二亮度控制参数之间的综合差异得到;
融合模块,用于根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果。
在一种可能的实现方式中,融合模块,用于将第一类像素点的像素值及对应的加权权重相乘,得到第一乘积结果,将第一亮度对齐结果及对应的加权权重相乘,得到第二乘积结果;将第一乘积结果与第二乘积结果求和,得到第一和值;将第一类像素点对应的加权权重与第一亮度对齐结果对应的加权权重求和,得到第二和值;将第一和值与第二和值的商作为第一类像素点的像素值及第一亮度对齐结果的融合结果;
融合模块,用于将第一互相关插值及对应的加权权重相乘,得到第三乘积结果,将第二亮度对齐结果及对应的加权权重相乘,得到第四乘积结果;将第三乘积结果与第四乘积结果求和,得到第三和值;将第二类像素点对应的加权权重与第二亮度对齐结果对应的加权权重求和,得到第四和值;将第三和值与第四和值的商作为第一互相关插值及第二亮度对齐结果的融合结果。
在一种可能的实现方式中,融合模块,还用于基于W1小于第一过暗阈值,确定β11为第一值,β12为第二值,第一值大于第二值;或者,基于W1大于等于第一过暗阈值,确定β11为第二值,β12为第一值;
融合模块,还用于基于W′1大于第一过曝阈值,确定β21为第二值,β22为第一值;或者,基于W′1小于等于第一过曝阈值,确定β21为第一值,β22为第二值。
在一种可能的实现方式中,融合模块,还用于基于W1小于第二过暗阈值,确定β11为第一值,β12为第二值,第一值大于第二值;或者,基于W1大于第二过曝阈值,确定β11为第二值,β12为第一值;或者,基于W1介于第二过暗阈值与第二过曝阈值之间,确定β11从第一值开始随W1增大而减小,β12从第二值开始随W1增大而增大;
融合模块,还用于基于W′1小于第二过暗阈值,确定β21为第一值,β22为第二值,第一值大于第二值;或者,基于W′1大于第二过曝阈值,确定β21第二值,β22为第一值;或者,基于W′1介于第二过暗阈值与第二过曝阈值之间,确定β21从第一值开始随W′1增大而减小,β22从第二值开始随W′1增大而增大。
第三方面,提供了一种电子设备,该电子设备包括处理器、图像传感器及至少两个控制电路,至少两个控制电路用于控制图像传感器按照不同的亮度控制参数拍摄生成不同类的像素点中的像素值;
处理器用于执行第一方面及第一方面中任一的获取图像的方法。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质包括至少一条指令,指令由处理器执行以实现第一方面及第一方面的任一可能实现方式中的获取图像的方法。
提供了一种计算机程序(产品),计算机程序(产品)包括:计算机程序代码,当计算机程序代码被计算机运行时,使得计算机执行上述各方面中的方法。
提供了一种芯片,包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的通信设备执行上述各方面中的方法。
附图说明
图1为本申请实施例提供的图像像素阵列的结构图;
图2为本申请实施例提供的图像像素阵列的结构图;
图3为本申请实施例提供的图像像素阵列的结构图;
图4为本申请实施例提供的电子设备的结构示意图;
图5为本申请实施例提供的获取图像的方法流程图;
图6为本申请实施例提供的获取图像的方法流程图;
图7为本申请实施例提供的获取图像的过程示意图;
图8为本申请实施例提供的3*3像素阵列的结构示意图;
图9为本申请实施例提供的第一类像素点对应的加权权重以及第一亮度对齐结果对应的加权权重的关系示意图;
图10为本申请实施例提供的获取图像的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
随着图像拍摄技术的发展,使用摄像机拍摄动态范围较宽的场景越来越多。摄像机拍摄动态范围较宽的场景时,容易出现高亮过曝、暗部区域过黑导致细节丢失的问题。例如,背光人脸、红外补光环境下的手电筒效应、夜晚马路监控场景的强光抑制、电警场景下交通灯过曝、人车混行场景下人脸过暗、车牌过曝等。因此,需要一种有效的宽动态技术来解决这类问题,达到高亮和暗部细节同时显现的目的。
对此,本申请实施例提出了一种获取图像的方法,该方法采取帧内多次曝光,即在同一帧内、不同位置处的像素点采用不同的亮度控制参数,来实现较高的动态范围。由于不同位置处的像素点是同时曝光的,因而能够最大限度地减小运动拖尾。
为了实现帧内不同位置的像素点采用不同的亮度控制参数,本申请实施例对图像传感器进行了改进。以图1所示的色彩滤镜阵列(colorfilter array,CFA)图像传感器包括的图像像素阵列为例,该图像像素阵列包括两种像素点,一种是彩色像素点,该彩色像素点的像素值维彩色值;一种是黑白像素点,黑白像素点也称为灰度像素点,该黑白像素点的像素值为灰度值。如图1所示的R、G和B为彩色像素点,通过该彩色像素点能够还原得到色彩信息。W为黑白像素点,通过该黑白像素点能够得到黑白图像。将彩色和黑白融合则能够得到一幅高质量的彩色图像。
在示例性实施例中,基于本申请实施例提供的方法,将图像像素阵列中的同一种像素点分为至少两类,每一类采用不同的亮度控制参数拍摄,以实现在同一帧内、不同位置处的像素点采用不同的亮度控制参数拍摄,来实现较高的动态范围。例如,将黑白像素点分为至少两类,或者,将彩色像素点分为至少两类。
以图2所示的图像像素阵列为例,将黑白像素点分为两类,一类为奇数行黑白像素点,另一类为偶数行黑白像素点。将奇数行黑白像素点标记为W1,将偶数行黑白像素点标记为W2,采用奇数行黑白像素点(W1)与偶数行黑白像素点(W2)通过不同的电路进行控制的方式,实现配置相同或不同的亮度控制参数拍摄。例如,W1采用控制电路1进行控制,W2采用控制电路2进行控制。当W1与W2的亮度控制参数相同时,为线性曝光模式,适用于环境光照条件较为均匀的场景,该线性曝光模式下奇、偶行像素点的亮度变化是平滑的。但当环境光照条件不均匀,有较为强烈的明暗对比时,需为W1与W2配置不同的亮度控制参数拍摄以实现宽动态成像技术。
除了采用CFA阵列传感器以及采用图2所示的控制方式外,本申请实施例提供的方法也可应用扩展到拜耳(bayer)阵列传感器或者其它CFA阵列传感器,也可以不局限于按行设置不同亮度控制参数,还可以按行和列分别设置不同的亮度控制参数。示例性地,图3展示了一种按行和列分别设置不同亮度控制参数的CFA阵列传感器包括的像素阵列。例如,将像素阵列中的黑白像素点分为四类,分别标记为W1、W2、W3和W4。其中,W1采用控制电路1进行控制,W2采用控制电路2进行控制,W3采用控制电路3进行控制,W4采用控制电路4进行控制。
需要说明的是,图2和图3仅为对黑白像素点进行分类,并配置不同亮度控制参数为例进行示例性说明,但并不用于限制本申请,在示例性实施例中,也可将彩色像素点分为至少两类,针对每类彩色像素点配置不同的亮度控制参数。基于彩色像素点进行分类而应用本申请实施例提供的方法流程与基于黑白像素点进行分类而应用本申请实施例提供的方法流程一致,此处不再一一赘述,仅以黑白像素点为例进行说明。此外,本申请实施例不对亮度控制参数进行限定,包括但不限于曝光参数及增益,曝光参数包括但不限于曝光时长。
接下来,结合图2或图3所示的图像像素阵列的说明,对本申请实施例提供的获取图像的方法进行说明。示例性地,该方法的执行主体可以为照相机、摄像机等能够获取图像的电子设备,如图4所示,该电子设备包括镜头401、图像传感器402、控制电路403、处理器404以及编码器405,处理器404与控制电路403和图像传感器402相连接。
其中,控制电路403,用于接受处理器404的反馈,使用至少两个亮度控制参数对图像传感器402进行控制;图像传感器402,用于按照控制电路403的控制进行光电转换,生成图像像素阵列,其中,控制电路403的每个亮度控制参数对应一类像素点。
控制电路403为至少两个,本申请实施例不对控制电路403的数量进行限定。在一种可能的实现方式中,电子设备包括的控制电路403为至少两个,至少两个控制电路用于控制图像传感器402按照不同的亮度控制参数拍摄生成不同类的像素点中的像素值。例如,在获取图像时,光线进入镜头401,镜头401将光线传输给图像传感器402;图像传感器402进行光电转换,生成原始图像。由于图像传感器402的像素点被控制电路403所控制,基于不同的亮度控制参数,生成了相应的图像像素,也即像素点的像素值。图像传感器402直接生成的图像是RAW格式,根据图像传感器402设计的不同,RAW图的格式也相应不同,例如可以是拜耳RGGB,RYYB,RCCC、RCCB、RGBW、CMYW等多种格式。
图像传感器402将初始图像发送给处理器404,该处理器404可具有ISP功能,由处理器404进行图像信号处理。例如,将各种格式的RAW图像转换成RGB格式。也可以将RAW格式转换成YUV格式,或者HSV格式、Lab格式、CMY格式、YCbCr格式。这些格式可以称为原始媒体数据格式。此外,处理器404应用本申请实施例提供的方法进行插值等处理,以及对控制电路403进行控制。
编码器405对图像进行编码(也就是压缩),生成的图像或者视频的格式可以是:jpeg格式、bmp格式、tga格式png格式以及gif格式。视频媒体格式例如:MPEG格式、AVI格式、nAVI格式、ASF格式、MOV格式、WMV格式、3GP格式、RM格式、RMVB格式、FLV/F4V格式、H.264格式、H.265格式。
在示例性实施例中,处理器404和编码器405可以集成在一起。例如
Figure GWB0000003541010000111
SoC芯片
Figure GWB0000003541010000112
为集成了处理器404和编码器405功能的芯片。
基于上述图4所示的电子设备,该方法应用于电子设备的处理器中。参见图5,本申请实施例提供的方法包括如下几个过程。
步骤501,电子设备的处理器获取图像像素阵列中的至少两类像素点的像素值,在图像中,不同类的像素点的像素值是根据不同的亮度控制参数拍摄生成,该至少两类像素点均为黑白像素点,或者,该至少两类像素点均为彩色像素点。
在本申请实施例中,为了实现帧内不同位置的像素点采用不同的亮度控制参数,图像像素阵列中同一种像素点被分为至少两类,该至少两类像素点可均为黑白像素点,或者,该至少两类像素点均为彩色像素点。此外,该至少两类像素点的像素值根据不同的亮度控制参数生成,该亮度控制参数可由控制电路来控制。
由于电子设备包括图像传感器、控制电路以及处理器,处理器分别与图像传感器及控制电路相连,因而处理器不仅能够读取图像传感器包括的像素阵列中的像素点的像素值,还能够通过控制电路确定像素点对应的亮度控制参数。
本申请实施例不对同一种像素点被划分的至少两类像素点的数量进行限定,可基于电子设备的配置来确定。例如,如果是如图2所示的将黑白像素划分成两类像素点W1和W2,则处理器获取W1和W2这两类黑白像素点的像素值。如果是如图3所示的将黑白像素点划分成四类像素点W1、W2、W3和W4,则处理器获取W1、W2、W3和W4这四类黑白像素点的像素值。
此外,亮度控制参数包括但不限于曝光时长和增益,不同的亮度控制参数是指曝光时长相同,增益不同;或者,不同的亮度控制参数是指曝光时长不同,增益相同;或者,不同的亮度控制参数是指曝光时长不同,且增益也不同。
针对曝光时长不同的情况,需要满足同时结束曝光。也就是说,根据不同的亮度控制参数拍摄时,曝光开始时间可以不同,但曝光结束时间需要相同,从而保证根据不同的亮度控制参数拍摄得到的图像是同一帧图像。
步骤502,电子设备的处理器根据该至少两类像素点的像素值获取各个亮度控制参数对应的图像。
由于该至少两类像素点的像素值是根据不同亮度控制参数生成的,根据每一个亮度控制参数生成的像素点的像素值均可得到一张图像。示例性地,以亮度控制参数包括曝光参数,且该曝光参数为曝光时长为例,不同曝光时长能够得到不同显示效果的图像。例如,以两种亮度控制参数分别为长曝光和短曝光为例,长曝光能够获取暗部细节信息,而短曝光能够获取高亮细节信息。因此,电子设备获取具有暗部细节信息的图像以及具有高亮细节信息的图像。
需要说明的是,虽然该至少两类像素点并不是图像像素阵列中的全部像素点,而是其中的一种像素点,但本申请实施例根据该至少两类像素点的像素值获取到的各个亮度控制参数对应的图像均为完整图像,图像中的像素点数量与图像像素阵列中的像素点数量一致。由于该至少两类像素点中的每一类像素点的像素值均是根据各自对应的亮度控制参数生成的,并不具有根据其他亮度控制参数生成的像素值。例如,以图3所示的图像像素阵列为例,控制电路1所控制的W1的像素值是根据W1所对应的亮度控制参数1生成的,该W1并不具有根据W3所对应的亮度控制参数3生成的像素值。同理,控制电路3所控制的W3的像素值是根据W3所对应的亮度控制参数3生成的,该W3并不具有根据W1所对应的亮度控制参数1生成的像素值。
因此,为了获取每个亮度控制参数对应的完整的图像,在获取任一亮度控制参数对应的图像时,可根据该任一亮度控制参数对应的像素点的像素值来确定未对应该任一亮度控制参数的其他像素点的像素值。关于根据该任一亮度控制参数对应的像素点的像素值来确定未对应该任一亮度控制参数的其他像素点的像素值的方式,本申请实施例不进行限定。例如,可通过插值的方式实现,也可通过均值的方式实现。
仍以图3中W1所对应的亮度控制参数为亮度控制参数1为例,在获取该亮度控制参数1对应的图像时,由于W1的像素值是根据该亮度控制参数1生成的,而W2、W3和W4并不具有根据该亮度控制参数1生成的像素值,因而可根据W1的像素值来确定W2、W3和W4在该亮度控制参数1下的像素值。从而使得图像像素阵列中的各个黑白像素点均具有对应该亮度控制参数1的像素值,由此生成该亮度控制参数1对应的一张黑白图像。
同理,针对W3所对应的亮度控制参数3,在获取该亮度控制参数3对应的图像时,由于W3的像素值是根据该亮度控制参数3生成的,而W1、W2和W4并不具有根据该亮度控制参数3生成的像素值,因而可根据W3的像素值来确定W1、W2和W4在该亮度控制参数3下的像素值。从而使得图像像素阵列中的各个黑白像素点均具有对应该亮度控制参数3的像素值,由此生成该亮度控制参数3对应的黑白图像。
步骤503,电子设备的处理器融合各个亮度控制参数对应的图像。
得到各个亮度控制参数对应的图像后,关于融合各个亮度控制参数对应的图像的方式,本申请实施例不进行限定,可参见下面图6所示的融合方式,此处暂不赘述。
基于本申请实施例提供的获取图像的方法,基于该获取图像的方法,由于图像像素阵列中的同一种像素点分为至少两类,每一类采用不同的亮度控制参数拍摄,以实现在同一帧内、不同位置处的像素点采用不同的亮度控制参数拍摄,能够既保留高亮细节,又保留暗部细节,实现较高的动态范围。另外,虽然不同位置处的像素点采用不同的亮度控制参数拍摄,但均在帧内同时结束曝光,且融合的不同亮度控制参数对应的图像,也都是基于同一帧图像得到的,因而能够最大限度地减小运动拖尾。
为便于理解,以将图像像素阵列中的同一种像素点分为两类像素点为例,结合图2所示的图像像素阵列,对本申请实施例提供的方法进行举例说明。仍以该方法的执行主体为电子设备的处理器为例,参见图6,本申请实施例提供的方法包括如下几个过程。
步骤601,电子设备的处理器获取图像像素阵列中的第一类像素点的像素值以及第二类像素点的像素值,第一类像素点的像素值根据第一亮度控制参数拍摄生成,第二类像素点的像素值根据第二亮度控制参数拍摄生成。
在示例性实施例中,电子设备包括的至少两个控制电路为第一控制电路和第二控制电路;第一控制电路用于控制图像传感器按照第一亮度控制参数将光转换成电信号拍摄得到第一类像素点的像素值;第二控制电路用于控制图像传感器按照第二亮度控制参数将光转换成电信号拍摄得到第二类像素点的像素值。
其中,第一类像素点和第二类像素点均为黑白像素点,或者,第一类像素点和第二类像素点均为彩色像素点。第一亮度控制参数与第二亮度控制参数的值不同,本申请实施例不对第一亮度控制参数及第二亮度控制参数的值进行限定。
第一亮度控制参数及第二亮度控制参数均包括但不限于曝光时长和增益,第一亮度控制参数及第二亮度控制参数的曝光时长相同,增益不同;或者,第一亮度控制参数及第二亮度控制参数的曝光时长不同,增益相同;或者,第一亮度控制参数及第二亮度控制参数的曝光时长不同,且增益也不同。针对曝光时长不同的情况,需要满足同时结束曝光。也就是说,根据第一亮度控制参数及第二亮度控制参数拍摄时,曝光开始时间可以不同,但曝光结束时间需要相同,从而保证根据第一亮度控制参数及第二亮度控制参数拍摄得到的图像是同一帧图像。
步骤602,电子设备的处理器根据第一类像素点的像素值获取第一亮度控制参数对应的第一图像,根据第二类像素点的像素值获取第二亮度控制参数对应的第二图像。
虽然第一类像素点和第二类像素点并不是图像像素阵列中的全部像素点,而是其中的一种像素点,但本申请实施例根据第一类像素点的像素值获取到的第一亮度控制参数对应的第一图像,以及根据第二类像素点的像素值获取到的第二亮度控制参数对应的第二图像均为完整图像,第一图像和第二图像中的像素点数量均与图像像素阵列中的像素点数量一致。第一图像中的像素点的值一部分是直接从图像像素阵列中获取得到的,余下一部分由直接获取的这部分像素点的值计算得到。同理,第二图像中的像素点的值一部分是直接从图像像素阵列中获取得到的,余下一部分由直接获取的这部分像素点的值计算得到。也就是说,第一图像及所述第二图像为初始图像,初始图像的像素点数量与图像像素阵列中的像素点数量相同。图像像素阵列是RAW格式的图像,而第一图像和第二图像也是同样格式。由于该第一类像素点的像素值是根据第一亮度控制参数拍摄生成的,该第一类像素点并不具有根据第二亮度控制参数拍摄生成的像素值。而第二类像素点的像素值是根据第二亮度控制参数拍摄生成的,该第二类像素点并不具有根据第一亮度控制参数拍摄生成的像素值。
因此,为了获取第一亮度控制参数对应的第一图像,在获取第一亮度控制参数对应的第一图像时,可根据该第一亮度控制参数对应的第一类像素点的像素值来确定未对应该第一亮度控制参数的第二类像素点的像素值。关于根据该第一亮度控制参数对应的第一类像素点的像素值来确定未对应该第一亮度控制参数的第二类像素点的像素值的方式,本申请实施例不进行限定。例如,可通过均值的方式实现,也可通过插值的方式实现。
以通过均值的方式为例,确定第二类像素点在第一亮度控制参数下的像素值时,确定与第二类像素点相邻的各个第一类像素点的像素值的平均值,将该平均值作为该第二类像素点在第一亮度控制参数下的像素值。如图2所示,任一W1的像素值是根据第一亮度控制参数生成的,任一W2的像素值是根据第二亮度控制参数生成的,对于其中一个W2,如果需要确定该W2在第一亮度控制参数下的像素值,则将于该W2相邻的四个W1的像素值求平均,得到的均值作为该W2在第一亮度控制参数下的像素值。
可选地,除了确定与第二类像素点相邻的各个第一类像素点的像素值的平均值,将该平均值作为该第二类像素点在第一亮度控制参数下的像素值之外,还可确定所有第一类像素点的像素值的平均值,将各个第二类像素点在第一亮度控制参数下的像素值均设为该平均值。
针对通过插值的方式,在示例性实施例中,根据第一类像素点的像素值获取第一亮度控制参数对应的第一图像,包括:根据第一目标像素点的像素值确定第二类像素点在第一亮度控制参数下的第一互相关插值;根据第一类像素点的像素值和第一互相关插值获取第一图像,第一目标像素点包括与第二类像素点相邻的第一类像素点。
以图7所示的获取图像过程为例,W1为第一类像素点,为便于理解,将各个第一类像素点的像素值均记为W1,但并不代表各个第一类像素点的像素值相同,各个第一类像素点的像素值可基于当前环境来确定,可以是不同的像素值,这里只是为了便于理解。同理,W2为第二类像素点,为便于理解,将各个第二类像素点的像素值记为W2。W2’是第二类像素点在第一亮度控制参数下通过第一目标像素点的像素值进行插值得到的像素值,该第一目标像素点是第二类像素点相邻的第一类像素点。
为了进一步理解,可参见图8所示的3*3像素阵列,其中,各个数字1所对应的像素点为第一类像素点,各个数字1对应的像素点的像素值根据第一亮度控制参数生成。图8中的数字2对应的像素点为第二类像素点,各个数字1所对应的像素点均是与数字2对应的像素点相邻的第一类像素点,因而各个数字1对应的像素点均为第一目标像素点,该数字2对应的像素点在第一亮度控制参数下的像素值通过各个数字1对应的像素点的像素值进行插值得到。
关于获取插值的方式,本申请实施例不进行限定。在示例性实施例中,根据第一目标像素点的像素值确定第二类像素点在第一亮度控制参数下的第一互相关插值,包括:根据第二类像素点的像素值确定第一目标像素点的加权权重,第一目标像素点的加权权重与第二类像素点及第一目标像素点的差异大小正相关;根据第一目标像素点的像素值以及加权权重确定第二类像素点在第一亮度控制参数下的第一互相关插值。
其中,本申请实施例不对根据第二类像素点的像素值确定第一目标像素点的加权权重的方式进行限定,该第一目标像素点的加权权重与第二类像素点及第一目标像素点的差异大小正相关,包括但不限于将第二类像素点及第一目标像素点的差异映射为第一目标像素点的加权权重,第二类像素点及第一目标像素点的差异越小,则第一目标像素点的加权权重越小,第二类像素点及第一目标像素点的差异越大,则第一目标像素点的加权权重越大。
例如,仍以图7所示的3*3像素阵列为例,各个数字1对应的像素点作为第一目标像素点,该各个数字1对应的像素点的加权权重通过各个数字1对应的像素点与数字2对应的像素点之间的差异大小确定。
示例性地,根据第一目标像素点的像素值以及加权权重确定第二类像素点在第一亮度控制参数下的第一互相关插值,包括:对于任一第一目标像素点,将该任一第一目标像素点的像素值与该第一目标像素点的加权权重相乘,得到该任一第一目标像素点对应的乘积结果。之后,将各个第一目标像素点对应的乘积结果进行累加,得到第一累加和。将各个第一目标像素点的加权权重进行累加,得到第二累加和。将第一累加和与第二累加和的商作为第二类像素点在第一亮度控制参数下的第一互相关插值。
例如,以α2i为第一目标像素点的加权权重,W2i为第一目标像素点的像素值,N1为第一目标像素点的数量为例,根据第一目标像素点的像素值以及加权权重确定第二类像素点在第一亮度控制参数下的第一互相关插值,包括:根据第一目标像素点的像素值以及加权权重按照如下公式确定第二类像素点在第一亮度控制参数下的第一互相关插值W′2
Figure GWB0000003541010000141
需要说明的是,获取第二图像的方式与获取第一图像的方式在原理上一致,可参考上述获取第一图像的过程。在示例性实施例中,根据第二类像素点的像素值获取第二亮度控制参数对应的第二图像,包括:根据第二目标像素点的像素值确定第一类像素点在第二亮度控制参数下的第二互相关插值,根据第二类像素点的像素值和第二互相关插值获取第二图像,第二目标像素点包括与第一类像素点相邻的第二类像素点。
其中,根据第二目标像素点的像素值确定第一类像素点在第二亮度控制参数下的第二互相关插值,包括但不限于:根据第一类像素点的像素值确定第二目标像素点的加权权重,第二目标像素点的加权权重与第一类像素点及第二目标像素点的差异大小正相关;根据第二目标像素点的像素值以及加权权重确定第一类像素点在第二亮度控制参数下的第二互相关插值。
示例性地,根据第二目标像素点的像素值以及加权权重确定第一类像素点在第二亮度控制参数下的第二互相关插值,包括:对于任一第二目标像素点,将任一第二目标像素点的像素值以及加权权重相乘,得到任一第二目标像素点对应的乘积结果;将各个第二目标像素点对应的乘积结果进行累加,得到第三累加和;将各个第二目标像素点的加权权重进行累加,得到第四累加和;将第三累加和与第四累加和的商作为第一类像素点在第二亮度控制参数下的第二互相关插值。
例如,根据第二目标像素点的像素值以及加权权重按照如下公式确定第一类像素点在第二亮度控制参数下的第二互相关插值W′1
Figure GWB0000003541010000151
其中,α1i为第二目标像素点的加权权重,W1i为第二目标像素点的像素值,N2为第二目标像素点的数量。
步骤603,电子设备的处理器融合第一图像和第二图像。
由于第一图像是第一亮度控制参数对应的图像,而第二图像是第二亮度控制参数对应的图像,为了获取同一帧图像,在示例性实施例中,融合第一图像和第二图像。例如,将第一图像的各个像素点的像素值与第二图像对应的各个像素点的像素值进行融合。本申请实施例不对融合第一图像及第二图像的方式进行限定,在示例性实施例中,本申请实施例提供的方法还包括对第一图像和对第二图像进行亮度对齐的过程,以通过亮度平滑算法,来实现高亮区域不过曝、暗部区域不过暗的成像目标,从而保持获取到的最终图像的清晰度不损失。示例性地,以第二亮度控制参数小于第一亮度控制参数为例,本申请实施例提供的融合第一图像和第二图像的方式,包括但不限于如下603A1至603A4几个过程。
603A1,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果。
由于第一类像素点的像素值是根据第一亮度控制参数生成的,而第二互相关插值也是该第一类像素点对应的值,只是该第二互相关插值是第二亮度控制参数下的值。也就是说,对于同一个第一类像素点,既有一个根据第一亮度控制参数生成的像素值,还有一个对应第二亮度控制参数的第二互相插值。因此,需要将同一个第一类像素点的两个值进行亮度对齐。由于亮度控制参数越小,得到的图像越暗,在第二亮度控制参数小于第一亮度控制参数的情况下,采用按照第一亮度控制参数将第一类像素点的像素值和第二互相关插值进行亮度对齐。
在示例性实施例中,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,包括:根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,差异倍数基于第一亮度控制参数与第二亮度控制参数之间的综合差异得到。
以亮度参数包括增益及曝光时长为例,第一亮度控制参数包括第一增益及第一曝光时长,第二亮度控制参数包括第二增益及第二曝光时长,则第一亮度控制参数与第二亮度控制参数之间的差异倍数为第一乘积结果与第二乘积结果的差异。其中,第一乘积结果为第一增益与第一曝光时长的乘积结果,第二乘积结果为第二增益与第二曝光时长的乘积结果。
示例性地,按照如下公式根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果
Figure GWB0000003541010000161
Figure GWB0000003541010000162
其中,K为第一亮度控制参数与第二亮度控制参数的差异倍数,BL为黑电平的值,W′2为第二互相关插值。
603A2,融合第一类像素点的像素值及第一亮度对齐结果。
在示例性实施例中,融合第一类像素点的像素值及第一亮度对齐结果,包括:将第一类像素点的像素值及对应的加权权重相乘,得到第一乘积结果,将第一亮度对齐结果及对应的加权权重相乘,得到第二乘积结果。之后,将第一乘积结果与第二乘积结果求和,得到第一和值。将第一类像素点对应的加权权重与第一亮度对齐结果对应的加权权重求和,得到第二和值。将第一和值与第二和值的商作为第一类像素点的像素值及第一亮度对齐结果的融合结果。
示例性地,根据第一类像素点的像素值及对应的加权权重,以及第一亮度对齐结果及对应的加权权重,按照如下公式融合第一类像素点的像素值及第一亮度对齐结果:
Figure GWB0000003541010000163
其中,WF1为第一类像素点的像素值W1及第一亮度对齐结果
Figure GWB0000003541010000164
的融合结果,β11为第一加权权重,β12为第二加权权重。
在示例性实施例中,融合第一图像和第二图像之前,还包括确定第一类像素点对应的加权权重以及确定第一亮度对齐结果对应的加权权重的过程。包括但不限于如下两种确定方式:
确定方式一,基于W1小于第一过暗阈值,确定β11为第一值,β12为第二值,第一值大于第二值;或者,基于W1大于等于第一过暗阈值,确定β11为第二值,β12为第一值。
示例性地,第一值为1,第二值为0。如果第一类像素点的像素值小于第一过暗阈值,说明第一类像素点的像素值不过暗,将第一类像素点对应的加权权重设为1,而将第一亮度对齐结果对应的加权权重设为0,则该位置的像素点的像素值以第一类像素点的像素值为准。同理,如果第一类像素点的像素值大于等于第一过暗阈值,说明第一类像素点的像素值过暗,将第一类像素点对应的加权权重设为0,而将第一亮度对齐结果对应的加权权重设为1,则该位置的像素点的像素值以第一亮度对齐结果为准。该种确定第一类像素点对应的加权权重以及确定第一亮度对齐结果对应的加权权重的方式,使得融合第一类像素点的像素值及第一亮度对齐结果之后的图像除过曝和过暗区域外,与线性曝光模式的清晰度一致。
确定方式二,基于W1小于第二过暗阈值,确定β11为第一值,β12为第二值,第一值大于第二值;或者,基于W1大于第二过曝阈值,确定β11为第二值,β12为第一值;或者,基于W1介于第二过暗阈值与第二过曝阈值之间,确定β11从第一值开始随W1增大而减小,β12从第二值开始随W1增大而增大。
示例性地,第一值为1,第二值为0。该方式二中,第一类像素点对应的加权权重以及第一亮度对齐结果对应的加权权重的关系如图9所示。如果第一类像素点的像素值小于第二过暗阈值(对应于图9中的th1),说明第一类像素点的像素值不过暗,将第一类像素点对应的加权权重设为1,而将第一亮度对齐结果对应的加权权重设为0,则该位置的像素点的像素值以第一类像素点的像素值为准。同理,如果第一类像素点的像素值大于第二过曝阈值(对应于图9中的th2),说明第一类像素点的像素值过曝,将第一类像素点对应的加权权重设为0,而将第一亮度对齐结果对应的加权权重设为1,则该位置的像素点的像素值以第一亮度对齐结果为准。如果第一类像素点的像素值介于第二过暗阈值与第二过曝阈值之间,确定第一类像素点对应的加权权重从1开始随第一互相关插值增大而减小,第一亮度对齐结果对应的加权权重从0开始随第一互相关插值增大而增大。
通过该确定方式二确定第一类像素点对应的加权权重以及确定第一亮度对齐结果对应的加权权重,使得融合第一类像素点的像素值及第一亮度对齐结果之后的图像略低于线性曝光模式的清晰度,但是能够有效防止采用方式一由于图像传感器的线性度不佳导致的不平滑问题。
603A3,将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果。
同第一类像素点一样,由于第二类像素点的像素值是根据第二亮度控制参数生成的,而第一互相关插值也是该第二类像素点对应的值,只是该第一互相关插值是第一亮度控制参数下的值。也就是说,对于同一个第二类像素点,既有一个根据第二亮度控制参数生成的像素值,还有一个对应第一亮度控制参数的第一互相插值。因此,需要将同一个第二类像素点的两个值进行亮度对齐。由于亮度控制参数越小,得到的图像越暗,在第二亮度控制参数小于第一亮度控制参数的情况下,采用按照第一亮度控制参数将第二类像素点的像素值和第一互相关插值进行亮度对齐。
在示例性实施例中,将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果,包括:根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果,差异倍数基于第一亮度控制参数与第二亮度控制参数之间的综合差异得到。
以亮度参数包括增益及曝光时长为例,第一亮度控制参数包括第一增益及第一曝光时长,第二亮度控制参数包括第二增益及第二曝光时长,则第一亮度控制参数与第二亮度控制参数之间的差异倍数为第一乘积结果与第二乘积结果的差异。其中,第一乘积结果为第一增益与第一曝光时长的乘积结果,第二乘积结果为第二增益与第二曝光时长的乘积结果。
示例性地,按照如下公式将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果
Figure GWB0000003541010000171
Figure GWB0000003541010000172
其中,W2为第二类像素点的像素值。
603A4,融合第一互相关插值及第二亮度对齐结果。
在示例性实施例中,融合第一互相关插值及第二亮度对齐结果,包括:将第一互相关插值及对应的加权权重相乘,得到第三乘积结果,将第二亮度对齐结果及对应的加权权重相乘,得到第四乘积结果。之后,将第三乘积结果与第四乘积结果求和,得到第三和值。将第二类像素点对应的加权权重与第二亮度对齐结果对应的加权权重求和,得到第四和值。将第三和值与第四和值的商作为第一互相关插值及第二亮度对齐结果的融合结果。
例如,以第一互相关插值对应的加权权重为第三加权权重,第二亮度对齐结果对应的加权权重为第四加权权重为例,按照如下公式融合第一互相关插值及第二亮度对齐结果:
Figure GWB0000003541010000181
其中,WF2为第一互相关插值W′1及第二亮度对齐结果
Figure GWB0000003541010000182
的融合结果,β21为第三加权权重,β22为第四加权权重。
在示例性实施例中,融合第一互相关插值及第二亮度对齐结果之前之前,还包括:确定第三加权权重以及确定第四加权权重的过程。包括但不限于如下两种确定方式:
确定方式一,基于W′1大于第一过曝阈值,确定β21为第二值,β22为第一值;或者,基于W′1小于等于第一过曝阈值,确定β21为第一值,β22为第二值。
示例性地,第一值为1,第二值为0。如果第一互相关插值小于第一过暗阈值,说明第一互相关插值不过暗,将第一互相关插值对应的第三加权权重设为1,而将第二亮度对齐结果对应的加权权重设为0,则该位置的像素点的像素值以第一互相关插值为准。同理,如果第一互相关插值大于等于第一过暗阈值,说明第一互相关插值过暗,将第一互相关插值对应的加权权重设为0,而将第二亮度对齐结果对应的加权权重设为1,则该位置的像素点的像素值以第二亮度对齐结果为准。该种确定第一互相关插值对应的第三加权权重以及确定第二亮度对齐结果对应的第四加权权重的方式,使得融合第一互相关插值及第二亮度对齐结果之后的图像除过曝和过暗区域外,与线性曝光模式的清晰度一致。
确定方式二,基于W′1小于第二过暗阈值,确定β21为第一值,β22为第二值,第一值大于第二值;或者,基于W′1大于第二过曝阈值,确定β21第二值,β22为第一值;或者,基于W′1介于第二过暗阈值与第二过曝阈值之间,确定β21从第一值开始随W′1增大而减小,β22从第二值开始随W′1增大而增大。
示例性地,第一值为1,第二值为0。该确定方式二中,第一互相关插值对应的第三加权权重以及第二亮度对齐结果对应的第四加权权重的关系也可如图9所示。通过该确定方式二确定第三加权权重以及确定第四加权权重,使得融合第一互相关插值及第二亮度对齐结果之后的图像略低于线性曝光模式的清晰度,但是能够有效防止采用确定方式一由于图像传感器的线性度不佳导致的不平滑问题。
基于该获取图像的方法,由于图像像素阵列中的同一种像素点分为至少两类,每一类采用不同的亮度控制参数拍摄,以实现在同一帧内、不同位置处的像素点采用不同的亮度控制参数拍摄,能够既保留高亮细节,又保留暗部细节,实现较高的动态范围。另外,虽然不同位置处的像素点采用不同的亮度控制参数拍摄,但均在同一帧内同时结束曝光,且融合的不同亮度控制参数对应的图像,也都是基于同一帧图像得到的,因而能够最大限度地减小运动拖尾。
本申请实施例提供了一种获取图像的装置,该装置用于通过图10所示的模块来执行图5和图6所示的获取图像的方法。参见图10,该装置包括:
第一获取模块1001,用于获取图像像素阵列中的至少两类像素点的像素值,在图像中,不同类的像素点中的像素值是根据不同的亮度控制参数拍摄生成,至少两类像素点均为黑白像素点,或者,至少两类像素点均为彩色像素点;该第一获取模块1001所执行的功能可参考图5所示的501,此处不再赘述。
第二获取模块1002,用于根据至少两类像素点的像素值获取各个亮度控制参数对应的图像;该第二获取模块1002所执行的功能可参考图5所示的502,此处不再赘述。
融合模块1003,用于融合各个亮度控制参数对应的图像。该融合模块1003所执行的功能可参考图5所示的503,此处不再赘述。
在示例性实施例中,至少两类像素点包括第一类像素点和第二类像素点,第一类像素点的像素值根据第一亮度控制参数拍摄生成,第二类像素点的像素值根据第二亮度控制参数拍摄生成;
第二获取模块1002,用于根据第一类像素点的像素值获取第一亮度控制参数对应的第一图像,根据第二类像素点的像素值获取第二亮度控制参数对应的第二图像;例如,参考图6所示的602的相关描述,此处不再赘述。
融合模块1003,用于融合第一图像和第二图像。例如,参考图6所示的603的相关描述,此处不再赘述。
在示例性实施例中,第二获取模块1002,用于根据第一目标像素点的像素值确定第二类像素点在第一亮度控制参数下的第一互相关插值,根据第一类像素点的像素值和第一互相关插值获取第一图像,第一目标像素点包括与第二类像素点相邻的第一类像素点;
在示例性实施例中,第二获取模块1002,根据第二目标像素点的像素值确定第一类像素点在第二亮度控制参数下的第二互相关插值,根据第二类像素点的像素值和第二互相关插值获取第二图像,第二目标像素点包括与第一类像素点相邻的第二类像素点。
在示例性实施例中,第二获取模块1002,用于根据第二类像素点的像素值确定第一目标像素点的加权权重,第一目标像素点的加权权重与第二类像素点及第一目标像素点的差异大小正相关;根据第一目标像素点的像素值以及加权权重确定第二类像素点在第一亮度控制参数下的第一互相关插值;
第二获取模块1002,用于根据第一类像素点的像素值确定第二目标像素点的加权权重,第二目标像素点的加权权重与第一类像素点及第二目标像素点的差异大小正相关;根据第二目标像素点的像素值以及加权权重确定第一类像素点在第二亮度控制参数下的第二互相关插值。
在示例性实施例中,第二获取模块1002,用于对于任一第一目标像素点,将任一第一目标像素点的像素值以及加权权重相乘,得到任一第一目标像素点对应的乘积结果;将各个第一目标像素点对应的乘积结果进行累加,得到第一累加和;将各个第一目标像素点的加权权重进行累加,得到第二累加和;将第一累加和与第二累加和的商作为第二类像素点在第一亮度控制参数下的第一互相关插值;
第二获取模块1002,用于对于任一第二目标像素点,将任一第二目标像素点的像素值以及加权权重相乘,得到任一第二目标像素点对应的乘积结果;将各个第二目标像素点对应的乘积结果进行累加,得到第三累加和;将各个第二目标像素点的加权权重进行累加,得到第四累加和;将第三累加和与第四累加和的商作为第一类像素点在第二亮度控制参数下的第二互相关插值。
在示例性实施例中,亮度控制参数小于第一亮度控制参数,融合模块1003,用于将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,融合第一类像素点的像素值及第一亮度对齐结果;将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果;融合第一互相关插值及第二亮度对齐结果。
在示例性实施例中,融合模块1003,用于根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,差异倍数基于第一亮度控制参数与第二亮度控制参数之间的综合差异得到;
融合模块1003,用于根据第一亮度控制参数与第二亮度控制参数之间的差异倍数,将第二类像素点的像素值和第一互相关插值按照第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果。
在示例性实施例中,融合模块1003,用于将第一类像素点的像素值及对应的加权权重相乘,得到第一乘积结果,将第一亮度对齐结果及对应的加权权重相乘,得到第二乘积结果;将第一乘积结果与第二乘积结果求和,得到第一和值;将第一类像素点对应的加权权重与第一亮度对齐结果对应的加权权重求和,得到第二和值;将第一和值与第二和值的商作为第一类像素点的像素值及第一亮度对齐结果的融合结果;
融合模块1003,用于将第一互相关插值及对应的加权权重相乘,得到第三乘积结果,将第二亮度对齐结果及对应的加权权重相乘,得到第四乘积结果;将第三乘积结果与第四乘积结果求和,得到第三和值;将第二类像素点对应的加权权重与第二亮度对齐结果对应的加权权重求和,得到第四和值;将第三和值与第四和值的商作为第一互相关插值及第二亮度对齐结果的融合结果。
在示例性实施例中,融合模块1003,还用于基于W1小于第一过暗阈值,确定β11为第一值,β12为第二值,第一值大于第二值;或者,基于W1大于等于第一过暗阈值,确定β11为第二值,β12为第一值;
融合模块1003,还用于基于W′1大于第一过曝阈值,确定β21为第二值,β22为第一值;或者,基于W′1小于等于第一过曝阈值,确定β21为第一值,β22为第二值。
在示例性实施例中,融合模块1003,还用于基于W1小于第二过暗阈值,确定β11为第一值,β12为第二值,第一值大于第二值;或者,基于W1大于第二过曝阈值,确定β11为第二值,β12为第一值;或者,基于W1介于第二过暗阈值与第二过曝阈值之间,确定β11从第一值开始随W1增大而减小,β12从第二值开始随W1增大而增大;
融合模块1003,还用于基于W′1小于第二过暗阈值,确定β21为第一值,β22为第二值,第一值大于第二值;或者,基于W′1大于第二过曝阈值,确定β21第二值,β22为第一值;或者,基于W′1介于第二过暗阈值与第二过曝阈值之间,确定β21从第一值开始随W′1增大而减小,β22从第二值开始随W′1增大而增大。
应理解的是,上述图10提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种电子设备,该电子设备包括处理器、图像传感器及至少两个控制电路,至少两个控制电路用于控制图像传感器按照不同的亮度控制参数拍摄生成不同类的像素点中的像素值;
处理器用于执行图5或图6中任一的获取图像的方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质包括至少一条指令,指令由处理器执行以实现图5或图6任一的获取图像的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。还应理解,尽管以下描述使用术语第一、第二等来描述各种元素,但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如,在不脱离各种所述示例的范围的情况下,第一图像可以被称为第二图像,并且类似地,第二图像可以被称为第一图像。第一图像和第二图像都可以是图像,并且在某些情况下,可以是单独且不同的图像。
还应理解,在本申请的各个实施例中,各个过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请中术语“至少一个”的含义是指一个或多个,本申请中术语“多个”的含义是指两个或两个以上,例如,多个第二报文是指两个或两个以上的第二报文。本文中术语“系统”和“网络”经常可互换使用。
应理解,在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例,而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样,单数形式“一个(“a”,“an”)”和“该”旨在也包括复数形式,除非上下文另外明确地指示。
还应理解,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”,是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本申请中的字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,术语“包括”(也称“includes”、“including”、“comprises”和/或“comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
还应理解,术语“若”和“如果”可被解释为意指“当时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“若确定...”或“若检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
还应理解,说明书通篇中提到的“一个实施例”、“一实施例”、“一种可能的实现方式”意味着与实施例或实现方式有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”、“一种可能的实现方式”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
以上所述仅为本申请的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (24)

1.一种获取图像的方法,其特征在于,所述方法包括:
获取图像像素阵列中的至少两类像素点的像素值,在所述图像中,不同类的所述像素点中的像素值是根据不同的亮度控制参数拍摄生成,所述至少两类像素点均为黑白像素点,或者,所述至少两类像素点均为彩色像素点,所述至少两类像素点包括第一类像素点和第二类像素点,所述第一类像素点的像素值根据第一亮度控制参数拍摄生成,所述第二类像素点的像素值根据第二亮度控制参数拍摄生成;
根据第一目标像素点的像素值确定所述第二类像素点在所述第一亮度控制参数下的第一互相关插值,根据所述第一类像素点的像素值和所述第一互相关插值获取第一图像,所述第一目标像素点包括与所述第二类像素点相邻的第一类像素点;根据第二目标像素点的像素值确定所述第一类像素点在所述第二亮度控制参数下的第二互相关插值,根据所述第二类像素点的像素值和所述第二互相关插值获取第二图像,所述第二目标像素点包括与所述第一类像素点相邻的第二类像素点;
融合所述第一图像和所述第二图像。
2.根据权利要求1所述的方法,其特征在于,所述根据第一目标像素点的像素值确定所述第二类像素点在所述第一亮度控制参数下的第一互相关插值,包括:根据所述第二类像素点的像素值确定所述第一目标像素点的加权权重,所述第一目标像素点的加权权重与所述第二类像素点及所述第一目标像素点的差异大小正相关;根据所述第一目标像素点的像素值以及加权权重确定所述第二类像素点在所述第一亮度控制参数下的第一互相关插值;
所述根据第二目标像素点的像素值确定所述第一类像素点在所述第二亮度控制参数下的第二互相关插值,包括:根据所述第一类像素点的像素值确定所述第二目标像素点的加权权重,所述第二目标像素点的加权权重与所述第一类像素点及所述第二目标像素点的差异大小正相关;根据所述第二目标像素点的像素值以及加权权重确定所述第一类像素点在所述第二亮度控制参数下的第二互相关插值。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一目标像素点的像素值以及加权权重确定所述第二类像素点在所述第一亮度控制参数下的第一互相关插值,包括:
对于任一第一目标像素点,将所述任一第一目标像素点的像素值以及加权权重相乘,得到所述任一第一目标像素点对应的乘积结果;将各个第一目标像素点对应的乘积结果进行累加,得到第一累加和;将各个第一目标像素点的加权权重进行累加,得到第二累加和;将第一累加和与第二累加和的商作为所述第二类像素点在所述第一亮度控制参数下的第一互相关插值;
所述根据所述第二目标像素点的像素值以及加权权重确定所述第一类像素点在所述第二亮度控制参数下的第二互相关插值,包括:
对于任一第二目标像素点,将所述任一第二目标像素点的像素值以及加权权重相乘,得到所述任一第二目标像素点对应的乘积结果;将各个第二目标像素点对应的乘积结果进行累加,得到第三累加和;将各个第二目标像素点的加权权重进行累加,得到第四累加和;将第三累加和与第四累加和的商作为所述第一类像素点在第二亮度控制参数下的第二互相关插值。
4.根据权利要求1-3任一所述的方法,其特征在于,所述第二亮度控制参数小于所述第一亮度控制参数,所述融合所述第一图像和所述第二图像,包括:
将所述第一类像素点的像素值和所述第二互相关插值按照所述第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,融合所述第一类像素点的像素值及所述第一亮度对齐结果;
将所述第二类像素点的像素值和所述第一互相关插值按照所述第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果;融合所述第一互相关插值及所述第二亮度对齐结果。
5.根据权利要求4所述的方法,其特征在于,所述将所述第一类像素点的像素值和所述第二互相关插值按照所述第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,包括:
根据所述第一亮度控制参数与所述第二亮度控制参数之间的差异倍数,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,所述差异倍数基于所述第一亮度控制参数与所述第二亮度控制参数之间的综合差异得到;
所述将所述第二类像素点的像素值和所述第一互相关插值按照所述第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果,包括:
根据所述第一亮度控制参数与所述第二亮度控制参数之间的差异倍数,将所述第二类像素点的像素值和所述第一互相关插值按照所述第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果。
6.根据权利要求4所述的方法,其特征在于,所述融合所述第一类像素点的像素值及所述第一亮度对齐结果,包括:
将所述第一类像素点的像素值及对应的加权权重相乘,得到第一乘积结果,将所述第一亮度对齐结果及对应的加权权重相乘,得到第二乘积结果;将所述第一乘积结果与所述第二乘积结果求和,得到第一和值;将所述第一类像素点对应的加权权重与所述第一亮度对齐结果对应的加权权重求和,得到第二和值;将所述第一和值与所述第二和值的商作为所述第一类像素点的像素值及所述第一亮度对齐结果的融合结果;
所述融合所述第一互相关插值及所述第二亮度对齐结果,包括:
将所述第一互相关插值及对应的加权权重相乘,得到第三乘积结果,将所述第二亮度对齐结果及对应的加权权重相乘,得到第四乘积结果;将所述第三乘积结果与所述第四乘积结果求和,得到第三和值;将所述第二类像素点对应的加权权重与所述第二亮度对齐结果对应的加权权重求和,得到第四和值;将所述第三和值与所述第四和值的商作为所述第一互相关插值及所述第二亮度对齐结果的融合结果。
7.根据权利要求5所述的方法,其特征在于,所述融合所述第一类像素点的像素值及所述第一亮度对齐结果,包括:
将所述第一类像素点的像素值及对应的加权权重相乘,得到第一乘积结果,将所述第一亮度对齐结果及对应的加权权重相乘,得到第二乘积结果;将所述第一乘积结果与所述第二乘积结果求和,得到第一和值;将所述第一类像素点对应的加权权重与所述第一亮度对齐结果对应的加权权重求和,得到第二和值;将所述第一和值与所述第二和值的商作为所述第一类像素点的像素值及所述第一亮度对齐结果的融合结果;
所述融合所述第一互相关插值及所述第二亮度对齐结果,包括:
将所述第一互相关插值及对应的加权权重相乘,得到第三乘积结果,将所述第二亮度对齐结果及对应的加权权重相乘,得到第四乘积结果;将所述第三乘积结果与所述第四乘积结果求和,得到第三和值;将所述第二类像素点对应的加权权重与所述第二亮度对齐结果对应的加权权重求和,得到第四和值;将所述第三和值与所述第四和值的商作为所述第一互相关插值及所述第二亮度对齐结果的融合结果。
8.根据权利要求6或7所述的方法,其特征在于,所述融合所述第一类像素点的像素值及所述第一亮度对齐结果之前,还包括:
基于W1小于第一过暗阈值,确定β11为第一值,β12为第二值,所述第一值大于第二值;或者,基于所述W1大于等于所述第一过暗阈值,确定所述β11为第二值,所述β12为第一值;
所述融合所述第一互相关插值及所述第二亮度对齐结果之前,还包括:
基于W′1大于第一过曝阈值,确定β21为第二值,β22为第一值;或者,基于所述W′1小于等于所述第一过曝阈值,确定所述β21为第一值,所述β22为第二值;
其中,所述W1为所述第一类像素点的像素值,所述β11为第一加权权重,所述β12为第二加权权重,所述W′1为第一互相关差值,所述β21为第三加权权重,所述β22为第四加权权重。
9.根据权利要求6或7所述的方法,其特征在于,所述融合所述第一类像素点的像素值及所述第一亮度对齐结果之前,还包括:
基于W1小于第二过暗阈值,确定β11为第一值,β12为第二值,所述第一值大于第二值;或者,基于所述W1大于第二过曝阈值,确定所述β11为第二值,所述β12为第一值;或者,基于所述W1介于所述第二过暗阈值与所述第二过曝阈值之间,确定所述β11从所述第一值开始随所述W1增大而减小,所述β12从所述第二值开始随所述W1增大而增大;
所述融合所述第一互相关插值及所述第二亮度对齐结果之前,还包括:
基于W′1小于第二过暗阈值,确定β21为第一值,β22为第二值,所述第一值大于第二值;或者,基于所述W′1大于第二过曝阈值,确定所述β21第二值,所述β22为第一值;或者,基于所述W′1介于所述第二过暗阈值与所述第二过曝阈值之间,确定所述β21从所述第一值开始随所述W′1增大而减小,所述β22从所述第二值开始随所述W′1增大而增大;
其中,所述W1为所述第一类像素点的像素值,所述β11为第一加权权重,所述β12为第二加权权重,所述W′1为第一互相关差值,所述β21为第三加权权重,所述β22为第四加权权重。
10.根据权利要求1-3、5-7任一所述的方法,其特征在于,所述方法应用于电子设备的处理器中,所述电子设备还包括图像传感器及控制电路:
所述控制电路,用于接受所述处理器的反馈,使用至少两个亮度控制参数对所述图像传感器进行控制;
所述图像传感器,用于按照所述控制电路的控制进行光电转换,生成所述图像阵列,其中,所述控制电路的每个控制参数对应一类像素点。
11.根据权利要求4所述的方法,其特征在于,所述方法应用于电子设备的处理器中,所述电子设备还包括图像传感器及控制电路:
所述控制电路,用于接受所述处理器的反馈,使用至少两个亮度控制参数对所述图像传感器进行控制;
所述图像传感器,用于按照所述控制电路的控制进行光电转换,生成所述图像阵列,其中,所述控制电路的每个控制参数对应一类像素点。
12.根据权利要求8所述的方法,其特征在于,所述方法应用于电子设备的处理器中,所述电子设备还包括图像传感器及控制电路:
所述控制电路,用于接受所述处理器的反馈,使用至少两个亮度控制参数对所述图像传感器进行控制;
所述图像传感器,用于按照所述控制电路的控制进行光电转换,生成所述图像阵列,其中,所述控制电路的每个控制参数对应一类像素点。
13.根据权利要求9所述的方法,其特征在于,所述方法应用于电子设备的处理器中,所述电子设备还包括图像传感器及控制电路:
所述控制电路,用于接受所述处理器的反馈,使用至少两个亮度控制参数对所述图像传感器进行控制;
所述图像传感器,用于按照所述控制电路的控制进行光电转换,生成所述图像阵列,其中,所述控制电路的每个控制参数对应一类像素点。
14.一种获取图像的装置,其特征在于,所述装置包括:
第一获取模块,用于获取图像像素阵列中的至少两类像素点的像素值,在所述图像中,不同类的所述像素点中的像素值是根据不同的亮度控制参数拍摄生成,所述至少两类像素点均为黑白像素点,或者,所述至少两类像素点均为彩色像素点,所述至少两类像素点包括第一类像素点和第二类像素点,所述第一类像素点的像素值根据第一亮度控制参数拍摄生成,所述第二类像素点的像素值根据第二亮度控制参数拍摄生成;
第二获取模块,用于根据第一目标像素点的像素值确定所述第二类像素点在所述第一亮度控制参数下的第一互相关插值,根据所述第一类像素点的像素值和所述第一互相关插值获取第一图像,所述第一目标像素点包括与所述第二类像素点相邻的第一类像素点;根据第二目标像素点的像素值确定所述第一类像素点在所述第二亮度控制参数下的第二互相关插值,根据所述第二类像素点的像素值和所述第二互相关插值获取第二图像,所述第二目标像素点包括与所述第一类像素点相邻的第二类像素点;
融合模块,用于融合所述第一图像和所述第二图像。
15.根据权利要求14所述的装置,其特征在于,所述第二获取模块,用于根据所述第二类像素点的像素值确定所述第一目标像素点的加权权重,所述第一目标像素点的加权权重与所述第二类像素点及所述第一目标像素点的差异大小正相关;根据所述第一目标像素点的像素值以及加权权重确定所述第二类像素点在所述第一亮度控制参数下的第一互相关插值;
所述第二获取模块,用于根据所述第一类像素点的像素值确定所述第二目标像素点的加权权重,所述第二目标像素点的加权权重与所述第一类像素点及所述第二目标像素点的差异大小正相关;根据所述第二目标像素点的像素值以及加权权重确定所述第一类像素点在所述第二亮度控制参数下的第二互相关插值。
16.根据权利要求15所述的装置,其特征在于,所述第二获取模块,用于对于任一第一目标像素点,将所述任一第一目标像素点的像素值以及加权权重相乘,得到所述任一第一目标像素点对应的乘积结果;将各个第一目标像素点对应的乘积结果进行累加,得到第一累加和;将各个第一目标像素点的加权权重进行累加,得到第二累加和;将第一累加和与第二累加和的商作为所述第二类像素点在所述第一亮度控制参数下的第一互相关插值;
所述第二获取模块,用于对于任一第二目标像素点,将所述任一第二目标像素点的像素值以及加权权重相乘,得到所述任一第二目标像素点对应的乘积结果;将各个第二目标像素点对应的乘积结果进行累加,得到第三累加和;将各个第二目标像素点的加权权重进行累加,得到第四累加和;将第三累加和与第四累加和的商作为所述第一类像素点在第二亮度控制参数下的第二互相关插值。
17.根据权利要求14-16任一所述的装置,其特征在于,所述第二亮度控制参数小于所述第一亮度控制参数,所述融合模块,用于将所述第一类像素点的像素值和所述第二互相关插值按照所述第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,融合所述第一类像素点的像素值及所述第一亮度对齐结果;将所述第二类像素点的像素值和所述第一互相关插值按照所述第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果;融合所述第一互相关插值及所述第二亮度对齐结果。
18.根据权利要求17所述的装置,其特征在于,所述融合模块,用于根据所述第一亮度控制参数与所述第二亮度控制参数之间的差异倍数,将第一类像素点的像素值和第二互相关插值按照第一亮度控制参数进行亮度对齐,得到第一亮度对齐结果,所述差异倍数基于所述第一亮度控制参数与所述第二亮度控制参数之间的综合差异得到;
所述融合模块,用于根据所述第一亮度控制参数与所述第二亮度控制参数之间的差异倍数,将所述第二类像素点的像素值和所述第一互相关插值按照所述第一亮度控制参数进行亮度对齐,得到第二亮度对齐结果。
19.根据权利要求17所述的装置,其特征在于,所述融合模块,用于将所述第一类像素点的像素值及对应的加权权重相乘,得到第一乘积结果,将所述第一亮度对齐结果及对应的加权权重相乘,得到第二乘积结果;将所述第一乘积结果与所述第二乘积结果求和,得到第一和值;将所述第一类像素点对应的加权权重与所述第一亮度对齐结果对应的加权权重求和,得到第二和值;将所述第一和值与所述第二和值的商作为所述第一类像素点的像素值及所述第一亮度对齐结果的融合结果;
所述融合模块,用于将所述第一互相关插值及对应的加权权重相乘,得到第三乘积结果,将所述第二亮度对齐结果及对应的加权权重相乘,得到第四乘积结果;将所述第三乘积结果与所述第四乘积结果求和,得到第三和值;将所述第二类像素点对应的加权权重与所述第二亮度对齐结果对应的加权权重求和,得到第四和值;将所述第三和值与所述第四和值的商作为所述第一互相关插值及所述第二亮度对齐结果的融合结果。
20.根据权利要求18所述的装置,其特征在于,所述融合模块,用于将所述第一类像素点的像素值及对应的加权权重相乘,得到第一乘积结果,将所述第一亮度对齐结果及对应的加权权重相乘,得到第二乘积结果;将所述第一乘积结果与所述第二乘积结果求和,得到第一和值;将所述第一类像素点对应的加权权重与所述第一亮度对齐结果对应的加权权重求和,得到第二和值;将所述第一和值与所述第二和值的商作为所述第一类像素点的像素值及所述第一亮度对齐结果的融合结果;
所述融合模块,用于将所述第一互相关插值及对应的加权权重相乘,得到第三乘积结果,将所述第二亮度对齐结果及对应的加权权重相乘,得到第四乘积结果;将所述第三乘积结果与所述第四乘积结果求和,得到第三和值;将所述第二类像素点对应的加权权重与所述第二亮度对齐结果对应的加权权重求和,得到第四和值;将所述第三和值与所述第四和值的商作为所述第一互相关插值及所述第二亮度对齐结果的融合结果。
21.根据权利要求19或20所述的装置,其特征在于,所述融合模块,还用于基于W1小于第一过暗阈值,确定β11为第一值,β12为第二值,所述第一值大于第二值;或者,基于所述W1大于等于所述第一过暗阈值,确定所述β11为第二值,所述β12为第一值;
所述融合模块,还用于基于W′1大于第一过曝阈值,确定β21为第二值,β22为第一值;或者,基于所述W′1小于等于所述第一过曝阈值,确定所述β21为第一值,所述β22为第二值;
其中,所述W1为所述第一类像素点的像素值,所述β11为第一加权权重,所述β12为第二加权权重,所述W′1为第一互相关差值,所述β21为第三加权权重,所述β22为第四加权权重。
22.根据权利要求19或20所述的装置,其特征在于,所述融合模块,还用于基于W1小于第二过暗阈值,确定β11为第一值,β12为第二值,所述第一值大于第二值;或者,基于所述W1大于第二过曝阈值,确定所述β11为第二值,所述β12为第一值;或者,基于所述W1介于所述第二过暗阈值与所述第二过曝阈值之间,确定所述β11从所述第一值开始随所述W1增大而减小,所述β12从所述第二值开始随所述W1增大而增大;
所述融合模块,还用于基于W′1小于第二过暗阈值,确定β21为第一值,β22为第二值,所述第一值大于第二值;或者,基于所述W′1大于第二过曝阈值,确定所述β21第二值,所述β22为第一值;或者,基于所述W′1介于所述第二过暗阈值与所述第二过曝阈值之间,确定所述β21从所述第一值开始随所述W′1增大而减小,所述β22从所述第二值开始随所述W′1增大而增大;
其中,所述W1为所述第一类像素点的像素值,所述β11为第一加权权重,所述β12为第二加权权重,所述W′1为第一互相关差值,所述β21为第三加权权重,所述β22为第四加权权重。
23.一种电子设备,其特征在于,所述电子设备包括处理器、图像传感器及至少两个控制电路,所述至少两个控制电路用于控制所述图像传感器按照不同的亮度控制参数拍摄生成不同类的像素点中的像素值;
所述控制电路,用于接受所述图像传感器的反馈,生成至少两个亮度控制参数发送给所述图像传感器;
所述图像传感器,用于按照所述至少两个亮度控制参数生成所述图像像素阵列,每个亮度控制参数对应一类像素点;
所述处理器用于执行所述权利要求1-9中任一所述的获取图像的方法。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括至少一条指令,所述指令由处理器执行以实现权利要求1-9任一所述的获取图像的方法。
CN202080006227.0A 2020-08-31 2020-08-31 获取图像的方法、装置、设备及计算机可读存储介质 Active CN114450934B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/112740 WO2022041287A1 (zh) 2020-08-31 2020-08-31 获取图像的方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114450934A CN114450934A (zh) 2022-05-06
CN114450934B true CN114450934B (zh) 2023-06-09

Family

ID=80354450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080006227.0A Active CN114450934B (zh) 2020-08-31 2020-08-31 获取图像的方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114450934B (zh)
WO (1) WO2022041287A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108683861A (zh) * 2018-08-06 2018-10-19 Oppo广东移动通信有限公司 拍摄曝光控制方法、装置、成像设备和电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862372B2 (en) * 2001-12-27 2005-03-01 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement using coding information and local spatial features
JP4238586B2 (ja) * 2003-01-30 2009-03-18 ソニー株式会社 キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
JP2008131187A (ja) * 2006-11-17 2008-06-05 Rohm Co Ltd 色補間装置、電子機器、及び色補間プログラム
US8346009B2 (en) * 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics
US20110292258A1 (en) * 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
CN103208126B (zh) * 2013-04-17 2016-04-06 同济大学 一种自然环境下运动物体监测方法
CN110418081B (zh) * 2018-04-27 2021-12-24 北京紫光展锐通信技术有限公司 高动态范围图像全分辨率重建方法、装置及电子设备
CN110418065B (zh) * 2018-04-27 2021-03-19 北京紫光展锐通信技术有限公司 高动态范围图像运动补偿方法、装置及电子设备
CN108717690B (zh) * 2018-05-21 2022-03-04 电子科技大学 一种高动态范围图片的合成方法
CN111479072B (zh) * 2020-04-14 2021-12-17 深圳市道通智能航空技术股份有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108683861A (zh) * 2018-08-06 2018-10-19 Oppo广东移动通信有限公司 拍摄曝光控制方法、装置、成像设备和电子设备

Also Published As

Publication number Publication date
CN114450934A (zh) 2022-05-06
WO2022041287A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US8605185B2 (en) Capture of video with motion-speed determination and variable capture rate
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
CN106713755B (zh) 全景图像的处理方法及装置
JP5832855B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN112532855B (zh) 一种图像处理方法和装置
US7990433B2 (en) Imaging apparatus and imaging method
US20120141029A1 (en) Apparatus and method creating ghost-free high dynamic range image using filtering
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
JP7285791B2 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
CN116711317A (zh) 用于图像处理的高动态范围技术选择
US10600170B2 (en) Method and device for producing a digital image
EP3300363B1 (en) A bit rate controller and a method for limiting output bit rate
US11258956B2 (en) Image capturing apparatus, image capturing method, and program
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
CN113259594A (zh) 图像处理方法及装置、计算机可读存储介质、终端
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
WO2023219466A1 (en) Methods and systems for enhancing low light frame in a multi camera system
CN112750087A (zh) 图像处理方法和装置
CN114450934B (zh) 获取图像的方法、装置、设备及计算机可读存储介质
JP5545596B2 (ja) 画像入力装置
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
CN114125311A (zh) 一种宽动态模式的自动切换方法及装置
Yamashita et al. Video frame synthesizing method for HDR video capturing system with four image sensors
US20240062339A1 (en) Photographing system and method of image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant