CN110868548A - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN110868548A CN110868548A CN201810983624.8A CN201810983624A CN110868548A CN 110868548 A CN110868548 A CN 110868548A CN 201810983624 A CN201810983624 A CN 201810983624A CN 110868548 A CN110868548 A CN 110868548A
- Authority
- CN
- China
- Prior art keywords
- color
- color image
- image
- ith
- color component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法及电子设备,用以解决现有技术中存在的无法通过硬件来提升低照度图像质量的问题。所述方法包括获取同一目标场景的两个彩色图像,并且两个彩色图像的曝光时长不同,以曝光时长较长得到彩色图像的颜色分量统计直方图作为参考信息,对曝光时长较短的彩色图像的各个颜色分量的统计直方图进行调整,使得调整后的短曝光的彩色图像与充足曝光的彩色图像具有相似的色调和亮度,并且能够保持原有的纹理,从而达到低照度图像增强的效果。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
在安防监控场景中,低照度条件下的图像质量对主观辨识和智能识别都是重要条件,也是客户衡量产品的一个重要指标。通过延长曝光时长或帧积累算法可以提升低照度场景下图像的色彩还原度,但是延长曝光时长会在拍摄运动物体场景时导致运动物体图像模糊和拖影等问题。缩短曝光时长可以抑制运动模糊,得到更清晰的纹理边缘,但是曝光不足会导致色彩饱和度下降和亮度变暗。
曝光时长和图像质量之间的矛盾目前很难通过硬件来解决,因此提升低照度图像质量方法值得研究。
发明内容
本申请提供一种图像处理方法及电子设备,用以解决现有技术中存在的无法通过硬件来提升低照度图像质量的问题。
第一方面,本申请实施例提供了一种图像处理方法,获取第一彩色图像和第二彩色图像;所述第一彩色图像的曝光时长大于所述第二彩色图像的曝光时长,所述第一彩色图像和第二彩色图像均为采集目标场景得到的;根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值;其中,调整后的第二彩色图像的三种颜色分量的直方图与所述第一彩色图像的三种颜色分量的直方图匹配。
通过上述方案,针对同一目标场景采集得到两个图像,并且采集两个图像的曝光时长不同,以曝光时长较长得到彩色图像的颜色分量统计直方图作为参考信息,对曝光时长较短的彩色图像的各个颜色分量的统计直方图进行调整,使的调整后的短曝光的彩色图像与充足曝光的彩色图像具有相似的色调和亮度,并且能够保持原有的纹理,从而达到低照度图像增强的效果。进而解决低照场景不同曝光时长下色彩失真与运动模糊的矛盾问题。解决传统图像增强方法仅对一路图像信号处理导致的图像失真问题。
第一种可能的方式,上述方法应用于包括第一摄像头和第二摄像头的电子设备,所述第一摄像头和所述第二摄像头并列设置于所述电子设备的机身,从而在获取第一彩色图像和第二彩色图像,可以获取第一摄像头采集所述目标场景得到所述第一彩色图像;以及获取第二摄像头采集所述目标场景得到所述第二彩色图像。第一摄像头采集第一彩色图像的曝光时长大于第二摄像头采集所述第二彩色图像的曝光时长。每个摄像头包括镜头和图像传感器。
第二种可能的方式,上述方法还可以应用到包括一个摄像头的电子设备,该一个摄像头包括一个镜头、分光器和两个图像传感器。分光器将一个镜头的光分到两个图像传感器上,不同图像传感器的曝光时长不同。在该情况下,不同传感器采集得到的第一彩色图像和第二彩色图像重叠。
在一种可能的设计中,在采用第一种可能的方式的情况下,所述第一彩色图像与所述第二彩色图像不完全重叠,根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值,包括:获取所述第一彩色图像与所述第二彩色图像之间的重叠区域;
获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图;基于所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中的所述重叠区域包括的像素的第i种颜色分量的强度值;其中,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量的直方图与所述第一彩色图像中所述重叠区域的第i种颜色分量的直方图匹配,其中,i取遍小于或者等于3的正整数。
通过上述设计,在两个摄像头的空间位置的差异性使得两个摄像头的光轴可能不完全重叠的情况下,采用重叠区域来调整调整使得直方图匹配,降低调整误差。
在一种可能的设计中,在采用第二种可能的方式的情况下,所述第一彩色图像与所述第二彩色图像重叠,根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值,包括:
获取所述第一彩色图像中第i种颜色分量的直方图;基于所述第一彩色图像中第i种颜色分量的直方图,调整所述第二彩色图像包括的像素的第i种颜色分量的强度值;其中,调整后的所述第二彩色图像中第i种颜色分量的直方图与所述第一彩色图像中第i种颜色分量的直方图匹配,其中,i取遍小于或者等于3的正整数。
在一种可能的设计中,在采用第一种可能的方式的情况下,所述方法还包括:获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与调整后的第i种颜色分量的强度值的第一映射关系;根据所述第i种颜色分量对应的第一映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
通过上述设计,将重叠部分的调整映射关系应用到整幅图像,提高图像质量。
在一种可能的设计中,在采用第一种可能的方式的情况下,所述第一彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段,所述第二彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段;
所述获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,包括:统计所述第一彩色图像的所述重叠区域中第i种颜色分量在各个强度值对应的像素个数;根据所述第i种颜色分量在各个强度值对应的像素个数获得所述第i种颜色分量在各个强度值段对应的像素比例;其中,所述第i种颜色分量在各个强度值段对应的像素比例构成所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图。
上述设计,提供了一种可以应用于到不同摄像头采集的图像的强度值范围不同的场景下的方案。
在一种可能的设计中,在采用第二种可能的方式的情况下,所述第一彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段,所述第二彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段;
所述获取所述第一彩色图像中第i种颜色分量的直方图,包括:统计所述第一彩色图像中第i种颜色分量在各个强度值对应的像素个数;根据所述第i种颜色分量在各个强度值对应的像素个数获得所述第i种颜色分量在各个强度值段对应的像素比例;其中,所述第i种颜色分量在各个强度值段对应的像素比例构成所述第一彩色图像中第i种颜色分量的直方图。
在一种可能的设计中,在采用第一种可能的方式的情况下,所述基于所述第一彩色图像中的所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中所述重叠区域包括的像素的第i种颜色分量的强度值后,所述方法还包括:对所述第二彩色图像的所述重叠区域中所述第i种颜色分量在每个强度值段对应的直方图进行均衡化处理。
在一种可能的设计中,在采用第二种可能的方式的情况下,所述基于所述第一彩色图像中第i种颜色分量的直方图,调整所述第二彩色图像包括的像素的第i种颜色分量的强度值后,所述方法还包括:对所述第二彩色图像中所述第i种颜色分量在每个强度值段对应的直方图进行均衡化处理。
通过上述设计,对直方图进行均衡化处理,能够提高图像的局部对比度,进一步提高图像质量。
在一种可能的设计中,在采用第一种可能的方式的情况下,还包括:获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与均衡化处理后的第i种颜色分量的强度值的第二映射关系;根据所述第i种颜色分量对应的第二映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
通过上述设计,将重叠部分的调整映射关系应用到整幅图像,可以进一步提高图像质量。
在一种可能的设计中,所述方法还包括:对三种颜色分量的强度值均调整后的第二彩色图像进行降噪和/或白平衡处理。从而进一步提高图像质量。
在一种可能的设计中,所述根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值之前,还包括:对所述第一彩色图像和第二彩色图像进行三维3D降噪处理和/或对比度增强处理。从而进一步提高图像质量。
第二方面,本申请实施例提供了一种电子设备,包括第一图像采集单元,用于采集目标场景得到第一彩色图像;第二图像采集单元,用于采集所述目标场景得到第二彩色图像;所述第一图像采集单元采集第一彩色图像的曝光时长大于所述第二图像采集单元采集第二彩色图像的曝光时长;调整单元,用于根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值;其中,调整后的第二彩色图像的三种颜色分量的直方图与所述第一彩色图像的三种颜色分量的直方图匹配。
在一种可能的设计中,还包括曝光控制单元,用于控制第一图像采集单元和第二图像采集单元的曝光时长。
在一种可能的设计中,所述调整单元包括区域匹配单元,用于获取所述第一彩色图像与所述第二彩色图像之间的重叠区域;统计估计单元,用于获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图;映射单元,用于基于所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中的所述重叠区域包括的像素的第i种颜色分量的强度值;其中,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量的直方图与所述第一彩色图像中所述重叠区域的第i种颜色分量的直方图匹配,其中,i取遍小于或者等于3的正整数。
在一种可能的设计中,所述映射单元,还用于获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与调整后的第i种颜色分量的强度值的第一映射关系;根据所述第i种颜色分量对应的第一映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
在一种可能的设计中,所述第一彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段,所述第二彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段;所述统计估计单元,具体用于统计所述第一彩色图像的所述重叠区域中第i种颜色分量在各个强度值对应的像素个数;根据所述第i种颜色分量在各个强度值对应的像素个数获得所述第i种颜色分量在各个强度值段对应的像素比例;其中,所述第i种颜色分量在各个强度值段对应的像素比例构成所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图。
在一种可能的设计中,所述映射单元,还用于在基于所述第一彩色图像中的所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中所述重叠区域包括的像素的第i种颜色分量的强度值后,对所述第二彩色图像的所述重叠区域中所述第i种颜色分量在每个强度值段对应的直方图进行均衡化处理。
在一种可能的设计中,所述映射单元,还用于获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与均衡化处理后的第i种颜色分量的强度值的第二映射关系;根据所述第i种颜色分量对应的第二映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
在一种可能的设计中,还包括后处理单元,用于对三种颜色分量的强度值均调整后的第二彩色图像进行降噪和/或白平衡处理。
在一种可能的设计中,还包括预处理单元,用于在根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值之前,对所述第一彩色图像和第二彩色图像进行三维3D降噪处理和/或对比度增强处理。
本申请实施例的又一方面提供一种图像处理装置,所述装置包括:存储器,用于存储软件程序;两个摄像头,用于分别对同一目标场景分别摄取彩色图像;处理器,用于读取所述存储器中的软件程序对两个摄像头分别摄取的彩色图像执行上述第一方面中各种可能的设计中所述的图像处理方法。示例性地,摄像头包括一个光学镜头、一个图像传感器。
本申请实施例的又一方面提供一种图像处理装置,所述装置包括:存储器,用于存储软件程序;一个摄像头,该一个摄像头包括一个光学镜头、分光器,以及至少两个图像传感器。两个图像传感器,用于分别对同一目标场景分别摄取彩色图像;处理器,用于读取所述存储器中的软件程序对两个摄像头分别摄取的彩色图像执行上述第一方面中各种可能的设计中所述的图像处理方法。
第三方面,本申请实施例提供了一种电子设备,包括第一图像传感器,用于采集彩色的静态或动态图像;第二图像传感器,用于采集彩色的静态或动态图像;处理器,用于针对第一图像传感器采集的图像以及第二图像传感器采集到的图像进行处理,以实现第一方面或者第一方面的任一设计所述的图像处理方法。
在一种可能的设计中,第一图像传感器和第二图像传感器可以配置在同一摄像头中,该同一摄像头中还包括光学镜头和分光器,分光器将光学镜头接收到的光分发给两个图像传感器。两个图像传感器也可以配置在不同摄像头中,不同的摄像头中每个摄像头还可以包括一个光学镜头。
第四方面,本申请实施例提供了一种计算机存储介质,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现第一方面或者第一方面的任一设计所述的图像处理方法。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面或者第一方面的任一设计所述的图像处理方法。
附图说明
图1A为本申请实施例提供一种电子设备示意图;
图1B为本申请实施例提供另一种电子设备示意图;
图2为本申请实施例提供又一种电子设备示意图;
图3为本申请实施例提供再一种电子设备示意图;
图4为本申请实施例提供一种系统示意图;
图5A为本申请实施例提供的图像处理方法流程图;
图5B为本申请实施例提供的图像处理方法流程示意图;
图5C为本申请实施例提供的强度值段对应示意图;
图6为本申请实施例提供的一种电子设备结构示意图;
图7为本申请实施例提供的采用一种系统架构进行图像处理的示意图;
图8为本申请实施例提供的采用另一种系统架构进行图像处理的示意图。
具体实施方式
申请人在实现本申请的过程中发现,曝光不足对各个颜色分量的衰减是非线性的,这种情况下,很难通过直接增益或者模型变换获得较好的色彩增强效果。因此,可以将曝光充足的图像作为参考,对欠曝光图像进行色彩增强,从而提升欠曝光图像的色彩还原度。
需要说明的是,曝光时长是指快门速度,简单来讲就是按下快门的时间,时间越长,光子到图像传感器表面的光子总和越多,采集的图像就会越亮;如果曝光过度,则图像过亮,失去图像细节;如果曝光不足,则照片过暗,同样会失去图像细节。虽然曝光时长相对长一点图像质量会好一些,但是不能无限长,因为在曝光过程中噪音也在累加。
但是由于需要曝光充足的图像作为参考,因此可以预先将相似场景在光照充足条件下获取的图像存储在数据库中,对拍摄的欠曝光图像在数据库中搜索内容最为匹配的图像作为参考图像。然而,这样做需要在前端存储大量数据,另外,搜索匹配算法计算消耗大,影响图像采集的实时性;另一方面,实际场景千变万化,存储的场景很难与当前场景完全匹配,会导致增强结果的色彩偏差。
基于此,本申请实施例提供一种图像处理方法及装置,提供了一种提升低照度图像的质量的方法。其中,方法和装置是基于同一发明构思的,由于方法及装置解决问题的原理相似,因此装置与方法的实施可以相互参见,重复之处不再赘述。
本申请可以应用于视频监控场景,或者拍摄场景,摄像场景等。本申请提供的图像处理方法可以应用于包括多个摄像头的电子设备,该电子设备包括但不限于相机、摄像机、智能摄像机、智能摄录机、智能移动终端(比如移动电话(mobile phone)、平板电脑、等等),等等。本申请提供的图像处理方法还可以应用到视频监控系统中的摄像设备,或者由视频监控系统中云端服务器来实现。
第一种可能的示例中,参见图1A所示,本申请实施例中涉及的电子设备中可以包括至少两个摄像头以及处理器102。以两个摄像头为例,第一摄像头101a、第二摄像头110b。
第一摄像头101a包括光学镜头1以及图像传感器1,第二摄像头101b包括光学镜头2以及图像传感器2,参见图2-图4所示,第一摄像头101a、第二摄像头110b分别包括的光学镜头的光轴平行。图像传感器1和图像传感器2的曝光时长可以独立调节。
第二种可能的示例中,参见图1B所示,本申请实施例中涉及的电子设备中还可以仅包括一个摄像头101c。该摄像头101c中包括一个光学镜头、分光器,至少两个图像传感器,图1B中以两个图像传感器为例。至少两个图像传感器的曝光时长可以独立调节。
后续在描述时,以电子设备中包括两个摄像头为例进行说明。
图像传感器可以是电荷耦合元件(charge-coupled device,CCD)、互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)以及接触式图像传感器(contact image sensor,CIS)等。
处理器102可以包括以下一项或者多项:通用处理器、图像信号处理器(imagesignal processor,ISP)、微处理器、数字信号处理器(digital signal processor,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)等。
示例性地,电子设备中还可以包括视频编码器。电子设备中还可以包括存储器103。存储器103可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由该装置存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接(如图1所示)。存储器103也可以和处理器集成在一起。
其中,所述存储器103可以用于存储执行本申请方案的应用程序代码,并由处理器102来控制执行,也就是说,所述处理器102用于执行所述存储器103中存储的应用程序代码实现本申请实施例中的图像处理方法。
作为一种示例,处理器102中可以包括两个ISP,分别为ISP1和ISP2、进阶精简指令集机器(advanced RISC machine,ARM)以及DSP,参见图2所示。示例性的,处理器102中还可以仅包括一个ISP,该一个ISP针对两个摄像头采集的图像分别进行处理。
作为一种示例,处理器102中可以包括ARM以及FPGA,参见图3所示。
作为一种示例,当本申请实施例由多目(比如双目)视频监控系统中的云端服务器来实现时,参见图4所示,以双目视频监控系统为例,双目视频监控系统在包括云端服务器120的基础上,还可以包括两个摄像头,分别为第一摄像头110a以及第二摄像头110b,与两个摄像头分别对应的ISP1和ISP2。示例性的,两个摄像头还可以对应一个ISP,该一个ISP针对两个摄像头采集的图像分别进行处理。
作为一种示例,当本申请实施例还可以由单目视频监控系统中的云端服务器来实现时,单目视频监控系统在包括云端服务器120的基础上,还可以包括一个摄像头110c,摄像头110c包括一个光学镜头、分光器,至少两个图像传感器,以两个图像传感器为例,每个图像传感器分别对应的ISP1和ISP2。示例性的,两个图像传感器还可以对应一个ISP,该一个ISP针对两个摄像头采集的图像分别进行处理。ISP对两个图像传感器的曝光时间进行调节。
下面先对本申请实施例提供的图像处理方法进行详细说明,图像处理方法可以由图像处理装置来实现,图像处理装置可以是处理器102,或者是云端服务器120,具体方法参见图5A和图5B所示。
图像采集:S101,获取第一彩色图像和第二彩色图像。
示例性地,第一彩色图像是通过第一图像传感器采集目标场景得到的,第二彩色图像是通过第二图像传感器采集目标场景得到的。第一图像传感器和第二图像传感器可以配置在同一摄像头中,还可以分别配置于不同的摄像头中。同一摄像头结构可以参见摄像头110c。不同摄像头的结构可以参见第一摄像头110a或者第二摄像头110b。
下面以第一图像传感器配置在第一摄像头,第二图像传感器配置在第二摄像头为例进行说明。
其中,所述第一摄像头采集第一彩色图像的曝光时长大于所述第二摄像头采集第二彩色图像的曝光时长。比如,第二摄像头采集第二彩色图像的曝光时长为正常曝光,例如曝光时长不高于1/25s,或者曝光时长不高于1/30s,从而获取到无明显运动模糊的第二彩色图像。而所述第一摄像头采集第一彩色图像时,允许相对更长的曝光时长,从而获取到具有更好色彩饱和度的第一彩色图像。
本申请实施例中以第二摄像头采集得到主图像(第二彩色图像),第一摄像头采集得到参考图像(第一彩色图像)为例进行说明。
图像处理:S102,根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值。其中,调整后的第二彩色图像的三种颜色分量的直方图与所述第一彩色图像的三种颜色分量的直方图匹配。
三种颜色分量可以是:红(Red)、绿(Green)、蓝(Blue)分量,或者色相(Hue)、饱和度(Saturation)、明度(Value)分量,或者是YUV分量。其中,“Y”表示明亮度(Luminance或Luma),也就是灰阶值;而“U”和“V”表示的则是色度(Chrominance或Chroma)。本申请实施例中后续在描述三种颜色分量时,以RGB为例进行说明。
本申请实施例提供的方案,以第一彩色图像的颜色分量统计直方图作为参考信息,对第二彩色图像的各个颜色分量的统计直方图进行调整,使的调整后的第二彩色图像与充足曝光的第一彩色图像具有相似的色调和亮度,并且能够保持原有的纹理,从而达到低照度图像增强的效果。进而解决低照场景不同曝光时长下色彩失真与运动模糊的矛盾问题。解决传统图像增强方法仅对一路图像信号处理导致的图像失真问题;另外,不再需要提前存储相似场景的图像,节省存储资源,并且解决预存的相似场景图像作为参考信息时景物不一致导致色彩偏移的问题。
可选地,本申请实施例在应用到多个摄像头的场景时,可以根据摄像头的硬件参数选择一个摄像头作为第二摄像头。从而其它摄像头选择一个作为用于拍摄参考图像(第一彩色图像)的第一摄像头,或者从其它摄像头拍摄的图像中选择一个色彩还原度最优的图像作为参考图像。
另外,本申请实施例在应用于摄像的场景时,两个摄像头采集是由连续多帧图像构成的视频流。由于两个摄像头采集图像的曝光时长不同,因此同一时长内两个摄像头采集到的视频流的帧数不同。
在针对第二摄像头采集的一帧图像进行处理时,选择第一摄像头中采集的视频流中与该一帧图像曝光覆盖时间重叠比例最高的图像作为参考图像。例如,参见图5C对应的两个视频流为例,每个方框的长度表示每帧曝光时长。在针对第二摄像头采集的帧#1进行处理时,可以选择第一摄像头采集的曝光时间重叠比例最高的帧#1作为参考图像。在针对第二摄像头采集的帧#2进行处理时,可以选择第一摄像头采集的帧#2作为参考图像。在针对第二摄像头采集的帧#3和帧#4进行处理时,可以选择第一摄像头采集的帧#3作为参考图像。在针对第二摄像头采集的帧#5进行处理时,可以选择第一摄像头采集的帧#4作为参考图像。在针对第二摄像头采集的帧#6进行处理时,可以选择第一摄像头采集的帧#5作为参考图像。
在一种可能的实施方式中,可以在根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值之前,执行预处理操作:即对所述第一彩色图像和第二彩色图像进行预处理,比如三维3D降噪处理和/或对比度增强处理,从而提高图像质量。
第一图像传感器和第二图像传感器配置不同摄像头的情况下,由于两个摄像头的空间位置的差异性使得两个摄像头的光轴可能不完全重叠,另外,两个摄像头的可能存在焦距的差异性,因此通过第一摄像头和第二摄像头拍摄的到区域可能不完全重叠。在这种情况下,所述第一彩色图像与所述第二彩色图像不完全重叠,从而步骤S102根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值,可以通过如下方式实现:
参见图5B所示,图像处理中包括区域匹配、统计估计以及映射处理:
区域匹配:,获取所述第一彩色图像与所述第二彩色图像之间的重叠区域。示例性地,可以利用第一摄像头与第二摄像头的初始标定信息,或者通过特征匹配算法等方式获取所述第一彩色图像与所述第二彩色图像之间的重叠区域。
统计估计:获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图。
映射处理:基于所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中的所述重叠区域包括的像素的第i种颜色分量的强度值。
其中,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量的直方图与所述第一彩色图像中所述重叠区域的第i种颜色分量的直方图匹配,其中,i取遍小于或者等于3的正整数。
第一图像传感器和第二图像传感器配置同一摄像头的情况下,步骤S102根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值,可以通过不需要经过区域匹配处理,执行统计估计,获取所述第一彩色图像中第i种颜色分量的直方图,映射处理:基于所述第一彩色图像中第i种颜色分量的直方图,调整所述第二彩色图像包括的像素的第i种颜色分量的强度值。
以RGB颜色分量为例,以第一图像传感器和第二图像传感器配置不同摄像头为例,在统计估计中,具体可以为获取所述第一彩色图像中所述重叠区域对应的R颜色分量的直方图、B颜色分量的直方图,以及G颜色分量的直方图。然后在映射中基于第一彩色图像中所述重叠区域的R颜色分量的直方图,调整所述第二彩色图像中所述重叠区域包括的像素的R颜色的强度值,使得调整后的第二彩色图像中所述重叠区域的R颜色分量的直方图与所述第二彩色图像中所述重叠区域的R颜色分量的直方图匹配。依据同样的方法对应调整B颜色分量以及G颜色分量。
其中,统计估计中,获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图时,可以通过如下方式实现:
第一种可能的实现方式是:
获取第一彩色图像中所述重叠区域第i种颜色分量在各个强度值对应的像素比例;其中,所述第i种颜色分量在各个强度值对应的像素比例构成所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图。
示例性地,颜色强度值范围为0-255,以R分量为例,则第一彩色图像中所述重叠区域的R分量在0-255每个等级上对应的像素个数,再除以重叠区域包括的像素个数。例如,强度值为255的像素的个数为k1,重叠区域的像素个数为n,则强度值为255对应的像素比例为k/n。
第二种可能的实现方式是:
将所述第一彩色图像包括的像素的第i种颜色分量的强度值范围划分为N段,并将所述第二彩色图像包括的像素的第i种颜色分量的强度值范围也划分为N段;然后统计所述第一彩色图像的所述重叠区域中第i种颜色分量在各个强度值对应的像素个数;根据所述第i种颜色分量在各个强度值对应的像素个数获得所述第i种颜色分量在各个强度值段对应的像素比例;其中,所述第i种颜色分量在各个强度值段对应的像素比例即可以构成所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图。
示例性地,颜色强度值范围为0-255,例如,可以将强度值范围划分为64段,每连续4个强度值构成一个强度值段,分别为[0,3]、[4,7]、……、[252,255]。比如,强度值段[4,7],统计第一彩色图像重叠区域包括的像素的R颜色分量对应强度值在[4,7]的像素个数k2,从而R颜色分量的强度值段[4,7]对应的像素比例为k2/n,通过该方式统计每个颜色分量分别再64个强度值段的像素比例。
其中,第一种可能的实现方式可以适用于第一彩色图像和第二彩色图像的各个颜色分量的强度值范围相同的情况。第二种可能的实现方式既可以适用于第一彩色图像和第二彩色图像的各个颜色分量的强度值范围相同的情况,也可以适用于第一彩色图像的颜色分量的强度值范围与第二彩色图像颜色分量的强度值范围不同的情况。在第一彩色图像的颜色分量的强度值范围与第二彩色图像颜色分量的强度值范围不同的情况下,可以将第一彩色图像包括的像素的第i种颜色分量的强度值范围划分为N段,进而将所述第二彩色图像包括的像素的第i种颜色分量的强度值范围也划分为N段。比如,第一彩色图像对应的强度值范围为0-255,而第二彩色图像对应的强度值范围为0-1024,例如,将两个强度值范围均划分为64段,则第一彩色图像对应的每个强度值段包括4个强度值,而第二彩色图像对应的每个强度值段包括16个强度值。
在第二种可能的实现方式下,在基于所述第一彩色图像中的所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中所述重叠区域包括的像素的第i种颜色分量的强度值时,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量的直方图中每一段内像素比例,与所述第一彩色图像中所述重叠区域的第i种颜色分量的直方图匹配。
在第一彩色图像的颜色分量的强度值范围与第二彩色图像颜色分量的强度值范围相同的情况下,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量在每个强度值段对应的像素比例与所述第一彩色图像中所述重叠区域的第i种颜色分量的在相同强度值段对应的像素比例相同。比如,调整后的第二彩色图像中所述重叠区域的R颜色分量在[4,7]的像素比例与第一彩色图像中所述重叠区域的R颜色分量在[4,7]的像素比例相同。
在第一彩色图像的颜色分量的强度值范围与第二彩色图像颜色分量的强度值范围相同的情况下,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量在每个强度值段对应的像素比例与所述第一彩色图像中所述重叠区域的第i种颜色分量的在对应强度值段对应的像素比例相同。比如,第一彩色图像对应的强度值范围为0-255,而第二彩色图像对应的强度值范围为0-1024,例如,将两个强度值范围均划分为64段,调整后的第二彩色图像中所述重叠区域的R颜色分量在[0,15]的像素比例与第一彩色图像中所述重叠区域的R颜色分量在[0,3]的像素比例相同。调整后的第二彩色图像中所述重叠区域的R颜色分量在[16,31]的像素比例与第一彩色图像中所述重叠区域的R颜色分量在[4,7]的像素比例相同,以此类推。
在一种可能的实施方式中,映射处理中,在基于所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中的所述重叠区域包括的像素的第i种颜色分量的强度值后,还可以包括:获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与调整后的第i种颜色分量的强度值的第一映射关系;然后根据所述第i种颜色分量对应的第一映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
以RGB颜色分量为例,第一映射关系中包括调整前的R颜色分量的强度值与调整后的R颜色分量的强度值之间的对应关系、调整前的B颜色分量的强度值与调整后的B颜色分量的强度值之间的对应关系以及调整前的G颜色分量的强度值与调整后的G颜色分量的强度值之间的对应关系,比如,R颜色分量调整前的246对应调整后的248。基于映射关系可以调整第二彩色图像中非重叠区域的各个像素点的不同颜色分量的像素值。
在上述第二种可能的实现方式下,为了提高局部对比度,在映射处理中,在基于所述第一彩色图像中的所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中所述重叠区域包括的像素的第i种颜色分量的强度值后,可以对所述第二彩色图像的所述重叠区域中所述第i种颜色分量在每个强度值段对应的直方图进行均衡化处理。
可选地,在映射处理中,在对所述第二彩色图像的所述重叠区域中所述第i种颜色分量在每个强度值段对应的直方图进行均衡化处理后,可以获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与均衡化处理后的第i种颜色分量的强度值的第二映射关系;根据所述第i种颜色分量对应的第二映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
在一种可能的实施方式中,图像处理操作中还可以包括后处理操作。后处理操作可以在通过上述方式执行映射处理后执行。后处理操作可以包括但不限于降噪和/或白平衡,从而可以提高第二彩色图像的图像质量。
比如,可以针对经过步骤S102调整后的第二彩色图像进行降噪和/或白平衡处理。再比如,可以在针对第二彩色图像进行直方图均衡化处理后,再针对均衡化处理后的第二彩色图像进行降噪和/或白平衡处理。又比如,可以针对基于映射关系(第一映射关系或者第二映射关系)调整后的第二彩色图像进行降噪和/或白平衡处理。
基于与上述方法同样的发明构思,本申请实施例还提供了一种电子设备,参见图6所示,该电子设备可以包括第一图像采集单元601,用于采集目标场景得到第一彩色图像;第二图像采集单元602,用于采集所述目标场景得到第二彩色图像;所述第一图像采集单元601采集第一彩色图像的曝光时长大于所述第二图像采集单元602采集第二彩色图像的曝光时长。第一图像采集单元601和第二图像采集单元602可以为设置在电子设备上的两个图像传感器,两个图像传感器可以配置在同一摄像头(采用摄像头110c)中,也可以配置在不同摄像头(可以采用摄像头110a或者摄像头110b)中。
调整单元603,用于根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值;其中,调整后的第二彩色图像的三种颜色分量的直方图与所述第一彩色图像的三种颜色分量的直方图匹配。
在一种可能的实现方式中,所述电子设备还可以包括曝光控制单元604,用于控制第一图像采集单元601和第二图像采集单元602对目标场景进行拍摄图像时的曝光时长。
在一种可能的实现方式中,所述调整单元603具体可以包括区域匹配单元603a,用于获取所述第一彩色图像与所述第二彩色图像之间的重叠区域;统计估计单元603b,用于获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图;调整子单元603c,用于基于所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中的所述重叠区域包括的像素的第i种颜色分量的强度值;其中,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量的直方图与所述第一彩色图像中所述重叠区域的第i种颜色分量的直方图匹配,其中,i取遍小于或者等于3的正整数。
在一种可能的实现方式中,所述调整子单元603c,还可以获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与调整后的第i种颜色分量的强度值的第一映射关系;根据所述第i种颜色分量对应的第一映射关系进一步调整所述第二彩色图像的像素的第i种颜色分量的强度值。
在一种可能的实现方式中,可以预先将所述第一彩色图像包括的像素的第i种颜色分量的强度值范围划分为N段,并将所述第二彩色图像包括的像素的第i种颜色分量的强度值范围划分为N段;这种情况下,所述统计估计单元603b具体可以用于统计所述第一彩色图像的所述重叠区域中第i种颜色分量在各个强度值对应的像素个数;根据所述第i种颜色分量在各个强度值对应的像素个数获得所述第i种颜色分量在各个强度值段对应的像素比例;其中,所述第i种颜色分量在各个强度值段对应的像素比例就可以构成所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图。
在一种可能的实现方式中,所述调整子单元603c,还可以在基于所述第一彩色图像中的所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中所述重叠区域包括的像素的第i种颜色分量的强度值后,对所述第二彩色图像的所述重叠区域中所述第i种颜色分量在每个强度值段对应的直方图进行均衡化处理。
在一种可能的实现方式中,所述调整子单元603c,还可以获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与均衡化处理后的第i种颜色分量的强度值的第二映射关系;根据所述第i种颜色分量对应的第二映射关系进一步调整所述第二彩色图像的像素的第i种颜色分量的强度值。
在一种可能的实现方式中,所述电子设备还可以包括后处理单元605,用于对三种颜色分量的强度值均调整后的第二彩色图像进行降噪和/或白平衡处理。
在一种可能的实现方式中,所述电子设备还可以包括预处理单元606,用于在根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值之前,对所述第一彩色图像和第二彩色图像进行三维3D降噪处理和/或对比度增强处理。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
示例性地,上述第一图像采集单元601和第二图像采集单元602可以为两个图像传感器,两个图像传感器可以配置在同一个摄像头中,该一个摄像头中还包括一个光学镜头以及分光器,分光器将光学镜头接收到的光分发给两个图像传感器。两个图像传感器还可以分别配置在不同的摄像头中,每个摄像头还包括一个光学镜头。曝光控制单元604、调整单元603、后处理单元605、以及预处理单元606可以由一个或者多个处理器实现。
示例性地,曝光控制单元604可以根据两个图像传感器分别所要求的色彩饱和度等信息来调整两个图像传感器的曝光时长。另外还可以配置两个图像传感器不同的增益等参数。其中,增益是指经过双采样之后的模拟信号的放大增益。但是在对图像信号进行放大的过程中同时也会放大噪声信号。增益也就是直接控制图像传感器采集的数据。增益一般只是在信号弱,但不想增加曝光时长的情况下使用,一般相机增益都产生很大噪音。相机在不同增益时图像的成像质量不一样,增益越小,噪点越小;增益越大,噪点越多,特别是在光线较暗的情况下。
示例性地,曝光控制单元604可以由一个单独的微处理器实现。调整单元603、后处理单元605、以及预处理单元606可以由一个单独的处理器实现,比如参见图3所示,曝光控制单元604由ARM实现,调整单元603、后处理单元605、以及预处理单元606由FPGA实现。图像传感器采集到的图像格式为RAW,因此第一彩色图像和第二彩色图像为RAW图像。图像传感器1在ARM的控制下采集得到第一彩色图像,并将第一彩色图像传输给FPGA,图像传感器2在ARM的控制下采集得到第二彩色图像,并将第二彩色图像传输给FPGA,从而FPGA执行上述图像处理装置所执行的方法步骤所描述的处理流程。另外,ARM可以将确定的每个图像传感器对应的曝光时长、增益等参数传输给FPGA,从而FPGA可以根据曝光时长、增益等参数对第一彩色图像和第二彩色图像执行处理流程。
示例性地,曝光控制单元604由一个单独的微处理器实现。预处理单元606由两个图像信号处理器实现,一个图像信号处理器对应一个图像传感器,用于对由图像传感器采集到的图像进行预处理。需要说明的是,在不进行预处理操作的情况下,则电子设备中不配置图像信号处理器。
比如,参见图2所示,曝光控制单元604由ARM实现,调整单元603、后处理单元605由DSP实现,预处理单元606由ISP1和ISP2实现。图像传感器1在ARM的控制下采集得到第一彩色图像,并将第一彩色图像传输给ISP1,图像传感器2在ARM的控制下采集得到第二彩色图像,并将第二彩色图像传输给ISP2,ISP1对图像传感器1采集到的第一彩色图像进行预处理。ISP2对图像传感器2采集的第二彩色图像进行预处理。ISP预处理后的图像的格式可以是YUV。ISP1将预处理后的第一彩色图像传输给DSP,ISP2将预处理后的第二彩色图像传输给DSP。从而DSP执行上述图像处理装置所执行的方法步骤所描述的处理流程。另外,ARM可以将确定的每个图像传感器对应的曝光时长、增益等参数传输给DSP,从而DSP可以根据曝光时长、增益等参数对第一彩色图像和第二彩色图像执行处理流程。
基于与方法实施例同样的发明构思,本申请实施例提供了一种包括至少两个摄像头的系统。该系统可以应用监控场景,或者视频拍摄场景。可以应用到低光照的场景下。
参见图7所示,该系统中包括至少两个摄像头,与摄像头一一对应的图像处理器,以及云端服务器。图7中,以两个摄像头为例,分别为第一摄像头以及第二摄像头,两个图像处理器分别为ISP1和ISP2。ISP1用于对第一摄像头进行曝光控制,ISP2用于第二摄像头进行曝光控制。第一摄像头将采集得到的第一彩色图像传输给ISP1,ISP1可以对第一彩色图像执行预处理操作。第二摄像头将采集得到的第二彩色图像传输给ISP2,ISP2可以对第二彩色图像执行预处理操作。ISP预处理后的图像的格式可以是YUV。ISP1将预处理后的第一彩色图像传输给云端服务器,ISP2将预处理后的第二彩色图像传输给云端服务器。从而云端处理器执行上述图像处理装置所执行的方法步骤所描述的处理流程:图像处理中区域匹配、统计估计、映射、后处理等流程。
示例性地,系统中还可以包括图像编码器,ISP1在针对第一彩色图像进行预处理后,传输给图像编码器,经图像编码器压缩编码后传输给云端服务器。同理,ISP2在针对第二彩色图像进行预处理后,传输给图像编码,经图像编码器压缩编码后传输给云端服务器。
示例性地,系统中还可以包括通信接口,图像编码器通过通信接口将压缩编码后图像数据传输给云端服务器。
基于与方法实施例同样的发明构思,本申请实施例提供了一种包括一个摄像头的系统。该系统可以应用监控场景,或者视频拍摄场景。可以应用到低光照的场景下。
该系统中包括一个摄像头,摄像头中包括光学镜头、分光器以及至少两个图像传感器,系统中还包括与每个图像传感器对应的图像处理器,以及云端服务器。分光器将进入光学镜头的光线分发给至少两个图像传感器,至少两个图像传感器可以分别对应一个图像处理器,还可以是至少两个图像传感器仅对应一个图像处理器。图8中,以两个图像传感器为例,分别为第一图像传感器以及第二图像传感器,两个图像处理器分别为ISP1和ISP2。ISP1用于对第一图像传感器进行曝光控制,ISP2用于第二图像传感器进行曝光控制。第一图像传感器将采集得到的第一彩色图像传输给ISP1,ISP1可以对第一彩色图像执行预处理操作。第二图像传感器将采集得到的第二彩色图像传输给ISP2,ISP2可以对第二彩色图像执行预处理操作。ISP预处理后的图像的格式可以是YUV。ISP1将预处理后的第一彩色图像传输给云端服务器,ISP2将预处理后的第二彩色图像传输给云端服务器。从而云端处理器执行上述图像处理装置所执行的方法步骤所描述的处理流程:图像处理中区域匹配、统计估计、映射、后处理等流程。
示例性地,系统中还可以包括图像编码器,ISP1在针对第一彩色图像进行预处理后,传输给图像编码器,经图像编码器压缩编码后传输给云端服务器。同理,ISP2在针对第二彩色图像进行预处理后,传输给图像编码,经图像编码器压缩编码后传输给云端服务器。
示例性地,系统中还可以包括通信接口,图像编码器通过通信接口将压缩编码后图像数据传输给云端服务器。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (20)
1.一种图像处理方法,其特征在于,包括:
获取第一彩色图像和第二彩色图像;所述第一彩色图像的曝光时长大于所述第二彩色图像的曝光时长,所述第一彩色图像和第二彩色图像均为采集目标场景得到的;
根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值;
其中,调整后的第二彩色图像的三种颜色分量的直方图与所述第一彩色图像的三种颜色分量的直方图匹配。
2.如权利要求1所述的方法,其特征在于,所述方法应用于包括第一摄像头和第二摄像头的电子设备,所述第一摄像头和所述第二摄像头并列设置于所述电子设备的机身,所述获取第一彩色图像和第二彩色图像,包括:
获取所述第一摄像头采集所述目标场景得到所述第一彩色图像;以及获取所述第二摄像头采集所述目标场景得到所述第二彩色图像。
3.如权利要求1或2所述的方法,其特征在于,所述第一彩色图像与所述第二彩色图像不完全重叠,根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值,包括:
获取所述第一彩色图像与所述第二彩色图像之间的重叠区域;
获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图;
基于所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中的所述重叠区域包括的像素的第i种颜色分量的强度值;其中,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量的直方图与所述第一彩色图像中所述重叠区域的第i种颜色分量的直方图匹配,其中,i取遍小于或者等于3的正整数。
4.如权利要求3所述的方法,其特征在于,还包括:
获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与调整后的第i种颜色分量的强度值的第一映射关系;
根据所述第i种颜色分量对应的第一映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
5.如权利要求3所述的方法,其特征在于,所述第一彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段,所述第二彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段;
获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,包括:
统计所述第一彩色图像的所述重叠区域中第i种颜色分量在各个强度值对应的像素个数;
根据所述第i种颜色分量在各个强度值对应的像素个数获得所述第i种颜色分量在各个强度值段对应的像素比例;其中,所述第i种颜色分量在各个强度值段对应的像素比例构成所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图。
6.如权利要求5所述的方法,其特征在于,基于所述第一彩色图像中的所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中所述重叠区域包括的像素的第i种颜色分量的强度值后,所述方法还包括:
对所述第二彩色图像的所述重叠区域中所述第i种颜色分量在每个强度值段对应的直方图进行均衡化处理。
7.如权利要求6所述的方法,其特征在于,还包括:
获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与均衡化处理后的第i种颜色分量的强度值的第二映射关系;
根据所述第i种颜色分量对应的第二映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
8.如权利要求4或7所述的方法,其特征在于,还包括:
对三种颜色分量的强度值均调整后的第二彩色图像进行降噪和/或白平衡处理。
9.如权利要求1-8任一项所述的方法,其特征在于,根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值之前,还包括:
对所述第一彩色图像和第二彩色图像进行三维3D降噪处理和/或对比度增强处理。
10.一种电子设备,其特征在于,包括:
第一图像采集单元,用于采集目标场景得到第一彩色图像;
第二图像采集单元,用于采集所述目标场景得到第二彩色图像;所述第一图像采集单元采集第一彩色图像的曝光时长大于所述第二图像采集单元采集第二彩色图像的曝光时长;
调整单元,用于根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值;
其中,调整后的第二彩色图像的三种颜色分量的直方图与所述第一彩色图像的三种颜色分量的直方图匹配。
11.如权利要求10所述的装置,其特征在于,还包括:
曝光控制单元,用于控制第一图像采集单元和第二图像采集单元的曝光时长。
12.如权利要求10或11所述的装置,其特征在于,所述调整单元包括:
区域匹配单元,用于获取所述第一彩色图像与所述第二彩色图像之间的重叠区域;
统计估计单元,用于获取所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图;
调整子单元,用于基于所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中的所述重叠区域包括的像素的第i种颜色分量的强度值;其中,调整后的所述第二彩色图像中所述重叠区域的第i种颜色分量的直方图与所述第一彩色图像中所述重叠区域的第i种颜色分量的直方图匹配,其中,i取遍小于或者等于3的正整数。
13.如权利要求12所述的装置,其特征在于,所述调整子单元,还用于:
获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与调整后的第i种颜色分量的强度值的第一映射关系;
根据所述第i种颜色分量对应的第一映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
14.如权利要求12所述的装置,其特征在于,所述第一彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段,所述第二彩色图像包括的像素的第i种颜色分量的强度值范围被划分为N段;
所述统计估计单元,具体用于:
统计所述第一彩色图像的所述重叠区域中第i种颜色分量在各个强度值对应的像素个数;
根据所述第i种颜色分量在各个强度值对应的像素个数获得所述第i种颜色分量在各个强度值段对应的像素比例;
其中,所述第i种颜色分量在各个强度值段对应的像素比例构成所述第一彩色图像中所述重叠区域对应的第i种颜色分量的直方图。
15.如权利要求13所述的装置,其特征在于,所述调整子单元,还用于:
在基于所述第一彩色图像中的所述重叠区域对应的第i种颜色分量的直方图,调整所述第二彩色图像中所述重叠区域包括的像素的第i种颜色分量的强度值后,对所述第二彩色图像的所述重叠区域中所述第i种颜色分量在每个强度值段对应的直方图进行均衡化处理。
16.如权利要求15所述的装置,其特征在于,所述调整子单元,还用于:
获取所述第二彩色图像中所述重叠区域的调整前的第i种颜色分量的强度值与均衡化处理后的第i种颜色分量的强度值的第二映射关系;
根据所述第i种颜色分量对应的第二映射关系调整所述第二彩色图像的像素的第i种颜色分量的强度值。
17.如权利要求13或16所述的装置,其特征在于,还包括:
后处理单元,用于对三种颜色分量的强度值均调整后的第二彩色图像进行降噪和/或白平衡处理。
18.如权利要求10-17任一项所述的装置,其特征在于,还包括:
预处理单元,用于在根据所述第一彩色图像的三种颜色分量的直方图调整所述第二彩色图像包括像素的所述三种颜色分量分别对应的强度值之前,对所述第一彩色图像和第二彩色图像进行三维3D降噪处理和/或对比度增强处理。
19.一种电子设备,其特征在于,包括:
第一图像传感器,用于获取彩色的静态或动态图像;
第二图像传感器,用于获取彩色的静态或动态图像;
处理器,用于对所述第一图像传感器针对目标场景采集的第一彩色图像以及第二图像传感器针对所述目标场景采集的第二彩色图像,执行如权利要求1至9中任一项所述的图像处理方法。
20.一种计算机存储介质,其特征在于,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时,使得所述处理器执行如权利要求1至9中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810983624.8A CN110868548B (zh) | 2018-08-27 | 2018-08-27 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810983624.8A CN110868548B (zh) | 2018-08-27 | 2018-08-27 | 一种图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110868548A true CN110868548A (zh) | 2020-03-06 |
CN110868548B CN110868548B (zh) | 2021-05-18 |
Family
ID=69651228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810983624.8A Active CN110868548B (zh) | 2018-08-27 | 2018-08-27 | 一种图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110868548B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409205A (zh) * | 2021-06-10 | 2021-09-17 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
CN113518172A (zh) * | 2020-03-26 | 2021-10-19 | 华为技术有限公司 | 图像处理方法和装置 |
CN113658084A (zh) * | 2021-10-20 | 2021-11-16 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、装置、存储介质以及电子设备 |
CN114760480A (zh) * | 2021-01-08 | 2022-07-15 | 华为技术有限公司 | 图像处理方法、装置、设备及存储介质 |
CN116033278A (zh) * | 2022-12-18 | 2023-04-28 | 重庆邮电大学 | 一种面向单色-彩色双相机的低照度图像预处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1697488A (zh) * | 2004-04-01 | 2005-11-16 | 微软公司 | 具有亮度校正的数码相机 |
CN101394487A (zh) * | 2008-10-27 | 2009-03-25 | 华为技术有限公司 | 一种合成图像的方法与系统 |
CN101916431A (zh) * | 2010-07-23 | 2010-12-15 | 北京工业大学 | 一种低照度图像数据处理方法及系统 |
US20180082454A1 (en) * | 2016-09-19 | 2018-03-22 | Qualcomm Incorporated | Color normalization for a multi-camera system |
-
2018
- 2018-08-27 CN CN201810983624.8A patent/CN110868548B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1697488A (zh) * | 2004-04-01 | 2005-11-16 | 微软公司 | 具有亮度校正的数码相机 |
CN101394487A (zh) * | 2008-10-27 | 2009-03-25 | 华为技术有限公司 | 一种合成图像的方法与系统 |
CN101916431A (zh) * | 2010-07-23 | 2010-12-15 | 北京工业大学 | 一种低照度图像数据处理方法及系统 |
US20180082454A1 (en) * | 2016-09-19 | 2018-03-22 | Qualcomm Incorporated | Color normalization for a multi-camera system |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113518172A (zh) * | 2020-03-26 | 2021-10-19 | 华为技术有限公司 | 图像处理方法和装置 |
CN114760480A (zh) * | 2021-01-08 | 2022-07-15 | 华为技术有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113409205A (zh) * | 2021-06-10 | 2021-09-17 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
CN113409205B (zh) * | 2021-06-10 | 2023-11-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
CN113658084A (zh) * | 2021-10-20 | 2021-11-16 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、装置、存储介质以及电子设备 |
CN113658084B (zh) * | 2021-10-20 | 2022-06-28 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、装置、存储介质以及电子设备 |
CN116033278A (zh) * | 2022-12-18 | 2023-04-28 | 重庆邮电大学 | 一种面向单色-彩色双相机的低照度图像预处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110868548B (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110868548B (zh) | 一种图像处理方法及电子设备 | |
US10187628B2 (en) | Systems and methods for multiscopic noise reduction and high-dynamic range | |
CN108055452B (zh) | 图像处理方法、装置及设备 | |
CN108111749B (zh) | 图像处理方法和装置 | |
CN105323474B (zh) | 摄像设备及其控制方法 | |
CN108024054B (zh) | 图像处理方法、装置、设备及存储介质 | |
US9681026B2 (en) | System and method for lens shading compensation | |
US8135235B2 (en) | Pre-processing method and apparatus for wide dynamic range image processing | |
CN108712608B (zh) | 终端设备拍摄方法和装置 | |
KR101428635B1 (ko) | 듀얼 이미지 캡쳐 프로세싱 | |
CN107948500A (zh) | 图像处理方法和装置 | |
CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
CN108156369B (zh) | 图像处理方法和装置 | |
EP2987135A2 (en) | Reference image selection for motion ghost filtering | |
CN107959778A (zh) | 基于双摄像头的成像方法和装置 | |
US20100225783A1 (en) | Temporally Aligned Exposure Bracketing for High Dynamic Range Imaging | |
CN109040607B (zh) | 成像控制方法、装置、电子设备和计算机可读存储介质 | |
CN102959942B (zh) | 立体观看用图像拍摄装置及其控制方法 | |
WO2012169292A1 (ja) | 画像処理装置及び撮像装置 | |
CN110717871A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN113298735A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US9922410B2 (en) | Image processing apparatus and image processing method | |
CN112598609B (zh) | 一种动态图像的处理方法及装置 | |
EP4002833B1 (en) | Method and electronic device for increased dynamic range of an image | |
US9460492B2 (en) | Apparatus and method for image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |