CN116645274A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116645274A
CN116645274A CN202210137017.6A CN202210137017A CN116645274A CN 116645274 A CN116645274 A CN 116645274A CN 202210137017 A CN202210137017 A CN 202210137017A CN 116645274 A CN116645274 A CN 116645274A
Authority
CN
China
Prior art keywords
image
map
brightness
pixel point
cfa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210137017.6A
Other languages
English (en)
Inventor
陆瀚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202210137017.6A priority Critical patent/CN116645274A/zh
Publication of CN116645274A publication Critical patent/CN116645274A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，该方法包括：计算获取的多帧CFA图像各自对应的初始亮度图；对各个初始亮度图进行融合处理，得到融合亮度图；基于多帧CFA图像确定各个像素点的颜色信息；根据各个初始亮度图、融合亮度图中的各个像素点的亮度信息及颜色信息生成目标图像。采用本申请，针对每个像素点，对亮度图融合与颜色融合进行分开处理，使得目标图像的颜色信息更加准确，提高了CFA图像的融合效果。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及机器视觉技术领域，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
CFA(Color filter array,彩色滤色阵列)图像，属于镜头感光元件的输出，在硬件图像信号处理之前未进行去马赛克处理之前的图像，该部分的图像处于马赛克格式的状态，也即马赛克CFA图像，是一种通过数字相机中的单片数字图像传感器使用特定排列的滤色阵列制作的彩色图像，这类图像与单片数字图像传感器的关联性较大，对于多帧不同曝光条件的CFA图像，由于曝光条件的不同，图像的像素过曝或者过暗时有发生，导致CFA图像中RGB都满值或者空值，形成灰阶图像。
然而，现有技术中，将包含有过曝或者过暗的不同曝光条件的所有CFA图像中的RGB值进行加权融合，以克服灰度问题，然而，这种融合方式会把不合适的曝光条件的CFA图像，即存在颜色错误的图像帧融合进去，出现图像颜色错误问题。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，以解决由于不合适曝光条件的CFA图像存在的颜色错误导致融合的CFA图像颜色效果不佳的技术问题。
第一方面，本申请提供一种图像处理方法，包括：
计算获取的多帧CFA图像各自对应的初始亮度图；
对各个初始亮度图进行融合处理，得到融合亮度图；
基于多帧CFA图像确定各个像素点的颜色信息；
根据各个初始亮度图、融合亮度图中的各个像素点的亮度信息及颜色信息生成目标图像。
第二方面，本申请提供一种图像处理装置，包括：
计算模块，用于计算获取的多帧CFA图像各自对应的初始亮度图；
融合模块，用于对各个初始亮度图进行融合处理，得到融合亮度图；
确定模块，用于基于多帧CFA图像确定各个像素点的颜色信息；
生成模块，用于根据各个初始亮度图、融合亮度图中的各个像素点的亮度信息及颜色信息生成目标图像。
第三方面，本申请提供一种电子设备，电子设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述图像处理方法中的步骤。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法中的步骤。
本申请实施例计算获取的多帧CFA图像各自对应的初始亮度图；对各个初始亮度图进行融合处理，得到融合亮度图；基于多帧CFA图像确定各个像素点的颜色信息；根据各个初始亮度图、融合亮度图中的各个像素点的亮度信息及颜色信息生成目标图像。采用本申请，针对每个像素点，对亮度图融合与颜色融合进行分开处理，使得目标图像的颜色信息更加准确，提高了目标图像颜色准确性，进而提高了CFA图像的融合效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的流程图；
图2为3帧不同曝光度的CFA图像示意图；
图3为一个实施例中融合亮度图生成方法的流程图；
图4为一个实施例中颜色信息确定方法的流程图；
图5为另一个实施例中颜色信息确定方法的流程图；
图6为一个实施例中目标图像生成方法的流程图；
图7为一个实施例中像素点的像素值计算方法的流程图；
图8a为一个实施例中融合图像示意图；
图8b为一个实施例中目标图像示意图；
图9为一个实施例中图像处理装置的结构框图；
图10为一个实施例中电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，提供了一种图像处理方法，该图像处理方法应用于电子设备，本实施例以应用于服务器举例说明，该图像处理方法具体包括以下步骤：
步骤102，计算获取的多帧CFA图像各自对应的初始亮度图。
其中，初始亮度图是指反映一帧CFA图像亮度信息的图像，为颜色模型特征图，该亮度图可以是YUV通道中反映Y通道信息(亮度)的图像，也可以是HSV通道中的反映V通道信息(明暗)的图像，作为本实施例中的优选，计算Y通道的信息的图像作为初始亮度图，由于Y通道的亮度信息在融合处理上，支持不同的信息变换操作(如非线性放大、加权计算等)下颜色信息的保留，以保证后续图像融合时的颜色信息的准确性。具体地，可以将CFA图像的色域转换到YUV色域，从中提取各个像素点在Y通道的像素值，根据各个像素点对应的Y通道的像素值生成初始亮度图。更具体地，由于CFA图像中每个像素只有一个值，分别是RGB三个通道中的一个，并在硬件图像信号处理插值得到YUV输出。在CFA图像则是取2x2范围的4个像素(RGGB通道、BGGR通道、GBRG通道或GRBG)作为一组，算出一组的亮度信息Y作为响应，通过如下公式计算得到每个像素点的Y通道的亮度信息：
Y＝(R*r_gain+(G1+G2)/2+B*b_gain)/3；
其中，r_gain与b_gain分别是CFA图像中R通道和B通道的权重，G1和G2分别是RGGB通道、BGGR通道、GBRG通道或GRBG中的两个G通道对应的像素值，因此，2x2的一组(RGGB通道、BGGR通道、GBRG通道或GRBG)计算得到的Y值为一个像素点的亮度信息。CFA图像至少包括两帧，且各帧CFA图像的曝光度不同，也即曝光度越大，其初始亮度图表现为越亮，曝光度越小，其初始亮度图表现为越暗，并且各帧CFA图像对齐，其场景画面内容相同，也即镜头在几个不同曝光度的情况下，任意一个像素点在这几个曝光度下拍到的图像都对应同一个景物同一个位置，可以通过设置三脚架，放在同一位置采集不同曝光度的图像，然而通过基于边界检测或是SSIM(Structural SIMilarity，结构相似性)的软件算法进行检测，获取到对齐的CFA图像，如图2所示，为3帧不同曝光度的CFA图像示意图，该CFA图像的内容为夜景图像。可以理解地，本实施例中，通过计算多帧不同曝光度的CFA图像各自对应的初始亮度图，从而便于后续基于初始亮度图提取CFA图像的亮度信息，实现对各帧CFA图像的亮度信息提取。
步骤104，对各个初始亮度图进行融合处理，得到融合亮度图。
其中，融合亮度图是指多帧初始亮度图进行融合后，得到的一帧用于反映亮度信息的图像。具体地，可以通过分析各个初始亮度图对应的CFA图像的曝光度、各个初始亮度图的对比度及各个初始亮度图的饱和度，创建权重图，并对该权重图进行归一化处理，然后对各个初始亮度图进行拉普拉斯金字塔操作，得到对应的初始亮度图的高频信息，再接着对归一化后的权重进行高斯金字塔操作，得到经过高斯滤波平滑后的权值函数图，继而将像素值的每层拉普拉斯金字塔乘以对应层的高斯权值金字塔，将对应层次的初始亮度图进行融合，对融合后的拉普拉斯金字塔，从顶层开始逐层从上向下进行递推上采样，得到融合亮度图，可以理解地，本实施例中通过对各帧初始亮度图融合，减少了不同曝光度的CFA图像的亮度信息的差异，提高了融合亮度图的视觉效果。
步骤106，基于多帧CFA图像确定各个像素点的颜色信息。
其中，颜色信息是指来自于一帧CFA图像中的对应的像素点的RGB通道的信息，不同的像素点的颜色信息可以是来自于不同的CFA图像，也可以是来自于同一帧CFA图像，具体可以根据一帧CFA图像在对应像素点的颜色信息是否满足预设条件进行确定。由于多帧CFA图像是对齐的，因此，不同曝光度的CFA图像在同一位置的像素点亮度信息不同，颜色信息是相同的。此时，可以直接将一帧CFA图像作为颜色信息的来源，也即颜色信息来自于该帧CFA图像，然而，由于过曝或过暗的像素值都会影响颜色信息的准确度，因此，为了保证图像颜色信息的准确性，本实施例中，对于不同的像素点选取不同的CFA图像。具体地，针对每个像素点，确定各帧CFA图像的像素值是否满足预设阈值，将满足预设阈值的CFA图像作为对应像素点的颜色信息的来源图像，并将该帧CFA图像中对应像素点的像素值确定为对应像素点的颜色信息，例如，预设阈值为CFA域的700像素值。例如，有3帧CFA图像，分别为IA、IB和IC，其在第一个像素点(x1,y1)的像素值中分别为300、750、710，其在第二个像素点(x2,y2)的像素值中分别为790、610、730，其在第三个像素点(x3,y3)的像素值中分别为895、480、810，其在第四个像素点(x4,y4)的像素值中分别为795、869、670，因此，第一个像素点(x1,y1)、第二个像素点(x2,y2)、第三个像素点(x3,y3)、第四个像素点(x4,y4)的颜色信息的来源图像分别为IA、IB、IB、Ic，其对应的颜色信息分别为300像素值、610像素值、480像素值、670像素值。可以理解地，本实施例中，从不同曝光度的CFA图中确定颜色信息，而不是仅从一帧CFA图像中确定颜色信息，避免了过曝或者过暗对颜色信息的影响，保证了各个像素点的颜色信息的准确性。
步骤108，根据各个初始亮度图、融合亮度图中的各个像素点的亮度信息及颜色信息生成目标图像。
其中，目标图像是指对多帧不同曝光度的CFA图像进行处理后得到的图像，具体地，根据融合亮度图中各个像素点的亮度信息Yout、以及对应像素点的颜色信息对应的初始亮度图在对应像素点的亮度信息Yin，确定Yout与Yin的比值，然后针对各个像素点的颜色信息以及Yout与Yin的比值，确定目标颜色信息，根据各个像素点的目标信息即可生成目标图像。通过融合亮度图中各个像素点的亮度信息，根据各个初始亮度图对各个像素点的颜色信息进行融合，针对每个像素点，对亮度图融合与颜色融合进行分开处理，使得目标图像的颜色信息更加准确，提高了目标图像颜色准确性，进而提高了CFA图像的融合效果。
上述图像处理方法，计算获取的多帧CFA图像各自对应的初始亮度图，实现对各帧CFA图像的亮度信息提取，对各个初始亮度图进行融合处理，得到融合亮度图，减少了不同曝光度的CFA图像的亮度信息的差异，提高了融合亮度图的视觉效果，基于多帧CFA图像确定各个像素点的颜色信息，避免了过曝或者过暗对颜色信息的影响，保证了各个像素点的颜色信息的准确性，根据各个初始亮度图、融合亮度图中的各个像素点的亮度信息及颜色信息生成目标图像。采用本申请，针对每个像素点，对亮度图融合与颜色融合进行分开处理，使得目标图像的颜色信息更加准确，提高了目标图像颜色准确性，进而提高了CFA图像的融合效果。
如图3所示，在一个实施例中，对各个初始亮度图进行融合处理，得到融合亮度图，包括：
步骤104A，获取各帧CFA图像的预设属性的属性值；
步骤104B，根据属性值建立权重图；
步骤104C，基于权重图对各个初始亮度图中的各个像素点的亮度信息进行加权处理，得到融合亮度图。
其中，预设属性可以是各帧CFA图像的曝光度、对比度或者饱和度的一种或者多种组合，由于曝光度、对比度和饱和度与亮度信息有关，为了保证融合效果，本实施例中，同时选取曝光度、对比度和饱和度三个属性，并根据对应的属性值，按照如下规则建立权重图：对于曝光度的属性，将接近中间强度如(128)的像素点赋予较高权重；对于对比度的属性，将对比度值较高的像素点，赋予较高的权重；对于饱和度属性，将对比度值较高的像素点，赋予较高的权重，基于权重图对各个初始亮度图中的各个像素点的亮度信息进行加权处理，得到融合亮度图。值得说明的是，直接按照权重图进行加权融合，会产生图像的断层问题，因此，为了解决融合出现的图像断层的问题，本实施例中，在步骤104之后，对权重图进行归一化计算，对归一化后的权重图进行高斯金字塔分解，得到融合之后的新的Laplacian金字塔权重图，也即更新的权重图，通过该更新的权重图进行对初始亮度图中的各个像素点的亮度信息进行加权处理，得到融合亮度图。
如图4所示，在一个实施例中，基于多帧CFA图像确定各个像素点的颜色信息，包括：
步骤106A，将各帧CFA图像按照曝光度由大到小进行排序，得到CFA图像序列；
步骤106B，针对CFA图像中的各个像素点的像素值，在CFA图像序列中进行遍历查询；
步骤106C，当查询到满足预设像素值阈值的CFA图像时，停止遍历，并将满足预设像素值阈值的CFA图像作为目标来源图；
步骤106D，根据目标来源图确定各个像素点的颜色信息。
其中，预设像素值阈值是指预先设定的用于衡量像素值对应的颜色信息是否满足条件的最大的CFA域的像素值，示例性地，对于10bit的图像，预设像素值阈值为700，是接近过曝的像素值，目标来源图是指在一个像素点的像素值满足预设像素值阈值的CFA图像，也即CFA图像中对应像素点的信息为颜色信息的来源。具体地，将各帧CFA图像按照曝光度由大到小进行排序，得到CFA图像序列，也即CFA图像序列中包含了不同亮度的CFA图像，且顺序为最亮至最暗，然后，针对CFA图像中的各个像素点的像素值，在CFA图像序列中进行遍历查询，针对CFA图像的每个像素点，可以选取当前像素点邻域(2x2)的4个颜色通道的像素值，判断对应的像素值是否小于预设像素阈值，当查询到当前像素点的像素值小于预设像素值阈值时，则获取对应的CFA图像，并停止遍历，从而获取到满足预设像素阈值，且亮度最大的像素点，将CFA图像作为目标来源图，根据目标来源图确定对应像素点的颜色信息。本实施例中，在遍历到目标来源图时，并停止遍历，避免了对其他满足预设像素值阈值，但是亮度低于目标来源图的CFA图像的冗余遍历操作，提高了获取颜色信息的效率。进一步地，通过获取到满足预设像素阈值，且亮度最大的像素点，避免了低亮度CFA图像中噪声对图像画面效果的影响，从而提高了颜色信息的准确性。
如图5所示，在一个实施例中，基于多帧CFA图像确定各个像素点的颜色信息，包括：
步骤106A’，针对CFA图像中的各个像素点的像素值，从多帧CFA图像中查找满足预设像素值阈值的CFA图像作为候选来源图；
106B’，根据各个候选来源图的曝光度确定目标来源图；
106C’，根据目标来源图确定各个像素点的颜色信息。
其中，候选来源图是指多帧满足预设像素值阈值的CFA图像。具体地，针对CFA图像中的各个像素点的像素值，可以选取当前像素点的2x2邻域的4个颜色通道的像素值，判断对应的像素值是否小于预设像素阈值，当查询到当前像素点的像素值小于预设像素值阈值时，则获取对应的CFA图像，确定为候选来源图，然后根据各个候选来源图的曝光度，从中选取曝光度满足预设条件的CFA图像，确定为目标来源图，更具体地，选取曝光度最高的CFA图像确定为目标来源图，由于曝光度越高，对应的亮度更高，因此，选取曝光度高的CFA图像，减少噪音的干扰，根据目标来源图确定各个像素点的颜色信息，提高了各个像素点的颜色信息一致性和准确性。
如图6所示，在一个实施例中，根据各个初始亮度图、融合亮度图中的各个像素点的亮度信息及颜色信息生成目标图像，包括：
步骤108A，针对每个像素点，确定其对应的目标来源图；
步骤108B，根据目标来源图中的其对应的像素点的亮度信息、融合亮度图中的其对应的像素点的亮度信息及颜色信息确定其对应的像素点的像素值；
步骤108C，根据各个像素点的像素值生成目标图像。
在这个实施例中，针对每个像素点，确定其对应的目标来源图，根据目标来源图查找初始亮度图，根据初始亮度图其对应像素点的亮度信息，作为输入亮度信息Yin,然后，根据融合亮度图中其对应像素点的亮度信息作为输出亮度信息Yout,根据输出亮度信息Yout与输入亮度信息Yin的关系(例如，比值关系、大小关系等)，对对应像素点的颜色信息进行变换处理，得到其对应像素点的像素值，根据各个像素点的像素值生成目标图像，可以理解地，本实施例中，针对各个像素点，根据初始亮度图的亮度信息、融合亮度图的亮度信息，对不同目标来源图的对应像素点的信息进行处理，由于对亮度信息及颜色信息分别进行处理，使得颜色信息具有一致性，同时根据融合亮度图的亮度信息及初始亮度图的信息对颜色信息进行处理，避免了曝光融合出现的颜色信息的错误，进一步提高了颜色信息的准确性。
如图7所示，在一个实施例中，根据目标来源图中的其对应的像素点的亮度信息、融合亮度图中的其对应的像素点的亮度信息及颜色信息确定其对应的像素点的像素值，包括：
步骤108B1，计算融合亮度图中的其对应的像素点的亮度信息与目标来源图中的其对应的像素点的亮度信息的比值；
步骤108B2，根据颜色信息及比值计算得到其对应像素点的像素值。
在这个实施例中，针对每个像素点，计算融合亮度图中的其对应像素点的亮度信息即步骤108A-步骤108C中的输出亮度信息Y_out,与目标来源图中对应像素点的亮度信息即步骤108A-步骤108C中的输入亮度信息Yin比值，即Y_out/Y_in，然后，根据对应像素点的颜色信息与比值Y_out/Y_in，计算得到对应像素点的像素值，可以通过求解如下算式中的G1_out、G2_out、R_out、B_out，确定各个像素点对应的RGB值，也即各个像素点的像素值：
G1_out/G1_in＝Y_out/Y_in；
R_out/R_in＝Y_out/Y_in；
B_out/B_in＝Y_out/Y_in；
Y_out＝(R_out*r_gain+(G1_out+G2_out)/2+B_out*b_gain)/3；
上述算式中，G1_in、G2_in、R_in、B_in分别表示像素点的G通道、G通道、R通道、B通道的颜色信息，r_gain与b_gain分别是初始亮度图中像素点的R通道和B通道的权重，且r_gain与b_gain的大小位于区间[1,2]。可以理解地，本实施例中，根据融合亮度图中的其对应的像素点的亮度信息与目标来源图中的其对应的像素点的亮度信息的比值，按照该比值对各个像素点的颜色信息进行线性变换，即在像素点的级别上对颜色信息的变换，从而解决了颜色信息的偏色问题，提高了各个像素点像素值的准确性，进而提高了目标图像的颜色效果。如图8a所示，为对图2的3帧CFA图像按照传统的融合方法生成的融合图像示意图，如图8b所示，为对图2的3帧CFA图像按照步骤108B1-步骤108B2的方法生成的目标图像的示意图，由图8a和图8b对比可以看出，图8b的目标图像中包含更多的细节，且相较于图8a，颜色效果表现更佳。
在一个实施例中，亮度信息为Y通道，颜色信息为RGGB通道、BGGR通道、GBRG通道和GRBG通道中的任意一种。
具体地，亮度信息为Y通道，且本实施例中，均是在Y通道上进行亮度信息的融合，且Y通道支持亮度信息的修改，且不会对颜色信息产生影响，因此，保证了图像融合前后颜色信息的一致性。颜色通道为RGGB通道、BGGR通道、GBRG通道和GRBG通道中的任意一种，由于CFA图像的每个像素点只有一个值，分别是R通道、G通道或B通道中的一个像素，为了确保颜色计算的准确度，因此，取一个像素点2x2邻域作为一个像素点，也即颜色信息为RGGB通道、BGGR通道、GBRG通道和GRBG通道中的任意一种，以提高颜色信息计算的准确性。
如图9所示，在一个实施例中，提出了一种图像处理装置，包括：
计算模块902，用于计算获取的多帧CFA图像各自对应的初始亮度图；
融合模块904，用于对各个初始亮度图进行融合处理，得到融合亮度图；
确定模块906，用于基于多帧CFA图像确定各个像素点的颜色信息；
生成模块908，用于根据各个初始亮度图、融合亮度图中的各个像素点的亮度信息及颜色信息生成目标图像。
在一个实施例中，融合模块包括：
第一获取单元，用于获取各帧CFA图像的预设属性的属性值；
建立单元，用于根据属性值建立权重图；
计算单元，用于基于权重图对各个初始亮度图中的各个像素点的亮度信息进行加权处理，得到融合亮度图。
在一个实施例中，确定模块包括：
排序单元，用于将各帧CFA图像按照曝光度由大到小进行排序，得到CFA图像序列；
遍历单元，用于针对CFA图像中的各个像素点的像素值，在CFA图像序列中进行遍历查询；
第一确定单元，用于当查询到满足预设像素值阈值的CFA图像时，停止遍历，并将满足预设像素值阈值的CFA图像作为目标来源图；
第二确定单元，用于根据目标来源图确定各个像素点的颜色信息。
在一个实施例中，确定模块包括：
第一选取单元，用于针对CFA图像中的各个像素点的像素值，从多帧CFA图像中查找满足预设像素值阈值的CFA图像作为候选来源图；
第二选取单元，用于根据各个候选来源图的曝光度确定目标来源图；
第三确定单元，用于根据目标来源图确定各个像素点的颜色信息。
在一个实施例中，生成模块包括：
第二获取单元，用于针对每个像素点，获取其对应的目标来源图；
第四确定单元，用于根据目标来源图中的其对应的像素点的亮度信息、融合亮度图中的其对应的像素点的亮度信息及颜色信息确定其对应的像素点的像素值；
生成单元，用于根据各个像素点的像素值生成目标图像。
在一个实施例中，第四确定单元包括：
第一计算子单元，用于计算融合亮度图中的其对应的像素点的亮度信息与目标来源图中的其对应的像素点的亮度信息的比值；
第二计算子单元，用于根据颜色信息及比值计算得到其对应像素点的像素值。
图10示出了一个实施例中电子设备的内部结构图。该电子设备具体可以是服务器，服务器包括但不限于高性能计算机和高性能计算机集群。如图10所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该电子设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理方法可以实现为一种计算机程序的形式，计算机程序可在如图10所示的电子设备上运行。电子设备的存储器中可存储组成图像处理装置的各个程序模板。比如，获取模块902，融合模块904，确定模块906，生成模块910。
一种电子设备，电子设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述图像处理方法中的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
计算获取的多帧CFA图像各自对应的初始亮度图；
对各个所述初始亮度图进行融合处理，得到融合亮度图；
基于所述多帧CFA图像确定各个像素点的颜色信息；
根据各个所述初始亮度图、所述融合亮度图中的各个像素点的亮度信息及所述颜色信息生成目标图像。
2.如权利要求1所述的方法，其特征在于，所述对各个所述初始亮度图进行融合处理，得到融合亮度图，包括：
获取各帧所述CFA图像的预设属性的属性值；
根据所述属性值建立权重图；
基于所述权重图对各个所述初始亮度图中的各个像素点的亮度信息进行加权处理，得到融合亮度图。
3.如权利要求1所述的方法，其特征在于，所述基于所述多帧CFA图像确定各个像素点的颜色信息，包括：
将各帧所述CFA图像按照曝光度由大到小进行排序，得到CFA图像序列；
针对所述CFA图像中的各个像素点的像素值，在所述CFA图像序列中进行遍历查询；
当查询到满足预设像素值阈值的所述CFA图像时，停止遍历，并将满足所述预设像素值阈值的所述CFA图像作为目标来源图；
根据所述目标来源图确定各个像素点的颜色信息。
4.如权利要求1所述的方法，其特征在于，所述基于所述多帧CFA图像确定各个像素点的颜色信息，包括：
针对所述CFA图像中的各个像素点的像素值，从所述多帧CFA图像中查找满足预设像素值阈值的所述CFA图像作为候选来源图；
根据各个所述候选来源图的曝光度确定目标来源图；
根据所述目标来源图确定各个像素点的颜色信息。
5.如权利要求3所述的方法，其特征在于，所述根据各个所述初始亮度图、所述融合亮度图中的各个像素点的亮度信息及所述颜色信息生成目标图像，包括：
针对每个像素点，获取其对应的所述目标来源图；
根据所述目标来源图中的其对应的像素点的亮度信息、所述融合亮度图中的其对应的像素点的亮度信息及所述颜色信息确定其对应的像素点的像素值；
根据各个像素点的像素值生成目标图像。
6.如权利要求5所述的方法，其特征在于，所述根据所述目标来源图中的其对应的像素点的亮度信息、所述融合亮度图中的其对应的像素点的亮度信息及所述颜色信息确定其对应的像素点的像素值，包括：
计算所述融合亮度图中的其对应的像素点的亮度信息与所述目标来源图中的其对应的像素点的亮度信息的比值；
根据所述颜色信息及所述比值计算得到其对应像素点的像素值。
7.如权利要求1-6任一项所述的方法，其特征在于，所述亮度信息为Y通道，所述颜色信息为RGGB通道、BGGR通道、GBRG通道和GRBG通道中的任意一种。
8.一种图像处理装置，其特征在于，包括：
计算模块，用于计算获取的多帧CFA图像各自对应的初始亮度图；
融合模块，用于对各个所述初始亮度图进行融合处理，得到融合亮度图；
确定模块，用于基于所述多帧CFA图像确定各个像素点的颜色信息；
生成模块，用于根据各个所述初始亮度图、所述融合亮度图中的各个像素点的亮度信息及所述颜色信息生成目标图像。
9.一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图像处理方法中的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像处理方法中的步骤。
CN202210137017.6A 2022-02-15 2022-02-15 图像处理方法、装置、电子设备及计算机可读存储介质 Pending CN116645274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210137017.6A CN116645274A (zh) 2022-02-15 2022-02-15 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210137017.6A CN116645274A (zh) 2022-02-15 2022-02-15 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116645274A true CN116645274A (zh) 2023-08-25

Family

ID=87638691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210137017.6A Pending CN116645274A (zh) 2022-02-15 2022-02-15 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116645274A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118628368A (zh) * 2024-08-08 2024-09-10 爱芯元智半导体股份有限公司 获取hdr图像的融合比例的方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118628368A (zh) * 2024-08-08 2024-09-10 爱芯元智半导体股份有限公司 获取hdr图像的融合比例的方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US10666873B2 (en) Exposure-related intensity transformation
US11055827B2 (en) Image processing apparatus and method
Hu et al. Exposure stacks of live scenes with hand-held cameras
KR101026585B1 (ko) 장면의 이미지 시퀀스로부터 고 동적 범위(ｈｄｒ) 이미지를 생성하는 시스템, 컴퓨터로 구현된 방법 및 컴퓨터 판독가능 기록매체
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
US7103228B2 (en) Local change of an image sharpness of photographic images with masks
WO2022160895A1 (zh) 图像处理方法、图像处理装置、电子系统及可读存储介质
CN110163804A (zh) 图像去雾方法、装置、计算机设备和存储介质
JP2014520446A (ja) 画像の自動露出補正
CN113592739B (zh) 一种镜头阴影校正的方法、装置及存储介质
CN108961209B (zh) 行人图像质量评价方法、电子设备及计算机可读介质
CN115082350A (zh) 频闪图像处理方法、装置、电子设备和可读存储介质
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN116957948A (zh) 图像处理方法、电子产品和存储介质
CN116645274A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113132639B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114429476A (zh) 图像处理方法、装置、计算机设备以及存储介质
CN111539975B (zh) 一种运动目标的检测方法、装置、设备及存储介质
WO2023151210A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
Yang et al. Exposure interpolation for two large-exposure-ratio images
CN111242087B (zh) 物体识别方法及装置
CN113570531A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110705336B (zh) 图像处理方法、系统、电子设备及可读存储介质
CN114782261B (zh) 图像处理方法和装置、电子设备和可读存储介质
CN112419217B (zh) 图像处理方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication