CN113259636B

CN113259636B - 用于对图像去马赛克的方法、装置以及电子设备、介质

Info

Publication number: CN113259636B
Application number: CN202110792298.4A
Authority: CN
Inventors: 王昊; 施文博
Original assignee: Seashell Housing Beijing Technology Co Ltd
Current assignee: Seashell Housing Beijing Technology Co Ltd
Priority date: 2021-07-14
Filing date: 2021-07-14
Publication date: 2021-09-14
Anticipated expiration: 2041-07-14
Also published as: CN113259636A

Abstract

本公开提供了一种用于对图像去马赛克的方法、装置以及电子设备、存储介质，涉及图像处理技术领域，其中的方法包括：基于多个单通道图像的曝光时长信息确定图像参与系数，基于图像参与系数确定第一矩阵的权重信息，并基于权重信息对第一矩阵进行合并处理，生成单通道待处理矩阵；在单通道待处理矩阵中的第二矩阵内的各通道位置处进行插值处理，获取插值矩阵内的各通道位置处的多通道像素信息，生成多通道图像；本公开的方法、装置以及电子设备、存储介质，提高了去马赛克后的图像清晰度和真实度，实现了适用GPU硬件架构的并行化处理，有效改善了客户体验。

Description

用于对图像去马赛克的方法、装置以及电子设备、介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种用于对图像去马赛克的方法、装置以及电子设备、存储介质。

背景技术

目前，为了使客户获得对于房屋的真实感知体验，推出了“VR看房”，利用VR技术真实还原出房源的三维场景，用户通过键盘及鼠标的操控，可实现多角度漫游参观。可以通过全景相机、深度相机、激光雷达等设备获取室内等场景数据，构建房源的三维场景。“VR看房”需要整合应用多种技术，呈现给客户的房屋照片需要进行ISP（Image Signal Process，图像信号处理）处理，在ISP处理的过程中，需要对图像进行去马赛克（demosaicking）处理。由于VR看房最终呈现给客户的照片将影响客户的决策，对成交产生一定的影响，因此，需要尽可能的保证ISP处理后生成的图片最优并且最真实。但是，现有的去马赛克算法具有图像清晰度不佳、色彩恢复的效果差等缺点，影响ISP处理的处理效果，因此，需要一种新的图像去马赛克技术方案。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种用于对图像去马赛克的方法、装置以及电子设备、存储介质。

根据本公开实施例的第一方面，提供一种用于对图像去马赛克的方法，包括：获取对于同一目标采集的单通道图像，基于所述单通道图像的曝光时长信息确定所述单通道图像的图像参与系数；在所述单通道图像中设置第一矩阵，基于所述图像参与系数确定所述第一矩阵的权重信息；根据所述权重信息，对多个所述第一矩阵进行合并处理，生成单通道待处理矩阵；在所述单通道待处理矩阵中设置第二矩阵，在所述第二矩阵内的各通道位置处进行插值处理，用以获取插值矩阵内的各通道位置处的多通道像素信息；其中，所述插值矩阵位于所述第二矩阵的内部；基于所述插值矩阵内的像素点的多通道像素信息，生成多通道图像。

可选地，所述获取对于同一目标采集的单通道图像，基于所述单通道图像的曝光时长信息确定各个单通道图像的图像参与系数包括：获取所述单通道图像的曝光时长；基于一个单通道图像的曝光时长分别与自身的曝光时长、其它单通道图像的曝光时长的比值，确定任一所述单通道图像的图像参与系数。

可选地，所述基于所述图像参与系数确定所述第一矩阵的权重信息包括：获取所述插值矩阵内的任一通道像素值；根据所述任一通道像素值和对应的图像参与系数，以及影调变化最大值、确定各个通道像素值的像素权重；将所述任一通道像素值的像素权重相加，获得所述第一矩阵的权重；如果根据所述任一通道像素值确定采集环境出现异常，则对所述第一矩阵的权重进行权重调整处理。

可选地，所述根据与所述权重信息，对多个所述第一矩阵进行合并处理，生成单通道待处理矩阵包括：基于与所述第一矩阵相对应的权重，对全部第一矩阵的各个通道像素值进行加权计算处理，生成所述单通道待处理矩阵。

可选地，所述单通道图像包括：RGGB格式的图像；所述在所述第二矩阵内的各通道位置处进行插值处理，用以获取插值矩阵内的各通道位置处的多通道像素信息包括：获取与所述第二矩阵内的待处理R通道位置或待处理B通道位置相邻的G通道像素信息，用以在所述待处理R通道位置处或所述待处理B通道位置处插入G通道像素值；获取与所述第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值；获取与所述第二矩阵内的待处理B通道位置相邻的R通道像素信息和G通道像素信息，用以在此待处理B通道位置处插入R通道像素值;获取与所述第二矩阵内的待处理R通道位置相邻的B通道像素信息、G通道像素信息，用以在所述待处理R通道位置处插入B通道像素值。

可选地，所述获取与所述第二矩阵内的待处理R通道位置或待处理B通道位置相邻的G通道像素信息，用以在所述待处理R通道位置处或所述待处理B通道位置处插入G通道像素值包括：获取与所述待处理R通道位置或所述待处理B通道位置相邻的两个第一横向G通道像素值和两个第一纵向G通道像素值；计算所述两个第一横向G通道像素值之差的第一绝对值、所述两个第一纵向G通道像素值之差的第二绝对值；如果所述第一绝对值大于所述第二绝对值，则将在所述待处理R通道位置处或所述待处理B通道位置处插入所述两个第一纵向G通道像素值的平均值；如果所述第一绝对值小于或等于所述第二绝对值，则将在所述待处理R通道位置处或所述待处理B通道位置处插入所述两个第一横向G通道像素值的平均值。

可选地，所述获取与所述第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值包括：确定与所述待处理G通道位置相邻的两个R通道位置，获取两个R通道位置处的两个第二纵向G通道像素值、两个第一R通道像素值；基于所述待处理G通道位置处的G通道像素值、所述两个第二纵向G通道像素值的平均值，确定所述待处理G通道位置的第一校准值；计算所述两个第二纵向G通道像素值的和值与所述两个第一R通道像素值的和值的商，作为所述G通道位置处的第一比率值；基于所述第一校准值、所述第一比率值以及所述两个第一R通道像素值的平均值，确定在所述待处理G像素值位置处插入的R通道像素值。

可选地，所述获取与所述第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值包括：确定与所述待处理G通道位置相邻的两个B通道位置，获取两个B通道位置处的两个第二横向G通道像素值、两个第一B通道像素值；基于所述待处理G通道位置处的G通道像素值、所述两个第二横向G通道像素值的平均值，确定所述待处理G通道位置的第一校准值；计算所述两个第二横向G通道像素值的和值与所述两个第一B通道像素值的和值的商，作为所述G通道位置处的第一比率值；基于所述第一校准值、所述第一比率值以及所述两个第一B通道像素值的平均值，确定在所述待处理G像素值位置处插入的B通道像素值。

可选地，所述获取与所述第二矩阵内的待处理B通道位置相邻的R通道像素信息和G通道像素信息，用以在此待处理B通道位置处插入R通道像素值包括：确定与所述待处理B通道位置相邻的第一对斜向R通道位置，获取所述第一对斜向R通道位置处的两个第一斜向R通道像素值和两个第一斜向G通道像素值；确定与所述待处理B通道位置相邻的第二对斜向R通道位置，获取所述第二对斜向R通道位置处的两个第二斜向R通道像素值和两个第二斜向G通道像素值；将所述两个第一斜向R通道像素值之差的绝对值设置为第一差值阈值，将所述两个第二斜向R通道像素值之差的绝对值设置为第二差值阈值；基于所述待处理B通道位置处的G通道像素值、所述两个第一斜向G通道像素值的平均值，确定所述待处理B通道位置处的第一R通道校准值；基于所述待处理B通道位置处的G通道像素值、所述两个第二斜向G通道像素值的平均值，确定所述待处理B通道位置处的第二R通道校准值；计算所述两个第一斜向G通道像素值的和值与所述两个第一斜向R通道像素值的和值的商，作为所述待处理B通道位置处的第一R通道比率值；计算所述两个第二斜向G通道像素值的和值与所述两个第二斜向R通道像素值的和值的商，作为所述待处理B通道位置处的第二R通道比率值；如果所述第一差值阈值小于所述第二差值阈值，则基于所述第一R通道校准值与所述第一R通道比率值的商，以及所述两个第一斜向R通道像素值的平均值，确定在所述待处理B像素值位置处插入的R通道像素值。如果所述第一差值阈值大于或等于所述第二差值阈值，则基于所述第二R通道校准值与所述第二R通道比率值的商，以及所述两个第二斜向R通道像素值的平均值，确定在所述待处理B像素值位置处插入的R通道像素值。

可选地，所述获取与所述第二矩阵内的待处理R通道位置相邻的B通道像素信息、G通道像素信息，用以在所述待处理R通道位置处插入B通道像素值包括：确定与所述待处理R通道位置相邻的第三对斜向R通道位置，获取所述第三对斜向B通道位置处的两个第一斜向B通道像素值和两个第三斜向G通道像素值；确定与所述待处理R通道位置相邻的第四对斜向R通道位置，获取所述第四对斜向B通道位置处的两个第二斜向B通道像素值和两个第四斜向G通道像素值；将所述两个第一斜向B通道像素值之差的绝对值设置为第三差值阈值，将所述两个第二斜向B通道像素值之差的绝对值设置为第四差值阈值；基于所述待处理R通道位置处的G通道像素值、所述两个第三斜向G通道像素值的平均值，确定所述待处理R通道位置处的第一B通道校准值；基于所述待处理R通道位置处的G通道像素值、所述两个第四斜向G通道像素值的平均值，确定所述待处理R通道位置处的第二B通道校准值；计算所述两个第三斜向G通道像素值的和值与所述两个第一斜向B通道像素值的和值的商，作为所述待处理R通道位置处的第一B通道比率值；计算所述两个第四斜向G通道像素值的和值与所述两个第二斜向B通道像素值的和值的商，作为所述待处理R通道位置处的第二R通道比率值；如果所述第三差值阈值小于所述第四差值阈值，则基于所述第一B通道校准值与所述第一B通道比率值的商，以及所述两个第一斜向B通道像素值的平均值，确定在所述待处理R像素值位置处插入的B通道像素值。如果所述第三差值阈值大于或等于所述第四差值阈值，则基于所述第二B通道校准值与所述第二B通道比率值的商，以及所述两个第二斜向B通道像素值的平均值，确定在所述待处理R像素值位置处插入的B通道像素值。

可选地，所述基于所述插值矩阵内的像素点的多通道像素信息，生成多通道图像包括：获取与全部单通道待处理矩阵相对应的插值矩阵以及插值矩阵内的像素点的多通道像素信息，生成多通道图像；其中，所述单通道图像包括：RAW图像；所述多通道图像包括：RGB三通道图像。

根据本公开实施例的第二方面，提供一种用于对图像去马赛克的装置，包括：系数确定模块，用于获取对于同一目标采集的单通道图像，基于所述多个单通道图像的曝光时长信息确定所述单通道图像的图像参与系数；权重确定模块，用于在所述单通道图像中设置第一矩阵，基于所述图像参与系数确定所述第一矩阵的权重信息；图像合并模块，用于根据所述权重信息，对多个所述第一矩阵进行合并处理，生成单通道待处理矩阵；插值处理模块，用于在所述单通道待处理矩阵中设置第二矩阵，在所述第二矩阵内的各通道位置处进行插值处理，用以获取插值矩阵内的各通道位置处的多通道像素信息；其中，所述插值矩阵位于所述第二矩阵的内部；图像生成模块，用于基于所述插值矩阵内的像素点的多通道像素信息，生成多通道图像。

可选地，所述系数确定模块，具体用于获取所述单通道图像的曝光时长；基于一个单通道图像的曝光时长分别与自身的曝光时长、其它单通道图像的曝光时长的比值，确定任一所述单通道图像的图像参与系数。

可选地，所述权重确定模块，具体用于获取所述插值矩阵内的任一通道像素值；根据所述任一通道像素值和对应的图像参与系数，以及影调变化最大值、确定各个通道像素值的像素权重；将所述任一通道像素值的像素权重相加，获得所述第一矩阵的权重；如果根据所述各个通道像素值确定采集环境出现异常，则对所述第一矩阵的权重进行权重调整处理。

可选地，所述图像合并模块，具体用于基于与所述第一矩阵相对应的权重，对全部第一矩阵的各个通道像素值进行加权计算处理，生成所述单通道待处理矩阵。

可选地，所述单通道图像包括：RGGB格式的图像；所述插值处理模块，包括：第一插值单元，用于获取与所述第二矩阵内的待处理R通道位置或待处理B通道位置相邻的G通道像素信息，用以在所述待处理R通道位置处或所述待处理B通道位置处插入G通道像素值；第二插值单元，用于获取与所述第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值；第三插值单元，用于获取与所述第二矩阵内的待处理B通道位置相邻的R通道像素信息和G通道像素信息，用以在此待处理B通道位置处插入R通道像素值;第四插值单元，用于获取与所述第二矩阵内的待处理R通道位置相邻的B通道像素信息、G通道像素信息，用以在所述待处理R通道位置处插入B通道像素值。

可选地，所述第一插值单元，具体用于获取与所述待处理R通道位置或所述待处理B通道位置相邻的两个第一横向G通道像素值和两个第一纵向G通道像素值；计算所述两个第一横向G通道像素值之差的第一绝对值、所述两个第一纵向G通道像素值之差的第二绝对值；如果所述第一绝对值大于所述第二绝对值，则将在所述待处理R通道位置处或所述待处理B通道位置处插入所述两个第一纵向G通道像素值的平均值；如果所述第一绝对值小于或等于所述第二绝对值，则将在所述待处理R通道位置处或所述待处理B通道位置处插入所述两个第一横向G通道像素值的平均值。

可选地，所述第二插值单元，具体用于确定与所述待处理G通道位置相邻的两个R通道位置，获取两个R通道位置处的两个第二纵向G通道像素值、两个第一R通道像素值；基于所述待处理G通道位置处的G通道像素值、所述两个第二纵向G通道像素值的平均值，确定所述待处理G通道位置的第一校准值；计算所述两个第二纵向G通道像素值的和值与所述两个第一R通道像素值的和值的商，作为所述G通道位置处的第一比率值；基于所述第一校准值、所述第一比率值以及所述两个第一R通道像素值的平均值，确定在所述待处理G像素值位置处插入的R通道像素值。

可选地，所述第二插值单元，还具体用于确定与所述待处理G通道位置相邻的两个B通道位置，获取两个B通道位置处的两个第二横向G通道像素值、两个第一B通道像素值；基于所述待处理G通道位置处的G通道像素值、所述两个第二横向G通道像素值的平均值，确定所述待处理G通道位置的第一校准值；计算所述两个第二横向G通道像素值的和值与所述两个第一B通道像素值的和值的商，作为所述G通道位置处的第一比率值；基于所述第一校准值、所述第一比率值以及所述两个第一B通道像素值的平均值，确定在所述待处理G像素值位置处插入的B通道像素值。

可选地，所述第三插值单元，具体用于确定与所述待处理B通道位置相邻的第一对斜向R通道位置，获取所述第一对斜向R通道位置处的两个第一斜向R通道像素值和两个第一斜向G通道像素值；确定与所述待处理B通道位置相邻的第二对斜向R通道位置，获取所述第二对斜向R通道位置处的两个第二斜向R通道像素值和两个第二斜向G通道像素值；将所述两个第一斜向R通道像素值之差的绝对值设置为第一差值阈值，将所述两个第二斜向R通道像素值之差的绝对值设置为第二差值阈值；基于所述待处理B通道位置处的G通道像素值、所述两个第一斜向G通道像素值的平均值，确定所述待处理B通道位置处的第一R通道校准值；基于所述待处理B通道位置处的G通道像素值、所述两个第二斜向G通道像素值的平均值，确定所述待处理B通道位置处的第二R通道校准值；计算所述两个第一斜向G通道像素值的和值与所述两个第一斜向R通道像素值的和值的商，作为所述待处理B通道位置处的第一R通道比率值；计算所述两个第二斜向G通道像素值的和值与所述两个第二斜向R通道像素值的和值的商，作为所述待处理B通道位置处的第二R通道比率值；如果所述第一差值阈值小于所述第二差值阈值，则基于所述第一R通道校准值与所述第一R通道比率值的商，以及所述两个第一斜向R通道像素值的平均值，确定在所述待处理B像素值位置处插入的R通道像素值。如果所述第一差值阈值大于或等于所述第二差值阈值，则基于所述第二R通道校准值与所述第二R通道比率值的商，以及所述两个第二斜向R通道像素值的平均值，确定在所述待处理B像素值位置处插入的R通道像素值。

可选地，所述第四插值单元，具体用于确定与所述待处理R通道位置相邻的第三对斜向R通道位置，获取所述第三对斜向B通道位置处的两个第一斜向B通道像素值和两个第三斜向G通道像素值；确定与所述待处理R通道位置相邻的第四对斜向R通道位置，获取所述第四对斜向B通道位置处的两个第二斜向B通道像素值和两个第四斜向G通道像素值；将所述两个第一斜向B通道像素值之差的绝对值设置为第三差值阈值，将所述两个第二斜向B通道像素值之差的绝对值设置为第四差值阈值；基于所述待处理R通道位置处的G通道像素值、所述两个第三斜向G通道像素值的平均值，确定所述待处理R通道位置处的第一B通道校准值；基于所述待处理R通道位置处的G通道像素值、所述两个第四斜向G通道像素值的平均值，确定所述待处理R通道位置处的第二B通道校准值；计算所述两个第三斜向G通道像素值的和值与所述两个第一斜向B通道像素值的和值的商，作为所述待处理R通道位置处的第一B通道比率值；计算所述两个第四斜向G通道像素值的和值与所述两个第二斜向B通道像素值的和值的商，作为所述待处理R通道位置处的第二R通道比率值；如果所述第三差值阈值小于所述第四差值阈值，则基于所述第一B通道校准值与所述第一B通道比率值的商，以及所述两个第一斜向B通道像素值的平均值，确定在所述待处理R像素值位置处插入的B通道像素值。如果所述第三差值阈值大于或等于所述第四差值阈值，则基于所述第二B通道校准值与所述第二B通道比率值的商，以及所述两个第二斜向B通道像素值的平均值，确定在所述待处理R像素值位置处插入的B通道像素值。

可选地，所述图像生成模块，用于获取与全部单通道待处理矩阵相对应的插值矩阵以及插值矩阵内的像素点的多通道像素信息，生成多通道图像；其中，所述单通道图像包括：RAW图像；所述多通道图像包括：RGB三通道图像。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的方法。

根据本公开实施例的第四方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述的方法。

基于本公开上述实施例提供的用于对图像去马赛克的方法、装置以及电子设备、存储介质，能够针对图像进行去马赛克处理，提供同时使用像素值以及拉普拉斯等检测（能量）算子的混合残差插值方法，提高了去马赛克后的图像清晰度和真实度，降低了功耗，可以提高ISP处理的图像质量，有效改善了客户体验。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为本公开的用于对图像去马赛克的方法的一个实施例的流程图；

图2A为待处理图像的格式图；图2B为第一矩阵的格式图；

图3为本公开的用于对图像去马赛克的方法的一个实施例中的确定图像参与系数的流程图；

图4为本公开的用于对图像去马赛克的方法的一个实施例中的确定权重的流程图；

图5为本公开的用于对图像去马赛克的方法的一个实施例中的进行插值处理的流程图；

图6为本公开的用于对图像去马赛克的方法的一个实施例中的对R和B通道插入G通道像素值的流程图；

图7为插入G通道像素值的示意图；

图8为本公开的用于对图像去马赛克的方法的一个实施例中的对G通道插入R值的流程图；

图9为本公开的用于对图像去马赛克的方法的一个实施例中的对G通道插入B值的流程图；

图10为对G通道插入R值的示意图；

图11为本公开的用于对图像去马赛克的方法的一个实施例中的对B通道插入R值的流程图；

图12为本公开的用于对图像去马赛克的方法的一个实施例中的对R通道插入B值的流程图；

图13为B通道插入R值的示意图；

图14A为一个插值矩阵的示意图；图14B为另一个插值矩阵的示意图；

图15为本公开的用于对图像去马赛克的装置的一个实施例的结构示意图；

图16为本公开的用于对图像去马赛克的装置的一个实施例中的插值处理模块的结构示意图；

图17是本公开的电子设备的一个实施例的结构图。

具体实施方式

下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或者两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

申请概述

在实现本公开的过程中，发明人发现，现有的用于对图像去马赛克的方法具有图像清晰度不佳、色彩恢复的效果差等缺点，影响ISP处理的处理效果，因此，需要一种新的图像去马赛克技术方案。

本公开的用于对图像去马赛克的方法，基于多个单通道图像的曝光时长信息确定图像参与系数，基于图像参与系数确定第一矩阵的权重信息，并基于权重信息对第一矩阵进行合并处理，生成单通道待处理矩阵；在单通道待处理矩阵中的第二矩阵内的各通道位置处进行插值处理，获取插值矩阵内的各通道位置处的多通道像素信息，生成多通道图像；能够针对Raw图像进行去马赛克处理，在保留较多细节的前提下色彩恢复的效果好，显著提升了图像动态范围，提高了去马赛克后的图像清晰度和真实度；能够运行在CPU以及GPU平台，实现了适用GPU硬件架构的并行化处理。

示例性方法

图1为本公开的用于对图像去马赛克的方法的一个实施例的流程图，如图1所示的方法包括步骤：S101-S105。下面对各步骤分别进行说明。

S101，获取对于同一目标采集的单通道图像，基于单通道图像的曝光时长信息确定各个单通道图像的图像参与系数。

在一个实施例中，单通道图像可以为RAW图像等，单通道图像中的各个图像通道包括G（绿）图像通道、R（红）图像通道和B（蓝）图像通道等，以下简称为G通道、R通道和B通道。

目标可以为房间等，获取图像采集设备对于目标房间采集的多个RAW图像。RAW图像是CMOS或CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是未经处理的。可以从图像采集设备对于目标房间采集的视频中提取多个RAW图像，多个RAW图像的采集时间间隔可以设置。

S102，在单通道图像中设置第一矩阵，基于图像参与系数确定第一矩阵的权重信息。

在一个实施例中，可以在单通道图像中设置多个第一矩阵，第一矩阵的尺寸可以为6×6、8×8等。例如，从单通道图像的左上角开始，以6×6、8×8的像素矩阵作为像素窗口，使用像素窗口以预设的像素间隔（例如为2像素、3像素等）在单通道图像上移动，在单通道图像上设置多个第一矩阵。在各个单通道图像中设置第一矩阵的方法都相同。以第一矩阵为基本处理单位，可以在GPU中进行图像去马赛克处理。

S103，根据权重信息，对第一矩阵进行合并处理，生成单通道待处理矩阵。

在一个实施例中，对各个单通道图像中位于相同位置处的第一矩阵进行合并处理，由多个第一矩阵生成一个单通道待处理矩阵。

S104，在单通道待处理矩阵中设置第二矩阵，在第二矩阵内的各通道位置处进行插值处理，用以获取插值矩阵内的各通道位置处的多通道像素信息；其中，插值矩阵位于第二矩阵的内部。

在一个实施例中，由于在插值的过程中需要获取各通道位置处的相邻像素信息，但是在单通道待处理矩阵的边缘通道位置处无法获取横向、纵向的相邻像素值，则在单通道待处理矩阵的中心设置第二矩阵，在第二矩阵内的各通道位置处进行插值处理。在第二矩阵的中心设置插值矩阵，在差值处理后，插值矩阵内的各个通道位置处都为多通道像素。

S105，基于插值矩阵内的像素点的多通道像素信息，生成多通道图像。

在室内环境三维重建领域，单张的低动态范围图像并不能满足大部分场景的需要，例如正午的阳台窗外很容易过曝，光线不是很够的储物间看不清摆放物体的细节，并且业内大多数方案彩色图像的质量和效果无法满足所有用户的要求。

本公开的用于对图像去马赛克的方法，将bayer模式的raw图像转换成为RGB的图像，使用新的线性插值算法作用于高动态范围的图像上，在保留更多细节的前提下色彩恢复的效果更好，显著提升了图像动态范围，提高了用户的使用感受。

本公开的用于对图像去马赛克的方法可以运行在CPU以及GPU平台，实现了适用GPU硬件架构的并行化，使用OpenCL加速方法能够显著提升运行速度，得到的彩色图像满足绝大多数用户的需求。

在一个实施例中，本公开的用于对图像去马赛克的方法可以自动合成多个低动态范围的bayer模式的raw图像为一个图像，然后对此图像进行线性插值处理。对于同一目标采集的多个单通道图像的格式如图2A所示。在单通道图像中设置的第一矩阵可以为6X6像素矩阵，合并生成的单通道待处理矩阵也为6X6像素矩阵，如图2B所示。插值矩阵为第二矩阵的内部的2X2的像素矩阵，插值矩阵内的各通道位置为R*、G*、G**、B*。

获取多张曝光时间不同，分辨率和bayer阵列相同的低动态范围raw图像，即为多张单通道图像，输出一张裁剪去4行4列边缘的GBR三通道图像。以输入三张RGGB阵列的单通道图像为例，由于需要在GPU上并行计算，所以在各个单通道图像中设置6X6的第一矩阵来计算。

计算第一矩阵的权重，针对过亮和过暗环境对权重进行调整。根据权重将多个第一矩阵合成一个新的6X6的单通道待处理矩阵。对新的单通道待处理矩阵进行插值操作，最终获得一个2X2X3的三通道RGB矩阵（插值矩阵），外围的4行4列像素会被丢弃。将获得的全部2X2X3的矩阵填充到对应的内存位置，所有的矩阵计算完后就会获得一张裁剪掉最外围4行4列像素的一张RGB图像。例如，基于1048X960的三张单通道raw图，生成一张1044X956的RGB三通道图像。

在一个实施例中，基于多个单通道图像的曝光时长信息确定各个单通道图像的图像参与系数可以采用多种方法。图3为本公开的用于对图像去马赛克的方法的一个实施例中的确定图像参与系数的流程图，如图3所示的方法包括步骤：S301-S302。下面对各步骤分别进行说明。

S301，获取各个单通道图像的曝光时长。

S302，基于多个单通道图像中的一个单通道图像的曝光时长分别与自身的曝光时长、其它单通道图像的曝光时长的比值，确定各个单通道图像的图像参与系数。

例如，对于同一目标采集的多个单通道图像分别为RAW1、RAW2和RAW3。RAW1、RAW2和RAW3的曝光时长分别为exp3、exp2和exp1。RAW1的图像参与系数为gear1=exp3/exp1，RAW2的图像参与系数为gear2=exp3/exp2，RAW3的图像参与系数为gear3=exp3/exp3。RAW1、RAW2和RAW3的曝光时长和图像参与系数如下表1所示：

	曝光时长	gear
			RAW1	1ms	256
RAW2	16ms	16
			RAW3	256ms	1

表1-RAW1、RAW2和RAW3的曝光时长和图像参与系数表

为使RAW1、RAW2和RAW3能有相同的线性变化关系，需将三个6x6的第一矩阵中所有的值乘上对应的图像参与系数。

在一个实施例中，基于图像参与系数确定第一矩阵的权重信息可以采用多种方法。图4为本公开的用于对图像去马赛克的方法的一个实施例中的确定权重的流程图，如图4所示的方法包括步骤：S401-S404。下面对各步骤分别进行说明。

S401，获取插值矩阵内的各个通道像素值。

S402，根据各个通道像素值和对应的图像参与系数，以及影调变化最大值、确定各个通道像素值的像素权重。

S403，将各个通道像素值的像素权重相加，获得第一矩阵的权重。

S404，如果根据各个通道像素值确定采集环境出现异常，则对第一矩阵的权重进行权重调整处理。

基于与各个第一矩阵相对应的权重，对全部第一矩阵的各个通道像素值进行加权计算处理，生成单通道待处理矩阵。

例如，恢复如图2B中的2x2的插值矩阵的RGB值，以该2x2的插值矩阵的值求出每个第一矩阵(每个6x6矩阵)对应的权重。初始化RAW1、RAW2和RAW3的权重为：W1=0.0,W2=0.0,W3=0.0；初始化gear1=exp3/exp1,gear2=exp3/exp2,gear3=exp3/exp3;初始化half=max_value/2;（max_value为影调变化最大值，例如raw12图像的最大值（影调变化最大值）为4096，half为2048）。

针对G像素（G通道像素值）：

W_G1=(half-|half–(G₁*+G₁**)/2/gear1|)^2（1-1）；

W_G2=(half-|half–(G₂*+G₂**)/2/gear2|)^2（1-2）；

W_G3=(half-|half–(G₃*+G₃**)/2/gear3|)^2（1-3）；

W_G1、W_G2、W_G3分别为RAW1、RAW2和RAW3的G通道像素值的像素权重。

针对R像素（R通道像素值）：

W_R1=(half-|half–R₁*/gear1|)^2（1-4）；

W_R2=(half-|half–R₂*/gear2|)^2（1-5）；

W_R3=(half-|half–R₃*/gear3|)^2（1-6）；

W_R1、W_R2、W_R3分别为RAW1、RAW2和RAW3的R通道像素值的像素权重。

针对B像素（B通道像素值）：

W_B1 = ( half - | half – B₁* / gear1 | )^2（1-7）；

W_B2 = ( half - | half – B₂* / gear2 | )^2（1-8）；

W_B3 = ( half - | half – B₃* / gear3 | )^2（1-9）；

W_B1、W_B2、W_B3分别为RAW1、RAW2和RAW3的B通道像素值的像素权重。

将G、B、R通道像素值的像素权重相加，得到RAW1、RAW2和RAW3内的第一矩阵的权重。例如，RAW1内的第一矩阵的权重W1 = W_G1 + W_R1 + W_B1，基于相同的方法，可以分别计算RAW2、RAW3内的第一矩阵的权重W2、W3。

对于过亮或过暗的环境，需要对权重进行调整。下面以权重W1为例进行说明，对于权重W2、W3采用相同的方法：

（1-10）；

基于与各个第一矩阵相对应的权重，对全部第一矩阵的各个通道像素值进行加权计算处理，得到一个新的6 x 6矩阵（单通道待处理矩阵）：

final = ( W1 * value + W2 * value + W3 * value) / (W1 + W2 + W3)（1-11）

其中，value为第一矩阵中的通道位置的值，final为单通道待处理矩阵中计算得出的对应通道位置的值。

在一个实施例中，单通道图像为RGGB格式的图像。图5为本公开的用于对图像去马赛克的方法的一个实施例中的进行插值处理的流程图，如图5所示的方法包括步骤：S501-S504。下面对各步骤分别进行说明。

S501，获取与第二矩阵内的待处理R通道位置或待处理B通道位置相邻的G通道像素信息，用以在待处理R通道位置处或待处理B通道位置处插入G通道像素值。

S502，获取与第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值。

S503，获取与第二矩阵内的待处理B通道位置相邻的R通道像素信息和G通道像素信息，用以在此待处理B通道位置处插入R通道像素值。

S504，获取与第二矩阵内的待处理R通道位置相邻的B通道像素信息、G通道像素信息，用以在待处理R通道位置处插入B通道像素值。

在待处理R通道位置处或待处理B通道位置处插入G通道像素值可以采用多种方法。图6为本公开的用于对图像去马赛克的方法的一个实施例中的对R和B通道插入G通道像素值的流程图，如图6所示的方法包括步骤：S601-S605。下面对各步骤分别进行说明。

S601，获取与待处理R通道位置或待处理B通道位置相邻的两个第一横向G通道像素值和两个第一纵向G通道像素值。

S602，计算两个第一横向G通道像素值之差的第一绝对值、两个第一纵向G通道像素值之差的第二绝对值。

S603，判断第一绝对值是否大于第二绝对值，如果是，进入步骤S604，如果否，进入步骤S605。

S604，将在待处理R通道位置处或待处理B通道位置处插入两个第一纵向G通道像素值的平均值。

S605，将在待处理R通道位置处或待处理B通道位置处插入两个第一横向G通道像素值的平均值。

例如，如图7所示，在6×6的单通道待处理矩阵内设置4 x 4的第二矩阵，对4 x 4的第二矩阵中所有的B和R对应的位置处插入G像素。下面以R*为例进行说明：

获取与待处理R*通道位置相邻的两个第一横向G通道像素值（G3和G4）和两个第一纵向G通道像素值（G1和G2）。对于R*，比较G1和G2的差值与G3和G4的差值的大小，得到梯度变化小的方向，将该方向上的G1与G2的均值或者G3与G4的均值填充到该处，作为R*处的G像素。

计算第一绝对值diffl = | G3 – G4 |，计算第二绝对值diffv = | G1 – G2 |；计算R*处的G像素为：

（1-12）；

基于相同的方法，能够插值出4 x 4的第二矩阵中所有R和B位置的G像素。

在一个实施例中，在待处理G通道位置处插入R通道像素值或B通道像素值可以采用多种方法。图8为本公开的用于对图像去马赛克的方法的一个实施例中的对G通道插入R值的流程图，如图8所示的方法包括步骤：S801-S804。下面对各步骤分别进行说明。

S801，确定与待处理G通道位置相邻的两个R通道位置，获取两个R通道位置处的两个第二纵向G通道像素值、两个第一R通道像素值。

S802，基于待处理G通道位置处的G通道像素值、两个第二纵向G通道像素值的平均值，确定待处理G通道位置的第一校准值。

S803，计算两个第二纵向G通道像素值的和值与两个第一R通道像素值的和值的商，作为G通道位置处的第一比率值。

S804，基于第一校准值、第一比率值以及两个第一R通道像素值的平均值，确定在待处理G像素值位置处插入的R通道像素值。

图9为本公开的用于对图像去马赛克的方法的一个实施例中的对G通道插入B值的流程图，如图9所示的方法包括步骤：S901-S904。下面对各步骤分别进行说明。

S901，确定与待处理G通道位置相邻的两个B通道位置，获取两个B通道位置处的两个第二横向G通道像素值、两个第一B通道像素值。

S902，基于待处理G通道位置处的G通道像素值、两个第二横向G通道像素值的平均值，确定待处理G通道位置的第一校准值。

S903，计算两个第二横向G通道像素值的和值与两个第一B通道像素值的和值的商，作为G通道位置处的第一比率值。

S904，基于第一校准值、第一比率值以及两个第一B通道像素值的平均值，确定在待处理G像素值位置处插入的B通道像素值。

例如，当前的单通道待处理矩阵为图10所示，下面以在G*处插入R值为例进行说明：

确定与待处理G*相邻的两个R通道位置，获取两个R通道位置处的两个第二纵向G通道像素值（G1和 G2）、两个第一R通道像素值（R1和R2）。

基于待处理G*通道位置处的G通道像素值（G*）、两个第二纵向G通道像素值的平均值，确定待处理G通道位置的第一校准值为：

correction = G* - ( G1 + G2 ) / 2（1-13）；

计算两个第二纵向G通道像素值的和值与两个第一R通道像素值的和值的商，作为G通道位置处的第一比率值：

ratio = ( G1 + G2 ) / ( R1 + R2)（1-14）；

基于第一校准值、第一比率值以及两个第一R通道像素值的平均值，确定在待处理G像素值位置处插入的R通道像素值为：

R=correction / ratio+ ( R1 + R2 ) / 2（1-15）。

可以采用相同的方法，在G*处插入B通道像素值，以及在G**处插入B值和R和B像素值。

在一个实施例中，在此待处理B通道位置处插入R通道像素值可以采用多种方法。图11为本公开的用于对图像去马赛克的方法的一个实施例中的对B通道插入R值的流程图，如图11所示的方法包括步骤：S1101-S1110。下面对各步骤分别进行说明。

S1101，确定与待处理B通道位置相邻的第一对斜向R通道位置，获取第一对斜向R通道位置处的两个第一斜向R通道像素值和两个第一斜向G通道像素值。

S1102，确定与待处理B通道位置相邻的第二对斜向R通道位置，获取第二对斜向R通道位置处的两个第二斜向R通道像素值和两个第二斜向G通道像素值。

S1103，将两个第一斜向R通道像素值之差的绝对值设置为第一差值阈值，将两个第二斜向R通道像素值之差的绝对值设置为第二差值阈值。

S1104，基于待处理B通道位置处的G通道像素值、两个第一斜向G通道像素值的平均值，确定待处理B通道位置处的第一R通道校准值。

S1105，基于待处理B通道位置处的G通道像素值、两个第二斜向G通道像素值的平均值，确定待处理B通道位置处的第二R通道校准值。

S1106，计算两个第一斜向G通道像素值的和值与两个第一斜向R通道像素值的和值的商，作为待处理B通道位置处的第一R通道比率值。

S1107，计算两个第二斜向G通道像素值的和值与两个第二斜向R通道像素值的和值的商，作为待处理B通道位置处的第二R通道比率值。

S1108，判断第一差值阈值是否小于第二差值阈值，如果是，进入步骤S1109，如果否，进入步骤S1110。

S1109，基于第一R通道校准值与第一R通道比率值的商，以及两个第一斜向R通道像素值的平均值，确定在待处理B像素值位置处插入的R通道像素值。

S1110，基于第二R通道校准值与第二R通道比率值的商，以及两个第二斜向R通道像素值的平均值，确定在待处理B像素值位置处插入的R通道像素值。

在待处理R通道位置处插入B通道像素值可以采用多种方法。图12为本公开的用于对图像去马赛克的方法的一个实施例中的对R通道插入B值的流程图，如图12所示的方法包括步骤：S1201-S1210。下面对各步骤分别进行说明。

S1201，确定与待处理R通道位置相邻的第三对斜向R通道位置，获取第三对斜向B通道位置处的两个第一斜向B通道像素值和两个第三斜向G通道像素值。

S1202，确定与待处理R通道位置相邻的第四对斜向R通道位置，获取第四对斜向B通道位置处的两个第二斜向B通道像素值和两个第四斜向G通道像素值。

S1203，将两个第一斜向B通道像素值之差的绝对值设置为第三差值阈值，将两个第二斜向B通道像素值之差的绝对值设置为第四差值阈值。

S1204，基于待处理R通道位置处的G通道像素值、两个第三斜向G通道像素值的平均值，确定待处理R通道位置处的第一B通道校准值。

S1205，基于待处理R通道位置处的G通道像素值、两个第四斜向G通道像素值的平均值，确定待处理R通道位置处的第二B通道校准值。

S1206，计算两个第三斜向G通道像素值的和值与两个第一斜向B通道像素值的和值的商，作为待处理R通道位置处的第一B通道比率值。

S1207，计算两个第四斜向G通道像素值的和值与两个第二斜向B通道像素值的和值的商，作为待处理R通道位置处的第二R通道比率值。

S1208，判断第三差值阈值是否小于第四差值阈值，如果是，进入步骤S1209，如果否，进入步骤S1210。

S1209，基于第一B通道校准值与第一B通道比率值的商，以及两个第一斜向B通道像素值的平均值，确定在待处理R像素值位置处插入的B通道像素值。

S1210，基于第二B通道校准值与第二B通道比率值的商，以及两个第二斜向B通道像素值的平均值，确定在待处理R像素值位置处插入的B通道像素值。

例如，当前的单通道待处理矩阵如图13所示，下面以在B*处插入R值为例进行说明：

确定与待处理B*通道位置相邻的第一对斜向R通道位置，获取第一对斜向R通道位置处的两个第一斜向R通道像素值（R1和R2）和两个第一斜向G通道像素值（G1和G2）。

确定与待处理B*通道位置相邻的第二对斜向R通道位置，获取第二对斜向R通道位置处的两个第二斜向R通道像素值（R3和R4）和两个第二斜向G通道像素值（G3和G4）。

将两个第一斜向R通道像素值之差的绝对值设置为第一差值阈值为diffv = |R1– R2|，将两个第二斜向R通道像素值之差的绝对值设置为第二差值阈值diffl = |R3 – R4|。

基于待处理B*通道位置处的G*、两个第一斜向G通道像素值的平均值，确定待处理B通道位置处的第一R通道校准值correctionv = G* - ( G1 + G2 ) / 2；基于待处理B*通道位置处的G*、两个第二斜向G通道像素值的平均值，确定待处理B通道位置处的第二R通道校准值correctionl = G* - ( G3 + G4 ) / 2。

计算两个第一斜向G通道像素值的和值与两个第一斜向R通道像素值的和值的商，作为待处理B通道位置处的第一R通道比率值，即第一R通道比率值为ratiov=(G1+G2) / ( R1+ R2)；计算两个第二斜向G通道像素值的和值与两个第二斜向R通道像素值的和值的商，作为待处理B通道位置处的第二R通道比率值，即第二R通道比率值为ratiol=(G3+G4) / ( R3+ R4)。

在待处理B*位置处插入的R通道像素值为：

（1-16）；

基于相同的方法，可以在R*处插入B值。

在一个实施例中，获取与全部单通道待处理矩阵相对应的插值矩阵以及插值矩阵内的像素点的多通道像素信息，生成多通道图像。例如，将求出的2x2x3的插值矩阵填充到正确的内存位置上，经过所有的计算后，得到的插值矩阵如图14A所示。

在进行插值处理时，需要对2x2x3的插值矩阵进行插值处理，在OpenCL中的kernel函数中指定数据的填充的位置，当所有的6x6的单通道待处理矩阵计算完后，将GPU中的计算结果传回CPU主机内存中，得到一张高动态范围的三通道RGB彩色图像。第一矩阵可以选取多种像素矩阵，例如，在RAW1、RAW2和RAW3中设置的第一通道矩阵为8 x 8的矩阵，经过上述的插值计算，可以得到最中间的4 x 4的一个新图像插值矩阵，如图14B所示。

示例性装置

在一个实施例中，如图15所示，本公开提供一种用于对图像去马赛克的装置，包括系数确定模块1501、权重确定模块1502、图像合并模块1503、插值处理模块1504和图像生成模块1505。系数确定模块1501获取对于同一目标采集的单通道图像，基于单通道图像的曝光时长信息确定各个单通道图像的图像参与系数。权重确定模块1502在各个单通道图像中设置第一矩阵，基于图像参与系数确定第一矩阵的权重信息。

图像合并模块1503根据权重信息，对多个第一矩阵进行合并处理，生成单通道待处理矩阵。插值处理模块1504在单通道待处理矩阵中设置第二矩阵，在第二矩阵内的各通道位置处进行插值处理获取插值矩阵内的各通道位置处的多通道像素信息；其中，插值矩阵位于第二矩阵的内部。图像生成模块1505基于插值矩阵内的像素点的多通道像素信息，生成多通道图像。

在一个实施例中，系数确定模块1501获取单通道图像的曝光时长，基于一个单通道图像的曝光时长分别与自身的曝光时长、其它单通道图像的曝光时长的比值，确定各个单通道图像的图像参与系数。

权重确定模块1502获取插值矩阵内的各个通道像素值，根据任一通道像素值和对应的图像参与系数，以及影调变化最大值、确定任一通道像素值的像素权重。权重确定模块1502将任一通道像素值的像素权重相加，获得第一矩阵的权重，如果根据各个通道像素值确定采集环境出现异常，则权重确定模块1502对第一矩阵的权重进行权重调整处理。

图像合并模块1503基于与第一矩阵相对应的权重，对全部第一矩阵的各个通道像素值进行加权计算处理，生成单通道待处理矩阵。图像生成模块1505获取与全部单通道待处理矩阵相对应的插值矩阵以及插值矩阵内的像素点的多通道像素信息，生成多通道图像。

在一个实施例中，如图16所示，单通道图像包括RGGB格式的图像等；插值处理模块1504包括第一插值单元15041、第二插值单元15042、第三插值单元15043和第四插值单元15044。第一插值单元15041获取与第二矩阵内的待处理R通道位置或待处理B通道位置相邻的G通道像素信息，用以在待处理R通道位置处或待处理B通道位置处插入G通道像素值。

第二插值单元15042获取与第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值。

第三插值单元15043获取与第二矩阵内的待处理B通道位置相邻的R通道像素信息和G通道像素信息，用以在此待处理B通道位置处插入R通道像素值;第四插值单元15044获取与第二矩阵内的待处理R通道位置相邻的B通道像素信息、G通道像素信息，用以在待处理R通道位置处插入B通道像素值。

在一个实施例中，第一插值单元15041获取与待处理R通道位置或待处理B通道位置相邻的两个第一横向G通道像素值和两个第一纵向G通道像素值；第一插值单元15041计算两个第一横向G通道像素值之差的第一绝对值、两个第一纵向G通道像素值之差的第二绝对值。

如果第一绝对值大于第二绝对值，则第一插值单元15041将在待处理R通道位置处或待处理B通道位置处插入两个第一纵向G通道像素值的平均值；如果第一绝对值小于或等于第二绝对值，则第一插值单元15041将在待处理R通道位置处或待处理B通道位置处插入两个第一横向G通道像素值的平均值。

在一个实施例中，第二插值单元15042确定与待处理G通道位置相邻的两个R通道位置，获取两个R通道位置处的两个第二纵向G通道像素值、两个第一R通道像素值。第二插值单元15042基于待处理G通道位置处的G通道像素值、两个第二纵向G通道像素值的平均值，确定待处理G通道位置的第一校准值。

第二插值单元15042计算两个第二纵向G通道像素值的和值与两个第一R通道像素值的和值的商，作为G通道位置处的第一比率值。第二插值单元15042基于第一校准值、第一比率值以及两个第一R通道像素值的平均值，确定在待处理G像素值位置处插入的R通道像素值。

第二插值单元15042确定与待处理G通道位置相邻的两个B通道位置，获取两个B通道位置处的两个第二横向G通道像素值、两个第一B通道像素值，基于待处理G通道位置处的G通道像素值、两个第二横向G通道像素值的平均值，确定待处理G通道位置的第一校准值。

第二插值单元15042计算两个第二横向G通道像素值的和值与两个第一B通道像素值的和值的商，作为G通道位置处的第一比率值，基于第一校准值、第一比率值以及两个第一B通道像素值的平均值，确定在待处理G像素值位置处插入的B通道像素值。

在一个实施例中，第三插值单元15043确定与待处理B通道位置相邻的第一对斜向R通道位置，获取第一对斜向R通道位置处的两个第一斜向R通道像素值和两个第一斜向G通道像素值。第三插值单元15043确定与待处理B通道位置相邻的第二对斜向R通道位置，获取第二对斜向R通道位置处的两个第二斜向R通道像素值和两个第二斜向G通道像素值。

第三插值单元15043将两个第一斜向R通道像素值之差的绝对值设置为第一差值阈值，将两个第二斜向R通道像素值之差的绝对值设置为第二差值阈值。第三插值单元15043基于待处理B通道位置处的G通道像素值、两个第一斜向G通道像素值的平均值，确定待处理B通道位置处的第一R通道校准值。

第三插值单元15043基于待处理B通道位置处的G通道像素值、两个第二斜向G通道像素值的平均值，确定待处理B通道位置处的第二R通道校准值。第三插值单元15043计算两个第一斜向G通道像素值的和值与两个第一斜向R通道像素值的和值的商，作为待处理B通道位置处的第一R通道比率值。第三插值单元15043计算两个第二斜向G通道像素值的和值与两个第二斜向R通道像素值的和值的商，作为待处理B通道位置处的第二R通道比率值。

如果第一差值阈值小于第二差值阈值，则第三插值单元15043基于第一R通道校准值与第一R通道比率值的商，以及两个第一斜向R通道像素值的平均值，确定在待处理B像素值位置处插入的R通道像素值。如果第一差值阈值大于或等于第二差值阈值，则第三插值单元15043基于第二R通道校准值与第二R通道比率值的商，以及两个第二斜向R通道像素值的平均值，确定在待处理B像素值位置处插入的R通道像素值。

在一个实施例中，第四插值单元15044确定与待处理R通道位置相邻的第三对斜向R通道位置，获取第三对斜向B通道位置处的两个第一斜向B通道像素值和两个第三斜向G通道像素值。第四插值单元15044确定与待处理R通道位置相邻的第四对斜向R通道位置，获取第四对斜向B通道位置处的两个第二斜向B通道像素值和两个第四斜向G通道像素值。

第四插值单元15044将两个第一斜向B通道像素值之差的绝对值设置为第三差值阈值，将两个第二斜向B通道像素值之差的绝对值设置为第四差值阈值。第四插值单元15044基于待处理R通道位置处的G通道像素值、两个第三斜向G通道像素值的平均值，确定待处理R通道位置处的第一B通道校准值。

第四插值单元15044基于待处理R通道位置处的G通道像素值、两个第四斜向G通道像素值的平均值，确定待处理R通道位置处的第二B通道校准值。第四插值单元15044计算两个第三斜向G通道像素值的和值与两个第一斜向B通道像素值的和值的商，作为待处理R通道位置处的第一B通道比率值。

第四插值单元15044计算两个第四斜向G通道像素值的和值与两个第二斜向B通道像素值的和值的商，作为待处理R通道位置处的第二R通道比率值。如果第三差值阈值小于第四差值阈值，则第四插值单元15044基于第一B通道校准值与第一B通道比率值的商，以及两个第一斜向B通道像素值的平均值，确定在待处理R像素值位置处插入的B通道像素值。

如果第三差值阈值大于或等于第四差值阈值，则第四插值单元15044基于第二B通道校准值与第二B通道比率值的商，以及两个第二斜向B通道像素值的平均值，确定在待处理R像素值位置处插入的B通道像素值。

图17是本公开的电子设备的一个实施例的结构图，如图17所示，电子设备171包括一个或多个处理器1711和存储器1712。

处理器1711可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备171中的其他组件以执行期望的功能。

存储器1712可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器，例如，可以包括：随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。非易失性存储器，例如，可以包括：只读存储器（ROM）、硬盘以及闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1711可以运行程序指令，以实现上文的本公开的各个实施例的用于对图像去马赛克的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备171还可以包括：输入装置1713以及输出装置1714等，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。此外，该输入设备1713还可以包括例如键盘、鼠标等等。该输出装置1714可以向外部输出各种信息。该输出设备1714可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图17中仅示出了该电子设备171中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备171还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的用于对图像去马赛克的方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的用于对图像去马赛克的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列举）可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

上述实施例中的用于对图像去马赛克的方法、装置以及电子设备、存储介质，基于多个单通道图像的曝光时长信息确定图像参与系数，基于图像参与系数确定第一矩阵的权重信息，并基于权重信息对第一矩阵进行合并处理，生成单通道待处理矩阵；在单通道待处理矩阵中的第二矩阵内的各通道位置处进行插值处理，获取插值矩阵内的各通道位置处的多通道像素信息，生成多通道图像；能够针对Raw图像进行去马赛克处理，在保留较多细节的前提下色彩恢复的效果好，显著提升了图像动态范围，提高了去马赛克后的图像清晰度和真实度；能够运行在CPU以及GPU平台，实现了适用GPU硬件架构的并行化处理，降低了功耗；可以提高ISP处理的图像质量，有效改善了客户体验。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

1.一种用于对图像去马赛克的方法，包括：

获取对于同一目标采集的单通道图像，基于所述单通道图像的曝光时长信息确定所述单通道图像的图像参与系数；

在所述单通道图像中设置第一矩阵，基于所述图像参与系数确定所述第一矩阵的权重信息；

根据所述权重信息，对多个所述第一矩阵进行合并处理，生成单通道待处理矩阵；

在所述单通道待处理矩阵中设置第二矩阵，在所述第二矩阵内的各通道位置处进行插值处理，用以获取插值矩阵内的各通道位置处的多通道像素信息；其中，所述插值矩阵位于所述第二矩阵的内部；

基于所述插值矩阵内的像素点的多通道像素信息，生成多通道图像。

2.如权利要求1所述的方法，所述获取对于同一目标采集的单通道图像，基于所述单通道图像的曝光时长信息确定所述单通道图像的图像参与系数包括：

获取所述单通道图像的曝光时长；

基于一个单通道图像的曝光时长分别与自身的曝光时长、其它单通道图像的曝光时长的比值，确定任一所述单通道图像的图像参与系数。

3.如权利要求2所述的方法，所述基于所述图像参与系数确定所述第一矩阵的权重信息包括：

获取所述插值矩阵内的任一通道像素值；

根据所述任一通道像素值和对应的图像参与系数，以及影调变化最大值，确定各个通道像素值的像素权重；

将所述任一通道像素值的像素权重相加，获得所述第一矩阵的权重；

如果根据所述任一通道像素值确定采集环境出现异常，则对所述第一矩阵的权重进行权重调整处理。

4.如权利要求1至3任一项所述的方法，所述根据所述权重信息，对所述多个第一矩阵进行合并处理，生成单通道待处理矩阵包括：

基于与所述第一矩阵相对应的权重，对全部第一矩阵的各个通道像素值进行加权计算处理，生成所述单通道待处理矩阵。

5.如权利要求1所述的方法，所述单通道图像包括：RGGB格式的图像；所述在所述第二矩阵内的各通道位置处进行插值处理，用以获取插值矩阵内的各通道位置处的多通道像素信息包括：

获取与所述第二矩阵内的待处理R通道位置或待处理B通道位置相邻的G通道像素信息，用以在所述待处理R通道位置处或所述待处理B通道位置处插入G通道像素值；

获取与所述第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值；

获取与所述第二矩阵内的待处理B通道位置相邻的R通道像素信息和G通道像素信息，用以在此待处理B通道位置处插入R通道像素值;

获取与所述第二矩阵内的待处理R通道位置相邻的B通道像素信息、G通道像素信息，用以在所述待处理R通道位置处插入B通道像素值。

6.如权利要求5所述的方法，所述获取与所述第二矩阵内的待处理R通道位置或待处理B通道位置相邻的G通道像素信息，用以在所述待处理R通道位置处或所述待处理B通道位置处插入G通道像素值包括：

获取与所述待处理R通道位置或所述待处理B通道位置相邻的两个第一横向G通道像素值和两个第一纵向G通道像素值；

计算所述两个第一横向G通道像素值之差的第一绝对值、所述两个第一纵向G通道像素值之差的第二绝对值；

如果所述第一绝对值大于所述第二绝对值，则将在所述待处理R通道位置处或所述待处理B通道位置处插入所述两个第一纵向G通道像素值的平均值；

如果所述第一绝对值小于或等于所述第二绝对值，则将在所述待处理R通道位置处或所述待处理B通道位置处插入所述两个第一横向G通道像素值的平均值。

7.如权利要求5所述的方法，所述获取与所述第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值包括：

确定与所述待处理G通道位置相邻的两个R通道位置，获取两个R通道位置处的两个第二纵向G通道像素值、两个第一R通道像素值；

基于所述待处理G通道位置处的G通道像素值、所述两个第二纵向G通道像素值的平均值，确定所述待处理G通道位置的第一校准值；

计算所述两个第二纵向G通道像素值的和值与所述两个第一R通道像素值的和值的商，作为所述G通道位置处的第一比率值；

基于所述第一校准值、所述第一比率值以及所述两个第一R通道像素值的平均值，确定在所述待处理G像素值位置处插入的R通道像素值。

8.如权利要求5所述的方法，所述获取与所述第二矩阵内的待处理G通道位置相邻的R通道像素信息或B通道像素信息、与此待处理G通道位置处的G通道像素信息，用以在此待处理G通道位置处插入R通道像素值或B通道像素值包括：

确定与所述待处理G通道位置相邻的两个B通道位置，获取两个B通道位置处的两个第二横向G通道像素值、两个第一B通道像素值；

基于所述待处理G通道位置处的G通道像素值、所述两个第二横向G通道像素值的平均值，确定所述待处理G通道位置的第一校准值；

计算所述两个第二横向G通道像素值的和值与所述两个第一B通道像素值的和值的商，作为所述G通道位置处的第一比率值；

基于所述第一校准值、所述第一比率值以及所述两个第一B通道像素值的平均值，确定在所述待处理G像素值位置处插入的B通道像素值。

9.如权利要求5所述的方法，所述获取与所述第二矩阵内的待处理B通道位置相邻的R通道像素信息和G通道像素信息，用以在此待处理B通道位置处插入R通道像素值包括：

确定与所述待处理B通道位置相邻的第一对斜向R通道位置，获取所述第一对斜向R通道位置处的两个第一斜向R通道像素值和两个第一斜向G通道像素值；

确定与所述待处理B通道位置相邻的第二对斜向R通道位置，获取所述第二对斜向R通道位置处的两个第二斜向R通道像素值和两个第二斜向G通道像素值；

将所述两个第一斜向R通道像素值之差的绝对值设置为第一差值阈值，将所述两个第二斜向R通道像素值之差的绝对值设置为第二差值阈值；

基于所述待处理B通道位置处的G通道像素值、所述两个第一斜向G通道像素值的平均值，确定所述待处理B通道位置处的第一R通道校准值；

基于所述待处理B通道位置处的G通道像素值、所述两个第二斜向G通道像素值的平均值，确定所述待处理B通道位置处的第二R通道校准值；

计算所述两个第一斜向G通道像素值的和值与所述两个第一斜向R通道像素值的和值的商，作为所述待处理B通道位置处的第一R通道比率值；

计算所述两个第二斜向G通道像素值的和值与所述两个第二斜向R通道像素值的和值的商，作为所述待处理B通道位置处的第二R通道比率值；

如果所述第一差值阈值小于所述第二差值阈值，则基于所述第一R通道校准值与所述第一R通道比率值的商，以及所述两个第一斜向R通道像素值的平均值，确定在所述待处理B像素值位置处插入的R通道像素值；

如果所述第一差值阈值大于或等于所述第二差值阈值，则基于所述第二R通道校准值与所述第二R通道比率值的商，以及所述两个第二斜向R通道像素值的平均值，确定在所述待处理B像素值位置处插入的R通道像素值。

10.如权利要求5所述的方法，所述获取与所述第二矩阵内的待处理R通道位置相邻的B通道像素信息、G通道像素信息，用以在所述待处理R通道位置处插入B通道像素值包括：

确定与所述待处理R通道位置相邻的第三对斜向R通道位置，获取第三对斜向B通道位置处的两个第一斜向B通道像素值和两个第三斜向G通道像素值；

确定与所述待处理R通道位置相邻的第四对斜向R通道位置，获取第四对斜向B通道位置处的两个第二斜向B通道像素值和两个第四斜向G通道像素值；

将所述两个第一斜向B通道像素值之差的绝对值设置为第三差值阈值，将所述两个第二斜向B通道像素值之差的绝对值设置为第四差值阈值；

基于所述待处理R通道位置处的G通道像素值、所述两个第三斜向G通道像素值的平均值，确定所述待处理R通道位置处的第一B通道校准值；

基于所述待处理R通道位置处的G通道像素值、所述两个第四斜向G通道像素值的平均值，确定所述待处理R通道位置处的第二B通道校准值；

计算所述两个第三斜向G通道像素值的和值与所述两个第一斜向B通道像素值的和值的商，作为所述待处理R通道位置处的第一B通道比率值；

计算所述两个第四斜向G通道像素值的和值与所述两个第二斜向B通道像素值的和值的商，作为所述待处理R通道位置处的第二R通道比率值；

如果所述第三差值阈值小于所述第四差值阈值，则基于所述第一B通道校准值与所述第一B通道比率值的商，以及所述两个第一斜向B通道像素值的平均值，确定在所述待处理R像素值位置处插入的B通道像素值；

如果所述第三差值阈值大于或等于所述第四差值阈值，则基于所述第二B通道校准值与所述第二B通道比率值的商，以及所述两个第二斜向B通道像素值的平均值，确定在所述待处理R像素值位置处插入的B通道像素值。

11.一种用于对图像去马赛克的装置，包括：

系数确定模块，用于获取对于同一目标采集的单通道图像，基于所述单通道图像的曝光时长信息确定所述单通道图像的图像参与系数；

权重确定模块，用于在所述单通道图像中设置第一矩阵，基于所述图像参与系数确定所述第一矩阵的权重信息；

图像合并模块，用于根据所述权重信息，对多个所述第一矩阵进行合并处理，生成单通道待处理矩阵；

插值处理模块，用于在所述单通道待处理矩阵中设置第二矩阵，在所述第二矩阵内的各通道位置处进行插值处理，用以获取插值矩阵内的各通道位置处的多通道像素信息；其中，所述插值矩阵位于所述第二矩阵的内部；

图像生成模块，用于基于所述插值矩阵内的像素点的多通道像素信息，生成多通道图像。

12.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-10任一项所述的方法。

13.一种电子设备，所述电子设备包括：

处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-10任一项所述的方法。