CN117274060A - 一种无监督的端到端去马赛克方法及系统 - Google Patents

一种无监督的端到端去马赛克方法及系统 Download PDF

Info

Publication number
CN117274060A
CN117274060A CN202311345733.4A CN202311345733A CN117274060A CN 117274060 A CN117274060 A CN 117274060A CN 202311345733 A CN202311345733 A CN 202311345733A CN 117274060 A CN117274060 A CN 117274060A
Authority
CN
China
Prior art keywords
demosaicing
data set
image
gray
unsupervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311345733.4A
Other languages
English (en)
Inventor
周小夏
林景洲
郭奇锋
张齐宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenzhi Future Intelligence Co ltd
Original Assignee
Shenzhen Shenzhi Future Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenzhi Future Intelligence Co ltd filed Critical Shenzhen Shenzhi Future Intelligence Co ltd
Priority to CN202311345733.4A priority Critical patent/CN117274060A/zh
Publication of CN117274060A publication Critical patent/CN117274060A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无监督的端到端去马赛克方法及系统，涉及图像处理技术领域，包括：利用摄像设备采集不同场景中的视频影像，从视频影像中获取原始图像数据，构建初始数据集；对初始数据集进行预处理，得到增强后的训练数据集；将训练数据集输入去马赛克模型进行网络训练，直至损失函数收敛，得到训练好的去马赛克模型；利用训练好的去马赛克模型对马赛克图像进行处理，输出重建的彩色图像。本发明中的技术方案可以更好的落地实现且抗伪彩、保留纹理细节，从而产生更好的细节效果；无需制作GT，且网络复杂度较低。

Description

一种无监督的端到端去马赛克方法及系统
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种无监督的端到端去马赛克方法及系统。
背景技术
在cmos之后增加彩色滤波结构和彩色信息处理模块(Color Filter Arrays，CFA)就可以获得图像的彩色信息，再对该彩色信息进行处理，就可以获得色彩逼真的彩色图像。绝大多数的摄像产品采用的是原色贝尔模板彩色滤波阵列(Bayer Pattern CFA)。R、G、B分别表示透红色、透绿色和透蓝色的滤镜阵列单元。由于人的视觉对绿色最为敏感，所以在Bayer CFA中G分量是R和B的二倍，在每个像素点上只能获取一种色彩分量的信息，然后根据该色彩分量的信息通过插值算法得到全色彩图像。
常见的去马赛克(demosaic)算法有双线性插值法、色差法、Hamilton&Adams插值算法。
1.双线性插值
G通道插值由bayer格式上相邻四个G像素求平均得；
R通道和B通道插值则是由bayer格式上相邻的两个R像素求平均得；
双线性插值法的缺陷为：存在严重的伪彩现象；模糊。
2.色差法
基于色差一致性原理；
由于G通道采样点最多，先采用双线性插值对G通道进行插值，使所有像素点都具有G分量；
计算R、B像素点的色差：Kr＝G–R，Kr＝G–B；
在每个像素点上对色差进行双线性插值得到Kr’、Kb’；
用每个像素点的G值减色差即为该点的R、B分量值；
色差法的缺陷为：未考虑图像纹理；在高频区域表现效果不好。
3.Hamilton&Adams插值算法
通过HA滤波器对每一个像素点滤波得到H和V方向的插值；
先对G通道进行插值。计算G通道H、V两个方向的梯度，使用梯度小的方向插值；
基于G分量值对B、R通道计算梯度，而后使用梯度小的方向插值；
Hamilton&Adams插值算法的缺陷为：实现复杂；在边缘紧密或纹理细致的区域检测的准确性较差，从而产生了错误的绿色插值，并随后传播到红色和蓝色插值中，在最终的输出图像中产生错误颜色。
因此，如何解决现有demosaic算法存在的问题，使输出图像保留纹理细节，降低操作复杂度是本领域技术人员亟需解决的技术问题。
发明内容
有鉴于此，本发明提供了一种无监督的端到端去马赛克方法及系统，可以更好的落地实现且抗伪彩、保留纹理细节，从而产生更好的细节效果；无需制作GT，且网络复杂度较低。
为了实现上述目的，本发明提供如下技术方案：
一种无监督的端到端去马赛克方法，包括以下步骤：
利用摄像设备采集不同场景中的视频影像，从视频影像中获取原始图像数据，构建初始数据集；
对初始数据集进行预处理，得到增强后的训练数据集；
将训练数据集输入去马赛克模型进行网络训练，直至损失函数收敛，得到训练好的去马赛克模型；
利用训练好的去马赛克模型对马赛克图像进行处理，输出重建的彩色图像。
可选的，获取原始图像数据，具体包括以下步骤：
通过CMOS图像传感器，采集第一图像；
利用原色贝尔模板彩色滤波阵列对第一图像进行处理，得到不同场景下的原始图像数据。
可选的，初始数据集的采集场景包括：城市环境下、公园环境下、海边环境下的清晨、傍晚、夜晚、雨天。
可选的，初始数据集中的高频图像和低频图像的比例为1∶1。
可选的，获取原始图像数据后，所述方法还包括：
对原始图像数据进行翻转、旋转、平移，以进行几何增广。
可选的，对初始数据集进行预处理，具体包括以下步骤：
通过双线性插值得到原始图像数据的G分量，计算R、B像素点与G分量的色差，并调整至原始大小；
将原始图像数据拆分成四通道图像，G分量取两个G通道的平均值；通过R分量、G分量、B分量计算灰度值，得到原始图像数据1/4大小的灰度图像；通过卷积对灰度图像进行sobel滤波，将滤波后的结果与灰度图像相加，得到边缘增强的灰度图，并将边缘增强的灰度图调整至原始大小。
可选的，马赛克模型包括空间注意结构和通道注意结构；
空间注意结构，用于学习空间中的细节信息；
通道注意结构，用于增加通道间的非线性。
可选的，损失函数由色差一致性损失函数和亮度一致性损失函数组成，计算公式为：
Ltotal＝αLca+(1-α)Lluma；
Lca＝||f(Ica，Igray)-Ica||1；
Lluma＝||f(Ica，Igray)-Igray||1；
式中：Ltotal表示总损失，Lca表示色差一致性损失，Lluma表示亮度一致性损失；α为超参数，数据范围为0-1，表示色差损失在总损失的占比；Ica表示输入的色差图，Igray表示输入的亮度图，f(Ica，Igray)表示输入色差图和亮度图进网络计算得到的网络输出。
一种无监督的端到端去马赛克系统，包括：
构建模块，用于通过摄像设备采集不同场景中的视频影像，从视频影像中获取原始图像数据，构建初始数据集；
预处理模块，用于对初始数据集进行预处理，得到增强后的训练数据集；
训练模块，用于将训练数据集输入去马赛克模型进行网络训练，直至损失函数收敛，得到训练好的去马赛克模型；
重建模块，用于通过训练好的去马赛克模型对马赛克图像进行处理，输出重建的彩色图像。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种无监督的端到端去马赛克方法及系统，相较于传统算法，可以更好地落地实现且抗伪彩、保留纹理细节，从而产生更好的细节效果；相较于已经存在的网络，无需制作GT，且网络复杂度较低，可以灵活适应不同场景，方便数据集的增扩。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的无监督的端到端去马赛克方法的流程图；
图2为本发明提供的图像预处理的示意图；
图3(a)-图3(c)分别为本发明提供的G分量、B分量和R分量的卷积核。
图4为本发明提供的网络训练的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术存在的问题，本发明实施例公开了一种无监督的端到端去马赛克方法，该方法在ISP pipeline中位于白平衡之后，如图1所示，包括以下步骤：
利用摄像设备采集不同场景中的视频影像，从视频影像中获取原始图像数据，构建初始数据集；
对初始数据集进行预处理，得到增强后的训练数据集；
将训练数据集输入去马赛克模型进行网络训练，直至损失函数收敛，得到训练好的去马赛克模型；
利用训练好的去马赛克模型对马赛克图像进行处理，输出重建的彩色图像。
进一步地，获取原始图像数据，具体包括以下步骤：
通过CMOS图像传感器，采集第一图像；
利用原色贝尔模板彩色滤波阵列对第一图像进行处理，得到不同场景下的原始图像数据。
进一步地，初始数据集的采集场景包括但不限于：城市环境下、公园环境下、海边环境下的清晨、傍晚、夜晚、雨天。
进一步地，初始数据集中的高频图像和低频图像的比例为1：1。
进一步地，获取原始图像数据后，所述方法还包括：
对原始图像数据进行翻转、旋转、平移，以进行几何增广。
进一步地，对初始数据集进行预处理，如图2所示，具体包括以下步骤：
通过双线性插值得到原始图像数据的G分量，计算R、B像素点与G分量的色差(Kr＝G-R，Kr＝G-B)，并resize至原始大小；
将原始图像数据拆分成四通道图像，G分量取两个G通道的平均值；通过R分量、G分量、B分量计算灰度值，得到原始图像数据1/4大小的灰度图像；通过卷积对灰度图像进行sobel滤波，将滤波后的结果与灰度图像相加，得到边缘增强的灰度图，并将边缘增强的灰度图resize至原始大小。
具体的，双线性demosaic通过卷积核实现，以bayer pattern为grbg为例，可以按照图3(a)-图3(c)所示设计卷积核。其中，图3(a)为G分量；图3(b)左侧为插值R像素的B分量，右侧为插值G像素的B分量；图3(c)左侧为插值B像素的R分量，右侧为插值G像素的R分量。
进一步地，参照图4，马赛克模型包括空间注意结构和通道注意结构；空间注意结构，用于学习空间中的细节信息；通道注意结构，用于增加通道间的非线性，有利于各色彩通道的学习。将边缘增强后的灰度图和双线性demosaic图做concat，增加了边缘信息。网络输出图尺寸和输入图尺寸一致，输出图的通道数为3。
进一步地，损失函数由色差一致性损失函数和亮度一致性损失函数组成，计算公式为：
Ltotal＝αLca+(1-α)Lluma；
Lca＝||f(Ica，Igray)-Ica||1；
Lluma＝||f(Ica，Igray)-Igray||1；
式中：Ltotal表示总损失，Lca表示色差一致性损失，Lluma表示亮度一致性损失；α为超参数，数据范围为0-1，表示色差损失在总损失的占比；Ica表示输入的色差图，Igray表示输入的亮度图，f(Ica，Igray)表示输入色差图和亮度图进网络计算得到的网络输出。
与图1所述的方法相对应，本发明实施例还提供了一种无监督的端到端去马赛克系统，用于对图1中方法的具体实现，本发明实施例提供的一种无监督的端到端去马赛克系统可以应用计算机终端或各种移动设备中，具体包括：
构建模块，用于通过摄像设备采集不同场景中的视频影像，从视频影像中获取原始图像数据，构建初始数据集；
预处理模块，用于对初始数据集进行预处理，得到增强后的训练数据集；
训练模块，用于将训练数据集输入去马赛克模型进行网络训练，直至损失函数收敛，得到训练好的去马赛克模型；
重建模块，用于通过训练好的去马赛克模型对马赛克图像进行处理，输出重建的彩色图像。
本实施例所公开的算法能够快速部署在终端设备，实时性好；兼顾了抗伪彩和边缘细节保留，可以更好地在纹理丰富和色彩过渡区域重建；网络实现简单，可以灵活适用在不同的bayer pattem，可移植性强。
除本实施例公开的内容之外，sobel算子还可以替换成其他边缘提取算子；数据集可以根据应用场景灵活增广；可优化双线性demosaic的卷积实现，或替换成其他卷积实现的插值方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种无监督的端到端去马赛克方法，其特征在于，包括以下步骤：
利用摄像设备采集不同场景中的视频影像，从视频影像中获取原始图像数据，构建初始数据集；
对初始数据集进行预处理，得到增强后的训练数据集；
将训练数据集输入去马赛克模型进行网络训练，直至损失函数收敛，得到训练好的去马赛克模型；
利用训练好的去马赛克模型对马赛克图像进行处理，输出重建的彩色图像。
2.根据权利要求1所述的一种无监督的端到端去马赛克方法，其特征在于，获取原始图像数据，具体包括以下步骤：
通过CMOS图像传感器，采集第一图像；
利用原色贝尔模板彩色滤波阵列对第一图像进行处理，得到不同场景下的原始图像数据。
3.根据权利要求1所述的一种无监督的端到端去马赛克方法，其特征在于，初始数据集的采集场景包括：城市环境下、公园环境下、海边环境下的清晨、傍晚、夜晚、雨天。
4.根据权利要求1所述的一种无监督的端到端去马赛克方法，其特征在于，初始数据集中的高频图像和低频图像的比例为1:1。
5.根据权利要求1所述的一种无监督的端到端去马赛克方法，其特征在于，获取原始图像数据后，所述方法还包括：
对原始图像数据进行翻转、旋转、平移，以进行几何增广。
6.根据权利要求1所述的一种无监督的端到端去马赛克方法，其特征在于，对初始数据集进行预处理，具体包括以下步骤：
通过双线性插值得到原始图像数据的G分量，计算R、B像素点与G分量的色差，并调整至原始大小；
将原始图像数据拆分成四通道图像，G分量取两个G通道的平均值；通过R分量、G分量、B分量计算灰度值，得到原始图像数据1/4大小的灰度图像；通过卷积对灰度图像进行sobel滤波，将滤波后的结果与灰度图像相加，得到边缘增强的灰度图，并将边缘增强的灰度图调整至原始大小。
7.根据权利要求1所述的一种无监督的端到端去马赛克方法，其特征在于，马赛克模型包括空间注意结构和通道注意结构；
空间注意结构，用于学习空间中的细节信息；
通道注意结构，用于增加通道间的非线性。
8.根据权利要求1所述的一种无监督的端到端去马赛克方法，其特征在于，损失函数由色差一致性损失函数和亮度一致性损失函数组成，计算公式为：
Ltotal＝αLca+(1-α)Lluma；
Lca＝||f(Ica,Igray)-Ica||1；
Lluma＝||f(Ica,Igray)-Igray||1；
式中：Ltotal表示总损失，Lca表示色差一致性损失，Lluma表示亮度一致性损失；α为超参数，数据范围为0-1，表示色差损失在总损失的占比；Ica表示输入的色差图，Igray表示输入的亮度图，f(Ica,Igray)表示输入色差图和亮度图进网络计算得到的网络输出。
9.一种无监督的端到端去马赛克系统，其特征在于，包括：
构建模块，用于通过摄像设备采集不同场景中的视频影像，从视频影像中获取原始图像数据，构建初始数据集；
预处理模块，用于对初始数据集进行预处理，得到增强后的训练数据集；
训练模块，用于将训练数据集输入去马赛克模型进行网络训练，直至损失函数收敛，得到训练好的去马赛克模型；
重建模块，用于通过训练好的去马赛克模型对马赛克图像进行处理，输出重建的彩色图像。
CN202311345733.4A 2023-10-18 2023-10-18 一种无监督的端到端去马赛克方法及系统 Pending CN117274060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311345733.4A CN117274060A (zh) 2023-10-18 2023-10-18 一种无监督的端到端去马赛克方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311345733.4A CN117274060A (zh) 2023-10-18 2023-10-18 一种无监督的端到端去马赛克方法及系统

Publications (1)

Publication Number Publication Date
CN117274060A true CN117274060A (zh) 2023-12-22

Family

ID=89212305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311345733.4A Pending CN117274060A (zh) 2023-10-18 2023-10-18 一种无监督的端到端去马赛克方法及系统

Country Status (1)

Country Link
CN (1) CN117274060A (zh)

Similar Documents

Publication Publication Date Title
US11625815B2 (en) Image processor and method
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
US20040028271A1 (en) Colour correction of images
US20070159542A1 (en) Color filter array with neutral elements and color image formation
DE102015111787A1 (de) Entschachteln eines verschachtelten Hoch-Dynamik-Bereich-Bildes mittels eines Benutzens von YUV-Interpolation
US6885398B1 (en) Image sensor with color filtering arrangement
CN110246087B (zh) 参考多通道的多分辨率去除图像色度噪声的系统和方法
WO2016045242A1 (zh) 一种图像放大方法、图像放大装置及显示设备
CN111784603A (zh) 一种raw域图像去噪方法、计算机装置及计算机可读存储介质
WO2013008517A1 (ja) 撮像装置及び画像生成方法
CN110430403B (zh) 一种图像处理方法和装置
CN111539893A (zh) 一种基于导向滤波的Bayer图像联合去马赛克去噪方法
WO2022061879A1 (zh) 图像处理方法、装置和系统，计算机可读存储介质
CN108122201A (zh) 一种拜耳插值拉链效应去除方法
US7609307B2 (en) Heterogeneity-projection hard-decision interpolation method for color reproduction
TWI751124B (zh) 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器
Kim et al. On recent results in demosaicing of Samsung 108MP CMOS sensor using deep learning
Paul et al. Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method
ho Lee et al. Three dimensional colorization based image/video reconstruction from white-dominant RGBW pattern images
KR20180118432A (ko) 감도 개선을 위한 영상 처리 장치 및 방법
Gevrekci et al. POCS-based restoration of Bayer-sampled image sequences
Saito et al. Demosaicing approach based on extended color total-variation regularization
CN117274060A (zh) 一种无监督的端到端去马赛克方法及系统
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
CN113781350B (zh) 图像处理方法、图像处理装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination