CN112348904A - 水下图像及水下视频色彩还原方法和装置 - Google Patents

水下图像及水下视频色彩还原方法和装置 Download PDF

Info

Publication number
CN112348904A
CN112348904A CN202011148596.1A CN202011148596A CN112348904A CN 112348904 A CN112348904 A CN 112348904A CN 202011148596 A CN202011148596 A CN 202011148596A CN 112348904 A CN112348904 A CN 112348904A
Authority
CN
China
Prior art keywords
pixel
channel
value
pixel value
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011148596.1A
Other languages
English (en)
Inventor
苏坦
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202011148596.1A priority Critical patent/CN112348904A/zh
Publication of CN112348904A publication Critical patent/CN112348904A/zh
Priority to DE112021005620.4T priority patent/DE112021005620T5/de
Priority to US18/033,352 priority patent/US20230401674A1/en
Priority to JP2023524834A priority patent/JP7565445B2/ja
Priority to PCT/CN2021/125889 priority patent/WO2022083765A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明提供了一种水下图像色彩还原方法，该方法通过将水下图像的各像素的由8位RGB像素值转换线性sRGB空间上进行调整处理，再将调整后的像素值转换至8位RGB像素值，然后将获取的8位RGB像素值与调整后的像素值进行融合，进而得到还原后的水下图像。与现有技术相比，本发明通过对水下图像中的每个像素按特定的步骤进行了色彩还原，因此经本发明方案处理后的水下图像或水下视频的前景物体色彩自然、丰富，同时保留背景海水的自然蓝绿色，整理画面观感提升明显，媲美甚至超过以往需要大量人工调色才能达到的效果。

Description

水下图像及水下视频色彩还原方法和装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种水下图像及水下视频的色彩还原方法、装置及计算机可读存储介质。
背景技术
水下视觉不仅广泛运用于海洋探测、水下工程监测等的科学研究活动，也是广大摄影爱好者的重要拍摄素材来源，因此，获取真实的水下图像尤为重要。
由于在可见光中红光波长较长，在水中传播的衰减大于蓝光和绿光，拍摄装置的图像传感器接收到的红光信息远少于蓝光和绿光，导致水下拍摄的画面红色严重不足，水下景物色彩失真，色彩整体偏蓝或者偏绿。
常规的相机自动白平衡算法无法处理水下红色信息严重缺失的场景，处理后的画面往往红色信息缺失亦或过度补偿致使画面整体偏紫，人工后期视频调色一定程度上可以还原出合适的水下色彩，但需要耗费大量时间，且无法针对每帧画面每个像素专门调整。
因此，有必要对现有的水下图像色彩还原方法进行改进。
发明内容
本发明的目的在于提供一种水下图像色彩还原方法、装置、电子设备及计算机可读存储介质，旨在解决现有一种水下图像的复原方法存在的缺陷。
第一方面，本发明提供了一种水下图像色彩还原方法，该方法包括：
S1：获取水下图像的各像素的8位RGB像素值并转到线性sRGB空间上，即将各像素在8位RGB中的红通道的像素值ri-0、在绿通道的像素值gi-0、在蓝通道的像素值bi-0进行转换，得到各像素在线性sRGB空间上的红通道的像素值ri-1、在绿通道的像素值gi-1、在蓝通道的像素值bi-1；
S2：根据步骤S1获得的各像素在各通道的像素平均值的相对大小，对各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-1、在绿通道的像素值gi-1、在蓝通道的像素值bi-1；
S3：根据步骤S2中的调整后的各像素在各通道的像素值计算各像素的权重值ωi；
S4：根据步骤S3中获得的权重值ωi计算图像的红通道的增益Rg、蓝通道的增益Bg，并根据红通道的增益Rg、蓝通道的增益Bg对步骤S2中的调整后的各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-2、在绿通道的像素值gi-2、在蓝通道的像素值bi-2；
S5：将步骤S4中的调整后的各像素在线性sRGB空间的像素值转换至8位RGB像素值，得到转换后的各像素在红通道的像素值ri-3、在绿通道的像素值gi-3、在蓝通道的像素值bi-3；
S6：分别将步骤S5中的各通道中的各像素的像素值按大小进行排序，根据排序结果获取各通道较大调整值和较小调整值，以得到各通道的较大调整值和较小调整值，即红通道的较大调整值Rmax和较小调整值Rmin，即绿通道的较大调整值Gmax和较小调整值Gmin，即蓝通道的较大调整值Bmax和较小调整值Bmin；
S7：根据步骤S6中在各通道的较大调整值和各通道的较小调整值对步骤S5中的各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-4、在绿通道的像素值gi-4、在蓝通道的像素值bi-4；
S8：根据步骤S3中的权重值ωi将步骤S1中获取的各像素的8位RGB像素值及步骤S7中的调整后的各像素在各通道的像素值进行融合，得到融合后的各像素在红通道的像素值ri-5、在绿通道的像素值gi-5、在蓝通道的像素值bi-5，并根据融合后的各像素在各通道的像素值输出还原后的水下图像。
第二方面，本发明提供了一种水下视频色彩还原方法，该方法包括：
获取待还原的水下视频；
对所述待还原的水下视频的每一视频帧采用上述的水下图像色彩还原方法进行处理，得到色彩还原后的视频。
第三方面，本发明提供了一种水下图像色彩还原装置，该装置包括：
第一获取模块，用于获取水下图像的各像素的8位RGB像素值；
第一转换模块，用于将各像素的8位RGB像素值转到线性sRGB空间上；
第一调整模块，用于根据线性sRGB空间上的各像素在各通道的像素平均值的相对大小对各像素在各通道的像素值进行调整；
权重计算模块，用于计算经第一调整模块调整后的各像素在各通道的像素值计算各像素的权重值；
增益计算模块，用于根据权重值计算图像的红、蓝通道的增益；
第二调整模块，用于根据红、蓝通道的增益对经第一调整模块调整后的各像素在各通道的像素值进行调整；
第二转换模块，用于将第二调整模块调整后的各像素在线性sRGB空间的像素值转换至8位RGB像素值；
第二获取模块，用于获取经第二转换模块转换后的各通道的较大调整值和较小调整值，所述各通道的较大调整值和较小调整值与各通道中的各像素的像素值按大小进行排序后的排序结果相关；
第三调整模块，用于根据各通道的较大调整值和较小调整值对第二转换模块转换后的各像素在各通道的像素值进行调整；
融合模块，用于根据权重计算模块计算的权重值将第一获取模块获取的各像素的8位RGB像素值和经第三调整模块调整后的各像素在各通道的像素值进行融合，以得到融合后的各像素在各通道的像素值；
输出模块，用于输出经融合模块融合后的各像素在各通道的像素值。
第四方面，本发明提供了一种水下视频色彩还原装置，包括：
视频获取模块，用于获取待还原的水下视频；
视频还原模块，用于对待还原的水下视频的每一视频帧采用权利要求1至8任意一项所述的水下图像色彩还原方法进行处理，得到色彩还原后的视频。
第五方面，本发明提供了一种电子设备，包括：
存储器，所述存储器存储有计算机程序；
处理器，所述处理器用于执行所述计算机程序以实现上述的水下图像或水下视频色彩还原方法。
第六方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的以实现上述的水下图像或水下视频色彩还原方法。
与现有技术相比，本发明通过对水下图像中的每个像素按特定的步骤进行了色彩还原，因此经本发明方案处理后的水下图像或水下视频的前景物体色彩自然、丰富，同时保留背景海水的自然蓝绿色，整理画面观感提升明显，媲美甚至超过以往需要大量人工调色才能达到的效果。
附图说明
图1是本发明实施例中的水下图像色彩还原方法的流程图。
图2是本发明实施例中的水下图像色彩还原装置的结构框图。
图3是本发明实施例中的水下视频色彩还原装置的结构框图。
图4是本发明实施例中的电子设备的结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例1
如图1所示，本实施例揭示了一种水下图像色彩还原方法，包括以下步骤：
本实施例中的水下图像为拍摄装置在水中拍摄的照片或视频帧。
S0：将水下图像由其他颜色空间转换到8位RGB空间。
如果拍摄的照片或视频帧本来就是8位RGB空间，则直接进入步骤S1；如果拍摄的照片或视频帧为其他空间（如YUV），则需先转到8位RGB空间，然后再进入步骤S1。
S1：获取水下图像的各像素的8位RGB像素值并转到线性sRGB空间上，即将各像素在8位RGB中的红通道的像素值ri-0、在绿通道的像素值gi-0、在蓝通道的像素值bi-0进行转换，得到各像素在线性sRGB空间上的红通道的像素值ri-1、在绿通道的像素值gi-1、在蓝通道的像素值bi-1。
首先，获取各像素在8位RGB像素值（范围0-255）中的红通道的像素值ri-0、在绿通道的像素值gi-0和在蓝通道的像素值bi-0，再采用sRGB标准将各通道的像素值转到线性sRGB空间上，得到各像素在线性sRGB空间上的红通道的像素值ri-1、在绿通道的像素值gi-1和在蓝通道的像素值bi-1，经转换后的各像素在线性sRGB空间上的像素值的范围为0到1。具体转换可参考：https://www.w3.org/Graphics/Color/sRGB。
在本实施例中，对于水下图像的任意一个像素，其在各通道的像素值可通过以下方式从8位RGB空间转到线性sRGB空间上。
将获取的各像素在8位RGB空间（范围0-255）中的各通道的像素值分别除以255：若ri-0÷255、gi-0÷255、bi-0÷255均小于0.03928，转换后的各像素在线性sRGB空间上像素值分别为：ri-1=ri-0÷255÷12.92；gi-1=gi-0÷255÷12.92；bi-1=bi-0÷255÷12.92；否则，转换后的各像素在线性sRGB空间上像素值分别为：ri-1=[(ri-0÷255+0.055)÷1.055]^2.4；gi-1=[(gi-0÷255+0.055)÷1.055]^2.4；bi-1=[(bi-0÷255+0.055)÷1.055]^2.4。
S2：根据步骤S1获得的各像素在各通道的像素平均值的相对大小，对各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-2、在绿通道的像素值gi-2、在蓝通道的像素值bi-2。
在本实施例中，分别获取各像素在红通道的像素平均值Ra、在绿通道的像素平均值Ga、、在蓝通道的像素平局值Ba；若绿通道的像素平均值Ga最大，则调整后的红通道的像素值ri-2=ri-1 + (Ga - Ra)×(1.5 - ri-1)×gi-1，调整后的蓝通道的像素值bi-2=bi-1+(Ga -Ba)×(1- bi-1)×gi-1，调整后的绿通道的像素值gi-2=gi-1；若蓝通道的像素平均值Ba最大，则调整后的红通道的像素值ri-2=ri-1+(Ba - Ra)×(1.5-ri-1)×gi-1，调整后的蓝通道的像素值bi-2=bi-1 ，调整后的绿通道的像素值gi-2=gi-1-(Ba - Ga)×(1 - gi-1)×gi-1；若红通道的像素平均值Ra最大，则不对各像素值进行调整，即红通道的像素值ri-2=ri-1，绿通道的像素值gi-2=gi-1，蓝通道的像素值bi-2=bi-1。
S3：根据步骤S2中的调整后的各像素在各通道的像素值计算各像素的权重值ωi。
在本实施例中，各像素的权重值ωi计算公式为：ωi=(ri-2+α)*β/(bi-2+α)，其中，α、β为经验值。具体地，在本实施例中的一个优化方案中，α的值为0.00015，β的值为3，各像素的权重值ωi根据计算结果进行调整：当ωi的计算值小于0.1时，将ωi的值调整为的0.1；当ωi的计算值大于0.8时，将ωi的值调整为的0.8；当ωi的计算值在0.1和0.8之间时，不对ωi的值进行调整。
S4：根据步骤S3中获得的权重值ωi计算图像的红通道的增益Rg、蓝通道的增益Bg，并根据红通道的增益Rg、蓝通道的增益Bg对步骤S2中的调整后的各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-3、在绿通道的像素值gi-3、在蓝通道的像素值bi-3。
本实施例中的步骤S4包括以下子步骤：
S41：根据各像素的红通道的像素值ri-2、绿通道的像素值gi-2、蓝通道的像素值bi-2和权重值ωi计算各像素在红通道的加权平局值、在绿通道的加权平局值、在蓝通道的加权平均值。其中，红通道的加权平局值计算公式：Raw=(1/n)*
Figure 647397DEST_PATH_IMAGE001
，绿通道的加权平局值的计算公式：Gaw=(1/n)*
Figure 722800DEST_PATH_IMAGE002
，蓝通道的加权平均值的计算公式：Baw=(1/n)*
Figure 981743DEST_PATH_IMAGE003
，其中n代表图像中的像素个数。
S42：计算红通道增益Rg=Gaw/Raw及蓝通道增益Bg = Gaw/Baw。
S43：计算各像素的红通道经增益后的像素值ri-3 =ri-2* Rg和蓝通道经增益后的像素值bi-3=bi-2* Rg，其中，如果经增益后的像素值大于1，则将该像素值调整为1，以符合各像素在线性sRGB空间上的像素值的范围为0到1的要求。
S5：将步骤S4中的调整后的各像素在线性sRGB空间的像素值转换至8位RGB像素值，得到转换后的各像素在红通道的像素值ri-4、在绿通道的像素值gi-4、在蓝通道的像素值bi-4。
根据sRGB标准，将各像素在各通道的像素值由线性sRGB(0-1)转换到8位RGB（0 -255）上，转换方法为：
若ri-3、gi-3、bi-3均小于0.00304，则转换后的各像素在8位RGB上的像素值分别为：ri-4=ri-3*255*12.92；gi-4=gi-3*255*12.92；bi-4=bi-3*255*12.92；否则，转换后的各像素在8位RGB上的像素值分别为：ri-4=(1.055*ri-3^(1/2.4)-0.055)*255；gi-4=(1.055*gi-3^(1/2.4)-0.055)*255；bi-4=(1.055*bi-3^(1/2.4)-0.055)*255。
S6：分别将步骤S5中的各通道中的各像素的像素值按大小进行排序，根据排序结果获取各通道的较大调整值和较小调整值，即红通道的较大调整值Rmax和较小调整值Rmin，即绿通道的较大调整值Gmax和较小调整值Gmin，即蓝通道的较大调整值Bmax和较小调整值Bmin。
在本实施例中，各通道的较大调整值和较小调整值可通过两种方式获得。
第一种方式为：首先将步骤S5中的各像素在各通道的像素值从大到小进行排序，然后获取每个通道的预定比例（如0.1%）的排序最前的像素值和排序最后的预定比例（如0.1%）的像素值，然后通过计算可以得到每个通道的最大平均值和最小平均值，再将每个通道的最大平均值和最小平均值分别作为各通道的较大调整值和较小调整值，即红通道的较大调整值Rmax和较小调整值Rmin，即绿通道的较大调整值Gmax和较小调整值Gmin，即蓝通道的较大调整值Bmax和较小调整值Bmin。
第二种方式为：首先将步骤S5中的各像素在各通道的像素值从大到小进行排序，将各通道中从大到小排列的第[n * 0.1%]个像素的像素值作为各通道的较大调整值，将各通道中从大到小排列的倒数第[n * 0.1%]个像素的像素值作为各通道的较小调整值，其中，n为像素的个数，符号[]为取整。
S7：根据步骤S6中在各通道的较大调整值和各通道的较小调整值对步骤S5中的各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-5、在绿通道的像素值gi-5、在蓝通道的像素值bi-5。
在本实施例中，首先从红通道的较大调整值Rmax、绿通道的较大调整值Gmax、蓝通道的较大调整值Bmax中挑选出最大值RGBmax，即RGBmax=Max(Rmax, Gmax, Bmax)；从红通道的较小调整值Rmin、绿通道的较小调整值Gmin、蓝通道的较小调整值Bmin中挑选出最小值RGBmin，即RGBmin=Mmin(Rmin, Gmin, Bmin)；然后各像素在各通道的像素值通过以下公式计算获得：
ri-5=(ri-4-Rmin)*(RGBmax-RGBmin)/(Rmax-Rmin)+RGBmin；
gi-5=(gi-4-Gmin)*(RGBmax-RGBmin)/(Gmax-Gmin)+RGBmin；
bi-5=(bi-4-Bmin)*(RGBmax-RGBmin)/(Bmax-Bmin)+RGBmin。
S8：根据步骤S3中的权重值ωi将步骤S1中获取的各像素的8位RGB像素值及步骤S7中的调整后的各像素在各通道的像素值进行融合，得到融合后的各像素在红通道的像素值ri-6、在绿通道的像素值gi-6、在蓝通道的像素值bi-6，并根据融合后的各像素在各通道的像素值输出还原后的水下图像。
在本实施例中，融合后的各像素在各通道的像素值，可通过以下公式计算获得：
ri-6= ri-5*ωi+ri-0*(1-ωi)；
gi-6= gi-5*ωi+gi-0*(1-ωi)；
bi-6=bi-5*ωi+bi-0*(1-ωi)。
然后再根据融合后的各像素在各通道的像素值ri-6、gi-6、bi-6输出还原后的水下图像。
实施例2
本实施例中提供了一种水下视频色彩还原方法，包括以下步骤：
步骤1：获取待还原的水下视频。
步骤2：对所述待还原的水下视频的每一视频帧采用实施例1中的水下图像色彩还原方法进行处理，得到色彩还原后的视频帧，然后将视频帧按顺序输出得到色彩还原后的视频。
在本实施例的优化方案中，在对所述待还原的水下视频的第一帧之外的视频帧进行色彩还原时，在步骤中S4中的当前帧的红、蓝通道增益通过以下公式计算获得：
Rgi= Rgi-1*θ1+Gaw/Raw*(1-θ1);
Bgi= Bgi-1*θ1+Gaw/Baw*(1-θ1);
其中，Rgi为当前帧的红通道增益，Rgi-1为当前帧的上一帧的红通道增益，Bgi为当前帧的蓝通道增益，Bgi-1为当前帧的上一帧的蓝通道增益；Raw为根据权重值计算的当前帧的各像素在红通道的加权平局值，Gaw为根据权重值计算的当前帧的各像素在绿通道的加权平局值，Baw为根据权重值计算的当前帧的各像素在蓝通道的加权平局值，Raw、Gaw、Baw可通过实施例1中的计算公式得到；θ1为更新率，是一个经验值，在本实施例中，θ1的值为0.98。
在本实施例的另一优化方案中，在对所述待还原的水下视频的第一帧之外的视频帧进行色彩还原时，在步骤S6中的各通道的较大调整值和较小调整值通过以下公式计算获得：
Rmaxi=Rmaxi-1*θ2+Rmax*(1-θ2)，Rmini=Rmini-1*θ2+Rmin*(1-θ2)；
Gmaxi=Gmaxi-1*θ2+Gmax*(1-θ2)，Gmini=Gmini-1*θ2+Gmin*(1-θ2)；
Bmaxi=Bmaxi-1*θ2+Bmax*(1-θ2)，Bmini=Bmini-1*θ2+Bmin*(1-θ2)；
其中，Rmaxi为当前帧的红通道的较大调整值，Rmaxi-1为当前帧的上一帧的红通道的较大调整值，Rmax为根据当前帧的各像素在红通道的像素值排序直接计算得到的较大调整值；Gmaxi为当前帧的绿通道的较大调整值，Gmaxi-1为当前帧的上一帧的绿通道的较大调整值，Gmax为根据当前帧的各像素在绿通道的像素值排序直接计算得到的较大调整值；Bmaxi为当前帧的蓝通道的较大调整值，Bmaxi-1为当前帧的上一帧的蓝通道的较大调整值，Bmax为根据当前帧的各像素在蓝通道的像素值排序直接计算得到的较大调整值；θ2为为更新率，是一个经验值，本实施例中的θ2为0.98。
可以看出，本实施例中的后续帧的各像素的调整与前一帧对应的像素相关联，使得相邻视频帧之间的对应像素点之间的色彩变换更为流畅，进而使得调色后的视频输出效果更为自然。
实施例3
如图3所示，本实施例中揭示了一种水下图像色彩还原装置，包括：第一获取模块，用于获取水下图像的各像素的8位RGB像素值；第一转换模块，用于将各像素的8位RGB像素值转到线性sRGB空间上；第一调整模块，用于根据线性sRGB空间上的各像素在各通道的像素平均值的相对大小对各像素在各通道的像素值进行调整；权重计算模块，用于计算经第一调整模块调整后的各像素在各通道的像素值计算各像素的权重值；增益计算模块，用于根据权重值计算图像的红、蓝通道的增益；第二调整模块，用于根据红、蓝通道的增益对经第一调整模块调整后的各像素在各通道的像素值进行调整；第二转换模块，用于将第二调整模块调整后的各像素在线性sRGB空间的像素值转换至8位RGB像素值；第二获取模块，用于获取经第二转换模块转换后的各通道的较大调整值和较小调整值，所述各通道的较大调整值和较小调整值与各通道中的各像素的像素值按大小进行排序后的排序结果相关；第三调整模块，用于根据各通道的较大调整值和较小调整值对第二转换模块转换后的各像素在各通道的像素值进行调整；融合模块，用于根据权重计算模块计算的权重值将第一获取模块获取的各像素的8位RGB像素值和经第三调整模块调整后的各像素在各通道的像素值进行融合，以得到融合后的各像素在各通道的像素值；输出模块，用于输出经融合模块融合后的各像素在各通道的像素值。
在本实施例的优化方案中，还包括RGB转换模块，用于将待还原的水下图像由其他颜色空间转换到8位RGB空间。
实施例4
如图4所示，本实施例揭示了一种水下视频色彩还原装置，包括：视频获取模块，用于获取待还原的水下视频；视频还原模块，用于对待还原的水下视频的每一视频帧采用实施例2中的水下图像色彩还原方法进行处理，得到色彩还原后的视频。
实施例5
本实施例揭示了一种电子设备，包括存储器，存储器上存储有计算机程序；处理器，所述处理器用于执行所述计算机程序以实现实施例1或实施例2中的水下图像色彩还原方法或水下视频色彩还原方法。本实施例中的电子设备具体可以为相机或手机。
实施例6
本实施例揭示了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例1或实施例2中的水下图像色彩还原方法或水下视频色彩还原方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，存储介质可以是计算机可读存储介质，例如，铁电存储器（FRAM，Ferromagnetic Random Access Memory）、只读存储器（ROM，Read OnlyMemory）、可编程只读存储器（PROM，Programmable Read Only Memory）、可擦除可编程只读存储器（EPROM，Erasable Programmable Read Only Memory）、带电可擦可编程只读存储器（EEPROM，Electrically Erasable Programmable Read Only Memory）、闪存、磁表面存储器、光盘、或光盘只读存储器（CD-ROM，Compact Disk-Read Only Memory）等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种水下图像色彩还原方法，其特征在于，包括：
S1：获取水下图像的各像素的8位RGB像素值并转到线性sRGB空间上，即将各像素在8位RGB中的红通道的像素值ri-0、在绿通道的像素值gi-0、在蓝通道的像素值bi-0进行转换，得到各像素在线性sRGB空间上的红通道的像素值ri-1、在绿通道的像素值gi-1、在蓝通道的像素值bi-1；
S2：根据步骤S1获得的各像素在各通道的像素平均值的相对大小，对各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-2、在绿通道的像素值gi-2、在蓝通道的像素值bi-2；
S3：根据步骤S2中的调整后的各像素在各通道的像素值计算各像素的权重值ωi；
S4：根据步骤S3中获得的权重值ωi计算图像的红通道的增益Rg、蓝通道的增益Bg，并根据红通道的增益Rg、蓝通道的增益Bg对步骤S2中的调整后的各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-3、在绿通道的像素值gi-3、在蓝通道的像素值bi-3；
S5：将步骤S4中的调整后的各像素在线性sRGB空间的像素值转换至8位RGB像素值，得到转换后的各像素在红通道的像素值ri-4、在绿通道的像素值gi-4、在蓝通道的像素值bi-4；
S6：分别将步骤S5中的各通道中的各像素的像素值按大小进行排序，根据排序结果获取各通道的较大调整值和较小调整值，即红通道的较大调整值Rmax和较小调整值Rmin，即绿通道的较大调整值Gmax和较小调整值Gmin，即蓝通道的较大调整值Bmax和较小调整值Bmin；
S7：根据步骤S6中在各通道的较小调整值和各通道的较小调整值对步骤S5中的各像素在各通道的像素值进行调整，得到调整后的各像素在红通道的像素值ri-5、在绿通道的像素值gi-5、在蓝通道的像素值bi-5；
S8：根据步骤S3中的权重值ωi将步骤S1中获取的各像素的8位RGB像素值及步骤S7中的调整后的各像素在各通道的像素值进行融合，得到融合后的各像素在红通道的像素值ri-6、在绿通道的像素值gi-6、在蓝通道的像素值bi-6，并根据融合后的各像素在各通道的像素值输出还原后的水下图像。
2.根据权利要求1所述的水下图像色彩还原方法，其特征在于，在所述步骤S1前还包括步骤S0：将水下图像由其他颜色空间转换到8位RGB空间。
3.根据权利要求1所述的水下图像色彩还原方法，其特征在于，所述步骤S2具体为：获取各像素在红通道的像素平均值Ra、在绿通道的像素平均值Ga、在蓝通道的像素平局值Ba；若绿通道的像素平均值Ga最大，则调整后的红通道的像素值ri-2=ri-1+(Ga-Ra)×(1.5-ri-1)×gi-1，调整后的蓝通道的像素值bi-2=bi-1+(Ga-Ba)×(1-bi-1)×gi-1，调整后的绿通道的像素值gi-2=gi-1；若蓝通道的像素平均值Ba最大，则调整后的红通道的像素值ri-2=ri-1+(Ba-Ra)×(1.5-ri-1)×gi-1，调整后的蓝通道的像素值bi-2=bi-1，调整后的绿通道的像素值gi-2=gi-1-(Ba - Ga)×(1-gi-1)×gi-1；若红通道的像素平均值Ra最大，则不对各像素值进行调整，即红通道的像素值ri-2=ri-1，绿通道的像素值gi-2=gi-1，蓝通道的像素值bi-2=bi-1 。
4.根据权利要求1所述的水下图像色彩还原方法，其特征在于，所述步骤S3具体为：所述各像素的权重值计算公式为：ωi=(ri-2+α)*β/(bi-2+α)，其中，α、β为经验值。
5.根据权利要求5所述的水下图像色彩还原方法，其特征在于，所述α的值为0.00015，所述β的值为3，所述各像素的权重值ωi根据计算结果进行调整：当ωi的计算值小于0.1时，将ωi的值调整为的0.1；当ωi的计算值大于0.8时，将ωi的值调整为的0.8；当ωi的计算值在0.1和0.8之间时，不对ωi的值进行调整。
6.根据权利要求1所述的水下图像色彩还原方法，其特征在于，所述步骤S4包括：
S41：根据各像素的红通道的像素值ri-2、绿通道的像素值gi-2、蓝通道的像素值bi-2和权重值ωi计算各像素在红通道的加权平局值Raw、在绿通道的加权平局值Gaw、在蓝通道的加权平均值Baw；
S42：计算红通道增益Rg = Gaw / Raw及蓝通道增益Bg = Gaw / Baw；
S43：计算各像素的红通道经增益后的像素值ri-3 =ri-2* Rg和蓝通道经增益后的像素值bi-3=bi-2* Rg，其中，如果经增益后的像素值大于1，则将该像素值调整为1。
7.根据权利要求1所述的水下图像色彩还原方法，其特征在于，所述步骤S6的各通道较大调整值和较小调整值按以下方式获得：
先将步骤S5中的各像素在各通道的像素值从大到小进行排序，然后获取每个通道的预定比例的排序最前的像素值和排序最后的预定比例的像素值，然后通过计算可以得到每个通道的最大平均值和最小平均值，再将每个通道的最大平均值和最小平均值分别作为各通道的较大调整值和较小调整值。
8.根据权利要求1所述的水下图像色彩还原方法，其特征在于，所述步骤S6的各通道较大调整值和较小调整值按以下方式获得：
先将步骤S5中的各像素在各通道的像素值从大到小进行排序，将各通道中从大到小排列的第[n * 0.1%]个像素的像素值作为各通道的较大调整值，将各通道中从大到小排列的倒数第[n * 0.1%]个像素的像素值作为各通道的较小调整值，其中，n为像素的个数，符号[]为取整。
9.根据权利要求1所述的水下图像色彩还原方法，其特征在于，所述步骤S7中各像素在各通道的像素值通过以下公式计算获得：
ri-5=(ri-4-Rmin)*(RGBmax-RGBmin)/(Rmax-Rmin)+RGBmin；
gi-5=(gi-4-Gmin)*(RGBmax-RGBmin)/(Gmax-Gmin)+RGBmin；
bi-5=(bi-4-Bmin)*(RGBmax-RGBmin)/(Bmax-Bmin)+RGBmin；
其中，RGBmax = Max(Rmax, Gmax, Bmax)，RGBmin = Min(Rmin, Gmin, Bmin)。
10.根据权利要求1所述的水下图像色彩还原方法，其特征在于，所述步骤S8中各像素在各通道的像素值通过以下公式计算获得：
ri-6 = ri-5* ωi+ri-0 * (1-ωi)；
gi-6 = gi-5* ωi+gi-0 * (1-ωi)；
bi-6 = bi-5* ωi+bi-0 * (1-ωi)。
11.一种水下视频色彩还原方法，其特征在于， 包括：
获取待还原的水下视频；
对所述待还原的水下视频的每一视频帧采用权利要求1至8任意一项所述的水下图像色彩还原方法进行处理，得到色彩还原后的视频。
12.如权利要求9所述的水下视频还原方法，其特征在于，在对待还原的水下视频的第一帧之外的视频帧进行色彩还原时，在所述步骤中S4中的当前帧的红、蓝通道增益通过以下公式计算获得：
Rgi= Rgi-1*θ1+Gaw/Raw*(1-θ1);
Bgi= Bgi-1*θ1+Gaw/Baw*(1-θ1);
其中，Rgi为当前帧的红通道增益，Rgi-1为当前帧的上一帧的红通道增益，Bgi为当前帧的蓝通道增益，Bgi-1为当前帧的上一帧的蓝通道增益，Raw为根据权重值计算的当前帧的各像素在红通道的加权平局值，Gaw为根据权重值计算的当前帧的各像素在绿通道的加权平局值，Baw为根据权重值计算的当前帧的各像素在蓝通道的加权平局值，θ1为更新率。
13.如权利要求9所述的水下视频还原方法，其特征在于，在对待还原的水下视频的第一帧之外的视频帧进行色彩还原时，在所述步骤S6中的各通道的较大调整值和较小调整值通过以下公式计算获得：
Rmaxi=Rmaxi-1*θ2+Rmax*(1-θ2)，Rmini=Rmini-1*θ2+Rmin*(1-θ2)；
Gmaxi=Gmaxi-1*θ2+Gmax*(1-θ2)，Gmini=Gmini-1*θ2+Gmin*(1-θ2)；
Bmaxi=Bmaxi-1*θ2+Bmax*(1-θ2)，Bmini=Bmini-1*θ2+Bmin*(1-θ2)；
其中，Rmaxi为当前帧的红通道的较大调整值，Rmaxi-1为当前帧的上一帧的红通道的较大调整值，Rmax为根据当前帧的各像素在红通道的像素值排序直接计算得到的较大调整值；Gmaxi为当前帧的绿通道的较大调整值，Gmaxi-1为当前帧的上一帧的绿通道的较大调整值，Gmax为根据当前帧的各像素在绿通道的像素值排序直接计算得到的较大调整值；Bmaxi为当前帧的蓝通道的较大调整值，Bmaxi-1为当前帧的上一帧的蓝通道的较大调整值，Bmax为根据当前帧的各像素在蓝通道的像素值排序直接计算得到的较大调整值；θ2为更新率。
14.一种水下图像色彩还原装置，其特征在于，包括：
第一获取模块，用于获取水下图像的各像素的8位RGB像素值；
第一转换模块，用于将各像素的8位RGB像素值转到线性sRGB空间上；
第一调整模块，用于根据线性sRGB空间上的各像素在各通道的像素平均值的相对大小对各像素在各通道的像素值进行调整；
权重计算模块，用于计算经第一调整模块调整后的各像素在各通道的像素值计算各像素的权重值；
增益计算模块，用于根据权重值计算图像的红、蓝通道的增益；
第二调整模块，用于根据红、蓝通道的增益对经第一调整模块调整后的各像素在各通道的像素值进行调整；
第二转换模块，用于将第二调整模块调整后的各像素在线性sRGB空间的像素值转换至8位RGB像素值；
第二获取模块，用于获取经第二转换模块转换后的各通道的较大调整值和较小调整值，所述各通道的较大调整值和较小调整值与各通道中的各像素的像素值按大小进行排序后的排序结果相关；
第三调整模块，用于根据各通道的较大调整值和较小调整值对第二转换模块转换后的各像素在各通道的像素值进行调整；
融合模块，用于根据权重计算模块计算的权重值将第一获取模块获取的各像素的8位RGB像素值和经第三调整模块调整后的各像素在各通道的像素值进行融合，以得到融合后的各像素在各通道的像素值；
输出模块，用于输出经融合模块融合后的各像素在各通道的像素值。
15.如权利要求12所述的水下图像色彩还原装置，其特征在于，还包括：
RGB转换模块，用于将待还原的水下图像由其他颜色空间转换到8位RGB空间。
16.一种水下视频色彩还原装置，其特征在于，包括：
视频获取模块，用于获取待还原的水下视频；
视频还原模块，用于对待还原的水下视频的每一视频帧采用权利要求1至10任意一项所述的水下图像色彩还原方法进行处理，得到色彩还原后的视频。
17.一种电子设备，其特征在于，包括：
存储器，所述存储器存储有计算机程序；
处理器，所述处理器用于执行所述计算机程序以实现权利要求1至13中任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法。
CN202011148596.1A 2020-10-23 2020-10-23 水下图像及水下视频色彩还原方法和装置 Pending CN112348904A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011148596.1A CN112348904A (zh) 2020-10-23 2020-10-23 水下图像及水下视频色彩还原方法和装置
DE112021005620.4T DE112021005620T5 (de) 2020-10-23 2021-10-22 Verfahren und Vorrichtung zur Farbwiederherstellung von Unterwasserbildern und -videos
US18/033,352 US20230401674A1 (en) 2020-10-23 2021-10-22 Underwater image color restoration method and apparatus, and underwater video color restoration method and apparatus
JP2023524834A JP7565445B2 (ja) 2020-10-23 2021-10-22 水中画像、水中ビデオのカラー復元方法、及び装置
PCT/CN2021/125889 WO2022083765A1 (zh) 2020-10-23 2021-10-22 水下图像及水下视频色彩还原方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011148596.1A CN112348904A (zh) 2020-10-23 2020-10-23 水下图像及水下视频色彩还原方法和装置

Publications (1)

Publication Number Publication Date
CN112348904A true CN112348904A (zh) 2021-02-09

Family

ID=74358396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011148596.1A Pending CN112348904A (zh) 2020-10-23 2020-10-23 水下图像及水下视频色彩还原方法和装置

Country Status (5)

Country Link
US (1) US20230401674A1 (zh)
JP (1) JP7565445B2 (zh)
CN (1) CN112348904A (zh)
DE (1) DE112021005620T5 (zh)
WO (1) WO2022083765A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022083765A1 (zh) * 2020-10-23 2022-04-28 影石创新科技股份有限公司 水下图像及水下视频色彩还原方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236564A1 (en) 2006-04-06 2007-10-11 Nikon Corporation Color compensation system for images captured underwater
JP4860512B2 (ja) 2007-03-13 2012-01-25 株式会社市川ソフトラボラトリー 画像処理装置
KR20120090370A (ko) * 2011-02-07 2012-08-17 삼성전자주식회사 색 복원 장치 및 방법
US9959604B2 (en) * 2016-06-13 2018-05-01 Gopro, Inc. Dynamic global tone mapping with integrated 3D color look-up table
CN111696052B (zh) * 2020-05-20 2022-08-12 河海大学 一种基于红通道衰弱的水下图像增强方法及系统
CN112348904A (zh) * 2020-10-23 2021-02-09 影石创新科技股份有限公司 水下图像及水下视频色彩还原方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022083765A1 (zh) * 2020-10-23 2022-04-28 影石创新科技股份有限公司 水下图像及水下视频色彩还原方法和装置

Also Published As

Publication number Publication date
WO2022083765A1 (zh) 2022-04-28
US20230401674A1 (en) 2023-12-14
JP2023546612A (ja) 2023-11-06
DE112021005620T5 (de) 2023-09-14
JP7565445B2 (ja) 2024-10-10

Similar Documents

Publication Publication Date Title
US8830348B2 (en) Imaging device and imaging method
US8311355B2 (en) Skin tone aware color boost for cameras
CN111292246B (zh) 图像颜色校正方法、存储介质及内窥镜
CN102065224B (zh) 摄像装置和摄像方法
KR20060120643A (ko) 화상처리 장치, 화상처리 방법 및 화상처리 프로그램
US10521887B2 (en) Image processing device and image processing method
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN104954771A (zh) 进行色阶校正的图像处理设备和图像处理方法
US7889245B2 (en) Automatic white balancing of a digital image
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
CN109118437B (zh) 一种可实时处理浑水图像的方法、存储介质
WO2022253014A1 (zh) 水下图像色彩还原方法和装置
CN110930341A (zh) 一种基于图像融合的低光照图像增强方法
Kwok et al. Gray world based color correction and intensity preservation for image enhancement
US10600170B2 (en) Method and device for producing a digital image
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
WO2022083765A1 (zh) 水下图像及水下视频色彩还原方法和装置
US20100026851A1 (en) Image processing apparatus
JP5327766B2 (ja) デジタル画像における記憶色の修正
US8804025B2 (en) Signal processing device and imaging device
CN114125408A (zh) 图像处理方法及装置、终端和可读存储介质
CN104954767B (zh) 一种信息处理方法和电子设备
CN109600596B (zh) 一种非线性无色恒常的白平衡方法
CN107317972B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
WO2007032324A1 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination