CN114881896B - 内窥镜图像实时去雾方法、装置、电子设备、存储介质 - Google Patents

内窥镜图像实时去雾方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114881896B
CN114881896B CN202210815366.9A CN202210815366A CN114881896B CN 114881896 B CN114881896 B CN 114881896B CN 202210815366 A CN202210815366 A CN 202210815366A CN 114881896 B CN114881896 B CN 114881896B
Authority
CN
China
Prior art keywords
image
pixel
gray scale
brightness value
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210815366.9A
Other languages
English (en)
Other versions
CN114881896A (zh
Inventor
郭志飞
李娜娜
梁江荣
安昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oupu Mandi Technology Co ltd
Original Assignee
Guangdong Optomedic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Optomedic Technology Co Ltd filed Critical Guangdong Optomedic Technology Co Ltd
Priority to CN202210815366.9A priority Critical patent/CN114881896B/zh
Publication of CN114881896A publication Critical patent/CN114881896A/zh
Application granted granted Critical
Publication of CN114881896B publication Critical patent/CN114881896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种内窥镜图像实时去雾方法、装置、电子设备、存储介质,属于图像处理领域,方法步骤包括,获取内窥镜采集的原始图像;对原始图像作暗通道处理,得到暗通道图像;根据原始图像和暗通道图像计算三原色通道的大气亮度值和传输函数;根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像;其中对暗通道的生成方法作了进一步改进,避免去雾图像出现瓦片状阴影,并减少去雾图像的光晕,且无需对传输函数进行导向滤波或双边滤波处理,有利于减少去雾过程中的计算量,实现实时为视频去雾,且能提高视频去雾后的画面质量。

Description

内窥镜图像实时去雾方法、装置、电子设备、存储介质
技术领域
本发明涉及一种内窥镜图像实时去雾方法、装置、电子设备、存储介质,属于图像处理领域。
背景技术
在诸多外科手术中,微创手术具有创伤小、恢复快等特点,微创手术越来越普及。其中,内窥镜作为微创手术,尤其是腔内微创手术的不可或缺的一部分,在术中作为医生的“眼睛”,发挥着越来越重要的作用。内窥镜影像的质量,直接或间接地影响最终手术效果。
在腔内内窥镜手术中,烟雾场景十分常见,超声刀切割、电击等常用组织分割操作,都会不断生成或大或小的烟雾,当排烟不及时时,这些烟雾会十分影响医生的操作视野,从而影响手术进程。如果在上述场景中可以进行实时去雾,则可以明显提高内窥镜成像质量,但是由于图像去雾算法较为复杂,在目前的内窥镜系统,很少集成图像去雾模块,且现有集成的图像去雾算法模块,可能受资源限制,去雾效果并不显著。
发明内容
为了克服现有技术的不足,本发明提供一种内窥镜图像实时去雾方法、装置、电子设备、存储介质,降低去雾时的运算量,并优化去雾效果。
本发明解决其技术问题所采用的技术方案是:
第一方面,本申请提供一种内窥镜图像实时去雾方法,包括以下步骤:
获取内窥镜采集的原始图像;
对所述原始图像作暗通道处理,得到暗通道图像;
根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数;
根据所述大气亮度值和所述传输函数修正所述原始图像每个像素的三原色值,得到去雾图像;
其中,所述暗通道处理的步骤包括:
获取所述原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;
统计所述固定窗内每个所述最小灰阶的出现频率;
将待处理像素的灰阶更改为第一灰阶;所述第一灰阶为所述固定窗内出现频率大于预设频率的所述最小灰阶中灰度最低的一个;
更改每一所述待处理像素的灰阶得到所述暗通道图像。
本申请提供的内窥镜图像实时去雾方法改变了经典去雾算法中生成暗通道的逻辑,避免去雾图像出现瓦片状阴影,减少光晕,且无需对传输函数进行导向滤波或双边滤波处理,有利于减少去雾过程中的计算量,实现实时为视频去雾,并有利于提高视频去雾后的画面质量。
进一步地,所述对所述原始图像作暗通道处理的步骤包括:
对所述原始图像作降采样处理,得到降采样图像;
获取所述降采样图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;
统计所述固定窗内每个所述最小灰阶的出现频率;
将待处理像素的灰阶更改为第一灰阶;所述第一灰阶为所述固定窗内出现频率大于预设频率的所述最小灰阶中灰度最低的一个;
所述根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数的步骤包括:
根据所述降采样图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数。
原始图像经降采样处理后才进行暗通道处理,进一步减少去雾过程中的运算量,减少画面延迟。本方案中生成暗通道的特殊筛选方法有利于抑制降采样导致分辨率下降对生成传输函数时的不良影响。
进一步地,所述根据所述降采样图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数的步骤包括:
根据所述降采样图像和所述暗通道图像计算三原色通道每一像素的大气亮度值和传输函数。
为每一像素单独计算大气亮度值和传输函数,有利于使画面亮度过渡得更加平顺。
进一步地,所述根据所述大气亮度值和所述传输函数修正所述原始图像每个像素的三原色值,得到去雾图像的步骤之前还包括步骤:
对所述大气亮度值和传输函数作增采样处理。
由于所述大气亮度值和所述传输函数是依靠降采样过的图像计算得出的,虽然大气亮度值和所述传输函数是矩阵,与降采样后的图像每一像素点一一对应,但最终去雾修正时用的是原始图像,使所述大气亮度值和所述传输函数与原始图像也一一对应,更有利于使画面亮度过渡得更加平顺。其中,增采样的方式可以是双线性插值。
进一步地,所述根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数的步骤包括:
根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值;
根据所述暗通道图像和所述大气亮度值计算三原色通道的传输函数。
更进一步地,所述根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值的步骤包括:
计算所述原始图像单通道下的图像均值;
找出所述暗通道图像中最亮的1%的像素在所述原始图像中的对应位置;
找出所述对应位置中亮度最高的灰阶作为第一亮度值;
获取所述原始图像在该单通道下一个像素点的像素值作为第一像素值;
根据所述第一像素值偏离所述图像均值的程度计算该像素点的权重;
根据所述第一亮度值、所述第一像素值和所述权重计算该像素点在该单通道下的大气亮度值。
该方案中对经典去雾算法的大气亮度值的计算逻辑也作了改进,可得到鲁棒性很好的大气亮度值,对于视频图像中出现的噪声和过曝点均有很好得抑制能力。
优选地,所述的内窥镜图像实时去雾方法适用于4K图像,所述预设像素距离为5-29,所述预设频率为0.02-0.08,可以在保证去雾效果的前提下使4K图像低延迟地输出。
第二方面,本申请提供一种内窥镜图像实时去雾装置,包括:
第一获取模块,用于获取内窥镜采集的原始图像;
暗通道生成模块,用于获取所述原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;统计所述固定窗内每个所述最小灰阶的出现频率;将待处理像素的灰阶更改为第一灰阶;更改每一待处理像素的灰阶得到暗通道图像;所述第一灰阶为所述固定窗内出现频率大于预设频率的所述最小灰阶中灰度最低的一个;
计算模块,用于根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数;
修正模块,用于根据所述大气亮度值和所述传输函数修正所述原始图像每个像素的三原色值,得到去雾图像。
第三方面,本申请提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如第一方面所述方法中的步骤。
第四方面,本申请提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如第一方面所述方法中的步骤。
本发明的有益效果是:本发明的内窥镜图像实时去雾方法改变了经典去雾算法中生成暗通道的逻辑,适应了内窥镜影响的特点,避免去雾图像出现瓦片状阴影,并减少去雾图像的光晕,且无需对传输函数进行导向滤波或双边滤波处理,有利于减少去雾过程中的计算量,实现实时为视频去雾,且能提高视频去雾后的画面质量。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是某次手术中用内窥镜拍摄到的原始图像。
图2是图1经过经典去雾算法中的暗通道处理后得到的暗通道图像。
图3是图1经过本发明的实时去雾方法中的暗通道处理后得到的暗通道图像。
图4是对某次实验中一张内窥镜拍摄得到的图像用现有技术方法计算出大气亮度值后合成得到的伪像。
图5是对与图4同一张原图用本发明实施例改进方法计算出大气亮度值后合成得到的伪像。
图6是内窥镜拍摄光线不均匀室内场景得到的图像用现有技术方法计算出大气亮度值后合成得到的伪像。
图7是对与图6同一张原图用本发明实施例改进方法计算出大气亮度值后合成得到的伪像。
图8是某次手术中用内窥镜拍摄到的有雾的图像。
图9是用本发明处理图8后得到的去雾图像。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。
经典的大气散射模型公式如下:
Figure 904725DEST_PATH_IMAGE001
;式1
其中,x代表图像每个像素;I(x)为正常获取的带雾图像;J(x)为待求的无雾图像;t(x)为传输函数,可理解为光线穿透雾气的能力,如t(x)=1表示物体反射出的光线到达镜头时完全没有衰减,t(x)=0.7表示光线到达镜头时亮度衰减为在物体表面反射时的70%,t(x)=0表示到达镜头的光线完全是大气散射;A为大气亮度值,或称全局大气光,可理解为环境光。
经典去雾算法中假设,如果某个RGB图像的非天空区域无雾,则该图像每个像素RGB三个通道的最小值为0或极接近于0,例如黄色的花在图像中蓝色成分极少,绿色的叶红色和蓝色的成分极少。经典去雾算法中暗通道的生成方法如式2:
Figure 124354DEST_PATH_IMAGE002
其中
Figure 980314DEST_PATH_IMAGE004
表示原始图像的暗通道,c表示三原色通道(r表示红色通道,g表示绿色通道,b表示蓝色通道),Ω(x)表示以目标像素x为中心的局部区域,
Figure 943591DEST_PATH_IMAGE006
表示原始图像的单通道图像。
经典去雾算法中的暗通道先验指的是假定无雾图像的暗通道为0,即如式3:
Figure 303028DEST_PATH_IMAGE007
其中
Figure 693558DEST_PATH_IMAGE009
表示无雾图像的暗通道,
Figure 771236DEST_PATH_IMAGE011
表示无雾图像的单通道图像。
将式3代入式1,即令J(x)=
Figure 42598DEST_PATH_IMAGE009
=0,变形后得到式4:
Figure 522121DEST_PATH_IMAGE012
估算大气亮度值的方法有很多,例如直接选原始图像中最亮的一点,通常会是天空,天空的图像正是完全由光线散射形成,可将该点的t(x)视为0,即可得出A作为全局(因为经典去雾算法针对的是户外摄影,画面各处环境光大致相等)的大气亮度值。经典去雾算法为了避免选到白色的物体而非天空,从原始图像的暗通道
Figure 83552DEST_PATH_IMAGE009
中选取最亮的前0.1%的点,这些点对应到原始图像中再去找最亮的点的亮度值作为A。
将式1变形得到式5:
Figure 648526DEST_PATH_IMAGE013
设置
Figure 953605DEST_PATH_IMAGE015
是为了避免分母变成0使算法出错,通常使
Figure 287634DEST_PATH_IMAGE015
等于一个非0的很小的正数,例如0.01。观察式5可以发现,I(x)是相机提供的,A和t(x)可以计算得出,那就能计算J(x),修正得到无雾图像。
如图1是某次手术中用内窥镜拍摄到的画面,对图1进行降采样,用式2处理降采样后的图1得到的暗通道图像如图2(仅用于直观表示暗通道处理后的像素数值变化,实际应用中不会显示出来)所示。可以从图2中看出,用经典去雾算法的暗通道生成方法会导致最终去雾后的图像存在光晕,或者瓦片状阴影,为了克服这种缺陷,现有技术对传输函数t(x)进行导向滤波或者双边滤波。导向滤波或双边滤波处理后虽然可以克服瓦片状阴影,但却不适用于内窥镜实时影像,因为导向滤波或双边滤波时会占用很多资源,处理静态图片没有问题,但处理实时影像会产生强烈的延迟,严重影响手术的进行,一直追求轻量、低发热的内窥镜又难以提供更多资源用于图像运算。
本发明针对内窥镜图像基于暗通道先验算法进行了特殊改进,使得整个算法流程通过暗通道和大气亮度值所计算的传输函数平滑度明显提升,传输函数不用导向滤波或双边滤波可直接对图像进行去雾,最终去雾后的图像无光晕,且去雾效果相对于原方案明显提升。
实施例1
本发明提供的一种内窥镜图像实时去雾方法,包括以下步骤:
S11:获取内窥镜采集的原始图像。
S12:对原始图像作暗通道处理,得到暗通道图像。
S13:根据原始图像和暗通道图像计算三原色通道的大气亮度值和传输函数。
S14:根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
其中,步骤S12的展开步骤包括:
S121:获取原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶。
S122:统计固定窗内每个最小灰阶的出现频率。
S123:将待处理像素的灰阶更改为第一灰阶;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个。
重复执行步骤S121-步骤S123直至历遍原始图像的所有像素点。
本发明的内窥镜图像实时去雾方法改变了经典去雾算法中生成暗通道的逻辑,适应了内窥镜影像的特点,避免去雾图像出现瓦片状阴影,并减少去雾图像的光晕,且无需对传输函数进行导向滤波或双边滤波处理,有利于减少去雾过程中的计算量,实现实时为视频去雾,且能提高视频去雾后的画面质量。
实施例2
内窥镜图像实时去雾方法包括以下步骤:
S21:获取内窥镜采集的原始图像。
S22:对原始图像作降采样处理,得到降采样图像。
S23:对降采样图像作暗通道处理,得到暗通道图像。
S24:根据降采样图像和暗通道图像计算三原色通道的大气亮度值和传输函数。
S25:根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
其中,步骤S23的展开步骤包括:
S231:获取降采样图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶。
S232:统计固定窗内每个最小灰阶的出现频率。
S233:将待处理像素的灰阶更改为第一灰阶;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个。
重复执行步骤S231-步骤S233直至历遍降采样图像的所有像素点。
原始图像经降采样处理后才进行暗通道处理,相当于t(x)和A都是基于降采样图像计算的,进一步减少去雾过程中的运算量,减少画面延迟。利用本实施例中生成暗通道的特殊筛选方法有利于抑制降采样导致分辨率下降对生成传输函数时的不良影响。
本发明中暗通道处理的公式可表示为式6:
Figure 19967DEST_PATH_IMAGE016
其中y表示固定窗,
Figure 72237DEST_PATH_IMAGE018
表示原始图像单通道下在固定窗内的像素,
Figure 416893DEST_PATH_IMAGE020
表示转换函数,其具体计算方法为,对单通道图像任意像素x,以x为中心,patch为半径获取x的固定窗下的领域像素值,并统计固定窗内领域像素的灰度频数h(n),其中n为灰阶(如256色情景下n的取值范围为0-255)。设固定窗边长为M(如patch取25,则M为51),则固定窗内像素总量为M*M,计算固定窗内灰阶累计出现频率G(n)如式7:
Figure 871008DEST_PATH_IMAGE021
其中max表示当前图像格式的最高灰阶,如256色即max=255。
设概率阈值
Figure 774242DEST_PATH_IMAGE023
, 从0灰阶开始到最高灰阶,统计
Figure 313807DEST_PATH_IMAGE025
的最低灰阶
Figure 695110DEST_PATH_IMAGE027
,则
Figure 3732DEST_PATH_IMAGE029
返回
Figure 343446DEST_PATH_IMAGE027
作为x位置的暗通道。对图1作降采样处理,对经过降采样处理后的图1的每个像素都作如式6的暗通道处理,得到的暗通道图像如图3所示。对比图2和图3(图2和图3降采样的比例一致)可以看出,本发明得到的图像具有局部区域平滑,抑制噪声等特点,可有效改善原暗通道计算方法存在明显光晕边界,视频流图像中暗通道不连续等问题。
实施例3
内窥镜图像实时去雾方法包括以下步骤:
S31:获取内窥镜采集的原始图像。
S32:对原始图像作暗通道处理,得到暗通道图像。
S33:根据原始图像和暗通道图像计算三原色通道每一像素的大气亮度值和传输函数。
S34:根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
其中,步骤S32的展开步骤包括:
S321:获取原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶。
S322:统计固定窗内每个最小灰阶的出现频率。
S323:将待处理像素的灰阶更改为第一灰阶;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个。
重复执行步骤S321-步骤S323直至历遍原始图像的所有像素点。
实施例4
内窥镜图像实时去雾方法包括以下步骤:
S41:获取内窥镜采集的原始图像。
S42:对原始图像作降采样处理,得到降采样图像。
S43:对降采样图像作暗通道处理,得到暗通道图像。
S44:根据降采样图像和暗通道图像计算三原色通道每一像素的大气亮度值和传输函数。
S45:根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
其中,步骤S43的展开步骤包括:
S431:获取降采样图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶。
S432:统计固定窗内每个最小灰阶的出现频率。
S433:将待处理像素的灰阶更改为第一灰阶;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个。
重复执行步骤S431-步骤S433直至历遍降采样图像的所有像素点。
实施例3为每个通道的每个像素都计算一个大气亮度值和传输函数,实施例4按降采样后的分辨率为每个像素都计算一个大气亮度值和传输函数,均有利于使画面亮度过渡得更加平顺。
经典去雾算法中大气亮度值计算的方法是通过一定方法,对每个通道图像统计一个大气亮度值。由于内窥镜图像没有天空,存在明显的亮度值偏高,局部亮度不均匀等特点,经典去雾算法中计算A的方法在内窥镜图像处理中效果不佳。也有专利(公开号CN114022397A)提出采用三通道亮度拟合的方法来计算大气亮度值,使得所计算的大气亮度值符合内窥镜图像特征。但在视频去雾的过程中,由于内窥镜图像中经常出现过曝或者暗电流等噪声,当噪声较为明显的时候,直接采用像素拟合的方法容易扩大噪声区域与信号区域的大气亮度值的差,从而导致去雾后图像噪声区在实时去雾后出现闪烁的现象。针对该问题,本发明结合内窥镜图像特点,对大气亮度值计算也作了改进,具体如实施例5和实施例6。
实施例5
内窥镜图像实时去雾方法,包括以下步骤:
S51:获取内窥镜采集的原始图像。
S52:对原始图像作暗通道处理,得到暗通道图像。
S53:根据原始图像和暗通道图像计算三原色通道的大气亮度值和传输函数。
S54:根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
其中,步骤S52的展开步骤包括:
S521:获取原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶。
S522:统计固定窗内每个最小灰阶的出现频率。
S523:将待处理像素的灰阶更改为第一灰阶;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个。
重复执行步骤S521-步骤S523直至历遍原始图像的所有像素点。
其中,步骤S53的展开步骤包括:
S531:计算原始图像单通道下的图像均值。
S532:找出暗通道图像中最亮的1%的像素在原始图像中的对应位置。
S533:找出对应位置中亮度最高的灰阶作为第一亮度值。
S534:获取原始图像在该单通道下一个像素点的像素值作为第一像素值。
S535:根据第一像素值偏离图像均值的程度计算该像素点的权重。
S536:根据第一亮度值、第一像素值和权重计算该像素点在该单通道下的大气亮度值。
S537:根据暗通道图像和大气亮度值计算三原色通道的传输函数。
实施例6
内窥镜图像实时去雾方法包括以下步骤:
S61:获取内窥镜采集的原始图像。
S62:对原始图像作降采样处理,得到降采样图像。
S63:对降采样图像作暗通道处理,得到暗通道图像。
S64:根据降采样图像和暗通道图像计算三原色通道的大气亮度值和传输函数。
S65:根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
其中,步骤S63的展开步骤包括:
S631:获取降采样图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶。
S632:统计固定窗内每个最小灰阶的出现频率。
S633:将待处理像素的灰阶更改为第一灰阶;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个。
重复执行步骤S631-步骤S632直至历遍降采样图像的所有像素点。
其中,步骤S64的展开步骤包括:
S641:计算降采样图像单通道下的图像均值。
S642:找出暗通道图像中最亮的1%的像素在原始图像中的对应位置。
S643:找出对应位置中亮度最高的灰阶作为第一亮度值。
S644:获取降采样图像在该单通道下一个像素点的像素值作为第一像素值。
S645:根据第一像素值偏离图像均值的程度计算该像素点的权重。
S646:根据第一亮度值、第一像素值和权重计算该像素点在该单通道下的大气亮度值。
S647:根据暗通道图像和大气亮度值计算三原色通道的传输函数。
对每个通道的图像计算大气亮度值,计算方法如式8和式9:
Figure 104729DEST_PATH_IMAGE030
Figure DEST_PATH_IMAGE031
其中,
Figure DEST_PATH_IMAGE033
为图像均值(在本实施例中是降采样图像的图像均值,若套入实施例5中则是原始图像的图像均值);std为图像标准差(在本实施例中是降采样图像的图像标准差,若套入实施例5中则是原始图像的图像标准差);
Figure DEST_PATH_IMAGE035
为图像暗通道图像亮度前1%像素对应原始图像的像素最高亮度值,即经典去雾算法中的大气亮度值;
Figure DEST_PATH_IMAGE037
为拟合后c通道的大气亮度值;
Figure DEST_PATH_IMAGE039
为权重。
虽然大气亮度值在整个去雾算法中只是一个中间数值,但由于本实施例和CN114022397A都可以计算每一通道每一像素的大气亮度值,因此三个通道的每个像素的大气亮度值可以组合出一幅伪像(仅用于直观表示大气亮度值,实际应用中不会显示出来),该伪像可直观地体现本申请改进大气亮度值计算方法后的效果。利用CN114022397A中大气亮度值的计算方法处理某次手术中内窥镜拍摄的图像,将三个通道的每个像素的大气亮度值组合出一幅伪像如图4所示;对同一张原图采用实施例6的方法计算出大气亮度值,将三个通道的每个像素的大气亮度值组合出一幅伪像如图5所示。对比图4和图5可以看出,图4亮度最高的地方比图5亮度最高的地方更高,图4亮度最低的地方比图5亮度最低的地方更低,图5的亮度更加均匀,因此,本实施例计算出的大气亮度值抑制过曝和噪点的能力更强,在实时视频影像中不会在去雾后出现画面闪烁。另外,利用CN114022397A中大气亮度值的计算方法处理某张室内拍摄的图像,将三个通道的每个像素的大气亮度值组合出一幅伪像如图6所示;对同一张原图采用实施例6的方法计算出大气亮度值,将三个通道的每个像素的大气亮度值组合出一幅伪像如图7所示。对比图6和图7可以发现,除了图6亮度最高的地方比图7亮度最高的地方更高,图6亮度最低的地方比图7亮度最低的地方更低外,在亮度非常不均匀的场景中,采用CN114022397A中大气亮度值的计算方法会使得部分相邻位置的大气亮度值相差很远,体现在图6的伪像中即为波纹状层级,而图7不存在这种情形,因此本实施例,计算出的大气亮度值抑制过曝和噪点的能力更强,除雾后的画面各处亮度过渡更加平顺。
步骤S647具体为,在求得大气亮度值
Figure 381733DEST_PATH_IMAGE037
后,将暗通道图像
Figure DEST_PATH_IMAGE041
和大气亮度值
Figure 138336DEST_PATH_IMAGE037
代入式4,得到式10:
Figure 150417DEST_PATH_IMAGE042
由此可算得每个通道每个像素的传输函数
Figure 398996DEST_PATH_IMAGE044
在一些实施例中,往式10引入去雾强度因子w,得到式11:
Figure DEST_PATH_IMAGE045
w用于调节去雾强度,当w取1时,会导致图像饱和度过高,反而不利于医生观察,因此w常取0.65-0.85,更接近人眼平时看无雾景物的视觉感受。
实施例7
内窥镜图像实时去雾方法包括以下步骤:
S71:获取内窥镜采集的原始图像。
S72:对原始图像作降采样处理,得到降采样图像。
S73:对降采样图像作暗通道处理,得到暗通道图像。
S74:根据降采样图像和暗通道图像计算三原色通道的大气亮度值和传输函数。
S75:对大气亮度值和传输函数作增采样处理。
S76:根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
其中,步骤S73的展开步骤包括:
S731:获取降采样图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶。
S732:统计固定窗内每个最小灰阶的出现频率。
S733:将待处理像素的灰阶更改为第一灰阶;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个。
重复执行步骤S731-步骤S733直至历遍降采样图像的所有像素点。
其中,步骤S74的展开步骤包括:
S741:计算原始图像单通道下的图像均值。
S742:找出暗通道图像中最亮的1%的像素在原始图像中的对应位置。
S743:找出对应位置中亮度最高的灰阶作为第一亮度值。
S744:获取原始图像在该单通道下一个像素点的像素值作为第一像素值。
S745:根据第一像素值偏离图像均值的程度计算该像素点的权重。
S746:根据第一亮度值、第一像素值和权重计算该像素点在该单通道下的大气亮度值。
S747:对大气亮度值进行高斯滤波,得到新的大气亮度值。
S748:根据暗通道图像和大气亮度值计算三原色通道的传输函数。
由于大气亮度值和传输函数是依靠降采样过的图像计算得出的,虽然大气亮度值和传输函数是矩阵,与降采样后的图像每一像素点一一对应,但最终去雾修正时用的是原始图像,例如降采样比例是9:1的话,算出的一组大气亮度值和传输函数实际上对应原始图像中9个像素,对大气亮度值和传输函数作增采样处理可以使大气亮度值和传输函数与原始图像也一一对应,更有利于使画面亮度过渡得更加平顺。其中,增采样的方式可以是双线性插值。
各实施例的最后,将算得的大气亮度值、传输函数代入式5中即可修正得到去雾图像。例如,将传输函数
Figure 122101DEST_PATH_IMAGE044
和大气亮度值
Figure 264369DEST_PATH_IMAGE037
代入式5得到式12:
Figure 821253DEST_PATH_IMAGE046
通过式12可算得单通道修正的图像
Figure 681761DEST_PATH_IMAGE048
,将三个通道的单通道修正图像组合在一起就得到修正后的彩色图像。特别地,实施例7代入式12中时,
Figure 349503DEST_PATH_IMAGE037
Figure 862391DEST_PATH_IMAGE044
分别是增采样后的大气亮度值和传输函数。
某次手术中的有雾图像如图8(图2和图3本身就是灰度图,其余附图本身为彩图)所示,经实施例7处理后得到的结果如图9所示,证明本申请的方法无需导向滤波或双边滤波就能得到光影自然过渡的去雾图像,有利于抑制过曝和噪声。
本申请提供一种内窥镜图像实时去雾装置,包括:
第一获取模块,用于获取内窥镜采集的原始图像;
暗通道生成模块,用于获取原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;统计固定窗内每个最小灰阶的出现频率;将待处理像素的灰阶更改为第一灰阶;更改每一待处理像素的灰阶得到暗通道图像;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个;
计算模块,用于根据原始图像和暗通道图像计算三原色通道的大气亮度值和传输函数;
修正模块,用于根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
优选地,该内窥镜图像实时去雾装置还包括:
降采样模块,用于对原始图像作降采样处理,得到降采样图像;
增采样模块,用于对大气亮度值和传输函数作增采样处理。
本申请提供一种电子设备,包括:处理器和存储器,处理器和存储器通过通信总线和/或其他形式的连接机构互连并相互通讯,存储器存储有处理器可执行的计算机程序,当计算设备运行时,处理器执行该计算机程序,以执行时执行上述实施例的任一可选的实现方式中的方法,以实现以下功能:获取内窥镜采集的原始图像;获取原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;统计固定窗内每个最小灰阶的出现频率;将待处理像素的灰阶更改为第一灰阶;更改每一待处理像素的灰阶得到暗通道图像;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个;根据原始图像和暗通道图像计算三原色通道的大气亮度值和传输函数;根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。
本申请实施例提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时,执行上述实施例的任一可选的实现方式中的方法,以实现以下功能:获取内窥镜采集的原始图像;获取原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;统计固定窗内每个最小灰阶的出现频率;将待处理像素的灰阶更改为第一灰阶;更改每一待处理像素的灰阶得到暗通道图像;第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个;根据原始图像和暗通道图像计算三原色通道的大气亮度值和传输函数;根据大气亮度值和传输函数修正原始图像每个像素的三原色值,得到去雾图像。其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory, 简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory, 简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory, 简称EPROM),可编程只读存储器(Programmable Red-Only Memory, 简称PROM),只读存储器(Read-Only Memory, 简称ROM),磁存储器,快闪存储器,磁盘或光盘。
本发明的实施例中解决了基于暗通道先验算法所计算的暗通道需要额外平滑模块进行平滑导致效率低下的问题,采用改进的暗通道计算和改进的大气亮度值计算,可以直接移除传输函数平滑模块,资源相较于之前降低50%以上,使得该方法在资源紧张的内窥镜硬件平台上实现成为可能。本发明的实施例通过特殊的暗通道和大气亮度值计算方法,使得去雾流程中传输函数于大气亮度值与固定窗内像素强相关,从而有效提高去雾方法的抗干扰能力,提高视频去雾效果。本发明的实施例十分适用于硬件平台,相较于现有算法资源明显降低,通过降采样计算传输函数和大气亮度值等参数,再升采样完成去雾,可完成超高清图像实时去雾,且去雾效果明显。
在本说明书的描述中,参考术语“一个实施方式”“某些实施方式”“示意性实施方式”“示例”“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种内窥镜图像实时去雾方法,其特征在于,包括以下步骤:
获取内窥镜采集的原始图像;
对所述原始图像作暗通道处理,得到暗通道图像;
根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数;
根据所述大气亮度值和所述传输函数修正所述原始图像每个像素的三原色值,得到去雾图像;
其中,所述暗通道处理的步骤包括:
获取所述原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;
统计所述固定窗内每个所述最小灰阶的出现频率;
将待处理像素的灰阶更改为第一灰阶;所述第一灰阶为所述固定窗内出现频率大于预设频率的所述最小灰阶中灰度最低的一个;
更改每一所述待处理像素的灰阶得到所述暗通道图像。
2.根据权利要求1所述的内窥镜图像实时去雾方法,其特征在于,所述对所述原始图像作暗通道处理的步骤包括:
对所述原始图像作降采样处理,得到降采样图像;
获取所述降采样图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;
统计所述固定窗内每个所述最小灰阶的出现频率;
将待处理像素的灰阶更改为第一灰阶;所述第一灰阶为所述固定窗内出现频率大于预设频率的所述最小灰阶中灰度最低的一个;
所述根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数的步骤包括:
根据所述降采样图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数。
3.根据权利要求2所述的内窥镜图像实时去雾方法,其特征在于,所述根据所述降采样图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数的步骤包括:
根据所述降采样图像和所述暗通道图像计算三原色通道每一像素的大气亮度值和传输函数。
4.根据权利要求3所述的内窥镜图像实时去雾方法,其特征在于,所述根据所述大气亮度值和所述传输函数修正所述原始图像每个像素的三原色值,得到去雾图像的步骤之前还包括步骤:
对所述大气亮度值和传输函数作增采样处理。
5.根据权利要求1所述的内窥镜图像实时去雾方法,其特征在于,所述根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数的步骤包括:
根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值;
根据所述暗通道图像和所述大气亮度值计算三原色通道的传输函数。
6.根据权利要求5所述的内窥镜图像实时去雾方法,其特征在于,所述根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值的步骤包括:
计算所述原始图像单通道下的图像均值;
找出所述暗通道图像中最亮的1%的像素在所述原始图像中的对应位置;
找出所述对应位置中亮度最高的灰阶作为第一亮度值;
获取所述原始图像在该单通道下一个像素点的像素值作为第一像素值;
根据所述第一像素值偏离所述图像均值的程度计算该像素点的权重;
根据所述第一亮度值、所述第一像素值和所述权重计算该像素点在该单通道下的大气亮度值。
7.根据权利要求1所述的内窥镜图像实时去雾方法,其特征在于,适用于4K图像,所述预设像素距离为5-29,所述预设频率为0.02-0.08。
8.一种内窥镜图像实时去雾装置,其特征在于,包括:
第一获取模块,用于获取内窥镜采集的原始图像;
暗通道生成模块,用于获取所述原始图像中以待处理像素为中心,预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶;统计所述固定窗内每个所述最小灰阶的出现频率;将待处理像素的灰阶更改为第一灰阶;更改每一待处理像素的灰阶得到暗通道图像;所述第一灰阶为所述固定窗内出现频率大于预设频率的所述最小灰阶中灰度最低的一个;
计算模块,用于根据所述原始图像和所述暗通道图像计算三原色通道的大气亮度值和传输函数;
修正模块,用于根据所述大气亮度值和所述传输函数修正所述原始图像每个像素的三原色值,得到去雾图像。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-7任一所述方法中的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-7任一所述方法中的步骤。
CN202210815366.9A 2022-07-12 2022-07-12 内窥镜图像实时去雾方法、装置、电子设备、存储介质 Active CN114881896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210815366.9A CN114881896B (zh) 2022-07-12 2022-07-12 内窥镜图像实时去雾方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210815366.9A CN114881896B (zh) 2022-07-12 2022-07-12 内窥镜图像实时去雾方法、装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN114881896A CN114881896A (zh) 2022-08-09
CN114881896B true CN114881896B (zh) 2022-10-04

Family

ID=82682695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210815366.9A Active CN114881896B (zh) 2022-07-12 2022-07-12 内窥镜图像实时去雾方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114881896B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116193231B (zh) * 2022-10-24 2023-07-18 成都与睿创新科技有限公司 用于处理微创手术视野异常的方法及系统
CN118411642B (zh) * 2024-07-02 2024-09-10 贵州师范大学 基于无人机影像的彩钢板建筑识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020921A (zh) * 2013-01-10 2013-04-03 厦门大学 基于局部统计信息的单幅图像去雾方法
CN103500440A (zh) * 2013-09-27 2014-01-08 中国人民解放军空军工程大学 一种去除大气退化图像云雾的方法
CN104299195A (zh) * 2014-10-08 2015-01-21 南京邮电大学 一种基于自适应双阈值与暗通道先验的图像去雾方法
CN105809643A (zh) * 2016-03-14 2016-07-27 浙江外国语学院 一种基于自适应块通道拉伸的图像增强方法
JP2017138647A (ja) * 2016-02-01 2017-08-10 三菱電機株式会社 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
CN108765336A (zh) * 2018-05-25 2018-11-06 长安大学 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN111667433A (zh) * 2020-06-09 2020-09-15 中国电子科技集团公司第五十四研究所 一种基于简单线性迭代聚类优化的无人机图像去雾方法
CN114022397A (zh) * 2022-01-06 2022-02-08 广东欧谱曼迪科技有限公司 一种内窥镜图像去雾方法、装置、电子设备及存储介质
CN114066780A (zh) * 2022-01-17 2022-02-18 广东欧谱曼迪科技有限公司 4k内窥镜图像去雾方法、装置、电子设备及存储介质
CN114240789A (zh) * 2021-12-21 2022-03-25 华南农业大学 一种基于优化的保持亮度的红外图像直方图均衡增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112406788B (zh) * 2019-08-23 2022-06-24 华为技术有限公司 车窗自动清洁方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020921A (zh) * 2013-01-10 2013-04-03 厦门大学 基于局部统计信息的单幅图像去雾方法
CN103500440A (zh) * 2013-09-27 2014-01-08 中国人民解放军空军工程大学 一种去除大气退化图像云雾的方法
CN104299195A (zh) * 2014-10-08 2015-01-21 南京邮电大学 一种基于自适应双阈值与暗通道先验的图像去雾方法
JP2017138647A (ja) * 2016-02-01 2017-08-10 三菱電機株式会社 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
CN105809643A (zh) * 2016-03-14 2016-07-27 浙江外国语学院 一种基于自适应块通道拉伸的图像增强方法
CN108765336A (zh) * 2018-05-25 2018-11-06 长安大学 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN111667433A (zh) * 2020-06-09 2020-09-15 中国电子科技集团公司第五十四研究所 一种基于简单线性迭代聚类优化的无人机图像去雾方法
CN114240789A (zh) * 2021-12-21 2022-03-25 华南农业大学 一种基于优化的保持亮度的红外图像直方图均衡增强方法
CN114022397A (zh) * 2022-01-06 2022-02-08 广东欧谱曼迪科技有限公司 一种内窥镜图像去雾方法、装置、电子设备及存储介质
CN114066780A (zh) * 2022-01-17 2022-02-18 广东欧谱曼迪科技有限公司 4k内窥镜图像去雾方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Single Image Dehazing Based on Improved Dark Channel Prior and Unsharp Masking Algorithm;LiTing Peng et al.;《ICIC 2018》;20180706;第347-358页 *
图像去雾算法研究进展;蒋华伟等;《吉林大学学报(工学版)》;20210731;第51卷(第4期);第1169-1181页 *
基于暗原色先验的图像去雾算法研究;陈俊君;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20170315(第03期);第I138-4118页 *

Also Published As

Publication number Publication date
CN114881896A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114881896B (zh) 内窥镜图像实时去雾方法、装置、电子设备、存储介质
CN110619593B (zh) 一种基于动态场景的双曝光视频成像系统
US8830341B2 (en) Selection of an optimum image in burst mode in a digital camera
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
US20150195441A1 (en) Image Processing Method and Apparatus
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
US20050013506A1 (en) Image processing method and apparatus
KR20100099686A (ko) 화상 처리 장치 및 방법, 프로그램, 및 기록 매체
KR20060070557A (ko) 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램
CN107533756B (zh) 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质
JP4066803B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
CN110910319B (zh) 一种基于大气散射模型的手术视频实时去雾增强方法
CN110599418B (zh) 一种变换域融合的全局色调映射方法
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN114066780A (zh) 4k内窥镜图像去雾方法、装置、电子设备及存储介质
CN114187192A (zh) 一种基于多曝光融合的图像处理方法
CN108765361A (zh) 一种自适应的全色与多光谱图像融合方法
CN110782400A (zh) 一种自适应的光照均匀实现方法和装置
TWI551141B (zh) A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels
JP2004078652A (ja) 画像処理装置および画像処理方法
WO2022158010A1 (ja) 画像処理方法
JP2013179485A (ja) 画像処理装置及びその制御方法
CN115578273A (zh) 图像多帧融合的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration)

Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd.

Address before: 528251 room 503, floor 5, building a, Jingu Zhichuang industrial community, No. 2, Yong'an North Road, Dawei community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province

Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address