CN117455780A - 内镜暗场图像的增强方法、装置、电子设备及存储介质 - Google Patents
内镜暗场图像的增强方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117455780A CN117455780A CN202311806163.4A CN202311806163A CN117455780A CN 117455780 A CN117455780 A CN 117455780A CN 202311806163 A CN202311806163 A CN 202311806163A CN 117455780 A CN117455780 A CN 117455780A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- original image
- brightness
- illumination component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000005286 illumination Methods 0.000 claims description 85
- 238000004364 calculation method Methods 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000002708 enhancing effect Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 13
- 230000007704 transition Effects 0.000 abstract description 12
- 230000008901 benefit Effects 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000005282 brightening Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了内镜暗场图像的增强方法、装置、电子设备及存储介质，应用于图像处理技术领域，通过在为每一个像素计算二维伽马值时，考虑亮区区域的像素，保证增强之后的增强图像中暗区区域具有与亮区区域相似的亮度，使增强之后的增强图像具备亮暗过渡自然，亮区区域不会过曝，与原始图像相比，增强图像在视觉上无明显变化的优点。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及内镜暗场图像的增强方法、装置、电子设备及存储介质。
背景技术
相比于传统外科手术，内窥镜手术具有康复时间短、伤疤小等优势。随着科技的不断进步以及临床应用的实际需求，内窥镜镜体的尺寸具有越来越严格的要求。这直接体现在镜头的进光量越来越低，从而导致场景整体亮度偏暗。另外，由于组织之间相互遮挡以及环境光照条件多变等，同一个手术场景下，经常存在亮暗不均匀的情况，主要表现为图像中亮的区域光线足够或者过强而暗的区域照度不足，从而导致一些重要的细节信息无法凸显。所以要在上述条件下获得高质量的图像，暗部增强尤为关键。
目前主流的暗场增强算法主要包括Retinex算法、直方图均衡化、MBLLEN算法以及Lime算法等。对于Retinex算法，其核心思想是以颜色恒常性为基础，能够增强图像的亮度信息。但是该算法的通常会使图像在亮度突变的地方产生光晕；直方图均衡化法因其具有算法简单、运算量小的优点被广泛用于图像增强处理，但是对光照不均匀图像处理结果存在过增强、色彩失真和灰阶突变处噪声放大等问题；MBLLEN算法是一个多分支低光照图像增强网络，该算法的核心思想是在不同等级中提取出丰富的图像特征，其可以获得更加自然的增强效果，但是光对比度强时亮部较易过曝；LIME算法能够较好地处理一些低光照图片，但是处理后的图像与原图像相比色差较大。
故而现有的图像增强技术中存在图像的亮区和暗区无法分别处理，且会对原始图像造成明显的视觉变化，包括颜色改变或对比度过于明显，进而导致医生无法获得优质的图像进行诊断。
发明内容
鉴于上述现有技术的不足之处，本申请提供的内镜暗场图像的增强方法、装置、电子设备及存储介质，应用于图像处理技术领域，通过在为每一个像素计算二维伽马值时，考虑亮区区域的像素，保证增强之后的增强图像中暗区区域具有与亮区区域相似的亮度，使增强之后的增强图像具备亮暗过渡自然，亮区区域不会过曝，与原始图像相比，增强图像在视觉上无明显变化的优点。
第一方面，本申请提供一种内镜暗场图像的增强方法，方法包括步骤：
S1：获取原始图像的亮度V，并根据亮度V提取光照分量；
S2：根据光照分量划分原始图像中的亮区区域，并计算亮区区域中像素的均值/>；
S3：根据均值以及光照分量/>计算二维伽马值γ；
S4：根据二维伽马值γ对原始图像进行增强，得到第一增强图像。
本申请提供的一种内镜暗场图像的增强方法通过先获取原始图像的亮度V，而后可根据亮度V提取原始图像的光照分量，通过光照分量/>的值可以将原始图像中的亮区区域与暗区区域划分开，便于后续对亮区区域以及暗区区域的图像进行分开处理，避免全局提亮后，亮区区域曝光影响视觉观测效果。划分亮区区域后，可计算亮区区域中的像素均值，使亮区区域的增强效果提升较小，避免亮区区域发生曝光。而后根据均值/>和光照分量计算出二维伽马值γ，该二维伽马值γ的计算考虑到了亮区区域的像素，在使用该二维伽马值γ对原始图像进行增强时，暗区区域具有与亮区区域相似的亮度，增强之后的增强图像具备亮暗过渡自然，亮区区域不会过曝，与原始图像相比，增强图像在视觉上无明显变化的优点。
进一步地，步骤S1包括：
S11：根据亮度V获取原始图像中每一个像素点的亮度值/>；
S12：对亮度值进行均值模糊计算并提取光照分量/>，光照分量/>的提取函数表达式为：/>=/>*/>，其中/>表示均值模糊处理，/>为光照分量/>。
本申请提出的一种内镜暗场图像的增强方法，根据亮度V获取原始图像中每一个像素点的亮度值/>，根据现有技术中照度-反射成像模型原理，可见光范围内所成的像是由于光入射场景，物体表面对光反射到达成像单元后产生的，即/>由照射到原始图像的照度分量/>与经原始图像反射后的反射分量/>乘积构成，其表达式为：/>。由于照度分量/>表征图像的低频特性整体变换平缓，反射分量/>表征了图像的高频信息如边缘、纹理等，其变化比较剧烈，因此希望提取出的光照分量/>只包含光照变化信息而不包括图像的细节信息，可以选择对原始图像的亮度值/>进行均值模糊处理，可以有效地实现光照变化而不带有细节信息，非常符合对光照分量/>提取的特征要求。其中，需要注意的是，本申请中的光照分量/>是照度分量/>'经过均值模糊处理计算得到的结果，但在实质上，照度分量/>'与光照分量/>均表示图像的低频特性（即图像的结构信息），本申请为了使方案更加易于理解，使用了光照分量/>与照度分量/>'两个不同的名称对同一概念加以区分，避免歧义。
进一步地，步骤S2包括：
S21：根据光照分量确定原始图像的分区阈值/>；
S22：根据分区阈值划分原始图像的亮区区域；
S23：对亮区区域进行均值处理，得到亮区区域中像素的均值，均值/>的计算公式为/>，其中/>为均值计算函数，/>为求和函数。
本申请提出的一种内镜暗场图像的增强方法，根据光照分量可以确定原始图像的分区阈值/>，/>实际是原始图像的每个像素的光照分量/>的平均值，当该像素的光照分量/>小于/>时，该像素被划分为暗区区域，当该像素的光照分量/>大于等于/>时，该像素被划分为亮区区域，遍历整幅原始图像的像素点，即可划分出原始图像的亮区区域。而后单独对亮区区域进行均值处理，避免亮区区域在增强后过度曝光影响视觉效果。
进一步地，步骤S3包括：
二维伽马值γ的计算公式为：。
进一步地，步骤S4包括：
S41：通过公式根据二维伽马值γ对原始图像进行增强，其中/>为原始图像增强后的第一增强图像的亮度值；
S42：使用第一增强图像的亮度值替代原始图像的亮度值/>得到第一增强图像。
本申请提出的一种内镜暗场图像的增强方法，对亮区区域进行均值处理，得到亮区区域中像素的均值后，结合原始图像的光照分量/>代入二维伽马值γ的计算公式/>中，可以在后续使用二维伽马值γ对原始图像进行增强时，保证亮区区域的增强不会太高，使暗区区域具有与亮区区域相似的亮度，提高增强后图像的视觉效果。
进一步地，步骤S4之后包括：
S5：制作与光照分量相同大小的蒙版mask，并将蒙版mask与第一增强图像进行融合，得到第一前景图像与第一背景图像；
S6：将蒙版mask取反并与原始图像进行乘积运算，得到第二前景图像与第二背景图像；
S7：根据第二前景图像与第二背景图像输出处理后的第二增强图像。
进一步地，步骤S5包括：
S51：制作与光照分量相同大小的蒙版mask，蒙版mask为全零矩阵，遍历光照分量中的每一个像素/>，当像素小于20px时，该像素对应的全零矩阵中的值被赋予255，并得到处理后的mask矩阵；
S52：根据处理后的mask矩阵获取最大连通域；
S53：对融合处理后的图像中的最大连通域进行分割，得到第一前景图像与第一背景图像。
第二方面，本申请提供一种内镜暗场图像的增强装置，该装置包括：
提取模块：用于获取原始图像的亮度V，并根据亮度V提取光照分量；
第一计算模块：用于根据光照分量划分原始图像中的亮区区域，并计算亮区区域中像素的均值/>；
第二计算模块：用于根据均值以及光照分量/>计算二维伽马值γ；
增强模块：用于根据二维伽马值γ对原始图像进行增强，得到第一增强图像。
第三方面，本申请提供一种电子设备，包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行上述任一方法中的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时运行上述任一方法中的步骤。
有益效果：本申请提供的内镜暗场图像的增强方法、装置、电子设备及存储介质，通过获取原始图像的亮度V，而后可根据亮度V提取原始图像的光照分量，通过光照分量/>的值可以将原始图像中的亮区区域与暗区区域划分开，便于后续对亮区区域以及暗区区域的图像进行分开处理，避免全局提亮后，亮区区域曝光影响视觉观测效果。划分亮区区域后，可计算亮区区域中的像素均值/>，使亮区区域的增强效果提升较小，避免亮区区域发生曝光。而后根据均值/>和光照分量/>计算出二维伽马值γ，该二维伽马值γ的计算考虑到了亮区区域的像素，在使用该二维伽马值γ对原始图像进行增强时，暗区区域具有与亮区区域相似的亮度，增强之后的增强图像具备亮暗过渡自然，亮区区域不会过曝，与原始图像相比，增强图像在视觉上无明显变化的优点。
附图说明
图1为本申请提出的一种内镜暗场图像的增强方法的流程图。
图2为本申请提出的一种内镜暗场图像的增强装置的结构图。
图3为本申请提供的电子设备的结构示意图。
标号说明：201、提取模块；202、第一计算模块；203、第二计算模块；204、增强模块；301、处理器；302、存储器；303、通信总线；3、电子设备。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和标出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一、第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下文公开提供了许多不同的实施方式或例子用来实现本发明的目的，解决了现有的图像增强技术中存在图像的亮区和暗区无法分别处理，且会对原始图像造成明显的视觉变化，包括颜色改变或对比度过于明显，进而导致医生无法获得优质的图像进行诊断的问题。
请参照图1，第一方面，本申请提供一种内镜暗场图像的增强方法，方法包括步骤：
S1：获取原始图像的亮度V，并根据亮度V提取光照分量；
S2：根据光照分量划分原始图像中的亮区区域，并计算亮区区域中像素的均值/>；
S3：根据均值以及光照分量/>计算二维伽马值γ；
S4：根据二维伽马值γ对原始图像进行增强，得到第一增强图像。
其中，在步骤S1中，在实际应用中，原始图像为RGB模式，将其转换成HSV模式后可以得到原始图像的亮度V，HSV具体为原始图像的色调H、饱和度S和亮度V，本申请中提出的内镜暗场图像的增强方法只对亮度V进行校正。
其中，在实际应用中，人眼感知到的图像可以分解为两个组成部分：照度分量和反射分量，其中，照度分量表征低频信息如图像整体结构信息，其变换较为平缓，反射分量表征高频信息如边缘、纹理等，其变化比较剧烈，根据照度-反射成像模型原理，将上述公式进行傅里叶变换后，通过滤波器可以响应傅里叶变换中高频部分（反射分量）和低频部分（照度分量）。其中，在实际应用中，为了保证提取出来的光照分量/>只包含光照变化信息而不包括图像的细节信息，从而保证在后续对原始图像进行增强时不会导致增强后的图像细节失真，可以对亮度值/>进行均值模糊处理。因此，在一些优选的实施方式中，步骤S1包括：
S11：根据亮度V获取原始图像中每一个像素点的亮度值/>；
S12：对亮度值进行均值模糊计算并提取光照分量/>，光照分量/>的提取函数表达式为：/>=/>*/>，其中/>表示均值模糊处理。
其中，在实际应用中，根据照度－反射成像模型原理得到原始图像的亮度值后，为了简化计算量，可以将输入的/>进行降采样八倍操作得到缩小后的原始图像，然后选择均值模糊或者高斯模糊对光照分量/>进行提取。其中，均值模糊算子高和宽为原始图像大小的高和宽的八分之一，即270×270，单位mm。光照分量/>具体的提取函数表达式为：/>=/>*/>，其中/>表示均值模糊处理，其中，光照分量/>在每一个像素点表示为/>，当/>取具体的值时，如（1,1），/>则表示该具体像素点的光照分量。
其中，在步骤S2中，在实际应用中，原始图像中的亮区区域与暗区区域可以通过光照分量来划分，划分出亮区区域后，单独计算亮区区域像素的均值/>，均值/>即表示亮区区域自适应的亮度，避免后续对原始图像进行增强时，亮区区域过曝影响视觉效果。
进一步地，为了更好地计算亮区区域像素的均值，在一些优选的实施方式中，步骤S2包括：
S21：根据光照分量确定原始图像的分区阈值/>；
S22：根据分区阈值划分原始图像的亮区区域；
S23：对亮区区域进行均值处理，得到亮区区域中像素的均值，均值/>的计算公式为/>，其中/>为均值计算函数，/>为求和函数。
其中，在实际应用中，根据光照分量可以确定原始图像的分区阈值/>，分区阈值为光照分量/>的平均值，遍历原始图像中的每一个像素点/>，当/>的值小于/>时，则将该像素点划分至暗区区域，当/>的值大于等于/>时，则将该像素点划分至亮区区域进行保存。而后，对亮区区域进行均值处理，即可得到亮区区域中像素的均值/>，具体计算公式为/>，其中/>为均值计算函数，/>为求和函数。
其中，在步骤S3中，根据已经计算得到的均值和光照分量/>可以计算得到二维伽马值γ。其中，在现有技术中，大多数在整幅图层面上对图像进行处理，对待整体亮度较暗的情况有明显的改善，但对于局部明亮而局部过暗的场景，就会导致增强后的图像明暗变化明显、过渡不自然，亮区区域过曝的问题，且亮区区域过曝会导致增强后的图像颜色发生明显变化，会导致医生无法获得优质的图像进行诊断。
因此，为了解决该问题，本申请计算出亮区区域的均值，采用自适应参考亮区的方式进行暗场的增强。二维伽马矫正给每一个像素分配不同的二维伽马值γ，即进行不同程度的增强，但增强程度仅仅参考整幅图像的亮度存在明显的限制（上述现有技术中提出的各种问题）。对于手术场景，当存在亮暗不均匀的情况时，整幅图的亮度应低于亮区区域而高于暗区区域。然而，临床中更希望能够提升暗区区域的亮度以匹配亮区区域而不是降低亮区区域的亮度，即希望亮区区域亮度保持不变。所以以亮区区域为参考来计算二维伽马值的效果要明显优于以全局亮度来计算二维伽马值的效果。这种方式进一步地提亮暗区区域，而对亮区区域本身则变化较小，这使得增强过后的内镜图像亮暗区域过渡自然而不会出现断层现象。具体地，在一些具体的实施方式中，步骤S3包括：
二维伽马值γ的计算公式为：。
其中，在实际应用中，通过公式，使得原始图像的亮区区域的增强较小，暗区区域与亮区区域具有相似的亮度，明暗之间过渡自然，亮区区域在较小的增强下，色彩并不会失真，且在本申请中在提取光照分量/>时，对原始图像的亮度值进行了均值模糊处理，降低了暗区区域的噪声，使得增强后的图像具备亮暗过渡自然，亮区区域不会过曝，与原始图像相比，增强图像在视觉上无明显变化的优点。
其中，在步骤S4中，根据二维伽马值对原始图像进行增强可以得到第一增强图像，具体地，S4步骤包括：
S41：通过公式根据二维伽马值γ对原始图像进行增强，其中/>为原始图像增强后的第一增强图像的亮度值；
S42：使用第一增强图像的亮度值替代原始图像的亮度值/>得到第一增强图像。
其中，在实际应用中，根据公式计算得到亮度值后，需要将该值替换原始图像的亮度值/>，并与原始图像中的色调H和饱和度S连通，并转回RGB模式，形成增强后的第一增强图像。该第一增强图像不仅包括内镜拍摄的手术场景，还包括内镜手术场景体现在屏幕上时存在黑色的外圈，原始图像的黑色外圈经过增强处理之后很容易被误当做暗区区域随之一起提高亮度，这会影响医生对手术场景的观测。
因此，为了解决上述问题，进一步地，在一些优选的实施方式中，步骤S4之后包括：
S5：制作与光照分量相同大小的蒙版mask，并将蒙版mask与第一增强图像进行融合，得到第一前景图像与第一背景图像；
S6：将蒙版mask取反并与原始图像进行乘积运算，得到第二前景图像与第二背景图像；
S7：根据第二前景图像与第二背景图像输出处理后的第二增强图像。
其中，在S5步骤中，在实际应用中，蒙版mask的大小与光照分量相同，即表示蒙版mask在融合进第一增强图像中时，可以刚好将内镜拍摄的手术场景遮盖住，将第一增强图像切割为第一前景图像与第一背景图像，其中，第一前景图像为蒙版mask遮住的手术场景的图像，第一背景图像则为屏幕上手术场景图像周围的黑边。其中，为了保证蒙版mask能够将第一增强图像的第一前景图像与第一背景图像精准的切割出来，进一步地，在一些优选的实施方式中，步骤S5包括：
S51：制作与光照分量相同大小的蒙版mask，蒙版mask为全零矩阵，遍历光照分量中的每一个像素/>，当像素小于20px时，该像素对应的全零矩阵中的值被赋予255，并得到处理后的mask矩阵；
S52：根据处理后的mask矩阵获取最大连通域；
S53：对融合处理后的图像中的最大连通域进行分割，得到第一前景图像与第一背景图像。
其中，在实际应用中，可以将蒙版mask设置为全零矩阵，遍历光照分量中的每一个像素/>，当像素小于20px时，则说明该像素点混合了大部分第一背景图像的黑边，应将该像素点分割至第一背景图像中，故而将该像素点对应的全零矩阵中的值赋予为255，其中全零矩阵中的值对应的是第一前景图像的RGB值，全零矩阵中值为0对应的像素点在图像中显示为白色，255对应的像素点在图像中显示为黑色，因此处理后的mask矩阵转换为图像显示为第一背景图像为黑色，中间为第一前景图像显示为白色。
进一步的，获取处理后mask矩阵的最大连通域（该最大连通域采用二维平面图像形态学方式获取，为现有技术，不多做赘述），转换成图像表达则为获取图像显示中白色区域的最大范围，并将白色区域的最大范围中的黑色部分更改为白色，白色区域的最大范围以外的白色部分更改为黑色，确保第一前景图像与第一背景图像切割的精准度，降低mask矩阵对第一增强图像进行切割而产生的噪声。具体的，对最大连通域的除噪方式可以为：对处理后的mask矩阵进行形态学的膨胀与腐蚀运算，其中，对处理后的mask矩阵进行形态学的膨胀与腐蚀运算的内核可以设定为50×50的全1矩阵。
其中，在步骤S6中，将蒙版mask取反，即表示在对第一增强图像进行遮罩切割时，将第一背景图像切割，使第一前景图像被赋予经光照矫正后的图像从而得到第二前景图像，第一背景图像则与原始图像进行加权叠加得到第二背景图像，其中，可设置权值分别为0.3（原始图像）和0.7（第一背景图像），从而实现对第一增强图像中第一背景图像的校正，使得第二背景图像相较于原始图像中的黑边颜色不会发生较大的改变，保证黑边能够在增强时被分割出来不被提亮，进而避免了对医生的观测造成影响。
其中，在S7步骤中，根据第二前景图像与第二背景图像输出处理的第二增强图像则是将提亮后内镜手术场景与屏幕上未提亮的黑边输出显示出来。能够有效区分前景和背景，使得处理过后的图像黑边基本不变，能够有效避免无效信息被放大变为噪声的情况。
由上可知，本申请提供的内镜暗场图像的增强方法通过获取原始图像的亮度V，而后可根据亮度V提取原始图像的光照分量，通过光照分量/>的值可以将原始图像中的亮区区域与暗区区域划分开，便于后续对亮区区域以及暗区区域的图像进行分开处理，避免全局提亮后，亮区区域曝光影响视觉观测效果。划分亮区区域后，可计算亮区区域中的像素均值/>，使亮区区域的增强效果提升较小，避免亮区区域发生曝光。而后根据均值/>和光照分量/>计算出二维伽马值γ，该二维伽马值γ的计算考虑到了亮区区域的像素，在使用该二维伽马值γ对原始图像进行增强时，暗区区域具有与亮区区域相似的亮度，增强之后的增强图像具备亮暗过渡自然，亮区区域不会过曝，与原始图像相比，增强图像在视觉上无明显变化的优点。
请参照图2，第二方面，本申请提供一种内镜暗场图像的增强装置，该装置包括：
提取模块201：用于获取原始图像的亮度V，并根据亮度V提取光照分量；
第一计算模块202：用于根据光照分量划分原始图像中的亮区区域，并计算亮区区域中像素的均值/>；
第二计算模块203：用于根据均值以及光照分量/>计算二维伽马值γ；
增强模块204：用于根据二维伽马值γ对原始图像进行增强，得到第一增强图像。
其中，在实际应用中，提取模块201可以为图像处理软件如matlab中提取光照分量的程序模块；第一计算模块202可以为计算亮区区域中像素的均值/>的程序模块；第二计算模块203可以为计算二维伽马值γ的程序模块；增强模块204可以为用于增强原始图像的程序模块。
其中，在实际应用中，原始图像为RGB模式，将其转换成HSV模式后可以得到原始图像的亮度V，HSV具体为原始图像的色调H、饱和度S和亮度V，本申请中提出内镜暗场图像的增强方法只对亮度V进行校正。
其中，在实际应用中，人眼感知到的图像可以分解为两个组成部分：照度分量和反射分量，其中，照度分量表征低频信息如图像整体结构信息，其变换较为平缓，反射分量表征高频信息如边缘、纹理等，其变化比较剧烈，根据照度-反射成像模型原理，将上述公式进行傅里叶变换后，通过滤波器可以响应傅里叶变换中高频部分（反射分量）和低频部分（低频分量）。其中，在实际应用中，为了保证提取出来的光照分量/>只包含光照变化信息而不包括图像的细节信息，从而保证在后续对原始图像进行增强时不会导致增强后的图像细节失真，可以对亮度值/>进行均值模糊处理。
其中，在实际应用中，根据照度－反射成像模型原理得到原始图像的亮度值后，为了简化计算量，可以将输入的/>进行降采样八倍操作得到缩小后的原始图像，然后选择均值模糊或者高斯模糊对光照分量/>进行提取。其中，均值模糊算子高和宽为原始图像大小的高和宽的八分之一，即270×270，单位mm。光照分量/>具体的提取函数表达式为：/>=/>*/>，其中/>表示均值模糊处理，其中/>，光照分量/>在每一个像素点表示为/>，当/>取具体的值时，如（1,1），/>则表示该具体像素点的光照分量。
其中，在实际应用中，原始图像中的亮区区域与暗区区域可以通过光照分量来划分，划分出亮区区域后，单独计算亮区区域像素的均值/>，均值/>即表示亮区区域自适应的亮度，避免后续对原始图像进行增强时，亮区区域过曝影响视觉效果。
其中，在实际应用中，第一计算模块202根据光照分量可以确定原始图像的分区阈值/>，阈值/>为光照分量/>的平均值，遍历原始图像中的每一个像素点/>，当/>的值小于/>时，则将该像素点划分至暗区区域，当/>的值大于等于/>时，则将该像素点划分至亮区区域进行保存。而后，对亮区区域进行均值处理，即可得到亮区区域中像素的均值/>，具体计算公式为/>，其中/>为均值计算函数，/>为求和函数。
其中，在实际应用中，第二计算模块203通过公式计算出二维伽马值γ，使得原始图像的亮区区域的增强较小，暗区区域与亮区区域具有相似的亮度，明暗之间过渡自然，亮区区域在较小的增强下，色彩并不会失真，且在本申请中在提取光照分量/>时，对原始图像的亮度值进行了均值模糊处理，降低了暗区区域的噪声，使得增强后的图像具备亮暗过渡自然，亮区区域不会过曝，与原始图像相比，增强图像在视觉上无明显变化的优点。
其中，在实际应用中，增强模块204根据公式计算得到亮度值后，需要将该值替换原始图像的亮度值/>，并与原始图像中的色调H和饱和度S连通，并转回RGB模式，形成增强后的第一增强图像。
其中，在实际应用中，为了避免屏幕上的黑边在图像增强时对第一增强图像的显示效果造成影响，可以将蒙版mask设置为全零矩阵，遍历光照分量中的每一个像素/>，当像素小于20px时，则说明该像素点混合了大部分第一背景图像的黑边，应将该像素点分割至第一背景图像中，故而将该像素点对应的全零矩阵中的值赋予为255，其中全零矩阵中的值对应的是第一前景图像的RGB值，全零矩阵中值为0对应的像素点在图像中显示为白色，255对应的像素点在图像中显示为黑色，因此处理后的mask矩阵转换为图像显示为第一背景图像为黑色，中间为第一前景图像显示为白色。
进一步的，获取处理后mask矩阵的最大连通域，转换成图像表达则为获取图像显示中白色区域的最大范围，并将白色区域的最大范围中的黑色部分更改为白色，白色区域的最大范围以外的白色部分更改为黑色，确保第一前景图像与第一背景图像切割的精准度，降低mask矩阵对第一增强图像进行切割而产生的噪声。具体的，对最大连通域的除噪方式可以为：对处理后的mask矩阵进行形态学的膨胀与腐蚀运算，其中，对处理后的mask矩阵进行形态学的膨胀与腐蚀运算的内核可以设定为50×50的全1矩阵。
而后，将蒙版mask取反，即表示在对第一增强图像进行遮罩切割时，将第一背景图像切割，使第一前景图像被赋予经光照矫正后的图像从而得到第二前景图像，第一背景图像则与原始图像进行加权叠加得到第二背景图像，其中，可设置权值分别为0.3（原始图像）和0.7（第一背景图像），从而实现对第一增强图像中第一背景图像的校正，使得第二背景图像相较于原始图像中的黑边颜色不会发生较大的改变，保证黑边能够在增强时被分割出来不被提亮，进而避免了对医生的观测造成影响。
最后，根据第二前景图像与第二背景图像输出处理的第二增强图像则是将提亮后内镜手术场景与屏幕上未提亮的黑边输出显示出来。能够有效区分前景和背景，使得处理过后的图像黑边基本不变，能够有效避免无效信息被放大变为噪声的情况。
由上可知，本申请提供的内镜暗场图像的增强装置通过获取原始图像的亮度V，而后可根据亮度V提取原始图像的光照分量，通过光照分量/>的值可以将原始图像中的亮区区域与暗区区域划分开，便于后续对亮区区域以及暗区区域的图像进行分开处理，避免全局提亮后，亮区区域曝光影响视觉观测效果。划分亮区区域后，可计算亮区区域中的像素均值/>，使亮区区域的增强效果提升较小，避免亮区区域发生曝光。而后根据均值/>和光照分量/>计算出二维伽马值γ，该二维伽马值γ的计算考虑到了亮区区域的像素，在使用该二维伽马值γ对原始图像进行增强时，暗区区域具有与亮区区域相似的亮度，增强之后的增强图像具备亮暗过渡自然，亮区区域不会过曝，与原始图像相比，增强图像在视觉上无明显变化的优点。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机可读取指令，当电子设备运行时，处理器301执行该计算机可读取指令，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取原始图像的亮度V，并根据亮度V提取光照分量；根据光照分量/>划分原始图像中的亮区区域，并计算亮区区域中像素的均值/>；根据均值/>以及光照分量/>计算二维伽马值γ；根据二维伽马值γ对原始图像进行增强，得到第一增强图像。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取原始图像的亮度V，并根据亮度V提取光照分量；根据光照分量/>划分原始图像中的亮区区域，并计算亮区区域中像素的均值/>；根据均值/>以及光照分量/>计算二维伽马值γ；根据二维伽马值γ对原始图像进行增强，得到第一增强图像。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种内镜暗场图像的增强方法，其特征在于，所述方法包括步骤：
S1：获取原始图像的亮度V，并根据所述亮度V提取光照分量；
S2：根据所述光照分量划分所述原始图像中的亮区区域，并计算所述亮区区域中像素的均值/>；
S3：根据所述均值以及所述光照分量/>计算二维伽马值γ；
S4：根据所述二维伽马值γ对所述原始图像进行增强，得到第一增强图像。
2.根据权利要求1所述的一种内镜暗场图像的增强方法，其特征在于，所述步骤S1包括：
S11：根据所述亮度V获取所述原始图像中每一个像素点的亮度值/>；
S12：对所述亮度值进行均值模糊计算并提取所述光照分量/>，所述光照分量/>的提取函数表达式为：/>=/>*/>，其中/>表示均值模糊处理，为光照分量/>。
3.根据权利要求2所述的一种内镜暗场图像的增强方法，其特征在于，所述步骤S2包括：
S21：根据所述光照分量确定所述原始图像的分区阈值/>；
S22：根据所述分区阈值划分所述原始图像的所述亮区区域；
S23：对所述亮区区域进行均值处理，得到所述亮区区域中像素的均值，所述均值/>的计算公式为/>，其中/>为均值计算函数，/>为求和函数。
4.根据权利要求3所述的一种内镜暗场图像的增强方法，其特征在于，所述步骤S3包括：
所述二维伽马值γ的计算公式为：。
5.根据权利要求1所述的一种内镜暗场图像的增强方法，其特征在于，所述步骤S4包括：
S41：通过公式根据所述二维伽马值γ对所述原始图像进行增强，其中/>为所述原始图像增强后的第一增强图像的亮度值；
S42：使用所述第一增强图像的亮度值替代所述原始图像的亮度值/>得到所述第一增强图像。
6.根据权利要求5所述的一种内镜暗场图像的增强方法，其特征在于，所述步骤S4之后包括：
S5：制作与所述光照分量相同大小的蒙版mask，并将所述蒙版mask与所述第一增强图像进行融合，得到第一前景图像与第一背景图像；
S6：将所述蒙版mask取反并与所述原始图像进行乘积运算，得到第二前景图像与第二背景图像；
S7：根据第二前景图像与第二背景图像输出处理后的第二增强图像。
7.根据权利要求6所述的一种内镜暗场图像的增强方法，其特征在于，所述步骤S5包括：
S51：制作与所述光照分量相同大小的蒙版mask，所述蒙版mask为全零矩阵，遍历光照分量/>中的每一个像素/>，当像素小于20px时，该像素对应的全零矩阵中的值被赋予255，并得到处理后的mask矩阵；
S52：根据所述处理后的mask矩阵获取最大连通域；
S53：对融合处理后的图像中的所述最大连通域进行分割，得到所述第一前景图像与所述第一背景图像。
8.一种内镜暗场图像的增强装置，其特征在于，所述装置包括：
提取模块：用于获取原始图像的亮度V，并根据所述亮度V提取光照分量；
第一计算模块：用于根据所述光照分量划分所述原始图像中的亮区区域，并计算所述亮区区域中像素的均值/>；
第二计算模块：用于根据所述均值以及所述光照分量/>计算二维伽马值γ；
增强模块：用于根据所述二维伽马值γ对所述原始图像进行增强，得到第一增强图像。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311806163.4A CN117455780B (zh) | 2023-12-26 | 2023-12-26 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311806163.4A CN117455780B (zh) | 2023-12-26 | 2023-12-26 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117455780A true CN117455780A (zh) | 2024-01-26 |
| CN117455780B CN117455780B (zh) | 2024-04-09 |
Family
ID=89582241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311806163.4A Active CN117455780B (zh) | 2023-12-26 | 2023-12-26 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117455780B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100085361A1 (en) * | 2008-10-08 | 2010-04-08 | Korea Advanced Institute Of Science And Technology | Apparatus and method for enhancing images in consideration of region characteristics |
| CN108830800A (zh) * | 2018-05-09 | 2018-11-16 | 南京邮电大学 | 一种暗光场景下图像的亮度提升增强方法 |
| CN110139020A (zh) * | 2018-02-09 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及其装置 |
| CN110211070A (zh) * | 2019-06-05 | 2019-09-06 | 电子科技大学 | 一种基于局部极值的低照度彩色图像增强方法 |
| WO2020082593A1 (zh) * | 2018-10-26 | 2020-04-30 | 深圳市华星光电技术有限公司 | 增强图像对比度的方法及其装置 |
| CN112507930A (zh) * | 2020-12-16 | 2021-03-16 | 华南理工大学 | 一种利用光照均衡法改善人脸视频心率检测的方法 |
| CN112785532A (zh) * | 2021-01-12 | 2021-05-11 | 安徽大学 | 基于加权直方图分布伽玛校正的奇异值均衡图像增强算法 |
| CN112801896A (zh) * | 2021-01-19 | 2021-05-14 | 西安理工大学 | 基于前景提取的逆光图像增强方法 |
| KR102377318B1 (ko) * | 2021-11-01 | 2022-03-21 | 금오공과대학교 산학협력단 | 광노출 보정 및 화질 개선을 위한 hdr 기법 |
| CN114529475A (zh) * | 2022-02-23 | 2022-05-24 | 安徽大学 | 基于二维伽马校正和色调映射的图像增强方法及系统 |
| CN115861147A (zh) * | 2023-03-01 | 2023-03-28 | 广东欧谱曼迪科技有限公司 | 一种内窥镜暗区域增强方法、装置、电子设备及存储介质 |
| CN116523826A (zh) * | 2023-02-21 | 2023-08-01 | 北京理工大学 | 一种用于微创内镜手术的内镜图像器械去遮挡方法 |
| CN116645291A (zh) * | 2023-06-02 | 2023-08-25 | 西安邮电大学 | 基于区域亮度感知的自适应Gamma矫正眩光抑制方法 |
-
2023
- 2023-12-26 CN CN202311806163.4A patent/CN117455780B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100085361A1 (en) * | 2008-10-08 | 2010-04-08 | Korea Advanced Institute Of Science And Technology | Apparatus and method for enhancing images in consideration of region characteristics |
| CN110139020A (zh) * | 2018-02-09 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及其装置 |
| CN108830800A (zh) * | 2018-05-09 | 2018-11-16 | 南京邮电大学 | 一种暗光场景下图像的亮度提升增强方法 |
| WO2020082593A1 (zh) * | 2018-10-26 | 2020-04-30 | 深圳市华星光电技术有限公司 | 增强图像对比度的方法及其装置 |
| CN110211070A (zh) * | 2019-06-05 | 2019-09-06 | 电子科技大学 | 一种基于局部极值的低照度彩色图像增强方法 |
| CN112507930A (zh) * | 2020-12-16 | 2021-03-16 | 华南理工大学 | 一种利用光照均衡法改善人脸视频心率检测的方法 |
| CN112785532A (zh) * | 2021-01-12 | 2021-05-11 | 安徽大学 | 基于加权直方图分布伽玛校正的奇异值均衡图像增强算法 |
| CN112801896A (zh) * | 2021-01-19 | 2021-05-14 | 西安理工大学 | 基于前景提取的逆光图像增强方法 |
| KR102377318B1 (ko) * | 2021-11-01 | 2022-03-21 | 금오공과대학교 산학협력단 | 광노출 보정 및 화질 개선을 위한 hdr 기법 |
| CN114529475A (zh) * | 2022-02-23 | 2022-05-24 | 安徽大学 | 基于二维伽马校正和色调映射的图像增强方法及系统 |
| CN116523826A (zh) * | 2023-02-21 | 2023-08-01 | 北京理工大学 | 一种用于微创内镜手术的内镜图像器械去遮挡方法 |
| CN115861147A (zh) * | 2023-03-01 | 2023-03-28 | 广东欧谱曼迪科技有限公司 | 一种内窥镜暗区域增强方法、装置、电子设备及存储介质 |
| CN116645291A (zh) * | 2023-06-02 | 2023-08-25 | 西安邮电大学 | 基于区域亮度感知的自适应Gamma矫正眩光抑制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘志成 等: "基于二维伽马函数的光照不均匀图像自适应校正算法", 北京理工大学学报, no. 02, 15 February 2016 (2016-02-15), pages 85 - 90 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117455780B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110505459B (zh) | 适用于内窥镜的图像颜色校正方法、装置和存储介质 | |
| Zhou et al. | Underwater image enhancement method via multi-feature prior fusion | |
| Shi et al. | Let you see in sand dust weather: A method based on halo-reduced dark channel prior dehazing for sand-dust image enhancement | |
| CN110570360B (zh) | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 | |
| Vonikakis et al. | Multi-exposure image fusion based on illumination estimation | |
| CN114529475B (zh) | 基于二维伽马校正和色调映射的图像增强方法及系统 | |
| CN110599418B (zh) | 一种变换域融合的全局色调映射方法 | |
| Cao et al. | Enhancement of blurry retinal image based on non-uniform contrast stretching and intensity transfer | |
| CN115775210A (zh) | 一种广域眼底相机图像融合方法、系统及存储介质 | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| CN114066780A (zh) | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 | |
| Meylan et al. | Color image enhancement using a Retinex-based adaptive filter | |
| CN109934787B (zh) | 一种基于高动态范围的图像拼接方法 | |
| Wang et al. | Endoscopic image luminance enhancement based on the inverse square law for illuminance and retinex | |
| CN113191986A (zh) | 一种图像处理方法及装置 | |
| CN113139929A (zh) | 包含信息筛选与融合修复的胃肠道内窥镜图像预处理方法 | |
| Akai et al. | A single backlit image enhancement method for improvement of visibility of dark part | |
| CN117455780B (zh) | 内镜暗场图像的增强方法、装置、电子设备及存储介质 | |
| CN110246086A (zh) | 彩色图像增强的图像处理方法及其图像处理系统 | |
| JP4095494B2 (ja) | 眼科画像処理装置及び処理方法 | |
| Bhandari et al. | Gamma corrected reflectance for low contrast image enhancement using guided filter | |
| CN110807748A (zh) | 一种基于高动态范围的新色调映射图像增强方法 | |
| CN115861147A (zh) | 一种内窥镜暗区域增强方法、装置、电子设备及存储介质 | |
| CN116468636A (zh) | 低照度增强方法、装置、电子设备和可读存储介质 | |
| CN111311514B (zh) | 用于医用内窥镜的图像处理方法及图像处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |