CN115482216B - 一种腹腔镜图像增强方法及系统 - Google Patents
一种腹腔镜图像增强方法及系统 Download PDFInfo
- Publication number
- CN115482216B CN115482216B CN202211146211.7A CN202211146211A CN115482216B CN 115482216 B CN115482216 B CN 115482216B CN 202211146211 A CN202211146211 A CN 202211146211A CN 115482216 B CN115482216 B CN 115482216B
- Authority
- CN
- China
- Prior art keywords
- value
- area
- image
- scale
- scale parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000003709 image segmentation Methods 0.000 claims abstract description 23
- 210000000683 abdominal cavity Anatomy 0.000 claims abstract description 21
- 238000011084 recovery Methods 0.000 claims abstract description 12
- 230000002708 enhancing effect Effects 0.000 claims abstract 5
- 238000004590 computer program Methods 0.000 claims description 7
- 239000002872 contrast media Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 239000007850 fluorescent dye Substances 0.000 abstract description 4
- 238000001215 fluorescent labelling Methods 0.000 abstract description 4
- 206010028980 Neoplasm Diseases 0.000 description 11
- 239000000126 substance Substances 0.000 description 7
- 230000003187 abdominal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 3
- 229960004657 indocyanine green Drugs 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000004881 tumor cell Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000005646 Pneumoperitoneum Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000000439 tumor marker Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
本发明提供了一种腹腔镜图像增强方法及系统，获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设RGB值进行图像分割，得到第一区域；根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；根据腹腔彩色图像的R、G、B通道图像的平均像素值以及尺度参数基准值得到每个通道的尺度参数值和尺度权重值；利用每个通道的尺度参数值和尺度权重值对每个通道进行MSR增强，然后采用MSRCR的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设RGB值进行图像分割，得到第二区域，将第一区域和第二区域融合，得到增强后的腹腔镜图像。本发明提高了腹腔图像增强的效果，而且不会对荧光标记部位有影响。
Description
技术领域
本发明涉及图像增强领域，尤其涉及腹腔镜图像增强方法及系统。
背景技术
腹腔镜已经有一百多年的历史，在发展初期，医生主要利用腹腔镜上的观察孔观察腹腔情况，随着图像技术的进步，腹腔镜采用拍摄图像的方式呈现腹腔情况，现在的腹腔镜多采用光导纤维，能够在显示器上实时显示腹腔情况。随着腹腔镜的普及，腹腔镜手术也替代了很多传统的腹腔手术，相对于普通的腹腔手术，腹腔镜手术开孔更小，对病人的创伤也更小。腹腔镜主要有冷光源、图像传感器、处理器、显示器等组成，在进行腹腔手术中，还会配备CO2气腹系统、手术器械等。荧光腹腔镜是一种新型的腹腔镜，其主要是利用肿瘤细胞对荧光物质例如吲哚箐绿(indocyanine green，ICG)代谢慢的特点，在进行腹腔手术前两三天，注射荧光造影剂，术中利用荧光腹腔镜即可观察到被吲哚箐绿标识的肿瘤组织，相较于，医生在术中观察肿瘤组织然后切除，利用荧光物质标识的肿瘤组织边界更为清晰，切除的更为彻底。
现在的腹腔镜配置的图像传感器能够达到很高的分辨率，但是由于腹腔是一个封闭区域，受到光的反射以及水汽等的影响，经常会出现曝光过度或者曝光不足，而且图像中伴随噪声。图像增强技术通过对图像的后处理，能够得到更适合人眼观察的图片，对曝光过度、曝光不足等导致的图像过亮或者过暗，以及水汽、噪声等都有很好的处理效果。然而，当使用荧光物质标记肿瘤组织的时候，有些区域肿瘤细胞比较少，荧光效果不明显，在对腹腔镜拍摄的图片和视频进行图像增强后，会导致荧光区域丢失，而且有时候在图像增强后，会出现色彩的变化，甚至正常细胞区域也会呈现和荧光区域相似的颜色。这就会出现如果进行图像增强，可能导致荧光标记肿瘤位置不准确，不进行图像增强，图像的质量又比较差的窘境。如何既可以进行图像增强，又能准确用荧光物质标记肿瘤细胞位置是急需要解决的问题。
发明内容
为了能够增强腹腔镜图像的可视化效果，同时不影响荧光物质对肿瘤组织的标记范围，一方面，本发明提供了一种腹腔镜图像增强方法，所述方法包括以下步骤：
S1，获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设RGB值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
S2，根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的R通道图像的平均像素值Pr、G通道图像的平均像素值Pg、B通道图像的平均像素值Pb；根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
S3，利用每个通道的尺度参数值和尺度权重值对每个通道进行MSR增强，然后采用MSRCR的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设RGB值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像。
优选地，在步骤S1和步骤S3中，所述根据预设RGB值进行图像分割，具体为：
计算图像中每个像素点与预设的RGB值的欧氏距离，将所述欧氏距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。
优选地，所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。
优选地，所述根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
计算所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb的平均值
对于每个通道，计算通道的所述平均像素值与所述平均值
的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
优选地，所述建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，具体为：
以第一区域为基准，确定每个第二区域与每个第一区域的重合度，确定重合度大于预设值，且重合度最大的第二区域，建立第二区域与第一区域的对应关系；
若第一区域存在与之对应的第二区域，则根据第一区域和第二区域的面积的最大值，作为融合后面积，将第一区域和与第一区域对应的第二区域融合；若第一区域不存在与之对应的第二区域，将第一区域的面积作为融合后面积，将第一区域与色彩恢复后第一区域所在位置进行融合。
另外，本发明还提供了一种腹腔镜图像增强系统，所述系统包括以下模块：
图像分割模块，用于获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设RGB值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
参数计算模块，用于根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的R通道图像的平均像素值Pr、G通道图像的平均像素值Pg、B通道图像的平均像素值Pb；根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
图像增强模块，用于利用每个通道的尺度参数值和尺度权重值对每个通道进行MSR增强，然后采用MSRCR的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设RGB值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像。
优选地，在步骤S1和步骤S3中，所述根据预设RGB值进行图像分割，具体为：
计算图像中每个像素点与预设的RGB值的欧氏距离，将所述欧氏距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。
优选地，所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。
优选地，所述根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
计算所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb的平均值
对于每个通道，计算通道的所述平均像素值与所述平均值
的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
最后，本发明还提供了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如上所述的方法。
本发明针对荧光腹腔镜图像增强中，容易对荧光标记的肿瘤位置的影响，根据荧光腹腔镜拍摄的图像的特点，在不影响图像处理速度以及肿瘤标记位置的情况下，尽可能的提高图像增强的质量。根据图像处理单元的运算能力确定多尺度MSR(Multi-ScaleRetinex)尺度个数和尺度参数，并且对尺度权重值进行改进，有效提高了每个通道图像增强的效果，同时对原始图像和增强后的图像进行分割，确定出原始图像中荧光标记肿瘤的位置，然后和增强后图像进行分割的结果融合，则不缩小荧光标记区域的情况下，提高了荧光腹腔镜图像增强效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为实施例1的流程图；
图2为实施例6的示意图；
图3为实施例11流程图。
具体实施方式
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明提供了一种腹腔镜图像增强方法，如图1所示，所述方法包括以下步骤：
S1，获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设RGB值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
腹腔镜采用CCD或者CMOS传感器拍摄腹腔图像或视频为彩色，彩色图像有三个通道，分别为R通道、G通道和B通道，当采用荧光物质标记肿瘤组织时，肿瘤组织会显示和正常组织不同的颜色，例如绿色，在对腹腔彩色图像进行分割时根据与预设RGB值的关系即可快速分割，当有多个被荧光物质标记的区域时，会得到多个第一区域。
S2，根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的R通道图像的平均像素值Pr、G通道图像的平均像素值Pg、B通道图像的平均像素值Pb；根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
MSR(Multi-Scale Retinex)图像增强方法是对SSR(Single Scale Retinex)图像增强方法的改进，相对于SSR图像增强方法，MSR采用多个尺度参数值进行图像增强。
在MSR图像增强中，根据公式
为高斯模糊，其中r(x,y)＝log(R(x,y))，R(x,y)为增强后图像，在SSR和MSR中当得到r(x,y)后，量化到0-255即可得到增强后的图像。
上述公式中，K为尺度参数个数；qk为每个尺度的权重，对应的值为尺度权重值，而且
σk为尺度参数，对应的值为尺度参数值；若采用三个尺度参数σ1、σ2、σ3，则K＝3，尺度权重值有三个，分别为q1、q2、q3，且q1+q2+q3＝1。
但是上述确定尺度参数值和尺度权重值多是根据经验确定，不同的图像传感器，甚至相同的图像传感器在不同的条件拍摄的图像，经过上述增强后，增强的效果并不相同，而且尺度参数越多，计算量越大，当计算量过大时，并不能满足实时性的要求，尤其是在利用腹腔镜进行腹腔手术时。本发明首先根据图像处理单元的处理能力确定尺度参数个数，如果图像处理单元处理能力强，采用多个尺度参数，否则，则需要减少尺度参数个数。图像处理单元为CPU和/或GPU，如果与图像传感器连接的图像处理和显示设备没有配置GPU，则需要CPU进行图像增强，此时CPU为图像处理单元；若只使用GPU进行图像增强，则GPU为图像处理单元，也可以同时使用CPU和GPU处理图像，则图像处理单元为CPU和GPU。
图像处理单元的处理能力和芯片的具体型号相关，在一个具体实施例中，使用浮点计算能力作为图像处理单元处理能力的衡量指标，本发明对此不作具体限定。
彩色图像有RGB三个通道，按照上述公式对每个通道分别进行计算，即可得到每个通道增强后的图像，然后将每个增强后的通道进行合并即可得到彩色图像。
S3，利用每个通道的尺度参数值和尺度权重值对每个通道进行MSR增强，然后采用MSRCR的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设RGB值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像。
MSR图像增强有一个明显的确定是会改变图像各个通道颜色的比值，导致出现色差，也成为了颜色漂移，MSRCR(Multi-Scale Retinex with Color Restore)是对MSR的改进，能够恢复各个通道的比例，本发明进一步采用MSRCR的色彩恢复方法，对色彩进行恢复。
实施例2
采用荧光标记的组织，有明显的区别于其他区域的颜色，通过与荧光标记颜色的差距，可以对图像进行分割，在一个具体实施例中，在步骤S1和步骤S3中，所述根据预设RGB值进行图像分割，具体为：
计算图像中每个像素点与预设的RGB值的欧氏距离，将所述欧氏距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。例如，通过公式
计算两个像素点的相似性，其中sr、sg、sb为待计算像素点的RGB值，
为预设RGB值。在得到相似的像素点后，对每个像素点进行膨胀操作，膨胀是图像形态学中的操作，在另外一个实施例中，也可以采用对第一集合密集区域进行膨胀操作，本发明对此不作具体限定。
实施例3
图像处理单元的处理能力决定了图像处理速度，在使用腹腔镜进行手术等操作时，对实时性要求比较高，而MSR中尺度参数越多，计算量越大，为了满足实时性的要求，在本实施例中，所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。当只有一个尺度参数时，则MSR变为了SSR。
在另外一个实施例中，也可以有多个尺度参数，例如4个或5个，这和图像处理单元的处理能力以及对图像质量的要求有关。若图像处理单元处理能力强，则可以采用四个尺度参数。
实施例4
尺度参数的大小直接决定了图像增强效果，尺度参数值越小，高斯模糊的范围越小，边界越清晰，尺度参数值越大，边界越模糊，但是图像越平滑。而且RGB不同的通道下像素值越大对图像颜色的贡献越大，在进行图像增强时，一个通道的平均像素值越大，设置较大的尺度参数，更能使得增强后的图像平滑。所述根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
计算所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb的平均值
对于每个通道，计算通道的所述平均像素值与所述平均值
的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
仍以上面三个尺度参数为例，三个尺度参数的基准值为：25、100、200。
若在进行R通道增强时，R通道的平均像素值为100，G通道的平均像素值为60，B通道的平均像素值为200，则
R通道的平均像素值与
的比值为100/120＝5/6，则R通道三个尺度增强时，三个尺度参数值分别为：25×(5/6)、100×(5/6)、200×(5/6)。
若在进行G通道增强时，R通道的平均像素值为100，G通道的平均像素值为60，B通道的平均像素值为200，则
G通道的平均像素值与
的比值为60/120＝1/2，则G通道三个尺度增强时，三个尺度参数值分别为：25×(1/2)、100×(1/2)、200×(1/2)。
若在进行B通道增强时，R通道的平均像素值为100，G通道的平均像素值为60，B通道的平均像素值为200，则
B通道的平均像素值与
的比值为200/120＝5/3，则R通道三个尺度增强时，三个尺度参数值分别为：25×(5/3)、100×(5/3)、200×(5/3)。
尺度权重值确定了尺度参数对通道增强的贡献的大小，当尺度权重大时，与尺度权重对应的尺度参数贡献越大，反之越小。当只有一个尺度参数时，MSR变为了SSR，对应的权重也即为1。当尺度参数的个数大于1时，在一个具体实施例中，所述计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值为：计算尺度参数基准值之间的比值，将1按所述尺度参数基准值之间的比值分配，得到与尺度参数值对应的尺度权重值。
本发明提供的尺度权重计算方式消除了不同尺度参数的影响，例如有三个尺度参数，其对应的三个尺度参数的基准值为：25、100、200，如果权重相同，根据上述r(x,y)的计算法公式，可知，尺度参数为200时，logS(x,y)-log[Gk(x,y)*S(x,y)]计算得到的结果比尺度为50时小，其对最后r(x,y)的影响也小，为了避免这种情况，比值为1:4:8，则计算得到三个尺度权重值分别为：
实施例5
在得到恢复后的彩色图像后，会出现以下几种情况，第一种是第一区域的位置存在第二区域，第二种是第一区域的位置不存在第二区域，第三种是第二区域存在的位置不存在第一区域。第一种是希望得到的结果，第二种是图像增强后消除了荧光标记位置，第三种是图像增强后出现了假荧光标记位置，对于第二种需要将第一区域标记到增强后的图像，对于第三种需要将第二区域消除。在本发明的一个具体实施例中，所述建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，具体为：
以第一区域为基准，确定每个第二区域与每个第一区域的重合度，确定重合度大于预设值，且重合度最大的第二区域，建立第二区域与第一区域的对应关系；
若第一区域存在与之对应的第二区域，则根据第一区域和第二区域的面积的最大值，作为融合后面积，将第一区域和与第一区域对应的第二区域融合；若第一区域不存在与之对应的第二区域，将第一区域的面积作为融合后面积，将第一区域与色彩恢复后第一区域所在位置进行融合。图像的融合有多种方式，本发明对此不作具体限定。
实施例6
本发明还提供了一种腹腔镜图像增强系统，如图2所示，所述系统包括以下模块：
图像分割模块，用于获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设RGB值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
参数计算模块，用于根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的R通道图像的平均像素值Pr、G通道图像的平均像素值Pg、B通道图像的平均像素值Pb；根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
图像增强模块，用于利用每个通道的尺度参数值和尺度权重值对每个通道进行MSR增强，然后采用MSRCR的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设RGB值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像。
实施例7
在步骤S1和步骤S3中，所述根据预设RGB值进行图像分割，具体为：
计算图像中每个像素点与预设的RGB值的欧氏距离，将所述欧氏距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。
实施例8
所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。
实施例9
所述根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
计算所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb的平均值
对于每个通道，计算通道的所述平均像素值与所述平均值
的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
实施例10
本发明还提供了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如实施例1-5所述的方法。
实施例11
本发明提供了一种电子设备，如图3所示，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如实施例1-5所述的方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种腹腔镜图像增强方法，其特征在于，所述方法包括以下步骤：
S1，获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设RGB值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
S2，根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，所述尺度参数个数为1或2或3；计算所述腹腔彩色图像的R通道图像的平均像素值Pr、G通道图像的平均像素值Pg、B通道图像的平均像素值Pb；根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
S3，利用每个通道的尺度参数值和尺度权重值对每个通道进行MSR增强，然后采用MSRCR的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设RGB值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像；
所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。
2.如权利要求1所述的腹腔镜图像增强方法，其特征在于，在步骤S1和步骤S3中，所述根据预设RGB值进行图像分割，具体为：
计算图像中每个像素点与预设的RGB值的欧氏距离，将所述欧氏距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。
3.如权利要求1所述的腹腔镜图像增强方法，其特征在于，所述根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
计算所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb的平均值对于每个通道，计算通道的所述平均像素值与所述平均值的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
4.如权利要求1所述的腹腔镜图像增强方法，其特征在于，所述建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，具体为：
以第一区域为基准，确定每个第二区域与每个第一区域的重合度，确定重合度大于预设值，且重合度最大的第二区域，建立第二区域与第一区域的对应关系；
若第一区域存在与之对应的第二区域，则根据第一区域和第二区域的面积的最大值，作为融合后面积，将第一区域和与第一区域对应的第二区域融合；若第一区域不存在与之对应的第二区域，将第一区域的面积作为融合后面积，将第一区域与色彩恢复后第一区域所在位置进行融合。
5.一种腹腔镜图像增强系统，其特征在于，所述系统包括以下模块：
图像分割模块，用于获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设RGB值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
参数计算模块，用于根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的R通道图像的平均像素值Pr、G通道图像的平均像素值Pg、B通道图像的平均像素值Pb；根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
图像增强模块，用于利用每个通道的尺度参数值和尺度权重值对每个通道进行MSR增强，然后采用MSRCR的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设RGB值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像；
所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。
6.如权利要求5所述的腹腔镜图像增强系统，其特征在于，在步骤S1和步骤S3中，所述根据预设RGB值进行图像分割，具体为：
计算图像中每个像素点与预设的RGB值的欧氏距离，将所述欧氏距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。
7.如权利要求5所述的腹腔镜图像增强系统，其特征在于，所述根据所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
计算所述平均像素值Pr、所述平均像素值Pg、所述平均像素值Pb的平均值对于每个通道，计算通道的所述平均像素值与所述平均值的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
8.一种计算机可读存储介质，用于存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211146211.7A CN115482216B (zh) | 2022-09-20 | 2022-09-20 | 一种腹腔镜图像增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211146211.7A CN115482216B (zh) | 2022-09-20 | 2022-09-20 | 一种腹腔镜图像增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115482216A CN115482216A (zh) | 2022-12-16 |
| CN115482216B true CN115482216B (zh) | 2023-05-16 |
Family
ID=84424173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211146211.7A Active CN115482216B (zh) | 2022-09-20 | 2022-09-20 | 一种腹腔镜图像增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115482216B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2622095C1 (ru) * | 2016-02-05 | 2017-06-09 | Акционерное общество "Государственный Рязанский приборный завод" | Способ улучшения цифровых цветных изображений |
| CN110766616A (zh) * | 2019-09-12 | 2020-02-07 | 中国海洋大学 | 一种基于单尺度Retinex方法的水下图像匀光算法 |
| CN112116536A (zh) * | 2020-08-24 | 2020-12-22 | 山东师范大学 | 一种低光照图像增强方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683061B (zh) * | 2017-01-05 | 2019-03-15 | 卡本(深圳)医疗科技有限公司 | 一种基于修正的多尺度retinex算法对医疗图像进行增强的方法 |
| CA2995708C (en) * | 2018-02-20 | 2021-11-02 | Synaptive Medical (Barbados) Inc. | System and method for performing local-area contrast enhancement of digital images |
| CN109191390A (zh) * | 2018-08-03 | 2019-01-11 | 湘潭大学 | 一种基于不同颜色空间多算法融合的图像增强算法 |
| CN111783673B (zh) * | 2020-07-02 | 2022-07-26 | 南京邮电大学 | 一种基于osvos的视频分割改进方法 |
| CN111986120A (zh) * | 2020-09-15 | 2020-11-24 | 天津师范大学 | 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 |
| AU2020104021A4 (en) * | 2020-12-11 | 2021-02-18 | Sichuan University of Science and Engineering | Improved Retinex Image Enhancement Algorithm for Explicit Expression of Multi-scale and Histogram Truncation |
| CN112446880B (zh) * | 2021-02-01 | 2021-04-30 | 安翰科技(武汉)股份有限公司 | 图像处理方法、电子设备及可读存储介质 |
-
2022
- 2022-09-20 CN CN202211146211.7A patent/CN115482216B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2622095C1 (ru) * | 2016-02-05 | 2017-06-09 | Акционерное общество "Государственный Рязанский приборный завод" | Способ улучшения цифровых цветных изображений |
| CN110766616A (zh) * | 2019-09-12 | 2020-02-07 | 中国海洋大学 | 一种基于单尺度Retinex方法的水下图像匀光算法 |
| CN112116536A (zh) * | 2020-08-24 | 2020-12-22 | 山东师范大学 | 一种低光照图像增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115482216A (zh) | 2022-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110505459B (zh) | 适用于内窥镜的图像颜色校正方法、装置和存储介质 | |
| EP2188779B1 (en) | Extraction method of tongue region using graph-based approach and geometric properties | |
| CN102243762B (zh) | 图像处理装置以及图像处理方法 | |
| WO2009087816A1 (ja) | シーン変化検出装置およびシーン変化検出プログラム | |
| WO2021073101A1 (zh) | 一种图像处理方法、装置和电子设备及可读存储介质 | |
| CN106650794A (zh) | 一种受物体表面高光反射影响的图像高光消除方法及系统 | |
| CN109635871A (zh) | 一种基于多特征融合的胶囊内窥镜图像分类方法 | |
| CN110610498A (zh) | 乳腺钼靶图像处理方法、系统、存储介质及设备 | |
| CN108510493A (zh) | 医学图像内目标对象的边界定位方法、存储介质及终端 | |
| CN109241898B (zh) | 腔镜视像的目标定位方法和系统、存储介质 | |
| CN111784668A (zh) | 基于感知哈希算法的消化内镜检查影像自动冻结的方法 | |
| CN115760858B (zh) | 基于深度学习的肾脏病理切片细胞识别方法及系统 | |
| CN116579954B (zh) | 一种超高清内窥镜图像智能增强方法 | |
| CN109447912A (zh) | 一种荧光导航内窥镜系统的荧光图像自适应增强及降噪方法 | |
| CN114693682A (zh) | 一种基于图像处理的脊椎特征识别方法 | |
| CN115482216B (zh) | 一种腹腔镜图像增强方法及系统 | |
| CN115861147B (zh) | 一种内窥镜暗区域增强方法、装置、电子设备及存储介质 | |
| CN117314872A (zh) | 一种视网膜图像的智能分割方法及装置 | |
| CN114663293A (zh) | 一种图像增强方法、装置、电子设备及内窥镜系统 | |
| CN115908274A (zh) | 一种病灶检测的装置、设备及介质 | |
| CN115222651A (zh) | 一种基于改进Mask R-CNN的肺结节检测系统 | |
| KR102380560B1 (ko) | 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법 | |
| Zhang et al. | A fundus image enhancer based on illumination-guided attention and optic disc perception GAN | |
| Abraham | Weighting and thresholding-based detail preserving image enhancement of gastrointestinal images with noise suppression | |
| Resita et al. | Color RGB and structure GLCM method to feature extraction system in endoscope image for the diagnosis support of otitis media disease |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |