CN115587948A - 一种图像暗场校正方法及设备 - Google Patents
一种图像暗场校正方法及设备 Download PDFInfo
- Publication number
- CN115587948A CN115587948A CN202211249091.3A CN202211249091A CN115587948A CN 115587948 A CN115587948 A CN 115587948A CN 202211249091 A CN202211249091 A CN 202211249091A CN 115587948 A CN115587948 A CN 115587948A
- Authority
- CN
- China
- Prior art keywords
- color gamut
- dark field
- grid
- field region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理技术领域,提供一种图像暗场校正方法及设备,除了适用于普通图像采集设备采集的图像外,还可以使用资源有限、处理时效要求较高的基于FPGA的内窥镜采集的图像。通过对原始图像进行颜色空间转换以及网格分割,获得每个网格的色域参数,并对各网格内像素点的色域参数进行自适应聚类,动态划分图像的暗场区域和亮场区域,从而计算出暗场区域相对于亮场区域的校正增益,该校正增益对于镜面反射亮区域和真实全黑暗区等异常区域进行了过滤,避免异常噪点对校正结果产生影响,从而根据校正增益对暗场区域内的色域参数进行校正时,能够有效减小亮暗场区域差异,提高整张图像的质量。
Description
技术领域
本申请涉及图像处理技术领域,提供一种图像暗场校正方法及设备。
背景技术
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器,广泛应用于医学领域,与人类健康息息相关,这就的对其采集的图像质量要求较高。然而,受制作工艺和使用环境的影响,内窥镜采集的图像会出现暗场,因此,需要对图像中的暗场进行校正。
目前,图像暗场校正方法中,大多是在采集过程中使用对应温度下的暗场模板进行校正,而暗场模板制作需要时间,且无法与实际采集条件完全符合,导致暗场校正后的图像质量较低,以使对图像暗场校正成为亟待解决的问题。
发明内容
本申请实施例提供了一种图像暗场校正方法及设备,用于提高暗场校正的准确性和效率。
一方面,本申请实施例提供一种图像暗场校正方法,包括:
获取待校正的原始图像,并对所述原始图像进行颜色空间转换以及网格分割,获得各网格内像素点的色域参数;
按照所述色域参数的大小,分别对所述各网格内的像素点进行排序,得到中位像素点、最大像素点和最小像素点;
根据所述各网格的位置信息以及所述各网格内中位像素点的色域参数进行聚类,确定图像的一个亮场区域和至少一个暗场区域;
根据各暗场区域和所述亮场区域内中位像素点的色域参数,分别计算相应的暗场区域的校正增益;
根据各校正增益,以及所述各网格内所述最大像素点和所述最小像素点对应的最大色域参数差值,分别校正相应网格内像素点的色域参数,得到目标图像,并将所述目标图像转换为原始的颜色空间。
另一方面,本申请实施例提供一种图像暗场校正设备,包括处理器和存储器,处理器和存储器通过总线连接,所述存储器存储有计算机程序,所述处理器根据所述计算机程序,执行以下操作:
获取待校正的原始图像,并对所述原始图像进行颜色空间转换以及网格分割,获得各网格内像素点的色域参数;
按照所述色域参数的大小,分别对所述各网格内的像素点进行排序,得到中位像素点、最大像素点和最小像素点;
根据所述各网格的位置信息以及所述各网格内中位像素点的色域参数进行聚类,确定图像的一个亮场区域和至少一个暗场区域;
根据各暗场区域和所述亮场区域内中位像素点的色域参数,分别计算相应的暗场区域的校正增益;
根据各校正增益,以及所述各网格内所述最大像素点和所述最小像素点对应的最大色域参数差值,分别校正相应网格内像素点的色域参数,得到目标图像,并将所述目标图像转换为原始的颜色空间。
另一方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机设备执行本申请实施例提供的图像暗场校正方法。
本申请实施例提供的一种图像暗场校正方法及设备中,通过对原始图像进行颜色空间转换,能够减小外界因素对暗场校正的影响,并采用网格法,按照色域参数的大小,分别对各网格内的像素点进行排序,得到局部的中位像素点、最大像素点和最小像素点,从而基于局部的像素点进行图像暗场校正,减少了计算量,提高了处理速度;暗场校正过程中,根据各网格的位置信息以及每个网格内的中位像素点进行自适应聚类,寻找非线性边界,动态划分一个亮场区域和至少一个暗场区域,并根据各暗场区域和亮场区域内中位像素点的色域参数,分别计算相应的暗场区域的校正增益,从而根据各校正增益校正相应网格内像素点的色域参数,由于校正过程考虑了各校正增益分别与对应网格的最大色域参数差值的大小,从而减小高曝光点和噪声点对于暗场校正的影响,有效拉低暗场区域与亮场区域的差异,提高图像的整体质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像暗场校正方法流程图;
图2为本申请实施例提供的对各网格内中位像素点的色域参数聚类的方法流程图;
图3为本申请实施例提供的暗场区域相对于亮场区域的校正增益计算方法流程图;
图4为本申请实施例提供的用校正增益校正相应网格内像素点的方法流程图;
图5为本申请实施例提供的剔除噪点对暗场校正结果影响的方法流程图;
图6A为本申请实施例提供的内窥镜采集的原始图像;
图6B为本申请实施例提供的校正后的内窥镜图像;
图7A为本申请实施例提供的手机采集的原始图像;
图7B为本申请实施例提供的校正后的手机图像;
图8为本申请实施例提供的用亮度信息校正图像暗场的完整方法流程图;
图9为本申请实施例提供的图像暗场校正设备结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。
内窥镜广泛用于医学领域,对采集图像的质量要求较高,然而,内窥镜采集的图像中四角区域比中心区域要暗。造成内窥镜采集的图像亮暗区域不均的原因有光学结构和使用环境。
其中,光学结构的原因主要包括:一方面,光源发出的光通过内窥镜发出时呈现的是中心散射型的,中间的光照强度要大于四周的光照强度;另一方面,光学镜片为圆形,边角的成像光线与镜头光轴有较大的夹角。这样,沿着视场边缘的光线的前进方向看光圈,由于光线与光圈所在的平面有夹角,看到的光圈是椭圆的,所以通光面积减小,并且,镜头光心到靶面的边缘距离较大,同样的光圈直径到达底片的光线夹角较小,亮度必然减小。同理,同样的光线偏角,对于边角光线位移较大,等价于照在较大的面积上,而面积是与位移的平方成正比的,广角镜头的边缘亮度随着视角变大急剧下降。因此,内窥镜采集的图像边角处会出现暗场区域。
同时,使用环境的原因包括:内窥镜使用过程中,人体内器官会遮挡内窥镜自带光源,产生阴影暗场区域,尤其是在腹腔环境下,由于消化器官通道狭长,内窥镜可以捕捉到的反射光非常少,形成的暗场区域较大。
图像中的暗场会导致采集的器官部位不清晰,影响图像质量,因此,需要对图像的暗场区域进行校正,从而解决图像亮暗不均的情况。
鉴于此,本申请实施例提供了一种图像暗场校正方法及设备,通过对原始图像进行颜色空间转换以及网格分割,获得每个网格的色域参数,并对各网格内的色域参数进行自适应聚类,动态划分图像的暗场区域、亮场区域和背景区域,聚类过程中,对于镜面反射亮区域和真实全黑暗区等异常区域进行了过滤,避免异常数据对聚类结果产生影响,提高了亮暗场区域划分的准确性,从而根据亮场区域内的色域参数对暗场区域内的色域参数进行校正时,能够有效减小亮暗场区域差异,提高整张图像的质量。
参见图1,为本申请实施例提供的图像暗场校正方法流程图,该流程主要包括以下几步:
S101:获取待校正的原始图像,并对原始图像进行颜色空间转换以及网格分割,获得各网格内像素点的色域参数。
在S101中,根据图像采集设备的实际应用场景,对图像采集设备采集的原始图像进行颜色空间的转换。例如,在腹腔非荧光环境下,可将原始图像转换到YUV颜色空间进行暗场校正。
可选的,根据实际应用场景的不同,本申请实施例中的颜色空间包括RGB颜色空间、YUV颜色空间或HSV颜色空间。不同颜色空间之间可以相互转换。
例如,从RGB颜色空间可以转换到YUV颜色空间,转换公式为:
同时,从YUV颜色空间也可以转换到RGB颜色空间,转换公式为:
上述公式1和公式2中,R通道表示红色,G通道表示绿色,B通道表示蓝色,Y通道表示明亮度,UV两通道表示色度。
在S101中,当图像采集设备为医学领域中的内窥镜时,考虑到内窥镜一般使用现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA),而FPGA可用资源有限,尤其是分辨率为4K图像时,图像尺寸较大,涉及到的像素参数很多,需要考虑FPGA资源利用率。因此,对图像进行暗场校正过程中,可对不同颜色空间的参数(如颜色、色调、饱和度等信息)进行过滤,使用抗干扰能力较强的色域参数(如亮度信息)。
具体的,当原始图像转换到RGB颜色空间时,对转换后的RGB图像进行灰度化处理,此时使用的色域参数至少直接灰度图像中的亮度信息;当原始图像转换到HSV颜色空间时,此时使用的色域参数至少包括V通道表征的亮度信息;当原始图像转换到YUV颜色空间时,此时使用的色域参数至少包括Y通道表征的亮度信息。
随着芯片技术的发展,内窥镜的硬件处理能力提升,或者针对其它硬件处理能力较强的图像采集设备(如电脑、手机、平板等),资源限制性较低,且考虑到像素点的色彩、色温、色调等信息同样会对暗场校正产生很大的影响,因此,使用的色域参数除了为亮度信息外,还可以增加色彩、色温、色调等其他信息,从而提高暗场校正的准确性。
图像暗场校正过程中,通过将不同实际应用场景采集的原始图像转换到对应的颜色空间进行校正,可以减小实际应用场景对图像校正的干扰。
考虑一张图像中不同区域的亮暗程度不同,因此,在S101中,将原始图像进行颜色空间转换后,对转换后的图像进行网格分割,从而以网格为单位,得到每个网格内像素点的色域参数。
其中,每个网格的尺寸,可根据实际图像尺寸和预设的网格数量确定,公式表示如下:
其中,Imagecol表示图像中像素点的列数,Imagerow表示图像中像素点的行数,NumberBlock表示网格数量,Blocksize表示每个网格的尺寸,即包含的像素点数量。
S102:按照色域参数的大小,分别对各网格内的像素点进行排序,得到中位像素点、最大像素点和最小像素点。
现有图像暗场校正技术中,一般对网格内的所有像素点进行分析,计算量较大。而内窥镜的使用场景对图像流畅度要求较高,在对每帧图像进行暗场校正时,需要注意FPGA的处理速度和处理时间,因此,现有技术无法满足内窥镜的时效性。
为了解决上述问题,在S102中,针对每个网格,按照色域参数的大小对该网格内的像素点进行排序,得到该网格内中位色域参数对应的中位像素点pmid、最大色域参数对应的最大像素点pmax和最小色域参数对应的最小像素点pmin,并根据最大像素点和最小像素点确定最大色域参数差值,从而根据反应该网格内色域参数变化趋势的中位像素点、最大像素点和最小像素点的色域参数进行暗场校正,相比于对所有像素点进行分析,减少了计算量,提高了处理速度,能够保证图像校正的流畅性。
S103:根据各网格的位置信息以及各网格内中位像素点的色域参数进行自适应聚类,确定图像的一个亮场区域和至少一个暗场区域。
暗场校正主要是为例减小图像中亮暗区域的差异,提高图像的清晰度。因此,图像暗场校正的关键是,确定图像的暗场区域和亮场区域。
本申请实施例提供了一种适用于FPGA的特有聚类方式,根据各网格内的中位像素点{pmid in Blocki,i∈1,2,...,NumberBlock},聚类K个簇C={C1,C2,...,CK},从而有效划分出图像的亮场区域、暗场区域和背景区域。可选的,K=3或4。
具体聚类方法参见图2,主要包括以下几步:
S1031:选取图像左上角、中心、以及右下角的网格内的中位像素点的作为聚类的初始质心。
考虑到图像亮暗场区域分布具有边角暗、中心亮的一般特性,在S1031中,对各网格内的中位像素点进行聚类时,初始质心的设置考虑了网格在图像中的位置信息,有效提高了聚类效率和准确率。
其中,聚类的初始质心可使用主成分分析(Principal Component Analysis,PCA)算法计算得到。
S1032:根据其余网格内的中位像素点的色域参数,以及各初始质心的色域参数,分别计算其余中位像素点分别到每个初始质心的距离。
其中,一个中位像素点与一个质心间的距离公式为:
其中,pi表示第i个中位像素点,为聚类中第j个簇的质心,||·||2为2范数,表示欧几里得距离,表示第i个中位像素点和第j个簇的质心间的欧几里得距离,和表示任意两个簇的质心,表示聚类中每两个簇的质心间的欧几里得距离中的最大值,表示第i个中位像素点的色域参数,表示第j个簇的质心的色域参数,表示第i个中位像素点和第j个簇的质心间的色域参数差值,表示第i个中位像素点与第j个簇的质心间的欧几里得距离和曼哈顿距离的最大值。
以聚类簇数为3、色域参数为亮度信息为例,上述公式4可展开为:
此时,pi表示第i个中位像素点,为聚类中第j个簇的质心,表示第i个中位像素点和第j个簇的质心间的欧几里得距离, 表示聚类中3个簇的质心间的欧几里得距离中的最大值,表示第i个中位像素点的亮度信息,表示第j个簇的质心的亮度信息,表示第i个中位像素点和第j个簇的质心间的亮度差值,表示第i个中位像素点与第j个簇的质心间的距离。
每轮迭代操作,可以得到每个中位像素点到各质心的距离D={D1,D2,...,DK}。
S1033:根据各距离重新确定多个聚类质心,直至满足预设条件。
在S1033中,根据每个中位像素点到各质心的距离D={D1,D2,...,DK},重新确定每个簇的质心,公式表示如下:
需要说明的是,预设条件可以是聚类迭代的次数,例如,设置迭代10次终止,预设条件还可以是距离误差,质心不再发生变化等。
S1034:将满足预设条件时的多个聚类质心中色域参数最大的质心对应的簇作为亮场区域,其余聚类质心对应的簇作为暗场区域。
在S1034中,对多个聚类质心的色域参数进行比较,选择色域参数最大的质心,该聚类质心对应的簇作为图像的亮场区域,其余聚类质心对应簇为图像的暗场区域,从而实现图像的非线性划分。其中,划分结果为:亮场区域仅有一个,而暗场区域可以有一个或多个。
本申请实施例中,聚类算法的目的是为了实现明暗区域内像素的非线性划分,相对于直接使用亮度前10%的网格校正方式,可以避免高灰值像素产生的高曝光和噪声影响。其中,聚类中簇的数量和初始质心的设置可根据实际情况进行调整和变形。
S104:根据各暗场区域和亮场区域内中位像素点的色域参数,分别计算相应的暗场区域的校正增益。
图像暗场校正过程中,确定用于参考的亮场区域以及需要校正的暗场区域后,可以根据各暗场区域相对于亮场区域的距离和中位像素点的色域参数差别,计算用于对各暗场区域进行校正的校正增益,从而将校正增益应用到各网格的像素点上,实现全图像校正。
目前,相关技术在采用网格法计算校正增益时,通过对各网格各自的像素点的亮度均值进行排序,以前10%的网格作为参考区域,根据参考区域内像素点的亮度计算校正增益,来补偿校正其它网格内像素点的亮度。然而,通过排序的方式,确定的参考区域中可能包含高曝光的异常亮区,从而影响了补偿效果。
例如,内窥镜的使用环境中,人体内的体液会产生镜面反射,造成高亮光斑,影响亮度校正效果。
本申请实施例通过聚类的方式,可以过滤掉由镜面反射等形成的异常亮场区域以及全黑的异常暗场区域和背景区域,从而避免异常亮场区域、异常暗场区域和背景区域对校正增益影响。
在S104中,校正增益的计算过程参见图3,主要包括以下几步:
S1041:针对每个暗场区域,根据该暗场区域内待校正的中位像素点和聚类质心的色域参数,计算该暗场区域对应的簇的类内色域参数偏差,以及,根据该暗场区域内聚类质心的色域参数和亮场区域内聚类质心的色域参数,计算该暗场区域和亮场区域的簇间色域参数偏差。
在S1041中,聚类后一个簇表征的暗场区域内包含多个中位像素点,聚类质心即为这个簇的中心像素点,该聚类质心的色域参数为簇内多个中位像素点的均值。同理,一个簇表征的亮场区域内也包含多个中位像素点,亮场区域对应的聚类质心的色域参数也为簇内多个中位像素点的均值。
针对暗场区域内待校正的每个中位像素点,执行以下操作:计算该中位像素点与该暗场区域内聚类质心的色域参数间的差值,并将计算出的差值作为该暗场区域对应的簇内色域参数偏差,同时,计算该暗场区域内聚类质心的色域参数与亮场区域内聚类质心的色域参数之间的差值,并将该差值作为该暗场区域与亮场区域的簇间色域参数偏差。
S1042:根据该暗场区域内待校正的中位像素点和聚类质心,计算该暗场区域对应的簇内距离偏差,以及,根据该暗场区域的聚类质心和亮场区域的聚类质心,计算该暗场区域和亮场区域的簇间距离偏差。
在S1042中,该暗场区域内聚类质心的图像坐标为该暗场区域内多个中位像素点的图像坐标的均值,亮场区域内聚类质心的图像坐标为亮场区域内多个中位像素点的图像坐标的均值。其中,簇内距离偏差和簇间距离偏差为根据中位像素点的图像坐标和聚类质心的图像坐标确定的欧几里得距离。
S1043:根据簇内色域参数偏差、簇间色域参数偏差、簇内距离偏差和簇间距离偏差,计算该暗场区域的校正增益。
在S1043中,该暗场区域的校正增益的计算公式为:
其中,pDark表示该暗场区域内待校正的中位像素点,表示该暗场区域内的聚类质心,表示亮场区域内的聚类质心,表示该暗场区域内待校正的中位像素点的色域参数,表示该暗场区域内聚类质心的色域参数,表示亮场区域内聚类质心的色域参数,表示该暗场区域对应的簇内色域参数偏差,表示该暗场区域和亮场区域的簇间色域参数偏差,表示该暗场区域对应的簇内距离偏差,表示该暗场区域和亮场区域的簇间距离偏差,||·||2为2范数,表示欧几里得距离,|·|为1范数,表示曼哈顿距离,sign(·)表示符号函数,pgain表示校正增益。
S105:根据各校正增益,以及各网格内最大像素点和最小像素点对应的最大色域参数差值,分别校正相应网格内像素点的色域参数,得到目标图像。
由于网格与中位像素点是一一对应的关系,而暗场区域内每个待校正的中位像素点与校正增益也是一一对应的关系,因此,在S105中,可以根据这两个对应关系,分别校正相应的网格内的像素点。
网格内像素点的具体校正过程参见图4,主要包括以下几步:
S1051:针对每个校正增益,确定该校正增益是否大于该校正增益对应的网格的最大色域参数差值,若是,则执行S1052,若否,则执行S1053。
通过S102对网格内像素点的色域参数进行排序,可以得到色域参数最大的像素点(即最大像素点)以及色域参数最小的像素点(即最小像素点),最大像素点与最小像点间的色域差值,即为该网格的最大色域参数差值。在S1051中,根据网格与中位像素点的一一对应的关系,以及待校正的中位像素点与校正增益的一一对应的关系,可以确定校正增益与网格的对应关系,通过比较该网格对应的校正增益与最大色域参数差值的大小,确定校正方式。
S1052:用该校正增益校正对应的网格内所有像素点的色域参数。
在S1052中,当该校正增益大于对应的网格内的大色域参数差值时,表明该校正增益计算较为准确,校正后能够有效拉低对应的网格内像素点间的色域参数差距。
以该校正增益对应的网格内的一个像素点为例,色域参数的校正公式为:
S1053:根据对应的网格内是否存在噪点,采用不同的方式校正对应的网格内像素点的色域参数。
在S1053中,当该校正增益小于等于对应的网格内的最大色域参数差值时,表明该网格内像素点的色域参数差距较大,可能存在噪点,需要剔除影响。具体校正方式参数图5,主要包括以下几步:
S1053_1:确定该网格内是否存在噪点,若是,则执行S1053_2,若否,则执行S1053_3。
本申请实施例中,噪点可以是过亮的像素点,也可以是过暗的像素点。当图像采集设备为内窥镜时,噪点可以是人体内积液镜面反射形成的亮点,当图像采集设备为手机、电脑等设备时,噪点可以是环境中的灯光形成的。
S1053_2:将该网格内中位像素点的色域参数作为噪点的色域参数。
在S1053_2中,当该网格内存在噪点时,噪点引起该网格内的最大色域参数差值过大,因此,将该网格内中位像素点的色域参数作为噪点的色域参数,从而减小噪点对图像的影响。
S1053_3:根据该网格的最大色域参数差值调整校正增益,并用调整后的校正增益,校正该网格内所有像素点的色域参数。
在S1053_3中,当该网格内不存在噪点时,且该网格的最大色域参数差值大于该校正增益时,表明需要对校正增益进一步细化,得到精度更高的校正增益以拉低该网格内像素点间的色域参数差距。
在S1053_3中,校正增益的调整公式为:
其中,p′gain表示调整后的校正增益,pgain表示调整前的校正增益,表示该暗场区域内中位像素点的色域参数,表示待校正的中位像素点的色域参数,表示该暗场区域对应的最大色域参数,表示该暗场区域对应的最小色域参数,表示该暗场区域对应的最大色域参数差值,记为Pdiff。
得到调整后的校正增益后,将调整后的校正增益作用于该网格内的所有像素点。此时,以该校正增益对应的网格内的一个像素点为例,色域参数的校正公式为:
结合公式7和公式8,在不存在噪点的情况下,一个网格内像素点的色域参数的校正公式为:
本申请实施例在暗场校正过程中,通过噪点判断,可以有效避免高曝光对校正结果的影响,同时,通过比较校正增益与对应网格内最大色域参数差值的大小,能够有效拉低该网格内像素点间的色域参数差距,提高图像暗场校正的质量。
S106:将目标图像转换为原始的颜色空间。
在S106中,由于暗场校正时将原始图像进行了颜色空间转换,因此,得到暗场校正后的目标图像后,将目标图像转换为原始的颜色空间并输出。
本申请实施例中,在对图像进行暗场校正时,色域参数可以为影响较小的亮度信息,且校正增益的计算可以仅使用了网格内的中位像素点、最大像素点和最小像素点这三个局部像素点的亮度参数,相对于使用网格的所有像素点,减小了计算量,耗费资源较少,处理速度较快,因此,可以适用于基于FPGA的内窥镜使用场景。
参见图6A,为内窥镜场景下采集的原始图像,以色域参数为亮度信息为例,采用申请实施例提供的图像暗场校正方法,图像暗场校正后的效果如图6B所示。通过图6A和图6B的对比可知,本申请实施例提供的图像暗场校正方法,能够有效提高内窥镜采集的图像的质量。
本申请实施例提供的图像暗场校正方法,除了适用于对基于FPGA的内窥镜在体内采集的图像的暗场校正,还可以适用于对手机、平板、笔记本电脑等设备采集的室内外环境图像的暗场进行校正。
例如,如图7A所示,为手机采集的暗场校正前存在光源的一张室内场景图像,采用本申请实施例提供的图像暗场校正方法,暗场校正后的图像如图7B所示。通过图7A和图7B的对比可知,本申请实施例提供的图像暗场校正方法,能够有效提高手机采集的图像的质量。
本申请实施例提供的一种图像暗场校正方法,除了适用于普通图像采集设备采集的图像外,还可以使用资源有限、处理时效要求较高的基于FPGA的内窥镜采集的图像,通过对原始图像进行颜色空间转换,得到各网格内受外界因素影响较小的色域参数,然后对各网格内像素点的色域参数进行排序,选出部分具有代表性的部分像素点,并采用动态聚类的方式,根据选择出的像素点的位置信息和色域参数划分亮场区域和暗场区域,从而计算暗场区域相对于亮场区域的校正增益,从而对每个校正增益对应的网格的色域参数进行校正,校正过程中,能够有效避免高曝光点和噪声点对校正结果的影响,提高了校正增益计算的准确性,进一步提高了暗场校正后图像的质量。
以色域参数为亮度信息为例,参见图8,为本申请提供的图像暗场校正方法的完整流程图,该流程主要包括以下几步:
S801:获取待校正的原始图像,并对原始图像进行颜色空间。
S802:将颜色转换后的图像分割为多个网格。
S803:获取每个网格内像素点的亮度信息,并根据亮度信息对每个网格内的像素点进行排序,得到最大像素点、最小像素点和中位像素点。
S804:根据每个网格的最大像素点和最小像素点的亮度信息,计算最大亮度差值。
S805:对各网格的中位像素点进行聚类,划分一个亮场区域和至少一个暗场区域。
S806:根据亮场区域和每个暗场区域内的中位像素点的亮度信息,分别计算校正增益。
S807:针对每个校正增益,分别确定该校正增益是否大于该校正增益对应的网格的最大亮度差值,若是,则执行S808,若否,则执行S809。
S808:用该校正增益校正对应的网格内所有像素点的亮度信息。
S809:确定该网格内是否存在噪点,若是,则执行S810,若否,则执行S811。
S810:将该网格内中位像素点的亮度信息作为噪点的亮度信息。
S811:根据该网格的最大亮度差值调整校正增益,并用调整后的校正增益,校正该网格内所有像素点的亮度信息。
S812:将各网格内像素点色域参数校正后的目标图像转换为原始的颜色空间。
基于相同的技术构思,本申请实施例提供一种图像暗场校正设备,该设备可以是基于FPGA的内窥镜,还可以是与内窥镜连接的台式计算机,也可以智能手机、平板、笔记本电脑、可穿戴设备等独立设备。
参见图9,该设备包含处理器901和存储器902,处理器901和存储器902通过总线903连接,存储器902存储有计算机程序,处理器901根据所述计算机程序,执行以下操作:
获取待校正的原始图像,并对所述原始图像进行颜色空间转换以及网格分割,获得各网格内像素点的色域参数;
按照所述色域参数的大小,分别对所述各网格内的像素点进行排序,得到中位像素点、最大像素点和最小像素点;
根据所述各网格的位置信息以及各网格内所述中位像素点的色域参数进行聚类,确定图像的一个亮场区域和至少一个暗场区域;
根据各暗场区域和所述亮场区域内中位像素点的色域参数,分别计算相应的暗场区域的校正增益;
根据各校正增益,以及所述各网格内所述最大像素点和所述最小像素点对应的最大色域参数差值,分别校正相应网格内像素点的色域参数,得到目标图像,并将所述目标图像转换为原始的颜色空间。
可选的,所述处理器901根据所述各网格的位置信息以及各网格内所述中位像素点的色域参数进行聚类,确定图像的一个亮场区域和至少一个暗场区域,具体操作为:
选取图像左上角、中心、以及右下角的网格内的所述中位像素点的作为聚类的初始质心;
根据其余各网格内的中位像素点的色域参数,以及,各初始质心的色域参数,分别计算其余中位像素点分别到每个初始质心的距离;
根据各距离重新确定多个聚类质心,直至满足预设条件;
将满足所述预设条件时的多个聚类质心中色域参数最大的质心对应的簇作为亮场区域,其余聚类质心对应的簇作为暗场区域。
可选的,所述中位像素点与质心间的距离公式为:
其中,pi表示第i个中位像素点,为聚类中第j个簇的质心,||·||2表示欧几里得距离,和表示任意两个簇的质心,表示聚类中每两个簇的质心间的欧几里得距离中的最大值,表示所述第i个中位像素点的色域参数,表示所述第j个簇的质心的色域参数,表示所述第i个中位像素点和所述第j个簇的质心间的色域参数差值,表示所述第i个中位像素点与所述第j个簇的质心间的欧几里得距离和曼哈顿距离的最大值。
可选的,所述处理器901根据各暗场区域和所述亮场区域内中位像素点的色域参数,计算所述暗场区域的校正增益,具体操作为:
针对每个暗场区域,执行以下操作:
根据所述暗场区域内待校正的像素点和聚类质心的色域参数,计算所述暗场区域对应的簇内色域参数偏差,以及,根据所述暗场区域内聚类质心的色域参数和所述亮场区域内聚类质心的色域参数,计算所述暗场区域和所述亮场区域的簇间色域参数偏差;
根据所述暗场区域内待校正的中位像素点和聚类质心,计算所述暗场区域对应的簇内距离偏差,以及,根据所述暗场区域的聚类质心和所述亮场区域的聚类质心,计算所述暗场区域和所述亮场区域的簇间距离偏差;
根据所述簇内色域参数偏差、所述簇间色域参数偏差、所述簇内距离偏差和所述簇间距离偏差,计算所述暗场区域的校正增益。
可选的,所述校正增益的公式为:
其中,pDark表示所述暗场区域内待校正的中位像素点,表示所述暗场区域内的聚类质心,表示所述亮场区域内的聚类质心,表示所述暗场区域内待校正的中位像素点的色域参数,表示所述暗场区域内聚类质心的色域参数,表示所述亮场区域内聚类质心的色域参数,||·||2表示欧几里得距离,sign(·)表示符号函数,pgain表示所述校正增益。
可选的,所述处理器901根据各校正增益,以及所述各网格内所述最大像素点和所述最小像素点对应的最大色域参数差值,分别校正相应网格内像素点的色域参数,具体操作为:
针对每个校正增益,执行以下操作:
若所述校正增益大于所述校正增益对应的网格的最大色域参数差值,则用所述校正增益校正对应的网格内所有像素点的色域参数;
若所述校正增益小于等于所述校正增益对应的网格的最大色域参数差值,则根据所述网格内是否存在噪点,采用不同的方式校正对应的网格内像素点的色域参数。
可选的,所述处理器901根据所述网格内是否存在噪点,采用不同的方式校正对应的网格内像素点的色域参数,具体操作为:
若所述网格内存在噪点,则将所述网格内中位像素点的色域参数作为所述噪点的色域参数;
若所述网格内不存在噪点,则根据所述网格的最大色域参数差值调整所述校正增益,并用调整后的校正增益,校正所述网格内所有像素点的色域参数。
可选的,调整所述校正增益的公式为:
其中,所述p′gain表示调整后的校正增益,pgain表示调整前的校正增益,表示所述暗场区域内中位像素点的色域参数,表示待校正的中位像素点的色域参数,表示所述暗场区域内像素点的最大色域参数,表示所述暗场区域内像素点的最小色域参数,表示所述暗场区域的最大色域参数差值。
可选的,所述颜色空间包括RGB颜色空间、YUV颜色空间或HSV颜色空间;
当所述原始图像转换到RGB颜色空间时,所述色域参数至少包括对RGB图像灰度处理后的亮度信息;
当所述原始图像转换到HSV颜色空间时,所述色域参数至少包括V通道表征的亮度信息;
当所述原始图像转换到YUV颜色空间时,所述色域参数至少包括Y通道表征的亮度信息。
需要说明的是,图9仅是一种示例,给出图像暗场校正设备执行本申请实施例提供的图像暗场校正方法步骤所必要的硬件。未示出的,当图像暗场校正设备还包括显示屏、摄像头、电源、通信接口等常规领域的设备器件。
本申请实施例图9中涉及的处理器可以是中央处理器(Central ProcessingUnit,CPU),通用处理器,图形处理器(Graphics Processing Unit,GPU)数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-specific IntegratedCircuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。
本申请实施例还提供一种计算机可读存储介质,用于存储一些指令,这些指令被执行时,可以完成前述实施例中图像暗场校正方法。
本申请实施例还提供一种计算机程序产品,用于存储计算机程序,该计算机程序用于执行前述实施例中图像暗场校正方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像暗场校正方法,其特征在于,包括:
获取待校正的原始图像,并对所述原始图像进行颜色空间转换以及网格分割,获得各网格内像素点的色域参数;
按照所述色域参数的大小,分别对所述各网格内的像素点进行排序,得到中位像素点、最大像素点和最小像素点;
根据所述各网格的位置信息以及所述各网格内中位像素点的色域参数进行聚类,确定图像的一个亮场区域和至少一个暗场区域;
根据各暗场区域和所述亮场区域内中位像素点的色域参数,分别计算相应的暗场区域的校正增益;
根据各校正增益,以及所述各网格内所述最大像素点和所述最小像素点对应的最大色域参数差值,分别校正相应网格内像素点的色域参数,得到目标图像,并将所述目标图像转换为原始的颜色空间。
2.如权利要求1所述的方法,其特征在于,所述根据所述各网格的位置信息以及所述各网格内中位像素点的色域参数进行聚类,确定图像的一个亮场区域和至少一个暗场区域,包括:
选取图像左上角、中心、以及右下角的网格内的所述中位像素点的作为聚类的初始质心;
根据其余各网格内的中位像素点的色域参数,以及各初始质心的色域参数,分别计算其余中位像素点分别到每个初始质心的距离;
根据各距离重新确定多个聚类质心,直至满足预设条件;
将满足所述预设条件时的多个聚类质心中色域参数最大的质心对应的簇作为亮场区域,其余聚类质心对应的簇作为暗场区域。
4.如权利要求1所述的方法,其特征在于,所述根据各暗场区域和所述亮场区域内中位像素点的色域参数,计算所述暗场区域的校正增益,包括:
针对每个暗场区域,执行以下操作:
根据所述暗场区域内待校正的中位像素点和聚类质心的色域参数,计算所述暗场区域对应的簇内色域参数偏差,以及,根据所述暗场区域内聚类质心的色域参数和所述亮场区域内聚类质心的色域参数,计算所述暗场区域和所述亮场区域的簇间色域参数偏差;
根据所述暗场区域内待校正的中位像素点和聚类质心,计算所述暗场区域对应的簇内距离偏差,以及,根据所述暗场区域的聚类质心和所述亮场区域的聚类质心,计算所述暗场区域和所述亮场区域的簇间距离偏差;
根据所述簇内色域参数偏差、所述簇间色域参数偏差、所述簇内距离偏差和所述簇间距离偏差,计算所述暗场区域的校正增益。
6.如权利要求1所述的方法,其特征在于,所述根据各校正增益,以及所述各网格内所述最大像素点和所述最小像素点对应的最大色域参数差值,分别校正相应网格内像素点的色域参数,包括:
针对每个校正增益,执行以下操作:
若所述校正增益大于所述校正增益对应的网格的最大色域参数差值,则用所述校正增益校正对应的网格内所有像素点的色域参数;
若所述校正增益小于等于所述校正增益对应的网格的最大色域参数差值,则根据所述网格内是否存在噪点,采用不同的方式校正对应的网格内像素点的色域参数。
7.如权利要求6所述的方法,其特征在于,所述根据所述网格内是否存在噪点,采用不同的方式校正对应的网格内像素点的色域参数,包括:
若所述网格内存在噪点,则将所述网格内中位像素点的色域参数作为所述噪点的色域参数;
若所述网格内不存在噪点,则根据所述网格的最大色域参数差值调整所述校正增益,并用调整后的校正增益,校正所述网格内所有像素点的色域参数。
9.如权利要求1-8中任一项所述的方法,其特征在于,所述颜色空间包括RGB颜色空间、YUV颜色空间或HSV颜色空间;
当所述原始图像转换到RGB颜色空间时,所述色域参数至少包括对RGB图像灰度处理后的亮度信息;
当所述原始图像转换到HSV颜色空间时,所述色域参数至少包括V通道表征的亮度信息;
当所述原始图像转换到YUV颜色空间时,所述色域参数至少包括Y通道表征的亮度信息。
10.一种图像暗场校正设备,其特征在于,包括处理器和存储器,处理器和存储器通过总线连接,所述存储器存储有计算机程序,所述处理器根据所述计算机程序,执行以下操作:
获取待校正的原始图像,并对所述原始图像进行颜色空间转换以及网格分割,获得各网格内像素点的色域参数;
按照所述色域参数的大小,分别对所述各网格内的像素点进行排序,得到中位像素点、最大像素点和最小像素点;
根据所述各网格的位置信息以及所述各网格内中位像素点的色域参数进行聚类,确定图像的一个亮场区域和至少一个暗场区域;
根据各暗场区域和所述亮场区域内中位像素点的色域参数,分别计算相应的暗场区域的校正增益;
根据各校正增益,以及所述各网格内所述最大像素点和所述最小像素点对应的最大色域参数差值,分别校正相应网格内像素点的色域参数,得到目标图像,并将所述目标图像转换为原始的颜色空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211249091.3A CN115587948A (zh) | 2022-10-12 | 2022-10-12 | 一种图像暗场校正方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211249091.3A CN115587948A (zh) | 2022-10-12 | 2022-10-12 | 一种图像暗场校正方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115587948A true CN115587948A (zh) | 2023-01-10 |
Family
ID=84780611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211249091.3A Pending CN115587948A (zh) | 2022-10-12 | 2022-10-12 | 一种图像暗场校正方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115587948A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118096546A (zh) * | 2024-04-29 | 2024-05-28 | 南京诺源医疗器械有限公司 | 内窥镜图像的处理方法、装置及电子设备 |
-
2022
- 2022-10-12 CN CN202211249091.3A patent/CN115587948A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118096546A (zh) * | 2024-04-29 | 2024-05-28 | 南京诺源医疗器械有限公司 | 内窥镜图像的处理方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110505459B (zh) | 适用于内窥镜的图像颜色校正方法、装置和存储介质 | |
US10762664B2 (en) | Multi-camera processor with feature matching | |
US8310499B2 (en) | Balancing luminance disparity in a display by multiple projectors | |
US9036047B2 (en) | Apparatus and techniques for image processing | |
KR20070065112A (ko) | 색 보정 장치 및 방법 | |
US20040131273A1 (en) | Signal intensity range transformation apparatus and method | |
WO2022127225A1 (zh) | 图像拼接方法、装置、设备和存储介质 | |
WO2018126050A1 (en) | Camera-assisted automatic screen fitting | |
US20140267883A1 (en) | Method of selecting a subset from an image set for generating high dynamic range image | |
WO2017052976A1 (en) | A method and system of low-complexity histogram of gradients generation for image processing | |
CN114719966A (zh) | 光源确定方法、装置、电子设备及存储介质 | |
WO2019128539A1 (zh) | 图片清晰度的获取方法、装置、存储介质及电子设备 | |
CN115587948A (zh) | 一种图像暗场校正方法及设备 | |
TW201411554A (zh) | 修正一影像系統之暈影的方法及裝置 | |
KR20120015980A (ko) | 오브젝트 색상 보정 방법, 시스템 및 컴퓨터 프로그램 제품 | |
WO2022120799A9 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN115995208B (zh) | 一种球形led显示屏的灯点定位方法、校正方法及装置 | |
KR100791374B1 (ko) | 색역 내에 존재하는 색상을 영상 적응적으로 조절하는 방법및 장치 | |
WO2016158490A1 (ja) | 投影システム、プロジェクター装置、撮像装置、および、プログラム | |
CN116862810A (zh) | 亮度调节方法和装置 | |
US11696038B2 (en) | Multiple camera color balancing | |
JP5280940B2 (ja) | 特定色検出回路 | |
US20220343529A1 (en) | Image signal processing based on virtual superimposition | |
CN114862846A (zh) | 一种筛分方法、装置、设备及存储介质 | |
JP4985117B2 (ja) | 画像処理プログラム、および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |