CN112529800A - 一种用于滤除毛发噪声的近红外静脉图像处理方法 - Google Patents
一种用于滤除毛发噪声的近红外静脉图像处理方法 Download PDFInfo
- Publication number
- CN112529800A CN112529800A CN202011419198.9A CN202011419198A CN112529800A CN 112529800 A CN112529800 A CN 112529800A CN 202011419198 A CN202011419198 A CN 202011419198A CN 112529800 A CN112529800 A CN 112529800A
- Authority
- CN
- China
- Prior art keywords
- gray
- image
- sub
- filtering
- hair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004209 hair Anatomy 0.000 title claims abstract description 147
- 238000001914 filtration Methods 0.000 title claims abstract description 144
- 210000003462 vein Anatomy 0.000 title claims abstract description 109
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 82
- 230000000877 morphologic effect Effects 0.000 claims abstract description 62
- 238000010606 normalization Methods 0.000 claims abstract description 34
- 230000000903 blocking effect Effects 0.000 claims abstract description 14
- 230000007797 corrosion Effects 0.000 claims abstract description 11
- 238000005260 corrosion Methods 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008030 elimination Effects 0.000 claims description 10
- 238000003379 elimination reaction Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 230000010339 dilation Effects 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 230000003628 erosive effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 239000002344 surface layer Substances 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 230000007903 penetration ability Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000010254 subcutaneous injection Methods 0.000 description 1
- 239000007929 subcutaneous injection Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
本发明涉及一种用于滤除毛发噪声的近红外静脉图像处理方法,包括:1)采集待成像部位的近红外静脉图像和可见光图像,并进行尺寸标准化;2)对可见光图像进行灰度化处理;3)进行分块处理,对分块后的各个子图像进行灰度归一化处理和第一滤波处理;4)对各个子图像依次进行形态学膨胀操作和形态学腐蚀操作;将各个子图像分别与对应的子图像进行灰度值减法运算;5)对各个子图像进行二值化处理和第二滤波处理;6)获得毛发像素点的坐标集合;7)滤除近红外静脉图像的毛发噪声。与现有技术相比,本发明具有能够给出毛发噪声像素点的具体位置,能够更有效、更精准地处理毛发噪声,同时对近红外图像中静脉信息的破坏很小等优点。
Description
技术领域
本发明涉及近红外静脉图像处理领域,尤其是涉及一种用于滤除毛发噪声的近红外静脉图像处理方法。
背景技术
近红外光是指介于可见光和中红外光之间的电磁辐射波,其波长的大致范围为780nm到2500nm。特定波长的近红外光具有一些可见光所不具备的优良性质,因此为人们广泛使用。由于可见光对皮肤、肌肉等人体组织的穿透能力较弱,在可见光照射下一般难以获得人体表层静脉的结构等信息;而波长在780nm到1100nm左右的近红外光的穿透能力相对较强,且血管中的血红蛋白容易吸收该波段的近红外光,因此近红外光的一大典型应用就是近红外表层静脉成像。在手指静脉识别解锁、静脉穿刺机器人、皮下注射机器人等技术中,都用到了近红外表层静脉成像技术。
然而,近红外表层静脉成像的质量容易受到许多因素的干扰,皮肤上的毛发就是干扰因素之一。由于毛发也对相应波段的近红外光有一定的吸收能力,如果使用者在成像部位上有较长较粗、颜色较深、或较为浓密的汗毛等毛发,那么得到的图像就会较大影响,不能清晰正确地显示出静脉的结构,在图像中难以区分毛发与静脉,成像质量较差。因此,减弱近红外表层静脉图像毛发噪声的影响,对于提升近红外图像质量以及相关应用有着重要意义。
在近红外表层静脉成像及后续的血管分割等技术中,通常会使用滤波等图像处理的方法来滤除图像中的噪声,包括部分毛发噪声,然而这种方法的效果有限,当毛发较长较粗、颜色较深、或较为浓密时,在近红外图像中进行滤波操作难以有效减弱毛发的影响,同时还有可能对静脉部分的图像产生较大不利影响。
因此目前对于毛发噪声的处理,多是用于照片美化等目的,这些方法大多不能精确找到毛发噪声的具体位置,且对局部图像信息有较大改动,不能直接应用到近红外表层静脉成像中。
发明内容
本发明的目的就是为了克服上述现有技术存在不能精确找到毛发噪声的具体位置,且对局部图像信息有较大改动,不能直接应用到近红外表层静脉成像中的缺陷而提供一种用于滤除毛发噪声的近红外静脉图像处理方法。
本发明的目的可以通过以下技术方案来实现:
一种用于滤除毛发噪声的近红外静脉图像处理方法,包括以下步骤:
S1:采集待成像部位的初始近红外静脉图像和可见光图像,并进行尺寸标准化;
S2:对步骤S1获取的所述可见光图像进行灰度化处理得到灰度图像;
S3:对步骤S2获取的所述灰度图像进行分块处理,得到多个第一子灰度图像,对各个第一子灰度图像进行灰度归一化处理和第一滤波处理,得到多个第二子灰度图像;
S4:根据预设的形态学结构元素,对各个所述第二子灰度图像依次进行形态学膨胀操作和形态学腐蚀操作,得到多个第三子灰度图像;将各个第三子灰度图像分别与对应的第二子灰度图像进行灰度值减法运算,得到多个第四子灰度图像;
S5:根据预设的二值化阈值,对各个所述第四子灰度图像进行二值化处理和第二滤波处理,获取毛发像素点;
S6:对各个所述第四子灰度图像的毛发像素点进行坐标整合,得到毛发像素点的坐标集合;
S7:根据所述毛发像素点的坐标集合,滤除所述初始近红外静脉图像的毛发噪声,得到最终近红外静脉图像。
进一步地,步骤S7中,采用直接剔除法或滤波法滤除所述初始近红外静脉图像的毛发噪声。
进一步地,所述直接剔除法的处理过程具体为,根据所述毛发像素点的坐标集合,将所述近红外静脉图像对应像素点的灰度值修改为255。
进一步地,所述滤波法的处理过程具体为,根据所述毛发像素点的坐标集合,对所述近红外静脉图像每个对应像素点进行第三滤波处理。
进一步地,所述第三滤波处理为中值滤波或均值滤波。
进一步地,步骤S1中,所述进行尺寸标准化包括根据获取的所述近红外静脉图像和可见光图像进行成像部位对齐操作,使得成像范围一致;进行图像放大或缩小操作,使得近红外静脉图像和可见光图像的大小一致。
进一步地,步骤S4中,所述灰度值减法运算的表达式为:
grayminus=max{grayclosed-grayoriginal,0}
式中,graymigus为第四子灰度图像中某一像素点的灰度值,grayclosed为第三子灰度图像中该像素点的灰度值,grayoriginal为第二子灰度图像中该像素点的灰度值。
进一步地,步骤S5中,所述二值化处理的计算表达式为:
式中,g为第四子灰度图像中某一像素点的灰度值,th为二值化阈值,graybinary为第四子灰度图像中该像素点经过二值化处理后的灰度值。
进一步地,步骤S5中,所述第二滤波处理采用中值滤波。
进一步地,步骤S3中,所述第一滤波处理为高斯滤波,该高斯滤波依次对第一子灰度图像的每一像素点进行如下处理步骤:
S301:将预设的高斯滤波模板的中心与第一子灰度图像的某一像素点重合,得到所述高斯滤波模板中各个像素点相对于该像素点的相对坐标,再通过二维高斯函数计算高斯滤波模板中各个像素点的初始权值;
S302:对步骤S301获取的各个像素点的初始权值进行归一化处理;
S303:根据步骤S302获取的归一化处理后的初始权值,计算该像素的灰度值。
进一步地,所述高斯滤波模板为边长为奇数个像素的正方形,所述二维高斯函数的计算表达式为:
式中,F(x,y)为相对坐标为(x,y)的像素点的初始权值;
步骤S302中,所述归一化处理的计算表达式为:
式中,wi为高斯滤波模板中第i个像素点的初始权值,wj为高斯滤波模板中第j个像素点的初始权值,2r+1为高斯滤波模板的边长,r为自然数,w′i为归一化处理后的高斯滤波模板中第i个像素点的初始权值;
步骤S303中,所述该像素的灰度值的计算表达式为:
式中,newgray为该像素高斯滤波处理后的灰度值,round(·)为四舍五入取整运算,w′j为归一化处理后的高斯滤波模板中第j个像素点的初始权值,gj为高斯滤波模板中第j个像素点对应的灰度值。
与现有技术相比,本发明具有以下优点:
(1)本发明通过在近红外静脉图像采集过程中同时采集可见光图像,通过该可见光图像能更方便、准确地识别出毛发噪声,对可见光图像灰度化后首先进行分块处理,能够减弱整体图像中不同位置的光照条件差异对处理效果的不利影响;
然后对每个子灰度图像进行归一化处理,增强对比度能够更充分地利用图像信息,使得提取出的毛发噪声像素点更加完整,减少了遗漏情况;进行第一滤波处理,减弱图片拍摄时噪声的影响;
进一步地进行形态学膨胀操作、形态学腐蚀操作以及灰度值减法运算,增强了图像中的毛发部分;最后对各子灰度图像进行二值化处理,实现毛发的区分,加以滤波处理,进一步减弱噪声影响,由此获得更有效、更精准的毛发像素点坐标集合,根据该坐标集合滤除近红外静脉图像的毛发噪声,对近红外图像中静脉信息的破坏很小。
(2)采用直接剔除法滤除近红外静脉图像的毛发噪声,能将毛发噪声像素点的灰度值修改为背景值,从而减弱其对静脉成像的影响,有利于静脉分割等后续处理;
(3)采用滤波法滤除近红外静脉图像的毛发噪声,能针对毛发噪声像素点进行滤波处理,在尽量保持图像中静脉信息的同时,有针对性地减弱了毛发噪声的影响。
(4)本发明的尺寸标准化包括对齐操作以及图像放大或缩小操作,确保了图像放大或缩小操作的匹配与像素点的对应,便于后续的毛发噪声滤除处理。
(3)本发明第一滤波处理采用高斯滤波,首先滤除第一子灰度图像的高斯噪声,并且能保证处理后的图像的平滑效果,利于后续图像处理。
(4)本发明对经过形态学膨胀操作和形态学腐蚀操作后的第三子灰度图像分别与对应的第二子灰度图像进行灰度值减法运算,灰度值减法运算中增加了与0的比较与最大值的运算,保证了处理后灰度图像的各像素点灰度值非负,便于后续处理。
附图说明
图1为本发明用于滤除毛发噪声的近红外静脉图像处理方法的流程示意图。
图2为本发明实施例中使用的可见光图像VIS示意图。
图3为本发明实施例中使用的近红外图像NRI示意图。
图4为本发明实施例中使用的灰度图像GRAY示意图。
图5为本发明实施例中提及的分块过程示意图。
图6为本发明实施例中提及的分块结果示意图。
图7为本发明实施例中使用的灰度归一化效果示意图。
图8为本发明实施例中提及的高斯滤波模板相对坐标示意图。
图9为本发明实施例中提及的形态学操作结构元素示意图。
图10为本发明实施例中使用的形态学操作效果示意图。
图11为本发明实施例中使用的图像二值化效果示意图。
图12为本发明实施例中使用的中值滤波模板示意图。
图13为本发明实施例中使用的中值滤波效果示意图。
图14为本发明实施例中减弱近红外表层静脉图像毛发噪声影响的结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
本发明提供一种用于滤除毛发噪声的近红外静脉图像处理方法,包括以下步骤:
S1:采集待成像部位的初始近红外静脉图像和可见光图像,并进行尺寸标准化;
S2:对步骤S1获取的可见光图像进行灰度化处理得到灰度图像;
S3:对步骤S2获取的灰度图像进行分块处理,得到多个第一子灰度图像,对各个第一子灰度图像进行灰度归一化处理和第一滤波处理,得到多个第二子灰度图像;
S4:根据预设的形态学结构元素,对各个第二子灰度图像依次进行形态学膨胀操作和形态学腐蚀操作,得到多个第三子灰度图像;将各个第三子灰度图像分别与对应的第二子灰度图像进行灰度值减法运算,得到多个第四子灰度图像;
S5:根据预设的二值化阈值,对各个第四子灰度图像进行二值化处理和第二滤波处理,获取毛发像素点;
S6:对各个第四子灰度图像的毛发像素点进行坐标整合,得到毛发像素点的坐标集合;
S7:根据毛发像素点的坐标集合,滤除初始近红外静脉图像的毛发噪声,得到最终近红外静脉图像。
相当于,近红外静脉图像处理方法,包括以下步骤:
S1、分别使用可见光和近红外光获取使用者待成像部位的图像,并进行尺寸标准化操作,得到可见光图像VIS(RGB图像)和近红外表层静脉图像NIR(灰度图像);
S2、对S1中得到的可见光图像VIS进行预处理得到灰度图像GRAY;
S3、对S2中得到的灰度图像GRAY进行分块,得到多个子灰度图像,并对每一子灰度图像分别进行灰度归一化、高斯滤波等预处理,得到GRAY(i,j),其中,i=1,2,…,n;j=1,2,…,m;
S4、对S3中得到的每一子灰度图像GRAY(i,j)进行形态学操作,增强图像中的毛发部分,得到STR(i,j),其中,i=1,2,…,n;j=1,2,…,m;
S5、对S4中得到的STR(i,j)进行图像二值化,滤波等操作,得到子二值化图像BINARY(i,j),其中,i=1,2,…,n;j=1,2,…,m;
S6、根据S5中得到的所有子二值化图像BINARY(i,j),得到所有认为是毛发的像素点的坐标集合;
S7、对S1中得到的近红外表层静脉图像NIR,根据S6得到的毛发像素点集合,进行毛发剔除处理,得到减弱毛发影响后的近红外图像,完成毛发噪声的减弱。
作为一种优选的实施方式,所述步骤S1中,对使用者待成像部位的图像采集和尺寸标准化操作具体包括:待成像部位的可见光图像和近红外表层静脉图像的采集,其光源分别为可见光和近红外光;对获得的图像进行尺寸标准化,使得可见光图像和近红外表层静脉图像的成像范围一致,且图像大小相同。
作为一种优选的实施方式,可见光图像采集的光源为可见光,使用普通相机即可完成;近红外表层静脉图像采集的光源为某一范围内的近红外光,具体而言,其波长范围大致为780nm到1100nm,可使用红外照相机完成。在两种图像采集时,应使待成像部位和相机的相对位置关系尽量相同,以更好保证后续处理的有效性。
作为一种优选的实施方式,步骤S1中,进行尺寸标准化包括根据获取的近红外静脉图像和可见光图像进行成像部位对齐操作,使得成像范围一致;进行图像放大或缩小操作,使得近红外静脉图像和可见光图像的大小一致。
相当于,对于获得的可见光图像和近红外表层静脉图像,根据成像部位进行对齐,使得两图像的成像范围一致;然后根据指定的图像大小,对两图像进行放大或缩小操作,使得两图像的大小一致,处理后得到可见光图像VIS(RGB图像)和近红外表层静脉图像NIR(灰度图像)。
作为一种优选的实施方式,所述步骤S2中,对S1中得到的可见光图像(RGB图像)VIS进行预处理包括进行灰度化处理以得到表征图像亮度信息的灰度图像GRAY。
根据图像处理的相关理论经验和习惯用法,结合国际电信联盟无线电通信部门(ITU-R)在2011年3月发布的《标准4:3和宽屏16:9显示宽高比演播室数字电视编码参数BT.601-7建议书》,每个像素的灰度值grayk的计算公式为:
grayk=0.299Rk+0.587Gk+0.114Bk
其中grayk表示像素k的灰度值,Rk为像素k在红色通道的取值,Gk为像素k在绿色通道的取值,Bk为像素k在蓝色通道的取值。Rk、Gk、Bk的取值均为[0,255]中的整数(包含0和255)。
作为一种优选的实施方式,所述步骤S3中,对S2中得到的灰度图像GRAY进行分块和预处理具体包括:根据灰度图像GRAY的大小和指定的分块数量,对灰度图像GRAY进行均匀分块;对每一子灰度图像分别进行灰度归一化,调整灰度值;对每一子灰度图像进行高斯滤波,减弱图片拍摄时的噪声影响。
作为一种优选的实施方式,对于S2中得到的灰度图像GRAY,假设其每行有ma个像素,每列有nb个像素,其中a,b,m,n均为非0自然数。如果指定将灰度图像GRAY分为mn块,得到mn个子灰度图像GRAY(i,j),那么步骤S3所述的分块方式为:每个子灰度图像GRAY(i,j)每行有a个像素,每列有b个像素,对应于原灰度图像GRAY的从左往右第(j-1)a+1列到第ja列这a列像素与从上往下第(i-1)b+1行到第i*b这b行像素的公共区域,其中i=1,2,…,n;j=1,2,…,m。
对灰度图像GRAY进行分块的目的是,考虑到采集使用者待成像部位可见光图像时,该部位中距离较远的两区域光照条件可能相差较大,相比于直接对整个灰度图像GRAY进行后续处理,分块后对每一子灰度图像GRAY(i,j)分别进行后续的处理,能够减弱光照条件差异对处理效果的不利影响。
作为一种优选的实施方式,对分块后的每一个子灰度图像进行灰度归一化,其目的是考虑到每一子灰度图像的灰度级可能相对集中,对比度低,故进行灰度归一化操作使每一子灰度图像的灰度值更加均匀分散分布在[0,255]区间内,增强图像对比度,有利于后续的图像处理得到更好的效果。
对于某一子灰度图像,假设其中灰度值最大的像素的灰度值为graymax,灰度值最小的像素的灰度值为graymin。那么对于该子灰度图像中的任意像素,假设灰度归一化前该像素的灰度值为g,则进行灰度归一化后,其灰度值g′为:
其中,round表示四舍五入取整。也就是说,经过灰度归一化操作,将该子灰度图像的整体灰度值范围从[graymin,graymax]调整到了[0,255]。
作为一种优选的实施方式,步骤S3中,第一滤波处理为高斯滤波,该高斯滤波依次对第一子灰度图像的每一像素点进行如下处理步骤:
S301:将预设的高斯滤波模板的中心与第一子灰度图像的某一像素点重合,得到高斯滤波模板中各个像素点相对于该像素点的相对坐标,再通过二维高斯函数计算高斯滤波模板中各个像素点的初始权值;
S302:对步骤S301获取的各个像素点的初始权值进行归一化处理;
S303:根据步骤S302获取的归一化处理后的初始权值,计算该像素的灰度值。
作为一种优选的实施方式,高斯滤波模板为边长为奇数个像素的正方形,二维高斯函数的计算表达式为:
式中,F(x,y)为相对坐标为(x,y)的像素点的初始权值;
步骤S302中,归一化处理的计算表达式为:
式中,wi为高斯滤波模板中第i个像素点的初始权值,wj为高斯滤波模板中第j个像素点的初始权值,2r+1为高斯滤波模板的边长,r为自然数,w′i为归一化处理后的高斯滤波模板中第i个像素点的初始权值;
步骤S303中,该像素的灰度值的计算表达式为:
式中,newgray为该像素高斯滤波处理后的灰度值,round(·)为四舍五入取整运算,w′j为归一化处理后的高斯滤波模板中第j个像素点的初始权值,gj为高斯滤波模板中第j个像素点对应的灰度值。
相当于,对每一子灰度图像完成灰度归一化操作后,分别进行高斯滤波,其目的是减弱图片拍摄时噪声的影响。进行高斯滤波前,先要确定滤波模板的大小。根据图像处理知识,高斯滤波的模板需要是边长为奇数个像素的正方形,设其长和宽均为2r+1个像素,其中r为自然数。对子灰度图像进行高斯滤波时,对其中每一像素点,将滤波模板的中心与该像素点重合,根据模板中各像素点相对于该像素点的相对坐标(x,y)代入二维高斯函数,得到模板中每一点的初始权值。二维高斯函数的表达式为:
假设根据二维高斯函数计算得到模板中各像素点的初始权值为wi,其中i=1,2,…,(2r+1)2。之后,根据wi的结果对权值进行归一化处理,使模板中所有像素点的权值和为1,得到每个像素点的权值w′i,其表达式为:
对于模板中的每一个像素,其调整后的权值为w′i,用gi表示对应像素的灰度值,其中i=1,2,…,(2r+1)2,那么经过高斯滤波后,模板中心像素的灰度值调整为:
其中,newgray为对于某一像素点进行高斯滤波后,其新的灰度值;round表示四舍五入取整。
通过以上操作,得到对原灰度图像GRAY进行分块并预处理后的多个子灰度图像GRAY(i,j),其中,i=1,2,…,n;j=1,2,…,m。
作为一种优选的实施方式,所述步骤S4中,对S3中得到的每一子灰度图像GRAY(i,j)进行形态学操作,增强图像中的毛发部分,具体包括:根据需要,定义合适的用于形态学操作的结构元素;根据定义的结构元素,对每一子灰度图像GRAY(i,j)进行形态学闭运算;将每一子灰度图像形态学闭运算后的结果与对应的原子灰度图像相减,得到增强图像中的毛发部分后的图像STR(i,j),其中,i=1,2,…,n;j=1,2,…,m。
作为一种优选的实施方式,结构元素是对图像进行形态学操作的基础,需要提前确定好。结构元素一般是中心对称的,但其选取没有固定的方法,多种不同的结构元素都能进行形态学操作且能获得较好效果。根据图像处理知识和实践经验,一些常用的用于形态学操作的结构元素包括但不限于:矩形结构、十字形结构等。
作为一种优选的实施方式,定义好结构元素后,对每一子灰度图像GRAY(i,j)进行形态学闭运算。闭运算能够突出图中较暗的区域,而此处图像中较暗的区域即为毛发噪声,故使用形态学闭运算的目的是突出图像中的毛发。对灰度图像进行形态学闭运算分为两步进行,首先进行形态学膨胀操作,然后进行形态学腐蚀操作。膨胀操作和腐蚀操作均不改变灰度图像的大小,仅调整灰度图像中各像素点的灰度值,得到的结果仍为一灰度图像。
对于每一子灰度图像GRAY(i,j),根据定义好的结构元素,首先进行形态学膨胀操作。形态学膨胀操作是对灰度图像中每一像素点分别进行的,其具体步骤为:在原灰度图像中,将结构元素的中心与待操作像素重合,统计此时结构元素中所有像素点的灰度值大小,并选取其中最大值作为待操作像素的新灰度值,即:
其中,newgray表示原灰度图像中某一点进行形态学膨胀操作后的新灰度值,E表示选定的结构元素,p表示结构元素中的任意一个像素点,gray(p)表示像素点p在原灰度图像中的灰度值。
此时,得到了对原灰度图像进行形态学膨胀操作后的灰度图像。根据定义好的结构元素,在此基础上进行形态学腐蚀操作。与膨胀操作类似,形态学腐蚀操作也是对灰度图像中每一像素点分别进行的。此处的具体步骤为:在对原灰度图像进行形态学膨胀操作后得到的灰度图像中,将结构元素的中心与待操作像素重合,统计此时结构元素中所有像素点的灰度值大小,并选取其中最小值作为待操作像素的新灰度值,即:
其中,newgray′表示对膨胀后灰度图像中某一点进行形态学腐蚀操作后的新灰度值,E表示选定的结构元素,p表示结构元素中的任意一个像素点,gray′(p)表示像素点p在膨胀后灰度图像中的灰度值。
至此,对原灰度图像先进行了膨胀操作,然后对膨胀操作后得到的灰度图像进行了腐蚀操作,即完成了对原灰度图像的形态学闭运算,更新了各像素点的灰度值,得到了对原灰度图像进行闭运算操作后的灰度图像。
作为一种优选的实施方式,步骤S4中,灰度值减法运算的表达式为:
grayminus=max{grayclosed-grayoriginal,0}
式中,grayminus为第四子灰度图像中某一像素点的灰度值,grayclosed为第三子灰度图像中该像素点的灰度值,grayoriginal为第二子灰度图像中该像素点的灰度值。
相当于,对每一子灰度图像GRAY(i,j)进行形态学闭运算,将闭运算操作后的子灰度图像与原子灰度图像比较,得到增强图像中的毛发部分后的图像STR(i,j),其中,i=1,2,…,n;j=1,2,…,m。由于闭运算操作不改变图像的大小,且结果仍是灰度图像,因此这一比较过程可以对每一像素位置逐一进行。具体的做法为,遍历所有像素位置,对于同一像素位置,分别记录原子灰度图像GRAY(i,j)中该像素位置处的灰度值,以及GRAY(i,j)经形态学闭运算后所得灰度图像中该像素位置的灰度值,然后将后者减去前者,得到处理后灰度图像在该像素位置的灰度值,即每一像素的新灰度值计算表达式为:
grayminus=max{grayclosed-grayoriginal,0}
其中,对于任意一个像素点,grayminus表示将闭运算后的子灰度图像与原子灰度图像GRAY(i,j)比较后得到的该像素点的灰度值,grayclosed表示该像素点在闭运算后的子灰度图像中的灰度值,grayoriginal表示该像素点在原子灰度图像中的灰度值。grayclosed与grayoriginal的取值范围均为[0,255]中的整数(包括0和255),当grayclosed-grayoriginal的值非正时,grayminus的值为0,以保证比较后所得灰度图像的各像素点灰度值非负。
此处将各子灰度图像的比较结果定义为STR(i,j),其中,i=1,2,…,n;j=1,2,…,m。
作为一种优选的实施方式,所述步骤S5中,对S4中得到的STR(i,j)进行图像二值化,滤波等操作,具体包括:对每一灰度图像STR(i,j),分别选取阈值并进行图像二值化;对图像二值化后的每一图像,分别进行滤波处理,以减弱噪声影响。
作为一种优选的实施方式,步骤S5中,二值化处理的计算表达式为:
式中,g为第四子灰度图像中某一像素点的灰度值,th为二值化阈值,graybinary为第四子灰度图像中该像素点经过二值化处理后的灰度值。
相当于,图像二值化需要首先选定阈值。阈值的选取方式有多种,没有固定要求,根据图像处理知识和实践经验,可以使用的阈值选取方法包括但不限于:人为给定固定阈值、大津算法等。对于每一灰度图像STR(i,j),选定好阈值后,进行二值化操作,具体的步骤为:遍历STR(i,j)的每一像素点,将其灰度值与选定的阈值比较,如果该灰度值小于等于阈值,则将该像素点的灰度值置为255(白);否则,将该像素点的灰度值置为0(黑),即各像素点在图像二值化后的灰度值计算表达式为:
其中,th为选定的阈值,是[0,255]中的整数(包括0和255),g为灰度图像STR(i,j)中该像素点的灰度值,graybinary为二值化后该像素点的灰度值。
通过上式可以将每一灰度图像STR(i,j)中的每一像素点的灰度值调整为0或255之一,调整后的图像只有两种灰度值,在直观上表现为只有黑与白两种颜色。
作为一种优选的实施方式,根据可见光图像采集质量的不同,二值化后的图像可能存在不同程度的噪声,需要通过滤波处理,减弱噪声影响。有多种滤波方法,在此处第二滤波处理可使用的滤波方法包括但不限于中值滤波。中值滤波较适合处理较大、离散分布、比较密集的噪声,在此处比较适用。
中值滤波的具体步骤为:首先选定滤波模板,一般为正方形,正方形模板的像素长度可以根据情况选取合适的值;然后遍历原图像中的每一个像素点进行滤波操作,即对于任意一个像素点,将滤波模板中心与该像素点重合,统计滤波模板中所有像素点的灰度值,选择这些灰度值的中位数作为该像素点滤波后的灰度值。
每一灰度图像STR(i,j)经过图像二值化和滤波操作后,得到的结果是一个二值图像,此处定义为BINARY(i,j),其中,i=1,2,…,n;j=1,2,…,m。BINARY(i,j)能够更清晰地反映毛发噪声的像素位置,由于一般而言,在可见光图片中,毛发的颜色显著深于皮肤,因此经过上述处理,在得到的二值图像中,毛发噪声对应的像素点非常可能是白色(灰度值为255)。
作为一种优选的实施方式,所述步骤S6中,得到所有认为是毛发的像素点的坐标集合,包括对于S5中得到的每一个二值化图像BINARY(i,j),遍历所有像素点,记录其中灰度值为255(白色)的像素点位置,认为这些像素点表示毛发噪声。这样,可以得到完整可见光图像VIS和灰度图像GRAY中代表毛发噪声的像素点位置。由于待成像部位的可见光图像VIS与近红外表层静脉图像NIR成像范围一致,且大小相同,因此VIS和GRAY中代表毛发噪声的像素点位置,在NIR中也很大程度上代表了毛发噪声,这就为NIR中的毛发噪声处理提供依据。
对于S5中得到的某一二值化图像BINARY(i,j),假定其从左往右第x1列和从上往下第y1行的公共像素的灰度值为255,即BINARY(i,j)的(x1,y1)像素为白色,认为是毛发噪声,其中,i=1,2,…,n;j=1,2,…,m。下面需要将其转换为在完整的灰度图像GRAY中的像素位置,转换的计算表达式为:
x2=x1+(j-1)a
y2=y1+(i-1)b
其中,a和b表示S3中分块并预处理后所得每一子灰度图像GRAY(i,j)的大小,GRAY(i,j)每行有a个像素,每列有b个像素。(x2,y2)表示可见光图像VIS和完整灰度图像GRAY中的某一像素,具体为从左往右第x2列和从上往下第y2行的公共像素。将所有毛发噪声在完整灰度图像GRAY中的坐标记录下来,就得到了毛发像素点集合。
作为一种优选的实施方式,所述步骤S7中,对S1中得到的近红外表层静脉图像NIR,减弱毛发噪声影响,具体包括:根据S6得到的毛发像素点集合,找到近红外表层静脉图像NIR对应的毛发噪声像素点;对近红外表层静脉图像NIR中的毛发噪声像素点,按一定规则调整灰度值,减弱其影响。
作为一种优选的实施方式,对S6中得到的毛发像素点集合,如前所述,其中每一元素都是一个坐标,由于VIS、GRAY、NIR图像的大小与成像范围均一致,因此每一坐标直接对应了近红外表层静脉图像NIR中的一个毛发噪声像素。根据S6得到的毛发像素点集合,可以直接找到近红外表层静脉图像NIR中的毛发噪声像素点。
作为一种优选的实施方式,得到近红外表层静脉图像NIR中的毛发噪声像素点位置后,可以对毛发噪声进行针对性的处理,以减弱其影响。毛发噪声的处理方法有多种,包括但不限于直接剔除法和滤波法。
作为一种优选的实施方式,步骤S7中,采用直接剔除法滤除近红外静脉图像的毛发噪声,直接剔除法的处理过程具体为,根据毛发像素点的坐标集合,将近红外静脉图像对应像素点的灰度值修改为255。
相当于,使用直接剔除法处理近红外表层静脉图像NIR中的毛发噪声,是指对于已经得到的毛发噪声像素点,针对性地将其灰度值修改为背景值。根据近红外表层静脉成像原理,一般来说,近红外表层静脉图像NIR中的背景灰度值较高,呈白色;而希望得到的静脉图像在近红外表层静脉图像NIR中灰度值较低,呈黑色。因此,可以在近红外表层静脉图像NIR中将毛发噪声像素点的灰度值修改为255(白色),从而减弱其对静脉成像的影响,有利于静脉分割等后续处理。
作为一种优选的实施方式,步骤S7中,采用滤波法滤除近红外静脉图像的毛发噪声,滤波法的处理过程具体为,根据毛发像素点的坐标集合,对近红外静脉图像每个对应像素点进行第三滤波处理。第三滤波处理为中值滤波或均值滤波。
相当于,使用滤波法处理近红外表层静脉图像NIR中的毛发噪声,是指定义合适的滤波模板后,对毛发噪声像素点逐一进行滤波操作。滤波模板的定义和操作过程如前S5中所述,可以使用的滤波方法包括但不限于中值滤波、均值滤波和其他滤波方法。需要注意的是,通常的灰度图像滤波是指对图像中每一像素均进行滤波操作,并改变灰度值;而这里进行的滤波操作只是对于经过处理后得到的毛发噪声像素点,近红外表层静脉图像NIR中的其它像素点灰度值保持不变。从而,这样的方法在尽量保持图像中静脉信息的同时,有针对性地减弱了毛发噪声的影响。
将上述优选的实施方式进行组合可以得到一种最优的实施方式,下面对该最优的实时方式进行详细描述。
如图1所示,本实施例提供了一种基于图像处理与可见光图像的减弱近红外静脉图像毛发噪声影响的方法,包括以下步骤:
步骤S1、分别使用可见光和近红外光获取使用者待成像部位的图像,并进行尺寸标准化操作,得到可见光图像VIS(RGB图像)和近红外表层静脉图像NIR(灰度图像);
步骤S2、对S1中得到的可见光图像VIS进行预处理得到灰度图像GRAY;
步骤S3、对S2中得到的灰度图像GRAY进行分块,得到多个子灰度图像,并对每一子灰度图像分别进行灰度归一化、高斯滤波等预处理,得到GRAY(i,j),其中,i=1,2,…,n;j=1,2,…,m;
步骤S4、对S3中得到的每一子灰度图像GRAY(i,j)进行形态学操作,增强图像中的毛发部分,得到STR(i,j),其中,i=1,2,…,n;j=1,2,…,m;
步骤S5、对S4中得到的STR(i,j)进行图像二值化,滤波等操作,得到子二值化图像BINARY(i,j),其中,i=1,2,…,n;j=1,2,…,m;
步骤S6、根据S5中得到的所有子二值化图像BINARY(i,j),得到所有认为是毛发的像素点的坐标集合;
步骤S7、对S1中得到的近红外表层静脉图像NIR,根据S6得到的毛发像素点集合,进行毛发剔除处理,得到减弱毛发影响后的近红外图像,完成毛发噪声的减弱。
在步骤S1中,获得相应的图像,具体的做法是:先使用可见光作为光源,使用普通的相机采集使用者待成像部位的可见光图像(RGB图像);然后使用波长范围大致为780nm到1100nm的近红外光作为光源,使用红外照相机采集使用者待成像部位的近红外表层静脉图像(灰度图像)。在采集过程中应注意使待成像部位和相机的相对位置关系尽量保持相同,使得两图像的成像范围一致,以更好保证后续处理的有效性。之后,对两图像进行放大或缩小操作,使得两图像的大小均为236*192,即每一行236个像素,每一列192个像素。使用开源的OPENCV库等工具,可以很容易地将图像放大或缩小到指定大小。处理后得到可见光图像VIS(RGB图像)和近红外表层静脉图像NIR(灰度图像),其示意图分别见图2和图3。
在步骤S2中,将S1中得到的可见光图像(RGB图像)VIS预处理为灰度图像GRAY,具体是根据国际电信联盟无线电通信部门(ITU-R)在2011年3月发布的《标准4:3和宽屏16:9显示宽高比演播室数字电视编码参数BT.601-7建议书》中的灰度值计算方法,计算每一像素的灰度值。计算灰度值的计算表达式为:
grayk=0.299Rk+0.587Gk+0.114Bk
其中grayk表示像素k的灰度值,Rk为像素k在红色通道的取值,Gk为像素k在绿色通道的取值,Bk为像素k在蓝色通道的取值。Rk、Gk、Bk和grayk的取值均为[0,255]中的整数(包含0和255)。
遍历可见光图像(RGB图像)VIS的每一像素,通过上式计算出每一像素的灰度值,将每个RGB像素替换成对应的灰度值像素,就得到了对应的灰度图像GRAY,其示意图见图4。
在步骤S3中,根据S2中得到的灰度图像GRAY,进行分块、灰度归一化、高斯滤波等处理步骤得到子灰度图像GRAY(i,j),其中i=1,2,…,n;j=1,2,…,m。该过程具体包括:
(1)灰度图像GRAY分块
对于S2中得到的灰度图像GRAY,假设其每行有ma个像素,每列有nb个像素,其中a,b,m,n均为非0自然数。如果指定将灰度图像GRAY分为mn块,得到mn个子灰度图像GRAY(i,j),那么此处分块的方式为:每个子灰度图像GRAY(i,j)每行有a个像素,每列有b个像素,对应于原灰度图像GRAY的从左往右第(j-1)a+1列到第ja列这a列像素与从上往下第(i-1)b+1行到第i*b这b行像素的公共区域,其中i=1,2,…,n;j=1,2,…,m。
在本实施例中,灰度图像GRAY的大小为236*192,即每行236个像素,每列192个像素,将其分为2*2块,即将灰度图像GRAY按2行2列进行均匀分块,则每一子灰度图像的大小为118*96,得到的子灰度图像为GRAY(1,1),GRAY(1,2),GRAY(2,1)和GRAY(2,2)。分块的过程如图5所示,分块的结果如图6所示。
(2)灰度归一化
对分块得到的每一个子灰度图像进行灰度归一化操作。对于任意一个灰度图像,进行灰度归一化操作的步骤是:假设该灰度图像中灰度值最大的像素的灰度值为graymax,灰度值最小的像素的灰度值为graymin,那么对于该灰度图像中的任意像素,假设灰度归一化前该像素的灰度值为g,则进行灰度归一化后,其灰度值g′的计算表达式为:
其中,round表示四舍五入取整。遍历该灰度图像中的每一像素,使用上式计算新的对应像素灰度值,并替换掉对应像素原本的灰度值,就得到了灰度归一化后的灰度图像。也就是说,经过灰度归一化操作,将该灰度图像的整体灰度值范围从[graymin,graymax]调整到了[0,255]。对一个灰度图像进行灰度归一化操作的效果示意图见图7。
(3)高斯滤波
对分块得到的每一个子灰度图像进行灰度归一化操作后,得到的图像可能存在较多噪声,因此对每一图像分别进行高斯滤波,以减弱图片拍摄时噪声的影响。
对于灰度图像而言,使用二维高斯函数进行高斯滤波操作。二维高斯函数的表达式为:
本实施例选取二维高斯滤波的模板为3*3大小的正方形,模板中各点的相对相对坐标(x,y)规定如图8所示。本实施例选取参数σ=2。
对灰度图像中某一像素点进行高斯滤波时,该像素点位于模板的中心。将模板中每一像素点的相对坐标(x,y)代入二维高斯函数,得到模板中每一像素点的初始权值wi,其中i=1,2,…,9。然后,对权值进行归一化处理,使模板中所有像素点的权值和为1,得到每个像素点的权值w′i,其表达式为:
对于模板中的每一个像素,其调整后的权值为w′i,用gi表示对应像素的灰度值,其中i=1,2,…,9,那么经过高斯滤波后,模板中心像素的灰度值调整为:
其中,newgray为对于某一像素点进行高斯滤波后,其新的灰度值;round表示四舍五入取整。对于一灰度图像,遍历其中的每一像素,根据上式进行计算,即可得到高斯滤波后的灰度图像。
对每一子灰度图像进行以上操作,就得到对原灰度图像GRAY进行分块并预处理后的多个子灰度图像GRAY(i,j),其中,i=1,2;j=1,2。
在步骤S4中,对S3中得到的每一子灰度图像GRAY(i,j)进行形态学操作,增强图像中的毛发部分,得到STR(i,j),其中,i=1,2;j=1,2。该过程具体包括:
(1)定义结构元素
结构元素是对图像进行形态学操作的基础,需要提前确定好。结构元素一般是中心对称的,但其选取没有固定的方法,多种不同的结构元素都能进行形态学操作且能获得较好效果。根据图像处理知识和实践经验,一些常用的用于形态学操作的结构元素包括但不限于:矩形结构、十字形结构等。
本实施例选用5*5大小的十字形结果作为形态学操作的结构元素,如该结构元素的示意图见图9。
(2)对每一子灰度图像GRAY(i,j)进行形态学闭运算
定义好结构元素后,对每一子灰度图像GRAY(i,j)进行形态学闭运算。对灰度图像进行形态学闭运算分为两步进行,首先进行形态学膨胀操作,然后进行形态学腐蚀操作。膨胀操作和腐蚀操作均不改变灰度图像的大小,仅调整灰度图像中各像素点的灰度值,得到的结果仍为一灰度图像。
对于每一子灰度图像GRAY(i,j),根据定义好的结构元素,首先进行形态学膨胀操作。形态学膨胀操作是对灰度图像中每一像素点分别进行的,其具体步骤为:在原灰度图像中,将结构元素的中心与待操作像素重合,统计此时结构元素中所有像素点的灰度值大小,并选取其中最大值作为待操作像素的新灰度值,即:
其中,newgray表示原灰度图像中某一点进行形态学膨胀操作后的新灰度值,E表示选定的结构元素,p表示结构元素中的任意一个像素点,gray(p)表示像素点p在原灰度图像中的灰度值。
此时,得到了对原灰度图像进行形态学膨胀操作后的灰度图像。根据定义好的结构元素,在此基础上进行形态学腐蚀操作。与膨胀操作类似,形态学腐蚀操作也是对灰度图像中每一像素点分别进行的。此处的具体步骤为:在对原灰度图像进行形态学膨胀操作后得到的灰度图像中,将结构元素的中心与待操作像素重合,统计此时结构元素中所有像素点的灰度值大小,并选取其中最小值作为待操作像素的新灰度值,即:
其中,newgray′表示对膨胀后灰度图像中某一点进行形态学腐蚀操作后的新灰度值,E表示选定的结构元素,p表示结构元素中的任意一个像素点,gray′(p)表示像素点p在膨胀后灰度图像中的灰度值。
至此,对原灰度图像先进行了膨胀操作,然后对膨胀操作后得到的灰度图像进行了腐蚀操作,即完成了对原灰度图像的形态学闭运算,更新了各像素点的灰度值,得到了对原灰度图像进行闭运算操作后的灰度图像。
(3)各闭运算后结果与对应原子灰度图像GRAY(i,j)相减
对每一子灰度图像GRAY(i,j)进行形态学闭运算,将闭运算操作后的子灰度图像与原子灰度图像比较,得到增强图像中的毛发部分后的图像STR(i,j),其中,i=1,2;j=1,2。由于闭运算操作不改变图像的大小,且结果仍是灰度图像,因此这一比较过程可以对每一像素位置逐一进行。具体的做法为,遍历所有像素位置,对于同一像素位置,分别记录原子灰度图像GRAY(i,j)中该像素位置处的灰度值,以及GRAY(i,j)经形态学闭运算后所得灰度图像中该像素位置的灰度值,然后将后者减去前者,得到处理后灰度图像在该像素位置的灰度值,即每一像素的新灰度值计算表达式为:
grayminus=max{grayclosed-grayoriginal,0}
其中,对于任意一个像素点,grayminus表示将闭运算后的子灰度图像与原子灰度图像GRAY(i,j)比较后得到的该像素点的灰度值,grayclosed表示该像素点在闭运算后的子灰度图像中的灰度值,grayoriginal表示该像素点在原子灰度图像中的灰度值。grayclosed与grayoriginal的取值范围均为[0,255]中的整数(包括0和255),当grayclosed-grayoriginal的值非正时,grayminus的值为0,以保证比较后所得灰度图像的各像素点灰度值非负。
得到的各子灰度图像的比较结果记为STR(i,j),其中,i=1,2;j=1,2。上述形态学操作的效果图见图10。
在步骤S5中,对S4中得到的STR(i,j)进行图像二值化,滤波等操作,得到子二值化图像BINARY(i,j),其中,i=1,2;j=1,2,该过程具体包括:
(1)图像二值化
在进行二值化操作前,对于每一灰度图像STR(i,j),其中,i=1,2;j=1,2,分别选取合适的阈值。阈值的选取方式有多种,没有固定要求,根据图像处理知识和实践经验,可以使用的阈值选取方法包括但不限于:人为给定固定阈值、大津算法等。在本实施例中,使用大津算法进行图像二值化阈值的选取,该算法可以直接调用OPENCV等开源库的函数实现。
对于每一灰度图像STR(i,j),选定好阈值后,进行二值化操作,具体的步骤为:遍历STR(i,j)的每一像素点,将其灰度值与选定的阈值比较,如果该灰度值小于等于阈值,则将该像素点的灰度值置为255(白);否则,将该像素点的灰度值置为0(黑),即各像素点在图像二值化后的灰度值计算表达式为:
其中,th为选定的阈值,是[0,255]中的整数(包括0和255),g为灰度图像STR(i,j)中该像素点的灰度值,graybinary为二值化后该像素点的灰度值。
通过上式可以将每一灰度图像STR(i,j)中的每一像素点的灰度值调整为0或255之一,调整后的图像只有两种灰度值,在直观上表现为只有黑与白两种颜色。
对STR(i,j)进行图像二值化的效果如图11所示。
(2)二值图像滤波
根据可见光图像采集质量的不同,二值化后的图像可能存在不同程度的噪声,需要通过滤波处理,减弱噪声影响。根据图像处理知识,有多种滤波方法,在此处可使用的滤波方法包括但不限于中值滤波。中值滤波较适合处理较大、离散分布、比较密集的噪声,在此处比较适用。本实施例使用中值滤波减弱噪声对二值图像的影响。
中值滤波的具体步骤为:首先选定滤波模板,一般为正方形,正方形模板的像素长度可以根据情况选取合适的值;然后遍历原图像中的每一个像素点进行滤波操作,即对于任意一个像素点,将滤波模板中心与该像素点重合,统计滤波模板中所有像素点的灰度值,选择这些灰度值的中位数作为该像素点滤波后的灰度值。因此,对二值图像进行中值滤波后得到的结果仍然为一个二值图像。本实施例中,选取中值滤波模板为边长为5个像素的正方形,如图12所示。
每一灰度图像STR(i,j)经过图像二值化和滤波操作后,得到的结果是一个二值图像,记为BINARY(i,j),其中,i=1,2;j=1,2。BINARY(i,j)能够更清晰地反映毛发噪声的像素位置,由于一般而言,在可见光图片中,毛发的颜色显著深于皮肤,因此经过上述处理,在得到的二值图像中,毛发噪声对应的像素点非常可能是白色(灰度值为255)。
上述中值滤波操作能够有效减弱噪声影响,其效果示意图见图13。
在步骤S6中,根据S5中得到的所有子二值化图像BINARY(i,j),得到所有认为是毛发的像素点的坐标集合,其中,i=1,2;j=1,2。
对于S5中得到的每一个二值化图像BINARY(i,j),遍历所有像素点,记录其中灰度值为255(白色)的像素点位置,认为这些像素点表示毛发噪声。这样,可以得到完整可见光图像VIS和灰度图像GRAY中代表毛发噪声的像素点位置。由于待成像部位的可见光图像VIS与近红外表层静脉图像NIR成像范围一致,且大小相同,因此VIS和GRAY中代表毛发噪声的像素点位置,在NIR中也很大程度上代表了毛发噪声,这就为NIR中的毛发噪声处理提供依据。
对于S5中得到的某一二值化图像BINARY(i,j),假定其从左往右第x1列和从上往下第y1行的公共像素的灰度值为255,即BINARY(i,j)的(x1,y1)像素为白色,认为是毛发噪声,其中,i=1,2;j=1,2。下面需要将其转换为在完整的灰度图像GRAY中的像素位置,转换的计算表达式为:
x2=x1+(j-1)a
y2=y1+(i-1)b
其中,a和b表示S3中分块并预处理后所得每一子灰度图像GRAY(i,j)的大小,GRAY(i,j)每行有a个像素,每列有b个像素。在本实施例中,a=118,b=96。(x2,y2)表示可见光图像VIS和完整灰度图像GRAY中的某一像素,具体为从左往右第x2列和从上往下第y2行的公共像素。将所有毛发噪声在完整灰度图像GRAY中的坐标记录下来组成一个集合,就得到了毛发像素点集合。
在步骤S7中,对S1中得到的近红外表层静脉图像NIR,根据S6得到的毛发像素点集合,进行毛发剔除处理,得到减弱毛发影响后的近红外图像,完成毛发噪声的减弱。该过程具体包括:
(1)定位近红外表层静脉图像NIR对应的毛发噪声像素点
对S6中得到的毛发像素点集合,如前所述,其中每一元素都是一个坐标,由于VIS、GRAY、NIR图像的大小与成像范围均一致,因此该集合中每一坐标在近红外表层静脉图像NIR中对应像素,就是一个毛发噪声像素。根据S6得到的毛发像素点集合,可以直接找到近红外表层静脉图像NIR中的所有毛发噪声像素点。
(2)调整毛发噪声像素点灰度值
得到近红外表层静脉图像NIR中的毛发噪声像素点位置后,可以对毛发噪声进行针对性的处理,以减弱其影响。毛发噪声的处理方法有多种,包括但不限于直接剔除法和滤波法。
使用直接剔除法处理近红外表层静脉图像NIR中的毛发噪声,是指对于已经得到的毛发噪声像素点,针对性地将其灰度值修改为背景值。根据近红外表层静脉成像原理,一般来说,近红外表层静脉图像NIR中的背景灰度值较高,呈白色;而希望得到的静脉图像在近红外表层静脉图像NIR中灰度值较低,呈黑色。因此,可以在近红外表层静脉图像NIR中将毛发噪声像素点的灰度值修改为255(白色),从而减弱其对静脉成像的影响,有利于静脉分割等后续处理。
使用滤波法处理近红外表层静脉图像NIR中的毛发噪声,是指定义合适的滤波模板后,对毛发噪声像素点逐一进行滤波操作。滤波模板的定义和操作过程如前S5中所述,可以使用的滤波方法包括但不限于中值滤波、均值滤波和其他滤波方法。需要注意的是,通常的灰度图像滤波是指对图像中每一像素均进行滤波操作,并改变灰度值;而这里进行的滤波操作只是对于经过处理后得到的毛发噪声像素点,近红外表层静脉图像NIR中的其它像素点灰度值保持不变。从而,这样的方法在尽量保持图像中静脉信息的同时,有针对性地减弱了毛发噪声的影响。
本实施例使用上述的直接剔除法减弱毛发噪声的影响,减弱毛发噪声后的近红外表层静脉图像示意图见图14。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,包括以下步骤:
S1:采集待成像部位的初始近红外静脉图像和可见光图像,并进行尺寸标准化;
S2:对步骤S1获取的所述可见光图像进行灰度化处理得到灰度图像;
S3:对步骤S2获取的所述灰度图像进行分块处理,得到多个第一子灰度图像,对各个第一子灰度图像进行灰度归一化处理和第一滤波处理,得到多个第二子灰度图像;
S4:根据预设的形态学结构元素,对各个所述第二子灰度图像依次进行形态学膨胀操作和形态学腐蚀操作,得到多个第三子灰度图像;将各个第三子灰度图像分别与对应的第二子灰度图像进行灰度值减法运算,得到多个第四子灰度图像;
S5:根据预设的二值化阈值,对各个所述第四子灰度图像进行二值化处理和第二滤波处理,获取毛发像素点;
S6:对各个所述第四子灰度图像的毛发像素点进行坐标整合,得到毛发像素点的坐标集合;
S7:根据所述毛发像素点的坐标集合,滤除所述初始近红外静脉图像的毛发噪声,得到最终近红外静脉图像。
2.根据权利要求1所述的一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,步骤S7中,采用直接剔除法或滤波法滤除所述初始近红外静脉图像的毛发噪声。
3.根据权利要求2所述的一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,所述直接剔除法的处理过程具体为,根据所述毛发像素点的坐标集合,将所述近红外静脉图像对应像素点的灰度值修改为255。
4.根据权利要求2所述的一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,所述滤波法的处理过程具体为,根据所述毛发像素点的坐标集合,对所述近红外静脉图像每个对应像素点进行第三滤波处理。
5.根据权利要求4所述的一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,所述第三滤波处理为中值滤波或均值滤波。
6.根据权利要求1所述的一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,步骤S1中,所述进行尺寸标准化包括根据获取的所述近红外静脉图像和可见光图像进行成像部位对齐操作,使得成像范围一致;进行图像放大或缩小操作,使得近红外静脉图像和可见光图像的大小一致。
7.根据权利要求1所述的一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,步骤S4中,所述灰度值减法运算的表达式为:
grayminus=max{grayclosed-grayoriginal,0}
式中,graymigus为第四子灰度图像中某一像素点的灰度值,grayclosed为第三子灰度图像中该像素点的灰度值,grayoriginal为第二子灰度图像中该像素点的灰度值。
9.根据权利要求1所述的一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,步骤S5中,所述第二滤波处理采用中值滤波。
10.根据权利要求1所述的一种用于滤除毛发噪声的近红外静脉图像处理方法,其特征在于,步骤S3中,所述第一滤波处理为高斯滤波,该高斯滤波依次对第一子灰度图像的每一像素点进行如下处理步骤:
S301:将预设的高斯滤波模板的中心与第一子灰度图像的某一像素点重合,得到所述高斯滤波模板中各个像素点相对于该像素点的相对坐标,再通过二维高斯函数计算高斯滤波模板中各个像素点的初始权值;
S302:对步骤S301获取的各个像素点的初始权值进行归一化处理;
S303:根据步骤S302获取的归一化处理后的初始权值,计算该像素的灰度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011419198.9A CN112529800B (zh) | 2020-12-07 | 2020-12-07 | 一种用于滤除毛发噪声的近红外静脉图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011419198.9A CN112529800B (zh) | 2020-12-07 | 2020-12-07 | 一种用于滤除毛发噪声的近红外静脉图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112529800A true CN112529800A (zh) | 2021-03-19 |
CN112529800B CN112529800B (zh) | 2022-08-23 |
Family
ID=74997964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011419198.9A Active CN112529800B (zh) | 2020-12-07 | 2020-12-07 | 一种用于滤除毛发噪声的近红外静脉图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112529800B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362294A (zh) * | 2021-05-27 | 2021-09-07 | 同济大学 | 含穿刺针超声血管图像的穿刺针识别方法、系统和设备 |
CN115272684A (zh) * | 2022-09-29 | 2022-11-01 | 山东圣点世纪科技有限公司 | 一种静脉图像增强过程中伪噪声的处理方法 |
CN117237244A (zh) * | 2023-11-16 | 2023-12-15 | 平利县女娲茗鼎农业科技有限公司 | 基于数据增强的畜牧兽医用动物体温智能监测系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101686820A (zh) * | 2007-02-14 | 2010-03-31 | 路耐狄斯公司 | 用于将表面下结构投影到对象表面上的系统和方法 |
CN201806692U (zh) * | 2009-12-31 | 2011-04-27 | 中国人民解放军空军总医院 | 一种用于诊断恶性黑素细胞肿瘤的多光谱皮肤镜图像自动分析仪器 |
CN102194105A (zh) * | 2010-03-19 | 2011-09-21 | 微软公司 | 用于人体跟踪的代表训练数据 |
US20140016832A1 (en) * | 2010-12-09 | 2014-01-16 | Los Angeles Biomedical Research Institute | Method and an apparatus for determining vein patterns from a colour image |
CN104688184A (zh) * | 2014-12-05 | 2015-06-10 | 南京航空航天大学 | 可见光皮肤图像的静脉显像方法 |
CN107749049A (zh) * | 2017-09-07 | 2018-03-02 | 广州中国科学院先进技术研究所 | 一种静脉分布显示方法及装置 |
CN110070522A (zh) * | 2019-03-22 | 2019-07-30 | 合刃科技(深圳)有限公司 | 多维影像信息检测方法及装置 |
US20190355127A1 (en) * | 2018-05-18 | 2019-11-21 | Realtek Semiconductor Corp. | Method and electronic apparatus for extracting foreground image |
-
2020
- 2020-12-07 CN CN202011419198.9A patent/CN112529800B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101686820A (zh) * | 2007-02-14 | 2010-03-31 | 路耐狄斯公司 | 用于将表面下结构投影到对象表面上的系统和方法 |
US20100177184A1 (en) * | 2007-02-14 | 2010-07-15 | Chrustie Medical Holdings, Inc. | System And Method For Projection of Subsurface Structure Onto An Object's Surface |
CN201806692U (zh) * | 2009-12-31 | 2011-04-27 | 中国人民解放军空军总医院 | 一种用于诊断恶性黑素细胞肿瘤的多光谱皮肤镜图像自动分析仪器 |
CN102194105A (zh) * | 2010-03-19 | 2011-09-21 | 微软公司 | 用于人体跟踪的代表训练数据 |
US20140016832A1 (en) * | 2010-12-09 | 2014-01-16 | Los Angeles Biomedical Research Institute | Method and an apparatus for determining vein patterns from a colour image |
CN104688184A (zh) * | 2014-12-05 | 2015-06-10 | 南京航空航天大学 | 可见光皮肤图像的静脉显像方法 |
CN107749049A (zh) * | 2017-09-07 | 2018-03-02 | 广州中国科学院先进技术研究所 | 一种静脉分布显示方法及装置 |
US20190355127A1 (en) * | 2018-05-18 | 2019-11-21 | Realtek Semiconductor Corp. | Method and electronic apparatus for extracting foreground image |
CN110070522A (zh) * | 2019-03-22 | 2019-07-30 | 合刃科技(深圳)有限公司 | 多维影像信息检测方法及装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362294A (zh) * | 2021-05-27 | 2021-09-07 | 同济大学 | 含穿刺针超声血管图像的穿刺针识别方法、系统和设备 |
CN115272684A (zh) * | 2022-09-29 | 2022-11-01 | 山东圣点世纪科技有限公司 | 一种静脉图像增强过程中伪噪声的处理方法 |
CN115272684B (zh) * | 2022-09-29 | 2022-12-27 | 山东圣点世纪科技有限公司 | 一种静脉图像增强过程中伪噪声的处理方法 |
CN117237244A (zh) * | 2023-11-16 | 2023-12-15 | 平利县女娲茗鼎农业科技有限公司 | 基于数据增强的畜牧兽医用动物体温智能监测系统 |
CN117237244B (zh) * | 2023-11-16 | 2024-02-02 | 平利县女娲茗鼎农业科技有限公司 | 基于数据增强的畜牧兽医用动物体温智能监测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112529800B (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112529800B (zh) | 一种用于滤除毛发噪声的近红外静脉图像处理方法 | |
Luengo-Oroz et al. | Robust iris segmentation on uncalibrated noisy images using mathematical morphology | |
CN105184216A (zh) | 一种心二区掌纹的数字提取方法 | |
CN109902586A (zh) | 掌纹提取方法、装置及存储介质、服务器 | |
CN109472788A (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
CN103593829A (zh) | 基于数学形态学运算的手背静脉显像方法 | |
Beghdadi et al. | A critical analysis on perceptual contrast and its use in visual information analysis and processing | |
Ross-Howe et al. | The effects of image pre-and post-processing, wavelet decomposition, and local binary patterns on U-nets for skin lesion segmentation | |
CN110909631A (zh) | 一种手指静脉图像roi提取和增强方法 | |
CN107516302A (zh) | 一种基于OpenCV的混合图像增强的方法 | |
CN104616259B (zh) | 一种噪声强度自适应的非局部均值图像去噪方法 | |
Yakno et al. | Low contrast hand vein image enhancement | |
CN113344810A (zh) | 基于动态数据分布的图像增强方法 | |
CN116993628A (zh) | 一种用于肿瘤射频消融引导的ct图像增强系统 | |
Mohamed et al. | On analyzing various density functions of local binary patterns for optic disc segmentation | |
CN104966271B (zh) | 基于生物视觉感受野机制的图像去噪方法 | |
Chakour et al. | Blood vessel segmentation of retinal fundus images using dynamic preprocessing and mathematical morphology | |
El Hassani et al. | Efficient image denoising method based on mathematical morphology reconstruction and the Non-Local Means filter for the MRI of the head | |
CN109859138A (zh) | 一种基于人眼视觉特性的红外图像增强方法 | |
Khellah | Textured image denoising using dominant neighborhood structure | |
CN111160290B (zh) | 一种提取手掌静脉有效区域的方法 | |
CN114677713A (zh) | 一种基于近红外光的手臂静脉采血点的识别方法及系统 | |
CN114331896A (zh) | 一种基于图像分解和光谱变换的图像增强方法、系统 | |
CN113052833A (zh) | 一种基于红外热辐射的非视域成像方法 | |
Salamah et al. | Enhancement of low quality thick blood smear microscopic images of malaria patients using contrast and edge corrections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |