CN107837076A - 一种近红外自配准静脉显像装置及方法 - Google Patents

Abstract

本发明涉及近红外自配准静脉显像装置及方法，摄像机采集可见光或近红外光照射下的皮肤图像；近红外滤光片‑可见光滤光片切换装置控制进入摄像机镜头的光线模式，根据触发信号切换为可见光滤光片或近红外滤光片；近红外光源发出近红外光到皮肤；微控制器采集摄像机捕获的视频图像，输出近红外滤光片‑可见光滤光片切换装置触发信号；并行处理器对视频图像进行增强、滤波、分割处理，并传输到投影仪；投影仪发出可见光，投影到皮肤表面。本发明通过IR‑CUT切换两种滤光片可以独立获得人体被拍摄部位的静脉血管图像或投影图像，通过微控制器进行特征点匹配，对静脉图像进行旋转平移操作使投影图像与静脉图像配准，对人无伤害，安全环保。

Description

一种近红外自配准静脉显像装置及方法

技术领域

本发明涉及一种医疗器械制造技术，具体为一种近红外自配准静脉显像装置及方法。

背景技术

由于近红外光(波长为700nm-900nm)对人体组织穿透深度强于可见光，且静脉血液中脱氧血红蛋白对近红外光能量吸收明显高于脂肪和黑色素等血管周围组织，因此，采用近红外光成像的方法可以显著提高静脉血管与周围组织的对比度，得到比较清晰的静脉结构图像。

目前，利用该原理开发的静脉可视化显像设备已被逐步应用于临床医疗。例如由CHRISTIE公司研发的Christie Vein Viewer能检测血管位置并将其投影到皮肤的表面帮助医学工作者下针，最深可以看到皮下15mm；由中科院西安光学精密机械研究所与中科微光医疗器械技术有限公司共同研制的“投影式红外血管显像仪”，使医生能够清晰的识别患者皮下8-10mm的细微血管。

静脉显像的基本过程为将摄像头采集到的近红外图像进行血管分割处理，之后重新投影到采集目标，从而实现血管突出显示的目的，其核心技术为投影方式的选择。采用常规投影仪的方法可以实现这个过程，但由于技术垄断和核心模块的保密(投影仪的核心DMD芯片价格差距很大)，导致成品系统价格较高，限制了其大规模使用，使投影仪的成本及尺寸等问题仍会导致产品无法获得有效推广。

数字微镜器(Digital Micromirror Device，DMD)是一种新型的全数字化光调制和编码器件，它将上百万片反射镜集成在同一块芯片之上，可以通过控制每个反射镜的翻转调制光路，整个芯片的大小和一块CCD传感器相当，配合光源使用，可以实现微小体积投影功能。

成品系统的光路设计使得投影光路和近红外光路必须独立存在，两个独立光路的使用限制其尺寸及体积的缩小。

由于架构和处理芯片的选择不同，成品必须设计成体积较大的固定式平台，同时实时显像效果不够理想。

发明内容

针对现有技术中静脉显像装置采用独立光路使其尺寸及体积无法缩小以及显像效果不够理想等不足，本发明要解决的问题是提供一种可有效减小系统体积、使图像的分割效果更加理想、处理效率更高的近红外自配准静脉显像装置及方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种近红外自配准静脉显像装置，包括摄像机、近红外滤光片-可见光滤光片切换装置、近红外光源、投影仪、微控制器以及并行处理器，其中：

摄像机，采集可见光或近红外光照射下的皮肤图像；

近红外滤光片-可见光滤光片切换装置，控制进入摄像机镜头的光线模式，根据触发信号切换为可见光滤光片或近红外滤光片；

近红外光源，发出近红外光到皮肤；

所述微控制器，采集摄像机捕获的视频图像，输出近红外滤光片-可见光滤光片切换装置触发信号；

并行处理器，对视频图像进行增强、滤波、分割处理，并传输到投影仪；

投影仪，发出可见光，投影到皮肤表面。

本发明还具有安装架，分三层设置，上层固定摄像头，中间层固定投影仪以及反射镜，下层为载物台，其中投影仪水平固定在中间层隔板上，反射镜镜面设置为45度，入射光为投影仪输出的光线，经反射镜反射到载物台上。

摄像机为CMOS摄像机或CCD摄像机；近红外滤光片安装于镜头下，近红外滤光片-可见光滤光片切换装置安装于摄像机镜头下方。

本发明一种近红外自配准静脉显像装置的自配准方法，包括以下步骤：

1)图像分割：利用红外摄像头捕捉人体静脉红外图像，进行初步分割，提取静脉图像，分割静脉血管；

2)直方图均衡：利用图像直方图对对比度进行调整，增强静脉血管的对比度；

3)卷积处理：对静脉血管做锐化，以突出静脉血管边缘与图像其他部分的灰度级跳变；使静脉血管的边缘灰度级跳变明显，为静脉血管的提取做好预处理；

4)sobel边缘检测：对锐化后的血管图像采用垂直sobel边缘提取算法，辅助以45°角的sobel边缘检测，准确确定静脉边界；

5)形态学操作：利用形态学闭操作去除血图像中的孔洞噪声，填充孔洞；利用形态学连通域方法连通静脉小块缺失区域，去除边界产生的干扰，使血管连续可见；

6)血管染色：对去噪后的静脉血管图像染色，使投影出的图像颜色与患者原肤色有明显差异，便于使用者分辨静脉位置；

7)近红外摄像头的微控制器发出近红外滤光片-可见光滤光片切换装置触发信号，使滤光片进行切换来获得投影图像与静脉图像，将两幅图像在微控制器中进行特征点匹配，确保重投影的静脉图像精准的投射到实际静脉所在位置。

步骤1)中，图像分割为：将红外图像转换成灰度图像，利用各向同性非抽样小波变换算法对皮下静脉进行初步分割，去除背景和部分噪声；各向同性非抽样小波变换算法分为小波分解和图像重建，在小波分解过程中，小波范围图像

其中I₀为原图像，h_i-1为多范围卷积核函数，i为分解级数；

小波分解图像：W_i+1＝C_i-C_i+1；

通过重复以上小波分解过程，获得不同小波分段的静脉图像细节。

所述图像重建为：将之前所获得的不同小波分段的小波分解图W_i进行结合，即将小波分解图像进行叠加，获得不同灰度范围的静脉细节，叠加公式如下：

其中，I为所有小波分解图像叠加后得出的最终图像，[σ₁，σ₂]为根据给定的分割标准和分解级数i算出的阈值门限，σ₁为阀值上限，σ₂为阀值下限，；W_i为小波分解图像，i为分解级数。

步骤3)中，卷积处理通过以下公式实现：

其中，f为原始图像，h为根据之前经验调整好预设值的模板，g为原始图像经过卷积处理后的图像；

将卷积核设定为

步骤7)中，特征点匹配为：将较粗的分段静脉用形态学基本操作进行细化，获得静脉血管图像的中心线，然后，根据中心线的位置信息，提取出图像中静脉的端点和分岔点作为特征点，最后将前后两幅图的特征点进行匹配。

本发明具有以下有益效果及优点：

1.有效的配准方法：本发明通过IR-CUT切换两种滤光片可以独立获得人体被拍摄部位的静脉血管图像或投影图像，通过微控制器进行特征点匹配，对静脉图像进行旋转平移操作使投影图像与静脉图像配准。

2.高效的投影方式：本发明使用数字微镜器DMD实现投影过程，可以充分利用芯片的功能，同时也有效控制产品的成本。

3.安全环保的近红外光谱技术：本发明采用近红外光谱技术，可以显著提高静脉血管与周围组织的对比度，得到比较清晰的静脉结构图像，并且对人无伤害，安全环保。

4.稳定的光路设计：本发明利用平面镜的反射作用以及支架位置控制输入输出光路控制输入输出光路，同时利用偏振片消除投影505nm滤光对近红外光采集的影响，提高系统的稳定性。

5.优化的图像处理算法：本发明采用优化图像处理算法，使图像的分割效果更加理想，并且进一步利用了FPGA的并行处理能力，使处理效率更高，实现了实时处理。

6.本发明采用了SOC架构，在单个芯片上完成整个电子系统的功能，增加了系统的集成性，减小了系统的体积。

附图说明

图1为本发明近红外自配准静脉显像装置连接示意图；

图2为本发明近红外自配准静脉显像装置图像投影单元结构示意图。

图3为本发明近红外自配准静脉显像装置的自配准方法示意图；

图4为本发明近红外自配准方法流程图；

图5为本发明自配准方法效果图。

其中，1为摄像机，2为近红外滤光片-可见光滤光片切换装置，3为近红外光源，4为投影仪，5为微控制器，6为并行处理器，7为反射镜，8为载物台。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1所示，本发明涉及一种近红外自配准静脉显像装置，包括摄像机1、近红外滤光片-可见光滤光片切换装置2、近红外光源3、投影仪4、微控制器5以及并行处理器6，其中：

摄像机1，采集可见光或近红外光照射下的皮肤图像；

近红外滤光片-可见光滤光片切换装置2，控制进入摄像机镜头的光线模式，根据触发信号切换为可见光滤光片或近红外滤光片；

近红外光源3，发出近红外光到皮肤；

微控制器5，采集摄像机1捕获的视频图像，输出近红外滤光片-可见光滤光片切换装置2触发信号；

并行处理器6，对视频图像进行增强、滤波、分割处理，并传输到投影仪；

投影仪4，将可见光投影到皮肤表面。

本发明还具有安装架，分三层设置，上层固定摄像机1，中间层固定投影仪4以及反射镜7，下层为载物台8，其中投影仪4水平固定在中间层隔板上，反射镜7镜面设置为45度，入射光为投影仪4输出的光线，经反射镜7反射到载物台8上。

本实施例中，摄像机1为CMOS摄像机或CCD摄像机，CMOS摄像头配合近红外光源采集人体静脉的近红外图像；近红外滤光片安装于摄像机1的镜头表面，近红外滤光片-可见光滤光片切换装置2(采用IR-CUT双滤光片切换器)，安装于摄像机1镜头下方，用于控制进入摄像机镜头的光线模式，可根据触发信号切换为可见光滤光片或近红外滤光片。

投影仪4采用DMD进行光学投影编码，将上百万片反射镜集成在同一块芯片之上，可以通过控制每个反射镜的翻转调制光路，整个芯片的大小和一块CCD传感器相当，配合光源使用，可以实现微小体积投影功能。

微控制器5用于对摄像机4捕获的视频图像、判断图像是否配准、对图像进行旋转平移操作、发射近红外滤光片-可见光滤光片切换装置2的触发信号。微控制器与并行处理器6利用SOC架构的Zedboard开发板构建ARM+FPGA处理通路，在ARM处理器中对两幅图像进行自配准操作，在FPGA处理器中将摄像头采集到的近红外图像，进行图像增强，锐化，分割，去噪处理，实现静脉血管的分割和提取，并实现实时处理。

图2为本发明近红外自配准静脉显像装置图像投影单元结构示意图。摄像机1捕获图像后交由并行处理器6进行图像处理后传输至投影仪4。投影仪4发出的可见光通过反射镜7(平面镜)反射后投射到载物台8。其中投影仪4和反射镜7可以进行细微调节。

本发明利用平面镜的反射作用以及支架位置控制输入输出光路，同时利用偏振片消除投影光对近红外光采集的影响，提高系统的稳定性。

本发明一种近红外自配准静脉显像装置的自配准方法，如图4所示，包括以下步骤：

1)图像分割：利用红外摄像头捕捉人体静脉红外图像，进行初步分割，提取静脉图像，分割静脉血管；

2)直方图均衡：利用图像直方图对对比度进行调整，增强静脉血管的对比度；

3)卷积处理：对静脉血管做锐化，以突出静脉血管边缘与图像其他部分的灰度级跳变；使静脉血管的边缘灰度级跳变明显，为静脉血管的提取做好预处理；

4)sobel边缘检测：对锐化后的血管图像采用垂直sobel边缘提取算法，辅助以45°角的sobel边缘检测，准确确定静脉边界；

5)形态学操作：利用形态学闭操作去除血图像中的孔洞噪声，填充孔洞；利用形态学连通域方法连通静脉小块缺失区域，去除边界产生的干扰，使血管连续可见；

6)血管染色：对去噪后的静脉血管图像染色，使投影出的图像颜色与患者原肤色有明显差异，便于使用者分辨静脉位置；

7)近红外摄像头的微控制器发出近红外滤光片-可见光滤光片切换装置触发信号，使滤光片进行切换来获得投影图像与静脉图像，将两幅图像在微控制器中进行特征点匹配，确保重投影的静脉图像精准的投射到实际静脉所在位置。

步骤1)中，图像分割是利用红外摄像头捕捉人体静脉红外图像(可为手背、手臂、脚面、腿部等可捕捉到静脉血管的部位)，转换成灰度图像，选取120灰度级左右的阈值，利用IUWT(各向同性非抽样小波变换)算法对皮下静脉进行初步分割，此算法可有效提取静脉，去除背景和部分噪声，可以将图像中的手部与背景完全分离。IUWT算法理论上分为小波分解和图像重建，在小波分解过程中，小波范围图像：

其中I₀为原图像，h_i-1为多范围卷积核函数，i为分解级数，随预设的分割区域不同而变化；

小波分解图像：W_i+1＝C_i-C_i+1，

通过重复以上小波分解过程，可以获得不同小波分段的静脉图像细节。

在图像重建过程中，将之前所获得的不同小波分段的小波分解图W_i+1进行结合，因为近红外静脉图像的血管特征主要包含在一个连续的范围内[σ₁，σ₂]，重建图像为小波分解图像的叠加可获得不同灰度范围的静脉细节，从而达到更精准分割静脉血管的目的；式中，I为所有小波分解图像叠加后得出的最终图像，[σ₁，σ₂]为根据给定的分割标准和小波级数i算出的阈值门限，为一个连续范围，连续的原因是因为小波变换的性质，小波变换将傅里叶变换的基于无线长的三角函数换成了有限长的会衰减的小波基，得到连续的时频谱；σ₁为阀值上限，σ₂为阀值下限，这两个值不是固定不变的；w_i为小波分解图像，i为分解级数。

步骤2)中，直方图均衡是利用图像直方图对对比度进行调整，使得亮度可以更好地在直方图上分布，这样就可以达到增强血管的对比度而不影响整体的对比度。

步骤3)中，卷积处理是对血管做锐化，以突出血管边缘与图像其他部分(如手背皮肤图像)的灰度级跳变；使静脉血管的边缘灰度级跳变明显，为血管提取做好预处理；

其中，f为原始图像，h为根据之前经验调整好预设值的模板，g为原始图像经过卷积处理后的图像；

将卷积核设定为此时锐化效果最好。与此同时，我们增加高斯平滑处理为了抑制锐化处理后出现的噪声点。

步骤2)、3)是考虑图像中手部皮肤与血管的对比度区别不明显，故采取直方图均衡加上卷积处理的方式来锐化血管部分。直方图均衡先增强图像的整体对比度，接着使用卷积核H对血管做锐化，以突出血管边缘与图像其他部分(如手背皮肤)的灰度级跳变，极大地提高了分割算法的准确度。

步骤4)中，采用垂直sobel边缘提取算法提取图像中静脉的主体部分，辅助以45°角的边缘检测。由于边缘提取仅考虑了垂直方向的血管边缘提取，故该方案需要将手垂直伸入方能得到最佳效果。

步骤5)中，由于图像中血管的深度和皮肤上的干扰问题，会出现噪音和已分割出的血管中的孔洞，腐蚀膨胀操作可以有效的去除这些噪声和填充孔洞，并且去除了边界产生的干扰，使血管连续可见。

步骤6)在步骤5)的基础上，对处理完成的分割静脉血管染色，使投影出的结果与手背原肤色有较大的差异，便于使用者分辨静脉位置。

步骤7)中，将两幅图像在微控制器中进行特征点匹配，由于重投影回患者手背表面的是经图像处理后，只包含静脉血管信息的图像，因此将此图与之前提取出的静脉图进行特征点匹配，就可以确保重投影的静脉图像精准的投射到真实手背静脉所在位置，二者的精准重合，是近红外自配准静脉显像装置的基础；

特征点匹配的过程为：首先将较粗的分段静脉用形态学基本操作进行细化，获得静脉血管的中心线，然后，根据中心线的位置信息，提取出静脉的端点和分岔点作为特征点，最后将前后两幅图的特征点进行匹配。

经过大量尝试，我们最终将卷积核设定为此时锐化效果最好。与此同时，增加高斯平滑处理为了抑制锐化处理后出现的噪声点。

图3为自配准方法示意图。其中a为摄像机捕获到的静脉图像，b为投影仪投出的投影图像。环形近红外光源将近红外光照射到皮肤表面。IR-CUT双滤光片切换器在近红外滤光片和可见光滤光片间切换，从而使摄像机捕捉到近红外图像或可见光图像。微控制器发出近红外滤光片-可见光滤光片切换装置触发信号使滤光片进行切换来获得投影图像与静脉图像。将a,b两幅图像在微控制器中进行特征点匹配，若不匹配则对静脉图像进行旋转平移操作使投影图像与静脉图像配准。

本发明通过微控制器将两幅图像进行特征点匹配后通过旋转平移静脉图像来将两幅图像配准。应用本发明自配准方法的效果图如图5所示。

Claims (8)

1.一种近红外自配准静脉显像装置，其特征在于：包括摄像机(1)、近红外滤光片-可见光滤光片切换装置(2)、近红外光源(3)、投影仪(4)、微控制器(5)以及并行处理器(6)，其中：

摄像机(1)，采集可见光或近红外光照射下的皮肤图像；

近红外滤光片-可见光滤光片切换装置(2)，控制进入摄像机镜头的光线模式，根据触发信号切换为可见光滤光片或近红外滤光片；

近红外光源(3)，发出近红外光到皮肤；

所述微控制器(5)，采集摄像机(1)捕获的视频图像，输出近红外滤光片-可见光滤光片切换装置(2)触发信号；

并行处理器(6)，对视频图像进行增强、滤波、分割处理，并传输到投影仪；

投影仪(4)，发出可见光，投影到皮肤表面。

2.根据权利要求1所述的近红外自配准静脉显像装置，其特征在于：还具有安装架，分三层设置，上层固定摄像头，中间层固定投影仪以及反射镜，下层为载物台，其中投影仪水平固定在中间层隔板上，反射镜镜面设置为45度，入射光为投影仪输出的光线，经反射镜反射到载物台上。

3.根据权利要求1所述的近红外自配准静脉显像装置，其特征在于：摄像机(1)为CMOS摄像机或CCD摄像机；近红外滤光片安装于镜头下，近红外滤光片-可见光滤光片切换装置(2)安装于摄像机(1)镜头下方。

4.一种近红外自配准静脉显像装置的自配准方法，其特征在于包括以下步骤：

1)图像分割：利用红外摄像头捕捉人体静脉红外图像，进行初步分割，提取静脉图像，分割静脉血管；

2)直方图均衡：利用图像直方图对对比度进行调整，增强静脉血管的对比度；

3)卷积处理：对静脉血管做锐化，以突出静脉血管边缘与图像其他部分的灰度级跳变；使静脉血管的边缘灰度级跳变明显，为静脉血管的提取做好预处理；

4)sobel边缘检测：对锐化后的血管图像采用垂直sobel边缘提取算法，辅助以45°角的sobel边缘检测，准确确定静脉边界；

5)形态学操作：利用形态学闭操作去除血图像中的孔洞噪声，填充孔洞；利用形态学连通域方法连通静脉小块缺失区域，去除边界产生的干扰，使血管连续可见；

6)血管染色：对去噪后的静脉血管图像染色，使投影出的图像颜色与患者原肤色有明显差异，便于使用者分辨静脉位置；

7)近红外摄像头的微控制器发出近红外滤光片-可见光滤光片切换装置触发信号，使滤光片进行切换来获得投影图像与静脉图像，将两幅图像在微控制器中进行特征点匹配，确保重投影的静脉图像精准的投射到实际静脉所在位置。

5.根据权利要求4所述的近红外自配准静脉显像装置的自配准方法，其特征在于，步骤1)中，图像分割为：将红外图像转换成灰度图像，利用各向同性非抽样小波变换算法对皮下静脉进行初步分割，去除背景和部分噪声；各向同性非抽样小波变换算法分为小波分解和图像重建，在小波分解过程中，小波范围图像

其中I₀为原图像，h_i-1为多范围卷积核函数，i为分解级数；

小波分解图像：W_i+1＝C_i-C_i+1；

通过重复以上小波分解过程，获得不同小波分段的静脉图像细节。

6.根据权利要求5所述的近红外自配准静脉显像装置的自配准方法，其特征在于所述图像重建为：将之前所获得的不同小波分段的小波分解图W_i进行结合，即将小波分解图像进行叠加，获得不同灰度范围的静脉细节，叠加公式如下：

<mrow> <mi>I</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> </mrow> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> </mrow>

其中，I为所有小波分解图像叠加后得出的最终图像，[σ₁，σ₂]为根据给定的分割标准和分解级数i算出的阈值门限，σ₁为阀值上限，σ₂为阀值下限，；W_i为小波分解图像，i为分解级数。

7.根据权利要求4所述的近红外自配准静脉显像装置的自配准方法，其特征在于步骤3)中，卷积处理通过以下公式实现：

<mrow> <mi>g</mi> <mo>=</mo> <mi>f</mi> <mo>&amp;CircleTimes;</mo> <mi>h</mi> </mrow>

其中，f为原始图像，h为根据之前经验调整好预设值的模板，g为原始图像经过卷积处理后的图像；

将卷积核设定为

8.根据权利要求4所述的近红外自配准静脉显像装置的自配准方法，其特征在于步骤7)中，特征点匹配为：将较粗的分段静脉用形态学基本操作进行细化，获得静脉血管图像的中心线，然后，根据中心线的位置信息，提取出图像中静脉的端点和分岔点作为特征点，最后将前后两幅图的特征点进行匹配。