CN103337071B - 基于结构重建的皮下静脉三维可视化装置及方法 - Google Patents

Abstract

本发明提供一种基于结构重建的皮下静脉三维可视化装置及方法，能够获得静脉血管和皮肤表面的三维空间信息。首先需要对三台相机进行参数标定；第二步，利用已标定的相机对投影仪进行参数标定；第三步，利用结构光法实现皮肤表面的三维重建；第四步，采用模板匹配的方法提取出近红外图像中的血管中心线；第五步，采用极线匹配的方法实现血管中心线的三维重建；第六步，采用GPU加速的光线投射法实现手背及血管在计算机屏幕上的三维可视化；最后，基于三维体数据，模拟得到以投影仪为视点的投影图像，并将该图像投影到待测皮肤表面，实现二维投影显示。

Description

基于结构重建的皮下静脉三维可视化装置及方法

技术领域

本发明涉及一种静脉血管显示设备，具体涉及到一种基于静脉及皮肤表面三维重建数据的三维可视化设备和二维投影血管增强显示设备，主要应用于皮下静脉注射、静脉结构教学等医用领域。

背景技术

在医学领域中，随着成像技术的不断发展，人眼感知的可见光成像越来越暴露出其局限性，被探测组织的大量信息隐藏于不可见光谱波段内。因此，基于红外、紫外及X射线等波段的成像技术由于其优越的成像特性而被越来越广泛的应用于组织探测及识别领域。应用于皮下静脉提取时，相比于可见光成像下静脉血管图像的低对比度，红外成像可以得到更为清晰、对比度更高的静脉图像。目前存在的静脉血管红外成像方式主要基于以下两种原理：

近红外主动成像，即使用特定波段的近红外光源照射目标检测区域，并使用近红外感光相机采集照射区域反射图像的成像方法。该方法可以应用于静脉成像主要基于以下两点原因：1、不同波段的近红外光线可以穿透人体表面皮肤组织约3-6mm。2、血液中的血红蛋白和细胞色素对于特定近红外波段的光线存在明显的吸收特性，氧合血红蛋白和脱氧血红蛋白分别在760nm和850nm处存在两个吸收峰。因此，当近红外光线穿透皮肤组织照射在皮下静脉血管上时，由于血液对近红外光线的吸收，血管区域与周围组织的反射光强存在明显差异。近红外感光器件成像后，图像中血管区域明显暗于周围组织，具有比较清晰的轮廓和较高的对比度。

远红外被动成像，即不需要使用光源，直接使用远红外相机采集目标检测区域红外辐射图像的成像方式。根据Stefan–Boltzmann理论，任何物体都会产生辐射。对于人体而言，其辐射产生的是波段位于3～14μm的红外光。红外辐射在空气中传播并逐渐衰减，其中，3～5μm和8～14μm波段的红外辐射具有良好的透射性。因此使用在两个波段内具有良好响应的红外相机可以得到人体组织的热分布图。更为关键的是，医学研究者发现，人体皮下静脉血管与其周围组织相比具有更强的辐射。因此，通过对目标区域进行热成像，可以得到具有静脉血管轮廓结构的热成像图，然后将其映射到灰度范围为0～255的灰度图像中，静脉血管表现为亮区域，而皮肤背景相对较暗。

以上两种方法相比较，近红外成像的优点是设备较为低廉，使用近红外响应的工业相机即可得到较高质量的静脉图像；缺点在于，由于其主动成像的性质，使得图像质量受到光源分布、照射角度及光源强度等因素的影响严重。远红外成像的优点在于，被动成像的图像质量不受光照的影响；缺点在于远红外设备较贵，同时热成像受到环境热辐射的影响较大。综合比较，实际应用中采用近红外成像进行静脉血管采集的方法更为常用。

清晰的红外静脉血管图像有助于医生进行静脉的初步定位和分析，传统显示的图像一般是在二维原始图像的基础上经过一些图像处理操作后得到的，包括区域提取、光照修正、灰度映射、阈值分割等。最终提供给医生观察的静脉血管图片多为静脉血管增强图或者静脉血管分割图。静脉血管图像的显示方式也大体分为两种，一种为直接在屏幕上显示处理后的图像。这种方法较为简单，只需完成上文所述的图像采集及图像处理即可，但由于图像与目标位于不同空间区域，实时交互操作尤为不便；另一种方法在第一种方法的的基础上增加了反投影的过程。将增强或分割后的静脉血管图像反投影到人体的皮肤表面，提供了更为直观的血管分布信息，并可以方便的实现实时交互。但是，该类显示方法也带来了一个新的技术难题，即如何保证投影图像与原图像的完全重合。基于近红外成像的静脉血管采集方式，解决上述问题的主要方法是采用一种对称光路的设计。具体装置中使用了红外截止滤光片，可将皮肤表面反射的近红外光线与投影设备发出的可见光分离，同时保证了图像采集光路与图像投影光路关于红外截止滤光片完全对称。为了进一步得到完全重合的投影图像，还需在投影系统前安装物镜，通过调整物镜焦距来调整投影图像的大小，实现完全重合。该类产品已经在临床中有所应用，典型产品为Christie公司生产的VeinVeiwer系列。

以上介绍的两种近红外成像静脉显示方式各有优点，相比而言，第二种反投影的方式更直观的显示了血管的分布，对于静脉穿刺及过敏检测等临床应用有着重要的意义。但是依然存在以下几方面的局限性：

1、采用二维屏幕显示或二维投影显示的方法只能感知静脉血管的二维分布特征，无法提供血管的深度信息。

2、基于二维成像技术的静脉显示非常依赖于成像角度，无法实现从各个角度对静脉血管进行观察。

传统的静脉血管显示方式采用的是二维屏幕或二维投影显示，难以满足对静脉血管三维结构的观察及对血管与皮肤相对位置关系的测算。

发明内容

为了解决上述问题，本发明提供一种基于结构重建的皮下静脉三维可视化装置及方法，能够获得静脉血管和皮肤表面的三维空间信息。

该基于结构重建的皮下静脉三维可视化装置，主要包括：一台个人计算机P、两个环状的近红外光源L₁和L₂、两片红外滤光片F₁和F₂、一台可见光成像的工业相机C₁、两台近红外成像的工业相机C₂和C₃、一台近距离投影仪D及一个可摆放以上装置的支架；其中，固定于同一横杆，间隔一定距离，相互夹角使成像投影于同一区域的可见光成像的工业相机C₁及近距离投影仪D组成用于皮肤表面三维重建的图像采集设备；环绕镜头的近红外光源L₁和L₂、附着于成像平面处的红外滤光片F₁和F₂、固定于同一横杆且夹角使成像区域对准待测区域的近红外成像工业相机C₂和C₃组成用于静脉血管三维重建的图像采集设备；

个人计算机P用于：

控制投影仪D投影：根据结构光的重建原理投影出具有不同编码信息的光栅图像；

系统标定：包括近红外相机C₂、C₃间的标定、可见光相机C₁与投影仪D间的标定及近红外相机C₂、C₃与可见光相机间C₁的标定三部分，得到各成像投影设备的内、外参数矩阵来表征相机或投影仪的系统内参数及系统间的空间位置关系；

皮肤表面三维重建：在相机C₁采集到被皮肤表面调制的光栅图像后，根据相位计算方法得到光栅图像的绝对相位值，再据预先标定的系统参数和相位-高度映射关系计算出被皮肤表面的三维信息；

静脉血管三维重建：首先对获得的近红外静脉血管图像进行血管中心线提取，然后根据双目视觉原理，利用极线匹配的方法获得两幅图像中血管对应关系，最后根据系统参数对静脉血管中心线进行三维坐标的计算；

人体数据三维可视化：选定视点及光源位置后，利用GPU加速的光线投射法实现实时渲染和三维显示；

静脉血管二维投影：根据近红外相机与投影仪间的标定参数，计算三维体数据在投影仪处的投影图像，并将该图像投影在人体皮肤表面。

所述的近红外光源L₁和L₂峰值波长为850nm。

本系统实现的静脉血管三维可视化具有以下优势：

1、采用近红外成像技术进行血管成像，可以得到清晰的血管结构，确保了静脉中心线的精确提取；

2、使用双目视觉原理，利用中心线提取和极线匹配的方法实现静脉血管的三维重建；

3、采用可见光成像相机与投影仪，通过结构光投影编码与图像解码的方法实现皮肤表面的三维重建；

4、将两个重建结果映射到同一坐标系内，得到血管与皮肤间的相互位置关系，即血管的深度信息。

5、通过投影实现血管的增强显示，辅助医生进行静脉注射操作。

6、三维重建过程提供了完整的三维信息。通过选择视点，可以实现从各个角度对血管的观察。

7、三维立体显示，可以应用于血管结构的医疗教学之中。

附图说明

图1是本发明所提出的硬件组成示意图；

图2是本发明所提出的工作流程图；

图3是摄像机系统坐标系示意图；

图4是本发明中静脉血管中心线提取过程的流程图；

图5是基于GPU加速的光线投射法体渲染流程图。

具体实施方式

本发明的硬件图像采集系统结果图如附图1所示，包括可见光成像的工业相机1台、装配有近红外光源和红外滤光片的工业相机2台、近距离投影仪1台及可摆放以上装置的支架。

投影仪和可见光成像相机组成了皮肤三维重建的硬件设备。投影仪负责投影计算机编码的结构光图像；工业相机负责采集投影在皮肤表面受到皮肤调制的结构光图像。投影仪和工业相机之间具有固定的位置关系，共同固定在同一刚性横杆上，保证了三维重建过程的唯一性。在标定过程中，需要通过调整焦距和安装角度，使得被测区域位于投影及成像区域的中心。

两台近红外成像工业相机组成了血管三维重建过程的硬件设备。如图所示，每台近红外相机前装置了红外透过滤光片，阻断可见光，排除了可见光信号的干扰；同时，主动光源的照射，进一步排除环境光的干扰，保证皮肤区域与背景具有明显的灰度差异；光源采用环形近红外LED，同样位于近红外相机前端。通过对两个光源的对称安装，可以实现成像过程的光照补偿，减少近红外图像的非均匀性。近红外相机用于采集皮下静脉血管的原始图像，其焦距在标定过程中被固定。安装时，近红外相机被固定于同一个刚性横杆上，在保证被测区域位于成像区域中心的同时，保证安装位置及角度关于横杆中心法线方向对称。

如附图2所示，静脉血管的三维重建及可视化方法具体包括以下几个步骤：

步骤S101，相机的标定。

本发明使用典型棋盘格作为标识物进行摄像机标定。标定模型如附图3，包含四个坐标系：①图像坐标系O₀-uv，u、v表示像素索引；②成像平面坐标系O₁-xy，x、y表示像元的物理尺寸；③摄像机坐标系O_C-X_CY_CZ_C，其中OO_C为镜头焦距f；④世界坐标系O_W-X_WY_WZ_W。其中，坐标系①以像素为单位，其余坐标系以实际物理距离为单位。四个坐标系的齐次坐标表示如下：图像坐标系，p₀＝[u,v,1]^T；成像平面坐标系，p₁＝[x,y,1]^T；摄像机坐标系，p_C＝[X_C,Y_C,Z_C,1]^T；世界坐标系，p_W＝[X_W,Y_W,Z_W,1]^T。根据小孔成像原理，可建立4个坐标系间的坐标转换关系式。

在摄像机模型中，(s_x,v_y)为图像平面单位距离上的像素数（pixels/mm），(u₀,v₀)为成像平面原点在图像坐标系中的坐标，则图像坐标与成像平面坐标之间的关系如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{s}_x& 0& u_0\\ 0& s_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(1\right)$

设[RT]为摄像机坐标系与世界坐标系之间的旋转、平移矩阵，则两坐标系之间满足：

$\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\\ 1\end{array}\right]=\begin{array}{c}\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(2\right)\end{array}$

带入公式(1)，可得到世界坐标系中一点p_W在图像坐标系内的投影p₀满足：

$Z_C\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_x& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(3\right)$

其中，a_x＝f_x×s_x，a_y＝f_y×s_y，上式可简写为：

Z_Cp₀=A[RT]p_W＝Mp_W(4)

其中,A称为内参数矩阵，[RT]称为外参数矩阵。

单摄像机的标定过程即是求取内外参数矩阵的过程。通过对标定板的多点采集，可得到足够求解坐标转换公式中全部参数的超定方程组，进而，可通过最小二乘法求解内外参数矩阵。

步骤S102，投影仪的标定。

投影仪的投射过程与相机的成像过程恰好相反，因此，可视投影仪为一个逆向拍摄的相机，从而使用S101中的标定方法进行标定。若利用标定摄像机的方法对投影仪进行参数标定，必须使投影仪具备“拍摄”标定板图像的能力。

已知投影图像坐标系中的点m′＝[u′,v]′^T，相机拍摄后的成像点为m＝[u,v]^T。假设相机已标定，即相机内外部参数已知。结合相机内外部参数及m，可计算定标板上点M的世界坐标M＝[x,y,z]^T。对投影仪“成像”系统而言，已知空间点M的像素坐标及世界坐标，可根据S101中介绍的相机标定方法，可以求解出投影仪的内外参数。

步骤S103，光栅图像的投影和采集。

本发明采用基于多频外插原理的相位展开方法。因此，根据Reich等人提出的利用三种频率的光栅来进行外差相位解相的方法，投影仪需要投射的三种光栅频率分别为：

λ₁＝1/70

λ₂＝1/64(5)

λ₃＝1/59

同时，相位主值的求解主要采用标准的四步相移法。因此，对于每个光栅频率还要产生4幅相移图像。

图像的采集则主要依靠可见光成像的工业相机实现。

需要注意的是，结构光三维重建方法由于需要投影不同频率的光栅图像，投影过程需要进行一段时间。因此，为了保证皮肤表面三维重建的准确性，应保证实验者的被测区域在成像过程中被短暂固定。

步骤S104：皮肤表面基于结构光的三维重建。

本文采用的基于结构光三维重建的原理是：结构光法投影出不同频率和不同相移的光栅图像，对平面投影区域进行划分和编码，使该区域在二维空间中具有独一无二的相位，组成相位图。当光栅图像投影在物体表面时，相位图受到物体表面的调制并产生了相移。在计算并得到相移大小后，通过建立相移-高度映射关系，最终得到物体表面的完整三维分布。

基于结构光的三维重建主要包括两部分：①绝对相位值的计算；②相位与三维分布的映射。其中，相位的计算是结构光法的核心部分，分为单周期内的相位主值计算和绝对相位值计算两个步骤。

当光栅图像投影到物体表面时，其光强分布函数可表示为：

I(x,y)＝I′(x,y)+I′′(x,y)cos[φ(x,y)+δ_i](5)

其中，I′(x,y)为图像的平均灰度，I′′(x,y)为图像的灰度调制，δ_i为已知的光栅图像相位，φ(x,y)为由物体表面调制产生的相位移(也称相对主值)。式(5)中存在I′(x,y)、I′′(x,y)、φ(x,y)三个未知数，因此至少需要使用三幅投影图像才能求取。

本发明中相位主值的计算主要采用标准的四步相移算法，四幅光栅图像的相位移分别为：0、π/2、π、3π/2，其光强表达式分别为：

$\left\{\begin{array}{c}{I}_1(x,y)=I^{\′}(x,y)+I^{\′\′}(x,y)\cos \left[\mathrm{\φ}{(x,y)}_i\right]\\ I_2(x,y)=I^{\′}(x,y)+I^{\′\′}(x,y)\cos [\mathrm{\φ}(x,y)+\mathrm{\π}/2]\\ I_3(x,y)=I^{\′}(x,y)+I^{\′\′}(x,y)\cos [\mathrm{\φ}(x,y)+\mathrm{\π}]\\ I_4(x,y)=I^{\′}(x,y)+I^{\′\′}(x,y)\cos [\mathrm{\φ}(x,y)+3\mathrm{\π}/2]\end{array}\right.---\left(6\right)$

根据上式，可解出光栅图像的相位主值φ(x,y)：

$\mathrm{\φ}(x,y)=\arctan \left(\frac{I_4-I_2}{I_3-I_1}\right)---\left(7\right)$

通过相位移算法计算出的相位主值φ(x,y)在一个相位周期内是唯一的，但是由于在整个测量空间内有多个光栅条纹，φ(x,y)呈锯齿状分布，必须对空间点的相位主值进行相位展开，从而得到连续的绝对相位值Φ(x,y)。

本发明进一步采用基于多频外插原理的相位展开方法，求解得到绝对相位值Φ(x,y)。

外差原理是指将两种不同频率的相位函数和叠加得到一种频率更低的相位函数Φ_b(x)，λ₁、λ₂、λ_b分别表示相位函数 Φ_b(x)对应的频率。其中λ_b可表示为：

${\mathrm{\λ}}_b=\frac{{\mathrm{\λ}}_1{\mathrm{\λ}}_2}{{\mathrm{\λ}}_1-{\mathrm{\λ}}_2}---\left(8\right)$

外差原理可以用来对空间点的相对相位值进行展开，为了在全场范围内无歧义的进行相位展开，必须选择合适的λ₁、λ₂值，使得λ_b＝1。在图像的全场范围内，tanα₁、tanα_b的比值等于投影图像的周期数比（设为R₁，是个常量），可采用下式对φ₁(x)进行相位展开：

Φ_m＝φ₁+O₁(x)×2π(9)

其中， $O_1\left(x\right)=\mathrm{INT}\left(\frac{\mathrm{\Φ}\left(x\right)\×R_1-{\mathrm{\φ}}_1\left(x\right)}{2\mathrm{\π}}\right).$

基于以上原理，本发明使用三种频率的光栅进行外差相位解相，三种光栅频率如公式(5)。根据公式(8)频率外差公式，可以得到Φ₁₂和Φ₂₃，频率分别为：

λ₁₂＝1/6(10)

λ₂₃＝1/5

然后再将频率为λ₁₂和λ₂₃的相位叠加，得到在全场范围内只有一个周期的相位Φ₁₂₃，该相位的频率为：λ₁₂₃＝1。

建立高精度的相位-高度映射关系是结构光测量技术中的关键技术之一。本发明采用标定的方法，通过在标定板上投射不同方向的光栅图像建立相机图像和投影仪图像的对应关系，从而将结构光测量系统的标定转化为成熟的双目视觉标定。为了得到精确的转化关系，本发明采用一种基于神经网络的相位-高度映射方法，算法首先通过光栅图像的绝对相位值建立相机图像和投影仪图像的对应关系，然后使用三层BP神经网络训练来建立图像坐标与被测物体三维坐标之间的映射关系。

步骤S105，近红外图像的采集。

光源采用圆环分布的峰值在850nm处的近红外LED。一方面，在该波段下，静脉血管与皮肤组织呈现出较高的对比度；另一方面，同心圆的分布也可以最大程度的减少非均匀照射。同时，为了防止可见光的干扰，需要在镜头前放置一块红外透过滤光片。采集过程为：两台近红外相机同时对待测区域成像，并将得到的数字图像实时传输给处理器进行中心线提取。

步骤S106，血管的中心线提取及三维重建。

静脉血管的中心线提取主要包括背景分割、毛发去除、非均匀光照矫正、图像增强、模板匹配二值化及中心线提取6个步骤，流程见图4，具体实现方法如下：

1、背景分割。方法的实现主要是基于Niblack方法的全局阈值分割。全局阈值求取公式如下：

$T_b=\mathrm{Mean}-\sqrt{\frac{\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\left[\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{(f(x,y)-\mathrm{Mean})}^2\right]}{M\×N-1}}---\left(11\right)$

其中T_b为求取的阈值，Mean为图像的平均灰度。

以T_b为阈值，大于T_b的区域认为是被测区域；小于T_b的区域认为是背景区域。最后，保留并填充二值图像中最大连通域的方法，一方面排除了噪声的干扰，另一方面保证了被测区域的完整。

2、去除毛发干扰。其过程主要利用毛发相较于静脉血管更细的特点，采用了基于十字模板的形态学闭运算方法来实现。

3、非均匀光照矫正。假设图像的形成符合镜面反射-漫反射的光照模型。其中，非均匀光照是镜面反射引起的，其特点为灰度变化缓慢，可视为低频信息；反之，纹理丰富的图像细节是由漫反射产生的，属高频信息。因此，可得合成图像表达式：

f(x,y)＝I(x,y)×r(x,y)(12)

其中f(x,y)为合成图像，I(x,y)为镜面反射图像，r(x,y)为漫反射图像。

镜面反射为低频分量，可以通过使用大尺度的高斯掩膜与源图像卷积得到，进而可利用公式(12)得到漫反射分布。为了便于观察和进一步处理，所得图像需要进行一次灰度级的线性映射，使灰度分布为0-255。

4、对比度增强。本发明采用基于模糊边界非线性映射的方法进行图像增强。首先，定义皮肤区域为Mask，根据Niblack算法计算Mask内的全局阈值。然后，以该阈值为模糊边界进行灰度非线性映射，映射满足：

$\mathrm{Trans}\left(r\right)=\frac{1}{1+{(\mathrm{Tb}/r)}^e}---\left(13\right)$

其中，r为漫反射图像灰度；Trans(r)为拉伸后的灰度；e为控制拉伸程度的参数，e越大，映射函数越陡峭。

5、模板匹配二值化。该步骤主要采用模板匹配的思想，通过对增强图像中血管区域的采样分析，发现血管在法线方向近似符合高斯分布。因此，本发明构造了8个方向的高斯分布模板，对图像中每一点进行模板匹配，提取图像中每一点的特征。提取特征包括最大模板响应及方向、最小模板响应及方向4个变量。随后，图像二值化的过程可以转化为一个二分类问题，血管区域满足：

$\mathrm{Max\φ}>\mathrm{\α}\×\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Max\φ}>0?\mathrm{Max\φ}:0}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Max\φ}>0?1:0}$

$\mathrm{Max\φ}-\mathrm{Min\φ}>\mathrm{\β}\×\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Max\φ}>0?\mathrm{Max\φ}:0}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Max\φ}>0?1:0}---\left(14\right)$

Maxθ-Minθ≥45°

其中，Maxφ和Maxθ分别为最大模板响应及其方向；Minφ和Minθ分别为最小模板响应及其方向。α和β为两个参数。

6、中心线提取。在得到二值化图片后，本方法采用形态学细化算法实现中心线的提取。

在得到血管中心线后，为了得到静脉血管的三维信息，首先需要得到两幅图像中血管中心线的匹配关系。考虑到血管中心线结构简单，对应匹配点在血管中心线上的特性，使用对极几何中极线约束的方法即可实现血管中心线上对应点的匹配。

得到中心线的匹配关系后，血管中心线的三维重建即可利用已标定的摄像机内外参数及匹配点的图像坐标来实现。对于两个相机，世界坐标与图像坐标存在以下关系：

$\left\{\begin{array}{c}{Z}_C{p}_0=M_0{p}_W\\ Z_C{p}_1=M_1{p}_W\end{array}\right.---\left(15\right)$

其中，图像坐标p₀、p₁及标定矩阵M₀、M₁均已知。三维坐标求解方程组为超定方程组，可以通过最小二乘法来求解。

步骤S107，根据所选视点位置，实现基于GPU加速的实时三维可视化。

在得到血管及皮肤表面的三维点云后，本发明采用基于GPU加速的体渲染来实现静脉血管和皮肤表面的三维可视化。在体渲染方法的选择上，本发明采用了较为成熟的光线投射法，并利用GPU并行加速，使渲染过程可满足实时要求。

基于GPU加速的光线投射法算法流程如附图5所示。

步骤S108，二维血管图像的投影。

为了投影二维血管图像，需要得到以投影仪位置为视点所拍摄的血管图像。由于投影仪的存在，使得增加摄像头也无法满足上述要求。然而，由于血管的三维信息已经得到，投影仪也完成了标定，因此，本发明采用了基于血管三维点云的模拟投影方法，模拟投影得到以投影仪位置为视点的血管二维影像，并将该影像利用投影仪投影在被测皮肤区域表面，实现对血管的增强现实。

虽然参考优选实施例对本发明进行描述，但以上所述实例并不构成本发明保护范围的限定，任何在本发明的精神及原则内的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围内。

Claims (1)

1.基于结构重建的皮下静脉三维可视化方法，其特征在于，包括以下步骤：

第一步：使用典型棋盘格作为标识物对摄像机进行标定；

第二步：投影仪的标定；

第三步：采用基于多频外插原理的相位展开方法对光栅图像进行投影和采集；

第四步：皮肤表面基于结构光进行三维重建，包括两部分：①相值计算；②相位与三维分布的映射；

计算出相位主值在一个相位周期内是唯一的，由于在整个测量空间内有多个光栅条纹，呈锯齿状分布，因此对空间点的相位主值进行相位展开，采用基于多频外插原理的相位展开方法求解得到绝对相位值；

第五步：采集近红外图像；两台近红外相机同时对待测区域成像，并将得到的数字图像实时传输给处理器进行中心线提取；

第六步：血管的中心线提取及三维重建；

第七步：根据所选视点位置，实现基于GPU加速的实时三维可视化；

第八步：采用基于血管三维点云的模拟投影方法，模拟投影得到以投影仪位置为视点的血管二维影像，并将该影像利用投影仪投影在被测皮肤区域表面，实现对血管的增强现实；

所述的第六步中所述的血管的中心线提取主要包括以下步骤：

1)背景分割：基于Niblack方法的全局阈值分割，全局阈值求取公式如下：

$T_b=Mean-\sqrt{\frac{\underset{x=1}{\overset{M}{\Σ}}\[\underset{y=1}{\overset{N}{\Σ}}{\left(f\right(x,y)-Mean)}^2\]}{M\×N-1}}---\left(11\right)$

其中图像大小为M×N,T_b为求取的阈值，Mean为图像的平均灰度，以T_b为阈值，大于T_b的区域认为是被测区域；小于T_b的区域认为是背景区域；最后保留并填充二值图像中最大连通域的方法；

2)去除毛发干扰：利用毛发相较于静脉血管更细的特点，采用基于十字模板的形态学闭运算方法实现；

3)非均匀光照矫正：合成图像表达式：

f(x,y)＝I(x,y)×r(x,y)(12)

其中f(x,y)为合成图像，I(x,y)为镜面反射图像，r(x,y)为漫反射图像；

4)对比度增强：采用基于模糊边界非线性映射的方法进行图像增强，首先，定义皮肤区域为Mask，根据Niblack算法计算Mask内的全局阈值；然后，以该阈值为模糊边界进行灰度非线性映射，映射满足：

$Trans\left(r\right)=\frac{1}{1+{(Tb/r)}^e}---\left(13\right)$

其中，r为漫反射图像灰度；Trans(r)为拉伸后的灰度；e为控制拉伸程度的参数，e越大，映射函数越陡峭；

5)模板匹配二值化：构造高斯分布模板，对图像中每一点进行模板匹配，提取图像中每一点的特征，提取特征包括最大模板响应及方向、最小模板响应及方向4个变量；

6)中心线提取，采用形态学细化算法提取中心线的提取，得到两幅图像中血管中心线的匹配关系，血管中心线的三维重建即利用已标定的摄像机内外参数及匹配点的图像坐标来实现。