CN104361626B - 基于混合匹配策略的皮下静脉三维重建方法 - Google Patents
基于混合匹配策略的皮下静脉三维重建方法 Download PDFInfo
- Publication number
- CN104361626B CN104361626B CN201410514148.7A CN201410514148A CN104361626B CN 104361626 B CN104361626 B CN 104361626B CN 201410514148 A CN201410514148 A CN 201410514148A CN 104361626 B CN104361626 B CN 104361626B
- Authority
- CN
- China
- Prior art keywords
- matching
- point
- vessel
- blood vessel
- centerline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于混合匹配策略的皮下静脉三维重建方法,得到静脉血管的三维信息。首先,采用IUWT和海森矩阵分析分别得到各视图中的血管分割结果及相关血管特征图像;第二步,通过形态学及血管跟踪算法提取和划分血管中心线,得到各中心线分支的半径及血管方向;第三步,利用极线约束计算单视图中心线分支内各点在另一视图中的候选匹配点集;第四步,分别在各视图的血管相似度图像中提取SURF并完成SURF特征点的匹配,随后采用Ransac方法计算视图间的单应变换矩阵;第五步,基于单应矩阵和候选匹配点集,采用从局部到整体的分层匹配策略实现双目视图血管中心线间的点点匹配,匹配过程中同时完成单应矩阵的优化;最后,根据三角测量的原理完成匹配中心线点的三维重建,并根据二维血管管径信息恢复三维血管表面。
Description
技术领域
本发明涉及一种皮下静脉血管三维重建方法,具体涉及到一种基于混合匹配策略的皮下静脉三维重建方法,主要应用于皮下静脉注射、静脉身份识别等领域。
背景技术
静脉注射是临床医学中一种常用的给药方法,也是在严重外伤患者送往医院前一种基本的生命维持手段。据统计,在美国每年约有10亿次静脉注射发生,其中,对普通成年人的首次注射失败率高达28%,而对于孩子和特殊人群该比率更高。反复地注射不仅会给患者带来更多的病痛,也会引起患者强烈的不满,甚至导致医患冲突。而对年幼患者而言,这更会给他们带来长期的心理阴影。因此,为了提高首次静脉注射的成功率,静脉注射辅助设备成为领域内的研究热点。目前,如克里斯蒂医疗集团(Christie Medical Holdings,Inc.)公司基于近红外成像和反投影技术生产的VeinViewer系列产品已应用于临床静脉注射过程,可有效地提高医护人员的工作效率。而Veebot公司生产的抽血机器人则结合近红外成像和超声成像技术实现了手臂内侧皮下静脉地全自动识别和注射功能,其识别准确率高达83%。此外,在生物特征识别领域,皮下静脉识别也是近年来研究学者关注的新兴热点。静脉识别技术安全稳定,与人脸识别等传统身份识别技术相比,皮下静脉为人体内部生物特征,其隐蔽性高且不易伪造,更不易受环境因素影响,除非手术介入,其结构不随时间和年龄发生变化。目前,如日立公司的手指静脉识别系统和富士通公司的手掌静脉识别系统等技术产品在相关领域已获得广泛应用。
由于静脉血液成分在700~900nm的光谱范围内具有较强的吸收特性,在8~14um的光谱范围内具有特殊的温度特性,因此,近红外成像和中波红外成像是皮下静脉图像的主要获取方式。中波红外成像为温度感应的被动成像,其成像质量受温度、汗渍等外在因素影响严重,且成像设备普遍价格昂贵。相比而言,基于光谱吸收特性的主动式近红外成像则更好地适应了环境温度及受测者的自身状况,且成像设备相对价格低廉,网络摄像头即可满足一般需求的静脉成像。因此,近红外成像被更多的应用于静脉分析类的产品之中。近红外成像根据光源、静脉和相机的相对位置又可分为透射式和反射式成像两种。透射式成像的光源和相机位于静脉两侧,近红外光线在穿透静脉时被血液大量吸收增强了图像对比度。然而,由于受测组织具有厚度差异,成像结果随厚度差异灰度分布极不均匀,光源强度需随时调整以实现最佳成像。此外,由于光源能量较强,受测者具有明显的烧灼感。反射式成像的光源和相机位于静脉同侧,图像对比度源于血液吸收特性导致的有损反射。反射式成像光源能量较低,图像灰度分布均匀,其3~8mm的穿透力可满足大部分皮下静脉的成像需求。因此,在实际应用中,透射式系统适合应用于手指静脉的成像,而反射式成像则适合应用于手背、手臂等其他区域的静脉成像中。
为了更好地满足辅助静脉注射、身份识别等应用的要求,皮下静脉血管的研究内容从早期的基于单目图像的血管增强、提取、匹配慢慢转变为基于多目图像的皮下静脉血管三维重建。随着机器人技术和计算机视觉技术的发展,基于静脉三维结构分析的相关应用也取得了一定的成果。Yoshifumi at el.设计了一种轻巧、准确的三维手指静脉血管搜索系统和一种自动采血系统,采用双目立体视觉的原理完成模拟血管的深度探测。Reuben等人同样设计了一套皮下静脉自动注射系统。该系统首先通过圆环邻域分析提取提取近红外图像中的血管分叉点并将其视为注射目标。随后,利用邻域匹配和双目视觉技术实现了分叉点的匹配和重建,得到了分叉点的空间和注射角度。Zhu等人采用边缘提取和SAD匹配实现了结构较为完整的静脉三维重建,并利用静脉点云匹配进一步实现了基于三维静脉特征的身份识别。
然而,由于近红外静脉图像质量普遍较差,静脉血管分割结果不完整,现有的静脉血管三维重建方法往往存在以下几方面的局限性:
1.重建结果相对准确但仅适用于结构相对简单或固定的特定血管对象,如模拟的单支血管或血管分叉点等,无法适应真实皮下静脉血管的完整重建。
2.重建对象完整但重建精度难以保证,如采用SAD算法实现的静脉血管重建在匹配过程的使用约束关系并不严格,其重建结果也较为粗糙。
3.由于近红外静脉图像质量并不稳定,静脉血管分割不完整引发的重建算法失效或重建精度下降。
发明内容
为了解决上述问题,本发明采用一种自底向上的重建策略,提出了一种基于混合匹配策略的皮下静脉三维重建方法,实现了近乎实时的静脉血管分割、匹配及三维重建。
一种基于混合匹配策略的皮下静脉三维重建方法,包括以下步骤:
第一步、近红外静脉血管分割:采用多尺度IUWT小波变换和海森矩阵分析方法,分别实现对双目静脉图像中血管结构的分割,分割过程中得到血管方向图和血管相似性图像;
第二步、血管中心线测量:对血管分割图像采用形态学方法得到血管中心线后,利用血管跟踪算法将中心线进一步划分为血管分支;采用分段样条拟合修正分支位置及方向,并采用距离变换方法估计血管中心线的半径;
第三步、计算候选匹配点集:基于标定的双目摄像头参数和血管分支信息,分别计算左/右视图中分支中心线上一点p的极线与右/左视图中血管分支的交点集合,作为点p的匹配点集;
第四步、计算双目视图间的单应矩阵:分别在血管相似性图像中提取SURF特征点并完成SURF特征点的匹配;利用Ransac方法和SURF匹配特征点计算双目视图间的单应矩阵;
第五步、基于混合约束和分层策略的血管匹配:首先结合匹配点集和视图间单应矩阵信息,通过计算中心线匹配度筛选出部分可唯一确定的中心线点点匹配关系,随后基于这部分血管匹配关系对单应矩阵进行优化,最后采用基于血管段的整体匹配策略实现难匹配点的血管匹配;
第六步、血管三维重建:首先,基于血管中心线点点匹配关系和双目成像系统外参数完成对血管中心线的重建,并对重建中心线进行分段样条拟合,随后,利用图像分割中得到的管径信息渲染血管表面。
本发明的有益效果:
1.利用IUWT和海森矩阵分析快速得到准确鲁棒的血管分割结果及血管参数信息;
2.采用严格约束的自底向上的极限匹配方法获取匹配点集,保证了匹配信息的完整和准确;
3.采用SURF匹配得到的单应矩阵可有效辅助大部分其匹配点集离散血管中心线筛选唯一确定的点点匹配关系;
4.定义的中心线匹配度除了包含血管位置信息外,还包含了血管方向信息,增强了匹配点集中各候选匹配点间的区分度;
5.利用确定的血管中心线匹配关系对单应矩阵进行修正,提高了单应变换的精度。
6.利用血管段匹配从整体的角度完成难分辨匹配点集内匹配点的筛选,避免了局部最优引起错误匹配。
附图说明
图1是本发明所提出的静脉血管三维重建方法流程图;
图2是极线与血管中心线相交情况示意图;
图3是双目血管中心线匹配流程图;
图4是中心线双向点点匹配过程示意图;
图5是中心线双向点点匹配实现流程图。
具体实施方式
如附图1所示,基于混合策略的皮下静脉血管三维重建方法具体包括以下几个步骤:
步骤S101,近红外静脉血管分割。
静脉分割是静脉分析及三维重建的基础,本发明采用基于IUWT小波变换和海森矩阵分析的方法,结合图像的灰度和结构特征,可快速而准确分割出图像中的静脉血管。同时,基于海森矩阵特征的血管测度函数,还可得到血管相似性图像。
IUWT小波变换是一种常用于天文学计算和医学领域的分析方法,包括小波分解和图像重建两个过程,分解为提取图像中各尺度细节特征的过程,而重建则是选择性组合细节的过程。在静脉图像中,光照分布为低频信息,而图像噪声为低频信息,因此本发明选择对中间频率的小波图像组合重建实现光照非均匀校正、图像去噪,进而实现血管增强。根据IUWT的定义,对于输入图像f0,小波分解图像wj表示为:wj+1=Cj-Cj+1,重建图像f1可表示:其中,Cj为尺度图像,满足C0=f0。本发明在完成1~6尺度的小波分解后,选择[3,4,5]三个尺度进行图像重建得到了较好的血管增强效果。
随后,本发明采用海森矩阵进行图像分析得到血管相似性图像及血管分割结果。为了在静脉分割中充分利用血管的结构特性,本发明通过二维泰勒公式分析图像局部特征,则局部特征可表示为如下形式:
公式中,σ为尺度因子,▽0,σ和H0,σ分别表示图像局部的一阶梯度矩阵和二阶海森矩阵。根据尺度特征空间理论,二阶海森矩阵又可利用高斯函数的特性表示为如下形式:
矩阵中各分量分别表示点p在邻域内4个方向的二阶偏导数,直接体现了点p邻域内的灰度变化程度。根据Frangi对二维图像中海森矩阵的分析,该信息还可间接用于局部结构分析。具体描述为:通过对p点的海森矩阵进行特征值分解,可得到两个特征值λ1,λ2。假设|λ1|<|λ2|,则当λ1,λ2同时满足|λ1|≈0,|λ1|<<|λ2|时,p点满足管状特征。当管状区域为暗色时,还应满足λ2>0,反之,当管状区域为亮色时,满足λ2<0。同时,λ1,λ2对应的特征向量v1,v2分别反映了二维管状结构的方向信息。其中,λ1对应的特征向量v1反映了曲率较小的方向,即血管方向;λ2对应的特征向量v2则反映了灰度变化较大的方向,即血管法线方向。相较于采用多角度模板匹配的方法,基于海森矩阵的方法计算血管角度更加快速,同时也避免了模板方向采样过程的离散性。
实验证明,|λ2|值的大小与血管相似性成正比且在不同尺度中与尺度因子相关,在尺度σk下,本发明取作为阈值可得到较为准确且鲁棒的血管分割结果,进而得出多尺度下血管分割条件其中,σmax和σmin表示尺度范围,血管分割结果用BW表示。此外,为了辅助血管匹配及重建过程,本发明通过计算多尺度血管测度函数V(x)进一步得到了血管相似性图像。其中尺度σk下的血管相似性函数V0(x,σk)表示为:
推广到多尺度后得到血管相似性图像满足其中,t为阈值因子,合适的t值可保证血管相似度图像在具有丰富血管结构特征的同时充分排除噪声干扰,本发明选择t=1.5可得到血管相似性图像。
步骤S102,血管中心线测量。
中心线测量包括中心线分支提取、拟合及管径测量三个部分。由于血管分割结果已经得到,完整的血管中心线位置计算可通过形态学细化算法得。为了将中心线匹配过程简化为血管段间的匹配,提高匹配准确率,本发明进一步将细化结果进行分支提取。分支提取分支始末点提取和分支跟踪两部分组成。显然,分支始末点必定为中心线交叉点或端点,因此,本发明首先利用中心线的邻域特征提取中心线交叉点和端点。将8个邻域点沿单方向展开后,我们可以发现,1->0或0->1的跳变次数可严格区分出端点和分叉点,其中,端点跳变1次,而分叉点跳变大于2次。在得到两类中心线特征点后,分支跟踪根据始末点特性可分为端点->端点,端点->分叉点,分叉点->分叉点三种情况,处理过程应保证4邻域连接具有更好的优先级。遍历全部始末点后,分支的位置信息及相互间的连接信息得以保存。此外,为了滤除噪声,本发明将分支中长度较短的去除。随后,分支拟合采用分段样条拟合的方法,可实现分支中心线位置的优化,同时,曲线的上每一点的方向可表示血管方向。最后,为了实现管径测量,本发明计算分割图像的距离变换图像,其中各点的距离变换值代表该点据最近0点的距离。因此,可以判断,血管中心线上的点的距离变换值即为该点的血管半径,而拟合后的中心线半径可通过插值得到。
综上所述,中心线测量通过分支提取、拟合和管径测量,将血管中心线划分为血管分支,最终得到了包括分支内各点的位置、方向、半径及分支间连接关系等信息。
步骤S103,计算候选匹配点集。
基于计算机视觉理论,极线约束是多视几何中一种重要的严格约束条件,在通过标定双目系统标定已知系统外参数的情况下,左/右视图上某点在右/左视图中的极线很容易得到,本发明即通过极线约束理论计算血管中心线候选匹配点集。
极线约束方程描述了左右视图图像齐次坐标间的严格约束关系,即若想得到p1在右视图中的匹配点p2,可通过上式将p2点限制在一条可求解的直线上。然而,由于成像角度差异、血管中心线缺失和极线约束的不确定性,如图2所示,p1的极线与右视图中血管中心线可存在多种相交情况,包括:1.极线与血管中心线无交点;2.极线与血管中心线有1个交点,且为正确匹配;3.极线与血管中心线有1个交点,但实为错误匹配。4.极线与多条血管中心线相交,且存在正确匹配;5.极线与多条血管中心线相交,但不存在正确匹配;6.极线与某条血管中心线相交且近乎平行。
基于以上分析,严格的血管匹配约束条件应保证:在情况1、3、5下无法得到正确匹配;在情况2、4下,可以筛选出正确的匹配点;对于情况6,极线约束条件发生退化,匹配精度误差较大,因此应避免出现该情况下的匹配过程。
由于极线约束中拥有完整但冗余的匹配信息,本发明需对极线匹配过程及结果按如下方式进行判断和整理:
1.针对情况6。由于本系统中双目相机成像角度和相对位置的原因,极线方向多趋近于水平方向,因此,本发明忽略了水平程度较高的血管分支的极限匹配。
2.针对情况1,本发明判断匹配失败。
3.针对其他情况,本发明为了防止匹配错误,延迟匹配判断。同时,为了充分利用血管特征,提高匹配精度,本发明对匹配结果进行整理,整理的匹配信息包括:1.候选匹配点集,即左视图中p1的极线与右视图中心线的交点信息,包括坐标和分支号。2.分支极线覆盖率ECR(i,j),即左视图中血管段i与右视图中血管段j的极线相率交率。前者可为后续的基于血管匹配延续性检测提供判据,而后者可为血管段的整体匹配提供判据。
步骤S104,计算双目视图间的单应矩阵。
为了筛选候选匹配点集,本发明进一步选择平面直角坐标系间满足的单应性来进一步约束血管匹配过程。在单应矩阵的计算前,首先应该保证左右视图满足单应变换。根据单应性的定义,它描述的是两个平面坐标系统中图像坐标及向量的一一映射关系,即对应点或向量间的图像齐次坐标满足pb=Habpa,其中,Hab表示3×3的单应矩阵。在本系统中,由于成像对象主要是手背皮下静脉血管,与成像距离相比较,血管段近似分布在同一平面内,因此,静脉血管“平面”与成像平面近似满足单应性条件,而根据单应性的传递性,左右视图间同样近似满足单应性。
单应矩阵的计算需利用左右视图中部分点集间的匹配关系。由于此时血管中心线点集间依然不存在确定的匹配关系,单应矩阵计算只能依赖其他形式的图像特征点。综合考虑到特征提取及匹配的速度和准确性,本发明选择在具有丰富血管结构特征的血管相似性图像中提取和匹配SURF特征。
为了满足计算单应矩阵的匹配点数目要求,本发明降低了SURF特征提取阈值,保证了特征点的数量。同时,为了抑制SURF匹配点集中低比例误匹配点的干扰,本发明采用Ransac方法进行单应矩阵求解,得到了具有良好鲁棒性的基于SURF特征点的单应矩阵。
由于血管匹配信息的残缺,基于SURF特征点的单应矩阵的计算仅利用了SURF特征。而随着血管匹配过程的深入,部分较简单的血管匹配关系可优先得到,因此,本发明在随后的匹配过程中还将利用一些确定的血管匹配关系对单应矩阵进一步修正,从而更好的实现复杂情况下血管匹配。此外,图像中的方向向量也可通过单应变换映射到另一坐标系中。
步骤S105,基于混合约束和分层策略的血管匹配,流程如图3所示。
由于静脉血管中心线提取结果的复杂性,采用单次约束完全确定血管匹配关系策略往往在局部产生匹配错误。因此,本发明基于极线约束和单应性约束条件下得到的候选匹配点集、分支极限覆盖率和单应矩阵,采用一种分层匹配策略将血管中心线分成两个匹配优先级实现血管中心线的匹配。匹配过程包括基于基于SURF特征点的单应矩阵的中心线双向点点匹配、单应矩阵优化和基于血管段匹配的中心线匹配三个部分。
a.中心线双向点点匹配:
基于基于SURF特征点的单应矩阵,左视图中的血管中心线可直接映射到右视图中,理想情况下,左视图血管经过坐标变换后应与右图血管完全重合,反之亦然。然而,在实际情况中由于单应性条件的近似和SURF特征匹配的误差,映射坐标与真实匹配坐标间往往存在一定的误差。尽管如此,通过计算单应变换点与匹配候选点间的“匹配差异度”来筛选匹配点对于大部分血管中心线的匹配而言依然具有显著的意义。为了更加充分利用血管中心线特征,本发明在定义的“匹配差异度”D将欧式距离与向量余弦距离结合起来,得到以下“匹配差异度”公式:
其中,pH,vH分别表示点p单应变换后的坐标和血管方向,p′和v′分别表示点p候选匹配点的坐标和血管方向。可以看出,当pH与p′坐标和血管方向越相似,距离D越小,反之则D越大。基于“距离”D的定义和单应变换矩阵,本发明采用双向匹配的方法实现中心线大部分血管点的点点匹配。图4为匹配过程示意图,其中,pi的方向为vi,其匹配候选点和单应变换点分别为{p′i,p″i,…}和对应血管方向分别为{v′i,v″i,…}和图5则展示了点点双向匹配的主要流程。对于结构完整但具有多个候选匹配点的血管中心线而言,在双向匹配的过程中,各候选匹配点间的“匹配差异度”往往较大,筛选正确匹配点难度不大。而对于血管结构残缺及血管相交处的匹配问题,本发明提出的点点匹配方法也进行了充分地考虑。在血管相交处,单应变化的误差尤为明显,同时,结构残缺现象也容易发生。为了避免该区域的错误匹配,本发明对点点匹配过程进行了严格的判断,并将难以利用局部信息判断的匹配关系冷处理,交由后续匹配方法判断。如图4所示,p1与p2为血管交叉处两点,{p′1},{p′2,p″2}分别为p1,p2在另一视图中的候选匹配点。显然,p1符合极线匹配情况3,即候选匹配点中不存在正确的匹配点。经过本发明提出的点点匹配处理,p1得到的错误匹配点p′1经过反向单应变换后,由于D′1对应的点不是p1(如图(d1),(d3))或D′2-D′1<Th_D12(如图(d2)),使得p1的匹配结果延迟判断。而对于p2而言,单方向的单应变换即可避免错误匹配的发生,p2或由于D2-D1<Th_D12延迟判断(图(c1),图(c2)),或满足点点匹配条件找到匹配点p′2(图(c3)),其中,图(c2)与图(c3)的区别由于Th_D12不同。
综上所述,双向点点匹配方法对于大部分结构明显且完整的血管中心线点而言,可有效地从候选匹配点中筛选得到准确的匹配点;而对于少部分难以明确判断匹配关系的中心线点而言而,该方法可避免匹配错误的发生,并将该类点的准确匹配过程交由后续匹配方法处理。
b.单应矩阵优化:
利用上述方法得到的血管中心线的匹配关系,本发明对之前仅利用SURF特征匹配点计算的单应矩阵进行优化。优化过程为单应矩阵重计算过程,重计算时,匹配点由Ransac后的准确匹配的SURF特征点和血管中心线匹配点两部分组成,为了防止中心线匹配点过密导致局部过拟合,本发明对中心线匹配点随机采样,最终保证混合特征点中两类特征比例为1:1。优化后的单应矩阵可保证映射过程更加准确。在得到优化单应矩阵后,本发明对双向点点匹配过程中因单应矩阵误差较大导致D1>Th_D的延迟匹配点再次按照双向点点匹配方法进行匹配,区别在于,在该点再次满足D1>Th_D时,直接判定该点没有匹配点。
c.基于血管段的匹配
基于血管段的匹配方法主要为了解决在双向点点匹配和单应优化匹配后依然未匹配的血管中心线,从双向点点匹配的匹配过程可以看出,该类点未匹配主要是由于局部中心线相邻过近造成的,因此,局部的基于弱约束单应性的匹配难以解决这类问题。因此,本发明在完成部分血管中心线匹配后,采用已知中心线匹配关系推导未知中心线匹配关系,从血管段匹配的角度出发,实现复杂区域中心线的候选匹配点筛选。血管段间的差异度由已知的中心线匹配点对计算得出,随后,未匹配点根据血管段差异度的顺序筛选候选匹配点,若根据血管段匹配条件依然无法找到匹配点,则该点无匹配点。左视图血管段i与右视图血管度j间的血管差异度VD(i.j)定义为:
其中,ut为血管段i上一点,其匹配点u′在血管段j上;为ut通过单应矩阵映射得到的点,满足D为前文定义的“匹配差异度”,N为血管段i与血管j间匹配点的数量。根据VD的定义可知,VD越小,血管匹配度越高。
步骤S106,血管三维重建。
在得到血管中心线间的点点匹配关系后,基于双目视觉成像模型,匹配点q1、q2的图像坐标与对应的空间三维坐标X间满足:
q1,i=P1Xi=K1[I|0]Xi,q2,i=P2Xi=K2[R|t]Xi
其中,P1、K1分别为相机1的投影矩阵和内参矩阵;对应的,P2、K2为相机2的投影矩阵和内参矩阵。[R|t]为相机1坐标系到相机2坐标系的旋转平移矩阵。表示投影矩阵Pi的第j行(i=1,2;j=1,2,3)。因此,已知血管中心线点点匹配关系后,便可得到血管中心线的三维坐标。
为了保证血管中心线的连续平滑,本发明又对三维血管中心线进行了分段样条拟合。该方法将血管中心线分成长度相等的血管片段,片段间进行多项式拟合,片段内进行三次样条插值,可通过控制血管分段数兼顾血管平滑性和弯曲性。此外,为了得到血管的表面信息,血管截面半径计算由左右视图血管提取过程中得到的2D管径信息得到,进而重建三维血管表面。由于血管中心线重建后进行了拟合和插值,血管管径同样需要进行拟合和插值,并通过在3D血管中心线的切面方向生成圆柱环得到血管表面。
虽然参考优选实施例对本发明进行描述,但以上所述实例并不构成本发明保护范围的限定,任何在本发明的精神及原则内的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围内。
Claims (4)
1.一种基于混合匹配策略的皮下静脉三维重建方法,其特征在于,包括以下步骤:
第一步、近红外静脉血管分割:采用多尺度IUWT小波变换和海森矩阵分析方法,分别实现对双目静脉图像中血管结构的分割,分割过程中得到血管方向图和血管相似性图像;
第二步、血管中心线测量:对血管分割图像采用形态学方法得到血管中心线后,利用血管跟踪算法将中心线进一步划分为血管分支;采用分段样条拟合修正分支位置及方向,并采用距离变换方法估计血管中心线的半径;
第三步、计算候选匹配点集:基于标定的双目摄像头参数和血管分支信息,分别计算左/右视图中分支中心线上一点p的极线与右/左视图中血管分支的交点集合,作为点p的匹配点集;
第四步、计算双目视图间的单应矩阵:分别在血管相似性图像中提取SURF特征点并完成SURF特征点的匹配;利用Ransac方法和SURF匹配特征点计算双目视图间的单应矩阵;
第五步、基于混合约束和分层策略的血管匹配:首先结合匹配点集和视图间单应矩阵信息,通过计算中心线匹配度筛选出部分可唯一确定的中心线点点匹配关系,随后基于这部分血管匹配关系对单应矩阵进行优化,最后采用基于血管段的整体匹配策略实现难匹配点的血管匹配;
第六步、血管三维重建:首先,基于血管中心线点点匹配关系和双目成像系统外参数完成对血管中心线的重建,并对重建中心线进行分段样条拟合,随后,利用图像分割中得到的管径信息渲染血管表面。
2.如权利要求1所述的一种基于混合匹配策略的皮下静脉三维重建方法,其特征在于,所述第五步的具体步骤如下:
[1]基于单应矩阵计算血管中心线上点p’在另一视图中对应的位置pH和方向vH;
[2]根据匹配差异度公式求解单应变换点pH与p’的候选匹配点集Set(p’)中各点的匹配差异度,并按差异度大小排序;
[3]判断差异度最小的候选匹配点是否小于匹配阈值条件1,满足则进入步骤[4],不满足进入下一点的匹配;
[4]若差异度最小的两个候选匹配点p1、p2间的差异度相差不大,则认为局部信息难以判断,延迟匹配并进入下一点的匹配,否则进入步骤[5];
[5]若满足上述条件,对差异度最小的候选匹配点p1进行重复步骤[1]、[2]完成反向匹配,若差异度最小的匹配点p11与p’是相同的点,则认为找到了匹配点对p’和p1,否则判断双向匹配不一致,延迟匹配过程。
3.如权利要求1或2所述的一种基于混合匹配策略的皮下静脉三维重建方法,其特征在于,所述第五步的所述的单应矩阵优化过程将基于血管相似性图像提取的SURF特征匹配点与基于双向点点匹配的血管中心线匹配点进行混合,用于单应矩阵的优化计算。
4.如权利要求1或2所述的一种基于混合匹配策略的皮下静脉三维重建方法,其特征在于,所述第五步中基于血管段的匹配过程利用已匹配的血管信息完成复杂血管局部的血管匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410514148.7A CN104361626B (zh) | 2014-09-29 | 2014-09-29 | 基于混合匹配策略的皮下静脉三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410514148.7A CN104361626B (zh) | 2014-09-29 | 2014-09-29 | 基于混合匹配策略的皮下静脉三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104361626A CN104361626A (zh) | 2015-02-18 |
CN104361626B true CN104361626B (zh) | 2017-12-15 |
Family
ID=52528884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410514148.7A Active CN104361626B (zh) | 2014-09-29 | 2014-09-29 | 基于混合匹配策略的皮下静脉三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104361626B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844686B (zh) * | 2016-03-31 | 2018-12-21 | 深圳市菲森科技有限公司 | 图像的三维效果显示方法及系统 |
CN106127849B (zh) * | 2016-05-10 | 2019-01-11 | 中南大学 | 三维精细血管重建方法及其系统 |
CN107049431A (zh) * | 2016-12-30 | 2017-08-18 | 西安中科微光影像技术有限公司 | 一种自动穿刺机器人 |
CN108022237B (zh) * | 2017-11-30 | 2021-07-13 | 上海联影医疗科技股份有限公司 | 血管提取方法、系统及存储介质 |
CN108205807A (zh) * | 2017-12-29 | 2018-06-26 | 四川和生视界医药技术开发有限公司 | 视网膜血管图像编辑方法及视网膜血管图像编辑装置 |
CN108269257B (zh) * | 2018-03-05 | 2022-02-25 | 四川和生视界医药技术开发有限公司 | 视网膜血管的编辑方法及编辑装置 |
CN108537802A (zh) * | 2018-03-30 | 2018-09-14 | 北京灵医灵科技有限公司 | 一种血管分割方法及装置 |
CN109300147B (zh) * | 2018-09-17 | 2020-10-16 | 北京理工大学 | 血管二维中心线和三维中心线配准的方法及装置 |
CN109559326B (zh) * | 2018-11-05 | 2020-11-13 | 深圳睿心智能医疗科技有限公司 | 一种血流动力学参数计算方法、系统及电子设备 |
CN109919913B (zh) * | 2019-02-01 | 2020-12-08 | 浙江大学 | 一种冠状动脉的半径计算方法、终端及存储介质 |
CN110458875B (zh) * | 2019-07-30 | 2021-06-15 | 广州市百果园信息技术有限公司 | 异常点对的检测方法、图像拼接方法、相应装置及设备 |
CN110598640B (zh) * | 2019-09-16 | 2022-06-07 | 杭州奔巴慧视科技有限公司 | 一种基于迁移学习手背静脉识别方法 |
CN111009032B (zh) * | 2019-12-04 | 2023-09-19 | 浙江理工大学 | 基于改进外极线约束匹配的血管三维重建方法 |
CN111259858B (zh) * | 2020-02-14 | 2023-03-14 | 闻泰通讯股份有限公司 | 指静脉识别系统、方法、装置、电子设备及存储介质 |
CN112102227A (zh) * | 2020-06-05 | 2020-12-18 | 哈尔滨工业大学 | 一种基于血管尺寸特征的血管最优穿刺点选取方法 |
CN111887863B (zh) * | 2020-06-05 | 2023-09-05 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种高精度采血装置、机器人及方法 |
CN112163452B (zh) * | 2020-08-25 | 2022-11-18 | 同济大学 | 基于深度学习的双目近红外肢体静脉图像的三维重建方法 |
CN116740164A (zh) * | 2023-06-15 | 2023-09-12 | 强联智创(北京)科技有限公司 | 用于对血管中心线进行提取的方法、设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070297657A1 (en) * | 2006-06-23 | 2007-12-27 | Julian Mattes | Quantification and visualization of the motion and deformation of one or several objects inside a living entity |
CN103268630B (zh) * | 2013-05-22 | 2015-11-18 | 北京工业大学 | 一种基于血管内超声影像的血管三维可视化方法 |
-
2014
- 2014-09-29 CN CN201410514148.7A patent/CN104361626B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104361626A (zh) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104361626B (zh) | 基于混合匹配策略的皮下静脉三维重建方法 | |
CN108765363B (zh) | 一种基于人工智能的冠脉cta自动后处理系统 | |
CN110135375B (zh) | 基于全局信息整合的多人姿态估计方法 | |
Kim et al. | Machine-learning-based automatic identification of fetal abdominal circumference from ultrasound images | |
Ai et al. | Augmented reality based real-time subcutaneous vein imaging system | |
Sanchez et al. | Registration of thermal and visible light images of diseased plants using silhouette extraction in the wavelet domain | |
WO2017133009A1 (zh) | 一种基于卷积神经网络的深度图像人体关节定位方法 | |
CN102622587B (zh) | 基于多尺度二阶微分结构模型及改进分水岭算法的手背静脉识别方法 | |
US10878574B2 (en) | 3D quantitative analysis of retinal layers with deep learning | |
CN106875375B (zh) | 一种基于管状特征跟踪的三维血管中轴线提取方法 | |
CN109685809B (zh) | 一种基于神经网络的肝包虫病灶分割方法及系统 | |
CN109344693A (zh) | 一种基于深度学习的人脸多区域融合表情识别方法 | |
CN111091573B (zh) | 基于深度学习的ct影像肺血管的分割方法及系统 | |
CN104408453B (zh) | 基于多特征聚类的近红外皮下静脉分割方法 | |
CN107564048B (zh) | 基于分叉点特征配准方法 | |
CN103150723A (zh) | 基于形状和椭圆拟合的胃部ct图像淋巴结检测系统及方法 | |
CN103761747B (zh) | 一种基于加权分布场的目标跟踪方法 | |
CN108564022A (zh) | 一种基于定位分类回归网络的多人物姿势检测方法 | |
Davies et al. | Advanced methods and deep learning in computer vision | |
Huang et al. | Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach | |
Almasi et al. | Registration of fluorescein angiography and optical coherence tomography images of curved retina via scanning laser ophthalmoscopy photographs | |
Zhao et al. | Quantitation of vascular morphology by directed graph construction | |
CN115381492A (zh) | 基于超声视频的颈动脉斑块跟踪和回声分类框架及方法 | |
CN116051638A (zh) | 一种基于多源异构信息融合技术的血管定位装置及方法 | |
Martinez-Perez et al. | Three-dimensional reconstruction of blood vessels extracted from retinal fundus images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |