CN111127443B - 一种基于ptam的内腔图像特征点检测方法 - Google Patents

Abstract

本发明一种基于PTAM的内腔图像特征点检测方法属于微创手术处理技术领域；该方法首先对内腔图像进行预处理，其次采用灰度重心法提取血管中心线，然后对提取的血管中心线进行进一步处理，采用基于八邻域滤波的方法检测血管分支点，该方法提取的血管分支会存在伪分支点，需要对血管伪分支点进行去除操作；然后提取内腔表面特征点，并进行非极大值抑制去除多余的内腔表面特征点，最后将提取的血管分支点和内腔表面特征点结合起来作为内腔血管图像的特征点。实验证明本方法明显提高内腔血管图像的匹配率，可以很好的实现内腔图像三维建模，为医生提供更可靠的信息，便于临床诊断。

Description

一种基于PTAM的内腔图像特征点检测方法

技术领域

本发明一种基于PTAM的内腔图像特征点检测方法属于微创手术处理技术领域。

背景技术

在微创技术的发展下，临床上应用微创技术开展手术治疗已经成为了常态，传统开腹手术方法存在创伤大、恢复慢等缺点。而采用腹腔镜微创手术方式则能够明显减少手术创伤，促使患者尽快康复，具有术中损害小、清除效率高和恢复速度快等优势，尤其是可减少并发症，提高治疗效果，在临床应用中有较高的应用价值。

微创手术是指通过内腔镜、胸腔镜等内窥镜在人体内进行观察。但是内腔镜并未完全满足医生的观察需求，也存在着以下三种问题：①内腔图像呈现在显示器上，医生需不断地在手术部位和显示器之间移动视线，影响医生手术操作的连贯性，且容易疲劳。②使用单个内腔镜观察局部内腔信息，若医生需要大范围观察信息，则需要多个内腔镜同时介入人体，这既增加了患者的负担也增加了内腔镜线缆、发射/接收器、介入套管等的复杂与笨重程度；③有时需要助手辅助手持和移动多个内腔镜配合医生观察，给医生的手术操作带来不便。

针对上述不足，研究学者采用增强现实技术对患者的体表进行投影，即体表投影法。体表投影法是利用投影机将内腔镜拍摄的图像投射在患者体表，以在需要时辅助医生判断，形成虚拟的表皮透明效果。但是该方法也有不足之处，投影的图像是二维的，而且投影的表面不平坦会导致投影图像发生畸变。针对以上不足，提出了基于SLAM形成了平行追踪和映射技术(Parallel Tracking and Mapping，PTAM)，PTAM技术可以用来在未知环境中定位自身方位并同时构建环境三维地图，从而保证叠加的虚拟物体与现实场景在几何上的一致性。PTAM技术针对狭小、特征缺乏的内腔空间能快速、准确的建立三维模型，并结合医生视角、内腔三维模型、患者体表三维形貌，生成体表投影内腔图像序列，以得到更真实的投影效果。该方法用以辅助医生实现术前的手术规划、术中的实时引导以及术后的评估预后，有助于减少医源性副损伤，缩短手术时间，提升手术精准度和成功率。

发明内容

针对上述技术需求，本发明公开了一种基于PTAM的内腔图像特征点检测方法，该方法能够准确提出血管中心线和血管分支点，将提取的血管分支点和提取的内腔表面特征点结合起来作为内腔血管图像的特征点，明显提高内腔血管图像的匹配率，可以很好的实现内腔图像三维建模，为医生提供更可靠的信息，便于临床诊断。

本发明的目的是这样实现的：

一种基于PTAM的内腔图像特征点检测方法，包括以下步骤：

步骤a、采用灰度重心和八邻域相结合的方法检测血管分支点，所述血管分支点的集合为特征点集A；

步骤b、提取内腔表面特征点，所述内腔表面特征点的集合为特征点集Q；

步骤c、将步骤a得到的特征点集A和步骤b得到的特征点集Q合并为PTAM特征。

上述基于PTAM的内腔图像特征点检测方法，步骤a的具体步骤如下：

步骤a1：对采集到的人体内腔的原血管图像进行灰度化处理

根据人体对于色彩的敏感情况，对色彩图像进行加权灰度化处理，得到灰度图像Gray，计算方法为：

Gray＝0.30R+0.59G+0.11B

其中，R为色彩图像中红色图层分量，G为色彩图像中绿色图层分量，B为色彩图像中蓝色图层；

步骤a2：将血管在一定区间内的灰度值进行排列，取血管截面的灰度重心作为血管中心点，灰度重心法就是计算灰度图像Gray二值化后血管截面的一阶矩，提取出血管中心线，得到血管中心线图像，有：

其中，F(x,y)为灰度图像Gray二值化后的图像，且有x＝1,...,m；y＝1,...,n；

步骤a3、采用基于八邻域滤波提取血管中心线图像分支点特征

采用基于八邻域滤波方法提取血管分支点，选择一个种子点，使用3×3的模板检测该点的八个邻域，判定该点是否为分支点；

步骤a31、把任一血管截面的灰度重心作为种子点，以所述种子点为中心，提取周围八个邻域位置的像素灰度值，构成一个1×8的八邻域矩阵；

步骤a32、检测八邻域矩阵中像素灰度值为1的个数λ，其中：

0＜λ≤2，所述种子点为候选端点；

2＜λ≤3，所述种子点为候选分支点；

3＜λ≤4，所述种子点为候选交叉点；

集合候选分支点；

步骤a33、去除候选分支点提取过程中的短线和毛刺

定义该血管切线方向上相邻三个候选分支点分别为候选分支点a、候选分支点b和候选分支点c；对候选分支点a使用3×3的模板滤波，如果沿血管切线方向，所述候选分支点a的八邻域内存在灰度值大于2，且候选分支点b或候选分支点c的八邻域内存在灰度值不大于2，则所述候选分支点a为短线或者毛刺，得到分支点集合A。

上述基于PTAM的内腔图像特征点检测方法，步骤b的具体步骤如下：

步骤b1：提取灰度图像Gray的候选内腔表面特征点

以灰度图像Gray上任意一个像素p为圆心，以包含像素p在内的3个像素为半径做圆C，检测所述圆C圆周上16个像素，并以像素p正上方像素γ₁为起点沿顺时针方向依次将圆C圆周上的16个像素标记为γ_n,n＝1,2,...,16；

定义一个阈值T，将灰度图像Gray中所有的像素划分为三类，有：

其中，I_p是像素p的灰度值，

n＝1,2,...,16是圆C圆周上的16个灰度值，以灰度图像Gray中所有属于Light类或Dark类的像素均为候选内腔表面特征点，而属于Others类的像素不是候选内腔表面特征点；

步骤b2：使用非极大值抑制去除多余的候选内腔表面特征点

使用一个得分函数V过滤多余的候选内腔表面特征点，获得灰度图像Gray最终的内腔表面特征点；定义得分函数V为：

其中，L＝{l₁,l₂,...,l_i}属于Light类的候选内腔表面特征点，同理，D＝{d₁,d₂,...,d_j}属于Dark类的候选内腔表面特征点，

是像素l_i的灰度值，

是像素d_j的灰度值；在候选内腔表面特征点集M＝L∪D中，设有任意一个像素q，I_q是像素q的灰度值，其得分函数响应值为V_q，在像素q的3*3邻域内存在任意一像素m∈M，其得分函数响应值为V_m，当V_q≥V_m时，q为内腔表面特征点，否则，q就不是内腔表面特征点；对所有的候选内腔表面特征点集M进行非极大值抑制之后，剩下的候选内腔表面特征点集合为特征点集Q。

上述基于PTAM的内腔图像特征点检测方法，步骤c的具体步骤如下：

为了提取丰富的内腔血管图像特征点，提高配准率，用如下公式：

PTAM特征集合U＝特征点集A∪特征点集Q

将步骤a提取的特征点集A和步骤b提取的特征点集Q合并为PTAM特征集合U。

有益效果：

本发明采用了如下技术手段，首先采用灰度重心法提取血管中心线，然后采用基于八邻域滤波的方法检测血管分支点，该方法提取的血管分支会存在伪分支点，需要对血管伪分支点进行去除操作；然后提取内腔表面特征点，并进行非极大值抑制去除多余的内腔表面特征点，最后将提取的血管分支点和内腔表面特征点结合起来作为内腔血管图像的特征点。该技术手段相互依存，缺一不可，作为一个整体，共同实现了其中任何一个手段存在时都不能实现的，准确实现了基于PTAM的内腔重建的技术目的。此外，该方法能够准确提出血管中心线和血管分支点，将采提取的血管分支点和提取内腔表面特征点结合起来作为内腔血管图像的特征点，明显提高内腔血管图像的匹配率，可以很好的实现内腔图像三维建模，为医生提供更可靠的信息，便于临床诊断。

附图说明

图1是本发明一种基于PTAM的内腔图像特征点检测方法的流程图。

图2是人体内腔血管图像灰度化处理图。

图3是提取的血管分支点图。

图4是提取的内腔表面特征点图。

图5是分支点和内腔表面特征点相结合图。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细描述。

本实施例的一种基于PTAM的内腔图像特征点检测方法，流程图如图1所示，该方法包括以下步骤：

步骤a、采用灰度重心和八邻域相结合的方法检测血管分支点，所述血管分支点的集合为特征点集A；

步骤b、提取内腔表面特征点，所述内腔表面特征点的集合为特征点集Q；

步骤c、将步骤a得到的特征点集A和步骤b得到的特征点集Q合并为PTAM特征。

上述一种基于PTAM的内腔图像特征点检测方法，步骤a的具体步骤如下：

步骤a1：对采集到的人体内腔的原血管图像进行灰度化处理

根据人体对于色彩的敏感情况，对色彩图像进行加权灰度化处理，得到灰度图像Gray，如图2所示，计算方法为：

Gray＝0.30R+0.59G+0.11B

其中，R为色彩图像中红色图层分量，G为色彩图像中绿色图层分量，B为色彩图像中蓝色图层；

步骤a2：将血管在一定区间内的灰度值进行排列，取血管截面的灰度重心作为血管中心点，灰度重心法就是计算灰度图像Gray二值化后血管截面的一阶矩，提取出血管中心线，得到血管中心线图像，有：

其中，F(x,y)为灰度图像Gray二值化后的图像，且有x＝1,...,m；y＝1,...,n；

步骤a3、采用基于八邻域滤波提取血管中心线图像分支点特征

步骤a31、把任一血管截面的灰度重心作为种子点，以所述种子点为中心，提取周围八个邻域位置的像素灰度值，构成一个1×8的八邻域矩阵；

步骤a32、检测八邻域矩阵中像素灰度值为1的个数λ，其中：

0＜λ≤2，所述种子点为候选端点；

2＜λ≤3，所述种子点为候选分支点；

3＜λ≤4，所述种子点为候选交叉点；

集合候选分支点；

步骤a33、去除候选分支点提取过程中的短线和毛刺

定义该血管切线方向上相邻三个候选分支点分别为候选分支点a、候选分支点b和候选分支点c；对候选分支点a使用3×3的模板滤波，如果沿血管切线方向，所述候选分支点a的八邻域内存在灰度值大于2，且候选分支点b或候选分支点c的八邻域内存在灰度值不大于2，则所述候选分支点a为短线或者毛刺，得到分支点集合A，结果如图3所示。

上种基于PTAM的内腔图像特征点检测方法，步骤b的具体步骤如下：

步骤b1：提取灰度图像Gray的候选内腔表面特征点

以灰度图像Gray上任意一个像素p为圆心，以包含像素p在内的3个像素为半径做圆C，检测所述圆C圆周上16个像素，并以像素p正上方像素γ₁为起点沿顺时针方向依次将圆C圆周上的16个像素标记为γ_n,n＝1,2,...,16；

定义一个阈值T，将灰度图像Gray中所有的像素划分为三类，有：

其中，I_p是像素p的灰度值，

n＝1,2,...,16是圆C圆周上的16个灰度值，以灰度图像Gray中所有属于Light类或Dark类的像素均为候选内腔表面特征点，而属于Others类的像素不是候选内腔表面特征点；

步骤b2：使用非极大值抑制去除多余的候选内腔表面特征点

使用一个得分函数V过滤多余的候选内腔表面特征点，获得灰度图像Gray最终的内腔表面特征点；定义得分函数V为：

其中，L＝{l₁,l₂,...,l_i}属于Light类的候选内腔表面特征点，同理，D＝{d₁,d₂,...,d_j}属于Dark类的候选内腔表面特征点，

是像素l_i的灰度值，

是像素d_j的灰度值；在候选内腔表面特征点集M＝L∪D中，设有任意一个像素q，I_q是像素q的灰度值，其得分函数响应值为V_q，在像素q的3*3邻域内存在任意一像素m∈M，其得分函数响应值为V_m，当V_q≥V_m时，q为内腔表面特征点，否则，q就不是内腔表面特征点；对所有的候选内腔表面特征点集M进行非极大值抑制之后，剩下的候选内腔表面特征点集合为特征点集Q，结果如图4所示。

上述基于PTAM的内腔图像特征点检测方法，步骤c的具体步骤如下：

为了提取丰富的内腔血管图像特征点，提高配准率，用如下公式：

PTAM特征集合U＝特征点集A∪特征点集Q

将步骤a提取的特征点集A和步骤b提取的特征点集Q合并为PTAM特征集合U，结果如图5所示。

Claims (3)

1.一种基于PTAM的内腔图像特征点检测方法，其特征在于，包括以下步骤：

步骤a、采用灰度重心和八邻域相结合的方法检测血管分支点，所述血管分支点的集合为特征点集A；具体步骤如下：

步骤a1：对采集到的人体内腔的原血管图像进行灰度化处理

根据人体对于色彩的敏感情况，对色彩图像进行加权灰度化处理，得到灰度图像Gray，计算方法为：

Gray＝0.30R+0.59G+0.11B

其中，R为色彩图像中红色图层分量，G为色彩图像中绿色图层分量，B为色彩图像中蓝色图层；

步骤a2：将血管在一定区间内的灰度值进行排列，取血管截面的灰度重心作为血管中心点，灰度重心法就是计算灰度图像Gray二值化后血管截面的一阶矩，提取出血管中心线，得到血管中心线图像，有：

其中，F(x,y)为灰度图像Gray二值化后的图像，且有x＝1,...,m；y＝1,...,n；

步骤a3、采用基于八邻域滤波提取血管中心线图像分支点特征

采用基于八邻域滤波方法提取血管分支点，选择一个种子点，使用3×3的模板检测该点的八个邻域，判定该点是否为分支点；

步骤a31、把任一血管截面的灰度重心作为种子点，以所述种子点为中心，提取周围八个邻域位置的像素灰度值，构成一个1×8的八邻域矩阵；

步骤a32、检测八邻域矩阵中像素灰度值为1的个数λ，其中：

0＜λ≤2，所述种子点为候选端点；

2＜λ≤3，所述种子点为候选分支点；

3＜λ≤4，所述种子点为候选交叉点；

集合候选分支点；

步骤a33、去除候选分支点提取过程中的短线和毛刺

定义该血管切线方向上相邻三个候选分支点分别为候选分支点a、候选分支点b和候选分支点c；对候选分支点a使用3×3的模板滤波，如果沿血管切线方向，所述候选分支点a的八邻域内存在灰度值大于2，且候选分支点b或候选分支点c的八邻域内存在灰度值不大于2，则所述候选分支点a为短线或者毛刺，得到分支点集合A；

步骤b、提取内腔表面特征点，所述内腔表面特征点的集合为特征点集Q；

步骤c、将步骤a得到的特征点集A和步骤b得到的特征点集Q合并为PTAM特征。

2.根据权利要求1所述的一种基于PTAM的内腔图像特征点检测方法，其特征在于，步骤b的具体步骤如下：

步骤b1：提取灰度图像Gray的候选内腔表面特征点

以灰度图像Gray上任意一个像素p为圆心，以包含像素p在内的3个像素为半径做圆C，检测所述圆C圆周上16个像素，并以像素p正上方像素γ₁为起点沿顺时针方向依次将圆C圆周上的16个像素标记为γ_n,n＝1,2,...,16；

定义一个阈值T，将灰度图像Gray中所有的像素划分为三类，有：

其中，I_p是像素p的灰度值，

n＝1,2,...,16是圆C圆周上的16个灰度值，以灰度图像Gray中所有属于Light类或Dark类的像素均为候选内腔表面特征点，而属于Others类的像素不是候选内腔表面特征点；

步骤b2：使用非极大值抑制去除多余的候选内腔表面特征点

使用一个得分函数V过滤多余的候选内腔表面特征点，获得灰度图像Gray最终的内腔表面特征点；定义得分函数V为：

其中，L＝{l₁,l₂,...,l_i}属于Light类的候选内腔表面特征点，同理，D＝{d₁,d₂,...,d_j}属于Dark类的候选内腔表面特征点，

是像素l_i的灰度值，

是像素d_j的灰度值；在候选内腔表面特征点集M＝L∪D中，设有任意一个像素q，I_q是像素q的灰度值，其得分函数响应值为V_q，在像素q的3*3邻域内存在任意一像素m∈M，其得分函数响应值为V_m，当V_q≥V_m时，q为内腔表面特征点，否则，q就不是内腔表面特征点；对所有的候选内腔表面特征点集M进行非极大值抑制之后，剩下的候选内腔表面特征点集合为特征点集Q。

3.根据权利要求1所述的一种基于PTAM的内腔图像特征点检测方法，其特征在于，步骤c的具体步骤如下：

为了提取丰富的内腔血管图像特征点，提高配准率，用如下公式：

PTAM特征集合U＝特征点集A∪特征点集Q

将步骤a提取的特征点集A和步骤b提取的特征点集Q合并为PTAM特征集合U。

Images