CN111968097B - 一种血管穿刺图像处理方法及血管穿刺机器人 - Google Patents

Abstract

本发明涉及一种血管穿刺图像处理方法及血管穿刺机器人，方法包括以下步骤：S1：获取可见光图像，利用图像识别与分割算法识别可穿刺区域；S2：获取近红外图像，基于可穿刺区域，利用图像识别与分割算法得到可穿刺血管；S3：获取超声图像，基于可穿刺血管，利用图像识别与分割算法确定穿刺角度。与现有技术相比，采用可见光‑近红外光‑超声渐进图像处理，对血管穿刺进行规划，可规避血管穿刺过程中的风险。

Description

一种血管穿刺图像处理方法及血管穿刺机器人

技术领域

本发明涉及血管穿刺领域，尤其是涉及一种血管穿刺图像处理方法及血管穿刺机器人。

背景技术

目前新兴的自动血管穿刺机器人技术试图通过全自动方法进行血管穿刺，然而由于血管穿刺规划较为粗糙，机器人穿刺的使用条件受到了较大限制，很难实现完全自动血管穿刺。

专利CN 109960285 A公开了一种血管穿刺机器人，用于提升血管穿刺成功率。但是该机器人的图像获取模块只使用了单模态图像识别传感器和距离传感器，不能精准识别血管的空间位置，更不能区分血管腔和血管壁，该方法下的血管穿刺具有极大风险。

目前自动化的存在血管穿刺定位以及穿刺角度不准确的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种血管穿刺图像处理方法及血管穿刺机器人。

本发明的目的可以通过以下技术方案来实现：

一种血管穿刺图像处理方法，该方法包括以下步骤：

S1：获取可见光图像，利用图像识别与分割算法识别可穿刺区域；

S2：获取近红外图像，基于可穿刺区域，利用图像识别与分割算法得到可穿刺血管；

S3：获取超声图像，基于可穿刺血管，利用图像识别与分割算法确定穿刺角度。

所述的S1包括：

S11：获取可见光图像，利用图像识别与分割算法区分待穿刺区域与背景，得到待穿刺区域分割图像；

S12：基于待穿刺区域分割图像，利用图像识别算法，得到待穿刺区域组织状态；

S13：基于待穿刺区域分割图像，利用图像识别算法，得到待穿刺区域硬质结构；

S14：基于待穿刺区域组织状态和待穿刺区域硬质结构，计算不可穿刺区域与待穿刺区域的面积比；

S15：根据不可穿刺区域与待穿刺区域的面积比和不可穿刺区域阈值得到可穿刺区域。

所述不可穿刺区域与待穿刺区域的面积比η₁的计算公式为：

其中，S₁为待穿刺区域硬质结构的面积，S₂为待穿刺区域中组织状态不符合穿刺的面积，S为待穿刺区域的面积。

所述的S15中，若不可穿刺区域与待穿刺区域的面积比小于不可穿刺区域阈值，待穿刺区域与不可穿刺区域的面积差即为可穿刺区域的面积；若不可穿刺区域与待穿刺区域的面积比大于等于不可穿刺区域阈值，需重新选择待穿刺区域。

所述的S2包括：

S21：获取近红外图像，利用图像识别算法，得到可穿刺区域中的血管分叉处；

S22：选择分叉血管处的上方血管进行粗直性识别，得到可穿刺血管。

得到可穿刺血管后，对可穿刺血管添加深度信息，通过深度信息得到血管-组织表面深度差，若血管-组织表面深度差小于深度差阈值，则该血管为突出血管，突出血管穿刺时进行血管固定。

所述血管-组织表面深度差Δh的计算公式为：

Δh＝h₁-h₂

其中，h₁为待穿刺区域组织表面的高度，h₂为可穿刺血管的高度。

所述的S3包括：

S31：获取超声图像，分割可穿刺血管的血管腔与血管壁；

S32：计算血管壁的厚度，得到穿刺角度。

血管壁的厚度小于厚度阈值时为薄血管壁，血管壁的厚度大于厚度阈值时为厚血管壁，薄血管壁的穿刺角度小于厚血管壁的穿刺角度。

一种实现所述血管穿刺图像处理方法的血管穿刺机器人，该机器人包括：

可见光模块，获取可见光图像，利用图像识别与分割算法识别可穿刺区域；

近红外模块，获取近红外图像，利用可穿刺区域和图像识别与分割算法得到可穿刺血管；

超声模块，获取超声图像，利用可穿刺血管和图像识别与分割算法确定穿刺角度。

与现有技术相比，本发明具有以下优点：

(1)采用可见光-近红外光-超声渐进识别，对血管穿刺进行规划，可规避血管穿刺过程中的可穿刺区域和可穿刺血管定位不准确的风险，同时对避免了穿刺角度错误的风险。

(2)S12中基于待穿刺区域分割图像，利用图像识别算法，得到待穿刺区域组织状态，考虑了待穿刺组织损伤，防止在全自动血管穿刺过程中穿刺机器人在损伤部位实施穿刺。

(3)S21中获取近红外图像，利用图像识别算法，得到可穿刺区域中的血管分叉处，考虑血管分叉，且穿刺时避开血管分叉，优先考虑血管分叉上方进行穿刺，可以有更好的穿刺效果。

(4)得到可穿刺血管后，对可穿刺血管添加深度信息，考虑血管深度对于穿刺的影响，如果血管突出，穿刺时对突出血管进行固定，避免穿刺过程中的风险。

(5)S32中考虑血管壁厚度对于穿刺的影响，如果血管壁较厚，要求穿刺时增大进针角度。

附图说明

图1为本发明的流程图；

图2为本发明的整体功能图；

图3为本发明的可见光图像处理图；

图4为本发明的近红外图像处理图；

图5为本发明的超声图像处理图；

图6为本发明的细分功能图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例提供一种血管穿刺图像处理方法，包括以下步骤：

步骤S1：获取可见光图像，利用图像识别与分割算法识别可穿刺区域，具体而言：

步骤S11：获取可见光图像，利用图像识别与分割算法区分待穿刺区域与背景，得到待穿刺区域分割图像；

步骤S12：基于待穿刺区域分割图像，利用图像识别算法，得到待穿刺区域组织状态；

步骤S13：基于待穿刺区域分割图像，利用图像识别算法，得到待穿刺区域硬质结构；

步骤S14：基于待穿刺区域组织状态和待穿刺区域硬质结构，计算不可穿刺区域与待穿刺区域的面积比；

步骤S15：根据不可穿刺区域与待穿刺区域的面积比和不可穿刺区域阈值得到可穿刺区域。

不可穿刺区域与待穿刺区域的面积比η₁的计算公式为：

其中，S₁为待穿刺区域硬质结构的面积，S₂为待穿刺区域中组织状态不符合穿刺的面积，S为待穿刺区域的面积。

步骤S15中，若不可穿刺区域与待穿刺区域的面积比小于不可穿刺区域阈值，待穿刺区域与不可穿刺区域的面积差即为可穿刺区域的面积；若不可穿刺区域与待穿刺区域的面积比大于等于不可穿刺区域阈值，需重新选择待穿刺区域。

步骤S2：获取近红外图像，基于可穿刺区域，利用图像识别与分割算法得到可穿刺血管。具体而言：

步骤S21：获取近红外图像，利用图像识别算法，得到可穿刺区域中的血管分叉处；

步骤S22：选择分叉血管处的分叉上方血管进行粗直性识别，得到可穿刺血管。

得到可穿刺血管后，对可穿刺血管添加深度信息，通过深度信息得到血管-组织表面深度差，若血管-组织表面深度差小于深度差阈值，则该血管为突出血管，突出血管穿刺时进行血管固定。

血管-组织表面深度差Δh的计算公式为：

Δh＝h₁-h₂

其中，h₁为待穿刺区域组织表面的高度，h₂为可穿刺血管的高度。

步骤S3：获取超声图像，基于可穿刺血管，利用图像识别与分割算法确定穿刺角度。具体而言：

步骤S31：获取超声图像，分割可穿刺血管的血管腔与血管壁；

步骤S32：计算血管壁的厚度，得到穿刺角度。

血管壁的厚度小于厚度阈值时为薄血管壁，血管壁的厚度大于厚度阈值时为厚血管壁，薄血管壁的穿刺角度小于厚血管壁的穿刺角度。

下述以前臂静脉血管穿刺为例：

图3的可见光图像处理

在步骤101中，可见光摄像机获取可见光图像或视频，利用图像识别与分割算法，对前臂的皮肤进行识别与分割，将皮肤与背景区分开，并输出皮肤分割图像以及皮肤预测面积S_skin，随后进入并列步骤102、103和104；

在步骤102中，利用图像识别算法，结合先验数据，区分前臂的尺侧和桡侧，并输出“尺侧”“桡侧”权值图，在后续穿刺过程中，以尺侧血管作为优先穿刺血管；

在步骤103中，利用图像识别与分割算法，识别前臂损伤区域(组织状态)，输出前臂损伤标签、前臂损伤分割图像以及前臂损伤预测面积S_wound，在后续穿刺过程中，避开损伤区域；

在步骤104中，利用图像识别与分割算法，识别前臂的关节部位(硬质结构)，例如肘、腕，输出关节标签、关节分割图像以及关节区域面积S_arthrosis，在后续穿刺过程中，避开关节部位区域；

在步骤105中，计算不可穿刺面积与皮肤面积之比：

然后对该比值做阈值判断，设不可穿刺面积比阈值η_1t，若：

η₁＞η_1t

则不可穿刺面积比过大，则建议更换部位穿刺，否则得到可穿刺区域，进入红外图像处理，进行下一步识别。

图4的近红外图像处理：

在步骤201中，近红外双目摄像机获取近红外图像或视频，利用图像识别与分割算法，对前臂中可穿刺区域的皮肤进行识别与分割，将前臂的皮肤与背景区分开，并输出左右视角各一组的“皮肤”标签和左右视角各一张的皮肤分割图像；

在步骤202中，利用图像识别算法，识别待穿刺区域的血管，并输出左右视角各一组的“直静脉”“静脉分叉”标签，随后进入步骤203和205；

在步骤203和204中，利用“静脉分叉”标签，生成“静脉分叉上方”位置权值标签，在后续穿刺过程中，静脉分叉上方的血管部位优先；

在步骤205中，利用图像分割算法，分别对步骤202识别出的标签内所有血管进行分割处理；

在步骤206中，将已经分割好的标签再做拼合，输出左右视角各一张血管分割图像，随后进入并列步骤207和208；

在步骤207中，对左右血管分割图像和皮肤分割图像进行立体匹配，输出皮肤立体数据和血管网立体数据随后进入并列步骤209和210；

在步骤208中，对对步骤202识别出的标签内血管作粗直性判断，输出血管粗直性标签，血管粗直性越好，穿刺越优先，得到可穿刺血管；

在步骤209和步骤210中，结合血管网立体数据以及皮肤立体数据，分别对“直血管”标签和“皮肤”标签添加深度信息；

在步骤211中，结合“直血管”标签和“皮肤”标签的深度信息，比较静脉和皮肤的深度关系，输出血管皮肤相对位置标签；

在步骤212中，结合血管皮肤相对位置标签(血管-皮肤深度差)，规定血管与皮肤深度差阈值Δh_t，若：

Δh＝h_skin-h_vein＜Δh_t

则意味着该段血管属于突出血管，需要额外的固定措施。

图5的超声图像处理：

在步骤301中，超声传感器获取图像或视频，利用图像识别与分割算法，分割可穿刺血管的血管壁，输出血管壁分割图像，随后进入步骤304；

在步骤302中，利用超声识别红细胞流动，得到血液流动区域以及方向，进而认为血液流动区域即为血管腔区域，输出血管腔分割图像；

在步骤303中，利用图像识别算法，识别静脉瓣，输出静脉瓣标签，随后进入步骤305；

在步骤304中，设置血管壁厚度阈值w_t，若：

w＜w_t

w为血管壁厚度，则认为该血管壁为“薄血管壁”，否则为厚血管壁，在后续的穿刺程序中，厚血管壁需要较大进针角度，薄血管壁需要较小进针角度，即得到穿刺角度；

在步骤305中，利用静脉瓣标签，判断是否有静脉瓣，若没有，则该步骤跳过，若有静脉瓣，则进入步骤306；

在步骤306中，对静脉瓣进行分割，并计算静脉瓣面积和位置，设置静脉瓣图像面积为S_valve，可穿刺血管面积为S_roi，二者之比为不可穿刺面积比η₂：

然后对该比值做阈值判断，设不可穿刺面积比阈值η_2t，若：

η₂＞η_2t

则不可穿刺面积比η₂过大，则建议更换部位穿刺，否则记录静脉瓣面积和位置，在穿刺过程中避开静脉瓣。

以上三种图像处理的细分功能见图6。

本实施例还提供一种血管穿刺机器人，该机器人包括可见光模块、近红外模块和超声模块：

可见光模块实现上述可见光图像处理，获取可见光图像，利用图像识别与分割算法识别可穿刺区域；

近红外模块实现上述近红外图像处理，获取近红外图像，利用可穿刺区域和图像识别与分割算法得到可穿刺血管；

超声模块，获取超声图像实现上述超声图像处理，利用可穿刺血管和图像识别与分割算法确定穿刺角度。

Claims (6)

1.一种血管穿刺图像处理方法，其特征在于，该方法包括以下步骤：

S1：获取可见光图像，利用图像识别与分割算法识别可穿刺区域；

S2：获取近红外图像，基于可穿刺区域，利用图像识别与分割算法得到可穿刺血管；

S3：获取超声图像，基于可穿刺血管，利用图像识别与分割算法确定穿刺角度；

所述的S1包括：

S11：获取可见光图像，利用图像识别与分割算法区分待穿刺区域与背景，得到待穿刺区域分割图像；

S12：基于待穿刺区域分割图像，利用图像识别算法，得到待穿刺区域组织状态；

S13：基于待穿刺区域分割图像，利用图像识别算法，得到待穿刺区域硬质结构；

S14：基于待穿刺区域组织状态和待穿刺区域硬质结构，计算不可穿刺区域与待穿刺区域的面积比；

S15：根据不可穿刺区域与待穿刺区域的面积比和不可穿刺区域阈值得到可穿刺区域；

所述的S2包括：

S21：获取近红外图像，利用图像识别算法，得到可穿刺区域中的血管分叉处；

S22：选择分叉血管处的分叉上方血管进行粗直性识别，得到可穿刺血管；

得到可穿刺血管后，对可穿刺血管添加深度信息，通过深度信息得到血管-组织表面深度差，若血管-组织表面深度差小于深度差阈值，则该血管为突出血管，突出血管穿刺时进行血管固定；

所述的S3包括：

S31：获取超声图像，分割可穿刺血管的血管腔与血管壁；

S32：计算血管壁的厚度，得到穿刺角度。

2.根据权利要求1所述的一种血管穿刺图像处理方法，其特征在于，所述不可穿刺区域与待穿刺区域的面积比η₁的计算公式为：

其中，S₁为待穿刺区域硬质结构的面积，S₂为待穿刺区域中组织状态不符合穿刺的面积，S为待穿刺区域的面积。

3.根据权利要求1所述的一种血管穿刺图像处理方法，其特征在于，所述的S15中，若不可穿刺区域与待穿刺区域的面积比小于不可穿刺区域阈值，待穿刺区域与不可穿刺区域的面积差即为可穿刺区域的面积；若不可穿刺区域与待穿刺区域的面积比大于等于不可穿刺区域阈值，需重新选择待穿刺区域。

4.根据权利要求1所述的一种血管穿刺图像处理方法，其特征在于，所述血管-组织表面深度差Δh的计算公式为：

Δh＝h₁-h₂

其中，h₁为待穿刺区域组织表面的高度，h₂为可穿刺血管的高度。

5.根据权利要求1所述的一种血管穿刺图像处理方法，其特征在于，血管壁的厚度小于厚度阈值时为薄血管壁，血管壁的厚度大于厚度阈值时为厚血管壁，薄血管壁的穿刺角度小于厚血管壁的穿刺角度。

6.一种实现权利要求1-5任一所述血管穿刺图像处理方法的血管穿刺机器人，其特征在于，该机器人包括：

可见光模块，获取可见光图像，利用图像识别与分割算法识别可穿刺区域；

近红外模块，获取近红外图像，利用可穿刺区域和图像识别与分割算法得到可穿刺血管；

超声模块，获取超声图像，利用可穿刺血管和图像识别与分割算法确定穿刺角度。