CN118078402A - 一种基于图像分割模型构建的留置针的智能化穿刺系统 - Google Patents

Abstract

本发明公开了一种基于图像分割模型构建的留置针的智能化穿刺系统，涉及留置针智能穿刺系统技术领域，包括红外摄像模块、血管标记模块、血管识别模块、血管定位模块、高清摄像模块、自动穿刺模块；该基于图像分割模型构建的留置针的智能化穿刺系统，通过设置红外摄像模块、血管标记模块、血管识别模块、血管定位模块、高清摄像模块、自动穿刺模块，实现对需要穿刺的人体目标部位及其内部的血管进行建模，从而可获取血管的深度、走向，方便穿刺时根据得到的血管的深度、走向进行穿刺，使得留置针的自动穿刺时可根据个体化差异自适应调整，保证留置针穿刺的精度。

Description

一种基于图像分割模型构建的留置针的智能化穿刺系统

技术领域

本发明涉及留置针智能穿刺系统技术领域，具体涉及一种基于图像分割模型构建的留置针的智能化穿刺系统。

背景技术

留置针的使用能减少患者因反复静脉穿刺而造成的痛苦及对打针的恐惧感，减轻家长的焦躁情绪，便于临床用药，急、危重患者的抢救用药，减轻护士的工作量，减少患者疼痛，因而静脉留置针在临床广泛应用。

公开号为CN114948119A的现有技术，公开了一种用于留置针的智能化穿刺系统，包括限位模块、血管定位模块、控制模块和光照模块；限位模块对患者手臂进行留置针穿刺进行体位限定，并在完成体位限定后向控制模块发送定位信号；光照模块根据控制模块的启动信号照射待穿刺区域；血管定位模块根据控制模块的启动信号对待穿刺区域中的血管位置信息进行探测；控制模块根据从限位模块获取的定位信号向光照模块和血管定位模块发送启动信号，控制模块根据获取的血管位置信息判断血管位置的准确性概率，控制模块在准确性概率大于阈值时判断进行留置针穿刺，提高了留置针穿刺时血管位置确定的准确性。

然而由于不同患者的血管深度、直径、形状和长度等存在个体差异，所以对应不同患者进行穿刺时所需要的穿刺的距离、深度等参数也就不同，上述现有技术还存在缺乏针对个体差异的穿刺优化，使得穿刺精度较低的问题。

发明内容

本发明的目的是提供一种基于图像分割模型构建的留置针的智能化穿刺系统，以解决现有技术中的上述不足之处。

为了实现上述目的，本发明提供如下技术方案：一种基于图像分割模型构建的留置针的智能化穿刺系统，包括红外摄像模块、血管标记模块、血管识别模块、血管定位模块、高清摄像模块、自动穿刺模块；

所述红外摄像模块用于对留置针穿刺的人体目标部位进行红外拍摄，得到人体目标部位的红外成像图像，所述红外摄像模块的红外拍摄方向垂直于人体目标部位的血管分布方向；

所述红外摄像模块有两个，两个所述红外摄像模块从人体目标部位的不同侧对其进行红外拍摄；

所述血管标记模块用于基于图像标注工具对所述红外成像图像中的血管进行标注，得到血管标注图像；通过人体不同组织对红外光的吸收率的不同，如皮肤能让大部分红外光透过去，脂肪会散射红外光，而血液能吸收红外光，从而可分析出血管的位置；其中图像标注工具可为Labelme软件；

所述血管识别模块用于基于红外成像图像及其对应的血管标注图像，训练深度学习模型，得到血管识别模型，用于基于输入的红外成像图像，输出对应的血管标注图像和血管图像，在进行训练时，选择并确定深度学习模型，即选择合适的深度学习模型，使得基于该模型训练出的血管识别模型的准确率较高，本申请并不限制具体深度学习模型，如实例分割模型、语义分割模型、全景分割模型等；将红外成像图像及其对应的血管图像组成的样本集均分为训练集和测试集；利用训练集训练所述深度学习模型，得到深度学习模型的各项参数；利用测试集测试训练后的深度学习模型的准确率；若测试集测试出的准确率满足设置准确率，则确定参数得到血管识别模型，否则，调整参数重新测试，直至测试出的准确率满足设置准确率；

所述血管定位模块用于基于两个红外摄像模块的红外成像图像，及其对应的血管标注图像和血管图像，基于第一双目视觉算法得到人体目标部位及其内部血管的尺寸、位置信息，建立血管模型和包含血管模型的人体部位模型；

所述血管定位模块还用于基于人体目标部位及其内部血管的尺寸、位置信息和包含血管模型的人体部位模型建立三维坐标系，得到血管三维定位信息；

所述高清摄像模块有两个，用于拍摄人体目标部位、血管定位模块和留置针；

所述自动穿刺模块用于安装留置针，并基于血管三维定位信息的三维坐标系和第二双目视觉算法，得到血管定位模块三维定位信息和留置针三维定位信息，再基于血管三维定位信息、血管定位模块三维定位信息和留置针三维定位信息，带动留置针穿刺到血管设置位置。

进一步的，两个所述红外摄像模块的拍摄方向的夹角为直角，其中一个红外摄像模块位于人体目标部位的正上方，另一个红外摄像模块位于人体目标部位的正左侧或正右侧。

进一步的，所述血管定位模块建立血管模型，具体包括以下步骤：

获取两个红外摄像模块的红外成像图像：红外成像图像一、红外成像图像二；

分别将红外成像图像一、红外成像图像二，输入血管识别模型，得到对应的血管标注图像一、血管图像一、血管标注图像二、血管图像二；

基于血管图像一和血管图像二得到血管两个方向的视图，并以圆形为血管的截面视图，通过得到的血管两个方向的视图和截面视图，得到血管模型。

进一步的，所述血管定位模块建立包含血管模型的人体部位模型，具体包括以下步骤：

获取人体目标部位的标准三维模型；

基于血管图像一在血管标注图像一中的位置，血管图像二在血管标注图像二中的位置，血管的截面视图在人体目标部位的标准三维模型的截面视图中的位置，得到血管在人体目标部位中的相对位置；

基于血管在人体目标部位中的相对位置，将血管模型组合到人体目标部位的标准三维模型中，得到包含血管模型的人体部位模型。

进一步的，所述血管定位模块还用于确定人体部位模型的边缘各点的坐标，具体包括以下步骤：

获取两个红外摄像模块的距离，建立三维坐标系，所述三维坐标系的xoy面与一个红外摄像模块的拍摄方向垂直，所述三维坐标系的yoz面与另一个红外摄像模块的拍摄方向垂直，其中x、y、z分别为三维坐标系的三个坐标轴，o为三维坐标系的原点；

确定两个红外摄像模块在所述三维坐标系中的坐标，基于第一双目视觉算法计算得到人体目标部位边缘各点的坐标，并代入人体部位模型中，得到人体部位模型的边缘各点的坐标，本发明的第一双目视觉算法针对两个红外摄像模块进行相机标定。

进一步的，所述血管定位模块得到血管三维定位信息，即确定了血管在人体目标部位的深度、走向，包括以下步骤；

基于血管的截面视图在人体目标部位的标准三维模型的截面视图中的位置，即血管相对人体目标部位的位置，和人体目标部位边缘各点的坐标，计算得到血管边缘各点的坐标；

将血管边缘各点的坐标代入血管模型，得到血管模型边缘各点的坐标；

将血管模型边缘各点围起来的坐标作为血管三维定位信息。

进一步的，所述自动穿刺模块带动留置针穿刺到血管设置位置，具体包括以下步骤：

获取两个高清摄像模块在所述三维坐标系中的坐标；

基于第二双目视觉算法计算得到血管定位模块边缘各点的坐标和留置针边缘各点的坐标，本发明的第二双目视觉算法针对两个高清摄像模块进行相机标定；

设置刺入坐标，和留置针的针尖及针管上任意一点的目标坐标；

控制自动穿刺模块带动留置针以设置轨迹，先后使针尖及针管上任意一点从所述刺入坐标刺入人体目标部位，并最终使针尖及针管上任意一点停止在对应的目标坐标。

与现有技术相比，本发明提供的一种基于图像分割模型构建的留置针的智能化穿刺系统，通过设置红外摄像模块、血管标记模块、血管识别模块、血管定位模块、高清摄像模块、自动穿刺模块，实现对需要穿刺的人体目标部位及其内部的血管进行建模，从而可获取血管的深度、走向，方便穿刺时根据得到的血管的深度、走向进行穿刺，使得留置针的自动穿刺时可根据个体化差异自适应调整，保证留置针穿刺的精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的系统结构框图；

图2为本发明实施例提供的红外摄像模块拍摄人体目标部位示意图。

图3为本发明实施例提供的红外摄像模块双目测距计算示意图。

附图标记说明：

1、红外摄像模块；2、人体目标部位；3、血管。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

请参阅图1-图2，一种基于图像分割模型构建的留置针的智能化穿刺系统，包括红外摄像模块1、血管标记模块、血管识别模块、血管定位模块、高清摄像模块、自动穿刺模块；

红外摄像模块1用于对留置针穿刺的人体目标部位2进行红外拍摄，得到人体目标部位2的红外成像图像，红外摄像模块1的红外拍摄方向垂直于人体目标部位2的血管3分布方向；

红外摄像模块1有两个，两个红外摄像模块1从人体目标部位2的不同侧对其进行红外拍摄；两个红外摄像模块1的拍摄方向的夹角为直角，其中一个红外摄像模块1位于人体目标部位2的正上方，另一个红外摄像模块1位于人体目标部位2的正左侧或正右侧。

血管标记模块用于基于图像标注工具对红外成像图像中的血管3进行标注，得到血管标注图像；通过人体不同组织对红外光的吸收率的不同，如皮肤能让大部分红外光透过去，脂肪会散射红外光，而血液能吸收红外光，从而可分析出血管3的位置；其中图像标注工具可为Labelme软件；

血管识别模块用于基于红外成像图像及其对应的血管标注图像，训练深度学习模型，得到血管识别模型，用于基于输入的红外成像图像，输出对应的血管标注图像和血管图像，在进行训练时，选择并确定深度学习模型，即选择合适的深度学习模型，使得基于该模型训练出的血管识别模型的准确率较高，本申请并不限制具体深度学习模型，如实例分割模型、语义分割模型、全景分割模型等；将红外成像图像及其对应的血管图像组成的样本集均分为训练集和测试集；利用训练集训练深度学习模型，得到深度学习模型的各项参数；利用测试集测试训练后的深度学习模型的准确率；若测试集测试出的准确率满足设置准确率，则确定参数得到血管识别模型，否则，调整参数重新测试，直至测试出的准确率满足设置准确率；

血管定位模块用于基于两个红外摄像模块1的红外成像图像，及其对应的血管标注图像和血管图像，基于第一双目视觉算法得到人体目标部位2及其内部血管3的尺寸、位置信息，建立血管模型和包含血管模型的人体部位模型；血管定位模块还用于基于人体目标部位2及其内部血管3的尺寸、位置信息和包含血管模型的人体部位模型建立三维坐标系，得到血管三维定位信息；

其中，建立血管模型，具体包括以下步骤：

A1、获取两个红外摄像模块1的红外成像图像：红外成像图像一、红外成像图像二；

A2、分别将红外成像图像一、红外成像图像二，输入血管识别模型，得到对应的血管标注图像一、血管图像一、血管标注图像二、血管图像二；

A3、基于血管图像一和血管图像二得到血管3两个方向的视图，并以圆形为血管3的截面视图，通过得到的血管3两个方向的视图和截面视图，得到血管模型。

建立包含血管模型的人体部位模型，具体包括以下步骤：

B1、获取人体目标部位2的标准三维模型，人体目标部位2的标准三维模型可由人工建模后导入，例如手臂的三维模型；

B2、基于血管图像一在血管标注图像一中的位置，血管图像二在血管标注图像二中的位置，血管3的截面视图在人体目标部位2三维模型的截面视图中的位置，得到血管3在人体目标部位2中的相对位置；

B3、基于血管3在人体目标部位2中的相对位置，将血管模型组合到人体目标部位2的标准三维模型中，得到包含血管模型的人体部位模型。

通过血管定位模块确定人体部位模型的边缘各点的坐标，具体包括以下步骤：

获取两个红外摄像模块1的距离，建立三维坐标系，三维坐标系的xoy面与一个红外摄像模块1的拍摄方向垂直，三维坐标系的yoz面与另一个红外摄像模块1的拍摄方向垂直，其中x、y、z分别为三维坐标系的三个坐标轴，o为三维坐标系的原点；

确定两个红外摄像模块1在三维坐标系中的坐标，基于第一双目视觉算法计算得到人体目标部位2边缘各点的坐标，并代入人体部位模型中，得到人体部位模型的边缘各点的坐标，本发明的第一双目视觉算法针对两个红外摄像模块1进行相机标定；具体包括以下步骤：

将两个红外摄像模块1拍摄的红外成像图像，消除畸变后在水平方向上严格对齐，使得两个红外摄像模块1的红外成像图像的对极线都恰好在同一水平线上，即一幅红外成像图像上任意一点与其在另一幅红外成像图像上的匹配点就必然具有相同的行号，在相同的行号进行一维搜索就可匹配到对应点，通过以下公式实现：

；

得到：

；

；

其中，b为双目相机的基线，即两个红外摄像模块1的光圈中心的连线，z为两个红外摄像模块1拍摄同一个目标P时，同一个目标P到双目相机的基线b的垂线距离，f为焦距，P_L、P_R为成像平面坐标，u_L为O_L到P_L横坐标距离，u_R为P_R到O_R横坐标距离，O_L、O_R分别为两个红外摄像模块1的光圈中心，d为两个红外摄像模块1在x轴上时的距离，具体可参考图3。再对双目相机进行标定：

a、准备一张棋盘格，粘贴于墙面，并用直尺测量黑白方格的真实物理长度。

b、调用两个红外摄像模块1，分别从不同角度拍摄得到一系列棋盘格图像。

c、利用左目图片数据集，进行左目相机即左边的红外摄像模块1标定，得到左目内参矩阵K1、左目畸变系数向量D1。

d、利用右目图片数据集，进行右目相机即右边的红外摄像模块1标定，得到右目内参矩阵K2、右目畸变系数向量D2。

e、将左目内参矩阵K1、右目内参矩阵K2、左目畸变系数向量D1、右目畸变系数向量D2作为输入，再同时利用左右目一一对应好的棋盘格图片，调用stereoCalibrate函数，输出左右目的旋转矩阵R、平移向量T。

f、基于测量得到的左目内参矩阵K1、右目内参矩阵K2、左目畸变系数向量D1、右目畸变系数向量D2、左右目的旋转矩阵R、平移向量T，进行双目视觉的图像校正。

血管定位模块得到血管三维定位信息，即确定了血管3在人体目标部位2的深度、走向，包括以下步骤；

基于血管3的截面视图在人体目标部位2三维模型的截面视图中的位置，即血管3相对人体目标部位2的位置，和人体目标部位2边缘各点的坐标，计算得到血管3边缘各点的坐标；

将血管3边缘各点的坐标代入血管模型，得到血管模型边缘各点的坐标；

将血管模型边缘各点围起来的坐标作为血管三维定位信息。

通过建立血管模型和包含血管模型的人体部位模型，可实现通过血管模型在人体部位模型中的位置，来表示实际患者的血管在人体部位模型对应的人体目标部位中的位置，即可计算出穿刺留置针时需要穿刺的位置和深度。

高清摄像模块有两个，用于拍摄人体目标部位2、血管定位模块和留置针；

自动穿刺模块用于安装留置针，并基于血管三维定位信息的三维坐标系和第二双目视觉算法，得到血管定位模块三维定位信息和留置针三维定位信息，再基于血管三维定位信息、血管定位模块三维定位信息和留置针三维定位信息，带动留置针穿刺到血管3设置位置，具体包括以下步骤：

获取两个高清摄像模块在三维坐标系中的坐标；

基于第二双目视觉算法计算得到血管定位模块边缘各点的坐标和留置针边缘各点的坐标，本发明的第二双目视觉算法针对两个高清摄像模块进行相机标定；

设置刺入坐标，和留置针的针尖及针管上任意一点的目标坐标；

控制自动穿刺模块带动留置针以设置轨迹，先后使针尖及针管上任意一点从刺入坐标刺入人体目标部位2，并最终使针尖及针管上任意一点停止在对应的目标坐标。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (7)

1.一种基于图像分割模型构建的留置针的智能化穿刺系统，其特征在于：包括红外摄像模块、血管标记模块、血管识别模块、血管定位模块、高清摄像模块、自动穿刺模块；

所述红外摄像模块用于对留置针穿刺的人体目标部位进行红外拍摄，得到人体目标部位的红外成像图像，所述红外摄像模块的红外拍摄方向垂直于人体目标部位的血管分布方向；

所述红外摄像模块有两个，两个所述红外摄像模块从人体目标部位的不同侧对其进行红外拍摄；

所述血管标记模块用于基于图像标注工具对所述红外成像图像中的血管进行标注，得到血管标注图像；

所述血管识别模块用于基于红外成像图像及其对应的血管标注图像，训练深度学习模型，得到血管识别模型，用于基于输入的红外成像图像，输出对应的血管标注图像和血管图像；

所述血管定位模块用于基于两个红外摄像模块的红外成像图像，及其对应的血管标注图像和血管图像，基于第一双目视觉算法得到人体目标部位及其内部血管的尺寸、位置信息，建立血管模型和包含血管模型的人体部位模型；

所述血管定位模块还用于基于人体目标部位及其内部血管的尺寸、位置信息和包含血管模型的人体部位模型建立三维坐标系，得到血管三维定位信息；

所述高清摄像模块有两个，用于拍摄人体目标部位、血管定位模块和留置针；

所述自动穿刺模块用于安装留置针，并基于血管三维定位信息的三维坐标系和第二双目视觉算法，得到血管定位模块三维定位信息和留置针三维定位信息，再基于血管三维定位信息、血管定位模块三维定位信息和留置针三维定位信息，带动留置针穿刺到血管设置位置。

2.根据权利要求1所述的一种基于图像分割模型构建的留置针的智能化穿刺系统，其特征在于：两个所述红外摄像模块的拍摄方向的夹角为直角。

3.根据权利要求2所述的一种基于图像分割模型构建的留置针的智能化穿刺系统，其特征在于：所述血管定位模块建立血管模型，具体包括以下步骤：

获取两个红外摄像模块的红外成像图像：红外成像图像一、红外成像图像二；

分别将红外成像图像一、红外成像图像二，输入血管识别模型，得到对应的血管标注图像一、血管图像一、血管标注图像二、血管图像二；

基于血管图像一和血管图像二得到血管两个方向的视图，并以圆形为血管的截面视图，通过得到的血管两个方向的视图和截面视图，得到血管模型。

4.根据权利要求3所述的一种基于图像分割模型构建的留置针的智能化穿刺系统，其特征在于：所述血管定位模块建立包含血管模型的人体部位模型，具体包括以下步骤：

获取人体目标部位的标准三维模型；

基于血管图像一在血管标注图像一中的位置，血管图像二在血管标注图像二中的位置，血管的截面视图在人体目标部位的标准三维模型的截面视图中的位置，得到血管在人体目标部位中的相对位置；

基于血管在人体目标部位中的相对位置，将血管模型组合到人体目标部位的标准三维模型中，得到包含血管模型的人体部位模型。

5.根据权利要求4所述的一种基于图像分割模型构建的留置针的智能化穿刺系统，其特征在于：所述血管定位模块还用于确定人体部位模型的边缘各点的坐标，具体包括以下步骤：

获取两个红外摄像模块的距离，建立三维坐标系；

确定两个红外摄像模块在所述三维坐标系中的坐标，基于第一双目视觉算法计算得到人体目标部位边缘各点的坐标，并代入人体部位模型中，得到人体部位模型的边缘各点的坐标。

6.根据权利要求5所述的一种基于图像分割模型构建的留置针的智能化穿刺系统，其特征在于：所述血管定位模块得到血管三维定位信息，包括以下步骤；

基于血管的截面视图在人体目标部位的标准三维模型的截面视图中的位置，和人体目标部位边缘各点的坐标，计算得到血管边缘各点的坐标；

将血管边缘各点的坐标代入血管模型，得到血管模型边缘各点的坐标；

将血管模型边缘各点围起来的坐标作为血管三维定位信息。

7.根据权利要求6所述的一种基于图像分割模型构建的留置针的智能化穿刺系统，其特征在于：所述自动穿刺模块带动留置针穿刺到血管设置位置，具体包括以下步骤：

获取两个高清摄像模块在所述三维坐标系中的坐标；

基于第二双目视觉算法计算得到血管定位模块边缘各点的坐标和留置针边缘各点的坐标；

设置刺入坐标，和留置针的针尖及针管上任意一点的目标坐标；

控制自动穿刺模块带动留置针以设置轨迹，先后使针尖及针管上任意一点从所述刺入坐标刺入人体目标部位，并最终使针尖及针管上任意一点停止在对应的目标坐标。