CN112220532B - 一种静脉分叉避让方法及静脉穿刺机器人 - Google Patents

Abstract

本发明涉及一种静脉分叉避让方法及静脉穿刺机器人，方法包括：S1：获取静脉图像；S2：通过深度强化学习得到静脉图像中静脉分叉位置；S3：判断作用点是否位于静脉分叉的影响范围内，若是，更换作用点位置，若否，完成静脉分叉避让；静脉穿刺机器人，包括静脉分叉避让模块，静脉分叉避让模块执行静脉分叉避让方法。与现有技术相比，静脉分叉检测和避让结果更加准确。

Description

一种静脉分叉避让方法及静脉穿刺机器人

技术领域

本发明涉及图像识别领域，尤其是涉及一种静脉分叉避让方法及静脉穿刺机器人。

背景技术

在静脉分叉处扎针容易导致扎穿血管等问题，故此一般的静脉穿刺操作需要避开这一结构。

专利CN210095745U公开了一种自动扎针装置，包括：支架、至少一个加压装置、扫描装置、夹持模块、自动出针装置、控制驱动模块和人机交互模块。该装置在使用过程中需要人工选定穿刺位置，没有实现自动化，也不存在对静脉分叉的自主识别与主动穿刺规避。

专利CN111096796A提出了一种全自动静脉穿刺机器人多层控制系统，包括：两台近红外相机及上位机组成的感知决策层，多轴运动控制卡、驱动器、编码器及直流伺服电机构成的控制层，机器人末端执行器构成的执行层。其中感知决策层中的上位机对双目红外相机图像进行处理，获得待穿刺手臂的血管深度以及血管点云图，并以此提取血管中心线，进行最终穿刺决策。该系统在穿刺决策时没有考虑到静脉分叉结构，系统有可能在选择最佳穿刺位置时，选择在了静脉分叉附近，导致穿刺失败风险增加。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种静脉分叉避让方法及静脉穿刺机器人。

本发明的目的可以通过以下技术方案来实现：

一种静脉分叉避让方法，该方法包括：

S1：获取静脉图像；

S2：通过深度强化学习得到静脉图像中静脉分叉位置；

S3：判断作用点是否位于静脉分叉的影响范围内，若是，更换作用点位置，若否，完成静脉分叉避让。

所述的静脉图像为可见光图像或红外线图像。

所述的可见光图像通过摄像机获取，所述红外线图像通过红外摄像机获取。

所述深度强化学习表达为：

Q^new(S_t,A_t)←Q^old(S_t,A_t)+α·[Q^target(S_t,A_t)-Q^old(S_t,A_t)]

Q^target(S_t,A_t)＝R_t+1+γ·Q_max(S_t+1,A)

其中，Q为静脉的状态-动作值函数，α为学习率，γ为衰减因子，S_t为当前状态，即当前搜索位置周围的一定大小的正方形范围，A_t为根据行为策略选择的动作，A为贪婪策略选择的Q取值最大的动作，所谓动作是指当前状态沿图像坐标的移动，移动方向包含图像坐标x轴正、负方向和y轴正、负方向，R_t+1为执行动作A_t后得到的奖励，奖励的大小参照当前位置范围与静脉分叉位置的差异决定，S_t+1为执行A后的状态。

所述的深度强化学习采用深度Q网络对强化学习的状态-动作值函数作近似。

所述采用深度Q网络对强化学习的状态-动作值函数作近似的过程为：

首先，利用随机值θ初始化当前状态-动作值函数Q，并利用θ^-＝θ初始化目标值函数。DQN(Deep Q-Network，深度Q网络)的误差函数为：

其中，s′,a′为下一个状态和下一个动作，Q(s′,a′；θ^-)为目标值函数，Q(s,a；θ)为当前值函数，E为期望值，r为执行动作a后得到的奖励。

结合上述DQN误差函数及梯度下降法，状态-动作值函数的参数更新的离散形式如下：

其中，θ_t为第t时间步的θ取值，θ_t+1为第t+1时间步的θ取值。此外，在参数θ更新过程中，每隔N时间步拷贝参数θ至θ^-。

所述的作用点为静脉穿刺的针头刺入点。

所述静脉分叉的影响范围为圆形，由针头的长度决定。

所述影响范围的半径r的计算公式为：

r＝l_针头

其中，l_针头表示针头的长度。

一种静脉穿刺机器人，包括静脉分叉避让模块，所述静脉分叉避让模块执行所述的静脉分叉避让方法。

与现有技术相比，本发明具有以下优点：

采用深度强化学习进行静脉分叉检测，将深度学习引入到强化学习中，构建了从感知到决策的端到端结构，有效解析图像数据信息，进而进行特定场景下的静脉分叉避让，提升认知与决策能力，速度更快，鲁棒性更好，静脉分叉检测和避让结果更加准确。

附图说明

图1为本发明的整体流程图；

图2为本发明实施例流程图；

图3为本发明的深度强化学习原理图；

图4为本发明的深度强化学习状态转移图；

图5为本发明的深度强化学习优化过程图；

图6为本发明的影响范围示意图；

图7为本发明的静脉穿刺机器人示意图；

附图标记：

1为摄像机；2为手臂支撑单元；3为静脉分叉避让模块；4为静脉穿刺执行单元。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例提供一种静脉分叉避让方法，该方法包括：

步骤S1：获取静脉图像，静脉图像为可见光图像或红外线图像，可见光图像通过摄像机获取，红外线图像通过红外摄像机获取。

步骤S2：通过深度强化学习得到静脉图像中静脉分叉位置，深度强化学习表达为：

Q^new(S_t,A_t)←Q^old(S_t,A_t)+α·[Q^target(S_t,A_t)-Q^old(S_t,A_t)]

Q^target(S_t,A_t)＝R_t+1+γ·Q_max(S_t+1,A)

其中，Q为静脉的状态-动作值函数，α为学习率，γ为衰减因子，S_t为当前状态，A_t为根据行为策略选择的动作，A为贪婪策略选择的Q取值最大的动作，R_t+1为执行动作A_t后得到的奖励，奖励的大小参照当前位置范围与静脉分叉位置的差异决定，S_t+1为执行A后的状态，new代表下一个，old代表当前，target代表目标；

深度强化学习采用深度Q网络对强化学习的状态-动作值函数作近似，采用深度Q网络对强化学习的状态-动作值函数作近似的过程包括：

初始化记忆单元；利用随机值θ初始化当前状态-动作值函数Q，并利用θ^-＝θ初始化目标值函数，深度Q网络的误差函数为：

其中，s′,a′为下一个状态和下一个动作，Q(s′,a′；θ^-)为目标值函数，Q(s,a；θ)为当前值函数，E为期望值。

基于上述深度Q网络的误差函数及梯度下降法，状态-动作值函数参数θ更新的离散形式如下：

其中，θ_t为第t时间步的θ取值，θ_t+1为第t+1时间步的θ取值，在θ更新过程中，每隔N时间步拷贝θ至θ^-。

步骤S3：判断作用点是否位于静脉分叉的影响范围内，若是，更换作用点位置，若否，完成静脉分叉避让，作用点为静脉穿刺的针头刺入点，静脉分叉的影响范围为圆形，由针头的长度决定，影响范围的半径r的计算公式为：

r＝l_针头

其中，l_针头表示针头的长度。

下面以手臂的静脉穿刺为例进行说明，静脉穿刺之前需要进行静脉分叉避让，静脉分叉避让方法包括以下步骤：

步骤101：针头规格获取。针头规格有相关的标准和使用场合，通常不同年龄段人群使用的针头规格不一，因此在确定待穿刺者基本信息后，将获取与其年龄匹配的针头规格信息用于后续静脉分叉影响范围确定。信息获取完毕后，进入并列步骤102和103。

步骤102：摄像机开启。摄像机位于手臂上方或斜上方，摄像机可以是可见光摄像机或近红外光摄像机。

步骤103：当手臂放置到指定位置并被摄相机捕捉，静脉分叉避让算法才被激活。

步骤201：对摄像机捕获的图像进行分析。

步骤202：对穿刺位置做出初始决策，进入静脉分叉识别部分。

步骤301：识别程序开启。该步骤主要识别摄像机获取的患者手臂图像中有无静脉分叉以及静脉分叉位置。检测程序以带有经验记忆的深度强化学习(Deep Q-learning,DQL)为基本方法，其基本原理如图3。在本实施例中，深度强化学习的状态、动作、及奖励的定义如图4，状态S_t为图像当前位置坐标周围一定大小的正方形范围；动作为当前位置坐标连同状态范围沿图像坐标的移动，即图像坐标x轴正、负方向，y轴正、负方向，奖励由当前位置的状态与目标位置状态的差异决定。DQL的基本公式如下：

深度强化学习的公式为：

Q^new(S_t,A_t)←Q^old(S_t,A_t)+α·[Q^target(S_t,A_t)-Q^old(S_t,A_t)]

Q^target(S_t,A_t)＝R_t+1+γ·Q_max(S_t+1,A)

其中，Q为静脉的状态-动作值函数，α为学习率，γ为衰减因子，S_t为当前状态，A_t为根据行为策略选择的动作，A为贪婪策略选择的Q取值最大的动作，R_t+1为执行动作A_t后得到的奖励，奖励的大小参照当前位置范围与静脉分叉位置的差异决定，S_t+1为执行A后的状态，new代表下一个，old代表当前，target代表目标。

图像处理具有状态复杂的特点，而深度神经网络在复杂、连续、非线性问题上具有较大优势，因此采用深度Q网络(Deep Q-Network,DQN)对强化学习的值函数状态-动作值函数进行近似，DQN包含预设初始值并待学习的参数集θ，因而DQN的目标值函数也可以表示为非线性参数函数Q(s,a；θ^-)的形式。在DQN训练过程中通过优化参数θ^-来达到近似的效果，采用深度Q网络对强化学习的状态-动作值函数作近似的过程包括：

初始化记忆单元；利用随机值θ初始化当前状态-动作值函数Q，并利用θ^-＝θ初始化目标值函数，深度Q网络的误差函数为：

其中，s′,a′为下一个状态和下一个动作，Q(s′,a′；θ^-)为目标值函数，Q(s,a；θ)为当前值函数，E为期望值。

基于上述深度Q网络的误差函数及梯度下降法，状态-动作值函数参数θ更新的离散形式如下：

其中，θ_t为第t时间步的θ取值，θ_t+1为第t+1时间步的θ取值，在θ更新过程中，每隔N时间步拷贝θ至θ^-。其优化过程原理如图5。DQN采取了经验回收机制，将已训练过的数据存储至记忆单元中，并在后期随机采样进行训练，以减小连续样本的相关性，更好地逼近目标值网络。

步骤302：穿刺是否受静脉分叉的影响。静脉分叉影响范围示意图见图6，其影响范围的半径r可以由穿刺针头的长度l_针头确定，即r＝l_针头，在该范围外执行穿刺可以确保针头置入后不会因静脉分叉而出现穿刺失败。当图像中检测出静脉分叉，且穿刺位置在静脉分叉影响范围内，如图6穿刺位置b，则穿刺可能因静脉分叉的存在而失败，此时，应进入步骤401。当图像中检测出静脉分叉而穿刺位置不在静脉分叉影响范围内，如图6穿刺位置a，或是图像中未检出静脉分叉，则穿刺不会受到静脉分叉的影响，进入步骤403。

步骤401：启动穿刺避让。当穿刺位置受到静脉分叉影响而可能失败时，机器人更换穿刺部位，保证穿刺成功率。

步骤402：判断初始穿刺位置远心侧是否适合穿刺。若远心侧静脉粗细、直线度适合穿刺且不受静脉分叉影响，则将初始位置远心侧静脉分叉影响范围外合适位置设为穿刺最终位置，进入步骤403；若远心侧静脉粗细、直线度不适合穿刺或受其他静脉分叉影响，则重新进行穿刺位置决策，进入步骤301。

本实施例还提供一种静脉穿刺机器人，包括静脉分叉避让模块，静脉分叉避让模块执行静脉分叉避让方法。静脉穿刺机器人的硬件设备如图7所示，包括摄像机1、手臂支撑单元2，静脉分叉避让模块3和静脉穿刺执行单元4，当静脉分叉避让方法执行结束后，静脉穿刺执行单元4执行穿刺。

Claims (6)

1.一种静脉穿刺机器人，其特征在于，包括静脉分叉避让模块，所述静脉分叉避让模块执行以下步骤：

S1：获取静脉图像；

S2：通过深度强化学习得到静脉图像中静脉分叉位置；

所述深度强化学习表达为：

Q^new(S_t，A_t)←Q^old(S_t，A_t)+α·[Q^target(S_t，A_t)-Q^old(S_t，A_t)]

Q^target(S_t，A_t)＝R_t+1+γ·Q_max(S_t+1，A)

其中，Q为静脉的状态-动作值函数，α为学习率，γ为衰减因子，S_t为当前状态，A_t为根据行为策略选择的动作，A为贪婪策略选择的Q取值最大的动作，R_t+1为执行动作At后得到的奖励，奖励的大小参照当前位置范围与静脉分叉位置的差异决定，S_t+1为执行A后的状态，new代表下一个，old代表当前，target代表目标；

所述的深度强化学习采用深度Q网络对强化学习的状态-动作值函数作近似；

所述采用深度Q网络对强化学习的状态-动作值函数作近似的过程包括：

初始化记忆单元；利用随机值θ初始化当前状态-动作值函数Q，并利用θ^-＝θ初始化目标值函数，深度Q网络的误差函数为：

其中，s′，a′为下一个状态和下一个动作，Q(s′，a′；θ^-)为目标值函数，Q(s，a；θ)为当前值函数，E为期望值，r为执行动作a后得到的奖励；

基于上述深度Q网络的误差函数及梯度下降法，状态-动作值函数参数θ更新的离散形式如下：

其中，θ_t为第t时间步的θ取值，θ_t+1为第t+1时间步的θ取值，在θ更新过程中，每隔N时间步拷贝θ至θ^-；

S3：判断作用点是否位于静脉分叉的影响范围内，若是，更换作用点位置，若否，完成静脉分叉避让。

2.根据权利要求1所述的一种静脉穿刺机器人，其特征在于，所述的静脉图像为可见光图像或红外线图像。

3.根据权利要求2所述的一种静脉穿刺机器人，其特征在于，所述的可见光图像通过摄像机获取，所述红外线图像通过红外摄像机获取。

4.根据权利要求1所述的一种静脉穿刺机器人，其特征在于，所述的作用点为静脉穿刺的针头刺入点。

5.根据权利要求4所述的一种静脉穿刺机器人，其特征在于，所述静脉分叉的影响范围为圆形，影响范围由针头的长度决定。

6.根据权利要求5所述的一种静脉穿刺机器人，其特征在于，所述影响范围的半径r的计算公式为：

r＝l_针头

其中，l_针头表示针头的长度。

Images