CN117297726A - 自动穿刺机器人及其控制方法、装置、存储介质 - Google Patents

Abstract

本申请公开了一种自动穿刺机器人及其控制方法、装置、存储介质，所述方法包括：控制穿刺机器人基于预先配置的初始工作参数进行穿刺；实时获取穿刺过程中的红外热图像，根据所述红外热图像判断穿刺过程中是否发生组织损伤；在发生组织损伤的情况下，基于预设的强化学习算法调整所述穿刺机器人的工作参数。根据本申请实施例提供的穿刺机器人的控制方法，可以通过红外热成像技术实时感知穿刺过程中的组织损伤，穿刺机器人可以自动调整穿刺力度和深度，避免不必要的损伤和误刺，从而提高穿刺的准确性、安全性以及穿刺效率。

Description

自动穿刺机器人及其控制方法、装置、存储介质

技术领域

本申请涉及智能机器人技术领域，具体而言，涉及一种自动穿刺机器人及其控制方法、装置、存储介质。

背景技术

传统的穿刺由经过专门培训的医护人员来承担，医护人员需经过特殊训练才能较好地对合适血管进行识别，并且穿刺效果容易受到该医护人员当前的技术水平、工作经验和身心状态的影响。

目前，有的医院采用麻醉穿刺机器人辅助手术，采用超声引导穿刺是一种常见的医疗技术，用于在人体内进行精确的穿刺操作。然而，由于人体组织复杂多样，传统超声引导穿刺存在一定的局限性，特别是在组织边界不清晰或目标深处的情况下，进针精度有限，难以根据实际情况自适应调整。

发明内容

本申请实施例提供了一种自动穿刺机器人及其控制方法、装置、存储介质，以至少解决相关技术中穿刺准确性和安全性较低的技术问题。

根据本申请实施例的一个方面，提供了一种自动穿刺机器人的控制方法，包括：

控制穿刺机器人基于预先配置的初始工作参数进行穿刺；

实时获取穿刺过程中的红外热图像，根据所述红外热图像判断穿刺过程中是否发生组织损伤；

在发生组织损伤的情况下，基于预设的强化学习算法调整所述穿刺机器人的工作参数。

在一个可选地实施例中，控制穿刺机器人基于预先配置的初始工作参数进行穿刺，包括：

获取穿刺部位的超声图像；

基于所述超声图像定位穿刺点和目标组织；

控制所述穿刺机器人根据定位的穿刺点和目标组织，以及预先配置的初始工作参数进行穿刺。

在一个可选地实施例中，实时获取穿刺过程中的红外热图像之前，还包括：

接收配置的红外热成像仪的成像参数，所述成像参数包括感兴趣区域的尺寸信息、位置信息以及感兴趣温度范围。

在一个可选地实施例中，根据所述红外热图像判断穿刺过程中是否发生组织损伤，包括：

根据所述红外热图像中的温度信息，获取穿刺区域的初始温度值以及穿刺过程中的温度值；

基于所述穿刺过程中的温度值与所述初始温度值计算温度变化率；

在所述温度变化率大于等于预设阈值的情况下，确定穿刺区域发生组织损伤；

在所述温度变化率小于预设阈值的情况下，确定穿刺区域没有发生组织损伤。

在一个可选地实施例中，确定穿刺区域发生组织损伤之后，还包括：

根据所述温度变化速率确定组织损伤严重程度。

在一个可选地实施例中，基于预设的强化学习算法调整所述穿刺机器人的工作参数，包括：

获取当前穿刺机器人的状态参数，所述状态参数包括红外热成像数据、穿刺针位置以及穿刺针角度；

将所述状态参数输入所述强化学习算法，得到调整后的工作参数；

所述工作参数包括伺服电机输出功率以及角度电机的角度值，所述伺服电机输出功率用于调整穿刺力度，所述角度电机的角度值用于调整穿刺深度。

在一个可选地实施例中，基于预设的强化学习算法调整所述穿刺机器人的工作参数之前，还包括：

配置穿刺过程中的状态参数、动作空间以及奖励函数；

基于所述状态参数、动作空间以及奖励函数，训练DQN强化学习算法，得到训练好的强化学习算法。

根据本申请实施例的又一方面，还提供了一种自动穿刺机器人的控制装置，包括：

控制模块，用于控制穿刺机器人基于预先配置的初始工作参数进行穿刺；

组织损伤感知模块，用于实时获取穿刺过程中的红外热图像，根据所述红外热图像判断穿刺过程中是否发生组织损伤；

穿刺调整模块，用于在发生组织损伤的情况下，基于预设的强化学习算法调整所述穿刺机器人的工作参数。

根据本申请实施例的又一方面，还提供了一种自动穿刺机器人，包括：超声设备、穿刺架、红外成像仪、穿刺针、处理器和存储有程序指令的存储器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的自动穿刺机器人的控制方法。

根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述自动穿刺机器人的控制方法。

本申请实施例提供的技术方案可以包括以下有益效果：

1.提高穿刺的准确性和安全性：通过红外热成像技术实时感知穿刺过程中的组织损伤，穿刺机器人可以自动调整穿刺力度和深度，避免不必要的损伤和误刺，从而提高穿刺的准确性和安全性。

2.实现实时反馈和自动调整：红外热成像技术可以实时监测温度变化，为穿刺机器人提供实时反馈，使其能够根据实际情况快速做出调整，提高穿刺的灵活性和适应性。

3.提高穿刺效率：由于穿刺机器人可以实时感知组织损伤并自动调整穿刺参数，减少了人工干预的需要，从而提高了穿刺的效率和精确性。

4.降低手术风险：通过避免组织损伤和减轻对组织的压力，该技术可以降低穿刺过程中的风险，保障患者的安全。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种可选的自动穿刺机器人的控制方法的流程图；

图2是根据本申请实施例的又一种自动穿刺机器人的控制方法示意图；

图3是根据本申请实施例的一种DQN算法示意图；

图4是根据本申请实施例的一种自动穿刺机器人的结构示意图；

图5是根据本申请实施例的一种自动穿刺机器人的工作示意图；

图6是根据本申请实施例的一种自动穿刺机器人的控制装置示意图；

图7是根据本申请实施例的一种可选的自动穿刺机器人设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请提出了一种基于红外热成像的穿刺机器人及其组织损伤感知与调整方法。该技术结合了红外热成像技术、机器人辅助手术技术、超声引导穿刺和强化学习算法，实现了实时感知穿刺过程中的组织损伤，并自动调整穿刺力度和深度，以保证穿刺操作的安全性和精确性。通过该技术，可以提高麻醉穿刺手术的成功率，减少手术风险，为患者带来更好的手术体验和恢复效果。

下面结合附图1对本申请实施例的自动穿刺机器人的控制方法进行详细介绍，如图1所示，该方法主要包括如下步骤：

S101控制穿刺机器人基于预先配置的初始工作参数进行穿刺。

在一个实施例中，穿刺机器人可以用于麻醉穿刺手术。首先，导入穿刺部位超声图像，超声图像是一种实时成像技术，通过声波的反射来生成图像。在麻醉穿刺过程中，超声图像可以用于观察穿刺针和组织的位置、形状和结构。通过超声图像，麻醉穿刺机器人可以准确定位穿刺点和目标组织，确保准确且安全地进行穿刺操作。然而，超声图像无法直接感知组织的生理状态，例如是否发生了组织损伤。

进一步地，配置穿刺机器人初始工作参数，例如通过配置控制伺服电机的输出功率来调整穿刺力度，配置角度电机的角度参数来调整穿刺深度。控制穿刺机器人根据定位的穿刺点和目标组织，以及预先配置的初始工作参数进行穿刺。

S102实时获取穿刺过程中的红外热图像，根据红外热图像判断穿刺过程中是否发生组织损伤。

红外热成像技术可以实时监测物体表面的热分布情况，并将热分布转换为温度图像或温度数据。在穿刺机器人中，红外热成像可以用于感知穿刺针和组织之间的热交互。当穿刺针与组织接触或穿刺过程中发生组织损伤时，组织的温度可能会发生变化。通过红外热成像技术，穿刺机器人可以获取穿刺区域的温度图像或温度数据，并根据温度变化来判断是否发生了组织损伤或接触。

具体地，首先在麻醉穿刺机器人上安装一个高质量的红外热成像仪，该仪器可以实时获取穿刺区域的热图像。在启动穿刺过程之前，设置红外热成像仪的成像参数，包括感兴趣区域(ROI)的尺寸和位置、感兴趣温度范围等。

进一步地，实时获取热图像，在穿刺过程中，红外热成像仪持续实时获取穿刺区域的热图像，穿刺针和组织之间的热交互会导致温度的变化，这些变化会在热图像中表现出来。

进一步地，根据红外热图像中的温度信息，获取穿刺区域的初始温度值以及穿刺过程中的温度值；基于穿刺过程中的温度值与初始温度值计算温度变化率；在温度变化率大于等于预设阈值的情况下，确定穿刺区域发生组织损伤；在温度变化率小于预设阈值的情况下，确定穿刺区域没有发生组织损伤。

在一种可能的实现方式中，对红外热成像数据进行实时分析，以检测温度的变化。根据分析结果，来判断是否发生了组织损伤。当穿刺针与组织接触时，由于组织的导热性质，穿刺点的温度可能会上升。如果组织损伤发生，周围的组织结构可能会对穿刺针产生热影响，导致温度发生不同程度的变化。设置温度变化率阈值Threshold，当温度变化率超过该阈值时，可以认为发生了组织损伤。

其中，温度变化率可以通过红外热成像数据的时间序列来计算，假设温度数据以时间t的函数T(t)表示，则温度变化率ΔT/Δt可以表示为：

ΔT/Δt＝(T(t)-T(t-Δt))/Δt

其中，ΔT是温度的变化，Δt是时间的变化。其中，预设阈值的具体取值本申请不做具体限定，可根据实际情况自行设置。

在一个可选地实施例中，还可以根据温度变化的速率来判断组织损伤的严重程度，例如，温度快速上升可能表示严重的损伤。在一个实施方式中，设置温度变化率区间与损伤严重程度的对照表，并存储。当发生严重损伤时，输出告警信息。

根据该步骤，可以基于红外热成像技术实时感知手术过程中的损伤情况。

S103在发生组织损伤的情况下，基于预设的强化学习算法调整穿刺机器人的工作参数。

一旦麻醉穿刺机器人判断出发生组织损伤，它可以根据预设的调整策略来调整穿刺力度和深度，以确保穿刺的安全性和精确性。

在一个可选地实施例中，基于预设的强化学习算法调整穿刺机器人的工作参数之前，还包括：训练强化学习算法。

首先，配置穿刺过程中的状态参数、动作空间以及奖励函数。

首先定义穿刺过程中的状态表示。状态包括红外热成像数据、穿刺针的位置和角度等信息。将穿刺过程中的状态表示为一个向量s，其中包含红外热成像数据、穿刺针的位置和角度等信息。即：s＝[红外热成像数据,穿刺针位置,穿刺针角度]。

进一步地，定义穿刺机器人可以执行的动作空间。动作是调整伺服电机的输出功率来调整穿刺力度，或者调整角度电机来调整穿刺深度。将机器人可以执行的动作表示为一个向量a，其中包含调整伺服电机输出功率和调整角度电机的动作。假设伺服电机输出功率的动作范围为[0,1]，角度电机的动作范围为[0,180]，则：a＝[伺服电机输出功率,角度电机动作]。

进一步地，为了训练强化学习算法，需要定义一个奖励函数。奖励函数可以根据红外热成像数据的变化来判断组织损伤的程度。当温度变化率超过某个阈值时，给予较低的奖励，表示发生了组织损伤；否则，给予较高的奖励，表示穿刺是安全和准确的。可以定义奖励函数为：r＝f(红外热成像数据的变化)。

进一步地，基于状态参数、动作空间以及奖励函数，训练DQN强化学习算法，得到训练好的强化学习算法。

本申请实施例采用DQN算法来训练机器人。图3是一种DQN算法的结构示意图，如图3所示，DQN使用神经网络来近似值函数，神经网络的输入是状态s，输出是Q(s,a)，通过神经网络计算出值函数后，DQN使用策略输出动作a。值函数与策略之间的联系是这样的，首先环境会给出一个observation(观察值)，智能体根据值函数网络得到关于这个observation的所有Q(s,a)，然后利用策略选择动作a并作出决策，环境接收到此动作a后会给出一个奖励及下一个observation，这是一次循环。

在本申请实施例中，使用深度神经网络来近似Q值函数，从而实现对状态动作对的价值估计。Q值函数用于衡量在状态s下执行动作a可能获得的累积奖励。用Q(s,a)表示在状态s下执行动作a的Q值。使用深度神经网络来近似Q值函数，可以表示为：Q(s,a；θ)。其中，θ是神经网络的参数。DQN算法的目标是最大化Q值函数的估计，使得麻醉穿刺机器人在不同状态下选择最优动作以获得最大累积奖励。使用DQN算法进行更新，使用以下公式来更新Q值函数的参数θ：

θ'＝argmax(Q(s,a；θ)+α*(r+γ*max(Q(s',a'；θ))-Q(s,a；θ)))

其中，s'表示执行动作a后的新状态，α是学习率，γ是折扣因子，用于衡量未来奖励的重要性。

为了稳定和加速训练过程，使用经验回放技术。在每次与环境交互时，将状态、动作、奖励和下一个状态存储在经验缓冲区中。然后，从经验缓冲区中随机采样一批样本，用于更新神经网络的参数。在每次与环境交互时，将状态s、动作a、奖励r和下一个状态s'存储在经验缓冲区中。然后从经验缓冲区中随机采样一批样本用于更新神经网络的参数。假设从经验缓冲区中随机采样得到的批次为Batch。

麻醉穿刺机器人在穿刺过程中与环境进行交互，不断地观察状态、选择动作，并根据奖励函数得到奖励。使用DQN算法和经验回放技术，麻醉穿刺机器人逐渐学习到如何在不同状态下选择最优的动作，以最大化累积奖励。麻醉穿刺机器人与环境进行交互，观察当前状态s，选择动作a，并观察奖励r和下一个状态s'。然后使用Batch中的样本来更新神经网络的参数θ，使得Q值函数逼近真实的Q值。这样，麻醉穿刺机器人逐渐学习到在不同状态下选择最优动作以获得最大累积奖励的策略。

得到训练好的强化学习算法之后，获取当前穿刺机器人的状态参数，状态参数包括红外热成像数据、穿刺针位置以及穿刺针角度；将状态参数输入强化学习算法，得到调整后的工作参数，也就是选择的最优动作a。工作参数包括伺服电机输出功率以及角度电机的角度值，伺服电机输出功率用于调整穿刺力度，角度电机的角度值用于调整穿刺深度。

本申请的强化学习算法训练完成后，穿刺机器人就可以在实时穿刺过程中感知组织损伤，并根据已学习到的策略自动调整穿刺力度和深度。它会不断地观察当前状态s，选择最优动作a，并实时调整穿刺过程，以确保穿刺的安全和准确性。这样，穿刺机器人可以适应不同组织特性和变化情况，提高穿刺的成功率和安全性。

整个流程中，红外热成像技术实时感知组织的热交互，强化学习算法进行实时调整，使穿刺机器人能够高度灵活地适应不同情况，提高穿刺手术的成功率和安全性。

为了便于理解本申请实施例提供的穿刺机器人的控制方法，下面结合附图2进一步描述，如图2所示，该方法包括：

首先输入超声设备采集的超声图像，通过超声图像，穿刺机器人可以准确定位穿刺点和目标组织，确保准确且安全地进行穿刺操作。然后接收配置的穿刺机器人的参数，根据该初始参数进行穿刺。

进一步地，通过红外热图像实时感知穿刺过程中的组织损伤。通过检测穿刺针与组织的热交互与变化，判断是否发生组织损伤。

在没有发生组织损伤的情况下，保持当前动作，若达到目标点，则穿刺完成，若未到达目标点，继续判断是否发生组织损伤。

在发生组织损伤的情况下，基于训练的强化学习算法，调整穿刺机器人的控制参数，实现对穿刺力度和穿刺深度的调节。

本申请中，超声图像和红外热成像在感知组织损伤方面具有不同的作用。超声图像可以帮助麻醉穿刺机器人准确定位和观察穿刺过程中的结构信息，而红外热成像可以实时感知组织的生理状态，帮助判断是否发生了组织损伤或接触。两种技术的结合可以使麻醉穿刺机器人在麻醉穿刺手术中更加全面、准确地感知组织状态，从而提高手术的成功率和安全性。

本申请实施例的方案的有益效果包括：

1.提高穿刺的准确性和安全性：通过红外热成像技术实时感知穿刺过程中的组织损伤，麻醉穿刺机器人可以自动调整穿刺力度和深度，避免不必要的损伤和误刺，从而提高穿刺的准确性和安全性。

2.实现实时反馈和自动调整：红外热成像技术可以实时监测温度变化，为麻醉穿刺机器人提供实时反馈，使其能够根据实际情况快速做出调整，提高穿刺的灵活性和适应性。

3.提高麻醉穿刺效率：由于麻醉穿刺机器人可以实时感知组织损伤并自动调整穿刺参数，减少了人工干预的需要，从而提高了麻醉穿刺的效率和精确性。

4.降低麻醉风险：通过避免组织损伤和减轻对组织的压力，该技术可以降低麻醉穿刺过程中的风险，保障患者的安全。

5.应用广泛且前景良好：红外热成像技术与麻醉穿刺机器人的结合，不仅适用于麻醉领域，还可以应用于其他医疗穿刺操作和相关领域，具有广泛的应用前景。

根据本申请实施例的另一个方面，还提供了一种用于实施上述自动穿刺机器人的控制方法的自动穿刺机器人的控制装置。如图6所示，该装置包括：

控制模块601，用于控制穿刺机器人基于预先配置的初始工作参数进行穿刺；

组织损伤感知模块602，用于实时获取穿刺过程中的红外热图像，根据红外热图像判断穿刺过程中是否发生组织损伤；

穿刺调整模块603，用于在发生组织损伤的情况下，基于预设的强化学习算法调整穿刺机器人的工作参数。

需要说明的是，上述实施例提供的自动穿刺机器人的控制装置在执行自动穿刺机器人的控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的自动穿刺机器人的控制装置与自动穿刺机器人的控制方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

根据本申请实施例的又一个方面，还提供了一种与前述实施例所提供的自动穿刺机器人的控制方法对应的自动穿刺机器人，以执行上述自动穿刺机器人的控制方法。

图4和图5是一种自动穿刺机器人结构示意图，如图4和5所示，穿刺机器人主要由超声设备、穿刺架、红外成像仪等组成，其中穿刺针安装在穿刺架上。通过红外成像仪扫描穿刺针所在区域，通过电阻丝加热使得穿刺针针尖温度高于其他位置温度，通过红外成像仪成像找到温度最高的点，确定为穿刺针针尖位置，从而达到识别穿刺针针尖的目的。

自动穿刺机器人还包括处理器和存储器，请参考图7，其示出了本申请的一些实施例所提供的一种自动穿刺机器人的示意图。如图7所示，自动穿刺机器人包括：处理器700，存储器701，总线702和通信接口703，处理器700、通信接口703和存储器701通过总线702连接；存储器701中存储有可在处理器700上运行的计算机程序，处理器700运行计算机程序时执行本申请前述任一实施例所提供的自动穿刺机器人的控制方法。

其中，存储器701可能包含高速随机存取存储器(RAM：RandomAccess Memory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口703(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线702可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器701用于存储程序，处理器700在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的自动穿刺机器人的控制方法可以应用于处理器700中，或者由处理器700实现。

处理器700可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器700中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器700可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701，处理器700读取存储器701中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的自动穿刺机器人与本申请实施例提供的自动穿刺机器人的控制方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

根据本申请实施例的又一个方面，还提供一种与前述实施例所提供的自动穿刺机器人的控制方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的自动穿刺机器人的控制方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的自动穿刺机器人的控制方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自动穿刺机器人的控制方法，其特征在于，包括：

控制穿刺机器人基于预先配置的初始工作参数进行穿刺；

实时获取穿刺过程中的红外热图像，根据所述红外热图像判断穿刺过程中是否发生组织损伤；

在发生组织损伤的情况下，基于预设的强化学习算法调整所述穿刺机器人的工作参数。

2.根据权利要求1所述的方法，其特征在于，控制穿刺机器人基于预先配置的初始工作参数进行穿刺，包括：

获取穿刺部位的超声图像；

基于所述超声图像定位穿刺点和目标组织；

控制所述穿刺机器人根据定位的穿刺点和目标组织，以及预先配置的初始工作参数进行穿刺。

3.根据权利要求1所述的方法，其特征在于，实时获取穿刺过程中的红外热图像之前，还包括：

接收配置的红外热成像仪的成像参数，所述成像参数包括感兴趣区域的尺寸信息、位置信息以及感兴趣温度范围。

4.根据权利要求1所述的方法，其特征在于，根据所述红外热图像判断穿刺过程中是否发生组织损伤，包括：

根据所述红外热图像中的温度信息，获取穿刺区域的初始温度值以及穿刺过程中的温度值；

基于所述穿刺过程中的温度值与所述初始温度值计算温度变化率；

在所述温度变化率大于等于预设阈值的情况下，确定穿刺区域发生组织损伤；

在所述温度变化率小于预设阈值的情况下，确定穿刺区域没有发生组织损伤。

5.根据权利要求4所述的方法，其特征在于，确定穿刺区域发生组织损伤之后，还包括：

根据所述温度变化速率确定组织损伤严重程度。

6.根据权利要求1所述的方法，其特征在于，基于预设的强化学习算法调整所述穿刺机器人的工作参数，包括：

获取当前穿刺机器人的状态参数，所述状态参数包括红外热成像数据、穿刺针位置以及穿刺针角度；

将所述状态参数输入所述强化学习算法，得到调整后的工作参数；

所述工作参数包括伺服电机输出功率以及角度电机的角度值，所述伺服电机输出功率用于调整穿刺力度，所述角度电机的角度值用于调整穿刺深度。

7.根据权利要求6所述的方法，其特征在于，基于预设的强化学习算法调整所述穿刺机器人的工作参数之前，还包括：

配置穿刺过程中的状态参数、动作空间以及奖励函数；

基于所述状态参数、动作空间以及奖励函数，训练DQN强化学习算法，得到训练好的强化学习算法。

8.一种自动穿刺机器人的控制装置，其特征在于，包括：

控制模块，用于控制穿刺机器人基于预先配置的初始工作参数进行穿刺；

组织损伤感知模块，用于实时获取穿刺过程中的红外热图像，根据所述红外热图像判断穿刺过程中是否发生组织损伤；

穿刺调整模块，用于在发生组织损伤的情况下，基于预设的强化学习算法调整所述穿刺机器人的工作参数。

9.一种自动穿刺机器人，其特征在于，包括：

超声设备、穿刺架、红外成像仪、穿刺针、处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7任一项所述的自动穿刺机器人的控制方法。

10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令被处理器执行以实现如权利要求1至7任一项所述的一种自动穿刺机器人的控制方法。