CN111481294B - 一种自动注射机器人系统及自动注射方法 - Google Patents

Abstract

本申请涉及一种自动注射机器人系统及自动注射方法，属于人工智能技术领域。该系统包括：控制器、末端连接器、工具箱、多关节机器人、图像采集器。多关节机器人用于在控制器的控制下，通过末端连接器接驳工具箱内的工具，并按照控制器的控制完成对应操作，以及在完成对应操作后将对应工具放回工具箱对应位置；图像采集器用于在控制器的控制下，实时采集患者人脸图像，并将采集到的人脸图像传输给控制器；控制器用于根据人脸图像，控制多关节机器人通过末端连接器按照预设注射工艺依次接驳工具箱内的工具完成对应操作。该系统将医生从一些繁琐的“技工”操作中解脱出来，不但提高医生的工作效率，而且可以进一步提高手术成功率。

Description

一种自动注射机器人系统及自动注射方法

技术领域

本申请属于人工智能技术领域，具体涉及一种自动注射机器人系统及自动注射方法。

背景技术

眼科手术是目前常见的手术之一，常见的眼科手术如眼球注射，角膜屈光手术，眼底手术等，对医生的手术技能有着很高的要求。要求医生在手术中需要达到的操作精度需要在20-80μm之间，而手术中医生的手部颤抖的平均幅度在156μm，离眼科手术的精度要求还有着一定差距；加之手术操作的环境可视性差，医生很难对眼球深度的信息进行精确的感知，加上手术的时间较长，也会影响人工手术的成功率；此外，手术中患者的眼球会不自主的发生轻微的运动，为保持手术器械和眼部的相对静止，要求手术医生高度的精力集中，控制手术器械跟随眼球运动，这样的精密操作需要专业的技能和充分的耐心，而且会有失误的可能。

目前市面上出现的眼科机器人，通常是作为辅助机器人，其作用较为单一，采用人机协作方式，即医生和机器人共同控制手术器械，如玻璃体视网膜手术机器人，其实用性有限。

发明内容

鉴于此，本申请的目的在于提供一种自动注射机器人系统及自动注射方法，以改善人工操作对医生的手术技能要求高以及现有眼科机器人功能单一、仅能起辅助作用的问题。

本申请的实施例是这样实现的：

第一方面，本申请实施例提供了一种自动注射机器人系统，所述系统包括：控制器、末端连接器、工具箱、多关节机器人以及图像采集器；所述工具箱内存放有多种工具；所述多关节机器人与所述末端连接器连接，所述多关节机器人用于在所述控制器的控制下，通过所述末端连接器接驳所述工具箱内的工具，并按照所述控制器的控制完成对应操作，以及在完成对应操作后将对应工具放回所述工具箱对应位置；图像采集器，用于在所述控制器的控制下，实时采集患者人脸图像，并将采集到的人脸图像传输给所述控制器；所述控制器，用于根据所述人脸图像，控制所述多关节机器人通过所述末端连接器按照预设注射工艺依次接驳所述工具箱内的工具完成对应操作。本申请实施例中，该系统通过图像采集器实时采集的手术过程中的人脸图像，控制器根据该人脸图像，按照预设注射工艺来控制多关节机器人通过末端连接器依次接驳工具箱内的各种工具来完成各自完成对应操作，从而将医生从一些繁琐的“技工”操作中解脱出来，不但提高医生的工作效率，而且可以进一步提高手术成功率。

结合第一方面实施例的一种可能的实施方式，所述系统还包括：头姿同位机，用于固定患者人脸，并在所述控制器的控制下调整患者头部俯仰角度和偏转角度；所述控制器，还用于根据所述人脸图像进行头部姿态计算，并根据所述预设注射工艺要求，控制所述头姿同位机调整患者头部俯仰角和偏转角。本申请实施例中，通过控制器与头姿同位机联动的方式来控制头姿同位机调整患者头部俯仰角度和偏转角度，以增加适用性。

结合第一方面实施例的一种可能的实施方式，所述工具箱内存放有带有压力传感器的消毒工具，所述消毒工具包括储液罐和消毒液喷头；所述控制器，用于识别出所述人脸图像中的眼部睑裂轮廓，并控制所述多关节机器人通过末端连接器接驳所述消毒工具在所述眼部睑裂轮廓喷涂消毒液，并控制所述头姿同位机偏转，以便将多余的消毒液从患者头部流出，以及根据所述压力传感器的压力值来修正喷涂位置，并在所述压力值大于预设阈值时，停止执行当前操作。本申请实施例中，通过控制多关节机器人通过末端连接器接驳带有压力传感器的消毒工具，并根据人脸图像中的眼部睑裂轮廓，控制消毒工具在眼部睑裂轮廓喷涂消毒液，使得整个过程可以在无医生协助的情况下自动完成喷涂工作，以及在喷涂过程中，控制头姿同位机偏转，以便将多余的消毒液从患者头部流出，同时，根据压力传感器的压力值来修正喷涂位置，并在压力值大于预设阈值时，停止执行当前操作，保证了喷涂过程的安全性。

结合第一方面实施例的一种可能的实施方式，所述工具箱内存放有带有压力传感器的开睑工具，所述开睑工具通过连接端子连接有开睑器，所述开睑器包含有可分开或闭合的上下支架；所述控制器，用于从所述人脸图像中识别出眼部睑裂轮廓，控制所述多关节机器人通过所述末端连接器接驳所述开睑工具，并将所述开睑器的上下支架放入上下眼睑内，然后分开上下支架，并通过对上下支架图像标记的识别和眼睑张开面积大小来调整眼睑张开幅度，以及根据所述压力传感器的压力值来修正开睑位置，并在所述压力值大于预设阈值时，停止执行当前操作。本申请实施例中，通过控制多关节机器人通过末端连接器接驳带有压力传感器的开睑工具，并根据人脸图像中的眼部睑裂轮廓，将开睑器的上下支架放入上下眼睑内，然后分开上下支架，并通过对上下支架图像标记的识别和眼睑张开面积大小来调整眼睑张开幅度，使得整个过程可以在无医生协助的情况下自动完成开睑工作；并在该过程中，根据压力传感器的压力值来修正开睑位置，并在压力值大于预设阈值时，停止执行当前操作，保证了系统的安全性。

结合第一方面实施例的一种可能的实施方式，所述工具箱内存放有带有压力传感器的注射工具，所述注射工具包括：可伸缩的注射器、眼球固定器和针孔按压器；所述控制器，用于从所述人脸图像中识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，确定出按压点、注射起点和注射终点，其中，在确定所述注射起点和所述注射终点时，选择避开瞳孔、虹膜和巩膜大血管区域；所述控制器，用于控制所述多关节机器人通过所述末端连接器接驳所述注射工具，并控制所述眼球固定器在所述按压点处接触眼球表面，以保持眼球相对固定，然后控制所述注射器进行注射，注射时，注射器的针头从所选的所述注射起点进入，沿所述注射终点方向插入；所述控制器，还用于在注射完成后，控制所述注射器和眼球固定器缩回注射器工具内，并控制所述针孔按压器顶部接触按压在所述注射起点上，直至到达针孔按压设定时间；所述控制器，还用于根据所述压力传感器的压力值来修正按压位置、注射位置，并在所述压力值大于预设阈值时，停止执行当前操作。本申请实施例中，通过识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，进而确定出按压点、注射起点和注射终点，然后控制多关节机器人通过末端连接器接驳注射工具，并控制眼球固定器在按压点处接触眼球表面，以保持眼球相对固定，然后控制注射器进行注射，注射时，注射器的针头从所选的注射起点进入，沿注射终点方向插入，并在注射完成后，控制注射器和眼球固定器缩回注射器工具内，同时控制针孔按压器顶部接触按压在注射起点上，直至到达针孔按压设定时器，使得整个过程可以在无医生协助的情况下自动完成固定眼球、注射和按压工作，同时在整个过程中，根据压力传感器的信号来修正按压位置、注射位置等，使得整个注射过程更精确，以及在并在压力值大于预设阈值时，停止执行当前操作，保证了注射过程的安全性。

结合第一方面实施例的一种可能的实施方式，所述工具箱内存放有滴注工具；所述控制器，用于从所述人脸图像中识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，并确定出滴注点；控制所述多关节机器人通过所述末端连接器接驳所述滴注工具，并控制所述滴注工具推动药液从滴注点处滴入眼球，直至完成滴注。本申请实施例中，通过识别出人脸图像中识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，进而确定出滴注点，并控制多关节机器人通过末端连接器接驳滴注工具，同时控制滴注工具推动药液从滴注点处滴入眼球，直至完成滴注，使得整个过程可以在无医生协助的情况下自动完成滴注工作。

结合第一方面实施例的一种可能的实施方式，所述工具箱内存放有带有压力传感器的眼部按压工具，所述眼部按压工具与患者眼部贴合面预置有吸液贴；所述控制器，用于从所述人脸图像中识别出眼部睑裂轮廓；控制所述多关节机器人通过所述末端连接器接驳所述眼部按压工具，并控制所述眼部按压工具按压患者眼部睑裂轮廓，直至到达眼部按压设定时间，按压时所述吸液贴用于吸去患者眼部的溢出液体，以及根据所述压力传感器的压力值来修正按压位置，并在所述压力值大于预设阈值时，停止执行当前操作。本申请实施例中，通过识别出眼部睑裂轮廓，控制多关节机器人通过末端连接器接驳眼部按压工具，控制眼部按压工具按压患者眼部睑裂轮廓，直至到达眼部按压设定时间，使得整个过程中可以在无医生协助的情况下自动按压工作，以舒张眼部肌肉，同时按压时吸液贴用于吸去患者眼部的溢出液体，以增强适用性，同时在整个过程中，根据压力传感器的信号来修正按压位置，使得按压位置更精确，以增强效果，以及在压力值大于预设阈值时，停止执行当前操作，以此保证按压的安全性。

结合第一方面实施例的一种可能的实施方式，所述系统还包括：人机交互装置，所述人机交互装置与所述控制器连接，通过所述人机交互装置实现对所述控制器的参数配置，所述参数配置包括：对所述工具箱内的各个工具的操作顺序、操作时各自的参数以及各个工具的存放坐标，所述人机交互装置，还用于在所述控制器的控制下进行信息显示和报警。本申请实施例中，通过人机交互装置实现对控制器的参数配置，使得该自动注射机器人系统可以适用不同的眼科治疗手术，从而提高其适用性。

第二方面，本申请实施例还提供了一种自动注射方法，应用于自动注射机器人系统中的控制器，所述自动注射机器人系统还包括：图像采集器、存放有注射所需的多种工具的工具箱、末端连接器和多关节机器人；所述方法包括：所述控制器接收所述图像采集器实时采集的人脸图像；所述控制器根据所述人脸图像，按照预设注射工艺控制所述多关节机器人通过所述末端连接器依次接驳所述工具箱内的工具完成对应操作。

结合第二方面实施例的一种可能的实施方式，工具箱内的工具包括：消毒工具、开睑工具、注射工具、滴注工具以及眼部按压工具；所述控制器根据所述人脸图像，按照预设注射工艺控制所述多关节机器人通过所述末端连接器依次接驳所述工具箱内的工具完成对应操作，包括：所述控制器根据所述人脸图像，按照预设注射工艺控制所述多关节机器人通过所述末端连接器依次接驳所述工具箱内的消毒工具、开睑工具、注射工具、滴注工具以及眼部按压工具完成各自对应的操作。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。

图1示出了本申请实施例提供的一种眼科自动注射机器人系统的结构框图。

图2示出了本申请实施例提供的一种眼科自动注射机器人系统中各模块的位置示意图。

图3示出了本申请实施例提供的一种多关节机器人通过末端连接器接驳消毒工具的示意图。

图4示出了本申请实施例提供的一种多关节机器人通过末端连接器接驳开睑工具的示意图。

图5示出了本申请实施例提供的一种多关节机器人通过末端连接器接驳注射工具的示意图。

图6示出了本申请实施例提供的一种多关节机器人通过末端连接器接驳滴注工具的示意图。

图7示出了本申请实施例提供的一种多关节机器人通过末端连接器接驳眼部按压工具的示意图。

图8示出了本申请实施例提供的眼科注射治疗过程示意图。

图9示出了本申请实施例提供的自动注射方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

鉴于目前的眼科机器人只能作为辅助机器人，以协助医生进行眼科手术，且作用单一，本申请实施例提供了一种自动注射机器人系统，该系统可以根据按照预设注射工艺自动完成包括消毒、注射、滴液、按压等一系列操作，整个注射治疗过程中无需医生参与，可以将医生从一些繁琐的“技工”操作中解脱出来，不但提高医生的工作效率，而且可以进一步提高手术成功率。下面将结合本申请实施例提供的自动注射机器人系统进行说明，如图1所示。该系统包括：控制器、末端连接器、工具箱、多关节机器人、图像采集器、控制器、人机交互装置以及头姿同位机。其中，各模块的位置关系如图2所示。需要说明的是，自动注射机器人系统中的各模块的位置关系并不限于此，例如，人机交互装置可以设置在左边，工具箱、多关节机器人设置在右边。另外一种实施方式下，该系统也可以不包括人机交互装置以及头姿同位机，因此不能将图2所示的位置关系理解成是对本申请的限制。

其中，图像采集器与控制器连接，用于在控制器的控制下，实时采集患者人脸图像，并将采集到的人脸图像传输给该控制器。该图像采集器可以是摄像机如深度摄像机。

工具箱用于存放注射过程中所用的工具和药物，其内存放有多种工具，包括但不限于消毒工具、开睑工具、注射工具、滴注工具、按压工具等，工具箱内部存放各种工具的单元格，均事先通过坐标标定使其与多关节机器人处于同一世界坐标系下，并设定好固定坐标，方便控制多关节机器人自动取出和放回。其中，每种工具均对应有一固定坐标，且不同工具对应的固定坐标不同。

末端连接器，配置有与多关节机器人连接的接口和接驳工具箱内的各自工具的连接接口，用于中间连接多关节机器人与各种医疗工具。

多关节机器人与末端连接器连接，用于在控制器的控制下，通过末端连接器接驳工具箱内的工具，并按照控制器的控制完成对应操作，以及在完成对应操作后将对应工具放回工具箱对应位置，例如，在控制器的控制下通过末端连接器接驳工具箱内的消毒工具，并按照控制器的控制完成对应的消毒操作，以及在完成对应消毒操作后将消毒工具放回工具箱对应位置。其中，多关节机器人通过末端连接器接驳工具箱内的其余工具的原理与接驳消毒工具的原理类似，不再介绍。

控制器，用于根据人脸图像，控制多关节机器人通过末端连接器按照预设注射工艺依次接驳工具箱内的工具完成对应操作。例如，控制器接收图像采集器传输的人脸图像，并对人脸图像进行识别，识别出其中的眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓及各自的位置坐标，进而控制多关节机器人通过末端连接器接驳工具箱内的工具完成包括消毒、注射、滴液、按压等一系列操作。

为了便于调整患者的头部姿态，一种实施方式下，该系统还包括头姿同位机。该头姿同位机与控制器连接，用于固定患者人脸，并在控制器的控制下调整患者头部俯仰角度和偏转角度。通过事先的坐标标定使头姿同位机与多关节机器人处于同一世界坐标系下，并设定好固定坐标。控制器还用于根据人脸图像进行头部姿态计算，并根据预设注射工艺要求，控制头姿同位机调整患者头部俯仰角和偏转角。同时，同位机在患者头部两侧，还置有液体吸收贴。例如，控制器在根据人脸图像识别出当前患者的头部姿态后，若当前患者头部的俯仰角度小于预设的角度，则控制头姿同位机将患者头部的俯仰角度调高，反之则调低。例如，在对患者进行滴液时，例如在对左眼进行滴液时，可以调整患者的面部朝左侧倾斜，以便于将左眼中多余的液体流出，在对左眼进行滴液时，可以调整患者的面部朝右侧倾斜，以便于将右眼中多余的液体流出。

为了便于设定的控制器的参数以及在治疗过程中进行信息提示等，一种实施方式下，该系统还包括人机交互装置。该人机交互装置包括显示屏以及输入单元(如鼠标或用于在屏幕上写字的书写笔)。人机交互装置与控制器连接，医生可以通过人机交互装置实现对控制器的参数配置，配置的参数包括但不限于：对工具箱内的各个工具的操作顺序，操作时各自的参数，如剂量大小，操作时间，针头注射深度、接触压力、安全压力、坐标位置以及各个工具的存放坐标等，多关节机器人按配置的注射工艺数据执行自动动作。人机交互装置还在控制器的控制下进行信息显示和报警，如与操作者和患者进行信息交互、状态显示、工作进行显示、信息提示和报警等。

为了便于理解，下面将对控制器控制多关节机器人通过末端连接器接驳工具箱内的各个工具，并按照控制器的控制完成对应操作的具体过程进行说明。

为了实现眼部消毒，该工具箱内存放有带有压力传感器的消毒工具包括储液罐和消毒液喷头，消毒液存放于消毒液罐中。多关节机器人通过末端连接器接驳消毒工具的示意图，如图3所示。控制器根据图像传感器采集的人脸图像，识别出人脸图像中的眼部睑裂轮廓及对应的位置坐标，与事先设定的消毒位置规划进行匹配后执行动作，控制多关节机器人通过末端连接器接驳消毒工具自动按照规划在眼部睑裂轮廓喷涂消毒液，喷涂中并控制头姿同位机偏转，以便将多余的消毒液从患者头部流出。此外，在喷涂根据压力传感器的压力值来修正喷涂位置，并在压力值大于预设阈值时，停止执行当前操作。安装在消毒工具上的压力传感器，一方面作为消毒液喷头真实到位信号，实时反馈消毒液喷头与眼部睑裂轮廓接触的压力值给控制器，控制器根据该信号来确定修正喷涂位置，以确保喷涂位置为眼部睑裂轮廓，另一方面作为安全装置，通过监测压力值变化，一旦超过设定安全阈值，停止多关节机器人执行当前操作，并重新操作。

该工具箱内存放有带有压力传感器的开睑工具，该开睑工具通过连接端子连接有开睑器，开睑器包含有可分开或闭合的上下支架。多关节机器人通过末端连接器接驳开睑工具的示意图，如图4所示。下面将对安装和取下开睑器的过程进行说明。控制器根据图像传感器采集的人脸图像，识别出人脸图像中的眼部睑裂轮廓及对应的位置坐标，与事先设定的开睑位置规划进行匹配后执行开睑动作，控制多关节机器人通过末端连接器接驳开睑工具，并将开睑器的上下支架放入上下眼睑内，然后分开上下支架，并通过对上下支架图像标记的识别和眼睑张开面积大小来调整眼睑张开幅度，如不满足标记消失以及张开面积不够，则判断为操作失败，重新操作，多次操作失败则发出信号，提醒医护人员和患者进行调整。开睑完成后，多关节机器人通过末端连接器断开开睑工具与开睑器的连接，自动放回开睑工具到工具箱对应位置，开睑器本身则留在患者眼内。取下患者眼球开睑器时，控制器操纵多关节机器人通过末端连接器接驳开睑工具，并根据图像获取开睑器连接端子上的位置标记和对应位置坐标，与事先设定的开睑位置规划进行匹配，再控制多关节机器人上连接的开睑工具连接开睑器，闭合上下支架，并从患者眼睑中取出，自动放回开睑工具到工具箱对应位置。开睑工具内置有压力传感器，一方面作为开睑工具的真实到位信号，以修正开睑位置，另一方面作为开睑时的安全装置，监控压力值变化，一旦超过设定安全阈值，控制器执行对应的安全操作或停止操作。

工具箱内存放有带有压力传感器的注射工具，注射工具包括：可伸缩的注射器、眼球固定器和针孔按压器，眼球固定器位于注射器的旁边，共同伸缩，其中，注射器、眼球固定器和针孔按压器均设有压力传感器。多关节机器人通过末端连接器接驳注射工具的示意图，如图5所示。下面将结合图5对注射的实现过程进行说明。控制器根据图像传感器采集的人脸图像，识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，确定出按压点、注射起点和注射终点，其中，在确定注射起点和注射终点时，选择避开瞳孔、虹膜和巩膜大血管区域。控制系统操纵多关节机器人通过末端连接器接驳注射器工具，首先控制注射器和眼球固定器伸出，控制眼球固定器在按压点处接触眼球表面，眼球固定器按手术规划在眼部图像上的接触点处接触眼球表面，以保持眼球相对固定，避免眼球在注射中运动，然后控制注射器进行注射，注射时，注射器的针头从所选的注射起点进入，沿注射终点方向插入，期间，控制器在图像中识别和定位注射器工具上固定的针头，计算针头长度变化，以求得针头没入眼球深度，直至到达规划的注射深度要求。在整个注射过程中，控制器操纵多关节机器人以远端运动中心(Remote Center of Motion，RCM)模式保持眼球和针头的相对位置固定不变推动注射器内的药液进入眼球，直至注射完成。注射完成后注射器和眼球固定器缩回注射器工具内。接着针孔按压器伸出。控制器根据前面的注射起点进行坐标匹配，控制针孔按压器顶部接触按压在注射起点上，针孔按压器顶部接触按压在注射起点上，以RCM模式保持眼球和针孔按压头的相对位置固定不变，直至到达针孔按压设定时间。针孔按压完成后，自动放回注射器工具到工具箱对应位置。

整个过程中，控制器还用于根据压力传感器的压力值来修正按压位置、注射位置，并在压力值大于预设阈值时，停止执行当前操作。注射器工具上安装的压力传感器，用于在注射状态时，一方面作为针头和眼球固定器真实到位信号，以修正按压位置(按压点)、注射位置，同时实时反馈眼球固定器与眼球的接触压力值给控制器，控制器控制多关节机器人实时修正位姿，使得眼球固定器在眼球上保持固定的设置压力不变，另外一方面作为安全装置，监控压力值变化，一旦超过设定安全阈值，多关节机器人执行对应的安全操作或停止操作。设置于针孔按压器上的传感器，一方面作为的真实到位信号，以修正按压位置(注射起点位置)，另一方面则实时反馈与眼球的接触压力值给控制器，控制器控制多关节机器人实时修正位姿，使得针孔按压工具在眼球上保持固定的设置压力不变，直至满足设置时间后停止；还作为安全装置，实时监控压力值变化，一旦超过设定安全阈值，执行对应的安全操作或停止操作。

工具箱内存放有滴注工具，多关节机器人通过末端连接器接驳滴注工具的示意图，如图6所示。下面将结合图6对药液滴注的过程进行说明。控制器根据图像传感器采集的人脸图像，识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，并确定出滴注点，控制多关节机器人通过末端连接器接驳滴注工具，与事先设定的滴注位置规划进行匹配后执行动作，并控制滴注工具推动药液从滴注点处滴入眼球，直至完成滴注。完成后自动放回滴注工具到工具箱对应位置。

工具箱内存放有带有压力传感器的眼部按压工具，眼部按压工具与患者眼部贴合面预置有吸液贴。多关节机器人通过末端连接器接驳眼部按压工具的示意图，如图7所示。下面将结合图7对眼部按压的实现过程进行说明。控制器根据图像传感器采集的人脸图像，识别出眼部睑裂轮廓控制多关节机器人通过末端连接器接驳眼部按压工具，与事先设定的按压位置规划进行匹配后执行动作，控制眼部按压工具按压患者眼部睑裂轮廓，直至到达眼部按压设定时间，按压时吸液贴用于吸去患者眼部的溢出液体，按压时该吸液贴贴合患者眼部并相对固定。按压完成后自动放回按压工具到工具箱对应位置。

眼部按压工具上安装的压力传感器，一方面作为的真实到位信号，以修正按压位置，另一方面则实时反馈眼部按压工具与眼球的接触压力值给控制器，控制器控制多关节机器人实时修正位姿，使得眼部按压工具对患者眼部保持固定的设置压力不变，直至满足设置时间后停止；还作为安全装置，监控压力值变化，一旦超过设定安全阈值，控制系统执行对应的安全操作或停止操作。

其中，上述的压力传感器的信号可以是经末端连接器、多关节机器人上的信号线传输到控制器，另一种实施方式，可以是压力传感器采用无线的方式传输给控制器，此时，与末端连接器的工具还包括带无线传输功能的处理器，该处理器在介绍到压力传感器采集的信号后，采用无线传输的方式传输给控制器。

其中，下面对控制器根据图像传感器采集的人脸图像，识别出图像中眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓的过程进行说明，一种实施方式下，可以基于预先训练好的图像识别模型来实现，例如，事先对人脸图像中的眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓进行标记，然后利用标记的样本去训练模型，使其具备识别出图像中眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓的能力，后续基于该图像识别模型便可识别出图像中眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓。其中，利用图像识别模型识别出图像中眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓的过程为本领域的现有技术，在此不作过多说明。

控制器按照预设注射工艺控制多关节机器人通过末端连接器依次接驳所述工具箱内的工具完成对应操作，即可自动完成包括消毒、注射、滴液、按压等一系列操作，从而实现在无医生参与或少量参与的情况下，完成整个注射治疗，例如完成图8所示的注射过程。其中，图8为典型的眼科注射治疗过程示意图。通过人机交互装置来修改注射治疗过程中的顺序(也即接驳顺序)以及对应的操作参数，使得该自动注射机器人系统可以适用不同的眼科治疗手术，从而提高其适用性。

其中，上述的控制器可以是一种集成电路芯片，具有信号的处理能力。上述的控制器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该控制器也可以是任何常规的处理器等。

本申请实施例还提供了一种应用于上述自动注射机器人系统中的控制器的自动注射方法，下面将结合图9，对本申请实施例提供的自动注射方法进行说明。

步骤S101：所述控制器接收所述图像采集器实时采集的人脸图像。

步骤S102：所述控制器根据所述人脸图像，按照预设注射工艺控制所述多关节机器人通过所述末端连接器依次接驳所述工具箱内的工具完成对应操作。

控制器根据图像采集器采集的人脸图像，识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，然后按照预设注射工艺控制多关节机器人通过末端连接器依次接驳工具箱内的工具完成对应操作，例如，工具箱内的工具包括：消毒工具、开睑工具、注射工具、滴注工具以及眼部按压工具，接驳时，依次接驳工具箱内的消毒工具、开睑工具、注射工具、滴注工具以及眼部按压工具完成各自对应的操作。其中，控制器控制多关节机器人通过末端连接器接驳消毒工具、开睑工具、注射工具、滴注工具以及眼部按压工具完成各自对应的操作的过程请参阅上述相同部分的描述。

通过人机交互装置来修改注射治疗过程中的顺序(也即接驳顺序)以及对应的操作参数(如剂量大小，操作时间，针头注射深度、接触压力、安全压力、坐标位置)，使得该自动注射机器人系统可以适用不同的眼科治疗手术，可自动完成包括消毒、注射、滴液、按压等一系列操作，从而实现在无医生参与或少量参与的情况下，完成整个注射治疗，例如完成图8所示的注射过程。

本申请实施例所提供的自动注射方法其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种自动注射机器人系统，其特征在于，所述系统用于眼科治疗手术，所述系统包括：

控制器；末端连接器；

工具箱，所述工具箱内存放有用于眼科治疗手术的多种工具；

多关节机器人，所述多关节机器人与所述末端连接器连接，所述多关节机器人用于在所述控制器的控制下，通过所述末端连接器接驳所述工具箱内的工具，并按照所述控制器的控制完成对应操作，以及在完成对应操作后将对应工具放回所述工具箱对应位置；

图像采集器，用于在所述控制器的控制下，实时采集患者人脸图像，并将采集到的人脸图像传输给所述控制器；

所述控制器，用于根据所述人脸图像中的头部姿态，或眼部睑裂轮廓及对应的位置坐标，或瞳孔、虹膜以及巩膜大血管轮廓及各自的位置坐标，控制所述多关节机器人通过所述末端连接器按照预设注射工艺依次接驳所述工具箱内的工具完成对应操作。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：头姿同位机，用于固定患者人脸，并在所述控制器的控制下调整患者头部俯仰角度和偏转角度；

所述控制器，还用于根据所述人脸图像进行头部姿态计算，并根据所述预设注射工艺要求，控制所述头姿同位机调整患者头部俯仰角和偏转角。

3.根据权利要求2所述的系统，其特征在于，所述工具箱内存放有带有压力传感器的消毒工具，所述消毒工具包括储液罐和消毒液喷头；

所述控制器，用于识别出所述人脸图像中的眼部睑裂轮廓，并控制所述多关节机器人通过末端连接器接驳所述消毒工具在所述眼部睑裂轮廓喷涂消毒液，并控制所述头姿同位机偏转，以便将多余的消毒液从患者头部流出，以及根据所述压力传感器的压力值来修正喷涂位置，并在所述压力值大于预设阈值时，停止执行当前操作。

4.根据权利要求1所述的系统，其特征在于，所述工具箱内存放有带有压力传感器的开睑工具，所述开睑工具通过连接端子连接有开睑器，所述开睑器包含有可分开或闭合的上下支架；

所述控制器，用于从所述人脸图像中识别出眼部睑裂轮廓，控制所述多关节机器人通过所述末端连接器接驳所述开睑工具，并将所述开睑器的上下支架放入上下眼睑内，然后分开上下支架，并通过对上下支架图像标记的识别和眼睑张开面积大小来调整眼睑张开幅度，以及根据所述压力传感器的压力值来修正开睑位置，并在所述压力值大于预设阈值时，停止执行当前操作。

5.根据权利要求1所述的系统，其特征在于，所述工具箱内存放有带有压力传感器的注射工具，所述注射工具包括：可伸缩的注射器、眼球固定器和针孔按压器；

所述控制器，用于从所述人脸图像中识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，确定出按压点、注射起点和注射终点，其中，在确定所述注射起点和所述注射终点时，选择避开瞳孔、虹膜和巩膜大血管区域；

所述控制器，用于控制所述多关节机器人通过所述末端连接器接驳所述注射工具，并控制所述眼球固定器在所述按压点处接触眼球表面，以保持眼球相对固定，然后控制所述注射器进行注射，注射时，注射器的针头从所选的所述注射起点进入，沿所述注射终点方向插入；

所述控制器，还用于在注射完成后，控制所述注射器和眼球固定器缩回注射器工具内，并控制所述针孔按压器顶部接触按压在所述注射起点上，直至到达针孔按压设定时间；

所述控制器，还用于根据所述压力传感器的压力值来修正按压位置、注射位置，并在所述压力值大于预设阈值时，停止执行当前操作。

6.根据权利要求1所述的系统，其特征在于，所述工具箱内存放有滴注工具；

所述控制器，用于从所述人脸图像中识别出眼部睑裂轮廓、瞳孔、虹膜以及巩膜大血管轮廓，并确定出滴注点；控制所述多关节机器人通过所述末端连接器接驳所述滴注工具，并控制所述滴注工具推动药液从滴注点处滴入眼球，直至完成滴注。

7.根据权利要求1所述的系统，其特征在于，所述工具箱内存放有带有压力传感器的眼部按压工具，所述眼部按压工具与患者眼部贴合面预置有吸液贴；

所述控制器，用于从所述人脸图像中识别出眼部睑裂轮廓；控制所述多关节机器人通过所述末端连接器接驳所述眼部按压工具，并控制所述眼部按压工具按压患者眼部睑裂轮廓，直至到达眼部按压设定时间，按压时所述吸液贴用于吸去患者眼部的溢出液体，以及根据所述压力传感器的压力值来修正按压位置，并在所述压力值大于预设阈值时，停止执行当前操作。

8.根据权利要求1-7中任一项所述的系统，其特征在于，所述系统还包括：人机交互装置，所述人机交互装置与所述控制器连接，通过所述人机交互装置实现对所述控制器的参数配置，所述参数配置包括：对所述工具箱内的各个工具的操作顺序、操作时各自的参数以及各个工具的存放坐标，所述人机交互装置，还用于在所述控制器的控制下进行信息显示和报警。

Images