CN112971877B - 一种用于眼睑翻开的软体装置及方法 - Google Patents

Abstract

本发明公开一种用于眼睑翻开的软体装置及方法。该装置包括：头部支撑模块、眼睑实时定位模块、机器人末端执行器实时定位模块和眼睑自动翻开操作模块，头部支撑模块用于支撑用户的头部；眼睑实时定位模块实时识别与定位用户的上下眼睑的实时位姿；机器人末端执行器实时定位模块用于重构机器人软体末端执行器的实时形态和位姿；眼睑自动翻开操作模块包含机器人本体和机器人控制系统，机器人本体设置多轴刚体机械臂和软体末端执行器，机器人控制系统以用户上下眼睑实时位姿为运动目标、以软体末端执行器实时形态和位姿作为反馈信息控制机器人本体运动，以自动翻开眼睑。本发明能够保证用户舒适性和安全的前提下，快速、精准自动完成眼睑翻开操作。

Description

一种用于眼睑翻开的软体装置及方法

技术领域

本发明涉及医疗器械技术领域，更具体地，涉及一种用于眼睑翻开的软体装置及方法。

背景技术

为了防止术后感染，在进行眼科手术前需要对眼部进行清洗消毒处理。常规眼科手术术前眼睛清洗过程中，首先需要翻开上下眼睑，充分暴露出泪道、结膜囊等部位进行清洗。目前临床上主要由医护人员通过手指翻开患者眼睑来进行内眼部位清洗。

在现有技术中，已有一些用于眼睛清洗的辅助器械与设备。例如，专利申请CN201710253440.1公开了一种用于将上眼睑和下眼睑翻开的眼睛打开装置，操作者可用该装置翻开自己或他人的上下眼睑；专利申请CN201780043837.6公开了一种用于清洗眼睛的装置，具体包括容器和定位器；专利申请CN201711199743.6公开了一种眼科用舒适洗眼机。然而现有的用于眼睛清洗的辅助器械与设备都需要操作者直接利用手指或借助器械来手动翻开上下眼睑，还没有用于眼睑自动翻开的技术方案。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种用于眼睑翻开的软体装置及方法，可利用视觉传感器对患者眼睑进行实时识别与定位，进而根据定位信息利用机器人自动翻开患者眼睑。

根据本发明的第一方面，提供一种用于眼睑翻开的软体装置。该装置包括：头部支撑模块、眼睑实时定位模块、机器人末端执行器实时定位模块和眼睑自动翻开操作模块，其中：所述头部支撑模块用于支撑用户的头部；所述眼睑实时定位模块用于实时识别与定位用户的上下眼睑的实时位姿；所述机器人末端执行器实时定位模块用于重构机器人软体末端执行器的实时形态和位姿；所述眼睑自动翻开操作模块包含机器人本体和机器人控制系统，所述机器人本体设置多轴刚体机械臂和软体末端执行器，所述机器人控制系统以用户上下眼睑的实时位姿为运动目标、以软体末端执行器的实时形态和位姿作为反馈信息控制机器人本体运动，以完成用户眼睑自动翻开动作。

根据本发明的第二方面，提供一种利用上述装置实现眼睑翻开方法，该方法包括以下步骤：

实时识别与定位用户的上下眼睑的实时位姿；

获取所述软体末端执行器的实时形态和位姿；

以用户上下眼睑的实时位姿为运动目标、以软体末端执行器的实时形态和位姿作为反馈信息控制所述机器人本体运动，以完成用户眼睑自动翻开动作。

与现有技术相比，本发明的优点在于，与人工手动操作相比，可快速精准地翻开患者的眼睑，有效降低眼科医护人员负担和治疗成本，提高眼科治疗效率，并降低医患双方交叉感染的可能。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的用于眼睑翻开的软体装置的应用场景示意图；

图2是根据本发明一个实施例的头部支撑模块的结构示意图；

图3是根据本发明一个实施例的眼睑定位总体过程示意图；

图4是根据本发明一个实施例的软体末端执行器定位总体过程示意图；

图5是根据本发明一个实施例的机器人控制系统实现眼睑翻开操作的总体流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

参见图1所示，所提供的用于眼睑翻开的软体装置包括头部支撑模块110(或称头部支撑组件)、眼睑实时定位模块120、机器人末端执行器实时定位模块130和眼睑自动翻开操作模块140。

头部支撑模块110用于支撑固定患者的头部，防止患者在眼睛清洗过程中头部出现大幅运动。

眼睑实时定位模块120利用多目视觉信息实时识别与定位患者的上下眼睑位姿。

机器人末端执行器实时定位模块130用于利用多目视觉信息实时重构软体机器人末端执行器的形态及位姿。

眼睑自动翻开操作模块140包括机器人本体和机器人控制系统。机器人本体包含多轴刚体机械臂和软体末端执行器。机器人控制系统以患者眼睑的实时位姿为运动目标、以软体末端执行器的实时形态及位姿信息为反馈信息控制机器人本体运动，完成患者眼睑自动翻开动作。

具体地，头部支撑模块通过下颌托板与额托支撑固定患者的头部，防止在眼睛清洗过程中头部出现大幅运动，如图2所示，头部支撑模块包括两个侧支撑部件210和220、下颌托板240、额托230和底座250。下颌托板240的两端分别附接侧支撑部件210和220，并构造为环绕用户颈部、保持用户下颌并对其提供支撑。额托230同样附接两个侧支撑部件210和220，并构造为环绕患者头部并保持固定头部。底座250结合侧支撑件210和220，用于形成头部支撑模块的整体框架。

需说明的是，头部支撑模块可具有各种不同形状的整体框架。例如包括大致正方形、矩形、梯形等、或者其他规则或不规则的多边形形状。

眼睑实时定位模块120采用视觉检测方法实时检测眼睑的位姿，总体方案如图3所示。眼睛清洗过程中不可避免的对相机造成遮挡，优选地，采用多目视觉，设置多个相机从不同角度拍摄眼睑图像。对于每个相机获取的图像，采用目标检测算法(例如YOLO v3等)提取患者的眼睛位置，进而根据眼睛与眼睑的相对位置、眼睑形状等特征计算得到眼睑位姿。例如，从两个以上相机的图像中得到同一眼睑的位置后，结合相机标定参数、利用多目立体视觉的原理计算得到目标眼睑的三维位姿，该三维位姿用于指示眼睑的位置和方向。其中，相机标定参数包括各相机的内部参数和不同相机间的外部参数，可利用张正友标定法等方法获得。在上述过程中，各个相机同步动态地采集图像，从而实现眼睑的实时定位。

机器人末端执行器实时定位模块130用于对软体机器人末端执行器进行实时定位，以保证眼睑自动翻开过程软体机器人操作的精准性和安全性。如图4所示，仍采用与眼睑定位方法类似的多目视觉方案，对应每个相机获取的图像，利用基于颜色特征的阈值分割等方法提取软体机器人末端执行器的轮廓。然后，结合相机标定参数、利用多目立体视觉的原理可得到软体机器人末端执行器的位姿以及三维形态，实现末端执行器的定位。其中，相机标定参数包括各相机的内部参数和不同相机间的外部参数，可利用张正友标定法等方法得到。在上述过程中，各个相机同步动态地采集图像，从而实现软体末端执行器的实时定位。

在一个实施例中，机器人末端执行器的轮廓提取可在末端执行器上粘贴颜色或形状特征明显的标记物，通过提取标记物特征来确定末端执行器的轮廓。

眼睑自动翻开操作模块140包括机器人本体和机器人控制系统。机器人本体由多轴刚体机械臂和安装在其末端的软体末端执行器组成。多轴刚体机械臂可安装固定于治疗床或治疗椅上，也可安装固定在可移动平台上。软体末端执行器采用可贴合眼睑的结构设计，利用柔性软体可变形材料制备得到，并采用气动驱动等方式控制其运动。进一步地，软体末端执行器上集成柔性力传感器，可实时反馈软体末端执行器的受力信息。

在本发明实施例中，通过控制多轴刚体机械臂的移动能够保证机器人本体尽快移动到目标眼睑位置，通过在机械臂末端设置软体末端执行器并结合气动驱动方式能够保证眼睑翻开的精准性和患者的舒适度。此外，通过在软体末端执行器上设置柔性力传感器，结合受力信息的反馈，机器人控制系统能够及时、精准地调整对眼睑操作力度和角度等，以在快速完成眼睑翻开操作的前提下，为患者提供最大的舒适度并确保操作的安全性。

在一个实施例中，末端执行器构造为适于模拟手指翻开眼睑的操作。例如，末端执行器上设有一柔性指状凸起和一齿状凸起，通过控制指状凸起和齿状凸起的啮合时间、翻转角度、翻转力度等，将眼睑翻开，并且这种方式翻转的角度和速度易于精确掌握，从而降低了对眼球损伤的机率，提高了工作效率，减少了病人的痛苦。又如，末端执行器上设有弧状的开睑夹并连接转轴，通过控制转轴的转动，带动开脸夹执行翻开眼睑的操作。

图5是机器人控制系统控制机器人本体完成眼睑翻开操作的总体流程。具体地，控制系统以眼睑实时定位模块提取到的患者眼睑实时位姿为操作目标，以软体末端执行器位姿与形态以及软体末端执行器的受力信息作为反馈信号，利用运动规划与控制算法求解出机器人的运动参数，这些运动参数用于限定机器人本体的移动。最后，控制系统中的驱动器以机器人运动参数为输入，通过控制机器人本体中相应的电机和气压阀等底层机构来驱动机器人运动。

应理解的是，为了控制机器人根据要求完成眼睑翻开任务，需要确定机器人和外部环境的相对位置关系，特别是机器人的末端执行器的位置和姿态。如果一个机器人的构型已经确定，其组成部件的几何信息和关节信息是已知的，求解机器人末端执行器相对于参考坐标系的位姿，可控制机器人实现期望的操作。本文对驱动机器人运动的具体过程不再赘述。

需说明的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行适当的改变和变型。例如，眼睑实时定位模块和机器人末端执行器实时定位模块所用视觉传感器可以是深度相机或者RGB-D相机(彩色-深度相机)等。所涉及的实时眼睑位置提取、末端执行器轮廓提取以及多目相机的标定也可采用其他的图像处理算法实现。

本发明的机器人控制系统可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种用于眼睑翻开的软体装置，包括：头部支撑模块、眼睑实时定位模块、机器人末端执行器实时定位模块和眼睑自动翻开操作模块，其中：所述头部支撑模块用于支撑用户的头部；所述眼睑实时定位模块用于实时识别与定位用户的上下眼睑的实时位姿；所述机器人末端执行器实时定位模块用于重构机器人软体末端执行器的实时形态和位姿；所述眼睑自动翻开操作模块包含机器人本体和机器人控制系统，所述机器人本体设置多轴刚体机械臂和软体末端执行器，所述机器人控制系统以用户上下眼睑的实时位姿为运动目标、以软体末端执行器的实时形态和位姿作为反馈信息控制机器人本体运动，以完成用户眼睑自动翻开动作；

其中，所述软体末端执行器采用贴合眼睑结构的柔性软体可变形材料制备并设置在所述多轴刚体机械臂的末端，并且所述软体末端执行器被设置为采用气动驱动方式控制以实现眼睑翻开动作；

其中，所述机器人末端执行器实时定位模块执行以下步骤：

获取来自于不同角度的多个相机所拍摄的软体末端执行器图像；

对应每个相机获取的图像，利用末端执行器轮廓与周围领域的颜色特征的区别阈值分割出软体末端执行器的轮廓；

对于多个相机得到的软体末端执行器的轮廓，结合相机标定参数并利用多目立体视觉原理得到软体末端执行器的位姿以及三维形态，以实现软体末端执行器的定位；

其中，所述软体末端执行器上集成柔性力传感器，用于将所述软体末端执行器的受力信息实时反馈至所述机器人控制系统，所述机器人控制系统结合该受力信息调整所述软体末端执行器的操作力度，

其中，所述软体末端执行器上设有标记物，通过提取标记物的特征来确定该软体末端执行器的轮廓。

2.根据权利要求1所述的用于眼睑翻开的软体装置，其中，所述头部支撑模块包括两个侧支撑部件、下颌托板、额托和底座，所述下颌托板与所述两个侧支撑部件附接并构造为环绕颈部、对下颌提供支撑，所述额托与所述两个侧支撑部件附接，并构造为固定环绕头部、保持头部处于期望的姿势，所述底座结合所述两个侧支撑件形成用于头部支撑的整体框架。

3.根据权利要求1所述的用于眼睑翻开的软体装置，其中，所述眼睑实时定位模块执行以下步骤：

获取来自于不同角度的多个相机所拍摄的用户眼睛图像，分别提取对应的眼睛位置信息；

利用眼睛与眼睑的相对位置特征以及眼睑的形状特征计算得到眼睑位置信息；

对于多个相机得到的同一眼睑位置信息，结合相机标定参数并利用多目立体视觉原理计算得到目标眼睑的三维位姿，该三维位姿用于限定眼睑的位置和方向。

4.根据权利要求3所述的用于眼睑翻开的软体装置，其中，所述相机标定参数包括各相机的内部参数和不同相机间的外部参数。

5.根据权利要求1所述的用于眼睑翻开的软体装置，其中，所述多轴刚体机械臂构造为安装固定于治疗床、治疗椅或可移动平台上。

6.一种基于权利要求1至5任一项所述的软体装置的眼睑翻开方法，包括以下步骤：

实时识别与定位用户的上下眼睑的实时位姿；

获取所述软体末端执行器的实时形态和位姿；

以用户上下眼睑的实时位姿为运动目标、以软体末端执行器的实时形态和位姿作为反馈信息控制所述机器人本体运动，以完成用户眼睑自动翻开动作。

7.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求6所述的方法的步骤。

Images