CN112894857B - 一种医院临床辅助机器人的控键方法 - Google Patents

Abstract

本发明涉及一种医院临床辅助机器人的控键方法，控键方法包括以下步骤：步骤①，机器人本体移动至作业位置并进入待机状态；步骤②，机械手进入搜索模式，以通过深度相机搜索控制面板；步骤③，深度相机搜索到控制面板后进行裁图，以生成虚拟控制界面并通过控制端显示模块播报；步骤④，用户在虚拟控制界面上选择操控键；机器人主控系统根据控制面板与虚拟控制界面之间的比例关系，确定虚拟控制界面上所选操控键在控制面板上的对应位置；步骤⑤，机械手触发对应的操控键；步骤⑥，机器人本体进入待机状态以等待下一项控制指令。本发明能由机器人触发所选择的操控键，实现对医疗器械的远程控制。

Description

一种医院临床辅助机器人的控键方法

技术领域

本发明涉及一种机器人，具体是一种医院临床辅助机器人的控键方法。

背景技术

部分特殊场所往往不建议人员逗留或频繁进出，如：重症监护室（ICU），隔离病房等，为了避免病人受到外界影响、以及尽量降低医护人员的感染风险，因此需要减少医护人员与病人的接触，但重症监护室、隔离病房等内部往往配备多种医疗器械以对病人进行生命体征检测和辅助急救等，而这些医疗器械又需要医护人员进行操作，这就一定程度上增加了医护人员与病人的接触。为此，有必要设计一种可触发医疗器械上的操控键的机器人。

发明内容

本发明的目的在于克服上述现有技术存在的不足，而提供一种医院临床辅助机器人的控键方法，本发明能根据医疗器械上的控制面板生成对应的虚拟控制界面，以便于用户通过虚拟控制界面选择需要触发的操控键，并由机器人触发所选择的操控键，实现对医疗器械的远程控制。

本发明的目的是这样实现的：

一种医院临床辅助机器人的控键方法，所述医院临床辅助机器人包括机器人本体、用于触发控制面板上的操控键的机械手、以及用于控制机器人本体和机械手的机器人主控系统；

所述控键方法包括以下步骤：

步骤①，机器人主控系统控制机器人本体移动至作业位置并进入待机状态；

步骤②，机器人主控系统控制机械手进入搜索模式，以通过机械手上的深度相机搜索医疗器械上的控制面板；

步骤③，深度相机搜索到控制面板后进行裁图，以生成虚拟控制界面并通过控制终端上的控制端显示模块播报；

步骤④，用户在虚拟控制界面上选择需要触发的操控键；机器人主控系统根据控制面板与虚拟控制界面之间的比例关系，确定虚拟控制界面上所选操控键在控制面板上的对应位置，以控制机械手移动至对应位置；

步骤⑤，机器人主控系统控制机械手触发对应的操控键，直至机械手反馈的控键反馈数据达到设定值，则控制机械手停止触发动作并离开操控键；

步骤⑥，机器人本体进入待机状态以等待下一项控制指令。

步骤③中，深度相机搜索到控制面板后，机器人主控系统从深度相机的视野划分出覆盖所述操控键的操控区域，并对所述操控区域进行裁图；所述机器人主控系统对裁图进行处理，以生成与所述操控区域对应且接近正投影形状的虚拟控制界面。

步骤④中，所述机器人主控系统通过深度相机测量出操控区域中至少一个参照物的实际尺寸，并根据虚拟控制界面中对应参照物的虚拟尺寸，计算出操控区域与虚拟控制界面之间的尺寸比例α；用户在虚拟控制界面上选择的虚拟目标的坐标为（x，y），机器人主控系统根据虚拟目标坐标（x，y）结合所述尺寸比例α，计算出操控区域上与虚拟目标对应的实物目标的坐标为（αx，αy）。

所述操控键包括触控键和/或旋钮键；所述机械手包括用于触发触控键的触控部件、用于检测触控部件按压作用力的伸缩力反馈模块、用于夹持旋钮键的夹紧部件、以及用于检测夹紧部件作用旋钮键旋转角度的横向驼机；所述伸缩力反馈模块和/或横向驼机连接机器人主控系统，机器人主控系统读取伸缩力反馈模块和/或横向驼机的检测数据。

当深度相机辨认到旋钮键时，虚拟控制界面在旋钮键对应位置生成辅助组合键和/或自定义栏；所述辅助组合键包括以设定单位逐级递加的递加键和/或以设定单位逐级递减的递减键；所述自定义栏供用户自定义输入相应数值；机器人主控系统根据用户通过辅助组合键和/或自定义栏输入的数据控制机械手触发旋钮键。

所述机器人主控系统上设置有图文识别模块，机器人本体通过图文识别模块识别控制面板上展示的图案和/或文字；确认所述机械手成功触发操控键后，机器人主控系统根据控制面板上展示的图案和/或文字判定医疗器械是否正常响应。

所述控制面板上设置有一块或两块以上识别码，识别码围出覆盖所述操控键的操控区域，机器人主控系统以操控区域作为目标区域进行裁图；所述机器人本体通过扫描一块或两块以上组合的识别码，以调取与该识别码配套的医疗器械的基本信息；所述基本信息包括医疗器械的名称型号、医学用途、控制面板的样式和注意事项。

当所述识别码设置一块时，识别码呈环形设置，环形的识别码内侧区域为所述操控区域；

当所述识别码设置两块、三块或四块时，以识别码为边或角围成的区域为所述操控区域。

步骤②中，所述深度相机搜索到识别码后计算控制面板的倾斜角度，机器人主控系统将机械手调整至与控制面板对应的倾斜角度，随后机械手再次进入搜索模式，以搜索全部识别码确认全部识别码进入深度相机的视野范围内，机器人主控系统控制机械手置中并对准控制面板。

所述控制端显示模块具有触控功能，用户直接触摸控制端显示模块以选择需要触发的操控键；或者，用户通过光标方式选择需要触发的操控键。

本发明的有益效果如下：

机械手通过搜索控制面板并生成相应的虚拟控制界面，而后用户可通过虚拟控制界面选择需要控制的操控键，机器人主控系统可计算出与虚拟控制界面上选择的操控键对应的位置、进而控制机械手移动至该位置并对该操控键实施触发；可见，用户通过本医院临床辅助机器人可有效的对医疗器械实施远程控制，本医院临床辅助机器人适用于部分不利于外界人员频繁进出的特殊场所，如重症监护室（ICU）、隔离病房等。具体有以下优点：

① 用户通过医院临床辅助机器人即可远程控制重症监护室（ICU）、隔离病房等中的医疗器械，避免病人受到外界影响，减少医护人员与病人的接触进而降低感染风险，使双方得到保护；

② 机器人通过搜索控制面板上的识别码以划分出覆盖操控键的操控区域，并生成相应的虚拟控制界面，对于机器人，无需重新编写与控制面板匹配的程序，制造成本低，操作难度小，通用性强；且识别码可通过多种方式设置于控制面板上，因此可应用于传统的医疗器械上，即无需专门生产相适应的医疗器械，有利于机器人的普及应用，用户无需熟悉新的医疗器械，操控简单；

③ 机械手设置了用于触发触控键的伸缩手指和/或用于触发旋钮键的夹紧手指，使机械手可触发市面上大部分类型的操控键，提高了机器人的通用性、适应性和实用性。

附图说明

图1为本发明一实施例的控制原理图。

图2为本发明一实施例的校正流程图。

图3为本发明一实施例中机器人搜索识别码的示意图。

图4为本发明一实施例中深度相机搜索控制面板的示意图。

图5为本发明一实施例中机械手调整倾斜角度的示意图。

图6为本发明一实施例中机械手的结构示意图。

图7为本发明一实施例中机械手移动至与需要控制的操控键对应的侧视图。

图8为本发明一实施例中机械手触发触控键的示意图。

图9为本发明一实施例中机械手移动至旋钮键对应位置的示意图。

图10为本发明一实施例中机械手触发旋钮键的示意图。

图11为本发明一实施例中机械手触发旋钮键的流程图。

图12为本发明一实施例中虚拟目标与实物目标之间位置关系的示意图。

图13为本发明一实施例中操控区域生成虚拟控制界面的示意图。

图14为本发明一实施例中机器人在重症监护室活动的示意图。

图15和图16分别为本发明中识别码不同设置方案下生成虚拟控制界面的示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述。

参见图1-图14，本实施例涉及的医院临床辅助机器人包括机器人本体1、用于触发控制面板6上的操控键7的机械手4、用于驱动机器人本体1移动的AGV小车2、以及用于控制机器人本体1和机械手4的机器人主控系统；AGV小车2设置于机器人本体1底部，AGV小车2沿设定的轨迹路线行驶，以将机器人本体1移动至作业位置K；机械手4通过机械臂3连接机器人本体1，机械臂3具有一定的活动度，以增加机械手4的可活动范围；为了便于用户观察机器人周围环境，机器人本体1上可设置摄像模块以获取周围环境的影像信息；

本实施例涉及的医院临床辅助机器人应用的控键方法包括以下步骤：

步骤①，机器人主控系统控制机器人本体1移动至作业位置K并进入待机状态，一般来说作业位置K设定为医疗器械Q附近（面前或侧部）；

步骤②，机器人主控系统控制机械手4进入搜索模式，以通过机械手4上的深度相机5搜索医疗器械Q上的控制面板6；

步骤③，深度相机5搜索到控制面板6后进行裁图，以生成虚拟控制界面12并通过控制终端上的控制端显示模块11播报；

步骤④，用户在虚拟控制界面12上选择需要触发的操控键7；机器人主控系统根据控制面板6与虚拟控制界面12之间的比例关系，确定虚拟控制界面12上所选操控键7在控制面板6上的对应位置，以控制机械手4移动至对应位置；

步骤⑤，机器人主控系统控制机械手4触发对应的操控键7，直至机械手4反馈的控键反馈数据达到设定值，则控制机械手4停止触发动作并离开操控键7；

步骤⑥，机器人本体1进入待机状态以等待下一项控制指令。

进一步地，步骤③中，深度相机5搜索到控制面板6后，机器人主控系统从深度相机5的视野划分出覆盖操控键7的操控区域10，并对操控区域10进行裁图；机器人主控系统对裁图进行拉伸和/或其他处理，以生成与操控区域10对应且接近正投影形状的虚拟控制界面12；本实施例中的虚拟控制界面12呈接近方正的矩形，便于用户选择需要触发的操控键7，同时便于机器人本体1分析确认用户在虚拟控制界面12选择的操控键7。

进一步地，步骤④中，机器人主控系统通过深度相机5测量出操控区域10中至少一个参照物的实际尺寸，并根据虚拟控制界面12中对应参照物的虚拟尺寸，计算出操控区域10与虚拟控制界面12之间的尺寸比例α；用户在虚拟控制界面12上选择的虚拟目标N的坐标为（x，y），机器人主控系统根据虚拟目标N坐标（x，y）结合尺寸比例α，计算出操控区域10上与虚拟目标N对应的实物目标M的坐标为（αx，αy）。具体地，在控制端显示模块11上设定用于显示虚拟控制界面12的界面区域，由于该界面区域的尺寸等是已知或可设定的，所以显示在界面区域中的虚拟控制界面12中各影像尺寸是可以计算出来的，而操控区域10中各实物的尺寸又可通过深度相机捕获并计算得出，即机器人主控系统通过简单的计算方式可有效得出虚拟目标N和实物目标M的坐标。

进一步地，操控键7包括触控键701和旋钮键702，触控键701包括按压键、薄膜键和虚拟键等；机械手4包括用于触发触控键701的触控部件401、用于检测触控部件401按压作用力的伸缩力反馈模块、用于夹持旋钮键702的夹紧部件402、以及用于检测夹紧部件402作用旋钮键702旋转角度的横向驼机403；伸缩力反馈模块和横向驼机403分别连接机器人主控系统，机器人主控系统读取伸缩力反馈模块和/或横向驼机403的检测数据；触控部件401、夹紧部件402和深度相机5分别固定设置于手部支架404上，以至于触控部件401和夹紧部件402分别随深度相机同步移动，手部支架404与连接部件406之间设置有横向驼机403和纵向驼机405，连接部件406连接机械臂3；此外，机械手4还包括用于检测作用于旋钮键702上的夹持力的夹紧力反馈模块。步骤⑤中的控键反馈数据指伸缩力反馈模块反馈的力数据、夹紧力反馈模块反馈的力数据、横向驼机反馈的电流数据、及纵向驼机反馈的电流数据中的一种或两种以上。

进一步地，当深度相机5辨认到旋钮键702时，虚拟控制界面12在旋钮键702对应位置生成辅助组合键（参见图12）和/或自定义栏；辅助组合键包括以设定单位逐级递加的递加键1202和以设定单位逐级递减的递减键1203；当递加键1202和递减键1203分别以角度为单位时，单击递加键1202或递减键1203时，机械手4驱动旋钮键702正转相应角度或者机械手4驱动旋钮键702反转相应角度，角度值可自定义；当递加键1202和递减键1203分别以等级为单位时，单击递加键1202或递减键1203时，机械手4驱动旋钮键702正转至相应等级或者机械手4驱动旋钮键702反转至相应等级。自定义栏供用户自定义输入相应数值，用户可直接输入角度或等级等，以控制机械手4转动旋钮键702至相应位置。机器人主控系统根据用户通过辅助组合键和/或自定义栏输入的数据控制机械手4触发旋钮键702。

进一步地，触控键701的触发流程：当深度相机5辨认到触控键701时，机器人主控系统根据指令控制触控部件401端部向前移动，当触控部件401端部触碰到触控键701且相应的控键反馈数据到达设定值时，机器人主控系统判断触控键701被触发并控制触控部件401复位等待下一项指令；

旋钮键702的触发流程：当深度相机5辨认到旋钮键702时，机器人主控系统根据指令控制夹紧部件402向前移动至适应位置并慢慢收紧，当夹紧部件402夹持旋钮键702且相应的控键反馈数据到达设定值（控键反馈数据与应收紧距离数据对应）时，机器人主控系统控制夹紧部件402停止收紧并根据要求指令通过夹紧部件402转动旋钮键702，实现触发动作，完成触发动作后夹紧部件402松开旋钮键702并复位等待下一项指令。

进一步地，机器人主控系统上设置有图文识别模块（图中未标示），机器人主控系统通过图文识别模块识别控制面板6上展示的图案和/或文字；确认机械手4成功触发操控键7后，机器人主控系统根据控制面板6上展示的图案和/或文字判定医疗器械Q是否正常响应。具体地，参见图13，当控制面板6带有用于播报相关数据和状态等信息的显示屏9时，可通过图文识别模块识别显示屏9上的图文信息，以便机器人实时监控医疗器械Q的工作情况，对于异常情况（如：病人状况出现异常，医疗器械Q出现异常等）可及时反馈；需要说明的是，图7-图10所展示的控制面板6与图13所展示的控制面板6样式不同，目的是为了展示多种样式的控制面板6，帮助说明适用的控制面板6不限于一种。

进一步地，控制面板6上设置有一块或两块以上识别码8，识别码8围出覆盖操控键7的操控区域10，机器人主控系统以操控区域10作为目标区域进行裁图；机器人本体1通过扫描一块或两块以上组合的识别码8（即可扫描任意一块识别码8或两块以上识别码8组合），以调取与该识别码8配套的医疗器械Q的基本信息；基本信息包括医疗器械Q的名称型号、医学用途、控制面板6的样式和注意事项等，通过调取医疗器械Q相关的基本信息，用户可确认所需控制的医疗器械Q，且可通过机器人查看相关的注意事项等信息，有助于用户更好的控制医疗器械Q。

进一步地，识别码8通过粘贴、印刷、屏幕显示等方式展示于控制面板6表面。其中，粘贴方式可适用于传统（现有）的医疗器械Q上，大大提升了机器人的通用性，避免了生产相适应医疗器械Q而产生的高额成本，用户无需适应新的医疗器械Q，所以操作方便简单；本实施例涉及的识别码8为aruco代码，如二维码等，识别码8的形状结构可根据实际需要作相应的变化。

进一步地，当识别码8设置一块时，识别码8呈环形设置，环形的识别码8内侧区域为操控区域10；当识别码8设置两块、三块或四块时，以识别码8为边或角围成的区域为操控区域10。具体地，参见图13，本实施例涉及的识别码8设置两块，两块识别码8分别位于矩形区域的对角位置上，以限定围出矩形的操控区域10。

进一步地，步骤②中，深度相机5搜索到识别码8后计算控制面板6的倾斜角度，机器人主控系统将机械手4调整至与控制面板6对应的倾斜角度，以垂直对准控制面板6，深度相机5同时计算机械手4与控制面板6之间的距离，进而确定触控部件401和夹紧部件402分别与控制面板6之间的距离；随后机械手4再次进入搜索模式，以搜索全部识别码8确认全部识别码8进入深度相机5的视野范围内，机器人主控系统控制机械手4置中并对准控制面板6。

进一步地，操控键7的选择方式至少有以下两种：①控制端显示模块11具有触控功能，用户直接触摸控制端显示模块11以选择需要触发的操控键7；②用户通过光标方式选择需要触发的操控键7，即控制端显示模块11中具有可移动的光标，光标的移动通过鼠标等控制。

鉴于识别码8的设置可以是多样的，下面对设置有不同识别码8的控制面板6做进一步说明：

参见图15，本方案中的识别码8呈封闭的环形（也可以是开放的环形）设置，识别码8内侧构成操控区域10；

参见图16，本方案中的识别码8设置四条，四条识别码8两两成对设置，四条识别码8共同围成操控区域10。

上述为本发明的优选方案，显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域的技术人员应该了解本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种医院临床辅助机器人的控键方法，所述医院临床辅助机器人包括机器人本体（1）、用于触发控制面板（6）上的操控键（7）的机械手（4）、以及用于控制机器人本体（1）和机械手（4）的机器人主控系统；

所述控键方法包括以下步骤：

步骤①，机器人主控系统控制机器人本体（1）移动至作业位置（K）并进入待机状态；

步骤②，机器人主控系统控制机械手（4）进入搜索模式，以通过机械手（4）上的深度相机（5）搜索医疗器械（Q）上的控制面板（6）；

步骤③，深度相机（5）搜索到控制面板（6）后进行裁图，以生成虚拟控制界面（12）并通过控制终端上的控制端显示模块（11）播报；

步骤④，用户在虚拟控制界面（12）上选择需要触发的操控键（7）；机器人主控系统根据控制面板（6）与虚拟控制界面（12）之间的比例关系，确定虚拟控制界面（12）上所选操控键（7）在控制面板（6）上的对应位置，以控制机械手（4）移动至对应位置；

步骤⑤，机器人主控系统控制机械手（4）触发对应的操控键（7），直至机械手（4）反馈的控键反馈数据达到设定值，则控制机械手（4）停止触发动作并离开操控键（7）；

步骤⑥，机器人本体（1）进入待机状态以等待下一项控制指令；

其特征在于：

步骤③中，深度相机（5）搜索到控制面板（6）后，机器人主控系统从深度相机（5）的视野划分出覆盖所述操控键（7）的操控区域（10），并对所述操控区域（10）进行裁图；所述机器人主控系统对裁图进行处理，以生成与所述操控区域（10）对应且接近正投影形状的虚拟控制界面（12）；

步骤④中，所述机器人主控系统通过深度相机（5）测量出操控区域（10）中至少一个参照物的实际尺寸，并根据虚拟控制界面（12）中对应参照物的虚拟尺寸，计算出操控区域（10）与虚拟控制界面（12）之间的尺寸比例α；用户在虚拟控制界面（12）上选择的虚拟目标（N）的坐标为（x，y），机器人主控系统根据虚拟目标（N）坐标（x，y）结合所述尺寸比例α，计算出操控区域（10）上与虚拟目标（N）对应的实物目标（M）的坐标为（αx，αy）；

所述控制面板（6）上设置有一块或两块以上识别码（8），识别码（8）围出覆盖所述操控键（7）的操控区域（10），机器人主控系统以操控区域（10）作为目标区域进行裁图；

步骤②中，所述深度相机（5）搜索到识别码（8）后计算控制面板（6）的倾斜角度，机器人主控系统将机械手（4）调整至与控制面板（6）对应的倾斜角度，随后机械手（4）再次进入搜索模式，以搜索全部识别码（8）确认全部识别码（8）进入深度相机（5）的视野范围内，机器人主控系统控制机械手（4）置中并对准控制面板（6）。

2.根据权利要求1所述医院临床辅助机器人的控键方法，其特征在于：所述操控键（7）包括触控键（701）和/或旋钮键（702）；所述机械手（4）包括用于触发触控键（701）的触控部件（401）、用于检测触控部件（401）按压作用力的伸缩力反馈模块、用于夹持旋钮键（702）的夹紧部件（402）、以及用于检测夹紧部件（402）作用旋钮键（702）旋转角度的横向驼机（403）；所述伸缩力反馈模块和/或横向驼机（403）连接机器人主控系统，机器人主控系统读取伸缩力反馈模块和/或横向驼机（403）的检测数据。

3.根据权利要求1所述医院临床辅助机器人的控键方法，其特征在于：当深度相机（5）辨认到旋钮键（702）时，虚拟控制界面（12）在旋钮键（702）对应位置生成辅助组合键和/或自定义栏；所述辅助组合键包括以设定单位逐级递加的递加键（1202）和/或以设定单位逐级递减的递减键（1203）；所述自定义栏供用户自定义输入相应数值；机器人主控系统根据用户通过辅助组合键和/或自定义栏输入的数据控制机械手（4）触发旋钮键（702）。

4.根据权利要求1所述医院临床辅助机器人的控键方法，其特征在于：所述机器人主控系统上设置有图文识别模块，机器人本体（1）通过图文识别模块识别控制面板（6）上展示的图案和/或文字；确认所述机械手（4）成功触发操控键（7）后，机器人主控系统根据控制面板（6）上展示的图案和/或文字判定医疗器械（Q）是否正常响应。

5.根据权利要求1所述医院临床辅助机器人的控键方法，其特征在于：所述机器人本体（1）通过扫描一块或两块以上组合的识别码（8），以调取与该识别码（8）配套的医疗器械（Q）的基本信息；所述基本信息包括医疗器械（Q）的名称型号、医学用途、控制面板（6）的样式和注意事项。

6.根据权利要求5所述医院临床辅助机器人的控键方法，其特征在于：

当所述识别码（8）设置一块时，识别码（8）呈环形设置，环形的识别码（8）内侧区域为所述操控区域（10）；

当所述识别码（8）设置两块、三块或四块时，以识别码（8）为边或角围成的区域为所述操控区域（10）。

7.根据权利要求1所述医院临床辅助机器人的控键方法，其特征在于：所述控制端显示模块（11）具有触控功能，用户直接触摸控制端显示模块（11）以选择需要触发的操控键（7）；或者，用户通过光标方式选择需要触发的操控键（7）。