CN113100944B - 手术环境的构建方法、机器人控制方法和系统 - Google Patents

Abstract

本申请涉及一种手术环境的构建方法、机器人控制方法和系统。所述方法包括：建立数据采集设备与手术机器人之间的相对位置关系；通过所述数据采集设备对所述手术环境进行多次数据采集，得到所述手术环境在采集设备坐标系下的多个部分环境数据；根据所述数据采集设备与手术机器人之间的相对位置关系和所述手术环境在采集设备坐标系下的多个部分环境数据，确定所述手术环境在机器人坐标系下的多个部分环境数据；根据所述手术环境在机器人坐标系下的多个部分环境数据，构建所述手术环境在机器人坐标系下的整体环境数据；其中，所述整体环境数据包括所述手术环境中多个对象的空间位置。采用本方法能够避免手术机器人的机械臂发生碰撞。

Description

手术环境的构建方法、机器人控制方法和系统

技术领域

本申请涉及手术机器人技术领域，特别是涉及一种手术环境的构建方法、机器人控制方法和系统。

背景技术

机器人手术系统是集多项现代高科技手段于一体的综合体，在世界微创外科领域是当之无愧的革命性外科手术工具。

相关技术中，手术机器人的机器臂末端安装有手术工具，医生远离手术台操纵手术机器人的机器臂，使得手术工具可以在患者身体上切开的微小创口，并探入患者身体内对病灶进行手术操作。

但是，手术机器人通常具有多个机械臂，因此，如何避免多个机械臂在运动过程中互相碰撞或者与手术台、患者发生碰撞，就成为了亟待解决的技术问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够避免手术机器人的多个机械臂在运动过程中发生碰撞的手术环境的构建方法、机器人控制方法和系统。

一种手术环境的构建方法，该方法包括：

建立数据采集设备与手术机器人之间的相对位置关系；

通过数据采集设备对手术环境进行多次数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据；

根据数据采集设备与手术机器人之间的相对位置关系和手术环境在采集设备坐标系下的多个部分环境数据，确定手术环境在机器人坐标系下的多个部分环境数据；

根据手术环境在机器人坐标系下的多个部分环境数据，构建手术环境在机器人坐标系下的整体环境数据；其中，整体环境数据包括手术环境中多个对象的空间位置。

在其中一个实施例中，上述通过数据采集设备对手术环境进行多次数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据，包括：

通过数据采集设备对手术环境进行第一次数据采集，得到采集设备坐标系下的第一个部分环境数据；数据采集设备在对手术环境进行第一次数据采集时的位姿与建立相对位置关系时的位姿相同；

对数据采集设备进行多次位姿调整，并在每次调整后通过数据采集设备进行数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据。

在其中一个实施例中，上述根据数据采集设备与手术机器人之间的相对位置关系和手术环境在采集设备坐标系下的多个部分环境数据，确定手术环境在机器人坐标系下的多个部分环境数据，包括：

根据每相邻两个采集设备坐标系下的部分环境数据，确定数据采集设备每次调整的位姿变化信息；

根据相对位置关系和数据采集设备每次调整的位姿变化信息确定数据采集设备每次调整后在机器人坐标系下的位姿；

根据数据采集设备每次调整后在机器人坐标系下的位姿对相应的采集设备坐标系下的部分环境数据进行变换处理，得到手术环境在机器人坐标系下的多个部分环境数据。

在其中一个实施例中，上述根据手术环境在机器人坐标系下的多个部分环境数据，构建手术环境在机器人坐标系下的整体环境数据，包括：

在每次数据采集后，对已获得的机器人坐标系下的多个部分环境数据进行拼接处理得到拼接环境数据；

在每次拼接后，确定拼接环境数据是否覆盖手术环境；

若确定拼接环境数据覆盖手术环境，则根据机器人坐标系下的第一个部分环境数据和最后一个部分环境数据进行回环检测得到回环检测结果；回环检测结果为是否实现回环；

若回环检测结果为实现回环，则对拼接环境数据进行优化处理得到手术环境在机器人坐标系下的整体环境数据。

在其中一个实施例中，上述在每次拼接后，确定拼接环境数据是否覆盖手术环境，包括：

将拼接环境数据与预先获取到的手术环境信息进行比较；

若拼接环境数据包含手术环境信息中的必要元素，则确定拼接环境数据覆盖手术环境。

在其中一个实施例中，上述建立数据采集设备与手术机器人之间的相对位置关系，包括：

通过数据采集设备对标定部件进行数据采集，得到标定部件在采集设备坐标系中的第一空间位置；

根据预先获取到的标定部件在机器人坐标系中的第二空间位置和第一空间位置，建立数据采集设备与手术机器人之间的相对位置关系；

其中，标定部件预先安装在手术机器人的机械臂末端。

在其中一个实施例中，上述根据预先获取到的标定部件在机器人坐标系中的第二空间位置和第一空间位置，建立数据采集设备与手术机器人之间的相对位置关系，包括：

根据第一空间位置确定数据采集设备在标定部件坐标系中的第三空间位置；

根据标定部件在机器人坐标系中的第二空间位置和数据采集设备在标定部件坐标系中的第三空间位置，计算出数据采集设备在机器人坐标系中的第四空间位置，建立数据采集设备与手术机器人之间的相对位置关系。

一种机器人控制方法，该机器人控制方法包括：

获取手术环境数据；

根据手术环境数据，控制手术机器人的机械臂进行初始摆位；

其中，手术环境数据为手术环境在机器人坐标系下的整体环境数据；

整体环境数据采用上述手术环境的构建方法构建。

在其中一个实施例中，该机器人控制方法还包括：

根据手术环境在机器人坐标系下的整体环境数据，控制手术机器人进行碰撞检测得到碰撞检测结果；

根据碰撞检测结果控制手术机器人的机械臂进行相应操作。

一种手术环境的构建装置，该装置包括：

关系建立模块，用于建立数据采集设备与手术机器人之间的相对位置关系；

数据采集模块，用于通过数据采集设备对手术环境进行多次数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据；

数据确定模块，用于根据数据采集设备与手术机器人之间的相对位置关系和手术环境在采集设备坐标系下的多个部分环境数据，确定手术环境在机器人坐标系下的多个部分环境数据；

环境构建模块，用于根据手术环境在机器人坐标系下的多个部分环境数据，构建手术环境在机器人坐标系下的整体环境数据；其中，整体环境数据包括手术环境中多个对象的空间位置。

在其中一个实施例中，上述数据采集模块包括：

第一数据采集子模块，用于通过数据采集设备对手术环境进行第一次数据采集，得到采集设备坐标系下的第一个部分环境数据；数据采集设备在对手术环境进行第一次数据采集时的位姿与建立相对位置关系时的位姿相同；

第二数据采集子模块，用于对数据采集设备进行多次位姿调整，并在每次调整后通过数据采集设备进行数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据。

在其中一个实施例中，上述数据确定模块包括：

位姿变化确定子模块，用于根据每相邻两个采集设备坐标系下的部分环境数据，确定数据采集设备每次调整的位姿变化信息；

位姿确定子模块，用于根据相对位置关系和数据采集设备每次调整的位姿变化信息确定数据采集设备每次调整后在机器人坐标系下的位姿；

数据确定子模块，用于根据数据采集设备每次调整后在机器人坐标系下的位姿对相应的采集设备坐标系下的部分环境数据进行变换处理，得到手术环境在机器人坐标系下的多个部分环境数据。

在其中一个实施例中，上述环境构建模块包括：

数据拼接子模块，用于在每次数据采集后，对已获得的机器人坐标系下的多个部分环境数据进行拼接处理得到拼接环境数据；

覆盖确定子模块，用于在每次拼接后，确定拼接环境数据是否覆盖手术环境；

回环检测子模块，用于若确定拼接环境数据覆盖手术环境，则根据机器人坐标系下的第一个部分环境数据和最后一个部分环境数据进行回环检测得到回环检测结果；回环检测结果为是否实现回环；

优化处理子模块，用于若回环检测结果为实现回环，则对拼接环境数据进行优化处理得到手术环境在机器人坐标系下的整体环境数据。

在其中一个实施例中，上述覆盖确定子模块，具体用于将拼接环境数据与预先获取到的手术环境信息进行比较；若拼接环境数据包含手术环境信息中的必要元素，则确定拼接环境数据覆盖手术环境。

在其中一个实施例中，上述关系建立模块包括：

位置确定子模块，用于通过数据采集设备对标定部件进行数据采集，得到标定部件在采集设备坐标系中的第一空间位置；

关系建立子模块，用于根据预先获取到的标定部件在机器人坐标系中的第二空间位置和第一空间位置，建立数据采集设备与手术机器人之间的相对位置关系；

其中，标定部件预先安装在手术机器人的机械臂末端。

在其中一个实施例中，上述关系建立子模块，具体用于根据第一空间位置确定数据采集设备在标定部件坐标系中的第三空间位置；根据标定部件在机器人坐标系中的第二空间位置和数据采集设备在标定部件坐标系中的第三空间位置，计算出数据采集设备在机器人坐标系中的第四空间位置，建立数据采集设备与手术机器人之间的相对位置关系。

一种机器人控制系统，机器人控制系统包括计算机设备、数据采集设备、位姿调整设备和手术机器人；

计算机设备，用于控制数据采集设备、位姿调整设备和手术机器人，执行如上述方法的步骤；

数据采集设备，用于在计算机设备的控制下，对手术环境进行数据采集；

位姿调整设备，用于在计算机设备的控制下，调整数据采集设备的位姿；

手术机器人，用于在计算机设备的控制下，对机械臂进行初始摆位和操控。

上述手术环境的构建方法、机器人控制方法和系统中，计算机设备建立数据采集设备与手术机器人之间的相对位置关系；通过数据采集设备对手术环境进行多次数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据；根据数据采集设备与手术机器人之间的相对位置关系和手术环境在采集设备坐标系下的多个部分环境数据，确定手术环境在机器人坐标系下的多个部分环境数据；根据手术环境在机器人坐标系下的多个部分环境数据，构建手术环境在机器人坐标系下的整体环境数据。通过本公开实施例，计算机构建了机器人坐标系下的手术环境，可以使手术机器人在手术过程中自适应感知环境，进而可以很好地控制机械臂，避免机械臂互相碰撞或与手术台、患者发生碰撞。

附图说明

图1为一个实施例中手术环境的构建方法的应用环境图；

图2为一个实施例中手术环境的构建方法的流程示意图；

图3为一个实施例中得到采集设备坐标系下多个部分环境数据步骤的流程示意图；

图4为一个实施例中位姿调整的示意图；

图5为一个实施例中得到机器人坐标系下多个部分环境数据步骤的流程示意图；

图6为一个实施例中构建机器人坐标系下整体环境数据步骤的流程示意图；

图7为一个实施例中回环检测的示意图；

图8为一个实施例中建立相对位置关系步骤的流程示意图；

图9为一个实施例中设置标定部件的示意图；

图10为一个实施例中机器人控制方法的流程示意图之一；

图11为一个实施例中机器人控制方法的流程示意图之二；

图12为一个实施例中手术环境的构建装置的结构框图；

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的手术环境的构建方法，可以应用于如图1所示的应用环境中。该应用环境包括计算机设备101、数据采集设备102、位姿调整设备103和手术机器人104；其中，计算机设备101分别与数据采集设备102、位姿调整设备103和手术机器人104通过网络进行通信。上述计算机设备101可以但不限于是各种个人计算机、笔记本电脑、平板电脑；上述数据采集设备102可以但不限于三维感知相机；上述位姿调整设备可以但不限于数字云台。

在一个实施例中，如图2所示，提供了一种手术环境的构建方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

步骤201，建立数据采集设备与手术机器人之间的相对位置关系。

预先在手术机器人上设置标定部件。计算机设备控制数据采集设备对标定部件进行数据采集，得到标定部件在采集设备坐标系中的位置。同时，标定部件设置在手术机器人上，计算机设备也可以获知标定部件在机器人坐标系中的位置。之后，计算机设备可以根据标定部件在采集设备坐标系中的位置和标定部件在机器人坐标系中的位置进行换算，得到数据采集设备与手术机器人之间的相对位置关系。

上述标定部件可以包括网格板、二维码、编码点阵、编码同心圆中的至少一种，本公开实施例对标定部件不做限定。

上述数据采集设备可以包括三维感知相机，因此数据采集设备采集到的可以包括图像数据和包含深度信息的点云数据。本公开实施例对此不做限定。

步骤202，通过数据采集设备对手术环境进行多次数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据。

为了覆盖整个手术环境，计算机设备控制数据采集设备对手术环境进行多次数据采集，每次采集得到手术环境的一部分信息。例如，数据采集设备对手术机器人、手术台、手术对象等进行第一次数据采集得到一个采集设备坐标系下的部分环境数据；调整数据采集设备的俯仰角后，计算机设备控制数据采集设备进行第二次数据采集得到另一个采集设备坐标系下的部分环境数据。

数据采集设备在每次数据采集后，将采集到的数据发送到计算机设备，则计算机设备可以得到手术环境在采集设备坐标系下的多个部分环境数据。

步骤203，根据相对位置关系和手术环境在采集设备坐标系下的多个部分环境数据，确定手术环境在机器人坐标系下的多个部分环境数据。

计算机设备已获得数据采集设备和手术机器人之间的相对位置关系，以及手术环境在采集设备坐标系下的多个部分环境数据。根据相对位置关系将采集设备坐标系下的每个部分环境数据均映射到机器人坐标系下，就可以得到机器人坐标系下的多个部分环境数据。

步骤204，根据手术环境在机器人坐标系下的多个部分环境数据，构建手术环境在机器人坐标系下的整体环境数据。

其中，整体环境数据包括手术环境中多个对象的空间位置。手术环境在机器人坐标系下的整体环境数据包括手术环境中多个对象在机器人坐标系下的空间位置。

计算机设备得到手术环境在机器人坐标系下的多个部分环境数据后，对机器人坐标系下的多个部分环境数据进行拼接处理，即可构建出手术环境在机器人坐标系下的整体环境数据。本公开实施例对拼接处理不做限定，可以根据实际情况进行设置。

上述手术环境的构建方法中，计算机设备建立数据采集设备与手术机器人之间的相对位置关系；通过数据采集设备对手术环境进行多次数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据；根据数据采集设备与手术机器人之间的相对位置关系和手术环境在采集设备坐标系下的多个部分环境数据，确定手术环境在机器人坐标系下的多个部分环境数据；根据手术环境在机器人坐标系下的多个部分环境数据，构建手术环境在机器人坐标系下的整体环境数据。通过本公开实施例，计算机构建了机器人坐标系下的手术环境，可以使手术机器人在手术过程中自适应感知环境，进而可以很好地控制机械臂，避免机械臂互相碰撞或与手术台、患者发生碰撞。

在一个实施例中，如图3所示，上述通过数据采集设备对手术环境进行多次数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据的步骤，可以包括：

步骤2021，通过数据采集设备对手术环境进行第一次数据采集，得到采集设备坐标系下的第一个部分环境数据。

其中，数据采集设备在对手术环境进行第一次数据采集时的位姿与建立相对位置关系时的位姿相同。

计算机设备先通过数据采集设备对标定部件进行数据采集，根据采集到的数据建立数据采集设备与手术机器人之间的相对位置关系。之后，将标定部件从手术机器人上拆除，计算机设备控制数据采集设备在相同位姿下，对手术环境进行第一次数据采集，得到采集设备坐标系下的第一个部分环境数据。

可以理解地，采集设备坐标系下的第一个部分环境数据只是不再包含标定部件，手术环境中的其他对象在采集设备坐标系中的位置与在机器人坐标系中的位置仍具有对应关系。

步骤2022，对数据采集设备进行多次位姿调整，并在每次调整后通过数据采集设备进行数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据。

其中，位姿包括位置和姿态，姿态包括俯仰角、偏航角和方位角。本公开实施例对位姿不做限定。

第一次数据采集后，计算机设备控制位姿调整设备对数据采集设备进行多次位姿调整。如图4所示，位姿调整设备为数字云台，数据采集设备为三维感知相机，计算机设备控制数字云台调整三维感知相机的高度；或者，计算机设备控制数字云台调整三维感知相机的俯仰角。其中，数字云台包括自由关节，调整自由关节即可调整三维感知相机的姿态。在实际应用中，还可以设置位姿调整的最少次数，本公开实施例对此不做限定。

每次调整后，计算机设备控制数据采集设备进行数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据。

上述实施例中，计算机设备通过数据采集设备对手术环境进行第一次数据采集，得到采集设备坐标系下的第一个部分环境数据；对数据采集设备进行多次位姿调整，并在每次调整后通过数据采集设备进行数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据。通过本公开实施例，计算机设备获取采集设备坐标系下的多个部分环境数据，尽可能的覆盖手术环境，从而避免环境信息缺失，进而避免手术机器人的机械臂发生碰撞。

在一个实施例中，如图5所示，上述根据数据采集设备与手术机器人之间的相对位置关系和手术环境在采集设备坐标系下的多个部分环境数据，确定手术环境在机器人坐标系下的多个部分环境数据的步骤，可以包括：

步骤2031，根据每相邻两个采集设备坐标系下的部分环境数据，确定数据采集设备每次调整的位姿变化信息。

其中，位姿变化信息包括位置变化信息和姿态变化信息。

计算机设备获得采集设备坐标系下的多个部分环境数据后，可以根据第n个部分环境数据和第n-1个部分环境数据确定数据采集设备的位姿变化信息。

例如，第n个部分环境数据和第n-1个部分环境数据存在多个共视点，共视点可以包括手术床边缘直角、手术对象指尖、手术机器人关节上的螺丝等；通过共视点由视觉里程计(Visual Odometry)计算出数据采集设备的位姿变化信息，该位姿变化信息可以采用矩阵方式表示，记为

步骤2032，根据相对位置关系和数据采集设备每次调整的位姿变化信息确定数据采集设备每次调整后在机器人坐标系下的位姿。

第一次数据采集后，计算机设备可以获得数据采集设备在采集设备坐标系下的位姿；之后，计算机设备根据相对位置关系对采集设备坐标系下的位姿进行变换处理，得到数据采集设备在机器人坐标系下的位姿。

计算机设备在数据采集设备每次调整位姿后都可以得到调整前后位姿变化信息，根据调整前数据采集设备在机器人坐标系下的位姿和位姿变化信息，可以计算出调整后数据采集设备在机器人坐标系下的位姿。

例如，调整前数据采集设备在机器人坐标系下的位姿为T_n-1，位姿变化信息为

则调整后数据采集设备在机器人坐标系下的位姿为

在实际应用中，将数据采集设备第一次数据采集时在机器人坐标系下位姿作为参考位姿；在第二次数据采集后，计算机设备可以根据位姿变化信息和参考位姿，确定第二次数据采集时的位姿，即数据采集设备经过一次调整后的位姿。依次类推，可以将数据采集设备每一次调整后的位姿均以参考位姿和位姿变化信息表示。

步骤2033，根据数据采集设备每次调整后在机器人坐标系下的位姿对相应的采集设备坐标系下的部分环境数据进行变换处理，得到手术环境在机器人坐标系下的多个部分环境数据。

由于数据采集设备每次调整后都进行一次数据采集操作，因此，数据采集设备每次调整后的位姿和采集到的采集设备坐标系下的部分环境数据具有一一对应的关系。利用数据采集设备每次调整后在机器人坐标系下的位姿对相应的采集设备坐标系下的部分环境数据进行映射处理，可以得到手术环境在机器人坐标系下的多个部分环境数据。

例如，采集设备坐标系下的部分环境数据为P_n，位姿调整后数据采集设备在机器人坐标系下的位姿为T_n，则相应的手术环境在机器人坐标系下的部分环境数据为

上述实施例中，计算机设备根据每相邻两个采集设备坐标系下的部分环境数据，确定数据采集设备每次调整的位姿变化信息；根据相对位置关系和数据采集设备每次调整的位姿变化信息确定数据采集设备每次调整后在机器人坐标系下的位姿；根据数据采集设备每次调整后在机器人坐标系下的位姿对相应的采集设备坐标系下的部分环境数据进行变换处理，得到手术环境在机器人坐标系下的多个部分环境数据。通过本公开实施例，可以将采集设备坐标系下的部分环境数据映射到机器人坐标系下，从而得到机器人坐标系下的部分环境数据，为后续构建手术环境在机器人坐标系下的整体环境数据做准备。

在一个实施例中，如图6所示，上述根据手术环境在机器人坐标系下的多个部分环境数据，构建手术环境在机器人坐标系下的整体环境数据的步骤，可以包括：

步骤301，在每次数据采集后，对已获得的机器人坐标系下的多个部分环境数据进行拼接处理得到拼接环境数据。

在每次数据采集后，计算机设备对已获得的机器人坐标系下的多个部分环境数据进行拼接处理，得到拼接环境数据。其中，拼接处理可以是求和计算。

例如，已获得的机器人坐标系下的多个部分环境数据包括P₁T₁、P₂T₂、P₃T₃……P_nT_n，则拼接环境数据为

步骤302，在每次拼接后，确定拼接环境数据是否覆盖手术环境。

每次拼接后，计算机设备判断拼接环境数据是否覆盖手术环境。如果拼接环境数据已覆盖手术环境，则可以停止数据采集；如果拼接环境数据未覆盖手术环境，则需要控制数据采集设备进行下一次数据采集。

在其中一个实施例中，如果拼接环境数据未覆盖手术环境，计算机设备可以计算出未覆盖区域，根据未覆盖区域控制位姿调整设备调整数据采集设备的位姿，控制数据采集设备进行下一次数据采集。

在其中一个实施例中，上述判断拼接环境数据是否覆盖手术环境，可以包括：将拼接环境数据与预先获取到的手术环境信息进行比较；若拼接环境数据包含手术环境信息中的必要元素，则确定拼接环境数据覆盖手术环境。

其中，手术环境信息中的必要元素可以包括手术对象、无菌布、手术台中的至少一种。

例如，判断拼接环境数据中是否已包含手术对象、无菌布和手术台，如果均包含，则表明拼接环境数据已覆盖手术环境；如果缺少手术对象、无菌布和手术台中一种或多种，则表明拼接环境数据未覆盖手术环境。

步骤303，若确定拼接环境数据覆盖手术环境，则根据第一个部分环境数据和最后一个部分环境数据进行回环检测得到回环检测结果。

其中，回环检测结果为是否实现回环。

计算机设备确定拼接环境数据已覆盖手术环境后，由于视觉里程计计算出来的位姿存在误差，多次计算后就会导致误差累积，因此还需要进行回环检测。如图7所示，回环检测的过程可以包括：计算第一个部分环境数据与最后一个部分环境数据之间的数据重复度；若数据重复度大于预设重复度阈值，则确定回环检测结果为实现回环。

如果回环检测结果为未实现回环，表明第一个部分环境数据与最后一个部分环境数据之间的数据重复度低，需要数据采集设备继续进行数据采集。

可以理解地，回环检测可以消除视觉里程计的累计误差，提高对手术环境的建模精度。

步骤304，若回环检测结果为实现回环，则对拼接环境数据进行优化处理得到手术环境在机器人坐标系下的整体环境数据。

计算机设备确定已实现回环后，对拼接环境数据中的每个部分环境数据进行优化处理，得到手术环境在机器人坐标系下的整体环境数据。

上述实施例中，计算机设备在每次数据采集后，对已获得的机器人坐标系下的多个部分环境数据进行拼接处理得到拼接环境数据；在每次拼接后，确定拼接环境数据是否覆盖手术环境；若确定拼接环境数据覆盖手术环境，则根据机器人坐标系下的第一个部分环境数据和最后一个部分环境数据进行回环检测得到回环检测结果；回环检测结果为是否实现回环；若回环检测结果为实现回环，则对拼接环境数据进行优化处理得到手术环境在机器人坐标系下的整体环境数据。通过本公开实施例，计算机设备确定拼接环境数据是否覆盖手术环境，并进行回环检测，就是保证得到的整体环境数据是完整的，避免因数据缺失而导致手术机器人的机械臂发生碰撞。

在一个实施例中，如图8所示，上述建立数据采集设备与手术机器人之间的相对位置关系的步骤，可以包括：

步骤401，通过数据采集设备对标定部件进行数据采集，得到标定部件在采集设备坐标系中的第一空间位置。

如图9所示，标定部件预先安装在手术机器人的机械臂末端；三维感知相机对标定部件进行数据采集。

步骤402，根据预先获取到的标定部件在机器人坐标系中的第二空间位置和第一空间位置，建立数据采集设备与手术机器人之间的相对位置关系。

计算机设备获取到标定部件在采集设备坐标系中的第一空间位置，由于标定部件和数据采集设备的位置是相对应的，因此，可以根据第一空间位置确定数据采集设备在标定部件坐标系中的第三空间位置。接着，计算机设备可以根据标定部件在机器人坐标系中的第二空间位置和数据采集设备在标定部件坐标系中的第三空间位置，计算出数据采集设备在机器人坐标系中的第四空间位置，建立数据采集设备与手术机器人之间的相对位置关系。

例如，标定部件在采集设备坐标系中的第一空间位置为

则数据采集设备在标定部件坐标系中的第三空间位置为

标定部件在机器人坐标系中的第二空间位置为

第二空间位置可以由机器人正向运动学获得，则数据采集设备在机器人坐标系中的第四空间位置为

即建立了数据采集设备与手术机器人之间的相对位置关系。

上述实施例中，计算机设备通过数据采集设备对标定部件进行数据采集，得到标定部件在采集设备坐标系中的第一空间位置；根据预先获取到的标定部件在机器人坐标系中的第二空间位置和第一空间位置，建立数据采集设备与手术机器人之间的相对位置关系。通过本公开实施例，计算机设备建立了数据采集设备与手术机器人之间的相对位置关系，后续可以根据该相对位置关系将采集设备坐标系下的部分环境数据映射到机器人坐标系下，从而得到机器人坐标系下的手术环境。

在一个实施例中，如图10所示，提供了一种机器人控制方法，在上述实施例的基础上，该机器人控制方法可以包括以下步骤：

步骤501，获取手术环境数据。

其中，手术环境数据为手术环境在机器人坐标系下的整体环境数据，整体环境数据的构建参考上述实施例。

步骤502，根据手术环境数据，控制手术机器人的机械臂进行初始摆位。

计算机设备构建出手术环境在机器人坐标系下的整体环境数据后，整体环境数据中同时也包含了手术创口与手术机器人之间的相对位置关系。由于数据采集设备采集的数据同时包含了图像数据和深度信息，因此可以先根据图像数据识别出手术创口，再根据深度信息在整体环境数据中找到创口位置，进而根据创口位置执行摆位算法得到初始摆位，再控制手术机器人的机械臂运动到该初始摆位。

可以理解地，计算机设备在上述过程中，将手术环境的空间信息与手术机器人融合，可以很容易地找到创口位置，从而根据创口位置控制手术机器人的机械臂在手术前运动到一个较优的初始摆位，进而获得较好的机械臂运动空间。

在其中一个实施例中，如图11所示，还可以包括：

步骤503，根据手术环境在机器人坐标系下的整体环境数据，控制手术机器人进行碰撞检测得到碰撞检测结果。

计算机设备获取到手术环境在机器人坐标系下的整体环境数据，控制手术机器人进行碰撞检测，就是使机器人自适应感知手术环境。

上述碰撞检测可以采用GJK(Gilbert-Johnson-Keerthi Distance Algorithm)、SAT(Separating Axis Theorem)等算法，本公开实施例对此不做限定。

步骤504，根据碰撞检测结果控制手术机器人的机械臂进行相应操作。

上述实施例中，计算机设备可以根据手术环境在机器人坐标系下的整体环境数据控制手术机器人进行初始摆位和操作，可以为手术机器人提供一个较好的运动空间，并避免手术机器人的机械臂发生碰撞。

应该理解的是，虽然图2至图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图12所示，提供了一种手术环境的构建装置，包括：

关系建立模块601，用于建立数据采集设备与手术机器人之间的相对位置关系；

数据采集模块602，用于通过数据采集设备对手术环境进行多次数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据；

数据确定模块603，用于根据数据采集设备与手术机器人之间的相对位置关系和手术环境在采集设备坐标系下的多个部分环境数据，确定手术环境在机器人坐标系下的多个部分环境数据；

环境构建模块604，用于根据手术环境在机器人坐标系下的多个部分环境数据，构建手术环境在机器人坐标系下的整体环境数据；其中，整体环境数据包括手术环境中多个对象的空间位置。

在其中一个实施例中，上述数据采集模块602包括：

第一数据采集子模块，用于通过数据采集设备对手术环境进行第一次数据采集，得到采集设备坐标系下的第一个部分环境数据；数据采集设备在对手术环境进行第一次数据采集时的位姿与建立相对位置关系时的位姿相同；

第二数据采集子模块，用于对数据采集设备进行多次位姿调整，并在每次调整后通过数据采集设备进行数据采集，得到手术环境在采集设备坐标系下的多个部分环境数据。

在其中一个实施例中，上述数据确定模块603包括：

位姿变化确定子模块，用于根据每相邻两个采集设备坐标系下的部分环境数据，确定数据采集设备每次调整的位姿变化信息；

位姿确定子模块，用于根据相对位置关系和数据采集设备每次调整的位姿变化信息确定数据采集设备每次调整后在机器人坐标系下的位姿；

数据确定子模块，用于根据数据采集设备每次调整后在机器人坐标系下的位姿对相应的采集设备坐标系下的部分环境数据进行变换处理，得到手术环境在机器人坐标系下的多个部分环境数据。

在其中一个实施例中，上述环境构建模块604包括：

数据拼接子模块，用于在每次数据采集后，对已获得的机器人坐标系下的多个部分环境数据进行拼接处理得到拼接环境数据；

覆盖确定子模块，用于在每次拼接后，确定拼接环境数据是否覆盖手术环境；

回环检测子模块，用于若确定拼接环境数据覆盖手术环境，则根据机器人坐标系下的第一个部分环境数据和最后一个部分环境数据进行回环检测得到回环检测结果；回环检测结果为是否实现回环；

优化处理子模块，用于若回环检测结果为实现回环，则对拼接环境数据进行优化处理得到手术环境在机器人坐标系下的整体环境数据。

在其中一个实施例中，上述覆盖确定子模块，具体用于将拼接环境数据与预先获取到的手术环境信息进行比较；若拼接环境数据包含手术环境信息中的必要元素，则确定拼接环境数据覆盖手术环境。

在其中一个实施例中，上述关系建立模块601包括：

位置确定子模块，用于通过数据采集设备对标定部件进行数据采集，得到标定部件在采集设备坐标系中的第一空间位置；

关系建立子模块，用于根据预先获取到的标定部件在机器人坐标系中的第二空间位置和第一空间位置，建立数据采集设备与手术机器人之间的相对位置关系；

其中，标定部件预先安装在手术机器人的机械臂末端。

在其中一个实施例中，上述关系建立子模块，具体用于根据第一空间位置确定数据采集设备在标定部件坐标系中的第三空间位置；根据标定部件在机器人坐标系中的第二空间位置和数据采集设备在标定部件坐标系中的第三空间位置，计算出数据采集设备在机器人坐标系中的第四空间位置，建立数据采集设备与手术机器人之间的相对位置关系。

关于手术环境的构建装置的具体限定可以参见上文中对于手术环境的构建方法的限定，在此不再赘述。上述手术环境的构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图1所示，提供了一种机器人控制系统，机器人控制系统包括计算机设备、数据采集设备、位姿调整设备和手术机器人；

计算机设备，用于控制数据采集设备、位姿调整设备和手术机器人，执行上述实施例中的步骤；

数据采集设备，用于在计算机设备的控制下，对手术环境进行数据采集；

位姿调整设备，用于在计算机设备的控制下，调整数据采集设备的位姿；

手术机器人，用于在计算机设备的控制下，对机械臂进行初始摆位和操控

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种手术环境的构建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由计算机设备的处理器执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种机器人控制方法，其特征在于，所述方法包括：

获取手术环境数据；

根据所述手术环境数据，控制手术机器人的机械臂进行初始摆位；

其中，所述手术环境数据为手术环境在机器人坐标系下的整体环境数据；所述整体环境数据的构建过程包括：

建立数据采集设备与所述手术机器人之间的相对位置关系；

通过所述数据采集设备对所述手术环境进行多次数据采集，得到所述手术环境在采集设备坐标系下的多个部分环境数据；

根据所述数据采集设备与手术机器人之间的相对位置关系和所述手术环境在采集设备坐标系下的多个部分环境数据，确定所述手术环境在机器人坐标系下的多个部分环境数据；

根据所述手术环境在机器人坐标系下的多个部分环境数据，构建所述手术环境在机器人坐标系下的整体环境数据；其中，所述整体环境数据包括所述手术环境中多个对象的空间位置，所述对象包括手术创口；

所述根据所述手术环境数据，控制手术机器人的机械臂进行初始摆位，包括：

根据所述手术环境数据中所述手术创口的空间位置执行摆位算法得到初始摆位；

在手术前，控制所述手术机器人的机械臂运动到所述初始摆位，以获得机械臂运动空间。

2.根据权利要求1所述的方法，其特征在于，所述通过所述数据采集设备对所述手术环境进行多次数据采集，得到所述手术环境在采集设备坐标系下的多个部分环境数据，包括：

通过所述数据采集设备对所述手术环境进行第一次数据采集，得到所述采集设备坐标系下的第一个部分环境数据；所述数据采集设备在对所述手术环境进行第一次数据采集时的位姿与建立所述相对位置关系时的位姿相同；

对所述数据采集设备进行多次位姿调整，并在每次调整后通过所述数据采集设备进行数据采集，得到所述手术环境在采集设备坐标系下的多个部分环境数据。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据采集设备与手术机器人之间的相对位置关系和所述手术环境在采集设备坐标系下的多个部分环境数据，确定所述手术环境在机器人坐标系下的多个部分环境数据，包括：

根据每相邻两个采集设备坐标系下的部分环境数据，确定所述数据采集设备每次调整的位姿变化信息；

根据所述相对位置关系和所述数据采集设备每次调整的位姿变化信息确定所述数据采集设备每次调整后在机器人坐标系下的位姿；

根据所述数据采集设备每次调整后在机器人坐标系下的位姿对相应的采集设备坐标系下的部分环境数据进行变换处理，得到所述手术环境在机器人坐标系下的多个部分环境数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述手术环境在机器人坐标系下的多个部分环境数据，构建所述手术环境在机器人坐标系下的整体环境数据，包括：

在每次数据采集后，对已获得的机器人坐标系下的多个部分环境数据进行拼接处理得到拼接环境数据；

在每次拼接后，确定所述拼接环境数据是否覆盖所述手术环境；

若确定所述拼接环境数据覆盖所述手术环境，则根据机器人坐标系下的第一个部分环境数据和最后一个部分环境数据进行回环检测得到回环检测结果；所述回环检测结果为是否实现回环；

若所述回环检测结果为实现回环，则对所述拼接环境数据进行优化处理得到所述手术环境在机器人坐标系下的整体环境数据。

5.根据权利要求4所述的方法，其特征在于，所述在每次拼接后，确定所述拼接环境数据是否覆盖所述手术环境，包括：

将所述拼接环境数据与预先获取到的手术环境信息进行比较；

若所述拼接环境数据包含所述手术环境信息中的必要元素，则确定所述拼接环境数据覆盖所述手术环境。

6.根据权利要求1所述的方法，其特征在于，所述建立数据采集设备与手术机器人之间的相对位置关系，包括：

通过所述数据采集设备对标定部件进行数据采集，得到所述标定部件在所述采集设备坐标系中的第一空间位置；

根据预先获取到的所述标定部件在所述机器人坐标系中的第二空间位置和所述第一空间位置，建立所述数据采集设备与手术机器人之间的相对位置关系；

其中，所述标定部件预先安装在所述手术机器人的机械臂末端。

7.根据权利要求6所述的方法，其特征在于，所述根据预先获取到的所述标定部件在机器人坐标系中的第二空间位置和所述第一空间位置，建立所述数据采集设备与手术机器人之间的相对位置关系，包括：

根据所述第一空间位置确定所述数据采集设备在标定部件坐标系中的第三空间位置；

根据所述标定部件在所述机器人坐标系中的第二空间位置和所述数据采集设备在标定部件坐标系中的第三空间位置，计算出所述数据采集设备在所述机器人坐标系中的第四空间位置，建立所述数据采集设备与手术机器人之间的相对位置关系。

8.根据权利要求1所述的方法，其特征在于，所述机器人控制方法还包括：

根据所述手术环境在机器人坐标系下的整体环境数据，控制所述手术机器人进行碰撞检测得到碰撞检测结果；

根据所述碰撞检测结果控制所述手术机器人的机械臂进行相应操作。

9.一种机器人控制系统，其特征在于，所述机器人控制系统包括计算机设备、数据采集设备、位姿调整设备和手术机器人；

所述计算机设备，用于控制所述数据采集设备、所述位姿调整设备和所述手术机器人，执行如权利要求1-8任一项所述的方法；

所述数据采集设备，用于在所述计算机设备的控制下，对手术环境进行数据采集；

所述位姿调整设备，用于在所述计算机设备的控制下，调整所述数据采集设备的位姿；

所述手术机器人，用于在所述计算机设备的控制下，对机械臂进行初始摆位和操控。

Images