CN116172718A - 手术机器人踏板指示方法、系统、可读介质及手术机器人 - Google Patents

Abstract

本发明提供一种手术机器人踏板指示方法、系统、可读介质及手术机器人，所述手术机器人踏板指示方法包括：获取踏板区域的三维图像；根据所述三维图像，识别得到踏板和目标对象；基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息；根据所述相对位置信息，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。如此配置，可以在目标对象(如医生的脚部)踩踏踏板前确认两者的相对位置，若目标对象在所述踏板的预触发区域内，则输出当前踏板的预触发信息，用户体验更好，且不影响医生原有的操作习惯，解决了医生踩踏位置不明确以及在使用时需要反复确认踩踏位置的问题。

Description

手术机器人踏板指示方法、系统、可读介质及手术机器人

技术领域

本发明涉及医疗器械技术领域，特别涉及一种手术机器人踏板指示方法、系统、可读介质及手术机器人。

背景技术

手术机器人系统的应用，解决了外科手术微创伤化及精细化的临床需求。一般地，手术机器人系统主要包括主端医生控制台和从端患者手术平台。手术时，医生在主端医生控制台处通过二维或三维的显示设备观察患者体内的组织特征，并以主从遥操作的方式操控主端医生控制台上的主操作手和踏板，通过主从映射驱动从端患者手术平台上的机械臂及手术工具器械来完成手术的操作。医生能够以与传统手术相似的方式及感觉来完成手术操作，大大减轻了医生进行手术时的困难程度，同时也提高了手术的效率和安全性，并使得远程手术的实现发生了突破性的进展。利用手术机器人系统进行手术，患者的创口小，出血少，恢复快，大大缩短了患者术后住院时间，术后存活率和康复率也能明显提高，受到广大医患的青睐，现在作为一种高端医疗器械，已广泛运用于各种临床手术中。

然而，手术机器人系统的主端医生控制台的踏板一般需要医生用脚踩踏，目前并没有有效的脚踏踩踏位置的指示方法，都是通过一定的物理布局以及在使用时通过医生低头查看的方式来反复查看来确认实际脚踏位置是否合适和正确。一些应用场景下，有可能出现误踏的情况，造成患者受伤害；此外医生反复查看踩踏位置的方式，也可能引起医生操作信心的不足，影响医生操作体验。

发明内容

本发明的目的在于提供一种手术机器人踏板指示方法、系统、可读介质及手术机器人，以解决现有的手术机器人系统无法对脚踏位置进行指示的问题。

为解决上述技术问题，本发明提供一种手术机器人踏板指示方法，其包括：

获取踏板区域的三维图像；

根据所述三维图像，识别得到踏板和目标对象；

基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息；

根据所述相对位置信息，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。

可选的，基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息的步骤包括：

将所述三维图像中的所述踏板和所述目标对象的影像依次通过像素坐标系、图像坐标系、相机坐标系和世界坐标系进行转换，分别得到所述踏板和所述目标对象在空间中的坐标信息；

根据所述踏板和所述目标对象在空间中的坐标信息得到所述踏板和所述目标对象在空间中的相对位置信息。

可选的，在所述手术机器人踏板指示方法中，连续地监测所述踏板区域，获取所述踏板区域的多帧的所述三维图像，并得到所述踏板和所述目标对象在空间中的实时的所述相对位置信息；

根据实时的所述相对位置信息，若所述目标对象自所述踏板的预触发区域外向所述预触发区域移动，并进入所述预触发区域，则输出当前所述踏板的预触发信息。

可选的，所述踏板区域具有高度边界和水平边界；

根据所述相对位置信息，若所述目标对象在所述高度边界和所述水平边界内，则于显示设备上显示提示信息；若所述目标对象在所述高度边界或所述水平边界外，则于所述显示设备上隐藏所述提示信息。

可选的，所述提示信息包括：所述目标对象和所述踏板的虚拟图像和/或所述预触发信息。

可选的，所述提示信息包括所述预触发信息，所述预触发区域相对于所述踏板具有第一高度边界、第二高度边界，其中第二高度边界相对所述第一高度边界更靠近所述踏板；

所述预触发信息包括第一信号和第二信号，若所述目标对象在所述第一高度边界内，则输出所述第一信号；若所述目标对象在所述第二高度边界内，则输出所述第二信号。

为解决上述技术问题，本发明还提供一种手术机器人踏板指示系统，其包括三维深度相机和控制装置；

所述三维深度相机用于获取踏板区域的三维图像，并传输至所述控制装置；

所述控制装置用于根据获取的所述三维图像，识别得到踏板和目标对象；并基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息；

所述控制装置还用于根据所述相对位置信息进行判断，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。

可选的，所述三维深度相机至少包括两个间隔布置的成像模块。

可选的，所述手术机器人踏板指示系统还包括显示设备，所述显示设备用于显示所述目标对象和所述踏板的虚拟图像和/或所述预触发信息。

为解决上述技术问题，本发明还提供一种可读存储介质，其上存储有程序，所述程序被执行时实现根据如上所述的手术机器人踏板指示方法的步骤。

为解决上述技术问题，本发明还提供一种手术机器人系统，其包括踏板，还包括如上所述的手术机器人踏板指示系统。

综上所述，在本发明提供的手术机器人踏板指示方法、系统、可读介质及手术机器人中，所述手术机器人踏板指示方法包括：获取踏板区域的三维图像；根据所述三维图像，识别得到踏板和目标对象；基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息；根据所述相对位置信息，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。

如此配置，可以在目标对象(如医生的脚部)踩踏踏板前确认两者的相对位置，若目标对象在所述踏板的预触发区域内，则输出当前踏板的预触发信息，用户体验更好，且不需要对踏板的硬件和布局进行改动，不影响医生原有的操作习惯，解决了医生踩踏位置不明确以及在使用时需要反复确认踩踏位置的问题。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1是本发明实施例的手术机器人系统的示意图；

图2是本发明实施例的主端医生控制台的示意图；

图3是本发明实施例的脚踏手术控制设备的俯视图；

图4是本发明实施例的脚踏手术控制设备和三维深度相机的侧视图；

图5是本发明实施例的脚踏手术控制设备和三维深度相机的正视图；

图6是本发明实施例的世界坐标系到像素坐标系的转换原理示意图；

图7是本发明实施例的从世界坐标系至相机坐标系的转换原理的示意图；

图8是本发明实施例的从相机坐标系至图像坐标系的转换原理的示意图；

图9是本发明实施例的从图像坐标系至像素坐标系的转换原理的示意图；

图10是本发明实施例的从世界坐标系到像素坐标系的转换的示意图；

图11是本发明实施例的脚踏手术控制设备的踏板在X、Y平面上的坐标示意图；

图12a是本发明实施例的左脚踩踏区的踏板在Y、Z平面上的坐标示意图；

图12b是本发明实施例的右脚踩踏区的踏板在Y、Z平面上的坐标示意图；

图13是本发明实施例的踏板和目标对象X、Y平面上的相对位置的示意图；

图14是本发明实施例的踏板和目标对象Y、Z平面上的相对位置的示意图；

图15是本发明实施例的踏板区域的高度边界和踏板的预触发区域的示意图；

图16是本发明实施例的踏板区域的水平边界和踏板的预触发区域的示意图；

图17是本发明实施例的显示设备的显示情况示意图。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点。此外，如在本发明中所使用的，“安装”、“相连”、“连接”，一元件“设置”于另一元件，应做广义理解，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，诸如上方、下方、上、下、向上、向下、左、右等的方向术语相对于示例性实施方案如它们在图中所示进行使用，向上或上方向朝向对应附图的顶部，向下或下方向朝向对应附图的底部。

本发明的目的在于提供一种手术机器人踏板指示方法、系统、可读介质及手术机器人，以解决现有的手术机器人系统无法对脚踏位置进行指示的问题。以下参考附图进行描述。

图1和图2示出了一个手术机器人系统的应用场景，所述手术机器人系统包括主从式遥操作的手术机器人，即所述手术机器人系统包括主端医生控制台100、从端患者手术平台200、主控制器以及用于支撑手术对象(如患者)进行手术的支撑装置400(例如，手术床)。需要说明的，在一些实施例中，支撑装置400也可替换为其它的手术操作平台，本发明对此不限。

如图2所示，所述主端医生控制台100为遥操作手术机器人的操作端，并包含安装于其上的主操作手101和脚踏手术控制设备103。所述主操作手101用于接收操作者(如医生)的手部运动信息，脚踏手术控制设备103用于接收操作者的脚踏运动信息，以完成离合、电切、电凝、内窥镜移动控制等相关操作指令的输入。优选的，主端医生控制台100还包括成像设备102，所述成像设备102可向操作者提供二维或三维的图像，为操作者进行手术操作提供术野图像。所述术野图像包括手术器械类型、数量、在腹中的位姿，病患器官组织以及周围器官组织血管的形态、布置等。

从端患者手术平台200为遥操作手术机器人的具体执行平台，包括底座201及安装于其上的手术执行组件。所述手术执行组件包括器械臂210和器械221，所述器械221挂载或连接于器械臂210的末端。进一步的，器械221包括用于具体执行手术操作的手术器械以及用于辅助观察的内窥镜等。在一个实施例中，所述手术器械用于执行具体的手术操作，如夹、切、剪等操作。

主控制器分别与主端医生控制台100、从端患者手术平台200通信连接，用于根据主操作手101和脚踏手术控制设备103的运动控制手术执行组件的运动，具体而言，所述主控制器包括主从映射模块，所述主从映射模块用于获取所述主操作手101的末端位姿信息以及和脚踏手术控制设备103的踩踏信息，根据预定的主从映射关系，获得手术执行组件的期望末端位姿和，进而控制器械臂210驱动器械运动到期望的末端位姿。所述主从映射模块还用于接收脚踏手术控制设备103的踩踏信息，并根据预定的主从映射关系，得到器械功能操作指令(如电切、电凝等相关操作指令)，控制手术器械221的能量驱动器，以释放能量实现电切、电凝等手术操作。

进一步，所述手术机器人系统还包括图像台车300。所述图像台车300包括：与所述内窥镜通信连接图像处理单元(未图示)。所述内窥镜用于获取腔内(指患者的体腔内)的术野图像。所述图像处理单元用于对所述内窥镜所获取的术野图像进行图像化处理，并传输至所述成像设备102，以便于操作者观察到术野图像。可选的，所述图像台车300还包括显示设备302。所述显示设备302与所述图像处理单元通信连接，用于为辅助操作者(例如护士)实时提供显示术野图像或其它的辅助显示信息。

可选的，在一些手术的应用场景中，手术机器人系统还包括呼吸机和麻醉机410以及器械台420等辅助部件，以用于供手术中使用。本领域技术人员可根据现有技术对这些辅助部件进行选择和配置，这里不再展开描述。

需要说明的，上述示范例所公开的手术机器人系统仅为一个应用场景的示范而非对手术机器人系统应用场景的限定，手术机器人系统也不限于为主从式遥操作的手术机器人，也可以是单端式的手术机器人系统，操作者直接操作手术机器人执行手术，本发明对此不限。

请参考图3至图5，其示出了脚踏手术控制设备103的一个示范例，图3至图5示出的脚踏手术控制设备103包括6个踏板，为便于叙述，将该6个踏板按顺序分别标记为踏板501～踏板506。可选的，脚踏手术控制设备103还包括传感器507，只有当传感器507感测到目标对象(如操作者的脚部)时，踏板才能发出控制信号。可以理解的，由于操作者在操作时，眼睛主要观察成像设备102，并且脚踏手术控制设备103的区域还被主操作手101所遮挡，因此踩踏的准确度难以保证。为解决无法对脚踏位置进行指示的问题，本发明实施例提供一种手术机器人踏板指示方法，其包括：

步骤S1：获取踏板区域的三维图像。例如图3至图5的示范例中，踏板区域是指包含踏板501～踏板506，以及邻接于踏板501～踏板506的一部分区域。

步骤S2：根据所述三维图像，识别得到踏板和目标对象。踏板指踏板501～踏板506，目标对象如可指代操作者的脚部，也可以是用于标定和测试用的脚部假体模型等物体，本实施例对此不限。

步骤S3：基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息。该步骤即根据步骤S2得到的三维图像，来求得空间中踏板和目标对象在空间中的相对位置关系。

步骤S4：根据所述相对位置信息，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。基于步骤S3所求得的空间中踏板和目标对象在空间中的相对位置关系，对目标对象是否处于踏板的预触发区域内进行判断。预触发区域可根据实际中踏板的尺寸、布局以及相邻踏板的间距等参数进行设定。

如此配置，可以在目标对象(如操作者的脚部)踩踏踏板前确认两者的相对位置，若目标对象在所述踏板的预触发区域内，则输出当前踏板的预触发信息，用户体验更好，且不需要对踏板的硬件和布局进行改动，不影响操作者原有的操作习惯，解决了操作者踩踏位置不明确以及在使用时需要反复确认踩踏位置的问题。

为实现如上所述的手术机器人踏板指示方法，本发明实施例还提供一种手术机器人踏板指示系统，其包括：三维深度相机6和控制装置(未图示)；所述三维深度相机6用于获取踏板区域的三维图像，并传输至所述控制装置；所述控制装置用于根据获取的所述三维图像，识别得到踏板和目标对象；并基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息；所述控制装置还用于根据所述相对位置信息进行判断，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。可选的，三维深度相机6如可安装在主端医生控制台100的立柱104上。

可选的，步骤S1中，可通过三维深度相机6拍摄获取踏板区域的三维图像。三维图像是指带有深度信息的图像。

进一步的，步骤S2可通过控制装置实现。控制装置可内置有图像识别模块等，其识别得到目标对象的影像的方法如可采用一些现有的图像识别算法，如SURF算法等，本领域技术人员可根据现有技术进行理解，这里不再展开说明。

可选的，步骤S3包括：

步骤S31：将所述三维图像中的所述踏板和所述目标对象的影像依次通过像素坐标系、图像坐标系、相机坐标系和世界坐标系进行转换，分别得到所述踏板和所述目标对象在空间中的坐标信息。

步骤S32：根据所述踏板和所述目标对象在空间中的坐标信息得到所述踏板和所述目标对象在空间中的相对位置信息。

下面结合图6至图10，对空间中某一点P至相机所拍摄的图像中的像素之间的坐标转换的转换原理为例进行说明。需要说明的，这里所述的相机，是一个示例的二维相机单元，其拍摄的图像，亦非是前述的三维图像。

如图6所示，其示出了：

1.世界坐标系Ow-XwYwZw(表示世界坐标系以Ow为坐标原点，并具有相互垂直的XwYwZw三个轴)；世界坐标系根据实际情况而定，可以表示任何物体。对于本实施例，是基于相机的设置而引入的，世界坐标系的单位可以为m。点P为空间中某一点，其在世界坐标系中的坐标为(Xw，Yw，Zw)。

2.相机坐标系Oc-XcYcZc(表示相机坐标系以Oc为坐标原点，并具有相互垂直的XcYcZc三个轴)；相机坐标系以相机光心Oc为原点(在针孔模型中针孔也就是光心)，Zc轴与光轴重合，Zc轴指向相机的前方(即Zc轴与成像平面垂直)，Xc轴与Yc轴的正方向与物体坐标系平行，f为相机的焦距，实际上等于图像坐标系的坐标原点o与相机坐标系的坐标原点Oc的距离，即f＝|o-Oc|。相机坐标系的单位可以为m。

3.图像坐标系o-xy(表示图像坐标系以o为坐标原点，并具有相互垂直的xy两个轴)；图像坐标系指相机所成图像的物理坐标系，也可以叫做平面坐标系，其含义为用物理单位(如mm)表示像素的位置，图像坐标系的坐标原点o为相机光轴与图像坐标系的交点位置，图像坐标系的单位可以为mm。这里将图像坐标系的单位设定为mm的原因是此时由于相机内部的传感器(如CCD传感器)一般比较小，比如8mm×

6mm，因此选择mm能更便利地表达图像的物理坐标。点p为点P在图像上的成像点，点p在图像坐标系中的坐标为(x，y)。

4.像素坐标系uv(表示像素坐标系具有相互垂直的uv两个轴)。像素坐标系以像素(pixel)为单位，像素坐标系的坐标原点一般设置在图像的左上角。这也是一些如OpenCV、OpenGL等库的坐标原点选在图像左上角的原因。当然明显可以看出CCD传感器的单位mm到像素单位之间存在转换。举个例子，CCD传感器上面的8mm×

6mm，转换到像素大小是640x480。即像素坐标系中每个像素的物理大小为1/80mm，单位mm与像素点的之间关系也被称为是像素密度，其单位为piexl/mm。点p在像素坐标系uv中的坐标为(u，v)。

基于上述的世界坐标系、相机坐标系、图像坐标系和像素坐标系，空间中某一点P在世界坐标系中的坐标可以被转换至相机所拍摄的图像中的像素来进行表述。

请参考图7，其示出了从世界坐标系至相机坐标系的转换原理。从世界坐标系变换到相机坐标系属于刚体变换，即物体不会发生形变，只需要进行旋转和平移就可以实现坐标转换，其转换关系主要是外参，外参包括旋转矩阵R和平移向量T。因此通过旋转矩阵R和平移向量T，就可以将点P从世界坐标系转换至相机坐标系。

具体的，世界坐标系下，空间中点P的坐标为：P[Xw，Yw，Zw]T，当把它转换到相机坐标系的时候，先把它加一维用齐次坐标来表示它(这样就方便对它本身进行平移操作)。左乘一个3×4的外参矩阵，从世界坐标系转换到相机坐标系，如下式：

其中，[Xc，Yc，Zc]T表示相机坐标，[Xw，Yw，Zw]T表示物体所在的世界坐标，R是旋转矩阵(包括3个自由度)，T是平移矩阵，两者组成3×4矩阵即为相机的外参矩阵。

在一个示范例中，采用OpenCV进行相机标定，求出的外参是旋转矩阵，旋转向量和旋转矩阵两者之间可以通过罗德里格斯(Rodrigues)变换来进行转换，如下式：

θ←norm(r)；

r←r/θ；

其中，旋转向量r的长度(模)表示绕轴逆时针旋转的角度θ(弧度)，norm为求向量的模。反变换也可以很容易的通过如下公式实现：

请参考图8，其示出了从相机坐标系至图像坐标系的转换原理。从相机坐标系到图像坐标系属于透视投影，也即是从三维转换到二维，相当于丢弃了空间中点P相对于图像坐标系的深度信息。其转换关系主要是内参，内参包括相机的焦距f。

如图8所示，f表示焦距，[Xc，Yc，Zc]T表示空间中点P在相机坐标系下的坐标。[x，y，1]T表示点p在图像坐标系下归一化后的图像物理坐标。当然可以理解的，若考虑畸变，则式中的[Xc，Yc，Zc]T还需要加入畸变系数后所求的值，具体可参考现有技术，本实施例不再展开叙述。结合图8，由相似三角形的原理可得：

上式改写成矩阵形式为：

请参考图9，其示出了从图像坐标系至像素坐标系的转换原理。像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。因此两者只需按照设定的转换关系进行转换即可。

在一个示范例中，图像坐标系的原点设定为成像平面的中点，图像坐标系的单位是mm，属于物理单位。而像素坐标系的单位是像素(pixel)，一般描述一个像素点是称其为几行几列。所以这二者之间的转换关系如下，其中dx和dy表示每一列和每一行分别代表多少mm，即x方向上，1pixel＝dx mm；y方向上，1pixel＝dy mm。由此可以理解的，dx和dy分别表示x方向和y方向的一个像素分别占多少个(可以是小数)长度单位。u0，v0表示图像的中心像素的坐标与图像原点像素坐标之间相差的横向和纵向的像素数。由图9可以理解，点p在像素坐标系上的坐标：

上式改写成矩阵形式为：

请参考图10，结合上述图7至图9示出的示范例，从世界坐标系到像素坐标系的转换公式为：

可以理解的，上式中：

[R|T]

为从世界坐标系转换至相机坐标系；

[R|T]为从相机坐标系转换至图像坐标系；

为从图像坐标系转换至像素坐标系；

通过上述图7至图10所说明的转换原理，可以理解空间中某一点P至像素坐标系之间的坐标转换。反过来，基于相机所拍摄的图像中的某一像素，可以进行逆向转换，但由于在从相机坐标系至图像坐标系的转换过程中通过归一化的方式丢弃了空间中点P相对于图像坐标系的深度信息，因此凭借单个二维相机所拍摄的图像，实际上并无法还原得到空间中点P相对于图像坐标系的深度信息，从而无法得知空间中点P的实际空间位置，亦无法得到其在世界坐标系下的具体坐标。因此，凭借二维相机所拍摄的图像，再额外得知空间中点P相对于图像坐标系的深度信息，即可得到空间中点P在世界坐标系下的具体坐标。获取空间中点P相对于图像坐标系的深度信息一般可通过深度相机来实现。深度相机获取深度信息的原理有若干种，例如可通过双目视差原理来获得，或者通过其它如光流法、结构光等，本领域技术人员可根据现有技术进行理解和选择。

下面结合参考图4，对通过双目结构光来获得深度信息的一个示范例进行说明。双目结构光可以在室内环境下使用结构光测量深度信息，在结构光失效的情况下也可以转为纯双目的方式，其抗环境干扰能力、可靠性更强。

图4示出的示范例中，通过设置三维深度相机6，来拍摄获取踏板区域的三维图像。三维深度相机6至少包括两个间隔布置的成像模块，为便于叙述，称图4中位于左侧的成像模块为左成像模块61，位于右侧的成像模块为右成像模块62。进一步的，三维深度相机6还包括IR投影仪63，其用于向目标物(如踏板)投射红外结构光，进而单个的成像模块在拍摄得到二维图像的同时，根据踏板所反射的结构光图案的信息，通过运算将结构光图案的变化换算成深度信息，以此来获得目标物相对于成像模块的深度信息，由此即得到了目标物的三维图像。可选的，三维深度相机6还包括RGB模块64等，本领域技术人员可根据现有技术进行理解，这里不再展开说明。更进一步的，由于左成像模块61与右成像模块62的间隔距离是已知的，结合两个成像模块所拍摄得到的图像的差异，还可以基于双目视差原理计算得到目标物相对于两个成像模块的深度信息，从而得到目标物的三维图像。这相当于是对于深度信息的额外补充，在结构光失效的情况下也可以转为纯双目的方式来计算得到目标物的三维图像。可以理解的，在其它的一些实施例中，三维深度相机6不局限于为双目结构光相机，其也可以是单目结构光相机，或普通的双目相机等，其都可以得到目标物的三维图像。本领域技术人员可根据现有技术进行理解，这里不再展开。

请参考图11至图14，结合上文所述的原理，在获得踏板区域的三维图像后，可以逆向计算得到各踏板或目标对象(如操作者的脚部)在空间中的位置信息，从而得到踏板和目标对象在空间中的相对位置信息。

如图11所示，以踏板为例，将每个踏板的平面轮廓抽象为一个矩形，基于左上角的踏板501建立世界坐标系，根据踏板区域的三维图像，可知道各个踏板的四个角在世界坐标系中的X、Y平面位置的坐标。如图12a和图12b所示，将每个踏板的侧面轮廓抽象为一条平行于水平面的线段，基于左上角的踏板501所建立的世界坐标系，根据踏板区域的三维图像，可以知道各个踏板在世界坐标系中Y、Z轴方向的坐标。请结合参考图2，在一些实施例中，位于左脚踩踏区的踏板(如踏板501和踏板502)与位于右脚踩踏区的踏板(如踏板503～踏板506)可能不在同一高度上，因此图12a和图12b分别示意了左脚踩踏区的踏板和右脚踩踏区的踏板分别在世界坐标系中Y、Z轴方向的坐标。结合图11所示的各踏板在X、Y平面上的坐标，即可以得到各踏板在空间中的三维坐标。

如图13所示，对于目标对象，以操作者的左脚在X、Y平面上的位置为例，根据踏板区域的三维图像，可以识别得到左脚的影像，进而可根据左脚的形态划定一个矩形框70，并得到该矩形框的四个角的坐标。如图13，当左脚位于位置71时，通过矩形框四角坐标与踏板四角坐标的计算可知，左脚未在任何一个踏板的四角范围内，此时可以认为左脚不在踏板的预触发区域内。进而当左脚移至位置72时，矩形框处于踏板502的四角范围内，此时可以认为左脚在踏板502的预触发区域内。

如图14所示，同样的，以操作者的左脚在Y、Z平面上的位置为例，根据踏板区域的三维图像，可以识别得到左脚的影像，进而，根据前一步骤所划定的矩形框70在Y、Z平面上可以被抽象为一个反映脚底面的线段，并得到该线段的两端的坐标。结合图13所示的左脚在X、Y平面上的坐标，即可以得到左脚在空间中的三维坐标。可以理解的，目标对象为右脚时，请原理相同。

由此，根据踏板区域的三维图像，通过识别、坐标系转换，结合各踏板在空间中的三维坐标，以及目标对象在空间中的三维坐标，就得到了各踏板与目标对象在空间中的相对位置信息。

优选的，在一些实施例中，可以连续地监测所述踏板区域，获取所述踏板区域的多帧的所述三维图像，并得到所述踏板和所述目标对象在空间中的实时的所述相对位置信息；进而根据实时的所述相对位置信息，若所述目标对象自所述踏板的预触发区域外向所述预触发区域移动，并进入所述预触发区域，则输出当前所述踏板的预触发信息。即在这些实施例中，可以连续而实时地对目标对象的运动进行监测。

进一步的，在一些实施例中，手术机器人踏板指示系统还包括显示设备，所述显示设备用于显示所述目标对象和所述踏板的虚拟图像和/或所述预触发信息。显示设备例如可以是主端操作者控制台100的成像设备102，也可以是图像台车300，或者其它的独立或集成于主端操作者控制台100的显示屏，本实施例对此不限。显示设备可用于显示提示信息，提示信息包括所述目标对象和所述踏板的虚拟图像和/或所述预触发信息。

可选的，步骤S4中，输出当前所述踏板的预触发信息的步骤，可以通过在显示设备上显示的方式来实现，例如在显示设备上显示预触发信息。当然其它的一些实施例中，输出预触发信息的步骤，也可以通过输出声音(如通过蜂鸣器示警等)或振动等方式，本实施例对此不限。另一些实施例中，显示设备不仅可以用于显示预触发信息，还可以显示目标对象和踏板的虚拟图像，以便于操作者直观地观察踏板区域的情况。

请参考图15和图16，可选的，所述踏板区域具有高度边界81和水平边界82；根据所述相对位置信息，若所述目标对象在所述高度边界81和所述水平边界82内，则于显示设备上显示提示信息；若所述目标对象在所述高度边界81或所述水平边界82外，则于所述显示设备上隐藏所述提示信息。在一个示范例中，为了不干扰操作者观察和操作，在目标对象(如操作者的脚部)相对远离踏板区域时，显示设备隐藏提示信息。相对的，在目标对象相对靠近踏板时，显示设备显示提示信息。为了界定靠近或远离踏板，可以为踏板区域设置高度边界81和水平边界82，作为显示设备显示提示信息的触发条件，即目标对象只有同时满足进入高度边界81和水平边界82，显示设备才会显示提示信息。当目标对象不满足进入高度边界81和水平边界82中的任一者时，都可以认为目标对象距离踏板还较远，暂时不会踩踏任一个踏板，此时显示设备隐藏提示信息。需要说明的，踏板区域的高度边界81和水平边界82与前述的踏板的预触发区域并非同一概念。预触发区域为针对于某一踏板所设定的一个区域，预触发区域例如在X、Y平面上可以对应于某一踏板四角的坐标，在Y、Z平面上可以为踏板的Z向坐标加上一个预设高度h，这样预触发区域相对于就是在某一踏板上所围合形成的立方体空间。而踏板区域的高度边界81和水平边界82是针对一部分或所有踏板所共同设定的一个区域。水平边界82例如在X、Y平面上可以是一部分或所有踏板的外包轮廓再额外扩展一定距离的矩形边界，高度边界81例如在Y、Z平面上上可以是一部分或所有踏板的Z向坐标加上一个预设高度H。较佳的，踏板的预触发区域落在踏板区域的高度边界81和水平边界82之内，h≤H。

可选的，所述提示信息包括所述预触发信息，所述预触发区域相对于所述踏板具有第一高度边界h1、第二高度边界h2，其中第二高度边界h2相对所述第一高度边界h1更靠近所述踏板；所述预触发信息包括第一信号和第二信号，若所述目标对象在所述第一高度边界h1内，则输出所述第一信号；若所述目标对象在所述第二高度边界h2内，则输出所述第二信号。一般的，对于预触发区域在X、Y平面上的水平边界的界定，相对较为简单，例如可以将踏板四角坐标所围合的区域设定为预触发区域的水平边界，目标对象只有进入某一踏板的水平边界范围内，才能实现对某一踏板的踩踏。但是对于预触发区域的高度边界的界定，一般目标对象存在由高至低的踩踏动作。由此，将预触发区域上空的区域沿Z轴区分为第一高度边界h1和第二高度边界h2，并分别输出对应的信号，以便于操作者区分当前脚部相对于踏板的高度。

请参考图15至图17，在一个示范例中，第一信号和第二信号可通过显示设备显示的方式来展现。具体的，显示设备可以显示踏板指示标记901～踏板指示标记906，其位置和分布情况大致对应于踏板501～踏板506。优选的，对应于实际中踏板501和踏板502位于左脚踩踏区，踏板503～踏板506位于右脚踩踏区，踏板指示标记901～踏板指示标记906也可以被划分在显示设备的左右不同的区域。进一步的，显示设备还可以显示脚部位置标记907，以反映当前目标对象相对于踏板的位置。

首先在目标对象没有进入踏板区域的高度边界81或水平边界82之前，踏板指示标记901～踏板指示标记906以及脚部位置标记907可以被隐藏。至目标对象进入踏板区域的高度边界81和水平边界82后，显示踏板指示标记901～踏板指示标记906以及脚部位置标记907。可选的，踏板指示标记901～踏板指示标记906以及脚部位置标记907可以被叠加显示在内窥镜图像上，操作者可不必切换显示而实时地观察到。

进而，在目标对象进入某一踏板的预触发区域的水平边界，并且目标对象进入第一高度边界h1后，该踏板所对应的踏板指示标记例如以半透明绿色的方式闪烁指示(图17中以对应于踏板501的踏板指示标记901为例，以斜线表示)。该半透明绿色的方式闪烁指示即相当于前述的第一信号。

进一步的，目标对象进入第二高度边界h2后，该踏板所对应的踏板指示标记例如以半透明红色的方式加快闪烁指示(图17中以对应于踏板503的踏板指示标记903为例，以横线表示)。该半透明红色的方式加快闪烁指示即相当于前述的第二信号。

当然在其它的一些实施例中，第一信号和第二信号的输出方式不限于在显示设备上显示，本实施例对此不限。

进一步的，本发明实施例还提供一种可读存储介质，其上存储有程序，程序被执行时实现如上所述的手术机器人踏板指示方法的步骤。更进一步的，本发明实施例还提供一种计算机设备，其包括处理器和如上的可读存储介质，处理器用于执行可读存储介质上存储的程序。可读存储介质可独立设置，也可以集成设置于手术机器人系统中，本发明对此不限。再进一步的，本发明实施例还提供一种手术机器人系统，其包括踏板，还包括如上所述的手术机器人踏板指示系统。

综上所述，在本发明提供的手术机器人踏板指示方法、系统、可读介质及手术机器人中，所述手术机器人踏板指示方法包括：获取踏板区域的三维图像；根据所述三维图像，识别得到踏板和目标对象；基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息；根据所述相对位置信息，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。如此配置，可以在目标对象(如医生的脚部)踩踏踏板前确认两者的相对位置，若目标对象在所述踏板的预触发区域内，则输出当前踏板的预触发信息，用户体验更好，且不需要对踏板的硬件和布局进行改动，不影响医生原有的操作习惯，解决了医生踩踏位置不明确以及在使用时需要反复确认踩踏位置的问题。

需要说明的，上述若干实施例之间可相互组合。上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (11)

1.一种手术机器人踏板指示方法，其特征在于，包括：

获取踏板区域的三维图像；

根据所述三维图像，识别得到踏板和目标对象；

基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息；

根据所述相对位置信息，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。

2.根据权利要求1所述的手术机器人踏板指示方法，其特征在于，基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息的步骤包括：

将所述三维图像中的所述踏板和所述目标对象的影像依次通过像素坐标系、图像坐标系、相机坐标系和世界坐标系进行转换，分别得到所述踏板和所述目标对象在空间中的坐标信息；

根据所述踏板和所述目标对象在空间中的坐标信息得到所述踏板和所述目标对象在空间中的相对位置信息。

3.根据权利要求1所述的手术机器人踏板指示方法，其特征在于，连续地监测所述踏板区域，获取所述踏板区域的多帧的所述三维图像，并得到所述踏板和所述目标对象在空间中的实时的所述相对位置信息；

根据实时的所述相对位置信息，若所述目标对象自所述踏板的预触发区域外向所述预触发区域移动，并进入所述预触发区域，则输出当前所述踏板的预触发信息。

4.根据权利要求1所述的手术机器人踏板指示方法，其特征在于，所述踏板区域具有高度边界和水平边界；

根据所述相对位置信息，若所述目标对象在所述高度边界和所述水平边界内，则于显示设备上显示提示信息；若所述目标对象在所述高度边界或所述水平边界外，则于所述显示设备上隐藏所述提示信息。

5.根据权利要求4所述的手术机器人踏板指示方法，其特征在于，所述提示信息包括：所述目标对象和所述踏板的虚拟图像和/或所述预触发信息。

6.根据权利要求4所述的手术机器人踏板指示方法，其特征在于，所述提示信息包括所述预触发信息，所述预触发区域相对于所述踏板具有第一高度边界、第二高度边界，其中第二高度边界相对所述第一高度边界更靠近所述踏板；

所述预触发信息包括第一信号和第二信号，若所述目标对象在所述第一高度边界内，则输出所述第一信号；若所述目标对象在所述第二高度边界内，则输出所述第二信号。

7.一种手术机器人踏板指示系统，其特征在于，包括：三维深度相机和控制装置；

所述三维深度相机用于获取踏板区域的三维图像，并传输至所述控制装置；

所述控制装置用于根据获取的所述三维图像，识别得到踏板和目标对象；并基于识别得到的所述踏板和所述目标对象，得到所述踏板和所述目标对象在空间中的相对位置信息；

所述控制装置还用于根据所述相对位置信息进行判断，若所述目标对象在所述踏板的预触发区域内，则输出当前所述踏板的预触发信息。

8.根据权利要求1所述的手术机器人踏板指示系统，其特征在于，所述三维深度相机至少包括两个间隔布置的成像模块。

9.根据权利要求1所述的手术机器人踏板指示系统，其特征在于，还包括显示设备，所述显示设备用于显示所述目标对象和所述踏板的虚拟图像和/或所述预触发信息。

10.一种可读存储介质，其特征在于，其上存储有程序，其特征在于，所述程序被执行时实现根据权利要求1～6中任一项所述的手术机器人踏板指示方法的步骤。

11.一种手术机器人系统，其特征在于，包括踏板，其特征在于，所述手术机器人系统还包括根据权利要求7～9中任一项所述的手术机器人踏板指示系统。

Images