CN114081635A - 基于图像的器械角度检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明关于一种基于图像的器械角度检测方法、装置、设备及存储介质，应用于手术机器人中的主机，手术机器人包括控制手柄、器械及主机，主机用于根据控制手柄的驱动信号对器械进行运动控制，具体而言，主机可以获取控制手柄的驱动信息，驱动信息用于指示器械的运动角度；采集器械基于驱动信息运动的参考图像；在参考图像中对器械进行识别，根据识别结果计算器械的实际运动信息；在驱动信息与实际运动信息满足预设匹配条件的情况下，判定器械的角度检测合格。这样，通过采集器械的参考图像，经过对图像参考图像进行分析，可以确定出器械的实际运动信息，进而，可以确定手术机器人的动作精度是否符合要求，有利于不断提高手术机器人器械的动作精度。

Description

基于图像的器械角度检测方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于图像的器械角度检测方法、装置、设备及存储介质。

背景技术

随着人工智能的发展，在各个领域也逐渐发挥着越来越重要的作用，比如，可以将人工智能应用在医疗器械上，生产出手术机器人。手术机器人在执行手术动作时，由输入设备发送信号给控制器，控制器发出控制指令给驱动电机，驱动电机经传动轴带动末端器械，末端器械执行手术动作，然后，反馈部分的传感器实时采集器械位置信号并传递给控制器，实现闭环控制。

可以理解，由于手术较为精细，整个过程需要精确度极高的运动控制，因此需要保证器械的运动精度。

发明内容

本发明提供一种基于图像的器械角度检测方法、装置、设备及存储介质，以确定手术机器人的运动是否满足精确度要求。本发明的技术方案如下：

根据本发明实施例的第一方面，提供一种基于图像的器械角度检测方法，应用于手术机器人中的主机，所述手术机器人包括控制手柄、器械及所述主机，所述主机用于根据所述控制手柄的驱动信号对所述器械进行运动控制，包括：

获取所述控制手柄的驱动信息，所述驱动信息用于指示所述器械的运动角度；

采集所述器械基于所述驱动信息运动的参考图像；

在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息；

在所述驱动信息与所述实际运动信息满足预设匹配条件的情况下，判定所述器械的角度检测合格。

可选的，所述器械的边缘设置有旋转边缘点，当所述驱动信息为控制所述器械旋转的旋转信息，所述旋转边缘点基于所述旋转信息旋转；

所述采集所述器械基于所述驱动信息运动的参考图像，包括：

采集所述器械在基于所述驱动信息运动前的第一旋转参考图像以及基于所述驱动信息运动后的第二旋转参考图像；

所述在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息，包括：

计算所述第二旋转参考图像中所述旋转边缘点相对于所述第一旋转参考图像中所述旋转边缘点的旋转角度，作为所述器械的实际运动信息。

可选的，所述器械还包括旋转中心点，当所述驱动信息为控制所述器械旋转的旋转信息，所述旋转边缘点基于所述旋转信息绕所述旋转中心点旋转；

所述计算第二旋转参考图像中所述旋转边缘点相对于所述第一旋转参考图像中所述旋转边缘点的旋转角度，包括：

在所述第一旋转参考图像中识别所述旋转边缘点以及所述旋转中心点，获得第一旋转边缘点以及第一旋转中心点；

在所述第二旋转参考图像中识别所述旋转边缘点以及所述旋转中心点，获得第二旋转边缘点以及第二旋转中心点；

获取所述第一旋转边缘点以及所述第一旋转中心点之间的第一线段，获取所述第二旋转边缘点以及所述第二旋转中心点之间的第二线段；

计算所述第二线段相对所述第一线段的角度，作为所述器械的旋转角度。

可选的，所述方法还包括：

控制所述器械进行旋转，并获取所述器械在旋转过程中的多幅旋转图像；

从所述多幅旋转图像中确定所述器械未发生旋转的位置点，作为所述旋转中心点。

可选的，所述采集所述器械在基于所述驱动信息运动前的第一旋转参考图像以及基于所述驱动信息运动后的第二旋转参考图像，包括：

利用第一固定摄像头，从垂直于旋转角速度的方向采集所述器械在基于所述驱动信息运动前的第一旋转参考图像及所述器械基于所述驱动信息运动后的第二旋转参考图像；

所述计算第二旋转参考图像中所述旋转边缘点相对于所述第一旋转参考图像中所述旋转边缘点的旋转角度，作为所述器械的实际运动信息，包括：

根据所述第一旋转参考图像，建立所述器械的旋转坐标系，所述旋转坐标系的原点为所述旋转中心点；

计算所述第二旋转参考图像中所述旋转边缘点相对于所述旋转坐标系中原点的旋转角度，作为所述器械的实际运动信息。

可选的，所述器械的末端为对称的多个夹片，所述夹片的末端为夹合边缘点，当所述驱动信息为控制所述器械夹合的夹合信息，所述夹合边缘点基于所述夹合信息进行夹合运动；

所述采集所述器械基于所述驱动信息运动的参考图像，包括：

采集所述器械在基于所述驱动信息运动前的第一夹合参考图像以及基于所述驱动信息运动后的第二夹合参考图像；

所述在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息，包括：

计算所述第二夹合参考图像中所述夹合边缘点相对于所述第一夹合参考图像中所述夹合边缘点的夹合角度，作为所述器械的实际运动信息。

可选的，所述器械还包括夹合中心点，当所述驱动信息为控制所述器械夹合的夹合信息，所述夹合边缘点基于所述夹合信息绕所述夹合中心点进行夹合运动；

所述计算所述第二夹合参考图像中所述夹合边缘点相对于所述第一夹合参考图像中所述夹合边缘点的夹合角度，包括：

在所述第一夹合参考图像识别所述夹合边缘点以及所述夹合中心点，获得第一夹合边缘点以及第一夹合中心点，并计算所述第一夹合参考图像中所述夹合边缘点以所述夹合中心点为中心的第一夹角；

在所述第二夹合参考图像中识别所述夹合边缘点以及所述夹合中心点，获得第二夹合边缘点以及第二夹合中心点，并计算所述第二夹合参考图像中所述夹合边缘点以所述夹合中心点为端点的第二夹角；

计算所述第二夹角相对于所述第一夹角的夹合角度，作为所述器械的实际运动信息。

可选的，所述方法还包括：

控制所述器械进行夹合运动，并获取所述器械在夹合运动过程中的多幅夹合图像；

从所述多幅夹合图像中确定所述器械未发生位移的位置点，作为所述夹合中心点。

可选的，所述采集所述器械在基于所述驱动信息运动前的第一夹合参考图像以及基于所述驱动信息运动后的第二夹合参考图像，包括：

利用第二固定摄像头，从垂直于夹合运动所在平面的方向采集所述器械基于所述驱动信息运动前的第一夹合参考图像及所述器械基于所述驱动信息运动后的第二夹合参考图像；

所述计算所述第二夹合参考图像中所述夹合边缘点相对于所述第一夹合参考图像中所述夹合边缘点的夹合角度，作为所述器械的实际运动信息：

根据所述第一夹合参考图像，建立所述器械的夹合坐标系，所述夹合坐标系的原点为所述夹合中心点；

计算所述第二夹合参考图像中所述夹合边缘点与所述夹合坐标系原点连线的夹角，作为所述器械的实际运动信息。

可选的，所述器械包括万向椎骨节，当所述驱动信息为控制所述器械牵引的牵引信息，所述万向椎骨节响应于该牵引信息进行牵引运动，所述万向椎骨节设置有牵引起始点和牵引终止点；

所述采集所述器械基于所述驱动信息运动的参考图像，包括：

采集所述器械在基于所述驱动信息运动前的第一牵引参考图像以及基于所述驱动信息运动后的第二牵引参考图像；

所述在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息，包括：

计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，作为所述器械的实际运动信息。

可选的，所述当所述驱动信息为控制所述器械牵引的牵引信息，所述牵引终止点基于所述进行牵引运动；

所述计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，包括：

在所述第一牵引参考图像中识别所述牵引终止点以及所述牵引起始点，获得第一牵引终止点以及第一牵引起始点；

在所述第二牵引参考图像中识别所述牵引终止点以及所述牵引起始点，获得第二牵引终止点以及第二牵引起始点；

获取所述第一牵引终止点以及所述第一牵引起始点之间的第一线段，获取所述第二牵引终止点以及所述第二牵引起始点之间的第二线段；

计算所述第二线段相对所述第一线段的角度，作为所述器械的牵引角度。

可选的，所述采集所述器械在基于所述驱动信息运动前的第一牵引参考图像以及基于所述驱动信息运动后的第二牵引参考图像，包括：

利用两个第三固定摄像头，分别从垂直于俯仰运动所在平面的方向或偏航运动所在平面的方向采集所述器械在基于所述驱动信息运动前的第一牵引参考图像及所述器械基于所述驱动信息运动后的第二牵引参考图像；

所述计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，包括：

根据所述第一牵引参考图像，建立所述器械的牵引坐标系，所述牵引坐标系的原点为所述牵引起始点；

计算所述第二牵引参考图像中所述牵引终止点与所述牵引坐标系原点的连线与所述牵引坐标系坐标轴的夹角，作为所述器械的实际运动信息。

可选的，所述万向椎骨节为预设颜色，所述计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，作为所述器械的实际运动信息，包括：

在所述第一牵引参考图像中识别所述预设颜色所在区域，将所述预设颜色区域的起始位置作为第一检测起始点，将所述预设颜色区域的终止位置作为第一检测终止点；

在所述第二牵引参考图像中识别所述预设颜色所在区域，将所述预设颜色区域的起始位置作为第二检测起始点，将所述预设颜色区域的终止位置作为第二检测终止点；

获取所述第一检测终止点以及所述第一检测起始点之间的第三线段，获取所述第二牵引终止点以及所述第二牵引起始点之间的第四线段；

计算所述第四线段相对所述第三线段的角度，作为所述器械的牵引角度。

可选的，所述在所述计算所述第四线段相对所述第三线段的角度之后，所述方法还包括：

判断所述第二线段相对所述第一线段的角度与所述第四线段相对所述第三线段的角度之间的差值是否小于预设阈值，若不小于，则判定获得的牵引角度无效。

可选的，所述采集所述器械基于所述驱动信息运动的参考图像，包括：

判断所述驱动信息对应的所述器械的运动角度变化值是否大于预设间隔值，若大于，则在所述控制手柄对所述器械进行驱动后，采集所述器械基于所述驱动信息运动的参考图像。

根据本发明实施例的第二方面，提供一种基于图像的器械角度检测装置，应用于手术机器人中的主机，所述手术机器人包括控制手柄、器械及所述主机，所述主机用于根据所述控制手柄的驱动信号对所述器械进行运动控制，包括：

获取单元，被配置为执行获取所述控制手柄的驱动信息，所述驱动信息用于指示所述器械的运动角度；

采集单元，被配置为执行采集所述器械基于所述驱动信息运动的参考图像；

计算单元，被配置为执行在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息；

判断单元，被配置为执行在所述驱动信息与所述实际运动信息满足预设匹配条件的情况下，判定所述器械的角度检测合格。

根据本发明实施例的第三方面，提供一种基于图像的器械角度检测电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器;

其中，所述处理器被配置为执行所述指令，以实现上述第一项所述的基于图像的器械角度检测方法。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由基于图像的器械角度检测电子设备的处理器执行时，使得基于图像的器械角度检测电子设备能够执行上述任一项所述的基于图像的器械角度检测方法。

根据本发明实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述第一项所述的基于图像的器械角度检测方法。

本发明的实施例提供的技术方案至少带来以下有益效果：

本发明应用于手术机器人中的主机，手术机器人包括控制手柄、器械及主机，主机用于根据控制手柄的驱动信号对器械进行运动控制，具体而言，主机可以获取控制手柄的驱动信息，驱动信息用于指示器械的运动角度；采集器械基于驱动信息运动的参考图像；在参考图像中对器械进行识别，根据识别结果计算器械的实际运动信息；在驱动信息与实际运动信息满足预设匹配条件的情况下，判定器械的角度检测合格。

这样，通过采集器械的参考图像，经过对图像参考图像进行分析，可以确定出器械的实际运动信息，实现对手术机器人器械的角度检测，进而，将实际运动信息与驱动信息进行比较，可以确定手术机器人的动作精度是否符合要求，有利于不断提高手术机器人器械的动作精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。

图1是根据一示例性实施例示出的一种基于图像的器械角度检测方法的流程图。

图2是根据一示例性实施例示出的一种手术机器人的结构示意图。

图3是根据一示例性实施例示出的一种双极钳的结构示意图。

图4a及图4b是根据一示例性实施例示出的一种钳头组件进行旋转动作的平面示意图。

图5a及图5b是根据一示例性实施例示出的一种控制手柄的旋转控制动作的示意图。

图6是根据一示例性实施例示出的一种钳头组件进行夹合动作的平面示意图。

图7是根据一示例性实施例示出的一种控制手柄的夹合控制动作的示意图。

图8是根据一示例性实施例示出的一种钳头组件进行俯仰动作的平面示意图。

图9是根据一示例性实施例示出的一种钳头组件进行偏航动作的平面示意图。

图10a及图10b是根据一示例性实施例示出的一种控制手柄的俯仰控制动作的示意图。

图11是根据一示例性实施例示出的一种控制手柄的偏航控制动作的示意图。

图12是根据一示例性实施例示出的一种预设坐标系的示意图。

图13是根据一示例性实施例示出的一种夹合坐标系的示意图。

图14是根据一示例性实施例示出的一种器械牵引结构的示意图。

图15是根据一示例性实施例示出的一种牵引坐标系的示意图。

图16是根据一示例性实施例示出的一种基于图像的器械角度检测装置的框图。

图17是根据一示例性实施例示出的一种用于基于图像的器械角度检测的电子设备的框图。

图18是根据一示例性实施例示出的一种用于基于图像的器械角度检测的装置的框图。

具体实施方式

为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种基于图像的器械角度检测方法的流程图，该基于图像的器械角度检测方法可以对器械随控制手柄操作时的运动进行检测，判断器械对手柄控制的跟随是否满足跟随要求，从而确定器械的运动是否满足精度要求。若满足精度要求，该手术机器人才能用于实际手术操作，否则需要进行调整至满足精度要求才能用于实际手术操作。如图1所示，该基于图像的器械角度检测方法应用于手术机器人中的主机，手术机器人包括控制手柄、器械及主机，主机用于根据控制手柄的驱动信号对器械进行运动控制，包括以下步骤。

在步骤S11中，获取控制手柄的驱动信息，驱动信息用于指示器械的运动角度。

本发明可以应用于手术机器人的主机，手术机器人可以包括控制手柄、主机、驱动电机以及器械等组件。如图2所示，为手术机器人的结构示意图，组件26为控制手柄，组件27为主机，组件28为器械。

其中，控制手柄可以与用户进行交互，通过在控制手柄上安装的第一传感器采集用户的操作信息，并将用户的操作信息传输至主机，然后，主机对用户的操作信息进行分析，根据分析结果对驱动电机进行驱动，使得驱动电机带动器械的动作，同时，安装在驱动电机上的第二传感器还可以实时采集驱动电机的转动信息，并将驱动电机的转动信息作为器械的位置信号并反馈给主机，实现用户对器械的闭环精细控制。但是，由于第二传感器安装在驱动电机上，而驱动电机的转动并不完全等同于器械末端的运动，因此，在驱动电机带动器械运动后，还需要对器械的实际位置进行进一步的调整。

手术机器人可以应用在腹腔手术等需要精细操作的手术中，器械受驱动电机控制，可以完成牵引、夹合和旋转三个动作，用于具体的手术动作，举例而言，器械可以是钳头组件。

钳头组件可以为具有两个夹片的双极钳，如图3所示，为双极钳的结构示意图，其中，组件2861表示钳头，钳头可以绕A点进行夹合运动；组件2862表示旋转头，旋转头可以绕B点做旋转运动；组件2863表示牵引弹簧结构，牵引弹簧结构可以绕C点朝任意方向做牵引运动。

如图4a及图4b所示，为钳头组件进行旋转动作的平面示意图，其中，R5为钳头组件的旋转角度，旋转动作即为钳头组件的旋转头绕着器械牵引弹簧结构的中心轴的旋转运动。如图5a及图5b所示，为控制手柄的旋转控制动作的示意图，其中，R6为控制手柄中用于采集旋转角度信息的传感器的旋转角度。

如图6所示，为钳头组件进行夹合动作的平面示意图，其中，R7即为钳头的夹合角度，钳头组件的夹合动作即为钳头组件中钳头的夹合动作。如图7所示，为控制手柄的夹合控制动作的示意图，其中，R8为控制手柄中用于采集夹合角度信息的传感器的夹合角度。

牵引动作可以分为俯仰动作和偏航动作，分别对应于不同的牵引方向，其中，俯仰动作对应于向上和向下的牵引方向，偏航动作对应于向左或向右的牵引方向。如图8所示，为钳头组件进行俯仰动作的平面示意图，其中，R1即为钳头组件的俯仰角度，表示俯与仰形成的角度，初始状态下，钳头组件平行于水平面放置，即图8中间位置，根据驱动信息的控制，钳头组件可以向上或向下牵引，图8为沿水平方向垂直于钳头组件的视角；如图9所示，为钳头组件进行偏航动作的平面示意图，其中，R2即为钳头组件的偏航角度，表示左右偏航之间形成的角度，初始状态下，钳头组件平行于水平面放置，即图9中间位置，根据驱动信息的控制，钳头组件可以向左或向右牵引，图9为垂直于水平方向的视角；如图10a及图10b所示，为控制手柄的俯仰控制动作的示意图，其中，R3为控制手柄中用于采集俯仰角度信息的传感器的俯仰角度，如图11所示，为控制手柄的偏航控制动作的示意图，其中，R4为控制手柄中用于采集偏航角度信息的传感器的偏航角度，初始状态下，控制手柄位于图11中间位置，通过向左或向右牵引，调节R4偏航角度，进而控制器械的运动。

在本发明中，主机可以选用单片机，可以支持以太网、串口、蓝牙通信，主机和手术机器人的调试接口通过串口相连，连接成功后，在手术机器人处于调试状态运行时，手术机器人在检测到控制手柄的数据变化后，会通过串口将控制手柄的数据发送到主机，这样，控制手柄的数据就可以被主机实时采集了。由于控制手柄是刚性器件，所以其内部传感器采集到的数据精度较高。

在步骤S12中，采集器械基于驱动信息运动的参考图像。

在本发明中，可以分别采集旋转参考图像、夹合参考图像和牵引参考图像，对器械的不同运动方式进行检测。

具体而言，对于器械的旋转运动而言，器械的边缘设置有旋转边缘点，当驱动信息为控制器械旋转的旋转信息，旋转边缘点基于旋转信息旋转，那么，可以采集器械在基于驱动信息运动前的第一旋转参考图像以及基于驱动信息运动后的第二旋转参考图像。

其中，旋转边缘点可以是器械上颜色不同的点，也可以是覆盖有特殊反光材料的标记物，比如，可以是球形或半球形等等，可以将旋转边缘点设置得较为明显，便于后续的识别和图像分析工作。

进一步的，器械还包括旋转中心点，当驱动信息为控制器械旋转的旋转信息，旋转边缘点基于旋转信息绕旋转中心点旋转，旋转中心点也可以在第一旋转参考图像和第二旋转参考图像中找到。

一种实现方式中，可以控制器械进行旋转，并获取器械在旋转过程中的多幅旋转图像，进而，从多幅旋转图像中确定器械未发生旋转的位置点，作为旋转中心点。也就是说，在器械的旋转过程中，持续采集旋转图像，通过对图像的分析，确定器械上的合适的点作为旋转中心点，这样找到的旋转中心点更合理，计算出的角度检测结果也会更准确。

另一种实现方式中，也可以利用第一固定摄像头，从垂直于旋转角速度的方向采集器械在基于驱动信息运动前的第一旋转参考图像及器械基于驱动信息运动后的第二旋转参考图像。也就是说，摄像头的位置是固定的，这样，参考图像之间的差异较小，计算过程更简洁，进一步有利于提高对器械进行角度检测的准确度。

对于器械的夹合运动而言，通常，器械的末端为对称的多个夹片，夹片的末端为夹合边缘点，当驱动信息为控制器械夹合的夹合信息，夹合边缘点基于夹合信息进行夹合运动，那么，可以采集器械在基于驱动信息运动前的第一夹合参考图像以及基于驱动信息运动后的第二夹合参考图像。

进一步的，器械还包括夹合中心点，当驱动信息为控制器械夹合的夹合信息，夹合边缘点基于夹合信息绕夹合中心点进行夹合运动。

一种实现方式中，可以控制器械进行夹合运动，并获取器械在夹合运动过程中的多幅夹合图像，然后，从多幅夹合图像中确定器械未发生位移的位置点，作为夹合中心点。也就是说，在器械的夹合过程中，持续采集夹合图像，通过对图像的分析，确定器械上的合适的点作为夹合中心点，这样找到的夹合中心点更合理，计算出的角度检测结果也会更准确。举例而言，夹合中心点可以为器械末端钳头组件夹片的根部。

另一种实现方式中，还可以利用第二固定摄像头，从垂直于夹合运动所在平面的方向采集器械基于驱动信息运动前的第一夹合参考图像及器械基于驱动信息运动后的第二夹合参考图像。也就是说，摄像头的位置是固定的，这样，参考图像之间的差异较小，计算过程更简洁，进一步有利于提高对器械进行角度检测的准确度。

对于器械的牵引运动而言，器械包括万向椎骨节，当驱动信息为控制器械牵引的牵引信息，万向椎骨节响应于该牵引信息进行牵引运动，万向椎骨节设置有牵引起始点和牵引终止点器械的边缘设置有，那么，可以采集器械在基于驱动信息运动前的第一牵引参考图像以及基于驱动信息运动后的第二牵引参考图像。

其中，万向椎骨节是一种柔性器械，通过自身的形变，可以带动器械的牵引运动。

一种实现方式中，可以控制器械进行牵引，并获取器械在牵引过程中的多幅牵引图像，进而，从多幅牵引图像中确定器械未发生旋转的位置点，作为牵引起始点。也就是说，在器械的牵引过程中，持续采集牵引图像，通过对图像的分析，确定器械上的合适的点作为牵引起始点。或者，也可以直接将器械上万向椎骨节的起始点和终止点作为牵引起始点和牵引终止点。

另一种实现方式中，还可以利用两个第三固定摄像头，分别从垂直于俯仰运动所在平面的方向或偏航运动所在平面的方向采集器械在基于驱动信息运动前的第一牵引参考图像及器械基于驱动信息运动后的第二牵引参考图像。

其中，用于获取参考图像的摄像头可以通过网线连接到角度检测控制器，角度检测控制器对参考图像实时处理，并通过显示屏显示当前手柄和器械的角度，输入和输出的姿态准确度及线性度，为用户提供参考。

一种实现方式中，可以先判断驱动信息对应的器械的运动角度变化值是否大于预设间隔值，若大于，再采集器械基于驱动信息运动的参考图像。这样，器械的实际位置信息就是离散的，可以减少数据的读取，直接看到输入和输出的差值，而且，方便生成易于观察的曲线图，不需要再依靠控制器定时采集生成持续的曲线。

举例而言，预设间隔值可以设为0.3，控制手柄基于驱动信息运动前的角度为α1，控制手柄基于驱动信息运动后的角度为α2，当驱动信息对应的器械的运动角度变化值α2-α1大于0.3的时候，才采集器械的参考图像。

或者，也可以实时采集器械的参考图像，当驱动信息对应的器械的运动角度变化值大于预设间隔值时再读取参考图像，这样，大量的参考图像可以用于备份，便于后续对手术机器人的操作过程进行检测。

在步骤S13中，在参考图像中对器械进行识别，根据识别结果计算器械的实际运动信息。

在本发明中，器械的结构包含多处柔性器件，可以采用特征点标记法利用参考图像计算器械的实际运动信息。

具体而言，对于实际运动信息中的旋转信息，可以计算第二旋转参考图像中旋转边缘点相对于第一旋转参考图像中旋转边缘点的旋转角度，作为器械的实际运动信息。

比如，可以在第一旋转参考图像中识别旋转边缘点以及旋转中心点，获得第一旋转边缘点以及第一旋转中心点；在第二旋转参考图像中识别旋转边缘点以及旋转中心点，获得第二旋转边缘点以及第二旋转中心点；获取第一旋转边缘点以及第一旋转中心点之间的第一线段，获取第二旋转边缘点以及第二旋转中心点之间的第二线段；计算第二线段相对第一线段的角度，作为器械的旋转角度。也就是说，通过对比器械在基于驱动信息运动之前和之后的旋转参考图像，根据两张图像中旋转边缘点的位置差异，可以计算器械的旋转角度。

或者，也可以根据第一旋转参考图像，建立器械的旋转坐标系，旋转坐标系的原点为旋转中心点；然后，计算第二旋转参考图像中旋转边缘点相对于旋转坐标系中原点的旋转角度，作为器械的实际运动信息。

也就是说，预先采集一张第一旋转参考图像作为初始图像，以该图像作为标准，后续的角度检测过程中，只需获取器械在基于驱动信息运动后的第二旋转参考图像，将第二旋转参考图像与初始图像进行对比即可，进一步的，可以基于初始图像建立坐标系，后续的角度检测计算过程将更为简便。可选的，坐标系平面可以是垂直于器械延伸方向的器械末端横截面，坐标系的横坐标轴可以在第一旋转参考图像中原点向旋转边缘点的方向。

或者，另一种实现方式中，在旋转动作下，可以将器械末端旋转一周并持续采集旋转过程中的图像，识别图像中旋转头上未发生位移的点，作为旋转中心点，旋转边缘点在器械旋转区域的边缘，即旋转边缘点设置在器械末端会基于旋转信息旋转的位置，当基于旋转信息控制器械末端旋转时，旋转边缘点发生旋转。由于第一固定摄像头的位置是固定的，因此，预设坐标系在旋转参考图像中的位置也是固定的，旋转参考图像中只需识别旋转边缘点的位置即可。

当器械旋转时，记录旋转边缘点与旋转中心点的连线与坐标系的夹角，即为旋转器械的角度。如图12所示，为预设坐标系的示意图，其中，原点为旋转中心点，圆形区域为器械的旋转区域，圆形边缘上的黑点即旋转边缘点，第一旋转参考图像中旋转边缘点与旋转中心点的连线与第二旋转参考图像中旋转边缘点与旋转中心点的连线之间的夹角即器械的角度，其中，对应于图12所示的预设坐标系，旋转边缘点与旋转中心点的连线即为圆形边缘上的黑点与坐标系原点之间的连线。

对于实际运动信息中的夹合信息，可以计算第二夹合参考图像中夹合边缘点相对于第一夹合参考图像中夹合边缘点的夹合角度，作为器械的实际运动信息。

比如，在器械还包括夹合中心点的情况下，可以在第一夹合参考图像识别夹合边缘点以及夹合中心点，获得第一夹合边缘点以及第一夹合中心点，并计算第一夹合参考图像中夹合边缘点以夹合中心点为中心的第一夹角；在第二夹合参考图像中识别夹合边缘点以及夹合中心点，获得第二夹合边缘点以及第二夹合中心点，并计算第二夹合参考图像中夹合边缘点以夹合中心点为端点的第二夹角；计算第二夹角相对于第一夹角的夹合角度，作为器械的实际运动信息。

其中，第一夹合参考图像及第二夹合参考图像可以利用第二固定摄像头，从垂直于夹合运动所在平面的方向采集器械基于驱动信息运动前的第一夹合参考图像及器械基于驱动信息运动后的第二夹合参考图像，进而，根据第一夹合参考图像，建立器械的夹合坐标系，夹合坐标系的原点为夹合中心点，并计算第二夹合参考图像中夹合边缘点与夹合坐标系原点连线的夹角，作为器械的实际运动信息。可选的，该坐标系的坐标轴可以是位于两个夹片形成的角平分线上，或者说，当夹片夹合时，以从夹合中心点到夹片末端的连线作为坐标轴。

也就是说，在夹合动作下，器械末端钳头组件的夹片是移动的，可以直接选取夹片的最远端为夹合边缘点，第二固定摄像头采集器械钳头夹紧过程中的图像，通过识别图像中夹片末端上未发生位移的点，以该点作为夹合中心点。

对夹合边缘点和夹合中心点进行连线，即可获得夹合的角度，夹合角度的计算可以采用三角函数的方法，或者，一种实现方式中，也可以通过建立坐标系进行计算，如图13所示，为夹合坐标系的示意图，其中，原点为夹合中心点，A点和B点均为夹合边缘点，∠AOB代表钳子的夹合角度。

对于实际运动信息中的牵引信息，可以计算第二牵引参考图像中万向椎骨节的牵引终止点相对于第一牵引参考图像中万向椎骨节的牵引终止点的牵引角度，作为器械的实际运动信息。当驱动信息为控制器械牵引的牵引信息，牵引终止点基于进行牵引运动，可以在第一牵引参考图像中识别牵引终止点以及牵引起始点，获得第一牵引终止点以及第一牵引起始点；在第二牵引参考图像中识别牵引终止点以及牵引起始点，获得第二牵引终止点以及第二牵引起始点；获取第一牵引终止点以及第一牵引起始点之间的第一线段，获取第二牵引终止点以及第二牵引起始点之间的第二线段；计算第二线段相对第一线段的角度，作为器械的牵引角度。

其中，可以利用两个第三固定摄像头，分别从垂直于俯仰运动所在平面的方向或偏航运动所在平面的方向采集器械在基于驱动信息运动前的第一牵引参考图像及器械基于驱动信息运动后的第二牵引参考图像，对应的，可以根据第一牵引参考图像，建立器械的牵引坐标系，牵引坐标系的原点为牵引起始点；然后，计算第二牵引参考图像中牵引终止点与所述牵引坐标系原点的连线与牵引坐标系坐标轴的夹角，作为器械的实际运动信息。可选的，该计算方式中，可以以第一参考图像中牵引起始点向牵引终止点的方向设置坐标系的横轴。

举例而言，如图14所示，为器械牵引结构的示意图，其中，A点即为牵引起始点，B点即为牵引终止点，牵引结构是柔性的，牵引运动过程中虽然会有原点的移动，或者，可能存在器械变成非线性的情况，但只需要测牵引起始点及牵引终止点的位置即可。

牵引运动可以分为俯仰动作和偏航动作，即两个自由度，俯仰动作和偏航动作可以分两组来测试，采用不同位置的摄像头，但不同角度的运动方式一致，没有技术上的差异点。如图15所示，为牵引坐标系的示意图，其中，A点和B点分别为牵引起始点和牵引终止点，A点与B点之间的黑色折线代表器械，将A点与B点连线，直线AB与牵引坐标系X轴的夹角，即可表示当前牵引运动的角度值，也就是第一牵引信息。

另外，还可以将器械的万向椎骨节设置为预设颜色，然后，在第一牵引参考图像中识别预设颜色所在区域，将预设颜色区域的起始位置作为第一检测起始点，将预设颜色区域的终止位置作为第一检测终止点；在第二牵引参考图像中识别预设颜色所在区域，将预设颜色区域的起始位置作为第二检测起始点，将预设颜色区域的终止位置作为第二检测终止点；获取第一检测终止点以及第一检测起始点之间的第三线段，获取第二牵引终止点以及第二牵引起始点之间的第四线段；计算第四线段相对第三线段的角度，作为器械的牵引角度。

举例而言，可以把器械的万向椎骨节部分，即图14中AB段，涂上较为显眼的红色，当第三固定摄像头拍到第一牵引参考图像及第二牵引参考图像后，器械非红色部分的像素点置为0，红色部分的像素点置为255，第一牵引参考图像及第二牵引参考图像就只剩AB段了，然后，将第一牵引参考图像及第二牵引参考图像中的AB两点相连，计算两条连线之间的夹角，得到器械的牵引角度。

这样，由于牵引检测具有两个自由度的移动范围，相较于其他两项检测会出现图像配准不准确的问题，采用颜色标记检测的方式，对牵引信息进行多次检测，进一步提高角度检测的精确度。

一种实现方式中，还可以判断第二线段相对第一线段的角度与第四线段相对第三线段的角度之间的差值是否小于预设阈值，若不小于，则判定获得的牵引角度无效。可选的，第一牵引起始点、第一牵引终止点、第二牵引起始点以及第二牵引终止点可以通过与颜色识别不同的方式确定，如通过设置于万向椎骨节的标志点确定。

举例而言，预设阈值可以为0.5，当第二线段相对第一线段的角度与第四线段相对第三线段的角度之间的差值小于0.5度的时候，证明检测很准确；如果大于这个值，说明当前检测结果不可用，需要重新进行角度检测，直到差值小于0.5。

第二线段相对第一线段的角度与第四线段相对第三线段的角度都反应器械的牵引角度，在理想状态下，两者应该相同，因此，通过误差的判断，可以对牵引信息的准确度进行初步的判断，如果两者之间误差过大，则认为牵引信息的检测不准确，需要重新进行检测，这样，可以进一步提高角度检测的精度，另外，还能够减少控制器的计算量。

在步骤S14中，在驱动信息与实际运动信息满足预设匹配条件的情况下，判定器械的角度检测合格。

在本步骤中，可以先根据驱动信息计算器械的目标运动信息，然后，计算目标运动信息与实际运动信息的差值，如果目标运动信息和器械实际运动信息的姿态差值在预设范围内，如在正负1度以内，则驱动信息与实际运动信息满足预设匹配条件，说明控制手柄和器械的角度是一致的；如果控制手柄给出的器械目标运动信息和器械实际运动信息的姿态差值不在预设范围内，则驱动信息与实际运动信息不满足预设匹配条件，说明控制手柄和器械的角度是不一致的，系统角度误差超过规定值。

一种实现方式中，可以采用如下步骤，根据驱动信息计算器械的目标运动信息：

对于旋转运动和夹合运动而言，首先，可以将驱动信息转换为初始角度值，然后，获取控制手柄的第一预设极限角度及器械的第二预设极限角度，进而，根据初始角度值、第一预设极限角度及第二预设极限角度，计算器械的目标旋转值，作为器械的目标运动信息。

举例而言，控制手柄上的传感器所采集的信号是一个二进制值信号，表示当前径向磁铁相较于检测芯片的角度，可以把采集的二进制值信号除以4096变成十进制，再乘以360就能表示对应的初始角度值。

其中，一种实现方式中，控制手柄和器械的可变换角度是一致的，可以将初始角度值直接作为目标运动信息进行后续的处理，但是，在一些情况下，控制手柄和器械具有不同的极限角度，那么，在得到初始角度值之后，可以获取控制手柄的第一预设极限角度及器械的第二预设极限角度，然后，计算第二预设极限角度与第一预设极限角度的比值，将比值与初始角度值的乘积作为器械的目标运动信息。

举例而言，旋转角度信息用于指示器械中钳头组件的旋转角度且对应于旋转角度驱动电机，在驱动信息为旋转信息的情况下，如果控制手柄从中间初始状态向左或者向右分别能够旋转的极限角度是a度，也就是控制手柄的第一预设极限角度，如果器械希望向左、向右旋转的极限位置是b度，也就是器械的第二预设极限角度，则需要用控制手柄的初始角度值乘以b/a的系数之后，再作为器械的目标运动信息。

另外，夹合角度信息用于指示器械中钳头组件的夹合角度且对应于夹合角度驱动电机，在驱动信息为夹合信息的情况下，传感器采集的第一运动角度是驱动电机轴的角度，器械的夹合是指在中间轴做往返运动，那么，需要确定夹合角度的极限位置，比如，假设控制手柄的第一预设极限角度为a1、器械的第二预设极限角度为a2，器械的目标运动信息值即为初始角度值与a2/a1的乘积。

在本发明中，控制手柄的夹合角度的第一预设极限角度可以为15度，器械的夹合角度的第二预设极限角度可以为30度，两者的比例是系数是1:2，这样的取值可以保证器械末端的钳子能够夹紧。

对于牵引运动而言，牵引运动信息对应于牵引驱动电机，驱动信息通过牵引位置信息控制器械的牵引动作，那么，可以获取控制手柄的第一预设量程、器械进行牵引运动的第二预设量程以及控制手柄的坐标系与器械的坐标系之间的转换关系，然后，根据牵引运动信息、转换关系、第一预设量程及第二预设量程，计算器械的目标牵引位置，作为器械的目标运动信息。

其中，可以采用如下步骤，根据牵引运动信息、转换关系、第一预设量程及第二预设量程，计算得到器械的目标牵引位置：

首先，计算第二预设量程与第一预设量程的比值；计算牵引运动信息的横坐标与预设中心点的横坐标之间的第一差值，计算牵引运动信息的纵坐标与预设中心点的纵坐标之间的第二差值，其中，预设中心点的横坐标及纵坐标分别为第一预设量程的二分之一；然后，计算第一差值与比值的乘积，作为参考位置的横坐标，并计算所述第二差值与所述比值的乘积，作为参考位置的纵坐标；根据转换关系，将参考位置转换为器械的坐标系中的坐标，获得器械的目标牵引位置。

在本发明中，牵引运动信息通常取值为正数，与用户对控制手柄的操作信息相关，对应的是控制手柄的运动角度，因此，需要将牵引运动信息转换为控制手柄坐标系中的坐标，才能将用户对控制手柄的操作信息转换为器械的目标牵引位置。具体而言，牵引运动信息的横坐标与预设中心点的横坐标之间的第一差值，也就是牵引运动信息对应的在控制手柄坐标系中的横坐标，牵引运动信息的纵坐标与预设中心点的纵坐标之间的第二差值，也就是牵引运动信息对应的在控制手柄坐标系中的纵坐标。

其中，转换关系为控制手柄的坐标系与器械的坐标系之间的预设角度差，那么，可以采用如下步骤，根据转换关系，将参考位置转换为器械的坐标系中的坐标，获得器械的目标牵引位置：

计算参考位置的横坐标与预设角度差的余弦值的乘积，与参考位置的纵坐标与预设角度差的正弦值的乘积之和，作为器械的目标牵引位置的横坐标；进而，计算参考位置的横坐标与预设角度差的正弦值的乘积，与参考位置的纵坐标与预设角度差的余弦值的乘积之和，作为器械的目标牵引位置的纵坐标。

上述步骤可以采用如下公式表示：

x’=(a-0.5m)*(n/m);

y’=(b-0.5m)*(n/m);

X=cosβx’+sinβy’

Y=-sinβx’+cosβy’

其中，β是预设角度差，可以取值为45°，m为控制手柄的第一预设量程，n为器械的第二预设量程，（0.5m,0.5m）可以表示控制手柄对应的坐标轴原点的位置信息，（a,b）是牵引位置信息，（x’，y’）是参考位置，也就是牵引位置信息进行缩放后对应于控制手柄坐标系中的位置，（x，y）是目标牵引位置，也就是牵引位置信息对应于器械坐标系中的位置。

由以上可见，本发明的实施例提供的技术方案，经过对图像参考图像进行分析，可以确定出器械的实际运动信息，实现对手术机器人器械的角度检测，进而，将实际运动信息与驱动信息进行比较，可以确定手术机器人的动作精度是否符合要求，有利于不断提高手术机器人器械的动作精度。

图16是根据一示例性实施例示出的一种基于图像的器械角度检测装置框图，应用于手术机器人中的主机，所述手术机器人包括控制手柄、器械及所述主机，所述主机用于根据所述控制手柄的驱动信号对所述器械进行运动控制，该装置包括：

获取单元，被配置为执行获取控制手柄的驱动信息，所述控制手柄用于根据所述驱动信息对器械进行驱动，所述驱动信息用于指示所述器械的运动角度；

采集单元，被配置为执行采集所述器械基于驱动信息运动的参考图像；

计算单元，被配置为执行在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息；

判断单元，被配置为执行在所述驱动信息与所述实际运动信息满足预设匹配条件的情况下，判定所述器械的角度检测合格。

一种实现方式中，所述实际运动信息包括旋转信息，所述器械的边缘设置有旋转边缘点，当所述驱动信息为控制所述器械旋转的旋转信息，所述旋转边缘点基于所述旋转信息旋转；

所述采集单元，被配置为执行：

采集所述器械在基于所述驱动信息运动前的第一旋转参考图像以及基于所述驱动信息运动后的第二旋转参考图像；

所述计算单元，被配置为执行：

计算所述第二旋转参考图像中所述旋转边缘点相对于所述第一旋转参考图像中所述旋转边缘点的旋转角度，作为所述器械的实际运动信息。

一种实现方式中，所述器械还包括旋转中心点，当所述驱动信息为控制所述器械旋转的旋转信息，所述旋转边缘点基于所述旋转信息绕所述旋转中心点旋转；

所述计算单元，被配置为执行：

在所述第一旋转参考图像中识别所述旋转边缘点以及所述旋转中心点，获得第一旋转边缘点以及第一旋转中心点；

在所述第二旋转参考图像中识别所述旋转边缘点以及所述旋转中心点，获得第二旋转边缘点以及第二旋转中心点；

获取所述第一旋转边缘点以及所述第一旋转中心点之间的第一线段，获取所述第二旋转边缘点以及所述第二旋转中心点之间的第二线段；

计算所述第二线段相对所述第一线段的角度，作为所述器械的旋转角度。

一种实现方式中，所述装置还包括：

选择单元，被配置为执行：

控制所述器械进行旋转，并获取所述器械在旋转过程中的多幅旋转图像；

从所述多幅旋转图像中确定所述器械未发生旋转的位置点，作为所述旋转中心点。

一种实现方式中，所述采集单元，被配置为执行：

利用第一固定摄像头，从垂直于旋转角速度的方向采集所述器械在基于所述驱动信息运动前的第一旋转参考图像及所述器械基于所述驱动信息运动后的第二旋转参考图像；

所述计算单元，被配置为执行：

根据所述第一旋转参考图像，建立所述器械的旋转坐标系，所述旋转坐标系的原点为所述旋转中心点；

计算所述第二旋转参考图像中所述旋转边缘点相对于所述旋转坐标系中原点的旋转角度，作为所述器械的实际运动信息。

一种实现方式中，所述器械的末端为对称的多个夹片，所述夹片的末端为夹合边缘点，当所述驱动信息为控制所述器械夹合的夹合信息，所述夹合边缘点基于所述夹合信息进行夹合运动；

所述采集单元，被配置为执行：

采集所述器械在基于所述驱动信息运动前的第一夹合参考图像以及基于所述驱动信息运动后的第二夹合参考图像；

所述计算单元，被配置为执行：

计算所述第二夹合参考图像中所述夹合边缘点相对于所述第一夹合参考图像中所述夹合边缘点的夹合角度，作为所述器械的实际运动信息。

一种实现方式中，所述器械还包括夹合中心点，当所述驱动信息为控制所述器械夹合的夹合信息，所述夹合边缘点基于所述夹合信息绕所述夹合中心点进行夹合运动；

所述计算单元，被配置为执行：

在所述第一夹合参考图像识别所述夹合边缘点以及所述夹合中心点，获得第一夹合边缘点以及第一夹合中心点，并计算所述第一夹合参考图像中所述夹合边缘点以所述夹合中心点为中心的第一夹角；

在所述第二夹合参考图像中识别所述夹合边缘点以及所述夹合中心点，获得第二夹合边缘点以及第二夹合中心点，并计算所述第二夹合参考图像中所述夹合边缘点以所述夹合中心点为端点的第二夹角；

计算所述第二夹角相对于所述第一夹角的夹合角度，作为所述器械的实际运动信息。

一种实现方式中，所述装置还包括：

选择单元，被配置为执行：

控制所述器械进行夹合运动，并获取所述器械在夹合运动过程中的多幅夹合图像；

从所述多幅夹合图像中确定所述器械未发生位移的位置点，作为所述夹合中心点。

一种实现方式中，所述采集单元，被配置为执行：

利用第二固定摄像头，从垂直于夹合运动所在平面的方向采集所述器械基于所述驱动信息运动前的第一夹合参考图像及所述器械基于所述驱动信息运动后的第二夹合参考图像；

所述计算单元，被配置为执行：

根据所述第一夹合参考图像，建立所述器械的夹合坐标系，所述夹合坐标系的原点为所述夹合中心点；

计算所述第二夹合参考图像中所述夹合边缘点与所述夹合坐标系原点连线的夹角，作为所述器械的实际运动信息。

一种实现方式中，所述器械包括万向椎骨节，当所述驱动信息为控制所述器械牵引的牵引信息，所述万向椎骨节响应于该牵引信息进行牵引运动，所述万向椎骨节设置有牵引起始点和牵引终止点；

所述采集单元，被配置为执行：

采集所述器械在基于所述驱动信息运动前的第一牵引参考图像以及基于所述驱动信息运动后的第二牵引参考图像；

所述计算单元，被配置为执行：

计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，作为所述器械的实际运动信息。

一种实现方式中，所述当所述驱动信息为控制所述器械牵引的牵引信息，所述牵引终止点基于所述进行牵引运动；

所述计算单元，被配置为执行：

在所述第一牵引参考图像中识别所述牵引终止点以及所述牵引起始点，获得第一牵引终止点以及第一牵引起始点；

在所述第二牵引参考图像中识别所述牵引终止点以及所述牵引起始点，获得第二牵引终止点以及第二牵引起始点；

获取所述第一牵引终止点以及所述第一牵引起始点之间的第一线段，获取所述第二牵引终止点以及所述第二牵引起始点之间的第二线段；

计算所述第二线段相对所述第一线段的角度，作为所述器械的牵引角度。

一种实现方式中，所述采集单元，被配置为执行：

利用两个第三固定摄像头，分别从垂直于俯仰运动所在平面的方向或偏航运动所在平面的方向采集所述器械在基于所述驱动信息运动前的第一牵引参考图像及所述器械基于所述驱动信息运动后的第二牵引参考图像；

所述计算单元，被配置为执行：

根据所述第一牵引参考图像，建立所述器械的牵引坐标系，所述牵引坐标系的原点为所述牵引起始点；

计算所述第二牵引参考图像中所述牵引终止点与所述牵引坐标系原点的连线与所述牵引坐标系坐标轴的夹角，作为所述器械的实际运动信息。

一种实现方式中，所述万向椎骨节为预设颜色，所述计算单元，被配置为执行：

在所述第一牵引参考图像中识别所述预设颜色所在区域，将所述预设颜色区域的起始位置作为第一检测起始点，将所述预设颜色区域的终止位置作为第一检测终止点；

在所述第二牵引参考图像中识别所述预设颜色所在区域，将所述预设颜色区域的起始位置作为第二检测起始点，将所述预设颜色区域的终止位置作为第二检测终止点；

获取所述第一检测终止点以及所述第一检测起始点之间的第三线段，获取所述第二牵引终止点以及所述第二牵引起始点之间的第四线段；

计算所述第四线段相对所述第三线段的角度，作为所述器械的牵引角度。

一种实现方式中，所述计算单元，被配置为执行：

判断所述第二线段相对所述第一线段的角度与所述第四线段相对所述第三线段的角度之间的差值是否小于预设阈值，若不小于，则判定获得的牵引角度无效。

一种实现方式中，所述采集单元，被配置为执行：

判断所述驱动信息对应的所述器械的运动角度变化值是否大于预设间隔值，若大于，则在所述控制手柄对所述器械进行驱动后，采集所述器械基于所述驱动信息运动的参考图像。

由以上可见，本发明的实施例提供的技术方案，经过对图像参考图像进行分析，可以确定出器械的实际运动信息，实现对手术机器人器械的角度检测，进而，将实际运动信息与驱动信息进行比较，可以确定手术机器人的动作精度是否符合要求，有利于不断提高手术机器人器械的动作精度。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图17是根据一示例性实施例示出的一种用于基于图像的器械角度检测的电子设备的框图。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，当其在计算机上运行时，使得计算机实现上述基于图像的器械角度检测的方法。

由以上可见，本发明的实施例提供的技术方案，通过采集器械的参考图像，可以分析出器械的实际运动信息，相比于利用传感器获取器械实际运动信息的方法，本方案更容易获得器械的实际位置信息，准确度也更高，有利于提高手术机器人的动作精度。

图18是根据一示例性实施例示出的一种用于基于图像的器械角度检测的装置800的框图。

例如，装置800可以是移动电话，计算机，数字广播电子设备，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图18，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出（I/O）的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

电源组件807为装置800的各种组件提供电力。电源组件807可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（MIC），当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，运营商网络（如2G、3G、4G或5G），或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行第一方面和第二方面所述的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。可选地，例如，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性非临时性计算机可读存储介质计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中第一所述的基于图像的器械角度检测方法。

由以上可见，本发明的实施例提供的技术方案，经过对图像参考图像进行分析，可以确定出器械的实际运动信息，实现对手术机器人器械的角度检测，进而，将实际运动信息与驱动信息进行比较，可以确定手术机器人的动作精度是否符合要求，有利于不断提高手术机器人器械的动作精度。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (19)

1.一种基于图像的器械角度检测方法，其特征在于，应用于手术机器人中的主机，所述手术机器人包括控制手柄、器械及所述主机，所述主机用于根据所述控制手柄的驱动信号对所述器械进行运动控制，包括：

获取所述控制手柄的驱动信息，所述驱动信息用于指示所述器械的运动角度；

采集所述器械基于所述驱动信息运动的参考图像；

在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息；

在所述驱动信息与所述实际运动信息满足预设匹配条件的情况下，判定所述器械的角度检测合格。

2.根据权利要求1所述的基于图像的器械角度检测方法，其特征在于，所述器械的边缘设置有旋转边缘点，当所述驱动信息为控制所述器械旋转的旋转信息，所述旋转边缘点基于所述旋转信息旋转；

所述采集所述器械基于所述驱动信息运动的参考图像，包括：

采集所述器械在基于所述驱动信息运动前的第一旋转参考图像以及基于所述驱动信息运动后的第二旋转参考图像；

所述在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息，包括：

计算所述第二旋转参考图像中所述旋转边缘点相对于所述第一旋转参考图像中所述旋转边缘点的旋转角度，作为所述器械的实际运动信息。

3.根据权利要求2所述的基于图像的器械角度检测方法，其特征在于，所述器械还包括旋转中心点，当所述驱动信息为控制所述器械旋转的旋转信息，所述旋转边缘点基于所述旋转信息绕所述旋转中心点旋转；

所述计算所述第二旋转参考图像中所述旋转边缘点相对于所述第一旋转参考图像中所述旋转边缘点的旋转角度，包括：

在所述第一旋转参考图像中识别所述旋转边缘点以及所述旋转中心点，获得第一旋转边缘点以及第一旋转中心点；

在所述第二旋转参考图像中识别所述旋转边缘点以及所述旋转中心点，获得第二旋转边缘点以及第二旋转中心点；

获取所述第一旋转边缘点以及所述第一旋转中心点之间的第一线段，获取所述第二旋转边缘点以及所述第二旋转中心点之间的第二线段；

计算所述第二线段相对所述第一线段的角度，作为所述器械的旋转角度。

4.根据权利要求3所述的基于图像的器械角度检测方法，其特征在于，所述方法还包括：

控制所述器械进行旋转，并获取所述器械在旋转过程中的多幅旋转图像；

从所述多幅旋转图像中确定所述器械未发生旋转的位置点，作为所述旋转中心点。

5.根据权利要求2所述的基于图像的器械角度检测方法，其特征在于，所述采集所述器械在基于所述驱动信息运动前的第一旋转参考图像以及基于所述驱动信息运动后的第二旋转参考图像，包括：

利用第一固定摄像头，从垂直于旋转角速度的方向采集所述器械在基于所述驱动信息运动前的第一旋转参考图像及所述器械基于所述驱动信息运动后的第二旋转参考图像；

所述计算所述第二旋转参考图像中所述旋转边缘点相对于所述第一旋转参考图像中所述旋转边缘点的旋转角度，作为所述器械的实际运动信息，包括：

根据所述第一旋转参考图像，建立所述器械的旋转坐标系，所述旋转坐标系的原点为旋转中心点；

计算所述第二旋转参考图像中所述旋转边缘点相对于所述旋转坐标系中原点的旋转角度，作为所述器械的实际运动信息。

6.根据权利要求1所述的基于图像的器械角度检测方法，其特征在于，所述器械的末端为对称的多个夹片，所述夹片的末端为夹合边缘点，当所述驱动信息为控制所述器械夹合的夹合信息，所述夹合边缘点基于所述夹合信息进行夹合运动；

所述采集所述器械基于所述驱动信息运动的参考图像，包括：

采集所述器械在基于所述驱动信息运动前的第一夹合参考图像以及基于所述驱动信息运动后的第二夹合参考图像；

所述在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息，包括：

计算所述第二夹合参考图像中所述夹合边缘点相对于所述第一夹合参考图像中所述夹合边缘点的夹合角度，作为所述器械的实际运动信息。

7.根据权利要求6所述的基于图像的器械角度检测方法，其特征在于，所述器械还包括夹合中心点，当所述驱动信息为控制所述器械夹合的夹合信息，所述夹合边缘点基于所述夹合信息绕所述夹合中心点进行夹合运动；

所述计算所述第二夹合参考图像中所述夹合边缘点相对于所述第一夹合参考图像中所述夹合边缘点的夹合角度，包括：

在所述第一夹合参考图像识别所述夹合边缘点以及所述夹合中心点，获得第一夹合边缘点以及第一夹合中心点，并计算所述第一夹合参考图像中所述夹合边缘点以所述夹合中心点为中心的第一夹角；

在所述第二夹合参考图像中识别所述夹合边缘点以及所述夹合中心点，获得第二夹合边缘点以及第二夹合中心点，并计算所述第二夹合参考图像中所述夹合边缘点以所述夹合中心点为端点的第二夹角；

计算所述第二夹角相对于所述第一夹角的夹合角度，作为所述器械的实际运动信息。

8.根据权利要求7所述的基于图像的器械角度检测方法，其特征在于，所述方法还包括：

控制所述器械进行夹合运动，并获取所述器械在夹合运动过程中的多幅夹合图像；

从所述多幅夹合图像中确定所述器械未发生位移的位置点，作为所述夹合中心点。

9.根据权利要求6所述的基于图像的器械角度检测方法，其特征在于，所述采集所述器械在基于所述驱动信息运动前的第一夹合参考图像以及基于所述驱动信息运动后的第二夹合参考图像，包括：

利用第二固定摄像头，从垂直于夹合运动所在平面的方向采集所述器械基于所述驱动信息运动前的第一夹合参考图像及所述器械基于所述驱动信息运动后的第二夹合参考图像；

所述计算所述第二夹合参考图像中所述夹合边缘点相对于所述第一夹合参考图像中所述夹合边缘点的夹合角度，作为所述器械的实际运动信息：

根据所述第一夹合参考图像，建立所述器械的夹合坐标系，所述夹合坐标系的原点为所述夹合中心点；

计算所述第二夹合参考图像中所述夹合边缘点与所述夹合坐标系原点连线的夹角，作为所述器械的实际运动信息。

10.根据权利要求1所述的基于图像的器械角度检测方法，其特征在于，所述器械包括万向椎骨节，当所述驱动信息为控制所述器械牵引的牵引信息，所述万向椎骨节响应于该牵引信息进行牵引运动，所述万向椎骨节设置有牵引起始点和牵引终止点；

所述采集所述器械基于所述驱动信息运动的参考图像，包括：

采集所述器械在基于所述驱动信息运动前的第一牵引参考图像以及基于所述驱动信息运动后的第二牵引参考图像；

所述在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息，包括：

计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，作为所述器械的实际运动信息。

11.根据权利要求10所述的基于图像的器械角度检测方法，其特征在于，所述当所述驱动信息为控制所述器械牵引的牵引信息，所述牵引终止点基于所述进行牵引运动；

所述计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，包括：

在所述第一牵引参考图像中识别所述牵引终止点以及所述牵引起始点，获得第一牵引终止点以及第一牵引起始点；

在所述第二牵引参考图像中识别所述牵引终止点以及所述牵引起始点，获得第二牵引终止点以及第二牵引起始点；

获取所述第一牵引终止点以及所述第一牵引起始点之间的第一线段，获取所述第二牵引终止点以及所述第二牵引起始点之间的第二线段；

计算所述第二线段相对所述第一线段的角度，作为所述器械的牵引角度。

12.根据权利要求10所述的基于图像的器械角度检测方法，其特征在于，所述采集所述器械在基于所述驱动信息运动前的第一牵引参考图像以及基于所述驱动信息运动后的第二牵引参考图像，包括：

利用两个第三固定摄像头，分别从垂直于俯仰运动所在平面的方向或偏航运动所在平面的方向采集所述器械在基于所述驱动信息运动前的第一牵引参考图像及所述器械基于所述驱动信息运动后的第二牵引参考图像；

所述计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，包括：

根据所述第一牵引参考图像，建立所述器械的牵引坐标系，所述牵引坐标系的原点为所述牵引起始点；

计算所述第二牵引参考图像中所述牵引终止点与所述牵引坐标系原点的连线与所述牵引坐标系坐标轴的夹角，作为所述器械的实际运动信息。

13.根据权利要求11所述的基于图像的器械角度检测方法，其特征在于，所述万向椎骨节为预设颜色，所述计算所述第二牵引参考图像中所述万向椎骨节的牵引终止点相对于所述第一牵引参考图像中所述万向椎骨节的牵引终止点的牵引角度，作为所述器械的实际运动信息，包括：

在所述第一牵引参考图像中识别所述预设颜色所在区域，将所述预设颜色区域的起始位置作为第一检测起始点，将所述预设颜色区域的终止位置作为第一检测终止点；

在所述第二牵引参考图像中识别所述预设颜色所在区域，将所述预设颜色区域的起始位置作为第二检测起始点，将所述预设颜色区域的终止位置作为第二检测终止点；

获取所述第一检测终止点以及所述第一检测起始点之间的第三线段，获取所述第二牵引终止点以及所述第二牵引起始点之间的第四线段；

计算所述第四线段相对所述第三线段的角度，作为所述器械的牵引角度。

14.根据权利要求13所述的基于图像的器械角度检测方法，其特征在于，所述在所述计算所述第四线段相对所述第三线段的角度之后，所述方法还包括：

判断所述第二线段相对所述第一线段的角度与所述第四线段相对所述第三线段的角度之间的差值是否小于预设阈值，若不小于，则判定获得的牵引角度无效。

15.根据权利要求1所述的基于图像的器械角度检测方法，其特征在于，所述采集所述器械基于所述驱动信息运动的参考图像，包括：

判断所述驱动信息对应的所述器械的运动角度变化值是否大于预设间隔值，若大于，则在所述控制手柄对所述器械进行驱动后，采集所述器械基于所述驱动信息运动的参考图像。

16.一种基于图像的器械角度检测装置，其特征在于，应用于手术机器人中的主机，所述手术机器人包括控制手柄、器械及所述主机，所述主机用于根据所述控制手柄的驱动信号对所述器械进行运动控制，包括：

获取单元，被配置为执行获取所述控制手柄的驱动信息，所述驱动信息用于指示所述器械的运动角度；

采集单元，被配置为执行采集所述器械基于所述驱动信息运动的参考图像；

计算单元，被配置为执行在所述参考图像中对所述器械进行识别，根据识别结果计算所述器械的实际运动信息；

判断单元，被配置为执行在所述驱动信息与所述实际运动信息满足预设匹配条件的情况下，判定所述器械的角度检测合格。

17.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器;

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至15中任一项所述的基于图像的器械角度检测方法。

18.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由基于图像的器械角度检测电子设备的处理器执行时，使得基于图像的器械角度检测电子设备能够执行如权利要求1至15中任一项所述的基于图像的器械角度检测方法。

19.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15任一项所述的基于图像的器械角度检测方法。

Images