CN113397704A - 机器人定位方法、装置、系统及计算机设备 - Google Patents

Abstract

本申请涉及一种机器人定位方法、装置、系统及计算机设备。该方法包括：服务器通过获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像，根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系，基于配准关系和预设的映射关系，确定机器人的定位信息，其中，预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。在本方案中，不需要对用户进行额外的标记物的粘贴或者设置，避免了对用户造成额外的伤害，通过预设的配准方法，构建机器人、图像采集设备、以及医疗设备三者之间的映射关系，实现通过参考医疗影像实现机器人的定位操作，使得机器人的术前规划更加准确。

Description

机器人定位方法、装置、系统及计算机设备

技术领域

本申请涉及机器人技术领域，特别是涉及一种机器人定位方法、装置、系统及计算机设备。

背景技术

现有神经外科手术的技术可以分为标记物和无标记物两大类。基于标记物的技术，主要是通过在患者头骨中植入标记物或在头部粘贴标记物，让患者带着标记物进行术前影像的扫描，基于标记物分别在影像空间和物理空间确定其对应的位置信息，从而根据影像空间与物理空间的变换关系，完成机器人的术前规划。

但这些标记物通常会对患者造成额外的伤害，且一旦标记物与术前影像中患者的头部发生相对位移，则会导致机器人的术前规划产生数据偏差，从而使得机器人的定位不准确。

发明内容

基于此，有必要针对上述技术问题，提供一种机器人定位方法、装置、系统及计算机设备。

第一方面，提供一种机器人定位方法，该方法包括：

获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像；

根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系；

基于配准关系和预设的映射关系，确定机器人的定位信息；预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。

在其中一个实施例中，上述根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系，包括：

从医学影像中确定预设数量的参考点，并获取参考点的位置信息；

根据各参考点的位置信息，从目标部位图像中确定与各参考点对应的目标点；

根据目标点和参考点之间的对应关系，确定目标部位图像与医学影像之间的配准关系。

在其中一个实施例中，上述根据各参考点的位置信息，从目标部位图像中确定与各参考点对应的目标点，包括：

根据参考点确定参考点组；参考点组包括至少四个参考点；

根据各参考点的位置信息，确定参考点组的向量信息；向量信息包括两两参考点之间的距离和方向；

根据参考点组的向量信息，从目标部位图像中确定与参考点组对应的目标点组；

根据目标点组确定各参考点对应的目标点。

在其中一个实施例中，上述根据参考点组的向量信息，从目标部位图像中确定与参考点组对应的目标点组，包括：

获取医学影像中参考点组中两两参考点之间的第一距离；

获取目标部位图像中多个候选点组的中两两候选点之间的第二距离；

计算第一距离与第二距离的第一偏差；

将第一偏差最小的候选点组，确定为目标点组。

在其中一个实施例中，在根据所述目标点和所述参考点之间的对应关系，确定目标部位图像与医学影像之间的配准关系之后，该方法还包括：

获取目标部位图像中各候选点的位置信息；

根据各候选点的位置信息、各参考点的位置信息和预设的ICP算法，确定各参考点对应的目标点；

根据目标点和参考点之间的对应关系，调整目标部位图像与医学影像之间的配准关系。

在其中一个实施例中，上述通过图像采集设备采集用户的目标部位图像，包括：

通过图像采集设备采集用户的二维图像和深度图像；

根据二维图像和深度图像，确定目标部位图像。

在其中一个实施例中，上述根据二维图像和深度图像，确定目标部位图像，包括：

根据预设的特征点提取算法，获取二维图像中的候选特征点；

根据二维图像和深度图像之间的映射关系，确定深度图像中与候选特征点对应的目标特征点；

根据目标特征点的三维信息，生成目标部位图像。

第二方面，提供一种机器人定位装置，该装置包括：

获取模块，用于获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像；

配准模块，用于根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系；

定位模块，用于基于配准关系和预设的映射关系，确定机器人的定位信息；预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。

第三方面，提供一种机器人定位系统，该系统包括：服务器、图像采集设备、医疗设备、以及目标机器人；

服务器，用于执行上述第一方面提供的机器人定位方法；

医疗设备，用于采集用户的医学影像；

图像采集设备，用于采集用户的目标部位图像；且，图像采集设备的位置与目标机器人的位置存在关联关系。

第四方面，提供一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面任一所述的机器人定位方法。

第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面任一所述的机器人定位方法。

上述机器人定位方法、装置、系统及计算机设备，服务器通过获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像，根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系，基于配准关系和预设的映射关系，确定机器人的定位信息，其中，预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。在本方案中，不需要对用户进行额外的标记物的粘贴或者设置，避免了对用户造成额外的伤害，通过预设的配准方法，构建机器人、图像采集设备、以及医疗设备三者之间的映射关系，实现通过参考医疗影像实现机器人的定位操作，使得机器人的术前规划更加准确。

附图说明

图1为一个实施例中机器人定位方法的应用环境图；

图2为一个实施例中机器人定位方法的流程示意图；

图3为一个实施例中机器人定位方法的流程示意图；

图4为一个实施例中机器人定位方法的流程示意图；

图5为一个实施例中机器人定位方法的流程示意图；

图6为一个实施例中机器人定位方法中配准算法的示意图；

图7为一个实施例中机器人定位方法中配准算法的示意图；

图8为一个实施例中机器人定位方法的流程示意图；

图9为一个实施例中机器人定位方法的流程示意图；

图10为一个实施例中机器人定位方法的流程示意图；

图11为一个实施例中机器人定位方法中特征提取示意图；

图12为一个实施例中机器人定位方法中特征提取示意图；

图13为一个实施例中机器人定位方法的流程示意图；

图14为一个实施例中机器人定位系统的结构示意图；

图15为一个实施例中机器人定位装置的结构框图；

图16为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的机器人定位方法，可以应用于如图1所示的应用环境中。其中，服务器101通过网络与医疗设备102、图像采集设备103进行通信。其中，服务器101可以用独立的服务器或者是多个服务器组成的服务器集群来实现；医疗设备102可以为CT设备，也可以为其他医疗设备；图像采集设备103可以为深度相机，也可以为相激光采集设备，或者点激光采集设备；图像采集设备可以设置于手术机器人的操作臂末端，也可以设置于手术室的某一固定位置。示例地，在神经外科的手术室场景下，图像采集设备103可以为固定于手术机器人操作臂末端的深度相机，用于采集用户的脸部图像；医疗设备可以是CT设备，用于采集用户的脑部CT图像，本实施例对此不做限定。

下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请图2-图13实施例提供的机器人定位方法，其执行主体为服务器，也可以是机器人定位装置，该机器人定位装置可以通过软件、硬件或者软硬件结合的方式成为服务器的部分或全部。下述方法实施例中，均以执行主体是服务器为例来进行说明。

在一个实施例中，如图2所示，提供了一种机器人定位方法，涉及的是服务器获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像，根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系，基于配准关系和预设的映射关系，确定机器人的定位信息的过程，包括以下步骤：

S201、获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像。

其中，示例地，图像采集设备为深度相机时，采集到的用户的目标部位图像可以为目标部位的深度图，深度相机同时也可以采集二维RGB图像，那么目标部位图像也可以为目标部位的二维RGB图像，或者，目标部位图像可以是根据目标部位的深度图和二维RGB图像所确定的图像。其中，示例地，在神经外科的场景下，目标部位可以为用户的面部。

医疗设备可以为电子计算机断层扫描CT设备，可选地，在基于医疗设备获取医学影像的过程中，可以通过医疗设备获取用户的扫描部位的CT影像数据，根据CT影像数据确定目标部位的CT影像数据，从而根据目标部位的CT影像数据进行三维重建，得到医学影像。例如，根据用户的CT影像数据分割确定出用户面部对应的CT影像数据，从而根据分割确定得到的面部对应的CT影像数据进行三维重建，得到目标部位的医学影像。

在本实施例中，服务器通过与图像采集设备通信，获取图像采集设备采集到的图像数据，例如，服务器可以获取深度相机采集到的深度图和二维RGB图像，根据深度图和二维RGB图像，确定目标部位图像；服务器通过与医疗设备通信，获取医疗设备采集到的医学影像数据，示例地，服务器可以根据医学影像数据进行图像分割、三维重建，确定医疗设备对应的医学影像，本实施例对此不做限定。

S202、根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系。

其中，预设的配准方法可以包括多种配准方法，其中，包括全局配准和局部配准，其中全局配准可以为基于目标部位图像和医学影像中平面的对应关系进行配准，局部配准可以为基于目标部位图像和医学影像中各点的对应关系进行配准。

在本实施例中，服务器在接收到目标部位图像和医学影像之后，可以采取预设的多种配准方式进行配准。示例地，可以采用全局配准的方式进行配准，全局配准是确定目标部位图像和医学影像之间的平面对应关系，需要说明的是，三点即可共面，但是，为了更准确地确定医学影像中参考平面中各点的位置关系、各点之间的距离和方向，这里，可以在医学影像中确定4个点形成参考平面，从而基于参考平面，确定目标部位图像中对应的4个点所形成的目标平面。可选地，根据目标部位图像中目标平面与医学影像中参考平面的对应关系，确定目标部位图像和医学影像之间的配准关系。可选地，采用局部配准的方式进行配准，即从医学影像中确定多个参考点，基于多个参考点从目标部位图像中确定与参考点对应的目标点，从而基于参考点和目标点的对应关系，调整目标部位图像和医学影像之间的配准关系，本实施例对此不做限定。

S203、基于配准关系和预设的映射关系，确定机器人的定位信息；预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。

其中，机器人的位置与图像采集设备的位置之间的映射关系通过预设的标定方法确定。可选地，服务器可以构建中间参考物，根据图像采集设备与中间参考物的位置对应关系、以及机器人与中间参考物的位置对应关系，确定图像采集设备与机器人的位置对应关系。其中，图像采集设备可以设置于机器人的主体上，例如，设置于机器人的操作臂末端。或者，图像采集设备还可以设置于手术室的任意一个固定位置，服务器根据图像采集设备的具体位置、机器人的位置、以及中间参考物的位置，确定机器人的位置与图像采集设备的位置之间的映射关系。

在本实施例中，服务器根据目标部位图像与医学影像之间的配准关系，可以确定医疗设备的位置与图像采集设备的位置之间的映射关系，从而根据机器人的位置与图像采集设备的位置之间的映射关系，可以确定医疗设备的位置与机器人的位置之间的映射关系，从而根据医疗设备的位置与机器人的位置之间的映射关系，基于医疗影像实现机器人的术前规划及定位，本实施例对此不做限定。

上述机器人定位方法中，服务器通过获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像，根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系，基于配准关系和预设的映射关系，确定机器人的定位信息，其中，预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。在本方案中，不需要对用户进行额外的标记物的粘贴或者设置，避免了对用户造成额外的伤害，通过预设的配准方法，构建机器人、图像采集设备、以及医疗设备三者之间的映射关系，实现通过参考医疗影像实现机器人的定位操作，使得机器人的术前规划更加准确。

服务器可以采用多种配准方法进行目标部位图像与医学影像的配准，在其中一个实施例中，如图3所示，上述根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系，包括：

S301、从医学影像中确定预设数量的参考点，并获取参考点的位置信息。

在本实施例中，服务器从医学影像中确定预设数量的参考点，需要说明的是，在配准过程中，可以基于目标部位图像中目标平面与医学影像中参考平面的对应关系进行配准，需要说明的是，三点即可共面，但是，为了更准确地确定医学影像中参考平面中各点的位置关系、各点之间的距离和方向，这里，预设数量可以为4个。服务器从医学影像中获取4个参考点，并基于医学影像所在的坐标系，确定参考点对应的位置信息，本实施例对此不做限定。

S302、根据各参考点的位置信息，从目标部位图像中确定与各参考点对应的目标点。

在本实施例中，服务器在确定参考点的位置信息之后，从目标部位图像中搜索与参考点关系最近的点作为目标点。可选地，服务器可以获取目标部位图像中各点的位置信息，根据各点的位置信息和参考点的位置信息，确定与参考点关系最近的点为目标点。其中，服务器可以基于四点共面的原理，确定在相似平面上的对应的参考点与目标点；服务器还可以基于预设的最近点搜索法(Iterative Closest Point，ICP算法)，确定参考点对应的目标点，本实施例对此不做限定。

S303、根据目标点和参考点之间的对应关系，确定目标部位图像与医学影像之间的配准关系。

其中，服务器在确定目标部位图像中与参考点对应的目标点之后，获取各目标点的位置信息，根据目标点的位置与参考点的位置信息，确定其位置信息之间的转换关系，即确定目标点与参考点之间的对应关系。可选地，服务器根据参考点的坐标和目标点的坐标，确定参考点与目标点之间的转换矩阵，该转换矩阵即表征参考点所在坐标系与目标点所在坐标系之间的转换关系，进一步地，该转换关系也可以表征目标部位图像与医学影像之间的配准关系，本实施例对此不做限定。

在本实施例中，服务器根据医学影像中的参考点，从目标部位图像中确定目标点，从而基于参考点和目标点的位置信息，确定其对应的配准关系，该方法中涉及数据量少，处理过程简单，处理时间较短，且可以有效地得到目标部位图像与医学影像之间的配准关系。

在一种场景下，服务器可以根据医学影像中参考点形成参考平面，确定目标部位图像中目标平面所对应的目标点，在其中一个实施例中，如图4所示，上述根据各参考点的位置信息，从目标部位图像中确定与各参考点对应的目标点，包括：

S401、根据参考点确定参考点组；参考点组包括至少四个参考点。

在本实施例中，服务器从医学影像中确定至少四个参考点，组成参考点组。可选地，这里服务器基于的是四点共面的原理，通过确定至少四个参考点，确定至少四个参考点所在的平台，从而将至少四个参考点确定为参考点组。

S402、根据各参考点的位置信息，确定参考点组的向量信息；向量信息包括两两参考点之间的距离和方向。

在本实施例中，服务器在确定参考点组之后，可以获取参考点组中所有参考点的位置信息，从而根据各参考点的位置信息确定参考点组的向量信息。可选地，服务器可以根据参考点的坐标，计算两两参考点之间的距离，该两两参考点可以为相邻参考点，也可以为不相邻参考点，本实施例对此不做限定。

S403、根据参考点组的向量信息，从目标部位图像中确定与参考点组对应的目标点组。

在本实施例中，服务器根据计算得到的参考点组的向量信息，从目标部位图像中确定与参考点组对应的目标点组，可选地，服务器可以从目标部位图像中确定多个候选点组，各个候选点组中候选点的数量与参考点组中参考点的数量相同，确定与参考点组关系最近的候选点组，作为目标点组。

S404、根据目标点组确定各参考点对应的目标点。

在本实施例中，服务器在确定目标点组之后，通过各点之间的位置对应关系，确定各参考点对应的目标点。

在本实施例中，服务器通过四点共面的原理，从目标部位图像中确定医学影像中参考点组对应的目标点组，进而确定目标点组的目标点，四点共面的方法实现过程简单，提高了确定目标点的效率，同时基于四点共面的原理，也确保了目标点选择的准确性。

可选地，服务器在确定与参考点组对应的目标点组的过程中，可以通过两点之间的距离确定目标点组，在其中一个实施例中，如图5所示，上述根据参考点组的向量信息，从目标部位图像中确定与参考点组对应的目标点组，包括：

S501、获取医学影像中参考点组中两两参考点之间的第一距离。

在本实施例中，如图6所示，医学影像中参考点组包括a、b、c、d四个点，四个点形成S1平面，服务器可以根据括a、b、c、d四个点的位置信息，计算a-b、a-c、a-d、b-c、b-d、c-d之间的距离，作为第一距离。

S502、获取目标部位图像中多个候选点组的中两两候选点之间的第二距离。

在本实施例中，如图7所示，目标部位图像中候选点组包括a’、b’、c’、d’四个点，四个点形成S2平面，服务器可以根据括a’、b’、c’、d’四个点的位置信息，计算a’-b’、a’-c’、a’-d’、b’-c’、b’-d’、c’-d’之间的距离，作为第二距离。

S503、计算第一距离与第二距离的第一偏差。

在本实施例中，服务器根据获取到的第一距离和第二距离，分别计算对应的第一偏差，示例地，服务器计算a-b与a’-b’的第一偏差，计算a-c与a’-c’的第一偏差，本实施例对此不做限定。

S504、将第一偏差最小的候选点组，确定为目标点组。

在本实施例中，目标部位图像中可能存在多个候选点组，分别计算各候选点组中各候选点对应的第一偏差，可选地，服务器还可以将各候选点的第一偏差的平均值作为各候选点组的偏差，将偏差最小的候选点组确定为目标点组，本实施例对此不做限定。

在本实施例中，根据参考点组中两两参考点的距离与候选点组中两两候选点的距离确定目标点组，由于各参考点、各候选点的位置信息已知，距离的计算过程简单，可以有效地确定出参考组对应的目标点组。

在另外一种场景下，服务器可以直接根据参考点对应目标点，该实施例所提供的方法可以执行于上述图4提供的实施例步骤之后，也可以作为与图4提供的实施例并列的实现方案，在其中一个实施例中，如图8所示，在根据所述目标点和所述参考点之间的对应关系，确定目标部位图像与医学影像之间的配准关系之后，该方法还包括：

S601、获取目标部位图像中各候选点的位置信息。

在本实施例中，服务器可以获取目标部位图像中各候选点的位置信息，其中，目标部位为深度图，服务器还可以获取各候选点的深度值信息，本实施例对此不做限定。

S602、根据各候选点的位置信息、各参考点的位置信息和预设的ICP算法，确定各参考点对应的目标点。

其中，ICP算法指的是迭代最近点法。在本实施例中，服务器基于ICP算法，根据医学影像中的各参考点的位置信息以及目标部位图像中的各候选点的位置信息，确定与参考点距离最近的目标点。可选地，服务器从医学影像中确定参考点，从目标部位图像中搜索候选点作为相应的最近点，根据参考点和候选点，计算旋转矩阵和平移矩阵，根据参考点、旋转矩阵进和平移矩阵，确定新的目标点，计算新的目标点与候选点的距离，在距离小于预设阈值或者迭代次数等于预设阈值时，停止迭代，得到与参考点对应的目标点，本实施例对此不做限定。

S603、根据目标点和参考点之间的对应关系，调整目标部位图像与医学影像之间的配准关系。

在本实施例中，服务器可以基于确定的目标点，获取目标点与参考点之间的对应关系，根据上述步骤303中所得到的目标部位图像与医学影像的配准关系，进一步地，服务器可以结合目标点与参考点之间的对应关系，调整目标部位图像与医学影像的配准关系，以使该配准关系更为精确。

在本实施例中，服务器根据医学影像中的参考点中的位置信息，从目标部位图像中确定参考点对应的目标点，确定过程简单，通过该方法确定的目标点比较准确。

服务器通过图像采集设备获取目标部位图像，为了进一步提高图像采集设备采集到的数据的准确性，在其中一个实施例中，如图9所示，上述通过图像采集设备采集用户的目标部位图像，包括：

S701、通过图像采集设备采集用户的二维图像和深度图像。

在本实施例中，在通过图像采集设备采集用户的二维图像和深度图像之前，可选地，可以预先根据术前规划确定用户的手术体位，将用户头部保持固定不动，调整图像采集设备的位置，以使用户的目标部位完全位于图像采集设备的采集视野范围之内，示例地，可以调整图像采集设备的位置，使得图像采集设备垂直正对用户的面部，本实施例对此不做限定。

可选地，若图像采集设备为深度相机，则可以同时获取用户的二维图像和深度图像；若图像采集设备为其他激光采集设备，则需要对激光采集设备做一定的改进处理，使得服务器可以通过激光采集设备获取用户的二维图像和深度图像。

S702、根据二维图像和深度图像，确定目标部位图像。

在本实施例中，服务器可以根据二维图像确定目标部位，根据图像采集设备中二维图像与深度图像的对应关系，确定深度图像中目标部位对应的区域，从而根据获取该区域的三维信息，形成目标部位图像。

在本实施例中，服务器通过图像采集设备获取用户的二维图像和深度图像，其中二维图像为一张图像，深度图像的数量也为一张，处理过程数据量小，节省了数据处理的时间和资源，并且基于两种不同维度的图像确定用户的目标部位图像，该目标部位图像较为准确。

可选地，服务器在接收到图像采集设备采集的不同维度的图像之后，在其中一个实施例中，如图10所示，上述根据二维图像和深度图像，确定目标部位图像，包括：

S801、根据预设的特征点提取算法，获取二维图像中的候选特征点。

其中，预设的特征点提取算法可以为任意一种图像特征提取模型，例如通过预设的神经网络模型进行二维图像的特征的提取。

在本实施例中，服务器将二维图像输入至特征提取模型中，输出得到二维图像中的多个候选特征点。示例地，二维图像可以为面部图像，将二维图像输入值特征提取模型中，可以得到二维图像中目标部位的候选特征点，例如，眼睛的候选特征点、嘴的候选特征点、眉毛的候选特征点、鼻子的候选特征点，如图11所示。

S802、根据二维图像和深度图像之间的映射关系，确定深度图像中与候选特征点对应的目标特征点。

其中，二维图像和深度图像之间的映射关系根据图像采集设备的参数确定。

在本实施例中，服务器进行目标特征点的提取的目的在于确定用户的面部静态区域。需要说明的是，用户的面部属于表情复杂的部位，为了尽可能减少所形成的目标部位图像的变化，提高目标部位图像的准确性，在本实施例中，通过确定二维图像中的面部静态区域，获取该区域中的候选特征点。一般地，面部静态区域是指不易受面部表情变化影响的区域，或面部距离骨质结构近的区域，例如额头、鼻梁等区域。

可选地，可以通过采集不同人脸面部表情的形状数据，根据形状数据统计分析计算出面部表情变化变小的区域，作为面部静态区域；或者，也可以通过生理结构信息确定面部静态区域，例如，将面部距离骨质结构近的区域定为面部静态区域。如图12所示，阴影部分可以理解为面部静态区域。服务器在确定面部静态区域为目标区域之后，获取目标区域中包括的候选特征点，根据二维图像和深度图像之间的映射关系，从深度图像中确定与候选特征点对应的目标特征点，本实施里对此不做限定。

S803、根据目标特征点的三维信息，生成目标部位图像。

在本实施例中，服务器根据确定的深度图中的目标特征点，获取各目标特征点的三维信息，根据所有目标特征点的三维信息，生成目标部位图像。

在本实施例中，服务器根据二维图像确定受面部表情变化影响较小的面部静态区域为目标区域，从而根据二维图像中目标区域中的候选特征点、二维图像和深度图像之间的映射关系，确定深度图像中的目标特征点，从而生成目标部位图像，由于目标区域为面部静态区域，减少了表情变化对目标部位图像的影响，基于目标部位图像与医学影像进行配准，提高了配准结果的精度和准确性。

为了更好的说明上述方法，如图13所示，本实施例提供一种机器人定位方法，具体包括：

S101、通过图像采集设备采集用户的二维图像和深度图像；

S102、根据预设的特征点提取算法，获取二维图像中的候选特征点；

S103、根据二维图像和深度图像之间的映射关系，确定深度图像中与候选特征点对应的目标特征点；

S104、根据目标特征点的三维信息，生成目标部位图像；

S105、从医学影像中确定预设数量的参考点，并获取参考点的位置信息；

S106、根据各参考点的位置信息，从目标部位图像中确定与各参考点对应的目标点；

S107、根据目标点和参考点之间的对应关系，确定目标部位图像与医学影像之间的配准关系；

S108、基于配准关系和预设的映射关系，确定机器人的定位信息；预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。

在本实施例中，不需要对用户进行额外的标记物的粘贴或者设置，避免了对用户造成额外的伤害，通过预设的配准方法，构建机器人、图像采集设备、以及医疗设备三者之间的映射关系，实现通过参考医疗影像实现机器人的定位操作，使得机器人的术前规划更加准确。

上述实施例提供的机器人定位方法，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

应该理解的是，虽然图2-13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-13中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供一种机器人定位系统，如图14所示，该系统包括：服务器101、图像采集设备103、医疗设备102、以及目标机器人104。

其中，通过医疗设备102采集用户的医学影像，通过图像采集设备103，采集用户的目标部位图像。

在本实施例中，可以根据图像采集设备103的位置、目标机器人104的位置以及图像采集设备103的标定参数，确定图像采集设备103与目标机器人104的位置之间的对应关系。从而，服务器根据医疗设备102采集到的用户的医学影像、图像采集设备103采集到的用户的目标部位图像、以及图像采集设备103与目标机器人104的位置之间的对应关系，实现上述图2至图13实施例所提供的机器人定位方法，实现目标机器人104的定位操作。

在本实施例中，服务器可以设定于现场的任意位置，或者，设定于外场的任意位置，只需要确保服务器与医疗设备102、图像采集设备103可正常通信即可。图像采集设备103可以设置于目标机器人104本身，例如，设置于目标机器人104的操作臂末端，也可以独立与目标机器人104设置，例如，设置于手术室的某一固定位置，其中，基于同一参考坐标，确定图像采集设备103所在参考系与目标机器人104所在参考系之间的映射关系，也即，得到图像采集设备103的位置与目标机器人104的位置之间的关联关系，本实施例对此不做限定。

在本实施例中，基于机器人定位系统中的各设备之间的相互通信作用，不需要对用户进行额外的标记物的粘贴或者设置，避免了对用户造成额外的伤害，通过预设的配准方法，构建机器人、图像采集设备、以及医疗设备三者之间的映射关系，实现通过参考医疗影像实现机器人的定位操作，使得机器人的术前规划更加准确。

关于本述实施例提供的机器人定位系统，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，如图15所示，提供了一种机器人定位装置，包括：获取模块01、配准模块02和定位模块03，其中：

获取模块01，用于获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像；

配准模块02，用于根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系；

定位模块03，用于基于配准关系和预设的映射关系，确定机器人的定位信息；预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。

在其中一个实施例中，配准模块，用于从医学影像中确定预设数量的参考点，并获取参考点的位置信息；根据各参考点的位置信息，从目标部位图像中确定与各参考点对应的目标点；根据目标点和参考点之间的对应关系，确定目标部位图像与医学影像之间的配准关系。

在其中一个实施例中，配准模块，用于根据参考点确定参考点组；参考点组包括至少四个参考点；根据各参考点的位置信息，确定参考点组的向量信息；向量信息包括两两参考点之间的距离和方向；根据参考点组的向量信息，从目标部位图像中确定与参考点组对应的目标点组；根据目标点组确定各参考点对应的目标点。

在其中一个实施例中，配准模块，用于获取医学影像中参考点组中两两参考点之间的第一距离；获取目标部位图像中多个候选点组的中两两候选点之间的第二距离；计算第一距离与第二距离的第一偏差；将第一偏差最小的候选点组，确定为目标点组。

在其中一个实施例中，配准模块，还用于获取目标部位图像中各候选点的位置信息；根据各候选点的位置信息、各参考点的位置信息和预设的ICP算法，确定各参考点对应的目标点；根据目标点和参考点之间的对应关系，调整目标部位图像与医学影像之间的配准关系。

在其中一个实施例中，获取模块，用于通过图像采集设备采集用户的二维图像和深度图像；根据二维图像和深度图像，确定目标部位图像。

在其中一个实施例中，获取模块，用于根据预设的特征点提取算法，获取二维图像中的候选特征点；根据二维图像和深度图像之间的映射关系，确定深度图像中与候选特征点对应的目标特征点；根据目标特征点的三维信息，生成目标部位图像。

关于机器人定位装置的具体限定可以参见上文中对于机器人定位方法的限定，在此不再赘述。上述机器人定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种机器人定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像；

根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系；

基于配准关系和预设的映射关系，确定机器人的定位信息；预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。

上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像；

根据目标部位图像、医学影像以及预设的配准方法，确定目标部位图像与医学影像之间的配准关系；

基于配准关系和预设的映射关系，确定机器人的定位信息；预设的映射关系包括机器人的位置与图像采集设备的位置之间的映射关系。

上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人定位方法，其特征在于，所述方法包括：

获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像；

根据所述目标部位图像、所述医学影像以及预设的配准方法，确定所述目标部位图像与所述医学影像之间的配准关系；

基于所述配准关系和预设的映射关系，确定机器人的定位信息；所述预设的映射关系包括所述机器人的位置与所述图像采集设备的位置之间的映射关系。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标部位图像、所述医学影像以及预设的配准方法，确定所述目标部位图像与所述医学影像之间的配准关系，包括：

从所述医学影像中确定预设数量的参考点，并获取所述参考点的位置信息；

根据各所述参考点的位置信息，从所述目标部位图像中确定与各所述参考点对应的目标点；

根据所述目标点和所述参考点之间的对应关系，确定所述目标部位图像与所述医学影像之间的配准关系。

3.根据权利要求2所述的方法，其特征在于，所述根据各所述参考点的位置信息，从所述目标部位图像中确定与各所述参考点对应的目标点，包括：

根据所述参考点确定参考点组；所述参考点组包括至少四个参考点；

根据各所述参考点的位置信息，确定所述参考点组的向量信息；所述向量信息包括两两参考点之间的距离和方向；

根据所述参考点组的向量信息，从所述目标部位图像中确定与所述参考点组对应的目标点组；

根据所述目标点组确定各所述参考点对应的目标点。

4.根据权利要求3所述的方法，其特征在于，所述根据所述参考点组的向量信息，从所述目标部位图像中确定与所述参考点组对应的目标点组，包括：

获取所述医学影像中参考点组中两两参考点之间的第一距离；

获取所述目标部位图像中多个候选点组的中两两候选点之间的第二距离；

计算所述第一距离与所述第二距离的第一偏差；

将所述第一偏差最小的候选点组，确定为所述目标点组。

5.根据权利要求2所述的方法，其特征在于，在所述根据所述目标点和所述参考点之间的对应关系，确定所述目标部位图像与所述医学影像之间的配准关系之后，所述方法还包括：

获取所述目标部位图像中各候选点的位置信息；

根据各所述候选点的位置信息、各所述参考点的位置信息和预设的ICP算法，确定各所述参考点对应的目标点；

根据所述目标点和所述参考点之间的对应关系，调整所述目标部位图像与所述医学影像之间的配准关系。

6.根据权利要求1所述的方法，其特征在于，所述通过图像采集设备采集用户的目标部位图像，包括：

通过图像采集设备采集所述用户的二维图像和深度图像；

根据所述二维图像和所述深度图像，确定所述目标部位图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述二维图像和所述深度图像，确定所述目标部位图像，包括：

根据预设的特征点提取算法，获取所述二维图像中的候选特征点；

根据所述二维图像和所述深度图像之间的映射关系，确定所述深度图像中与所述候选特征点对应的目标特征点；

根据所述目标特征点的三维信息，生成所述目标部位图像。

8.一种机器人定位装置，其特征在于，所述装置包括：

获取模块，用于获取图像采集设备采集的用户的目标部位图像和医疗设备采集的医学影像；

配准模块，用于根据所述目标部位图像、所述医学影像以及预设的配准方法，确定所述目标部位图像与所述医学影像之间的配准关系；

定位模块，用于基于所述配准关系和预设的映射关系，确定机器人的定位信息；所述预设的映射关系包括所述机器人的位置与所述图像采集设备的位置之间的映射关系。

9.一种机器人定位系统，其特征在于，所述系统包括：服务器、图像采集设备、医疗设备、以及目标机器人；

所述服务器，用于执行权利要求1-7所述的机器人定位方法；

所述医疗设备，用于采集用户的医学影像；

所述图像采集设备，用于采集用户的目标部位图像；且，所述图像采集设备的位置与所述目标机器人的位置存在关联关系。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

Images