CN113925611A - 对象三维模型和对象实体的匹配方法、装置、设备及介质 - Google Patents

Abstract

本公开涉及一种对象三维模型和对象实体的匹配方法、装置、设备及介质，该方法包括：基于所述对象三维模型识别至少三个模型反光点的第一位置；基于光学摄像设备追踪所述至少三个光学反光点的第二位置；基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。本公开通过所述对象三维模型识别出至少三个模型反光点的第一位置，并且通过光学摄像设备追踪所述至少三个光学反光点的第二位置，最后将所述对象三维模型和所述对象实体的位姿进行匹配，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。

Description

对象三维模型和对象实体的匹配方法、装置、设备及介质

技术领域

本公开涉及虚拟现实领域，尤其涉及一种对象三维模型和对象实体的匹配方法、装置、设备及介质。

背景技术

通常情况下，临床手术是现代医疗的重要诊疗手段。实际临床中，例如脑科手术成功率低、风险大，而且需要高超的手术技巧及丰富的临床经验。当经验不足的医生需要进行手术培训时，现有技术通常还停留在有经验的医生向实习医生传授临床经验，或是由实习医生观看有经验的医生进行手术的阶段。

但是，手术是直接作用于病人身上，手术视野比较有限，医生更不可能透视病人的病患组织结构，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，手术医生以及实习医生很难将术中所见与术前影像学图像关联起来，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策，同时也影响实习医生的培训效果。

在CN107633528A中，提供了一种刚体识别方法，通过拍摄预先设置在刚体上的多个红外标记点，结合红外深度图像对红外标记点进行识别，得到各刚体的几何结构特征，通过唯一的几何结构特征来识别刚体。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种对象三维模型和对象实体的匹配方法、装置、设备及介质，以帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。

第一方面，本公开实施例提供一种对象三维模型和对象实体的匹配方法，所述对象实体为设置有光学刚体的对象实体，所述光学刚体包括至少三个光学反光点，所述对象三维模型为基于所述对象实体生成的三维模型，所述方法包括：

基于所述对象三维模型识别至少三个模型反光点的第一位置；

基于光学摄像设备追踪所述至少三个光学反光点的第二位置；

基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。

在一些实施例中，所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿包括：

基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，确定所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系；

基于所述对应关系，确定所述对象三维模型和所述对象实体之间的位姿关系；

基于所述对象三维模型和所述对象实体之间的位姿关系和所述至少三个光学反光点的第二位置，确定所述对象三维模型的位姿。

在一些实施例中，所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿后，所述方法还包括：

基于所述对象三维模型的位姿，显示所述对象三维模型；

基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系以及所述至少三个光学反光点的第二位置，显示所述光学刚体的模型。

在一些实施例中，所述光学刚体是由所述至少三个光学反光点以及所述至少三个光学反光点之间的连接结构构成的整体。

在一些实施例中，所述基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系和所述至少三个光学反光点的第二位置，显示所述光学刚体的模型包括：

基于所述至少三个光学反光点的第二位置以及所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系，确定所述光学刚体的模型的位姿；

基于所述光学刚体的模型的位姿，显示所述光学刚体的模型。

在一些实施例中，所述确定所述光学刚体的模型的位姿之前，所述方法还包括：

基于所述至少三个光学反光点之间的连接结构，确定所述至少三个模型反光点之间的目标连接结构；

基于所述至少三个光学反光点在所述光学刚体的预设位置，确定所述至少三个模型反光点在所述光学刚体的模型的目标位置；

基于所述目标连接结构和所述目标位置，确定所述光学刚体的模型。

在一些实施例中，所述方法还包括：预先设置地标尺刚体，所述地标尺刚体包括至少三个光学反光点；

相应地，所述基于光学摄像设备追踪所述至少三个光学反光点的第二位置后，所述方法还包括：将所述第二位置转换为地标尺坐标系下的第三位置；

相应地，所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿包括：基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第三位置，匹配所述对象三维模型和所述对象实体的位姿。

第二方面，本公开实施例提供一种对象三维模型和对象实体的匹配装置，包括：

识别模块，用于基于所述对象三维模型识别至少三个模型反光点的第一位置；

追踪模块，用于基于光学摄像设备追踪所述至少三个光学反光点的第二位置；

匹配模块，用于基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。

第三方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第四方面，本公开实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如第一方面所述的方法。

本公开实施例提供的对象三维模型和对象实体的匹配方法、装置、设备及介质，通过基于所述对象三维模型识别至少三个模型反光点的第一位置，进一步基于光学摄像设备追踪所述至少三个光学反光点的第二位置，然后基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。由于通过所述对象三维模型识别出至少三个模型反光点的第一位置，并且通过光学摄像设备追踪所述至少三个光学反光点的第二位置，最后将所述对象三维模型和所述对象实体的位姿进行匹配，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的对象三维模型和对象实体的匹配方法流程图；

图2为本公开另一实施例提供的对象三维模型和对象实体的匹配方法流程图；

图3为本公开实施例提供的对象三维模型和对象实体的匹配装置的结构示意图；

图4为本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

通常情况下，临床手术是现代医疗的重要诊疗手段。实际临床中，例如脑科手术成功率低、风险大，而且需要高超的手术技巧及丰富的临床经验。当经验不足的医生需要进行手术培训时，现有技术通常还停留在有经验的医生向实习医生传授临床经验，或是由实习医生观看有经验的医生进行手术的阶段。

但是，手术是直接作用于病人身上，手术视野比较有限，医生更不可能透视病人的病患组织结构，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，手术医生以及实习医生很难将术中所见与术前影像学图像关联起来，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策，同时也影响实习医生的培训效果。

针对该问题，本公开实施例提供了一种对象三维模型和对象实体的匹配方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的对象三维模型和对象实体的匹配方法流程图。如图1所示，该方法包括如下几个步骤：

S101、基于所述对象三维模型识别至少三个模型反光点的第一位置。

所述对象实体为设置有光学刚体的对象实体，所述光学刚体包括至少三个光学反光点，所述对象三维模型为基于所述对象实体生成的三维模型。对象例如为病患部位骨骼，还可以为其他类型的有形物体。

在一些实施例中，所述对象三维模型为所述对象实体经过断层扫描所生成的三维模型。例如，电子计算机断层扫描设备把所述对象实体经过断层扫描所生成的三维模型传给终端，终端接收到所述对象的三维模型后，然后根据所述对象三维模型识别出至少三个模型反光点的位置，记为第一位置。

S102、基于光学摄像设备追踪所述至少三个光学反光点的第二位置。

例如，所述光学摄像设备可以为双目摄像机。通过双目摄像机获取到所述至少三个光学反光点的位置，记为第二位置。双目摄像机把获取到的所述至少三个光学反光点的第二位置发送给终端，终端接收到所述至少三个光学反光点的第二位置。

S103、基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。

终端基于所述对象三维模型识别出至少三个模型反光点的第一位置和接收到双目摄像机发来的所述至少三个光学反光点的第二位置，然后将所述对象三维模型和所述对象实体的位姿进行匹配。所述位姿包括位置和姿态，也即6自由度信息。

本公开实施例通过基于所述对象三维模型识别至少三个模型反光点的第一位置，进一步基于光学摄像设备追踪所述至少三个光学反光点的第二位置，然后基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。由于通过所述对象三维模型识别出至少三个模型反光点的第一位置，并且通过光学摄像设备追踪所述至少三个光学反光点的第二位置，最后将所述对象三维模型和所述对象实体的位姿进行匹配，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。

图2为本公开另一实施例提供的对象三维模型和对象实体的匹配方法流程图，如图2所示，该方法包括如下几个步骤：

S201、基于所述对象三维模型识别至少三个模型反光点的第一位置。

具体的，S201和S101的实现过程和原理一致，此处不再赘述。

S202、基于光学摄像设备追踪所述至少三个光学反光点的第二位置。

具体的，S202和S102的实现过程和原理一致，此处不再赘述。

S203、基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，确定所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系。

终端根据所述对象三维模型识别出至少三个模型反光点的第一位置和接收到双目摄像机发来的所述至少三个光学反光点的第二位置，将所述至少三个模型反光点和光学反光点分别一一对应，然后确定出所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系。

S204、基于所述对应关系，确定所述对象三维模型和所述对象实体之间的位姿关系。

终端在确定出所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系之后，进一步根据所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系，确定所述对象三维模型和所述对象实体之间的位姿关系。所述位姿关系为所述对象三维模型和所述对象实体之间的转换矩阵。

S205、基于所述对象三维模型和所述对象实体之间的位姿关系和所述至少三个光学反光点的第二位置，确定所述对象三维模型的位姿。

终端确定所述对象三维模型和所述对象实体之间的位姿关系，即确定出所述对象三维模型和所述对象实体之间的转换矩阵后，以所述至少三个光学反光点的第二位置作为输入点，从而计算得出所述对象三维模型的位姿。所述位姿包括位置和姿态，也即6自由度信息。

S206、基于所述对象三维模型的位姿，显示所述对象三维模型。

终端根据计算得出的所述对象三维模型的位姿，显示所述对象的三维模型，所述位姿包括位置和姿态，也即6自由度信息。

S207、基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系以及所述至少三个光学反光点的第二位置，显示所述光学刚体的模型。

终端将所述至少三个模型反光点和光学反光点分别一一对应，确定出所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系之后，然后基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系以及所述至少三个光学反光点的第二位置，显示所述光学刚体的模型。

本公开实施例通过基于所述对象三维模型识别至少三个模型反光点的第一位置，基于光学摄像设备追踪所述至少三个光学反光点的第二位置，进一步，基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，确定所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系。然后，基于所述对应关系，确定所述对象三维模型和所述对象实体之间的位姿关系，基于所述对象三维模型的位姿，显示所述对象三维模型，基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系以及所述至少三个光学反光点的第二位置，显示所述光学刚体的模型。由于通过所述对象三维模型识别出至少三个模型反光点的第一位置，并且通过光学摄像设备追踪所述至少三个光学反光点的第二位置，最后将所述对象三维模型和所述对象实体的位姿进行匹配，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。并且，基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，确定所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系。然后，基于所述对应关系，确定所述对象三维模型和所述对象实体之间的位姿关系，基于所述对象三维模型的位姿，显示所述对象三维模型，由于通过对应关系，确定位姿，从而显示模型，可以更好的实现对象实体与对象三维模型之间的配准。

在上述实施例的基础上，所述光学刚体是由所述至少三个光学反光点以及所述至少三个光学反光点之间的连接结构构成的整体。

所述光学刚体是由所述至少三个光学反光点以及所述至少三个光学反光点之间的连接结构构成的整体，所述连接结构是刚性不可变形的。也就是说，所述光学刚体可以在空间内确定唯一一个平面，所述光学刚体的位姿是唯一确定的，即所述对象实体的位姿是唯一确定的。所述位姿包括位置和姿态，也即6自由度信息。

可选的，所述基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系和所述至少三个光学反光点的第二位置，显示所述光学刚体的模型包括：基于所述至少三个光学反光点的第二位置以及所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系，确定所述光学刚体的模型的位姿；基于所述光学刚体的模型的位姿，显示所述光学刚体的模型。

终端将所述至少三个模型反光点和光学反光点分别一一对应，确定出所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系之后，然后基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系以及所述至少三个光学反光点的第二位置，确定所述光学刚体的模型的位姿，并基于所述光学刚体的模型的位姿，显示所述光学刚体的模型。

可选的，所述确定所述光学刚体的模型的位姿之前，所述方法还包括：基于所述至少三个光学反光点之间的连接结构，确定所述至少三个模型反光点之间的目标连接结构；基于所述至少三个光学反光点在所述光学刚体的预设位置，确定所述至少三个模型反光点在所述光学刚体的模型的目标位置；基于所述目标连接结构和所述目标位置，确定所述光学刚体的模型。

在确定所述光学刚体的模型的位姿之前，终端先基于所述至少三个光学反光点之间的连接结构，确定所述至少三个模型反光点之间的目标连接结构，所述连接结构是刚性不可变形的。然后，终端基于所述至少三个光学反光点在所述光学刚体的预设位置，确定所述至少三个模型反光点在所述光学刚体的模型的目标位置。进一步，终端基于所述目标连接结构和所述目标位置，确定所述光学刚体的模型。

可选的，所述预设位置为所述对象实体的设计图中至少三个光学反光点的位置。通过设计图获得模型上各光学反光点（marker）点的位置，再参照三坐标测量机（Coordinate Measuring Machine，CMM）测量出来的marker点拓扑，使用奇异值分解(singular value decomposition,

svd算法）拆解，修正设计图marker点位置，以此消除光学刚体模型的加工误差。再以收到的光学数据和修正后的设计图marker点位置为输入，使用svd算法拆解，获得对象实体到对象三维模型之间的转换矩阵，实时计算光学刚体的位置和旋转，显示各光学刚体模型。

本公开实施例通过所述光学刚体是由所述至少三个光学反光点以及所述至少三个光学反光点之间的连接结构构成的整体，在所述确定所述光学刚体的模型的位姿之前，基于所述至少三个光学反光点之间的连接结构，确定所述至少三个模型反光点之间的目标连接结构；基于所述至少三个光学反光点在所述光学刚体的预设位置，确定所述至少三个模型反光点在所述光学刚体的模型的目标位置；基于所述目标连接结构和所述目标位置，确定所述光学刚体的模型。基于所述至少三个光学反光点的第二位置以及所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系，确定所述光学刚体的模型的位姿；基于所述光学刚体的模型的位姿，显示所述光学刚体的模型。由于通过所述对象实体的设计图中至少三个光学反光点的位置，确定所述至少三个模型反光点在所述光学刚体的模型的目标位置，进一步，终端基于所述目标连接结构和所述目标位置，确定所述光学刚体的模型，使得对象实体与对象三维模型的匹配更精准。

在上述实施例的基础上，所述方法还包括：预先设置地标尺刚体，所述地标尺刚体包括至少三个光学反光点。

预先设置了地标尺刚体，作为参考点或者原点（0，0，0）位置，所述地标尺刚体由至少所述至少三个光学反光点以及所述至少三个光学反光点之间的连接结构构成的整体。

相应地，所述基于光学摄像设备追踪所述至少三个光学反光点的第二位置后，所述方法还包括：将所述第二位置转换为地标尺坐标系下的第三位置。

例如，通过双目摄像机获取到所述至少三个光学反光点的位置，记为第二位置。双目摄像机把获取到的所述至少三个光学反光点的第二位置发送给终端，终端将接收到所述至少三个光学反光点的第二位置转换为地标尺坐标系下的第三位置。

相应地，所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿包括：基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第三位置，匹配所述对象三维模型和所述对象实体的位姿。

终端基于所述对象三维模型识别出至少三个模型反光点的第一位置和终端将接收到双目摄像机发来的所述至少三个光学反光点的第二位置转换为地标尺坐标系下的第三位置，然后将所述对象三维模型和所述对象实体的位姿进行匹配。所述位姿包括位置和姿态，也即6自由度信息。

本公开实施例通过预先设置地标尺刚体，所述地标尺刚体包括至少三个光学反光点，将所述第二位置转换为地标尺坐标系下的第三位置，基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第三位置，匹配所述对象三维模型和所述对象实体的位姿。由于地标尺刚体是确定的，地标尺坐标系也是确定的，将第二位置转换到地标尺坐标系下，使得对象实体与对象三维模型的匹配更直观，更简便。

图3为本公开实施例提供的对象三维模型和对象实体的匹配装置的结构示意图。该对象三维模型和对象实体的匹配装置可以是如上实施例所述的终端，或者对象三维模型和对象实体的匹配装置可以该终端中的部件或组件。本公开实施例提供的对象三维模型和对象实体的匹配装置可以执行对象三维模型和对象实体的匹配方法实施例提供的处理流程，如图3所示，对象三维模型和对象实体的匹配装置30包括：识别模块31、追踪模块32、匹配模块33；其中，识别模块31用于基于所述对象三维模型识别至少三个模型反光点的第一位置；追踪模块32用于基于光学摄像设备追踪所述至少三个光学反光点的第二位置；匹配模块33用于基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。

可选的，所述匹配模块33在所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿时，具体用于：所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，确定所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系；基于所述对应关系，确定所述对象三维模型和所述对象实体之间的位姿关系；

基于所述对象三维模型和所述对象实体之间的位姿关系和所述至少三个光学反光点的第二位置，确定所述对象三维模型的位姿。

可选的，所述装置还包括：显示模块34；显示模块34用于基于所述对象三维模型的位姿，显示所述对象三维模型；基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系以及所述至少三个光学反光点的第二位置，显示所述光学刚体的模型。

可选的，所述光学刚体是由所述至少三个光学反光点以及所述至少三个光学反光点之间的连接结构构成的整体。

可选的，所述显示模块34在所述基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系和所述至少三个光学反光点的第二位置，显示所述光学刚体的模型时，具体用于：基于所述至少三个光学反光点的第二位置以及所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系，确定所述光学刚体的模型的位姿；基于所述光学刚体的模型的位姿，显示所述光学刚体的模型。

可选的，所述装置还包括：确定模块35；确定模块35用于基于所述至少三个光学反光点之间的连接结构，确定所述至少三个模型反光点之间的目标连接结构；基于所述至少三个光学反光点在所述光学刚体的预设位置，确定所述至少三个模型反光点在所述光学刚体的模型的目标位置；基于所述目标连接结构和所述目标位置，确定所述光学刚体的模型。

可选的，所述装置还包括：预设模块36；预设模块36用于预先设置地标尺刚体，所述地标尺刚体包括至少三个光学反光点。

相应地，所述基于光学摄像设备追踪所述至少三个光学反光点的第二位置后，所述装置还包括：转换模块37；转换模块37用于将所述第二位置转换为地标尺坐标系下的第三位置。

相应地，所述匹配模块33在所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿时，具体用于：基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第三位置，匹配所述对象三维模型和所述对象实体的位姿。

图3所示实施例的对象三维模型和对象实体的匹配装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图4为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的终端。本公开实施例提供的电子设备可以执行对象三维模型和对象实体的匹配方法实施例提供的处理流程，如图4所示，电子设备40包括：存储器41、处理器42、计算机程序和通讯接口43；其中，计算机程序存储在存储器41中，并被配置为由处理器42执行如上所述的对象三维模型和对象实体的匹配方法。

另外，本公开实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的对象三维模型和对象实体的匹配方法。

此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的对象三维模型和对象实体的匹配方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种对象三维模型和对象实体的匹配方法，其特征在于，所述对象实体为设置有光学刚体的对象实体，所述光学刚体包括至少三个光学反光点，所述对象三维模型为基于所述对象实体生成的三维模型，所述方法包括：

基于所述对象三维模型识别至少三个模型反光点的第一位置；

基于光学摄像设备追踪所述至少三个光学反光点的第二位置；

基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。

2.根据权利要求1所述的方法，其特征在于，所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿包括：

基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，确定所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系；

基于所述对应关系，确定所述对象三维模型和所述对象实体之间的位姿关系；

基于所述对象三维模型和所述对象实体之间的位姿关系和所述至少三个光学反光点的第二位置，确定所述对象三维模型的位姿。

3.根据权利要求2所述的方法，其特征在于，所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿后，所述方法还包括：

基于所述对象三维模型的位姿，显示所述对象三维模型；

基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系以及所述至少三个光学反光点的第二位置，显示所述光学刚体的模型。

4.根据权利要求3所述的方法，其特征在于，所述光学刚体是由所述至少三个光学反光点以及所述至少三个光学反光点之间的连接结构构成的整体。

5.根据权利要求4所述的方法，其特征在于，所述基于所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系和所述至少三个光学反光点的第二位置，显示所述光学刚体的模型包括：

基于所述至少三个光学反光点的第二位置以及所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系，确定所述光学刚体的模型的位姿；

基于所述光学刚体的模型的位姿，显示所述光学刚体的模型。

6.根据权利要求5所述的方法，其特征在于，所述确定所述光学刚体的模型的位姿之前，所述方法还包括：

基于所述至少三个光学反光点之间的连接结构，确定所述至少三个模型反光点之间的目标连接结构；

基于所述至少三个光学反光点在所述光学刚体的预设位置，确定所述至少三个模型反光点在所述光学刚体的模型的目标位置；

基于所述目标连接结构和所述目标位置，确定所述光学刚体的模型。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：预先设置地标尺刚体，所述地标尺刚体包括至少三个光学反光点；

相应地，所述基于光学摄像设备追踪所述至少三个光学反光点的第二位置后，所述方法还包括：将所述第二位置转换为地标尺坐标系下的第三位置；

相应地，所述基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿包括：基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第三位置，匹配所述对象三维模型和所述对象实体的位姿。

8.一种对象三维模型和对象实体的匹配装置，其特征在于，所述装置包括：

识别模块，用于基于所述对象三维模型识别至少三个模型反光点的第一位置；

追踪模块，用于基于光学摄像设备追踪所述至少三个光学反光点的第二位置；

匹配模块，用于基于所述至少三个模型反光点的第一位置和所述至少三个光学反光点的第二位置，匹配所述对象三维模型和所述对象实体的位姿。

9.一种电子设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7中任一项所述的方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images