CN114612536B - 对象三维模型的识别方法、装置、设备及可读存储介质 - Google Patents

对象三维模型的识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114612536B
CN114612536B CN202210282456.6A CN202210282456A CN114612536B CN 114612536 B CN114612536 B CN 114612536B CN 202210282456 A CN202210282456 A CN 202210282456A CN 114612536 B CN114612536 B CN 114612536B
Authority
CN
China
Prior art keywords
dimensional model
optical markers
design drawing
geometric feature
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210282456.6A
Other languages
English (en)
Other versions
CN114612536A (zh
Inventor
周烽
李体雷
王侃
刘昊扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING NOITOM TECHNOLOGY Ltd
Original Assignee
BEIJING NOITOM TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING NOITOM TECHNOLOGY Ltd filed Critical BEIJING NOITOM TECHNOLOGY Ltd
Priority to CN202210282456.6A priority Critical patent/CN114612536B/zh
Publication of CN114612536A publication Critical patent/CN114612536A/zh
Application granted granted Critical
Publication of CN114612536B publication Critical patent/CN114612536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本公开涉及一种对象三维模型的识别方法、装置、设备及可读存储介质。本公开通过对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息进行整体识别配准，在一定程度上不同几何特征之间会相互抵消扫描误差和识别误差，使得识别结果更准确，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，可以帮助相关人员进行术前练习，提高医疗安全，减轻医疗负担。由于通过转换关系以及光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，可以实时调整对象三维模型的位姿，可以帮助医生完成术前规划及练习。

Description

对象三维模型的识别方法、装置、设备及可读存储介质
技术领域
本公开涉及虚拟现实领域，尤其涉及一种对象三维模型的识别方法、装置、设备及可读存储介质。
背景技术
通常情况下，临床手术是现代医疗的重要诊疗手段。实际临床中，例如脑科手术成功率低、风险大，而且需要高超的手术技巧及丰富的临床经验。当经验不足的医生需要进行手术培训时，现有技术通常还停留在有经验的医生向实习医生传授临床经验，或是由实习医生观看有经验的医生进行手术的阶段。
但是，手术是直接作用于病人身上，手术视野比较有限，医生更不可能透视病人的病患组织结构，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，手术医生以及实习医生很难将术中所见与术前影像学图像关联起来，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策，同时也影响实习医生的培训效果。
在CN107633528A中，提供了一种刚体识别方法，通过拍摄预先设置在刚体上的多个红外标记点，结合红外深度图像对红外标记点进行识别，得到各刚体的几何结构特征，通过唯一的几何结构特征来识别刚体。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种对象三维模型的识别方法、装置、设备及可读存储介质，以帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。
第一方面，本公开实施例提供一种对象三维模型的识别方法，所述方法包括：
获取对象实体对应的对象三维模型；所述对象实体基于设计图生成，所述设计图中包括对象实体的几何特征信息以及至少三个光学标记物在所述对象实体上的第一位置信息；
基于所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息，确定所述对象三维模型与所述设计图之间的几何特征匹配关系；
基于所述几何特征匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系；
通过光学追踪系统追踪所述对象实体上的至少三个光学标记物的第二位置信息，并基于所述至少三个光学标记物的第二位置信息和所述位置转换关系，确定所述对象三维模型的位姿。
在一些实施例中，所述基于所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息，确定所述对象三维模型与所述设计图之间的几何特征匹配关系之前，所述方法还包括：
对所述对象三维模型进行几何特征识别。
在一些实施例中，所述基于所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息，确定所述对象三维模型与所述设计图之间的几何特征匹配关系包括：
若对所述对象三维模型进行几何特征识别，得到所述对象三维模型的几何特征信息，则采用最小二乘匹配算法或聚类匹配算法，对所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息进行处理，得到所述对象三维模型与所述设计图之间的几何特征匹配关系。
在一些实施例中，所述基于所述几何特征匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系包括：
基于所述对象实体的几何特征信息以及所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述设计图与所述至少三个光学标记物之间的第一位置转换关系；
基于所述几何特征匹配关系和所述第一位置转换关系，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系。
在一些实施例中，所述方法还包括：
若对所述对象三维模型进行几何特征识别，没有得到所述对象三维模型的几何特征信息，则采用点云匹配算法，确定所述对象三维模型与所述设计图之间的点云匹配关系；
基于所述点云匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系；
通过光学追踪系统追踪所述对象实体上的至少三个光学标记物的第二位置信息，并基于所述至少三个光学标记物的第二位置信息和所述位置转换关系，确定所述对象三维模型的位姿。
在一些实施例中，所述基于所述点云匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系包括：
基于所述对象实体的几何特征信息以及所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述设计图与所述至少三个光学标记物之间的第一位置转换关系；
基于所述点云匹配关系和所述第一位置转换关系，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系。
第二方面，本公开实施例提供一种对象三维模型的识别装置，包括：
获取模块，用于获取对象实体对应的对象三维模型；所述对象实体基于设计图生成，所述设计图中包括对象实体的几何特征信息以及至少三个光学标记物在所述对象实体上的第一位置信息；
第一确定模块，用于基于所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息，确定所述对象三维模型与所述设计图之间的几何特征匹配关系；
第二确定模块，用于基于所述几何特征匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系；
第三确定模块，用于通过光学追踪系统追踪所述对象实体上的至少三个光学标记物的第二位置信息，并基于所述至少三个光学标记物的第二位置信息和所述位置转换关系，确定所述对象三维模型的位姿。
第三方面，本公开实施例提供一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的方法。
第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如第一方面所述的方法。
本公开实施例提供的对象三维模型的识别方法、装置、设备及可读存储介质，通过获取对象实体对应的对象三维模型，对象实体基于设计图生成，设计图中包括对象实体的几何特征信息以及至少三个光学标记物在对象实体上的第一位置信息，基于对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息，确定对象三维模型与设计图之间的几何特征匹配关系。进一步，基于几何特征匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系。进而通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。由于通过对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息进行整体识别配准，在一定程度上不同几何特征之间会相互抵消扫描误差和识别误差，使得识别结果更准确，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，可以帮助相关人员进行术前练习，提高医疗安全，减轻医疗负担。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的对象三维模型的识别方法流程图；
图2为本公开另一实施例提供的对象三维模型的识别方法流程图；
图3为本公开另一实施例提供的对象三维模型的识别方法流程图；
图4为本公开实施例提供的对象三维模型的识别装置的结构示意图；
图5为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
通常情况下，临床手术是现代医疗的重要诊疗手段。实际临床中，例如脑科手术成功率低、风险大，而且需要高超的手术技巧及丰富的临床经验。当经验不足的医生需要进行手术培训时，现有技术通常还停留在有经验的医生向实习医生传授临床经验，或是由实习医生观看有经验的医生进行手术的阶段。
但是，手术是直接作用于病人身上，手术视野比较有限，医生更不可能透视病人的病患组织结构，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，手术医生以及实习医生很难将术中所见与术前影像学图像关联起来，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策，同时也影响实习医生的培训效果。
针对该问题，本公开实施例提供了一种对象三维模型的识别方法，下面结合具体的实施例对该方法进行介绍。
图1为本公开实施例提供的对象三维模型的识别方法流程图。如图1所示，该方法包括如下几个步骤：
S101、获取对象实体对应的对象三维模型。
对象实体基于设计图生成，设计图中包括对象实体的几何特征信息以及至少三个光学标记物在对象实体上的第一位置信息。对象例如为病患部位骨骼，还可以为其他类型的有形物体。
在一些实施例中，对象三维模型为对象实体经过断层扫描所生成的三维模型。例如，电子计算机断层扫描设备把对象实体经过断层扫描所生成的三维模型传给终端，终端获取到对象实体对应的对象三维模型。
S102、基于对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息，确定对象三维模型与设计图之间的几何特征匹配关系。
在获取到对象实体对应的对象三维模型之后，终端基于对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息，将对象三维模型与设计图的位姿进行匹配，确定对象三维模型与设计图之间的几何特征匹配关系。其中，几何特征信息包括棱线、平面、圆柱、棱柱、球、圆锥等，位姿包括位置和姿态，也即6自由度信息。通过几何特征对对象三维模型进行整体识别，在一定程度上不同几何特征之间会相互抵消扫描误差和识别误差，使得识别结果更准确。
S103、基于几何特征匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系。
终端基于对象三维模型与设计图之间的几何特征匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系。对象三维模型与至少三个光学标记物之间的位置转换关系可以为对象三维模型与至少三个光学标记物之间的位置转换矩阵。
S104、通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。
例如，通过光学追踪系统追踪到对象实体上的至少三个光学标记物的位置信息，记为第二位置信息。光学追踪系统把获取到的对象实体上的至少三个光学标记物的第二位置信息发送给终端，终端基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。终端确定对象三维模型与至少三个光学标记物之间的位置转换关系，即确定出对象三维模型和至少三个光学标记物之间的转换矩阵后，将光学追踪系统追踪到的对象实体上的至少三个光学标记物的第二位置信息作为输入点，从而计算得出对象三维模型的位姿。位姿包括位置和姿态，也即6自由度信息。
本公开实施例通过获取对象实体对应的对象三维模型，对象实体基于设计图生成，设计图中包括对象实体的几何特征信息以及至少三个光学标记物在对象实体上的第一位置信息，基于对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息，确定对象三维模型与设计图之间的几何特征匹配关系。进一步，基于几何特征匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系。进而通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。由于通过对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息进行整体识别配准，在一定程度上不同几何特征之间会相互抵消扫描误差和识别误差，使得识别结果更准确，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，可以帮助相关人员进行术前练习，提高医疗安全，减轻医疗负担。
图2为本公开另一实施例提供的对象三维模型的识别方法流程图，如图2所示，该方法包括如下几个步骤：
S201、获取对象实体对应的对象三维模型。
具体的，S201和S101的实现过程和原理一致，此处不再赘述。
S202、对对象三维模型进行几何特征识别。
通过特征识别算法对对象三维模型进行几何特征识别，识别出对象三维模型中的几何特征，得到对象三维模型的几何特征信息。
S203、若对对象三维模型进行几何特征识别，得到对象三维模型的几何特征信息，则采用最小二乘匹配算法或聚类匹配算法，对对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息进行处理，得到对象三维模型与设计图之间的几何特征匹配关系。
如果通过特征识别算法对对象三维模型进行几何特征识别，得到对象三维模型的几何特征信息，则采用最小二乘匹配算法或聚类匹配算法，对对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息进行处理。几何特征信息包括棱线、平面、圆柱、棱柱、球、圆锥等。
例如，当识别到的几何特征信息为棱线时，可以识别到对象三维模型的相邻三角形夹角较大的部分，然后将此部分作为输入进行聚类处理，聚类后去掉离散较大的部分，基于保留下的部分确定对象三维模型与设计图之间的匹配关系。当识别到的几何特征信息为平面时，可以识别到三角面法线，对三角面法线进行聚类，然后根据每个聚类组里所有三角形面积的和来分组，找到较大的平面，通过该平面进行配准。当识别到的几何特征信息为圆柱或圆锥时，可以通过同一切面顶点的共有圆心进行识别，多个圆心可标识出圆柱或圆锥的轴线，将该圆柱或圆锥进行聚类，聚类后去掉离散较大的部分，基于保留下的部分确定对象三维模型与设计图之间的匹配关系，从而实现对象三维模型的配准。
S204、基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定设计图与至少三个光学标记物之间的第一位置转换关系。
终端基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，可以确定设计图与至少三个光学标记物之间的第一位置转换关系，将设计图与光学标记物建立起联系。
S205、基于几何特征匹配关系和第一位置转换关系，确定对象三维模型与至少三个光学标记物之间的位置转换关系。
终端基于对象三维模型与设计图之间的几何特征匹配关系和设计图与至少三个光学标记物之间的第一位置转换关系，可以确定对象三维模型与至少三个光学标记物之间的位置转换关系，将对象三维模型与光学标记物建立起联系。
S206、通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。
具体的，S206和S104的实现过程和原理一致，此处不再赘述。
本公开实施例通过获取对象实体对应的对象三维模型，对对象三维模型进行几何特征识别。若对对象三维模型进行几何特征识别，得到对象三维模型的几何特征信息，则采用最小二乘匹配算法或聚类匹配算法，对对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息进行处理，得到对象三维模型与设计图之间的几何特征匹配关系。进一步，基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定设计图与至少三个光学标记物之间的第一位置转换关系，基于几何特征匹配关系和第一位置转换关系，确定对象三维模型与至少三个光学标记物之间的位置转换关系。进而通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。由于通过最小二乘匹配算法或聚类匹配算法先确定设计图与对象三维模型的几何特征匹配关系，再通过设计图与光学标记物之间的第一位置转换关系，进一步确定对象三维模型与光学标记物之间的位置转换关系，从而根据光学标记物的位置信息确定对象三维模型的位姿，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。由于通过转换关系以及光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，实时调整对象三维模型的位姿，可以更好的帮助医生完成术前规划及练习。
图3为本公开另一实施例提供的对象三维模型的识别方法流程图，如图3所示，该方法包括如下几个步骤：
S301、获取对象实体对应的对象三维模型。
具体的，S301和S101的实现过程和原理一致，此处不再赘述。
S302、对对象三维模型进行几何特征识别。
具体的，S302和S202的实现过程和原理一致，此处不再赘述。
S303、若对对象三维模型进行几何特征识别，没有得到对象三维模型的几何特征信息，则采用点云匹配算法，确定对象三维模型与设计图之间的点云匹配关系。
如果通过特征识别算法对对象三维模型进行几何特征识别，没有得到对象三维模型的几何特征信息，则采用点云匹配算法，确定对象三维模型与设计图之间的点云匹配关系。
例如，对于没有明显几何特征的物体，可以使用点云匹配的方式计算，方法为：将对象三维模型所涵盖的空间进行体素化，划分成多个小正方体空间，划分的依据是设计图上顶点的密度；对于每个体素小空间，求体素空间内顶点的平均值，作为此位置的顶点坐标（若空间内不存在顶点，则根据临近体素空间的顶点求差值）；将对象三维模型的顶点坐标和设计图内的顶点做点云匹配，得到对象三维模型与设计图之间的点云匹配关系。
S304、基于点云匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系。
终端基于对象三维模型与设计图之间的点云匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系。对象三维模型与至少三个光学标记物之间的位置转换关系可以为对象三维模型与至少三个光学标记物之间的位置转换矩阵。
S305、通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。
具体的，S305和S104的实现过程和原理一致，此处不再赘述。
本公开实施例通过获取对象实体对应的对象三维模型，对对象三维模型进行几何特征识别。若对对象三维模型进行几何特征识别，没有得到对象三维模型的几何特征信息，则采用点云匹配算法，确定对象三维模型与设计图之间的点云匹配关系。进一步，基于点云匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系。进而通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。由于通过点云匹配算法得到对象三维模型与设计图之间的点云匹配关系，再通过设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，进一步确定对象三维模型与光学标记物之间的位置转换关系，从而根据光学标记物的位置信息确定对象三维模型的位姿，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。
在一些实施例中，基于点云匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系包括：基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定设计图与至少三个光学标记物之间的第一位置转换关系；基于点云匹配关系和第一位置转换关系，确定对象三维模型与至少三个光学标记物之间的位置转换关系。
例如，终端基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，可以确定设计图与至少三个光学标记物之间的第一位置转换关系，将设计图与光学标记物建立起联系。进一步，终端基于对象三维模型与设计图之间的点云匹配关系和设计图与至少三个光学标记物之间的第一位置转换关系，可以确定对象三维模型与至少三个光学标记物之间的位置转换关系，将对象三维模型与光学标记物建立起联系。
本公开实施例由于通过点云匹配算法得到对象三维模型与设计图之间的点云匹配关系，再通过设计图与光学标记物之间的第一位置转换关系，进一步确定对象三维模型与光学标记物之间的位置转换关系，从而根据光学标记物的位置信息确定对象三维模型的位姿，可以实现教学的目的，帮助相关人员更好地进行空间立体定位判断和操作，缩短学习时间，提高医疗安全，减轻医疗负担。由于通过转换关系以及光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，实时调整对象三维模型的位姿，可以更好的帮助医生完成术前规划及练习。
图4为本公开实施例提供的对象三维模型的识别装置的结构示意图。该对象三维模型的识别装置可以是如上实施例的终端，或者对象三维模型的识别装置可以该终端中的部件或组件。本公开实施例提供的对象三维模型的识别装置可以执行对象三维模型的识别方法实施例提供的处理流程，如图4所示，对象三维模型的识别装置40包括：获取模块41、第一确定模块42、第二确定模块43、第三确定模块44；其中，获取模块41用于获取对象实体对应的对象三维模型；对象实体基于设计图生成，设计图中包括对象实体的几何特征信息以及至少三个光学标记物在对象实体上的第一位置信息；第一确定模块42用于基于对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息，确定对象三维模型与设计图之间的几何特征匹配关系；第二确定模块43用于基于几何特征匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系；第三确定模块44用于通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。
可选的，装置还包括：识别模块45；识别模块45用于对对象三维模型进行几何特征识别。
可选的，第一确定模块42基于对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息，确定对象三维模型与设计图之间的几何特征匹配关系时，具体用于：若对对象三维模型进行几何特征识别，得到对象三维模型的几何特征信息，则采用最小二乘匹配算法或聚类匹配算法，对对象三维模型的几何特征信息与设计图中包括的对象实体的几何特征信息进行处理，得到对象三维模型与设计图之间的几何特征匹配关系。
可选的，第二确定模块43基于几何特征匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系时，具体用于：基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定设计图与至少三个光学标记物之间的第一位置转换关系；基于几何特征匹配关系和第一位置转换关系，确定对象三维模型与至少三个光学标记物之间的位置转换关系。
可选的，第一确定模块42还用于若对对象三维模型进行几何特征识别，没有得到对象三维模型的几何特征信息，则采用点云匹配算法，确定对象三维模型与设计图之间的点云匹配关系；第二确定模块43还用于基于点云匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系；第三确定模块44还用于通过光学追踪系统追踪对象实体上的至少三个光学标记物的第二位置信息，并基于至少三个光学标记物的第二位置信息和位置转换关系，确定对象三维模型的位姿。
可选的，第二确定模块43基于点云匹配关系和设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定对象三维模型与至少三个光学标记物之间的位置转换关系时，具体用于：基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定设计图与至少三个光学标记物之间的第一位置转换关系；基于点云匹配关系和第一位置转换关系，确定对象三维模型与至少三个光学标记物之间的位置转换关系。
图4所示实施例的对象三维模型的识别装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的终端。本公开实施例提供的电子设备可以执行对象三维模型的识别方法实施例提供的处理流程，如图5所示，电子设备50包括：存储器51、处理器52、计算机程序和通讯接口53；其中，计算机程序存储在存储器51中，并被配置为由处理器52执行如上所述的对象三维模型的识别方法。
另外，本公开实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的对象三维模型的识别方法。
此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的对象三维模型的识别方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种对象三维模型的识别方法，其特征在于，所述方法包括：
获取对象实体对应的对象三维模型；所述对象实体基于设计图生成，所述设计图中包括对象实体的几何特征信息以及至少三个光学标记物在所述对象实体上的第一位置信息；
基于所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息，确定所述对象三维模型与所述设计图之间的几何特征匹配关系；
基于所述几何特征匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系；
通过光学追踪系统追踪所述对象实体上的至少三个光学标记物的第二位置信息，并基于所述至少三个光学标记物的第二位置信息和所述位置转换关系，确定所述对象三维模型的位姿；
所述基于所述几何特征匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系包括：
基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定所述对象实体上的至少三个光学标记物与设计图中的至少三个光学标记物之间的第一位置转换关系；
基于所述几何特征匹配关系和所述第一位置转换关系，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系。
2.根据权利要求1所述的方法，其特征在于，所述基于所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息，确定所述对象三维模型与所述设计图之间的几何特征匹配关系之前，所述方法还包括：
对所述对象三维模型进行几何特征识别。
3.根据权利要求2所述的方法，其特征在于，所述基于所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息，确定所述对象三维模型与所述设计图之间的几何特征匹配关系包括：
若对所述对象三维模型进行几何特征识别，得到所述对象三维模型的几何特征信息，则采用最小二乘匹配算法或聚类匹配算法，对所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息进行处理，得到所述对象三维模型与所述设计图之间的几何特征匹配关系。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若对所述对象三维模型进行几何特征识别，没有得到所述对象三维模型的几何特征信息，则采用点云匹配算法，确定所述对象三维模型与所述设计图之间的点云匹配关系；
基于所述点云匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系；
通过光学追踪系统追踪所述对象实体上的至少三个光学标记物的第二位置信息，并基于所述至少三个光学标记物的第二位置信息和所述位置转换关系，确定所述对象三维模型的位姿。
5.根据权利要求4所述的方法，其特征在于，所述基于所述点云匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系包括：
基于所述对象实体的几何特征信息以及所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述设计图与所述至少三个光学标记物之间的第一位置转换关系；
基于所述点云匹配关系和所述第一位置转换关系，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系。
6.一种对象三维模型的识别装置，其特征在于，所述装置包括：
获取模块，用于获取对象实体对应的对象三维模型；所述对象实体基于设计图生成，所述设计图中包括对象实体的几何特征信息以及至少三个光学标记物在所述对象实体上的第一位置信息；
第一确定模块，用于基于所述对象三维模型的几何特征信息与所述设计图中包括的对象实体的几何特征信息，确定所述对象三维模型与所述设计图之间的几何特征匹配关系；
第二确定模块，用于基于所述几何特征匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系；
第三确定模块，用于通过光学追踪系统追踪所述对象实体上的至少三个光学标记物的第二位置信息，并基于所述至少三个光学标记物的第二位置信息和所述位置转换关系，确定所述对象三维模型的位姿；
所述第二确定模块基于所述几何特征匹配关系和所述设计图中包括的至少三个光学标记物在所述对象实体上的第一位置信息，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系时，具体用于：
基于对象实体的几何特征信息以及设计图中包括的至少三个光学标记物在对象实体上的第一位置信息，确定所述对象实体上的至少三个光学标记物与设计图中的至少三个光学标记物之间的第一位置转换关系；
基于所述几何特征匹配关系和所述第一位置转换关系，确定所述对象三维模型与所述至少三个光学标记物之间的位置转换关系。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
识别模块，用于对所述对象三维模型进行几何特征识别。
8.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-5中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
CN202210282456.6A 2022-03-22 2022-03-22 对象三维模型的识别方法、装置、设备及可读存储介质 Active CN114612536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210282456.6A CN114612536B (zh) 2022-03-22 2022-03-22 对象三维模型的识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210282456.6A CN114612536B (zh) 2022-03-22 2022-03-22 对象三维模型的识别方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114612536A CN114612536A (zh) 2022-06-10
CN114612536B true CN114612536B (zh) 2022-11-04

Family

ID=81865751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210282456.6A Active CN114612536B (zh) 2022-03-22 2022-03-22 对象三维模型的识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114612536B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633528A (zh) * 2017-08-22 2018-01-26 北京致臻智造科技有限公司 一种刚体识别方法及系统
WO2021185260A1 (zh) * 2020-03-17 2021-09-23 京东方科技集团股份有限公司 定位跟踪件、标记物的识别方法、存储介质及电子设备
CN113768624A (zh) * 2021-09-28 2021-12-10 杭州柳叶刀机器人有限公司 作业面定位控制方法、装置、计算机设备及可读存储介质
CN113925611A (zh) * 2021-12-16 2022-01-14 北京诺亦腾科技有限公司 对象三维模型和对象实体的匹配方法、装置、设备及介质
CN114041875A (zh) * 2021-11-24 2022-02-15 电子科技大学 一种一体式手术定位导航系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178250B (zh) * 2019-12-27 2024-01-12 深圳市越疆科技有限公司 物体识别定位方法、装置及终端设备
CN113066161B (zh) * 2021-03-12 2022-04-29 武汉大学 一种城市电波传播模型的建模方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633528A (zh) * 2017-08-22 2018-01-26 北京致臻智造科技有限公司 一种刚体识别方法及系统
WO2021185260A1 (zh) * 2020-03-17 2021-09-23 京东方科技集团股份有限公司 定位跟踪件、标记物的识别方法、存储介质及电子设备
CN113768624A (zh) * 2021-09-28 2021-12-10 杭州柳叶刀机器人有限公司 作业面定位控制方法、装置、计算机设备及可读存储介质
CN114041875A (zh) * 2021-11-24 2022-02-15 电子科技大学 一种一体式手术定位导航系统
CN113925611A (zh) * 2021-12-16 2022-01-14 北京诺亦腾科技有限公司 对象三维模型和对象实体的匹配方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114612536A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN110353806B (zh) 用于微创全膝关节置换手术的增强现实导航方法及系统
US10499992B2 (en) Method and system for estimating a deflated lung shape for video assisted thoracic surgery in augmented and mixed reality
CN105852970B (zh) 神经外科机器人导航定位系统及方法
EP2583244B1 (en) Method of determination of access areas from 3d patient images
US8971606B2 (en) Method for automatically identifying the contours of a predefined bone, derived methods and corresponding computer program products
Burschka et al. Scale-invariant registration of monocular endoscopic images to CT-scans for sinus surgery
WO2017011892A1 (en) System and method for mapping navigation space to patient space in a medical procedure
US8165366B2 (en) Determining correspondence object pairs for medical navigation
CN110946659A (zh) 影像空间与实际空间的注册方法及系统
CN204655073U (zh) 一种骨科手术导航系统
Liu et al. Automatic markerless registration and tracking of the bone for computer-assisted orthopaedic surgery
Chaoui et al. Recognition-based segmentation and registration method for image guided shoulder surgery
Lee et al. Fast‐MICP for frameless image‐guided surgery
WO2018215919A2 (en) Navigating an imaging instrument in a branched structure
Alam et al. A review on extrinsic registration methods for medical images
US20080212871A1 (en) Determining a three-dimensional model of a rim of an anatomical structure
Li et al. Calibrating 3d scanner in the coordinate system of optical tracker for image-to-patient registration
CN114283188A (zh) 一种针对骨科手术机器人的定位配准方法
Li et al. A fully automatic surgical registration method for percutaneous abdominal puncture surgical navigation
CN113274130A (zh) 用于光学手术导航系统的无标记手术注册方法
Nimmagadda et al. Patient-specific, touch-based registration during robotic, image-guided partial nephrectomy
CN114612536B (zh) 对象三维模型的识别方法、装置、设备及可读存储介质
KR20190004591A (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
CN113925611A (zh) 对象三维模型和对象实体的匹配方法、装置、设备及介质
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant