CN116823898A - 一种混合现实增强显示方法及系统 - Google Patents

Abstract

本发明提供一种混合现实增强显示方法及系统，该方法包括：注册，将点云采集模块与三维模型统一到同一坐标系；根据同一坐标系下的点云采集模块和三维模型，生成对应于相机视角的待显示图像；将待显示图像与相机采集的实景图像通过显示模块叠加显示。本发明通过点云采集模块快捷、高精度地采集了目标对象的三维点云，结合三维模型生成对应于待显示内容(例如，穿刺点、解剖线、肿瘤、血管、脑区等)的待显示图像，并通过显示模块将待显示图像与相机拍摄的目标对象的实景图像叠加显示，提升了信息密度，便于医生直观地理解待显示内容在目标对象上的位置，提升了研讨、教学、手术规划、手术导航的效率和精度。

Description

一种混合现实增强显示方法及系统

技术领域

本发明涉及医疗器械技术领域，尤其涉及一种混合现实增强显示方法及系统。

背景技术

在对患者实施治疗前，需要对患者制定合适的治疗方案。

现有技术中一种普遍做法是直接在计算机屏幕中观察医学影像模型、规划手术相关内容。这种方式的缺陷在于，医生观察到的模型信息与真实空间中的患者存在视角差异，为了确定手术相关内容(尤其是患者体内不可见的相关内容)在患者身上的位置，医生视线需要在屏幕与患者之间来回切换，该过程容易造成医生疲劳，并且，由于医学影像模型并不与真实患者直接对应，医生也难以在真实患者身上精确地定位手术相关内容，影响了手术精度。

对此，本发明提出一种混合现实增强显示方法及系统以解决或至少部分解决现有技术的上述缺陷。

发明内容

本发明提供一种混合现实增强显示方法及系统，用以解决现有技术中医生观察三维模型不够直观，需要反复在手术部位和屏幕之间切换，容易导致手术操作不连贯缺陷。

本发明提供一种混合现实增强显示方法，包括：

根据本发明提供的一种混合现实增强显示方法，所述注册，将点云采集模块与三维模型统一到同一坐标系包括：

通过所述点云采集模块获取目标对象的三维点云；

将所述目标对象的三维点云与所述三维模型配准，得到真实空间坐标系与模型坐标系的转换关系；

根据所述真实空间坐标系与模型坐标系的转换关系，将所述点云采集模块与所述三维模型统一到同一坐标系。

根据本发明提供的一种混合现实增强显示方法，所述注册，将点云采集模块与三维模型统一到同一坐标系包括：

控制机械臂带动所述点云采集模块进行患者注册，获取机械臂坐标系与模型坐标系的转换关系；

根据所述机械臂坐标系与模型坐标系的转换关系以及当前机械臂姿态，将所述点云采集模块与所述三维模型统一到同一坐标系。

根据本发明提供的一种混合现实增强显示方法，所述根据所述同一坐标系下的所述点云采集模块和所述三维模型，生成对应于所述相机视角的待显示图像包括：

将所述同一坐标系中的待显示模型以及所述相机的位姿参数输入图像拍摄模型，生成所述待显示图像；其中，所述待显示模型是所述三维模型的一部分，所述三维模型为面片模型。

根据本发明提供的一种混合现实增强显示方法，所述相机的位姿参数包括：所述同一坐标系中所述相机的坐标，以及所述相机的俯仰角、翻滚角。

根据本发明提供的一种混合现实增强显示方法，其特征在于，所述图像拍摄模型是基于三维模型处理框架生成的可调用接口。

根据本发明提供的一种混合现实增强显示方法，其特征在于，所述根据所述同一坐标系下的所述点云采集模块和所述三维模型，生成对应于所述相机视角的待显示图像包括：

从所述三维模型中提取待显示点云；

根据所述同一坐标系中的所述待显示点云以及所述相机的参数，利用相机成像模型生成所述待显示图像。

根据本发明提供的一种混合现实增强显示方法，其特征在于，还包括：

当需要显示的是点时，对所述待显示图像中需显示的点突出显示；和/或，

当需要显示的是轮廓时，连接所述待显示图像中的外围点，形成闭合轮廓；和/或，

当需要显示的是区域时，对所述待显示图像进行形态学处理。

本发明还提供一种混合现实增强显示系统，包括：点云采集模块，处理模块，以及显示模块；

所述点云采集模块包括相机，所述点云采集模块用于采集目标对象的三维点云；

所述处理模块分别与所述点云采集模块、所述显示模块通信连接，所述处理模块执行前述任一项所述的混合现实增强显示方法，得到待显示图像，并通过所述显示模块将所述待显示图像与相机采集的实景图像叠加显示。

根据本发明提供的一种混合现实增强显示系统，还包括固定模块，所述固定模块连接所述点云采集模块，用于将所述点云采集模块固定在目标位置。

根据本发明提供的一种混合现实增强显示系统，系统还包括机械臂，所述点云采集模块安装或集成在所述机械臂上，所述机械臂根据所述处理模块的控制指令带动所述点云采集模块运动到目标位置。

根据本发明提供的一种混合现实增强显示系统，所述显示模块复用所述相机，或，所述显示模块为独立的显示设备。

根据本发明提供的一种混合现实增强显示系统，所述点云采集模块是结构光点云采集器或双目相机或多目相机。

本发明的提供的一种混合现实增强显示方法及系统，至少具有以下有益效果：

1、能够将需要观察的内部或表面信息(待显示信息)与目标对象的实景图像叠加显示，提升了信息密度，医生可以直观地理解需要观察的内部或表面信息的位置，便于研讨、教学、手术规划、手术导航等；

2、点云采集模块能够采集三维点云，三维点云用于确定目标对象的位置，以及用于与三维模型配准注册，使得待显示信息的叠加位置更加精确，便于对需要观察的内部或表面信息(待显示信息)进行定位，提升手术精度；

3、通过图像拍摄模型在相机对应的位置拍摄三维模型，以精确的位置、角度采集到了相机视角下的待显示图像，使得待显示图像可以直接与实景图像叠加，为医生提供高效的信息引导，待显示图像可以带有颜色、纹理信息，观察效果更加真实；

4、通过提取待显示点云减少了数据处理量，结合相机参数进行进行成像，得到了相机视角下的待显示图像，使得待显示图像可以直接与实景图像叠加，提高了数据处理效率，为医生提供了高效的信息引导。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种混合现实增强显示系统的结构示意图之一；

图2是本发明提供的一种混合现实增强显示方法的流程示意图之一；

图3是本发明提供的一种混合现实增强显示系统的结构示意图之二；

图4是本发明提供的一种混合现实增强显示系统的结构示意图之三。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图4描述本发明的一种混合现实增强显示方法及系统。

为便于理解本发明，先结合图1对本发明的一种混合现实增强显示系统的结构进行说明。如图1所示，系统包括点云采集模块100，和处理模块200、显示模块300。点云采集模块100可以采集目标对象的三维点云。处理模块200与点云采集模块100进行数据交互，用于对点云采集模块100采集到的三维点云进行数据处理。处理模块200可以与前述点云采集模块100集成为一体，也可以是外部独立的设备，例如笔记本电脑、工作站、PDA等等，本发明对处理模块200的存在形式、硬件形式不作限制。

本发明的方法可在前述处理模块200中执行，图2是本发明提供的一种混合现实增强显示方法的流程示意图，如图2所示，该方法包括：

S21、注册，将点云采集模块100与三维模型统一到同一坐标系；其中，点云采集模块100包括相机110；

具体地，上述三维模型是针对目标对象建立的三维模型，例如，目标对象是患者，三维模型是基于患者的医学影像(磁共振图像、功能磁共振图像、CT图像、相位对比磁共振血管成像等)重建出的三维模型，又例如，目标对象是实物演示模型，三维模型是该实物演示模型相应的三维设计模型。三维模型中包含了用户感兴趣的内部或表面信息(即，待显示内容)，例如，穿刺点、解剖线、肿瘤、血管、脑区等。

注册就是建立真实空间与模型空间的映射关系。点云采集模块100包括了相机110，点云采集模块100可以是结构光点云采集器、双目相机、多目相机等。点云采集模块100可以采集目标对象的视觉可见的表面点云数据，例如，采集到面部皮肤数据，又例如，采集到开颅手术中处于暴露状态下的组织数据。。

处理模块200控制点云采集模块100采集目标对象的三维点云，目标对象的点云可以用于与三维模型进行配准，从而建立真实空间与模型空间的映射关系，基于此映射关系，处理模块200将点云采集模块100与三维模型统一到同一坐标系，例如统一到采集模块坐标系、统一到模型坐标系等，又例如进一步结合点云采集模块100与其他模块的相对位置关系将二者统一到病床坐标系、统一到手术台车坐标系、统一到机械臂坐标系等等。

S22、根据同一坐标系下的点云采集模块100和三维模型，生成对应于相机110视角的待显示图像；

具体地，已经将点云采集模块100和三维模型统一到同一坐标系，而点云采集模块100包括相机110，三维模型包含了待显示内容(例如，穿刺点、解剖线、肿瘤、血管、脑区等)，因此，该同一坐标系中相机110和待显示内容的相对位置是已知的，进而可以确定相机110视角下的对应于该待显示内容的待显示图像(二维像素图像)。

S23、将待显示图像与相机110采集的实景图像通过显示模块300叠加显示。

具体地，相机110除了用于辅助采集目标对象的三维点云，还用于采集目标对象的实景图像。在一种可行的方式中，处理模块200将该实景图像与待显示图像发送给显示模块300，由显示模块300将待显示图像与实景图像叠加显示；在又一种可行的方式中，处理模块200将该实景图像与待显示图像叠加，将叠加图像发送给显示模块300，由显示模块300直接显示叠加图像。叠加显示的显示效果可以根据用户需求灵活设置，例如将待显示图像以设定的透明度叠加在实景图像上，又例如，以不透明的显示方式将待显示图像叠加在实景图像上。

本实施例的一种混合现实增强显示方法通过点云采集模块快捷、高精度地采集了目标对象的三维点云，结合三维模型生成对应于待显示内容(例如，穿刺点、解剖线、肿瘤、血管、脑区等)的待显示图像，并通过显示模块将待显示图像与相机拍摄的目标对象的实景图像叠加显示，提升了信息密度，便于医生直观地理解待显示内容在目标对象上的位置，提升了研讨、教学、手术规划、手术导航的效率和精度。

基于上述任一实施例，在一个实施例中，S21包括：

通过点云采集模块100获取目标对象的三维点云；

将目标对象的三维点云与三维模型配准，得到真实空间坐标系与模型坐标系的转换关系；

根据真实空间坐标系与模型坐标系的转换关系，将点云采集模块100与三维模型统一到同一坐标系。

具体地，通过点云采集模块100对目标对象进行点云采集，可以理解的是，此处采集的是目标对象的视觉可见的表面点云，例如，面部皮肤数据，又例如，开颅手术中处于暴露状态下的组织。处理模块200接收获取三维点云数据后与三维模型进行配准，得到采集模块坐标系与模型坐标系的转换关系，而采集模型坐标系是基于点云采集模块100建立的，从而可以将点云采集模块100与三维转换至同一坐标系，例如统一到采集模块坐标系、统一到模型坐标系等，又例如进一步结合点云采集模块100与其他模块的相对位置关系将二者统一到病床坐标系、统一到手术台车坐标系、统一到机械臂坐标系等等。

本实施例中通过将点云采集模块采集到的三维点云与三维模型进行配准，精确地确定了模型空间与真实空间的映射关系，据此将点云采集模块与三维模型统一到同一坐标系，便于生成待显示图像，待显示图像能够精确定位显示到实景图像，能够为用户提供定位辅助参考，提升了手术、手术规划的效率和精度。

基于上述任一实施例，在一个实施例中，S21包括：

控制机械臂带动点云采集模块100进行患者注册，获取机械臂坐标系与模型坐标系的转换关系；

根据机械臂坐标系与模型坐标系的转换关系以及当前机械臂姿态，将点云采集模块100与三维模型统一到同一坐标系。

具体地，先参照图3描述系统结构，点云采集模块100安装或集成在机械臂400上，处理模块200控制机械臂400带动点云采集模块100在一个或更多个位置对目标对象采集点云，处理模块200将机械臂坐标系下的一个位置的三维点云或多个位置的融合点云与三维模型进行配准，得到机械臂坐标系与模型坐标系的转换关系。处理模块200控制机械臂400带动点云采集模块100运动到所需的目标位置，机械臂400的当前姿态对应了机械臂坐标系与采集模块坐标系的转换关系。根据上述两个转换关系可以将点云采集模块100与三维模型转换至同一坐标系，例如统一到采集模块坐标系、统一到模型坐标系等，又例如进一步结合点云采集模块100与其他模块的相对位置关系将二者统一到病床坐标系、统一到手术台车坐标系、统一到机械臂坐标系等等。

本实施例中通过机械臂使得仅需进行一次患者注册，后续可以灵活地调整位置观察目标对象，观察角度更加多样化，且数据处理(叠加显示)效率也更高。

基于上述任一实施例，在一个实施例中，S22包括：

将同一坐标系中的待显示模型以及相机110的位姿参数输入图像拍摄模型，生成待显示图像；其中，待显示模型是三维模型的一部分，三维模型为面片模型。

具体地，本实施例中目标对象的三维模型为面片模型，采用面片模型能够兼顾数据处理效率与待显示图像的图像质量，进一步地，还可以对面片模型进行颜色渲染，添加纹理，优化最终的显示效果。

具体地，已经将点云采集模块100和三维模型统一到同一坐标系，而点云采集模块100包括相机110，三维模型包含了待显示模型(即上述待显示内容，例如穿刺点、解剖线、肿瘤、血管、脑区等)，因此，该同一坐标系中相机110的位姿参数和待显示模型的位置是可以确定的，将该同一坐标系中相机110的位姿参数和待显示模型输入图像拍摄模型，可以生成相机110视角下的对应于该待显示模型的待显示图像(二维像素图像)。

图像拍摄模型可以在输入位姿(即相机110的位姿)下对三维模型采集图像，还可以进行光影处理，能更加真实地显示穿刺点、解剖线、肿瘤、血管、脑区等。本实施例中的三维模型为面片模型，能够提升生成的待显示图像的质量同时提升数据处理效率。进一步地，还可以对面片模型进行颜色渲染，添加纹理，优化待显示图像的视觉效果，使得待显示图像更加“真实”。

基于上述实施例，在一个实施例中，相机110的位姿参数包括：同一坐标系中相机110的坐标，以及相机110的俯仰角、翻滚角。

具体地，该同一坐标系中的相机110的位姿参数包括位置数据、姿态数据，位置数据即该同一坐标系中相机110的坐标，此参数影响到图像拍摄模型的图像采集距离，姿态数据即该同一坐标系中相机110的俯仰角、翻滚角，此参数影响到图像拍摄模型的图像采集朝向。

基于上述任一实施例，在一个实施例中，图像拍摄模型是基于三维模型处理框架生成的可调用接口。

具体地，图像拍摄模型用于对三维模型进行处理，生成所需位姿下的二维像素图像(待显示图像)，图像拍摄模型还可以进行光影处理，使得生成的待显示图像更加真实。图像拍摄模型可以是基于三维模型处理框架生成的可调用接口，三维模型处理框架例如VTK、Blender、Cinemachine等等，通过将图像拍摄模型设置为可调用接口可以降低不同程序之间的数据依赖性，提升应用程序运行效率。

基于上述任一实施例，在一个实施例中，S22包括：

从三维模型中提取待显示点云；

根据同一坐标系中的待显示点云以及相机110的参数，利用相机成像模型生成待显示图像。

具体地，三维模型中包含待显示内容(例如穿刺点、解剖线、肿瘤、血管、脑区等)，对待显示内容进行点云提取，得到待显示点云。优选地，如果待显示内容包含区域范围，则对此区域范围提取表面点云(例如肿瘤表面点云，血管表面点云)，提取表面点云可以减少数据处理量，提升数据处理效率。

相机110的参数包括外参和内参，外参即该同一坐标系中相机110的位置(即该同一坐标系与相机坐标系的转换关系)，相机110的内参例如焦距等。根据该同一坐标中的待显示点云以及相机110的参数，利用相机成像模型可以生成待显示图像。由于该“成像过程”考虑了相机参数(内参、外参)，生成的待显示图像也是相机110视角下的图像，可以直接与相机110拍摄的实景图像叠加，方便将待显示内容准确地显示到实景图像上的相应位置。

本实施例中通过提取待显示点云减少了数据处理量，且便于相机成像模型处理，由于“成像过程”考虑了相机参数，生成的待显示图像也是相机视角下的图像，可以直接与相机拍摄的实景图像叠加，方便将待显示内容准确地显示到实景图像上的相应位置，为医生提供准确、高效的信息引导。

基于上述实施例，在一个实施例中，根据同一坐标系中的待显示点云以及相机110的参数，利用相机成像模型生成待显示图像包括：

根据相机110的外参将待显示点云转换至相机坐标系；

将相机坐标系下的待显示点云沿相机110的主轴方向进行归一化操作，得到归一化后的二维图像；

将归一化后的二维图像乘以焦距，并按相机分辨率取样，得到待显示图像。

具体地，通过将相机坐标系下的待显示点云沿相机110的主轴方向进行归一化操作，可以将三维点云转换为二维图像，通过将二维图像乘以焦距并按相机分辨率取样可以得到对应于相机视角、相机分辨率的待显示图像，方便与相机110拍摄的实景图像叠加，精确优化了待显示图像的大小和待显示图像的叠加位置。

基于上述实施例，在一个实施例中，归一化操作根据如下公式执行：

其中，为相机坐标系下待显示点云中的点坐标，/>为归一化后的二维图像中对应的点坐标。

基于上述任一实施例，在一个实施例中，S22包括：

当需要显示的是点时，对待显示图像中需显示的点突出显示；和/或，

当需要显示的是轮廓时，连接待显示图像中的外围点，形成闭合轮廓；和/或，

当需要显示的是区域时，对待显示图像进行形态学处理。

具体地，如果需要显示的是点，例如进针点、骨钉植入点等离散点，将待显示图像中需显示的点突出显示，例如以点为中心显示十字、将该点增大显示；如果需要显示的是轮廓，例如肿瘤轮廓、脑区轮廓，则连接待显示图像中的外围点，将外围轮廓叠加显示到相机实景图像；如果需要显示的是整个区域，则对待显示图像进行形态学处理，具体地，待显示点云的点云密度可能不满足需求，相应生成的第一图像中的像素点可能比较“稀疏”，不符合相机110的分辨率，通过形态学处理(例如闭运算)可以补充第一图像“待显示像素区域”中的缺失像素，进一步优化显示效果。

下面对本发明提供的混合现实增强显示系统进行描述，下文描述的混合现实增强显示系统与上文描述的混合现实增强显示方法可相互对应参照。

仍参照图1，本发明提供的混合现实增强显示系统包括：点云采集模块100，处理模块200，显示模块300。

点云采集模块100包括相机110，点云采集模块100可以采集目标对象的三维点云，处理模块200与点云采集模块100进行数据交互，用于对点云采集模块100采集到的三维点云进行数据处理。处理模块200可以与前述点云采集模块100集成为一体，也可以是外部独立的设备，例如笔记本电脑、工作站、PDA等等，本发明对处理模块200的存在形式、硬件形式不作限制。

处理模块200能够根据点云采集模块100采集到的三维点云以及目标对象的三维模型，按照前述方法生成相机110视角下的待显示图像，并通过显示模块300将待显示图像与相机110采集的目标对象的实景图像叠加显示。在一种可行的方式中，处理模块200将该实景图像与待显示图像发送给显示模块300，由显示模块300将待显示图像与实景图像叠加显示；在又一种可行的方式中，处理模块200将该实景图像与待显示图像叠加，将叠加图像发送给显示模块300，由显示模块300直接显示叠加图像。叠加显示的显示效果可以根据用户需求灵活设置，例如将待显示图像以设定的透明度叠加在实景图像上，又例如，以不透明的显示方式将待显示图像叠加在实景图像上。

需要说明的是，本实施例中点云采集模块100可以直接放置在某一固定位置，例如放置在病床旁的某一平台上；点云采集模块100还可以安装或固定在某一位置，例如悬挂在病床上方，安装在病床上，通过支撑结构固定支撑于地面；点云采集模块100还可以集成或安装在其他设备上，例如手术导航系统的台车上等等，本发明对点云采集模块100的放置/固定方式不作限制。

本实施例的一种混合现实增强显示系统通过点云采集模块快捷、高精度地确定了目标对象的三维点云，通过处理模块处理、生成对应于待显示内容(例如，穿刺点、解剖线、肿瘤、血管、脑区等)的待显示图像，并通过显示设备将待显示图像与相机110拍摄的目标对象的实景图像叠加显示，提升了信息密度，便于医生直观地理解待显示内容在目标对象上的位置，提升了研讨、教学、手术规划、手术导航的效率和精度。

基于上述实施例，在一个实施例中，系统还包括固定模块500，固定模块500连接点云采集模块100，用于将点云采集模块100固定在目标位置.

本实施例中通过固定模块将点云采集模块固定在所需位置，结构简单、低成本地构建了混合现实增强显示系统，降低了使用成本。且点云采集模块(的相机)具备点云采集、辅助叠加显示的双重功能，整个系统结构简单，成本低廉，有利于市场推广。

基于上述实施例，在一个实施例中，所述固定模块500为固定连接结构或是与安装位置相配合的安装结构，用于将点云采集模块100固定在所需位置。

具体地，固定模块500可以是固定连接结构，固定连接结构的一端连接结构光模块，另一端连接或支撑于地面、墙壁、天花板或其他设备等位置，图4是本发明提供的一种混合现实增强显示系统的结构示意图之二，图4示意了通过固定模块500将点云采集模块100支撑在地面上的状态，此时固定连接结构例如三脚架，支撑杆，折叠支架等结构，此外，还可以通过固定连接结构将结构光模块100悬挂在所需位置，例如在墙壁、天花板等位置设置悬挂连接结构使得结构光模块100位于，进一步地，可以利用万向臂将点云采集模块100悬挂在病床上方，通过球头与点云采集模块100连接，实现点云采集模块100位置的调整和固定，固定模块500还可以是与安装位置相配合的安装结构，例如与病床上的安装位置相配合的安装结构。

本实施例中通过固定模块将点云采集模块固定在所需位置，结构简单、低成本地构建了混合现实增强显示系统，降低了使用成本。且点云采集模块(的相机)具备点云采集、辅助叠加显示的双重功能，整个系统结构简单，成本低廉，有利于市场推广。

基于上述任一实施例，在一个实施例中，系统包括多组固定模块500、点云采集模块100和显示模块300，以实现多角度的观察、显示。

基于上述任一实施例，在一个实施例中，点云采集模块100安装或集成在机械臂上，机械臂根据处理模块的控制指令带动点云采集模块100运动到目标位置。

具体地，图3是本发明提供的一种混合现实增强显示系统的结构示意图之二，点云采集模块100安装或集成在机械臂400上，处理模块200控制机械臂400带动点云采集模块100在一个或更多个位置对目标对象采集点云，处理模块200将机械臂坐标系下的一个位置的点云或多个位置的融合点云与三维模型进行配准，得到机械臂坐标系与模型坐标系的转换关系(即，实现了患者注册)。处理模块200控制机械臂400带动点云采集模块100运动到所需的目标位置，机械臂400的当前姿态对应了机械臂坐标系与结构光坐标系的转换关系。根据上述两个转换关系可以将点云采集模块100与三维模型转换至同一坐标系，例如统一到采集模块坐标系、统一到模型坐标系等，又例如进一步结合点云采集模块100与其他模块的相对位置关系将二者统一到病床坐标系、统一到手术台车坐标系、统一到机械臂坐标系等等。当然，处理模块200也可以控制机械臂在同一位置进行点云采集和采集目标对象实景图像，在数据处理时可以直接通过配准处理，使得点云采集模块100与三维模型转换至同一坐标系，例如结构光坐标系、模型坐标系，而不必经过机械臂坐标系。

本实施例中通过机械臂使得仅需进行一次患者注册，后续可以灵活地根据当前机械臂位姿观察目标对象，观察角度更加多样化，且数据处理(叠加显示)效率也更高。

基于上述任一实施例，在一个实施例中，显示模块300复用相机110，或，显示模块为独立的显示设备。

具体地，显示模块300可以复用相机110，即直接将待显示图像叠加显示在相机屏幕上。显示模块300还可以是(相对于相机110)独立的显示设备，例如，笔记本电脑屏幕(可以与处理模块200集成在一起)，液晶显示器，投影仪等等。

基于上述任一实施例，在一个实施例中，点云采集模块100是结构光点云采集器或双目相机或多目相机。

具体地，点云采集模块100可以是结构光点云采集器，结构光点云采集是一种主动式的点云采集技术，具有非接触、大视场、高精度(点云数据量大)、实时性好等优点。结构光模块100在点云采集过程中通过投影仪向目标对象投影经过了编码的二维图案，图案会由于物体表面高度不一致而导致变形，相机110拍摄采集变形后的图案，然后对图案进行解码处理从而得到物体表面和投影图案点的对应关系，再基于三角测量原理计算得到目标对象表面的三维点云。点云采集模块100还可以是双目相机，两个相机分别采集得到“左眼图像”、“右眼图像”，然后根据双目视差原理处理“左眼图像”、“右眼图像”即可生成三维点云。进一步地，点云采集模块100还可以是多目相机，多目相机同样依据双目视差原理生成三维点云，多目相机可以扩大视野(采集范围)，进一步提升采集三维点云的精度。

本实施例中提供了多种形式的点云采集模块，满足了用户的差异化需求。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种混合现实增强显示方法，其特征在于，包括：

S21、注册，将点云采集模块与三维模型统一到同一坐标系；其中，所述点云采集模块包括相机，所述三维模型是针对目标对象建立的三维模型；

S22、根据所述同一坐标系下的所述点云采集模块和所述三维模型，生成对应于所述相机视角的待显示图像；

S23、将所述待显示图像与所述相机采集的实景图像通过显示模块叠加显示。

2.根据权利要求1所述的混合现实增强显示方法，其特征在于，所述注册，将点云采集模块与三维模型统一到同一坐标系包括：

通过所述点云采集模块获取目标对象的三维点云；

将所述目标对象的三维点云与所述三维模型配准，得到真实空间坐标系与模型坐标系的转换关系；

根据所述真实空间坐标系与模型坐标系的转换关系，将所述点云采集模块与所述三维模型统一到同一坐标系。

3.根据权利要求1所述的混合现实增强显示方法，其特征在于，所述注册，将点云采集模块与三维模型统一到同一坐标系包括：

控制机械臂带动所述点云采集模块进行患者注册，获取机械臂坐标系与模型坐标系的转换关系；

根据所述机械臂坐标系与模型坐标系的转换关系以及当前机械臂姿态，将所述点云采集模块与所述三维模型统一到同一坐标系。

4.根据权利要求1所述的混合现实增强显示方法，其特征在于，所述根据所述同一坐标系下的所述点云采集模块和所述三维模型，生成对应于所述相机视角的待显示图像包括：

将所述同一坐标系中的待显示模型以及所述相机的位姿参数输入图像拍摄模型，生成所述待显示图像；其中，所述待显示模型是所述三维模型的一部分，所述三维模型为面片模型。

5.根据权利要求4所述的混合现实增强显示方法，其特征在于，所述相机的位姿参数包括：所述同一坐标系中所述相机的坐标，以及所述相机的俯仰角、翻滚角。

6.根据权利要求4所述的混合现实增强显示方法，其特征在于，所述图像拍摄模型是基于三维模型处理框架生成的可调用接口。

7.根据权利要求1所述的混合现实增强显示方法，其特征在于，所述根据所述同一坐标系下的所述点云采集模块和所述三维模型，生成对应于所述相机视角的待显示图像包括：

从所述三维模型中提取待显示点云；

根据所述同一坐标系中的所述待显示点云以及所述相机的参数，利用相机成像模型生成所述待显示图像。

8.根据权利要求7所述的混合现实增强显示方法，其特征在于，还包括：

当需要显示的是点时，对所述待显示图像中需显示的点突出显示；和/或，

当需要显示的是轮廓时，连接所述待显示图像中的外围点，形成闭合轮廓；和/或，

当需要显示的是区域时，对所述待显示图像进行形态学处理。

9.一种混合现实增强显示系统，其特征在于，包括：点云采集模块，处理模块，以及显示模块；

所述点云采集模块包括相机，所述点云采集模块用于采集目标对象的三维点云；

所述处理模块分别与所述点云采集模块、所述显示模块通信连接，所述处理模块执行权利要求1-7任一项所述的混合现实增强显示方法，得到待显示图像，并通过所述显示模块将所述待显示图像与相机采集的实景图像叠加显示。

10.根据权利要求9所述的混合现实增强显示系统，其特征在于，系统还包括固定模块，所述固定模块连接所述点云采集模块，用于将所述点云采集模块固定在目标位置。

11.根据权利要求9所述的混合现实增强显示系统，其特征在于，系统还包括机械臂，所述点云采集模块安装或集成在所述机械臂上，所述机械臂根据所述处理模块的控制指令带动所述点云采集模块运动到目标位置。

12.根据权利要求9所述的混合现实增强显示系统，其特征在于，所述显示模块复用所述相机，或，所述显示模块为独立的显示设备。

13.根据权利要求9所述的混合现实增强显示系统，其特征在于，所述点云采集模块是结构光点云采集器或双目相机或多目相机。