CN116795213A - 基于增强现实技术的智能人机交互系统及方法 - Google Patents

Abstract

本发明提供基于增强现实技术的智能人机交互系统及方法，涉及AR人机交互技术领域。该基于增强现实技术的智能人机交互系统，包括成像模块、图像处理模块、投影模块和AR模块，所述成像模块设置有光学扫描仪和MRI扫描仪，所述图像处理模块用于将扫描到的图像数据转化为三维模型，所述投影模块用于将虚拟的三维模型投影到患者身上，与真实身体结合显示，所述AR模块用于观察投影至患者身体上三维模型并进行手术规划、导航和操作指导。通过将两种扫描技术所得到的影像信息进行融合，得到一张更加准确、详细的影像，结合AR技术可以帮助医生在手术过程中更准确地识别和定位病变部位，提高手术治疗效果。

Description

基于增强现实技术的智能人机交互系统及方法

技术领域

本发明涉及AR人机交互技术领域，具体为基于增强现实技术的智能人机交互系统及方法。

背景技术

AR技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，其可将原本在现实世界的一定时间空间范围内很难体验到的实体信息(如视觉信息、声音、味道和触觉等)通过计算机技术等模拟仿真后再进行叠加，以将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，可实现将真实的环境和虚拟的物体实时叠加到同一画面或空间。

现有的医疗人机交互系统中交互方式多通过采用传统的文本、按钮、菜单等交互方式进行，交互效果不理想，在手术操作过程中，无法通过采用多模态融合图像的增强现实技术对手术进行指导，手术操作难度高，时间长，医护人员劳动强度大，患者需要承受手术痛苦，恢复时间长。

发明内容

针对现有技术的不足，本发明提供了基于增强现实技术的智能人机交互系统及方法，解决了现有技术中医疗人机交互系统不够高效的问题。

为实现以上目的，本发明通过以下技术方案予以实现：基于增强现实技术的智能人机交互系统，包括成像模块、图像处理模块、投影模块和AR模块，所述成像模块设置有光学扫描仪和MRI扫描仪，所述图像处理模块用于将扫描到的图像数据转化为三维模型，所述投影模块用于将虚拟的三维模型投影到患者身上，与真实身体结合显示，所述AR模块用于观察投影至患者身体上三维模型并进行手术规划、导航和操作指导。

通过上述技术方案将光学扫描仪获取到的皮肤和肌肉等表浅结构的成像和MRI扫描仪获取到的内脏和骨骼等深层结构图像相结合，经过图像处理模块对两幅图像进行处理融合后由投影模块投影至患者本体，最有通过AR模块进行观测，大大地缩短手术时间，减少手术过程中的复杂程度，从而降低手术风险。

优选的，所述AR模块通过无线局域网连接有反馈模块，所述反馈模块设置有计算机和手持终端，所述反馈模块用于监测AR模块的实时工作状态。

通过上述技术方案将AR模块的实时工作状态反馈至反馈模块显示，能够监测AR模块的状态变化，监测数据能够直观地反馈至外接，方便及时调整监测状态或数据。

优选的，所述光学扫描仪通过多角度拍摄和成像，捕捉物体的表面形态和纹理信息，所述MRI扫描仪用于对物体内部水分子的分布和运动状态进行成像，得到其内部结构、生理功能等信息。

通过上述技术方案能够获得皮肤和肌肉等表浅结构图像与内脏和骨骼等深层结构图像，通过多模态图像成像能够得到更加准确、详细的影像，能够避免单一图像的局限性。

优选的，所述AR模块设置有眼镜框架、摄像头、显示器、储存器和处理器，所述眼镜框架用于AR模块的佩戴，所述摄像头用于观测虚拟的三维模型与患者真实本体的成像，所述显示器用于显示观测数据，所述处理器器用于处理AR模块所需的各种数据，包括实时渲染、图形处理和指令控制，所述储存器用于存储AR模块所需的软件和数据，所述摄像头、显示器、储存器和处理器均安装在眼镜框架上。

通过上述技术方案能够将AR模块通过眼镜框架佩戴在医护人员的眼部，通过摄像头将检测到的成像呈现在显示器上，医护人员按能够实时观测AR成像的图像，结合AR图像能够快速对病灶处进行定位，方便医护人员的手术操作。

优选的，所述投影模块设置有投影仪、超声波测距仪、陀螺仪和升降平台，所述投影仪用于投影三维图像，所述超声波测距仪和陀螺仪用于获取物体到测距仪的距离信息和姿态信息，所述升降平台用于调整投影仪的高度与姿态，所述投影仪、超声波测距仪和陀螺仪均安装在升降平台的下方，所述升降平台设置在患者病患处的上方。

通过上述技术方案可以根据患者的位置调整投影仪的高度与投影姿态，直至投影的三维图像与患者身体重合，能够通过患者本体与增强现实的三维图像相结合，为医护人员提供准确的手术引导。

优选的，基于增强现实技术的智能人机交互方法，包括以下步骤：

S1.首先通过光学扫描仪和MRI扫描仪对患者身体进行扫描，分别获取人体组织外部外部的形态、大小、位置、结构和排列的图像信息以及人体组织的内部结构、形态、大小、位置、组织密度的图像信息；

S2.通过图像处理模块对S1中获取的图像进行处理与融合，其具体步骤如下：

a.图像预处理：将光学扫描和MRI扫描的原始图像进行增强和滤波，去除可能存在的噪声和伪影；

b.图像配准：将光学扫描和MRI扫描的图像进行配准，使它们能够在相同的坐标系中进行处理；

c.特征提取：从光学扫描和MRI扫描的图像中提取出相关的边缘和纹理特征信息；

d.加权融合：采用加权平均的方法将光学扫描和MRI扫描的特征图像融合到一起，其计算公式如下：

F(x,y)＝w1*I1(x,y)+w2*I2(x,y)

其中，F(x,y)是融合后的结果图像，I1(x,y)和I2(x,y)分别是光学扫描和MRI扫描的特征图像，w1和w2是相应的权重；

e.后处理：对融合后的结果图像进行后处理，去除可能存在的噪声和伪影，增强图像的对比度和清晰度。

S3.通过投影仪将融合后的图像投影到患者身体上，并通过超声波测距仪与陀螺仪检测与患者之间的投影具体与姿态，从而控制升降平台进行调整，直至融合图像与患者本体重合并进行病灶标记；

S4.通过AR模块的摄像头对患者本体以及患者的三维融合图像进行观测并通过显示器进行显示，医护人员通过佩戴AR模块对患者进行手术并通过显示器进行手术进程监督与引导。

本发明提供了基于增强现实技术的智能人机交互系统及方法。具备以下

有益效果：

本发明通过将两种扫描技术所得到的影像信息进行融合，得到一张更加准确、详细的影像，结合AR技术可以在手术中提供高品质的影像和信息，帮助医生在手术过程中更准确地识别和定位病变部位，避免手术中的意外伤害或手术失败，大大地缩短手术时间，减少手术过程中的复杂程度，从而降低手术风险，患者的疼痛以及恢复时间也会减少，从而提高临床诊断的准确性和治疗效果。

附图说明

图1为本发明的系统图；

图2为本发明的AR模块示意图；

图3为本发明的成像模块示意图；

图4为本发明的投影模块示意图；

图5为本发明的反馈模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

如图1-5所示，本发明实施例提供基于增强现实技术的智能人机交互系统，包括成像模块、图像处理模块、投影模块和AR模块，成像模块设置有光学扫描仪和MRI扫描仪，图像处理模块用于将扫描到的图像数据转化为三维模型，投影模块用于将虚拟的三维模型投影到患者身上，与真实身体结合显示，AR模块用于观察投影至患者身体上三维模型并进行手术规划、导航和操作指导。

AR模块通过无线局域网连接有反馈模块，反馈模块设置有计算机和手持终端，反馈模块用于监测AR模块的实时工作状态。

光学扫描仪通过多角度拍摄和成像，捕捉物体的表面形态和纹理信息，MRI扫描仪用于对物体内部水分子的分布和运动状态进行成像，得到其内部结构、生理功能等信息。

AR模块设置有眼镜框架、摄像头、显示器、储存器和处理器，眼镜框架用于AR模块的佩戴，摄像头用于观测虚拟的三维模型与患者真实本体的成像，显示器用于显示观测数据，处理器器用于处理AR模块所需的各种数据，包括实时渲染、图形处理和指令控制，储存器用于存储AR模块所需的软件和数据，摄像头、显示器、储存器和处理器均安装在眼镜框架上。

投影模块设置有投影仪、超声波测距仪、陀螺仪和升降平台，投影仪用于投影三维图像，超声波测距仪和陀螺仪用于获取物体到测距仪的距离信息和姿态信息，升降平台用于调整投影仪的高度与姿态，投影仪、超声波测距仪和陀螺仪均安装在升降平台的下方，升降平台设置在患者病患处的上方。

在具体实施例中，在常规的膝关节翻修手术中，医生需要切除受损软骨和骨头，并植入人工关节，传统做法是依靠积累的经验和医生的直觉，通过肉眼观察病人的膝关节和医疗设备的数据来决定手术方案和操作方式，这种手术方式存在很大的不确定性和风险，采用AR技术，医生可以穿戴AR设备，将三维数字模型叠加在实际手术场景下，并用手势识别技术和语音指令来控制数字模型，通过AR模型的帮助，医生可以更加直观地观察病人的膝关节结构，进行精细的测量和分析，定位手术区域和切口的位置，在手术过程中，反馈可以实时地反馈手术进度和操作结果，比如反馈手术中出现的异常情况、提醒患者的身体反应和监测手术区域的温度和压力等，医生可以更快速、准确地进行手术，减少误操作和并发症的风险，提高手术成功率和患者的放心程度。

基于增强现实技术的智能人机交互方法，包括以下步骤：

S1.首先通过光学扫描仪和MRI扫描仪对患者身体进行扫描，分别获取人体组织外部外部的形态、大小、位置、结构和排列的图像信息以及人体组织的内部结构、形态、大小、位置、组织密度的图像信息；

S2.通过图像处理模块对S1中获取的图像进行处理与融合，其具体步骤如下：

a.图像预处理：将光学扫描和MRI扫描的原始图像进行增强和滤波，去除可能存在的噪声和伪影；

b.图像配准：将光学扫描和MRI扫描的图像进行配准，使它们能够在相同的坐标系中进行处理；

c.特征提取：从光学扫描和MRI扫描的图像中提取出相关的边缘和纹理特征信息；

d.加权融合：采用加权平均的方法将光学扫描和MRI扫描的特征图像融合到一起，其计算公式如下：

F(x,y)＝w1*I1(x,y)+w2*I2(x,y)

其中，F(x,y)是融合后的结果图像，I1(x,y)和I2(x,y)分别是光学扫描和MRI扫描的特征图像，w1和w2是相应的权重；

e.后处理：对融合后的结果图像进行后处理，去除可能存在的噪声和伪影，增强图像的对比度和清晰度。

S3.通过投影仪将融合后的图像投影到患者身体上，并通过超声波测距仪与陀螺仪检测与患者之间的投影具体与姿态，从而控制升降平台进行调整，直至融合图像与患者本体重合并进行病灶标记；

S4.通过AR模块的摄像头对患者本体以及患者的三维融合图像进行观测并通过显示器进行显示，医护人员通过佩戴AR模块对患者进行手术并通过显示器进行手术进程监督与引导。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.基于增强现实技术的智能人机交互系统，包括成像模块、图像处理模块、投影模块和AR模块，其特征在于：所述成像模块设置有光学扫描仪和MRI扫描仪，所述图像处理模块用于将扫描到的图像数据转化为三维模型，所述投影模块用于将虚拟的三维模型投影到患者身上，与真实身体结合显示，所述AR模块用于观察投影至患者身体上三维模型并进行手术规划、导航和操作指导。

2.根据权利要求1所述的基于增强现实技术的智能人机交互系统，其特征在于：所述AR模块通过无线局域网连接有反馈模块，所述反馈模块设置有计算机和手持终端，所述反馈模块用于监测AR模块的实时工作状态。

3.根据权利要求1所述的基于增强现实技术的智能人机交互系统，其特征在于：所述光学扫描仪通过多角度拍摄和成像，捕捉物体的表面形态和纹理信息，所述MRI扫描仪用于对物体内部水分子的分布和运动状态进行成像，得到其内部结构、生理功能等信息。

4.根据权利要求1所述的基于增强现实技术的智能人机交互系统，其特征在于：所述AR模块设置有眼镜框架、摄像头、显示器、储存器和处理器，所述眼镜框架用于AR模块的佩戴，所述摄像头用于观测虚拟的三维模型与患者真实本体的成像，所述显示器用于显示观测数据，所述处理器器用于处理AR模块所需的各种数据，包括实时渲染、图形处理和指令控制，所述储存器用于存储AR模块所需的软件和数据，所述摄像头、显示器、储存器和处理器均安装在眼镜框架上。

5.根据权利要求1所述的基于增强现实技术的智能人机交互系统，其特征在于：所述投影模块设置有投影仪、超声波测距仪、陀螺仪和升降平台，所述投影仪用于投影三维图像，所述超声波测距仪和陀螺仪用于获取物体到测距仪的距离信息和姿态信息，所述升降平台用于调整投影仪的高度与姿态，所述投影仪、超声波测距仪和陀螺仪均安装在升降平台的下方，所述升降平台设置在患者病患处的上方。

6.根据权利要求1-5任一条所述的基于增强现实技术的智能人机交互方法，其特征在于，包括以下步骤：

S1.首先通过光学扫描仪和MRI扫描仪对患者身体进行扫描，分别获取人体组织外部外部的形态、大小、位置、结构和排列的图像信息以及人体组织的内部结构、形态、大小、位置、组织密度的图像信息；

S2.通过图像处理模块对S1中获取的图像进行处理与融合，其具体步骤如下：

a.图像预处理：将光学扫描和MRI扫描的原始图像进行增强和滤波，去除可能存在的噪声和伪影；

b.图像配准：将光学扫描和MRI扫描的图像进行配准，使它们能够在相同的坐标系中进行处理；

c.特征提取：从光学扫描和MRI扫描的图像中提取出相关的边缘和纹理特征信息；

d.加权融合：采用加权平均的方法将光学扫描和MRI扫描的特征图像融合到一起，其计算公式如下：

F(x,y)＝w1*I 1(x,y)+w2*I2(x,y)

其中，F(x,y)是融合后的结果图像，I 1(x,y)和I 2(x,y)分别是光学扫描和MRI扫描的特征图像，w1和w2是相应的权重；

e.后处理：对融合后的结果图像进行后处理，去除可能存在的噪声和伪影，增强图像的对比度和清晰度。

S3.通过投影仪将融合后的图像投影到患者身体上，并通过超声波测距仪与陀螺仪检测与患者之间的投影具体与姿态，从而控制升降平台进行调整，直至融合图像与患者本体重合并进行病灶标记；

S4.通过AR模块的摄像头对患者本体以及患者的三维融合图像进行观测并通过显示器进行显示，医护人员通过佩戴AR模块对患者进行手术并通过显示器进行手术进程监督与引导。