CN111544115A - 一种增强现实导航追踪显示器以及校准方法 - Google Patents

Abstract

本发明涉及医疗技术领域，且公开了一种增强现实导航追踪的显示器，包括两个框架，两个所述框架相对一侧的中部固定连接有处理模块，两个所述框架内侧的后端均固定连接有隔板，两个所述框架内侧的中部均固定连接有显示屏，两个所述框架内侧的前端均固定连接有护目镜。该增强现实导航追踪显示器以及校准方法，通过将该显示器佩戴在使用者的头部，将处理单元和连接端相连接，微型短焦斜面投影机将信息投影在显示屏上，使用者可以一边手术一边得知信息，在校准过程中，可以使用不同大小的红外线涂层校准图案，以实现不同距离的校准，以建立距离与显示位置的完整映射表，并根据完整的映射表建立偏移曲线，并在将来显示图像时。

Description

一种增强现实导航追踪显示器以及校准方法

技术领域

本发明涉及医学技术领域，具体为一种增强现实导航追踪显示器以及校准方法。

背景技术

手术的微创化、数字化与智能化是现代外科技术的重要发展方向，手术导航技术是其中一种重要的技术发明，为外科医生提供了更加微创、精准的手术操作的引导，然而现有的手术导航系统主要为光学导航系统，其多由独立的光学追踪系统，独立的显示系统和处理单元组成。

手术者在手术操作过程中，不仅要留意术野中的解剖结构，同时也要关注屏幕上显示的导航信息，这使得手术者的注意力在两个区域中来回转移，容易造成手术误操作，对于头戴式增强现实显示系统，因为不同佩戴者的瞳距不同，需要在完善的校准之后才可达到手术要求的准确性，故而提出一种增强现实导航追踪显示器以及校准方法。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种增强现实导航追踪显示器以及校准方法，具备手术操作和资料显示为一体和快速校准的优点，解决了手术者在手术操作过程中，不仅要留意术野中的解剖结构，同时也要关注屏幕上显示的导航信息，这使得手术者的注意力在两个区域中来回转移，容易造成手术误操作，对于头戴式增强现实显示系统，因为不同佩戴者的瞳距不同，需要在完善的校准之后才可达到手术要求的准确性的问题。

(二)技术方案

为实现上述手术操作和资料显示为一体和快速校准的目的，本发明提供如下技术方案：一种增强现实导航追踪的显示器，包括两个框架，两个所述框架相对一侧的中部固定连接有处理模块，两个所述框架内侧的后端均固定连接有隔板，两个所述框架内侧的中部均固定连接有显示屏，两个所述框架内侧的前端均固定连接有护目镜，两个所述框架相对一侧的底端均固定连接有连接杆，所述连接杆远离框架的一端固定连接有护垫，两个所述框架的外侧均固定连接有固定座，两个所述框架的外侧均固定连接有位于固定座底部的红外线摄像机，两个所述框架的外侧均固定连接有位于红外线摄像机底部的红外线LED，两个所述框架的顶部均固定安装有校准开关，所述固定座的外部均活动连接有支架，所述支架的外部固定连接有投影模块，所述支架远离固定座的一端固定连接有连接端。

优选的，所述处理模块包括传感器、麦克风、陀螺仪芯片、加速度计芯片、位置传感芯片及微型麦克风的电路板，并提供排线接口与微型斜面投影机和数据接口相连。

优选的，所述隔板和护目镜为透明板，所述显示屏为半透明高反射塑料薄膜，所述红外线摄像机包括红外线发射器与接收器。

优选的，所述投影模块包括骨传导耳机和微型投影机，所述连接端连接有处理单元，处理单元可以为可佩戴式，也可为独立式，可以为交流电供电，也可以为电池供电，并不局限于形式。

本发明要解决的另一技术问题是提供一种增强现实导航追踪显示器以及校准方法，包括以下步骤：

1)利用显示屏的高反射性将微型短焦斜面投影机的投射图像反射到佩戴着的双眼中，其半透明性保证了佩戴着不仅可以看到显示的图像，也可以清楚看到实际环境，含有传感器和麦克风的处理模块目的是将该设备的运动和位置信息以及麦克风接受的音频信息实时经连接端传输到与之连接的处理单元，框架外侧的红外线发射器与接收器主要提供光学追踪功能，同侧的发射器发射的红外线波长与同侧接收器接受的红外线波长相同，而两侧的发射器与接收器的处理波长不同，其目的是用于立体测量红外线发射装置的距离，并将距离数据经数据接口传输到处理单元；

2)两侧的微型短焦斜面投影机提供投影功能，通过投影机镜头的倾斜角和梯形校正，或者通过相应的棱镜折射，实现在焦距3cm以内提供0°-80°的标准长方形覆盖面的投射，其显示内容由处理单元经连接端传入，两侧的骨传导耳机可以为佩戴者提供清楚的音频输出，其音频内容由处理单元经连接端传入，本设备提供的数据接口，用于接驳处理单元，提供该设备工作所需的电能，将设备的运动和位置信息、接受的音频数据和两侧红外线接收器的数据传入到处理单元，并将显示信息、音频信息由处理单元传出；

3)以上提到的处理单元为可以接驳该设备的设备，处理单元可以为该设备提供工作所需的电能，可以接受该设备的运动和位置信息，可以接受该设备的音频数据和两侧红外线接收器的数据，并可对设备的运动和位置信息以及两侧红外线接收器的数据进行处理，输出处理后的显示信息和音频信息，该处理单元同时提供患者术前、书中的检查数据，比如CT扫描和MRI扫描的 DICOM数据，并通过合适的算法对数据进行2D和3D的重建，并可以在重建的图像上标示出手术规划信息，在手术引导过程中，通过接收并处理传入的数据，将手术规划信息、患者定位信息以及手术器械的定位信息可视化，并将数据输出；

4)分别将10x10cm、20x20cm和50x50cm的平面二维图案板垂直悬挂固定，与视线平齐，按下框架上的校准开关启动头戴式增强现实导航追踪显示器的校准程序，开始校准左眼，左眼屏幕中央出现虚线框，按照提示将红外线反射涂层的校准图像对准虚线框，此时眼镜视野中将显示当前校准状态下的校准图案，如果显示的图案与实际图案完全重合，则确认校准完毕命令，进入右眼校准，并在右眼屏幕中央出现虚线框，如果显示的图案与实际图案无法重合，则需要移动位置和改变角度，使得实际图案完全填满虚线框，并确认校准状态命令，当收到确认校准状态的命令时，头戴式增强现实导航追踪显示器的红外线接收器获取校准图案的中的坐标矩阵，判断如果坐标矩阵不处于同一平面，则提示重新校准或更换，若坐标矩阵处于同一平面，则开始计算偏移，偏移的计算由处理单元进行，将计算屏幕上虚线框的四角与实际显示的图案的四角的视角差值和显示像素差值，并将该差值应用至处理单元中的距离与显示位置的映射表中。

(三)有益效果

与现有技术相比，本发明提供了一种增强现实导航追踪显示器以及校准方法，具备以下有益效果：

该增强现实导航追踪显示器以及校准方法，通过将该显示器佩戴在使用者的头部，将处理单元和连接端相连接，微型短焦斜面投影机将信息投影在显示屏上，使用者可以一边手术一边得知信息，校准图像是一张固定大小的预先设定在系统内部的图像图案，该图案使用红外线反射涂层印刷，以供头戴式增强现实导航追踪显示器的红外线追踪系统识别图案中的坐标矩阵，在校准过程中，可以使用不同大小的红外线涂层校准图案，以实现不同距离的校准，以建立距离与显示位置的完整映射表，并根据完整的映射表建立偏移曲线，并在将来显示图像时。

附图说明

图1为本发明结构主视图；

图2为本发明结构俯视图。

图中：1框架、2处理模块、3隔板、4显示屏、5护目镜、6连接杆、7 护垫、8固定座、9红外线摄像机、10红外线LED、11校准开关、12支架、 13投影模块、14连接端。

具体实施方式

下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：一种增强现实导航追踪显示器以及校准方法，包括以下步骤：

1)利用显示屏4的高反射性将微型短焦斜面投影机的投射图像反射到佩戴着的双眼中，其半透明性保证了佩戴着不仅可以看到显示的图像，也可以清楚看到实际环境，含有传感器和麦克风的处理模块2目的是将该设备的运动和位置信息以及麦克风接受的音频信息实时经连接端14传输到与之连接的处理单元，框架1外侧的红外线发射器与接收器主要提供光学追踪功能，同侧的发射器发射的红外线波长与同侧接收器接受的红外线波长相同，而两侧的发射器与接收器的处理波长不同，其目的是用于立体测量红外线发射装置的距离，并将距离数据经数据接口传输到处理单元；

2)两侧的微型短焦斜面投影机提供投影功能，通过投影机镜头的倾斜角和梯形校正，或者通过相应的棱镜折射，实现在焦距3cm以内提供0°-80°的标准长方形覆盖面的投射，其显示内容由处理单元经连接端14传入，两侧的骨传导耳机可以为佩戴者提供清楚的音频输出，其音频内容由处理单元经连接端14传入，本设备提供的数据接口，用于接驳处理单元，提供该设备工作所需的电能，将设备的运动和位置信息、接受的音频数据和两侧红外线接收器的数据传入到处理单元，并将显示信息、音频信息由处理单元传出。

实施例二：一种增强现实导航追踪显示器以及校准方法，包括以下步骤：

1)平面二维图案板垂直悬挂固定与视线平齐，按下框架1上的校准开关11启动头戴式增强现实导航追踪显示器的校准程序，开始校准，屏幕中央出现虚线框，按照提示将红外线反射涂层的校准图像对准虚线框，此时眼镜视野中将显示当前校准状态下的校准图案，如果显示的图案与实际图案完全重合，则确认校准完毕命令；

2)利用显示屏4的高反射性将微型短焦斜面投影机的投射图像反射到佩戴着的双眼中，其半透明性保证了佩戴着不仅可以看到显示的图像，也可以清楚看到实际环境，含有传感器和麦克风的处理模块2目的是将该设备的运动和位置信息以及麦克风接受的音频信息实时经连接端14传输到与之连接的处理单元，框架1外侧的红外线发射器与接收器主要提供光学追踪功能，同侧的发射器发射的红外线波长与同侧接收器接受的红外线波长相同，而两侧的发射器与接收器的处理波长不同，其目的是用于立体测量红外线发射装置的距离，并将距离数据经数据接口传输到处理单元；

3两侧的微型短焦斜面投影机提供投影功能，通过投影机镜头的倾斜角和梯形校正，或者通过相应的棱镜折射，实现在焦距3cm以内提供0°-80°的标准长方形覆盖面的投射，其显示内容由处理单元经连接端14传入，两侧的骨传导耳机可以为佩戴者提供清楚的音频输出，其音频内容由处理单元经连接端14传入，本设备提供的数据接口，用于接驳处理单元，提供该设备工作所需的电能，将设备的运动和位置信息、接受的音频数据和两侧红外线接收器的数据传入到处理单元，并将显示信息、音频信息由处理单元传出。

本发明的有益效果是：该增强现实导航追踪显示器以及校准方法，通过将该显示器佩戴在使用者的头部，将处理单元和连接端14相连接，微型短焦斜面投影机将信息投影在显示屏4上，使用者可以一边手术一边得知信息，校准图像是一张固定大小的预先设定在系统内部的图像图案，该图案使用红外线反射涂层印刷，以供头戴式增强现实导航追踪显示器的红外线追踪系统识别图案中的坐标矩阵，在校准过程中，可以使用不同大小的红外线涂层校准图案，以实现不同距离的校准，以建立距离与显示位置的完整映射表，并根据完整的映射表建立偏移曲线，并在将来显示图像时，从而解决了手术者在手术操作过程中，不仅要留意术野中的解剖结构，同时也要关注屏幕上显示的导航信息，这使得手术者的注意力在两个区域中来回转移，容易造成手术误操作，对于头戴式增强现实显示系统，因为不同佩戴者的瞳距不同，需要在完善的校准之后才可达到手术要求的准确性的问题。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种增强现实导航追踪的显示器，包括两个框架(1)，其特征在于：两个所述框架(1)相对一侧的中部固定连接有处理模块(2)，两个所述框架(1)内侧的后端均固定连接有隔板(3)，两个所述框架(1)内侧的中部均固定连接有显示屏(4)，两个所述框架(1)内侧的前端均固定连接有护目镜(5)，两个所述框架(1)相对一侧的底端均固定连接有连接杆(6)，所述连接杆(6)远离框架(1)的一端固定连接有护垫(7)，两个所述框架(1)的外侧均固定连接有固定座(8)，两个所述框架(1)的外侧均固定连接有位于固定座(8)底部的红外线摄像机(9)，两个所述框架(1)的外侧均固定连接有位于红外线摄像机(9)底部的红外线LED(10)，两个所述框架(1)的顶部均固定安装有校准开关(11)，所述固定座(8)的外部均活动连接有支架(12)，所述支架(12)的外部固定连接有投影模块(13)，所述支架(12)远离固定座(8)的一端固定连接有连接端(14)。

2.根据权利要求1所述的一种增强现实导航追踪的显示器，其特征在于，所述处理模块(2)包括传感器、麦克风、陀螺仪芯片、加速度计芯片、位置传感芯片及微型麦克风的电路板，并提供排线接口与微型斜面投影机和数据接口相连。

3.根据权利要求1所述的一种增强现实导航追踪的显示器，其特征在于，所述隔板(3)和护目镜(5)为透明板，所述显示屏(4)为半透明高反射塑料薄膜，所述红外线摄像机(9)包括红外线发射器与接收器。

4.根据权利要求1所述的一种增强现实导航追踪的显示器，其特征在于，所述投影模块(13)包括骨传导耳机和微型投影机，所述连接端(14)连接有处理单元，处理单元可以为可佩戴式，也可为独立式，可以为交流电供电，也可以为电池供电，并不局限于形式。

5.一种增强现实导航追踪显示器以及校准方法，其特征在于，包括以下步骤：

1)利用显示屏(4)的高反射性将微型短焦斜面投影机的投射图像反射到佩戴着的双眼中，其半透明性保证了佩戴着不仅可以看到显示的图像，也可以清楚看到实际环境，含有传感器和麦克风的处理模块(2)目的是将该设备的运动和位置信息以及麦克风接受的音频信息实时经连接端(14)传输到与之连接的处理单元，框架(1)外侧的红外线发射器与接收器主要提供光学追踪功能，同侧的发射器发射的红外线波长与同侧接收器接受的红外线波长相同，而两侧的发射器与接收器的处理波长不同，其目的是用于立体测量红外线发射装置的距离，并将距离数据经数据接口传输到处理单元；

2)两侧的微型短焦斜面投影机提供投影功能，通过投影机镜头的倾斜角和梯形校正，或者通过相应的棱镜折射，实现在焦距3cm以内提供0°-80°的标准长方形覆盖面的投射，其显示内容由处理单元经连接端(14)传入，两侧的骨传导耳机可以为佩戴者提供清楚的音频输出，其音频内容由处理单元经连接端(14)传入，本设备提供的数据接口，用于接驳处理单元，提供该设备工作所需的电能，将设备的运动和位置信息、接受的音频数据和两侧红外线接收器的数据传入到处理单元，并将显示信息、音频信息由处理单元传出；

3)以上提到的处理单元为可以接驳该设备的设备，处理单元可以为该设备提供工作所需的电能，可以接受该设备的运动和位置信息，可以接受该设备的音频数据和两侧红外线接收器的数据，并可对设备的运动和位置信息以及两侧红外线接收器的数据进行处理，输出处理后的显示信息和音频信息，该处理单元同时提供患者术前、书中的检查数据，比如CT扫描和MRI扫描的DICOM数据，并通过合适的算法对数据进行2D和3D的重建，并可以在重建的图像上标示出手术规划信息，在手术引导过程中，通过接收并处理传入的数据，将手术规划信息、患者定位信息以及手术器械的定位信息可视化，并将数据输出；

4)分别将10x10cm、20x20cm和50x50cm的平面二维图案板垂直悬挂固定，与视线平齐，按下框架(1)上的校准开关(11)启动头戴式增强现实导航追踪显示器的校准程序，开始校准左眼，左眼屏幕中央出现虚线框，按照提示将红外线反射涂层的校准图像对准虚线框，此时眼镜视野中将显示当前校准状态下的校准图案，如果显示的图案与实际图案完全重合，则确认校准完毕命令，进入右眼校准，并在右眼屏幕中央出现虚线框，如果显示的图案与实际图案无法重合，则需要移动位置和改变角度，使得实际图案完全填满虚线框，并确认校准状态命令，当收到确认校准状态的命令时，头戴式增强现实导航追踪显示器的红外线接收器获取校准图案的中的坐标矩阵，判断如果坐标矩阵不处于同一平面，则提示重新校准或更换，若坐标矩阵处于同一平面，则开始计算偏移，偏移的计算由处理单元进行，将计算屏幕上虚线框的四角与实际显示的图案的四角的视角差值和显示像素差值，并将该差值应用至处理单元中的距离与显示位置的映射表中。

Images