CN108628447A - 一种医学影像ar显示系统 - Google Patents

Abstract

本发明涉及显示系统领域，公开了一种医学影像AR显示系统，包括，图像投影单元；外部探测单元，用于对现实世界中的物体进行扫描并输出距离信息；姿态感应单元，用于对图像投影单元的姿态进行监测并对姿态信息进行输出；手势感应单元；综合处理单元，用于接收数据并将数据进行综合处理并输出；图像输出单元，用于接收综合处理单元输出的数据并输出至图像投影单元，本发明具有以下优点和效果：本方案利用新机械结构，通过设置外部探测单元和综合处理单元，外部探测单元对现实世界进行扫描，综合处理单元构建三维空间，外部输入的图像叠加在构建的三维空间上，从而使外部输入的图像较为立体，从而减小了显示误差。

Description

一种医学影像AR显示系统

技术领域

本发明涉及一种显示系统，更具体地说，它涉及一种医学影像AR显示系统。

背景技术

增强现实技术（AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

目前，公告号为CN206788480U的中国专利公开了一种基于定位技术的桌面级AR眼镜系统，它包括AR眼镜、外部传感器和桌面计算控制装置，所述AR眼镜包括眼镜框架及设置在所述眼镜框架上的Inside-In定位单元，所述Inside-In定位单元包括加速度传感器和陀螺仪，所述加速度传感器和所述陀螺仪分别与所述桌面计算控制装置电连接；所述外部传感器与所述桌面计算控制装置电连接。

这种桌面级AR眼镜系统通过外部传感器对AR眼镜的位置和人的手势进行感应，从而改变投射在人眼上的图像的位置，这种桌面级AR眼镜系统只是通过显示单元将图像投射至人眼上，但图像自身是一个二维的表现，在图像通过显示系统投射在人眼上时，二维的图像与现实三维场景不匹配，造成显示出现误差。

发明内容

针对现有技术存在的不足，本发明在于提供一种医学影像AR显示系统，具有减小显示误差的效果。

为实现上述目的，本发明提供了如下技术方案：一种医学影像AR显示系统，包括，图像投影单元，用于接收图像并将图像投射至人眼上；外部探测单元，用于对现实世界中的物体进行扫描，将现实世界中各物体与图像投影单元之间的距离进行测量并输出距离信息；姿态感应单元，用于对图像投影单元的姿态进行监测，并将图像投影单元的姿态信息进行输出；手势感应单元，用于对手部姿态进行监测，并将手部姿态信息进行输出；综合处理单元，用于接收外部探测单元输入的距离信息和图像信息、外部输入的图像数据、姿态感应单元输入的姿态信息、手势感应单元输入的手部姿态信息，并将数据进行综合处理并输出；图像输出单元，用于接收综合处理单元输出的数据，在处理后将数据转化成光线并输出至图像投影单元。

通过采用上述技术方案，外部探测单元对现实世界中的物体进行扫面并测量与图像投影单元之间的距离，之后将图像信息和距离信息发送至综合处理单元，综合处理单元将图像信息、距离信息和外部输入的图像数据进行集中处理，生成一个三维空间图像，三维空间图像通过图像输出单元输出至图像投影单元，图像投影单元将三维空间图像投射至人眼处。医生的头部在移动时，姿态感应单元监测图像投影单元的姿态并传输至综合处理单元，综合处理单元对三维空间图像进行调整，使人眼观察到的图像符合实际，医生的手部在形成手势时，手势感应单元监测手部动作，并将手部动作信息传输至综合处理单元，综合处理单元在处理后对图像进行调节，使人眼观察到的图像符合医生要求，从而减小了显示误差。

本发明进一步设置为：所述图像投影单元包括AR眼镜框架、固定连接在所述AR眼镜框架上的眼镜镜片、固定连接在所述眼镜镜片内且用于接收光线的全息光栅。

通过采用上述技术方案，全息光栅接收光线并将光线投射至人眼处形成图像，眼镜镜片使现实世界内的光线透入，从而完成虚拟图像和现实图像的叠加，方便医生的诊断。

本发明进一步设置为：所述外部探测单元包括景深摄像头和普通摄像头，所述景深摄像头对现实世界中的物体进行拍摄，测量出所述眼镜镜片与物体之间的距离，并将距离信息发送至所述综合处理单元；所述普通摄像头对现实世界进行拍摄扫描，并将图像传输至所述综合处理单元。

通过采用上述技术方案，普通摄像头对现实世界进行拍摄扫描，并将图像传输至综合处理单元，景深摄像头对现实世界进行拍摄，测量出眼镜镜片与物体之间的距离并把距离信息传输至综合处理器处，通过普通摄像头和景深摄像头，使虚拟图像可与现实世界较为匹配，减小了显示误差。

本发明进一步设置为：所述姿态感应单元包括加速度计和陀螺仪，所述加速度计对AR眼镜框架的线性加速度进行监测，并将线性加速度数据输出至所述综合处理单元；所述陀螺仪对AR眼镜框架的角速度进行监测，并将角速度数据输出至所述综合处理单元。

通过采用上述技术方案，加速度计对AR眼镜框架的线性加速度进行监测，陀螺仪对AR眼镜框架的角速度进行监测，加速度计在较长时间的测量值是正确的，而在较短时间内由于信号噪声的存在，而有误差；陀螺仪在较短时间内则比较准确而较长时间则会有与漂移而存有误差，AR眼镜框架的位置能够得到较为准确的监测，使虚拟图像与AR眼镜框架的移动匹配，减小了显示误差。

本发明进一步设置为：所述手势感应单元包括识别摄像头和图像处理单元，所述识别摄像头对手部进行监测，将手部的图像信息传输至所述图像处理单元；所述图像处理单元对图像信息进行处理并传输手势信息至所述综合处理单元。

通过采用上述技术方案，识别摄像头拍摄手部图像，图像处理单元对手部图像进行识别，确定手部位置和手势，并将手势信息传输至综合处理单元，综合处理单元对手势信息进行处理，并实现图像的调节，使虚拟图像与手势匹配，减小了显示误差。

本发明进一步设置为：所述综合处理单元包括图像处理模块、外部数据接口、数据处理模块和图像调节模块，所述图像处理模块接收所述景深摄像头输入的距离信息，将距离信息进行处理生成三维空间信息并输出，接收所述普通摄像头的图像并在图上识别并确定人体位置，将人体位置信息进行输出；所述外部数据接口接收外部输入的图像数据；所述数据处理模块接收所述外部数据接口输入的图像数据，接收所述图像处理模块输出的三维空间信息，对图像数据、三维空间数据和人体位置信息进行叠加处理，形成具有三维效果的图像数据并输出至所述图像调节模块；所述图像调节模块接收并处理手势信息和姿态信息，根据处理后的手势信息和姿态信息对输入的图像数据进行调整并输出。

通过采用上述技术方案，图像处理模块接收到普通摄像头拍摄的图像后，对图像进行识别处理，确定图像上人体的位置，从而确定外部输入的图像数据的叠加位置，接着图像处理模块根据景深摄像头输入的距离信息，形成三维空间；数据处理模块将人体的位置信息、三维空间信息和外部输入的图像信息进行叠加处理，从而形成三维图像并传输至图像调节模块，图像调节模块在接收到手势信息和姿态信息后，对手势信息和姿态信息进行处理，从而完成对三维图像的调节，三维图像根据手势和姿态进行调整，减小了显示误差。

本发明进一步设置为：所述图像输出单元为投影装置，图像输出单元接收所述图像调节模块输出的图像数据并将图像数据进行处理，图像输出单元根据处理后的图像数据投射出对应的光线至所述全息光栅处。

通过采用上述技术方案，图像输出单元接收图像数据并进行处理并将图像数据通过光线投射至全息光栅处，全息光栅对光线进行反射，使光线投射至人眼处，从而形成虚拟影像，方便医生的诊断。

综上所述，本发明具有以下有益效果：

1、通过设置外部探测单元和综合处理单元，外部探测单元对现实世界进行扫描并对现实世界中的物体与图像投影单元之间的距离进行测量，综合处理单元构建三维空间，外部输入的图像叠加在构建的三维空间上，从而使外部输入的图像较为立体，使人眼观察到的图像符合医生要求，从而减小了显示误差；

2、通过设置姿态感应单元和手势感应单元，图像可随医生姿态的移动而发生变化，通过医生的手势发生变化，从而使图像可根据医生的需求而发生变化，医生可以扩大了解范围，提高了医生的诊断正确率。

附图说明

图1为本发明的系统框图；

图2为体现普通摄像头与图像处理模块连接结构的系统框图；

图3为体现AR眼镜框架与眼镜镜片的连接结构示意图；

图4为体现全息光栅与眼镜镜片的连接结构示意图。

附图标记：1、图像投影单元；11、AR眼镜框架；12、眼镜镜片；13、全息光栅；2、外部探测单元；21、普通摄像头；22、景深摄像头；3、姿态感应单元；31、加速度计；32、陀螺仪；4、手势感应单元；41、识别摄像头；42、图像处理单元；5、综合处理单元；51、图像处理模块；52、外部数据接口；53、数据处理模块；54、图像调节模块；6、图像输出单元。

具体实施方式

参照附图对本发明做进一步说明。

如图1和图2所示，一种医学影像AR显示系统，包括图像投影单元1、外部探测单元2、姿态感应单元3、手势感应单元4、综合处理单元5和图像输出单元6。

综合处理单元5包括图像处理模块51、外部数据接口52、数据处理模块53和图像调节模块54，图像处理模块51与数据处理模块53电连接，外部数据接口52与数据处理模块53电连接，数据处理模块53与图像调节模块54电连接，图像处理模块51为图像处理芯片，图像调节模块54和数据处理模块53均为CPU。外部数据接口52将外部图像数据输入至数据处理模块53处，图像处理模块51对图像进行处理并将数据传输至数据处理模块53，图像调节模块54接收数据处理模块53传输的图像数据并对图像进行调节后进行输出。

外部探测单元2包括一个普通摄像头21和两个景深摄像头22，普通摄像头21和景深摄像头22均与图像处理模块51电连接。普通摄像头21对现实世界中的图像进行采集，景深摄像头22对现实世界内的图像进行采集并测量自身与物体之间的距离。

姿势感应单元包括加速度计31和陀螺仪32，加速度计31和陀螺仪32均与图像调节模块54连接。手势感应单元4包括识别摄像头41和图像处理单元42，识别摄像头41与图像处理单元42电连接，图像处理单元42与图像调节模块54电连接，图像处理单元42为图像处理芯片。加速度计31线性加速度进行监测，陀螺仪32角速度进行监测，识别摄像头41对手势进行拍摄，图像处理单元42对图像进行处理并输出相应的手势信号。

如图3和图4所示，图像投影单元1包括AR眼镜框架11、眼镜镜片12和全息光栅13，眼镜镜片12固定连接在AR眼镜框架11上，全息光栅13固定连接在眼镜镜片12内，两个景深摄像头22位于AR眼镜框架11的两端，普通摄像头21位于AR眼镜框架11的中部。如图2所示，图像输出单元6为投影装置，图像输出单元6的光线射出口朝向全息光栅13，图像输出单元6将光线投射到全息光栅13处，全息光栅13将光线反射至人眼，使虚拟影像和现实影像进行重叠。

综上所述，普通摄像头21对现实世界中的物体进行扫描，景深摄像头22对现实世界中的物体进行扫描并测量物体与景深摄像头22之间的距离，普通摄像头21将图像数据发送至图像处理模块51处，景深摄像头22将距离数据传输至图像处理模块51处，图像处理模块51确定图像上人体的位置并将位置信息发送至数据处理模块53图像处理模块51根据距离数据生成三维空间，并将三维空间信息传输至数据处理模块53。外部数据接口52将外部输入的图像数据传输至数据处理模块53处，数据处理模块53将三维空间信息与外部输入的图像数据进行叠加并定位至人体的位置处，数据处理模块53将处理后的图像数据传输至图像调节模块54。图像调节模块54接收加速度计31、陀螺仪32和图像处理单元42传输的姿态和手势信息，并对图像数据进行处理，然后图像数据传输至图像输出单元6，图像输出单元6对图像数据进行处理并投射相应的多束光线，光线在接触到全息光栅13后进行反射，投影至人眼处，从而使虚拟影像与现实影像重叠。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种医学影像AR显示系统，其特征是：包括，

图像投影单元（1），用于接收图像并将图像投射至人眼上；

外部探测单元（2），用于对现实世界中的物体进行扫描，将现实世界中各物体与图像投影单元（1）之间的距离进行测量并输出距离信息；

姿态感应单元（3），用于对图像投影单元（1）的姿态进行监测，并将图像投影单元（1）的姿态信息进行输出；

手势感应单元（4），用于对手部姿态进行监测，并将手部姿态信息进行输出；

综合处理单元（5），用于接收外部探测单元（2）输入的距离信息和图像信息、外部输入的图像数据、姿态感应单元（3）输入的姿态信息、手势感应单元（4）输入的手部姿态信息，并将数据进行综合处理并输出；

图像输出单元（6），用于接收综合处理单元（5）输出的数据，在处理后将数据转化成光线并输出至图像投影单元（1）。

2.根据权利要求1所述的一种医学影像AR显示系统，其特征是：所述图像投影单元（1）包括AR眼镜框架（11）、固定连接在所述AR眼镜框架（11）上的眼镜镜片（12）、固定连接在所述眼镜镜片（12）内且用于接收光线的全息光栅（13）。

3.根据权利要求2所述的一种医学影像AR显示系统，其特征是：所述外部探测单元（2）包括景深摄像头（22）和普通摄像头（21），

所述景深摄像头（22）对现实世界中的物体进行拍摄，测量出所述眼镜镜片（12）与物体之间的距离，并将距离信息发送至所述综合处理单元（5）；

所述普通摄像头（21）对现实世界进行拍摄扫描，并将图像传输至所述综合处理单元（5）。

4.根据权利要求2所述的一种医学影像AR显示系统，其特征是：所述姿态感应单元（3）包括加速度计（31）和陀螺仪（32），

所述加速度计（31）对AR眼镜框架（11）的线性加速度进行监测，并将线性加速度数据输出至所述综合处理单元（5）；

所述陀螺仪（32）对AR眼镜框架（11）的角速度进行监测，并将角速度数据输出至所述综合处理单元（5）。

5.根据权利要求1所述的一种医学影像AR显示系统，其特征是：所述手势感应单元（4）包括识别摄像头（41）和图像处理单元（42），

所述识别摄像头（41）对手部进行监测，将手部的图像信息传输至所述图像处理单元（42）；

所述图像处理单元（42）对图像信息进行处理并传输手势信息至所述综合处理单元（5）。

6.根据权利要求3所述的一种医学影像AR显示系统，其特征是：所述综合处理单元（5）包括图像处理模块（51）、外部数据接口（52）、数据处理模块（53）和图像调节模块（54），

所述图像处理模块（51）接收所述景深摄像头（22）输入的距离信息，将距离信息进行处理生成三维空间信息并输出，接收所述普通摄像头（21）的图像并在图上识别并确定人体位置，将人体位置信息进行输出；

所述外部数据接口（52）接收外部输入的图像数据；

所述数据处理模块（53）接收所述外部数据接口（52）输入的图像数据，接收所述图像处理模块（51）输出的三维空间信息，对图像数据、三维空间数据和人体位置信息进行叠加处理，形成具有三维效果的图像数据并输出至所述图像调节模块（54）；

所述图像调节模块（54）接收并处理手势信息和姿态信息，根据处理后的手势信息和姿态信息对输入的图像数据进行调整并输出。

7.根据权利要求6所述的一种医学影像AR显示系统，其特征是：所述图像输出单元（6）为投影装置，图像输出单元（6）接收所述图像调节模块（54）输出的图像数据并将图像数据进行处理，图像输出单元（6）根据处理后的图像数据投射出对应的光线至所述全息光栅（13）处。