CN104679222A - 基于人机交互的医疗办公系统、医疗信息共享系统及方法 - Google Patents

Abstract

本发明提供了基于人机交互的医疗办公系统及方法，通过智能眼镜上的平面识别单元确定智能眼镜的工作平面，及其上的定位跟踪单元跟踪智能眼镜的佩戴者头部位置，并根据头部位置实时调整智能眼镜叠加在工作平面的图像，使佩戴者与图像保持相对静止，在工作平面对医疗信息进行修改，并将修改后的医疗信息显示于所述智能眼镜上，医护人员根据修改后的医疗信息对患者进行诊断。本发明提供的基于人机交互的医疗办公系统及方法，医护人员能够随时随地的获取医院内部的医疗信息，可以及时快速地查阅患者信息，移动化程度高，从而提高了医护人员的诊断效率；本发明还提供了一种医疗信息共享系统和方法。

Description

基于人机交互的医疗办公系统、医疗信息共享系统及方法

技术领域

本发明涉及图像技术领域，尤其涉及一种基于人机交互的医疗办公系统、医疗信息共享系统及方法。

背景技术

在传统的医疗环境中，医院的所有信息都存储在电脑中，医护人员想要获取这些信息必须坐在固定的电脑桌面前，这样的工作方式非常不适合于医院中的实际环境，因为医护人员往往需要携带着某些信息进行移动办公。比如，对于一个查房的护士而言，需要携带着病人的病历记录信息，而这些信息往往存储在电脑中，因此护士需要携带一本厚厚的病人记录进行查房，这明显不符合于进入信息化的时代需求；再如，几个影像诊断医生很可能就某一个病人的诊断图像进行讨论，但是由于病人的图像存储在电脑中，这些医生不得不移步到固定的电脑面前。诸如此类的场景还有很多，一个共同的迫切需求是在医疗环境中进行办公的移动化改革，让医护人员能够在医院环境内随时接触到需要的信息。

目前，国外很多医院已经开始采用iPad在医疗环境下进行医疗办公等其他应用，比如采用iPad查看病人病历信息，使用iPad进行查房。同时，由于丰富的显示特性，iPad也非常适合用于观看医学图像，以供医生进行参考。在国外医学手术中，也渐渐出现了在手术中使用iPad完成医疗手术。考虑到此，美国食品药品监管局（FDA）已经首次批准了iPad作为医学影像诊断辅助产品。

iPad虽然能够在医疗系统中给医护人员的办公带来巨大便利，但是也存在着一个巨大的问题，即iPad目前的尺寸还是过于巨大，并不适合于医生随身携带。同时，在手术中使用iPad协助手术也存在问题，即iPad必须固定在某一个位置，医生在需要观阅iPad上的医学图像时，必须来回切换视角等。同时，在信息输入方面，iPad只能以触屏的方式进行输入，无法像使用一支笔一样用更加直接的方式进行信息输入。

智能眼镜已经渐渐进入人们的视野中，对于可透视型智能眼镜来说，当人戴上这种眼镜后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境；同时智能眼镜能够将一些图像信息叠加在人的真实视野上，由于拥有这样的特性，可透视型智能眼镜将在众多行业和领域发挥巨大作用。而将智能眼镜应用于医疗办公系统中尚未见类似报道。

发明内容

本发明的目的是提供一种基于人机交互的医疗办公系统，能够在为医护人员提供移动化的办公环境，方便让医护人员及时、快捷地查阅所需的医疗信息。

为了达到上述目的，本发明采用下述技术方案，一种基于人机交互的医疗办公系统，包括：

主机，用于提供医疗信息；

智能眼镜，信号连接于所述主机，用于获取所述医疗信息，并在三维空间中显示所述医疗信息，包括：

平面识别单元，用于确定所述智能眼镜的工作平面；

定位跟踪单元，用于跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止；及

交互笔，信号连接于所述智能眼镜，用于在所述工作平面对所述医疗信息进行修改，并将修改后的医疗信息显示于所述智能眼镜上，医护人员根据修改后的医疗信息对患者进行诊断。

进一步地，所述平面识别单元包括第一摄像头、第二摄像头、红外矩阵网格LED及第一处理器，所述第一摄像头、第二摄像头分别对称设置于所述智能眼镜的左右两端，所述红外矩阵网格LED设置于所述智能眼镜的中心，所述红外矩阵网格LED用于产生红外线矩阵网格，所述第一处理器内置于所述智能眼镜的内部，所述第一摄像头、第二摄像头用于识别所述红外矩阵网格LED投射在所述智能眼镜佩戴者眼前的平面上散射的红外线，所述第一处理器用于分析所述红外线，并得出所述平面相对于所述智能眼镜的距离和角度，从而确定所述智能眼镜的工作平面。

进一步地，所述红外矩阵网格LED包括开设有网格槽的挡板和位于所述挡板正前方的红外LED，所述红外LED产生的红外线经所述挡板后产生红外线矩阵网格。

进一步地，所述定位跟踪单元包括三轴加速度传感器和三轴陀螺仪，所述三轴加速度传感器用于跟踪所述佩戴者的头部在X、Y、Z坐标轴方向上的移动；所述三轴陀螺仪用于跟踪所述佩戴者的头部绕着X、Y、Z坐标轴方向发生的转动。

进一步地，所述智能眼镜还包括第一红外LED，所述第一红外LED设置于所述智能眼镜的中心且位于所述红外矩阵网格LED的上方，所述第一摄像头、第二摄像头及所述第一红外LED形成手势识别单元，所述手指识别单元用于识别所述佩戴者的手指在所述三维空间中的位置关系。

进一步地，所述交互笔包括笔尖、第一红外线发射点、第二红外线发射点及处理器，所述第一红外线发射点及第二红外线发射点分别位于所述交互笔的两端，通过所述第一红外线发射点、第二红外线发射点可确定所述笔尖的坐标，所述处理器设置于所述交互笔的内部，用于控制交互笔的整体工作。

进一步地，所述主机为医院内部的服务器，所述服务器上存储有患者的医疗信息。

进一步地，所述医疗信息包括文字信息和图片信息。

另外，本发明还提供了一种基于人机交互的医疗办公方法，包括下述步骤：

步骤A：通过所述平面识别单元确定所述智能眼镜的工作平面；

步骤B：所述智能眼镜将显示的图像画面叠加在所述工作平面上；

步骤C：通过定位跟踪单元跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止；

步骤D：所述智能眼镜获取所述主机内的医疗信息，并在三维空间中显示所述医疗信息；

步骤E：通过所述交互笔在所述工作平面对所述医疗信息进行修改，并将修改后的医疗信息显示于所述智能眼镜上，医护人员根据修改后的医疗信息对患者进行诊断。

进一步地，还包括步骤F，医护人员通过手指对置于三维空间中的医疗信息进行移动、旋转操作。

进一步地，步骤A中，通过所述平面识别单元确定所述智能眼镜的工作平面，包括下述步骤：

步骤A1：所述红外线矩阵网格LED产生红外线矩阵网格；

步骤A2：所述第一摄像头、第二摄像头识别所述红外矩阵网格LED投射在所述智能眼镜佩戴者眼前的平面上散射的红外线；

步骤A3：所述第一处理器分析所述散射的红外线，并得出所述平面相对于所述智能眼镜的距离和角度，从而确定所述智能眼镜的工作平面。

进一步地，步骤C中，通过定位跟踪单元跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止，具体包括下述步骤：

步骤C1：跟踪所述智能眼镜的佩戴者头部位置，记为a_x,a_y,a_z和ω_x,ω_y,ω_z，所述a_x,a_y,a_z为所述佩戴者的头部在X、Y、Z坐标轴方向上移动的加速度，所述ω_x,ω_y,ω_z为所述佩戴者的头部绕着X、Y、Z坐标轴方向上转动的角速度；

步骤C2：分别对所述a_x,a_y,a_z进行时间的二重积分得到所述佩戴者头部在该时间范围内在三个坐标轴方向上发生的位移，并记为：Δx＝∫∫a_xdt²、Δy＝∫∫a_ydt²及Δz＝∫∫a_zdt²；

步骤C3：分别对所述ω_x,ω_y,ω_z进行时间的一重积分得到所述佩戴者头部在该时间范围内绕着三个坐标轴方向发生的转动的角度，并记为：Δθ_x＝∫ω_xdt、Δθ_y＝∫ω_ydt及Δθ_z＝∫ω_zdt；

步骤C4：根据所述(Δx,Δy,Δz)、(Δθ_x,Δθ_y,Δθ_z)得到相机坐标系的变换矩阵M；

步骤C5：根据模型变换和视图变换的二元性，得到对应的模型变换矩阵M′；

步骤C6：根据所述矩阵M及所述矩阵M'，得到所述佩戴者头部运动后的三维模型的新坐标X'；

步骤C7：基于所述X'实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止。

进一步地，在完成步骤E之前还包括采用双目立体视觉算法确定所述笔尖的坐标的步骤。

另外，本发明还提供了一种医疗信息共享系统，包括所述医疗办公系统，所述医疗办公系统包括智能眼镜，所述智能眼镜包括第一智能眼镜和第二智能眼镜，所述第一智能眼镜和第二智能眼镜信号连接，所述第一智能眼镜将图像叠加在平面ABCD上，并建立自身坐标系OXYZ；

所述第二智能眼镜通过自身的平面识别系统计算出相对于所述平面ABCD的距离和角度，并将所述距离和角度传输至所述第一智能眼镜，并通过红外线LED发射红外线；

所述第一智能眼镜接收所述距离和角度，并通过双目立体视觉算法计算出所述第二智能眼镜上的红外线LED在所述坐标系OXYZ中的坐标；

所述第一智能眼镜根据计算机图形学关系计算出所述第二智能眼镜的佩戴者观看到的图像，并将所述图像信号传输至所述第二智能眼镜，实现医疗信息的共享。

另外，本发明还提供了一种医疗信息共享方法，包括下述步骤：

所述第一智能眼镜将图像叠加在平面ABCD上，并建立自身坐标系OXYZ；

所述第二智能眼镜通过自身的平面识别系统计算出相对于所述平面ABCD的距离和角度，并将所述距离和角度传输至所述第一智能眼镜，并通过红外线LED发射红外线；

所述第一智能眼镜接收所述距离和角度，并通过双目立体视觉算法计算出所述第二智能眼镜上的红外线LED在所述坐标系OXYZ中的坐标；

所述第一智能眼镜根据计算机图形学关系计算出所述第二智能眼镜的佩戴者观看到的图像，并将所述图像信号传输至所述第二智能眼镜，实现医疗信息的共享。

本发明提供的基于人机交互的医疗办公系统及方法，通过智能眼镜上的平面识别单元确定所述智能眼镜的工作平面，及其上的定位跟踪单元跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止，在所述工作平面对所述医疗信息进行修改，并将修改后的医疗信息显示于所述智能眼镜上，医护人员根据修改后的医疗信息对患者进行诊断。本发明提供的基于人机交互的医疗办公系统及方法，医护人员能够随时随地的获取医院内部的医疗信息，可以及时快速地查阅患者信息，移动化程度高，从而提高了医护人员的诊断效率；另外，本发明提供的基于人机交互的医疗办公系统及方法采用交互笔能够方便医护人员调阅病人信息，并对信息进行修改，提高了对患者病情诊断的准确性；同时，本发明提供的基于人机交互的医疗办公系统及方法，可以利用智能眼镜的显示特性，能够在三维空间中显示出三维诊断图像，为医护人员提高真实的三维医学图像，有利于医护人员对患者病情的判断；此外，本发明提供的基于人机交互的医疗办公系统，体积小、易于携带。

另外，本发明还提供了一种医疗信息共享系统和方法，医护人员可以将第一智能眼镜根的图像信息传输至第二智能眼镜，实现医疗信息的共享，从而本能够实现医学图像在不同医生之间的共享，提高诊断效率。

附图说明

图1为本发明提供的智能眼镜的结构示意图；

图2为本发明提供的红外线矩阵网格产生原理图；

图3为本发明提供的智能眼镜投射的红外线矩阵网格结构示意图；

图4为本发明提供的交互笔的结构示意图；

图5为本发明提供的一种基于人机交互的医疗办公方法步骤流程图；

图6为本发明提供的通过所述平面识别单元确定所述智能眼镜的工作平面的步骤流程图；

图7为通过定位跟踪单元跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止的步骤流程图；

图8为本发明提供的定位跟踪单元的坐标系示意图；

图9为交互笔在平面上使用的模型图；

图10为采用双目立体视觉算法通过手指识别单元识别使用者手指在智能眼镜三维空间内的位基本原理图；

图11为智能眼镜中手指识别单元的识别范围示意图；

图12为医疗信息共享系统中智能眼镜位置的不确定性的原理示意图；

图13为本发明提供的医疗信息共享方法的步骤流程图；

图14为医疗信息共享系统中智能眼镜信息共享之间的坐标关系图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的一种基于人机交互的医疗办公系统，包括：智能眼镜110、交互笔120及主机130。

请参阅图1，图1为智能眼镜的结构示意图。智能眼镜110用于在三维空间中显示图像信息。智能眼镜110为可透视型智能眼镜，戴上这种眼镜后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境；同时智能眼镜能够将一些图像信息叠加在人的真实视野上，当人戴上这种智能眼镜后，除了看到四周的环境外，也能看到由智能眼镜显示出来的图像信息，观看相当于在离人眼一定距离的空间中观看一个尺寸一定的屏幕。智能眼镜110包括平面识别单元及定位跟踪单元。

平面识别单元用于确定所述智能眼镜的工作平面。平面识别单元包括第一摄像头111、第二摄像头112、红外矩阵网格LED113及第一处理器（图未示）。

第一摄像头111、第二摄像头112分别对称设置于智能眼镜110的左右两端。

红外矩阵网格LED113设置于智能眼镜110的中心，红外矩阵网格LED113用于产生红外线矩阵网格。优选地，红外矩阵网格LED113包括开设有网格槽的挡板115和位于挡板115正前方的红外LED116，红外LED116产生的红外线经挡板115后产生一个红外线矩阵网格。请参阅图2和图3，图2为本发明提供的红外线矩阵网格产生原理图，图3为本发明提供的智能眼镜投射的红外线矩阵网格结构示意图。

第一处理器内置于智能眼镜110的内部，第一摄像头111、第二摄像头112识别红外矩阵网格LED113投射在智能眼镜110佩戴者眼前的平面上散射的红外线，第一处理器分析散射的红外线，并得出上述平面相对于智能眼镜110的距离和角度，从而确定智能眼镜110的工作平面。

可以理解，在智能眼镜坐标系OXYZ中，红外矩阵网格LED115产生红外线矩阵网格，当红外线矩阵网格投射到智能眼镜佩戴者眼前的平面时，由于透视效应，红外网格线将会发生形状改变；同时，被投射平面散射的红外线会被智能眼镜两端的第一摄像头111、第二摄像头112接收，这样，通过分析计算散射的红外线，就能够知道智能眼镜相对于投射平面的角度和距离，从而确定智能眼镜110的工作平面。

定位跟踪单元，用于跟踪智能眼镜110的佩戴者头部位置，并根据头部位置实时调整智能眼镜110叠加在工作平面的图像，使佩戴者与图像保持相对静止。优选地，定位跟踪单元包括三轴加速度传感器（图未示）和三轴陀螺仪（图未示），三轴加速度传感器用于跟踪所述佩戴者的头部在X、Y、Z坐标轴方向上的移动；三轴陀螺仪用于跟踪佩戴者的头部绕着X、Y、Z坐标轴方向发生的转动。

智能眼镜110还可以包括手势识别单元，手势识别单元包括第一红外LED114、第一摄像头111、第二摄像头112。第一红外LED114设置于智能眼镜110的中心且位于红外矩阵网格LED113的上方，手指识别单元用于识别佩戴者的手指在三维空间中的位置关系。

请参阅图4，图4为本发明提供的交互笔的结构示意图。交互笔120信号连接于智能眼镜110。可以理解，交互笔120上可以设置蓝牙模块（图未示）用于与智能眼镜110上的蓝牙模块进行通讯。

交互笔120包括笔尖121、第一红外线发射点122、第二红外线发射点123及处理器（图未示）。第一红外线发射点122及第二红外线发射点123分别位于交互笔120的两端，通过第一红外线发射点122、第二红外线发射点123可确定笔尖121的坐标，处理器设置于交互笔120的内部，用于控制交互笔120的整体工作。

主机130，用于提供医疗信息，信号连接于智能眼镜110。主机130为医院内部的服务器。可以理解，主机130可以通过智能眼镜110上的WiFi模块进行连接，实现主机130与智能眼镜110的信号连接。

可以理解，主机130上存储有患者的医疗信息，智能眼镜110获取医疗信息，并在三维空间中显示医疗信息，交互笔120在智能眼镜110的工作平面对医疗信息进行修改，并将修改后的医疗信息显示于智能眼镜110上，医护人员根据修改后的医疗信息对患者进行诊断。

可以理解，医疗信息包括文字信息和图片信息。医护人员可以使用智能眼镜110从主机130上面查询到所需文字信息；同时，当医生用智能眼镜110观阅病人的诊断图像时，主机130将会为智能眼镜提供所需病人的图像，并允许医生对病人图像进行操作。

请参阅图5，图5为本发明提供的一种基于人机交互的医疗办公方法200，包括下述步骤：

步骤A：通过平面识别单元确定智能眼镜110的工作平面；

请参阅图6，为本发明提供的通过所述平面识别单元确定所述智能眼镜的工作平面的步骤流程图，包括下述步骤：

步骤A1：红外矩阵网格LED113产生红外线矩阵网格；

步骤A2：第一摄像头111、第二摄像头112识别红外矩阵网格LED113投射在智能眼镜110佩戴者眼前的平面上散射的红外线；

步骤A3：第一处理器分析红外线，并得出所述平面相对于智能眼镜110的距离和角度，从而确定所述智能眼镜的工作平面。

可以理解，在智能眼镜坐标系OXYZ中，红外矩阵网格LED113产生红外线矩阵网格，当红外线矩阵网格叠加在智能眼镜110佩戴者眼前的平面时，由于透视效应，红外网格线将会发生形状改变；同时，被投射平面散射的红外线会被智能眼镜两端的第一摄像头111、第二摄像头112接收，这样，通过分析计算散射的红外线，就能够知道智能眼镜相对于投射平面的角度和距离，从而确定智能眼镜110的工作平面。

步骤B：智能眼镜110将显示的图像画面叠加在工作平面上；

步骤C：通过定位跟踪单元跟踪智能眼镜110的佩戴者头部位置，并根据头部位置实时调整智能眼镜110叠加在工作平面的图像，使所述佩戴者与图像保持相对静止；

请参阅图7，为步骤C中，通过定位跟踪单元跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止，具体包括下述步骤：

步骤C1：跟踪智能眼镜110的佩戴者头部位置，记为a_x,a_y,a_z和ω_x,ω_y,ω_z，所述a_x,a_y,a_z为所述佩戴者的头部在X、Y、Z坐标轴方向上移动的加速度，所述ω_x,ω_y,ω_z为所述佩戴者的头部绕着X、Y、Z坐标轴方向转动的角速度；

可以理解，三轴加速度传感器用于跟踪所述佩戴者的头部在X、Y、Z坐标轴方向上的移动，记为a_x,a_y,a_z；所述三轴陀螺仪用于跟踪所述佩戴者的头部绕着X、Y、Z坐标轴方向发生的转动，记为ω_x,ω_y,ω_z。

步骤C2：分别对所述a_x,a_y,a_z进行时间的二重积分得到所述佩戴者头部在该时间范围内在三个坐标轴方向上发生的位移，并记为：Δx＝∫∫a_xdt²、Δy＝∫∫a_ydt²及Δz＝∫∫a_zdt²；

步骤C3：分别对所述ω_x,ω_y,ω_z进行时间的一重积分得到所述佩戴者头部在该时间范围内绕着三个坐标轴方向发生的转动的角度，并记为：Δθ_x＝∫ω_xdt、Δθ_y＝∫ω_ydt及Δθ_z＝∫ω_zdt；

步骤C4：根据所述(Δx,Δy,Δz)、(Δθ_x,Δθ_y,Δθ_z)得到相机坐标系的变换矩阵M；

步骤C5：根据模型变换和视图变换的二元性，得到对应的模型变换矩阵M′；

步骤C6：根据所述矩阵M及所述矩阵M'，得到所述佩戴者头部运动后的三维模型的新坐标X'；

步骤C7：基于所述X′实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止。

请参阅图8，为本发明提供的定位跟踪单元的坐标系示意图。可以理解，定位跟踪单元的坐标系同时也为相机坐标系。对定位跟踪坐标系输出的值进行关于时间的积分后得到的佩戴者头部运动的坐标值(Δx,Δy,Δz)以及佩戴者头部运动发生的转角(Δθ_x,Δθ_y,Δθ_z)，根据(Δx,Δy,Δz)以及(Δθ_x,Δθ_y,Δθ_z)这六个值，就能够得到相机坐标系的变换矩阵M，同时由于模型变换和视图变换的二元性，能够求解出对应的模型变换矩阵M'，于是用当前三维模型的齐次坐标乘以模型变换矩阵M'，就能够得到在佩戴者头部发生了一定运动后，三维模型的新坐标X'。在对三维模型重新进行透视投影后，就能够得到当前时刻下，智能眼镜应该显示的三维模型视图。通过上述方式，就能够实现在智能眼镜的佩戴者头部发生运动后，实时调整智能眼镜中三维模型显示的角度，让三维模型在佩戴者的视野范围之内保持静止的效果。

步骤D：智能眼镜110获取主机130内的医疗信息，并在三维空间中显示医疗信息；

步骤E：通过交互笔120在工作平面对医疗信息进行修改，并将修改后的医疗信息显示于所述智能眼镜上，医护人员根据修改后的医疗信息对患者进行诊断。

优选地，在完成步骤E之前还包括采用双目立体视觉算法确定笔尖的坐标的步骤。

请参阅图9，为交互笔在平面上使用的模型图。由于在智能眼镜110的摄像头中，呈现的是交互笔120上的两个红外线发射点。因此以P₁点和P₂点分别代表两个红外线发射点，这样直线P₁P₂就可以直接代表交互笔。

由于已知智能眼镜相对于平面ABCD的距离和角度，因此可以求取出平面ABCD的方程。图9中，在智能眼镜坐标系OXYZ中，已知平面ABCD的法向量n(n₀,n₁,n₂)以及平面上的一点R(x_r,y_r,z_r)，则平面ABCD的平面方程为：

n₀(x-x_r)+n₁(y-y_r)+n₂(z-z_r)＝0

同时，采用双目立体视觉的原理，可以求得两个红外发射点在智能眼镜坐标系中的坐标分别为P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)，则代表交互笔的直线P₁P₂的方程为：

$\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}$

其中，(l,m,n)为直线P₁P₂的方向向量；同时有：

$\left\{\begin{array}{c}l=x_1-x_2\\ m=y_1-y_2\\ n=z_1-z_2\end{array}\right.$

因为平面ABCD和直线P₁P₂的交点P₀即在平面ABCD中，也在直线P₁P₂上，因此只需联立平面方程和直线方程，将可求出P₀的坐标P₀(x₀,y₀,z₀)：

$\left\{\begin{array}{c}{n}_0(x-x_r)+n_1(y-y_r)+n_2(z-z_r)=0\\ \frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\end{array}\right.$

P₀也同时为交互笔与平面ABCD的交点，因此在知道了P₀的坐标后，智能眼镜就可以根据P₀点的轨迹路径绘制出相应轨迹，从而实现了交互笔与智能眼镜的互动。

当需要使用交互笔对医学三维图像进行操作时，此时交互笔将置于三维空间中，此时需要对笔尖的三维坐标进行求取，在三维空间中求取笔尖坐标与在平面上的求取类似。进一步参阅图8，假设此时P₀(x₀,y₀,z₀)点为交互笔的笔尖一点，而P₀P₁、P₁P₂之间的距离也是已知的，假设分别为l₁和l₂，则由以上可得到直线P₁P₂的直线方程为：

$\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}$

其中(l,m,n)为直线P₁P₂的方向向量；同时有：

$\left\{\begin{array}{c}l=x_1-x_2\\ m=y_1-y_2\\ n=z_1-z_2\end{array}\right.$

则通过空间解析几何关系可以求取出P₀(x₀,y₀,z₀)点的坐标：

$\left\{\begin{array}{c}\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\\ \sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2+{(z_0-z_1)}^2}=l_1\end{array}\right.$

只需联立以上两式即可求出P₀(x₀,y₀,z₀)点的坐标。

优选地，上述一种基于人机交互的医疗办公方法200还包括步骤F，医护人员通过手指对置于三维空间中的医疗信息进行移动、旋转等操作，实现医疗信息更好地呈现于智能眼镜中。

优选地，在完成步骤F之前还包括采用双目立体视觉算法，通过所述手指识别单元识别使用者手指在所述智能眼镜三维空间内的位置关系的步骤。

请参阅图10，为采用双目立体视觉算法通过手指识别单元识别使用者手指在智能眼镜三维空间内的位基本原理图。在图中，l₁、l₂分别为两个平行放置的摄像头，在本发明中，l₁、l₂分别代表第一摄像头、第二摄像头。B代表两个摄像头光心之间的距离，f为摄像头的焦距。P(x,y,z)为空间中的某一点，(x,y,z)为其三维坐标，P₁(x₁,y₁)、P₂(x₂,y₂)分别为P点在两个摄像头像平面上的像点坐标，其中P点的视差为d＝x₁-x₂，通过几何关系可以计算出P点的深度为：

$z=f\frac{B}{x_1-x_2}=f\frac{B}{d}$

通过采用立体视觉算法就可以计算出P点在智能眼镜坐标系中的Z坐标。而同时P点的X坐标和Y坐标可以直接从摄像机的坐标系中读取。于是在采用了双目立体视觉技术后，可以求得某一个空间点在摄像机三维坐标系中的坐标。

在具体运用中，智能眼镜110上的第一红外LED114发出红外线，红外线在碰到人的手指后会被手指散射，而散射的部分红外线会进入智能眼镜110两端的摄像头，摄像头会输出两幅散射图像，可以直接从摄像机获取的两幅散射图像中读取手指指尖在图像画面中X、Y方向的坐标。同时，在采用双目立体视觉算法后，能够计算出手指指尖的Z坐标。

请参阅图11，图11为智能眼镜110中手指识别单元的识别范围示意图，图中虚线所代表的三维空间范围为识别范围。

本发明提供的基于人机交互的医疗办公系统及方法，通过智能眼镜上的平面识别单元确定所述智能眼镜的工作平面，及其上的定位跟踪单元跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止，在所述工作平面对所述医疗信息进行修改，并将修改后的医疗信息显示于所述智能眼镜上，医护人员根据修改后的医疗信息对患者进行诊断。本发明提供的基于人机交互的医疗办公系统及方法，医护人员能够随时随地的获取医院内部的医疗信息，可以及时快速地查阅患者信息，移动化程度高，从而提高了医护人员的诊断效率；另外，本发明提供的基于人机交互的医疗办公系统及方法采用交互笔能够方便医护人员调阅病人信息，并对信息进行修改，提高了对患者病情诊断的准确性；同时，本发明提供的基于人机交互的医疗办公系统及方法，可以利用智能眼镜的显示特性，能够在三维空间中显示出三维诊断图像，为医护人员提高真实的三维医学图像，有利于医护人员对患者病情的判断；此外，本发明提供的基于人机交互的医疗办公系统，体积小、易于携带。

另外，本发明还提供了一种医疗信息共享系统，包括上述医疗办公系统，医疗办公系统包括智能眼镜110，智能眼镜110包括第一智能眼镜G0和第二智能眼镜G1，第一智能眼镜G0和第二智能眼镜G1信号连接，第一智能眼镜G0将图像叠加在平面ABCD上，并建立自身坐标系OXYZ；

第二智能眼镜G1通过自身的平面识别系统计算出相对于平面ABCD的距离和角度，并将距离和角度传输至第一智能眼镜G0，并通过红外线LED发射红外线；

第一智能眼镜G0接收距离和角度，并通过双目立体视觉算法计算出第二智能眼镜G1上的红外线LED在坐标系OXYZ中的坐标；

第一智能眼镜G0根据计算机图形学关系计算出第二智能眼镜G1的佩戴者观看到的图像，并将图像信号传输至第二智能眼镜G1，实现医疗信息的共享。

请参阅图12为医疗信息共享系统中智能眼镜位置的不确定性的原理示意图。可以理解，在医院的使用环境中，几个医生往往会就某一个病人的诊断图像进行讨论，这就需要在几个佩戴着智能眼镜的医生之间进行信息共享，让每一个医生都能看到同一个三维体数据。一般地，智能眼镜的图像画面需要叠加在一张桌面上。

在已知另一个智能眼镜相对于图像画面所在平面ABCD的距离和角度的情况下，并不能唯一确定出智能眼镜之间的相对位置关系。如图12所示，图中G₀为叠加图像画面的智能眼镜，而G₁为需要接收图像信息的智能眼镜。虽然已知G₁相对于平面的距离和角度，但是并不能唯一确定出G₁的坐标。图中G₂、G₃也可能为G₁的位置。

为了解决G₁位置的不确定性，本发明通过智能眼镜110上增加了一个红外LED116，该红外LED116固定在智能眼镜镜框中心。如果能够在智能眼镜G₀的坐标系中计算出智能眼镜G₁上红外LED的坐标，则将唯一确定智能眼镜G₁在智能眼镜G₀坐标系中的位置。下面首先介绍如何在智能眼镜G₀的坐标系中计算出智能眼镜G₁上红外LED的三维坐标。

由于智能眼镜G₀镜框两侧的两个摄像头111（112）会识别出外界的红外线，因此智能眼镜G₁上红外LED116发出的红外线会被G₀的两个摄像头111（112）接收到，并且呈现为一个圆点，在三维空间中，对一个空间点的坐标计算基于双目立体视觉的原理。

在完全确定出智能眼镜G₁在智能眼镜G₀坐标系中的位置后，智能眼镜G₀会将智能眼镜G₁应该看到的图像画面通过蓝牙模块传递给G₀，从而完成本发明提出的信息在智能眼镜之间的共享过程。

请参阅图13，为本发明提供的一种医疗信息共享方法300，包括下述步骤：

步骤S310：第一智能眼镜G0将图像投射在平面ABCD上，并建立自身坐标系OXYZ；

步骤S320：第二智能眼镜G1通过自身的平面识别系统计算出相对于平面ABCD的距离和角度，并将距离和角度传输至第一智能眼镜G0，并通过红外线LED发射红外线；

步骤S330：第一智能眼镜G0接收距离和角度，并通过双目立体视觉算法计算出第二智能眼镜G1上的红外线LED在坐标系OXYZ中的坐标；

步骤S340：第一智能眼镜G0根据计算机图形学关系计算出第二智能眼镜G1的佩戴者观看到的图像，并将图像信号传输至第二智能眼镜G1，实现医疗信息的共享。

请参阅图14，为医疗信息共享系统中智能眼镜信息共享之间的坐标关系图。其中，图中L为智能眼镜G₁与平面ABCD的距离，θ为智能眼镜G₁相对于平面ABCD的角度，点P(x₀,y₀,z₀)为智能眼镜G₁上的红外线LED在智能眼镜G₀坐标系中的坐标。

本发明提供的一种医疗信息共享系统和方法，医护人员可以将第一智能眼镜根的图像信息传输至第二智能眼镜，实现医疗信息的共享，从而本发明能够实现医学图像在不同医生之间的共享，提高诊断效率。

可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其他各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (15)

1.一种基于人机交互的医疗办公系统，其特征在于，包括：

主机，用于提供医疗信息；

智能眼镜，信号连接于所述主机，用于获取所述医疗信息，并在三维空间中显示所述医疗信息，包括：

平面识别单元，用于确定所述智能眼镜的工作平面；

定位跟踪单元，用于跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止；及

交互笔，信号连接于所述智能眼镜，用于在所述工作平面对所述医疗信息进行修改，并将修改后的医疗信息显示于所述智能眼镜上，医护人员根据修改后的医疗信息对患者进行诊断。

2.根据权利要求1所述的基于人机交互的医疗办公系统，其特征在于：所述平面识别单元包括第一摄像头、第二摄像头、红外矩阵网格LED及第一处理器，所述第一摄像头、第二摄像头分别对称设置于所述智能眼镜的左右两端，所述红外矩阵网格LED设置于所述智能眼镜的中心，所述红外矩阵网格LED用于产生红外线矩阵网格，所述第一处理器内置于所述智能眼镜的内部，所述第一摄像头、第二摄像头用于识别所述红外矩阵网格LED投射在所述智能眼镜佩戴者眼前的平面上散射的红外线，所述第一处理器用于分析所述红外线，并得出所述平面相对于所述智能眼镜的距离和角度，从而确定所述智能眼镜的工作平面。

3.根据权利要求2所述的基于人机交互的医疗办公系统，其特征在于：所述红外矩阵网格LED包括开设有网格槽的挡板和位于所述挡板正前方的红外LED，所述红外LED产生的红外线经所述挡板后产生红外线矩阵网格。

4.根据权利要求1所述的基于人机交互的医疗办公系统，其特征在于：所述定位跟踪单元包括三轴加速度传感器和三轴陀螺仪，所述三轴加速度传感器用于跟踪所述佩戴者的头部在X、Y、Z坐标轴方向上的移动；所述三轴陀螺仪用于跟踪所述佩戴者的头部绕着X、Y、Z坐标轴方向发生的转动。

5.根据权利要求2所述的基于人机交互的医疗办公系统，其特征在于：所述智能眼镜还包括第一红外LED，所述第一红外LED设置于所述智能眼镜的中心且位于所述红外矩阵网格LED的上方，所述第一摄像头、第二摄像头及所述第一红外LED形成手势识别单元，所述手指识别单元用于识别所述佩戴者的手指在所述三维空间中的位置关系。

6.根据权利要求1所述的基于人机交互的医疗办公系统，其特征在于：所述交互笔包括笔尖、第一红外线发射点、第二红外线发射点及处理器，所述第一红外线发射点及第二红外线发射点分别位于所述交互笔的两端，通过所述第一红外线发射点、第二红外线发射点可确定所述笔尖的坐标，所述处理器设置于所述交互笔的内部，用于控制交互笔的整体工作。

7.根据权利要求1所述的基于人机交互的医疗办公系统，其特征在于：所述主机为医院内部的服务器，所述服务器上存储有患者的医疗信息。

8.根据权利要求1所述的基于人机交互的医疗办公系统，其特征在于：所述医疗信息包括文字信息和图片信息。

9.一种基于人机交互的医疗办公方法，其特征在于，包括下述步骤：

步骤A：通过所述平面识别单元确定所述智能眼镜的工作平面；

步骤B：所述智能眼镜将显示的图像画面叠加在所述工作平面上；

步骤C：通过定位跟踪单元跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止；

步骤D：所述智能眼镜获取所述主机内的医疗信息，并在三维空间中显示所述医疗信息；

步骤E：通过所述交互笔在所述工作平面对所述医疗信息进行修改，并将修改后的医疗信息显示于所述智能眼镜上，医护人员根据修改后的医疗信息对患者进行诊断。

10.根据权利要求9所述的基于人机交互的医疗办公方法，其特征在于，还包括步骤F，医护人员通过手指对置于三维空间中的医疗信息进行移动、旋转操作。

11.根据权利要求9所述的基于人机交互的医疗办公方法，其特征在于，步骤A中，通过所述平面识别单元确定所述智能眼镜的工作平面，包括下述步骤：

步骤A1：所述红外线矩阵网格LED产生红外线矩阵网格；

步骤A2：所述第一摄像头、第二摄像头识别所述红外矩阵网格LED投射在所述智能眼镜佩戴者眼前的平面上散射的红外线；

步骤A3：所述第一处理器分析所述散射的红外线，并得出所述平面相对于所述智能眼镜的距离和角度，从而确定所述智能眼镜的工作平面。

12.根据权利要求9所述的基于人机交互的医疗办公方法，其特征在于，步骤C中，通过定位跟踪单元跟踪所述智能眼镜的佩戴者头部位置，并根据所述头部位置实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止，具体包括下述步骤：

步骤C1：跟踪所述智能眼镜的佩戴者头部位置，记为a_x,a_y,a_z和ω_x,ω_y,ω_z，所述a_x,a_y,a_z为所述佩戴者的头部在X、Y、Z坐标轴方向上移动的加速度，所述ω_x,ω_y,ω_z为所述佩戴者的头部绕着X、Y、Z坐标轴方向转动的角速度；

步骤C2：分别对所述a_x,a_y,a_z进行时间的二重积分得到所述佩戴者头部在该时间范围内在三个坐标轴方向上发生的位移，并记为：Δx＝∫∫a_xdt²、Δy＝∫∫a_ydt²及Δz＝∫∫a_zdt²；

步骤C3：分别对所述ω_x,ω_y,ω_z进行时间的一重积分得到所述佩戴者头部在该时间范围内绕着三个坐标轴方向发生的转动的角度，并记为：Δθ_x＝∫ω_xdt、Δθ_y＝∫ω_ydt及Δθ_z＝∫ω_zdt；

步骤C4：根据所述(Δx,Δy,Δz)、(Δθ_x,Δθ_y,Δθ_z)得到相机坐标系的变换矩阵M；

步骤C5：根据模型变换和视图变换的二元性，得到对应的模型变换矩阵M′；

步骤C6：根据所述矩阵M及所述矩阵M'，得到所述佩戴者头部运动后的三维模型的新坐标X'；

步骤C7：基于所述X'实时调整所述智能眼镜叠加在所述工作平面的图像，使所述佩戴者与所述图像保持相对静止。

13.根据权利要求9所述的基于人机交互的医疗办公方法，其特征在于，在完成步骤E之前还包括采用双目立体视觉算法确定所述笔尖的坐标的步骤。

14.一种医疗信息共享系统，其特征在于，包括所述医疗办公系统，所述医疗办公系统包括智能眼镜，所述智能眼镜包括第一智能眼镜和第二智能眼镜，所述第一智能眼镜和第二智能眼镜信号连接，所述第一智能眼镜将图像叠加在平面ABCD上，并建立自身坐标系OXYZ；

所述第二智能眼镜通过自身的平面识别系统计算出相对于所述平面ABCD的距离和角度，并将所述距离和角度传输至所述第一智能眼镜，并通过红外线LED发射红外线；

所述第一智能眼镜接收所述距离和角度，并通过双目立体视觉算法计算出所述第二智能眼镜上的红外线LED在所述坐标系OXYZ中的坐标；

所述第一智能眼镜根据计算机图形学关系计算出所述第二智能眼镜的佩戴者观看到的图像，并将所述图像信号传输至所述第二智能眼镜，实现医疗信息的共享。

15.一种医疗信息共享方法，其特征在于，包括下述步骤：

所述第一智能眼镜将图像叠加在平面ABCD上，并建立自身坐标系OXYZ；

所述第二智能眼镜通过自身的平面识别系统计算出相对于所述平面ABCD的距离和角度，并将所述距离和角度传输至所述第一智能眼镜，并通过红外线LED发射红外线；

所述第一智能眼镜接收所述距离和角度，并通过双目立体视觉算法计算出所述第二智能眼镜上的红外线LED在所述坐标系OXYZ中的坐标；

所述第一智能眼镜根据计算机图形学关系计算出所述第二智能眼镜的佩戴者观看到的图像，并将所述图像信号传输至所述第二智能眼镜，实现医疗信息的共享。