CN107315919A - 远程医疗重现系统 - Google Patents

Abstract

本发明公开一种远程医疗重现系统，其包括：网络服务器；数据采集单元，其实时采集用户端的至少一种医疗数据与空间数据；数据处理单元，其包括分别通信连接到网络服务器与数据采集单元的控制器；医疗重现单元，其包括与网络服务器通信连接的虚拟现实眼镜和/或显示设备；远程交互单元，其与网络服务器通信连接，用于数据传输；控制器对采集的医疗数据与空间数据进行基于数据与空间的图像配准以及融合显示，并将配准及融合的图像数据发送至网络服务器；虚拟现实眼镜和/或现实设备从网络服务器获取数据以虚拟图像形式重现用户端和医疗端的图像及数据。本发明可有效、精确地以虚拟图像形式重现医疗现场及数据，辅助医生远程诊断，适于推广应用。

Description

远程医疗重现系统

技术领域

本发明涉及远程医疗重现技术领域，更具体地说，本发明涉及一种远程医疗重现系统。

背景技术

随着计算机网络技术的发展，出现远程医疗系统辅助医生进行远程诊断。例如应用于家庭诊断的家庭远程医疗系统，家庭用户可通过该系统与远程的医生进行疾病交流，辅助医生进行远程诊断，对于日常的小疾病或紧急医疗事件的处理十分有效、便利。

但是，远程医疗系统最大的难点在于用户如何有效、精确地提供医疗现场的相关数据给远程的医生辅助医生进行精确诊断，否则远程医疗系统的有效性、精确性大大降低，不利于推广应用。

发明内容

针对上述技术中存在的不足之处，本发明提供一种远程医疗重现系统，可有效、精确地以虚拟图像形式重现医疗现场及数据，辅助医生远程诊断，适于推广应用。

为了实现根据本发明的这些目的和其它优点，本发明通过以下技术方案实现：

本发明提供一种远程医疗重现系统，其包括：

网络服务器，其用于数据收发、处理及加密/解密；

设于用户端的至少一个数据采集单元，其用于实时采集医疗现场的至少一种医疗数据与空间数据；

数据处理单元，其包括分别通信连接到所述网络服务器与所述数据采集单元之间的控制器；

设于医疗端和用户端的医疗重现单元，其包括与所述网络服务器通信连接的虚拟现实眼镜和/或显示设备，以及，

远程交互单元，其与所述网络服务器通信连接，用于数据的双向传输；

其中，所述控制器对采集的医疗数据与空间数据进行基于数据与空间的图像配准以及融合显示，并将配准及融合的图像数据发送至所述网络服务器；

所述虚拟现实眼镜和/或现实设备从所述网络服务器获取数据以虚拟图像形式重现用户端和医疗端的图像及数据。

优选的是，所述数据采集单元包括：

第一相机，其与所述控制器通信连接；

其中，所述第一相机包括波长光线不同的若干个，用于采集医疗现场不同波长光线的数据发送给所述数据处理单元。

优选的是，所述第一相机至少包括：

可见光相机，其与所述控制器通信连接，用于拍摄影像发送给所述控制器以获得三维重建图像；

红外相机，其与所述控制器通信链接，用于采集体表温度发送给所述控制器；

其中，所述可见光相机与所述红外相机的相对位置固定。

优选的是，所述可见光相机包括同一波长光线且设于不同视角位置的若干个；

若干个所述可见光相机与所述红外相机的相对位置固定。

优选的是，所述第一相机还包括：

深度相机，其与所述控制器通信连接，用于直接获得三维数据发送给所述控制器；

其中，所述可见光相机、所述深度相机以及所述红外相机相对位置固定。

优选的是，所述数据采集单元还包括：

若干个传感计量装置，其分别通信连接到所述数据处理单元，用于对应采集若干种人体生理参数分别发送给所述数据处理单元；

其中，若干种人体生理参数至少包括血糖、血压、脉搏、心跳、听诊信息。

优选的是，所述医疗重现单元还包括：

设于医疗端的力反馈装置，其通信连接到所述网络服务器，用于获取实时脉搏数据并转化成实时脉搏信息以重现现场脉诊。

优选的是，所述远程交互单元还包括：

第一语音装置，其设于用户端；

第二语音装置，其设于医疗端；

第二相机，其设于医疗端；

其中，所述第一语音装置和所述第二语音装置分别与所述网络服务器通信连接，用于用户端与医疗端的语音采集与交流；

所述第二相机通信连接到所述网络服务器，用于采集医疗端视频。

优选的是，所述远程交互单元还包括：

指示单元，其包括分别位于所述医疗现场的第一激光笔和位于所述医疗端的第二激光笔；所述第一激光笔和所述第二激光笔分别与所述网络服务器通信连接。

本发明至少包括以下有益效果：

1)本发明提供的远程医疗重现系统，基于远程交互单元的交互，用户端的至少一个数据采集单元实时采集至少一种医疗数据和空间数据，数据处理单元的控制器对采集的医疗数据与空间数据进行基于数据与空间的图像配准以及融合显示，并将配准及融合的图像数据发送至网络服务器，医疗端的医生通过佩戴医疗重现单元的虚拟现实眼镜，接收配准及融合后的图像数据以虚拟图像形式重现医疗现场的图像及数据，辅助医生远程诊断，医疗现场的图像及数据重现有效性、精确性高；

2)第一相机至少包括相对位置固定的可见光相机和红外相机；可见光相机采集的实时影像、红外相机采集的体表温度，分别为远程医生提供辅助诊断的数据；可见光相机通过采集的影像发送给控制器获取三维重建图像，控制器对多种相机的位置进行标定，获得可见光相机的三维重建图像与红外相机的图像之间的旋转-平移-缩放矩阵，即可实现在空间中的图像配准和数据融合显示；

3)可见光相机还包括同一波长光线且设于不同视角位置的若干个，用于多角度采集影像，提高三维重建图像的精确度；

4)加入深度相机后，深度相机可直接获得三维图像，则控制器对多种相机的相对位置标定后，可获得可见光相机的二维图像、深度相机的三维图像以及红外相机的图像之间的旋转-平移-缩放矩阵，即可实现在空间中以深度相机的三维图像为核心进行图像配准和数据融合显示；

5)传感计量装置包括采集不同种类人体生理参数，给远程医生提供辅助诊断的数据参考；

6)力反馈装置用于获取实时脉搏数据并转化成实时脉搏信息以重现现场脉诊，适合中医远程诊断；

7)第一语音装置、第二语音装置、第一相机以及第二相机，建立起医疗现场与医疗端之间的语音和视频交流。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明所述的远程医疗重现系统的通信示意图；

图2为本发明所述的若干个可见光相机和红外相机相对位置示意；

图3为本发明所述的可见光相机、深度相机以及红外相机相对位置示意；

图中：

1-网络服务器；

2-数据采集单元；21-第一相机；22-传感计量装置；

3-数据处理单元；31-控制器；

41-虚拟现实眼镜；42-显示设备；43-力反馈装置；

51-第一语音装置；52-第二语音装置；53-第二相机；

61-第一激光笔；62-第二激光笔。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

如图1所示，本发明提供一种远程医疗重现系统，其包括网络服务器1、设于用户端的至少一个数据采集单元2、数据处理单元3、设于用户端和医疗端的医疗重现单元以及远程交互单元。网络服务器1用于数据收发、处理及加密/解密。至少一个数据采集单元2用于实时采集医疗现场的至少一种医疗数据与空间数据。数据处理单元3包括分别通信连接到网络服务器1与数据采集单元2之间的控制器31。控制器31对采集的医疗数据与空间数据进行基于数据与空间的图像配准以及融合显示，并将配准及融合后的图像数据发送至网络服务器1进行打包压缩、加密以及后续的传输。医疗重现单元包括与网络服务器1通信连接的虚拟现实眼镜41和/或显示设备，虚拟现实眼镜41和/或显示设备从网络服务器1获取数据以虚拟图像形式重现用户端和医疗端的图像及数据。例如，位于医疗端的虚拟现实眼镜41和/或显示设备接收配准及融合后的图像数据以虚拟图像形式重现用户端的图像及数据，供医生查看；位于用户端的虚拟现实眼镜41和/或显示设备接收医生端医生上传至网络服务器1的视频影像等数据，供用户查看。远程交互单元与网络服务器1通信连接，用于用户端和医疗端之间的数据双向传输。

该实施方式中，基于远程交互单元的交互，用户通过至少一个数据采集单元2实时采集至少一种医疗数据和空间数据并发送给数据处理单元3的控制器31进行数据处理。控制器31对采集的医疗数据与空间数据进行基于数据与空间的图像配准及融合显示，并将配准及融合后的图像数据发送至网络服务器1进行打包压缩和加密。医疗端的医生通过佩戴医疗重现单元的虚拟现实眼镜41或直接通过显示设备，接收配准及融合后的图像数据以虚拟图像形式重现用户端的图像及数据，辅助医生远程诊断，医疗现场的图像及数据重现有效性、精确性高。用户端的用户也可以通过佩戴医疗重现单元的虚拟现实眼镜41或直接通过显示设备，接收医疗端传输至网络服务器1的影像数据，并以虚拟图像形式重现医疗端的图像及数据，从而建立用户与医生基于虚拟图像的交流。显示设备可以是显示屏幕或全息显示屏，对方模型的重建与融合显示等，均可在全息显示的图像空间中显示，或在图像空间中得到结果后，转换为二维图像显示于显示屏。

作为上述实施方式的优选，数据采集单元2包括第一相机21。第一相机21与数据处理单元3通信连接。第一相机21包括波长光线不同的若干个，用于采集医疗现场不同波长光线的数据发送给数据处理单元3进行数据处理。具体地，第一相机21至少包括可见光相机和红外相机，如图2所示。可见光相机与控制器通信连接，用于拍摄影像发送给控制器31以获得三维重建图像。红外相机与控制器31通信链接，用于采集体表温度发送给控制器31。可见光相机与红外相机的相对位置固定。可见光相机采集的实时影像、红外相机采集的体表温度，均可用于辅助远程的医生了解用户的实时病情。可见光相机通过采集的影像发送给控制器31获取三维重建图像，控制器31对多种相机的位置进行标定，获得可见光相机的三维重建图像与红外相机的图像之间的旋转-平移-缩放矩阵，可实现在空间中的图像配准和数据融合显示，即实现控制器31基于图像和空间的图像与数据配准。因此，医疗数据包括可见光相机采集的影像、红外相机采集的体表温度，空间数据包括可见光相机采集影像后由控制器31处理获得的三维数据以及多种相机之间相对固定的位置信息。

作为进一步优选，如图2所示，可见光相机还包括同一波长光线且设于不同视角位置的若干个，若干个可见光相机与红外相机的相对位置固定。若干个可见光相机设于用户或医生的不同视角同时采集实时影像以通过控制器31获取多视角的三维重建图像，再进行三维数据在空间中的位置配准，以获得更精确的三维数据，在重现的虚拟图像上融合显示。

至于不同波长光线的第一相机21以及同一波长光线的若干个可见光相机的具体波长，不发明不作具体限定，以实现相应功能为准。

作为上述实施方式的优选，如图3所示，第一相机21还包括深度相机。深度相机与控制器31通信连接，用于直接获取三维数据发送给控制器31。可见光相机、深度相机以及红外相机相对位置固定。该实施方式中，加入深度相机后，可见光相机只有一个，可见光相机采集影像经控制器31处理获得二维图像，深度相机可直接获得三维图像，则控制器对多种相机的相对位置标定后，可获得可见光相机的二维图像、深度相机的三维图像以及红外相机的图像之间的旋转-平移-缩放矩阵，即可实现在空间中以深度相机的三维图像为核心进行图像配准和数据融合显示。

作为上述实施方式的优选，数据采集单元2还包括若干个传感计量装置22，其与数据处理单元3通信连接，用于对应采集若干种人体生理参数分别发送给数据处理单元3。若干种人体生理参数至少包括血糖、血压、脉搏、心跳、听诊信息，因此，传感计量装置22至少包括血糖计、血压计、脉搏传感器、心率计以及电子听诊器这几种传感器或计量装置，为远程医生提供多种用户的人体生理参数的数据。

作为上述实施方式的优选，数据处理单元3还包括用于对数据进行预处理的装置或器件。其中，对数据的预处理至少包括放大、滤波、模数转换，因此，数据处理单元3还至少包括放大器、滤波器以及模数转换器。

作为上述实施方式的优选，医疗重现单元包括设于医疗端的力反馈装置43。力反馈装置43通信连接到网络服务器1，用于获取实时脉搏数据并转化成实时脉搏信息以重现现场脉诊。

作为上述实施方式的优选，远程交互单元还包括设于用户端的第一语音装置51、设于医疗端的第二语音装置52以及设于医疗端的第二相机53。第一语音装置51和第二语音装置52分别与网络服务器1通信连接，实现用户端和医疗端的语音采集与交流。第二相机53通信连接到网络服务器1，用于采集医疗端视频。该实施方式中，通过用户端的第一语音装置51和第一相机21、远程医疗端的第二语音装置52和第二相机53，建立起用户端与远程医疗端的医生之间的基于语音和视频的交流，例如，医生可以远程指引医疗现场的用户进行人体生理参数以及其他医疗数据的采集。

作为上述实施方式的优选，远程交互单元还包括指示单元。指示单元包括分别位于用户端的第一激光笔61和位于医疗端的第二激光笔62；第一激光笔61和第二激光笔62分别与网络服务器1通信连接，为远程医疗端的医生与用户端的用户交流提供介质辅助引导。作为进一步优选，医疗端还设有鼠标或摇杆装置，用于远程遥控用户端的第一激光笔62的角度，以获得更加精确地指引，例如，医生通过鼠标或遥感装置远程控制用户的第一激光笔61指向病人身体表面的部位，然后由用户将电子听诊器贴住所指的位置，实现呼吸音、心音等的远程采集，医生通过佩戴第二语音装置52实时听到病人电子听诊器的音频。

<实施例1>

在上述实施方式的基础上，本发明实施例给出网络服务器1的使用示例。

网络服务器1所处的网络环境，只需保证系统内的数据采集单元2、数据处理单元3、医疗重现单元、远程交互单元以及指示单元均可通过网络连通即可。

网络服务器1具备业务排队功能，根据带宽、数据处理单元3的性能限制，当同一端所接入的远程端超过限制时，可对远程端反馈排队信号，保证在不超过限制的条件下，按照远程端发起通讯的时间排队接入。

当本地端与多个远程端进行通讯时，如果在进行通讯的远程端之间具备点对点(P2P)连接的能力，则本地端的数据仅需通过网络服务器1发送至其中一个远程端，然后在其P2P网络内由其他远程端共享。

作为具体示例，网络服务器1采用基于X64架构的服务器，部署于公网。

<实施例2>

在实施例1的基础上，本发明实施例给出远程医疗重现系统的使用示例。

数据采集单元2中的第一相机21包括若干个可见光相机和红外相机，如图2所示，或者第一相机21包括一个可见光相机、深度相机和红外相机，如图3所示。可见光相机、深度相机和红外相机分别通过数据处理单元3通信连接到网络服务器1。红外相机用于采集用户端用户的体表温度。可见光相机采集用户端的实时影像，再配合远程交互单元的第一语音装置51、第二语音装置52以及第二相机53，建立医生和用户之间的远程交流，从而将医疗现场用户端不利于采集或的信息(例如疼痛感)通过第一语音装置51、第二语音装置52、第一相机21以及第二相机53的交流(例如手势、表情)来辅助医疗重现单元关于图像与数据的重现，供医生查看。为了提高采集精确性，图2中给出了同一波长光线且设于不同视角的若干个可见光相机的示例，获得不同视角的三维数据，通过控制器31处理输出三维重建图像。以图3中第一相机包括可见光相机、深度相机以及红外相机为例，在可见光相机、深度相机和红外相机相对位置固定的情况下，控制器31对多种相机进行位置标定，可获得可见光相机的二维图像、深度相机的三维图像与红外相机的图像之间的旋转-平移-缩放矩阵，可实现在空间中进行图像配准和数据的融合显示。因此，医疗数据至少包括可见光相机采集的影像、红外相机采集的体表温度，空间数据包括可见光相机获得的二维数据、深度相机获得的三维数据以及多种相机之间相对固定的位置信息。

在第一相机21采集数据的同时，数据采集单元2的传感计量装置22，例如血糖计、血压计、脉搏传感器、心率计以及电子听诊器等，将分别采集包括血糖、血压、脉搏、心跳、听诊信息等若干种人体生理参数。

则，医疗数据包括用户的影像、体表温度以及若干种人体生理参数的数据，是体表的二维数据；空间数据包括三维数据以及相机相对位置数据。对于医疗端的医生，控制器31将包括用户的影像、体表温度以及若干种人体生理参数的医疗数据对应配准到包括用户的三维数据和相机位置数据的空间数据并融合打包、压缩、加密上传至网络服务器1，医疗端的医生通过佩戴虚拟现实眼镜41可接收、解密以及解压配准及融合后的图像数据以虚拟图像形式重现用户端的图像及数据，即医生可看到立体、有颜色、有温度分布的三维模型。温度分布可通过调节某颜色通道的值来表示。用户的其他数据如血压，显示方式为，在图像空间中构建一个二维平面，位于三维模型与人眼连线中的三维模型一端，保证人眼观看时不失焦，血压、姓名、年龄等数据以二维平面上的文字形式进行显示，实现医生在观察用户的同时可看到用户的信息。对于用户端的用户，医疗端的可见光相机将采集与医生相关的影像发送至网络服务器1，供用户端的用户通过虚拟现实眼镜41或显示设备42进行查看。

<实施例3>

在实施例1、实施例2的基础上，本发明实施例给出医疗重现单元的使用示例。

医疗重现单元对于图像、文字、数字类的数据，以视觉重现的形式进行展示，对于触觉类的数据，通过触觉反馈系统进行触觉重现，例如用户端的脉搏传感器采集用户的实时脉搏信号并转化为实时脉搏数据传输给医疗重现单元的力反馈装置43，力反馈装置43将实时脉搏数据转化成脉搏信号实现脉诊重现。另外，通过数据处理单元对实时脉搏数据进行分析，得出脉搏分类结果的辅助诊断结论，并同样可以文字形式显示于模型旁。对于声音类数据，同样以听觉重现形式展示，例如通过远程交互单元中的第二语音装置52匹配对接数据采集单元2的第一语音装置51，实现用户与医生之间的语音采集与交流。

医疗重现单元以虚拟图像形式重现医疗现场的图像及数据是通过控制器31以及虚拟现实眼镜41来实现的。通过佩戴虚拟现实眼镜41，医疗重现单元在同一场景中可以重现多个数据采集单元2采集得到的数据，并且每个数据采集单元2的数据均以独立的模型进行重现。例如，医生通过佩戴虚拟现实眼镜41可以一次性在图像空间中看到多个病人，远程交互单元会自动识别医生所指向的病人，并在医生通过例如摇杆设备对用户端的第一激光笔51等设备进行控制时，只控制医生所指向的病人。

医疗重现单元当接收到多个数据采集单元2采集的数据时，在同一场景下可切换显示单个或多个数据采集单元2传来的数据。

医疗重现单元的显示效果不局限于立体显示，也可将得到的数据经过处理显示于平面显示设备。例如医疗重现单元为显示屏幕或全息显示屏，对方模型的重建与融合显示等，均可在全息显示的图像空间中显示，或在图像空间中得到结果后，转换为二维图像显示于显示屏。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (9)

1.一种远程医疗重现系统，其特征在于，其包括：

网络服务器，其用于数据收发、处理及加密/解密；

设于用户端的至少一个数据采集单元，其用于实时采集医疗现场的至少一种医疗数据与空间数据；

数据处理单元，其包括分别通信连接到所述网络服务器与所述数据采集单元之间的控制器；

设于医疗端和用户端的医疗重现单元，其包括与所述网络服务器通信连接的虚拟现实眼镜和/或显示设备，以及，

远程交互单元，其与所述网络服务器通信连接，用于数据的双向传输；

其中，所述控制器对采集的医疗数据与空间数据进行基于数据与空间的图像配准以及融合显示，并将配准及融合的图像数据发送至所述网络服务器；

所述虚拟现实眼镜和/或现实设备从所述网络服务器获取数据以虚拟图像形式重现用户端和医疗端的图像及数据。

2.如权利要求1所述的远程医疗重现系统，其特征在于，所述数据采集单元包括：

第一相机，其与所述控制器通信连接；

其中，所述第一相机包括波长光线不同的若干个，用于采集医疗现场不同波长光线的数据发送给所述控制器。

3.如权利要求2所述的远程医疗重现系统，其特征在于，所述第一相机至少包括：

可见光相机，其与所述控制器通信连接，用于拍摄影像发送给所述控制器以获得三维重建图像；

红外相机，其与所述控制器通信链接，用于采集体表温度发送给所述控制器；

其中，所述可见光相机与所述红外相机的相对位置固定。

4.如权利要求3所述的远程医疗重现系统，其特征在于，所述可见光相机包括同一波长光线且设于不同视角位置的若干个；

若干个所述可见光相机与所述红外相机的相对位置固定。

5.如权利要求3所述的远程医疗重现系统，其特征在于，所述第一相机还包括：

深度相机，其与所述控制器通信连接，用于直接获取三维数据发送给所述控制器；

其中，所述可见光相机、所述深度相机以及所述红外相机相对位置固定。

6.如权利要求1所述的远程医疗重现系统，其特征在于，所述数据采集单元还包括：

若干个传感计量装置，其分别通信连接到所述数据处理单元，用于对应采集若干种人体生理参数分别发送给所述数据处理单元；

其中，若干种人体生理参数至少包括血糖、血压、脉搏、心跳、听诊信息。

7.如权利要求6所述的远程医疗重现系统，其特征在于，所述医疗重现单元还包括：

设于医疗端的力反馈装置，其通信连接到所述网络服务器，用于获取实时脉搏数据并转化成实时脉搏信息以重现现场脉诊。

8.如权利要求1所述的远程医疗重现系统，其特征在于，所述远程交互单元还包括：

第一语音装置，其设于用户端；

第二语音装置，其设于医疗端；

第二相机，其设于医疗端；

其中，所述第一语音装置和所述第二语音装置分别与所述网络服务器通信连接，用于用户端与医疗端的语音采集与交流；

所述第二相机通信连接到所述网络服务器，用于采集医疗端视频。

9.如权利要求1或8所述的远程医疗重现系统，其特征在于，所述远程交互单元还包括：

指示单元，其包括分别位于所述医疗现场的第一激光笔和位于所述医疗端的第二激光笔；所述第一激光笔和所述第二激光笔分别与所述网络服务器通信连接。