CN107241579A - 一种利用ar实现远程医疗会诊的方法及设备 - Google Patents

Abstract

一种利用AR实现远程医疗会诊的方法及设备，本发明将AR眼镜通过无线通信模块与远程终端控制系统远程信号连接，使得主刀医生看到的病患能够实时传送给位于远方的远程终端控制系统，让远方的专家能够身临其境般地看到主刀医生看到的病患情况，相比于手机直播、录像等大大提高了真实性，使得专家能够直观地看出病患的体征，从而无法准确地作出判断，专家不需再像以往那般四处奔波，坐在办公室便可对全国各地、甚至全球各个地方的病患进行诊疗；大大降低了医疗事故的发生率，有效提升了治疗的效率，并且由于专家的坐镇，也使得主刀医生做手术时更加镇定、更加得心应手，即便实战经验较少的实习医生也能从容应对。

Description

一种利用AR实现远程医疗会诊的方法及设备

技术领域

本发明涉及医疗会诊领域，尤其是指一种利用AR实现远程医疗会诊的方法及设备。

背景技术

如今，虽然医疗技术越来越发达，但是依然存在各种疑难杂症需要专家亲自动手方可顺利地解决，但是病患需要的在某个领域成就较高的专家有可能在别的医院或者出差，无法及时赶到，因此便有可能耽误病患的病情。

为了解决这一问题，可以让专家通过远程协助来指导主刀医生动手术，现有的远程指导方式主要包括通过移动端实时传输拍摄的画面、对病患患处进行录像再上传给专家查看等等。但是无论哪种远程指导方式，都效果极差，无法让专家直观地看出来病患的体征，从而无法准确地作出判断。

增强现实技术（AR技术）是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。它是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观 ，它是以交互性和构想为基本特征的计算机高级人机界面。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。如果能将AR技术应用到医疗领域，则将有可能彻底改变现有的医疗模式，但是至今医疗领域依然鲜有AR技术的身影。

中国发明专利一种基于AR技术和地理信息技术的埋地管线巡检方法及装置（申请公布号：CN106791620A），公开了其包括AR眼镜和安装在AR眼镜上的摄像头、数据处理融合终端；所述数据处理融合终端包括摄像头接口、GPS定位模块、网络通信模块、微处理模块、视频接口，所述摄像头接口、GPS定位模块、网络通信模块、视频接口分别与微处理模块连接；所述摄像头与摄像头接口连接，所述AR眼镜与视频接口连接。将该发明应用到现场医疗会诊，也仅能让主刀医生通过云端数据自行进行查找数据，而无法让专家在画面上与主刀医生进行动态的互动。

发明内容

本发明提供一种利用AR实现远程医疗会诊的方法及设备，其主要目的在于克服现有医疗会诊中远程指导的方式效果差，无法让专家直观地看出来病患体征的缺陷。

为解决上述技术问题，本发明采用如下技术方案：

一种利用AR实现远程医疗会诊的方法，包括以下步骤：

1)医疗现场的主刀医生戴上AR眼镜，AR眼镜上的摄像头根据主刀医生的视角实时采集当前的病患实景，并将该病患实景实时传输到CPU模块；

2)所述CPU模块通过视频接口将该病患实景传输到所述AR眼镜上进行实时的投影显示；同时，该CPU模块还将该病患实景的数据通过无线通信模块传输到远程终端控制系统上实时显示；

3)主刀医生对AR眼镜投影出来的病患实景中需要咨询的部位进行标记，该主刀医生标记的数据再实时传输至所述CPU模块中，与CPU模块中的病患实景进行叠加；

4)CPU模块将叠加有所述主刀医生标记的病患实景数据通过无线通信模块传输到所述远程终端控制系统上实时显示；

5)专家对显示在远程终端控制系统上的病患实景中需要开刀的部位或需要微创手术的创口进行标记，该专家标记的数据再通过无线通信模块实时传输到所述CPU模块，与CPU模块中的病患实景、主刀医生标记进行叠加；

6)CPU模块通过所述视频接口将叠加有所述主刀医生标记、专家标记的病患实景传输到所述AR眼镜上进行实时的投影显示；

7)步骤1～6进行的同时，主刀医生通过AR眼镜上的蓝牙耳机与位于远程终端控制系统处的专家进行实时对话。

进一步的，步骤3中，主刀医生进行标记的方法为：主刀医生通过操作与所述CPU模块信号控制连接的驱动装置使所述AR眼镜中的系统光标移动至要标记的位置进行标记。

进一步的，所述驱动装置可以为外置的触摸板、手柄、鼠标中的一种。

进一步的，所述远程终端控制系统为PC、手机、平板电脑中的一种。

一种利用AR实现远程医疗会诊的设备，包括供主刀医生佩戴的AR眼镜、装设于该AR眼镜上的摄像头、CPU模块、无线通信模块、摄像头接口、视频接口、供专家使用的远程终端控制系统以及蓝牙耳机，所述CPU模块、无线通信模块、视频接口、摄像头接口集成在一控制盒内并装设于所述AR眼镜上；

所述CPU模块通过所述无线通信模块与所述远程终端控制系统无线信号连接；

所述摄像头通过所述摄像头接口与所述CPU模块连接，所述AR眼镜通过所述视频接口与所述CPU模块连接；

所述蓝牙耳机可拆卸地卡设在所述AR眼镜的镜架上。

进一步的，所述远程终端控制系统为PC、手机、平板电脑中的一种。

进一步的，所述蓝牙耳机上具有一与所述镜架相适配的卡套，该蓝牙耳机可通过该卡套卡设在所述镜架上。

进一步的，还包括线绳，所述镜架上开设有环形槽，所述线绳一端绕设在所述环形槽内、另一端与所述蓝牙耳机连接。

和现有技术相比，本发明产生的有益效果在于:

本发明将AR眼镜通过无线通信模块与远程终端控制系统远程信号连接，使得主刀医生看到的病患能够实时传送给位于远方的远程终端控制系统，让远方的专家能够身临其境般地看到主刀医生看到的病患情况，相比于手机直播、录像等大大提高了真实性，使得专家能够直观地看出病患的体征，从而准确地作出判断，专家不需再像以往那般四处奔波，坐在办公室便可对全国各地、甚至全球各个地方的病患进行诊疗；此外，由于AR眼镜的图像叠加功能，使得主刀医生可在AR眼镜投影出来的病患实景中进行标记，并将该主刀医生标记与病患实景叠加的图像实时发送给远程终端控制系统，专家则可在远程终端控制系统上的病患实景中进行标记，并将该专家标记实时发送给CPU模块叠加，最终使得主刀医生与专家能够同步地看到病患实景、主刀医生标记、专家标记三者叠加的图像，从而让主刀医生能够在AR眼镜上与专家进行动态的互动，让主刀医生能够清楚地理解专家所指出的需要开刀的部位或需要微创手术的创口位于何处，大大降低了医疗事故的发生率，有效提升了治疗的效率，并且由于专家的坐镇，也使得主刀医生做手术时更加镇定、更加得心应手，即便实战经验较少的实习医生也能从容应对。

附图说明

图1为本发明的结构示意图。

图2为本发明中所述AR眼镜上的模块连接框图。

图3为本发明的数据信号传输框图。

图4为本发明的应用框图。

具体实施方式

下面参照附图说明本发明的具体实施方式。

参照图1、图2、图3和图4。一种利用AR实现远程医疗会诊的设备，包括供主刀医生佩戴的AR眼镜1、装设于该AR眼镜1上的摄像头2、CPU模块3、无线通信模块4、摄像头接口51、视频接口52、供专家使用的远程终端控制系统7，其中，CPU模块3、无线通信模块4、视频接口52、摄像头接口51集成在一控制盒8内并装设于AR眼镜1上；

CPU模块3通过无线通信模块4与远程终端控制系统7无线信号连接；

摄像头2通过摄像头接口51与CPU模块3连接，AR眼镜1通过视频接口52与CPU模块3连接。

具体的，参照图1、图2、图3和图4。

AR眼镜1具有镜片11和镜架12，该摄像头2可以采用双目深度摄像头，该双目深度摄像头嵌设在镜架12的中间位置，双目深度摄像头是使用立体视觉的原理（stereo，MVS）来估计深度，其利用视差原理来求取深度的，投射一个图案，然后进行比较，其能起到增强现实的作用。

无线通信模块4可以采用WiFi、2G、3G、4G等无线通信模式。

远程终端控制系统7可以为PC、手机、平板电脑、另外一个AR眼镜中的一种。远程终端控制系统7中也设有无线通信模块，并能与AR眼镜1上的无线通信模块4达成信号对接。

用于集成CPU模块3、无线通信模块4、视频接口52、摄像头接口51的控制盒8可以装设在镜架12的侧边上或者镜架12的中间位置与摄像头2邻接。

另外，参照图1、图2、图3和图4。还包括一蓝牙耳机9，所述蓝牙耳机9可拆卸地卡设在AR眼镜的镜架12上，具体应用时，也可设置一对蓝牙耳机9，并分别可拆卸地卡设在AR眼镜的镜架12的左右两侧，该蓝牙耳机与主刀医生的手机蓝牙对接，其具有接听电话的功能，使得主刀医生能通过蓝牙耳机与专家通话，而不需另外再取出手机，释放了主刀医生的双手，让他能够边通话边做手术。

参照图1、图2、图3和图4。具体的，蓝牙耳机9上具有一与镜架12相适配的卡套91，该蓝牙耳机可通过该卡套91卡设在镜架12上。另外，还包括线绳92，镜架12上开设有环形槽13，线绳92一端绕设在环形槽13内、另一端与蓝牙耳机9连接，该环形槽既能起到固定线绳的作用，而且可以避免线绳绕设在镜架12上时形成凸起而影响戴AR眼镜时的舒适感。其使用方法为：

①、当用户要使用蓝牙耳机时，对卡设在镜架两侧的蓝牙耳机稍微施力，将其取下，并插到耳朵内；由于线绳的作用，使得蓝牙耳机即便从耳朵上脱落，也不会掉落到地上，重新插上便可。

②、当用户使用完蓝牙耳机后，将蓝牙耳机拔离耳朵，将其分别移动至镜架的两侧，并使其上的卡套91正对镜架，将该卡套按压至卡设在镜架外侧。

参照图1、图2、图3和图4。一种利用AR实现远程医疗会诊的方法，包括以下步骤：

步骤一

医疗现场的主刀医生戴上AR眼镜1，AR眼镜1上的摄像头2根据主刀医生的视角实时采集当前的病患实景，并将该病患实景实时传输到CPU模块3。

步骤二

CPU模块3通过视频接口52将该病患实景传输到AR眼镜1上进行实时的投影显示；同时，该CPU模块3还将该病患实景的数据通过无线通信模块4传输到远程终端控制系统7上实时显示。

步骤三

主刀医生对AR眼镜1投影出来的病患实景中需要咨询的部位进行标记，该主刀医生标记的数据再实时传输至所述CPU模块3中，与CPU模块3中的病患实景进行叠加。

其中，主刀医生进行标记的方法为：主刀医生通过操作与CPU模块3信号控制连接的驱动装置6使AR眼镜1中的系统光标移动至要标记的位置进行标记。该驱动装置6可以为外置的触摸板、手柄、鼠标中的一种，此外，也可设置该驱动装置为指环或手环，既美观、便于携带，而且操作更加方便。

中国发明专利公开了一种光标控制方法与基于该方法的AR眼镜与智能指环（申请公布号：CN 106354253 A），该智能指环包括红外发射模块，可以发射出红外信号；蓝牙发射模块，发射蓝牙控制信号；触摸控制模块，通过不同的触摸方式，蓝牙发射模块发射出不同蓝牙控制信号以及控制红外发射模块发射红外信号。若本发明的驱动装置6设为指环，可采用该发明中智能指环的结构进行设计。

步骤四

CPU模块3将叠加有主刀医生标记的病患实景数据通过无线通信模块传输到远程终端控制系统7上实时显示。

远程终端控制系统7可以为PC、手机、平板电脑、另外一个AR眼镜中的一种。并且，远程终端控制系统7并不局限于个数只有一个，也可为复数个，且分布在各个不同的地区，即主刀医生只需要一个，远程提供指导的专家却可以有多个，从而集众专家之所长解决疑难杂症，大大提高了手术的成功率。

步骤五

专家对显示在远程终端控制系统7上的病患实景中需要开刀的部位或需要微创手术的创口进行标记，该专家标记的数据再通过无线通信模块4实时传输到CPU模块3，与CPU模块3中的病患实景、主刀医生标记进行叠加。

其中，专家进行标记的方法为：专家通过PC、手机、平板电脑或另外一个AR眼镜自带的功能组件在屏幕上显示的病患实景上相应的位置做涂抹、画圈等标记。为了进一步更加便利地让每个普通人均能无碍地进行使用，还可在AR眼镜1的系统中与远程终端控制系统7中分别安装相同的软件（如APP等），双方均打开APP便可便捷地进行互动，该APP可利用现有的APP软件，也可找专业的APP开发机构进行设计开发，此处不再赘述。

此外，专家还可以在远程终端控制系统7上通过无线通信模块4将主刀医生所需的资料、图片数据发送至CPU模块3中的存储器内供主刀医生调取查看；主刀医生调取后，资料、图片便可直接在AR眼镜上进行投影显示，之后该资料、图片数据传输至CPU模块3中，与CPU模块中的病患实景进行叠加，再传输到远程终端控制系统7上显示，专家便可在屏幕上显示的资料、图片上相应的位置做涂抹、画圈等标记以对主刀医生有疑问的地方进行解释。

步骤六

CPU模块3通过视频接口52将叠加有所述主刀医生标记、专家标记的病患实景传输到AR眼镜1上进行实时的投影显示。

若远程终端控制系统7的个数为复数个，则位于不同远程终端控制系统7处的专家可采用不同颜色的专家标记予以区分。

步骤七

步骤一～六进行的同时，主刀医生通过AR眼镜上的蓝牙耳机与位于远程终端控制系统处的专家进行实时对话。

本发明将AR眼镜通过无线通信模块与远程终端控制系统远程信号连接，使得主刀医生看到的病患能够实时传送给位于远方的远程终端控制系统，让远方的专家能够身临其境般地看到主刀医生看到的病患情况，相比于手机直播、录像等大大提高了真实性，使得专家能够直观地看出病患的体征，从而准确地作出判断，专家不需再像以往那般四处奔波，坐在办公室便可对全国各地、甚至全球各个地方的病患进行诊疗；此外，由于AR眼镜的图像叠加功能，使得主刀医生可在AR眼镜投影出来的病患实景中进行标记，并将该主刀医生标记与病患实景叠加的图像实时发送给远程终端控制系统，专家则可在远程终端控制系统上的病患实景中进行标记，并将该专家标记实时发送给CPU模块叠加，最终使得主刀医生与专家能够同步地看到病患实景、主刀医生标记、专家标记三者叠加的图像，从而让主刀医生能够在AR眼镜上与专家进行动态的互动，让主刀医生能够清楚地理解专家所指出的需要开刀的部位或需要微创手术的创口位于何处，大大降低了医疗事故的发生率，有效提升了治疗的效率，并且由于专家的坐镇，也使得主刀医生做手术时更加镇定、更加得心应手，即便实战经验较少的实习医生也能从容应对。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种利用AR实现远程医疗会诊的方法，其特征在于，包括以下步骤：

1) 医疗现场的主刀医生戴上AR眼镜，AR眼镜上的摄像头根据主刀医生的视角实时采集当前的病患实景，并将该病患实景实时传输到CPU模块；

2) 所述CPU模块通过视频接口将该病患实景传输到所述AR眼镜上进行实时的投影显示；同时，该CPU模块还将该病患实景的数据通过无线通信模块传输到远程终端控制系统上实时显示；

3) 主刀医生对AR眼镜投影出来的病患实景中需要咨询的部位进行标记，该主刀医生标记的数据再实时传输至所述CPU模块中，与CPU模块中的病患实景进行叠加；

4) CPU模块将叠加有所述主刀医生标记的病患实景数据通过无线通信模块传输到所述远程终端控制系统上实时显示；

5) 专家对显示在远程终端控制系统上的病患实景中需要开刀的部位或需要微创手术的创口进行标记，该专家标记的数据再通过无线通信模块实时传输到所述CPU模块，与CPU模块中的病患实景、主刀医生标记进行叠加；

6) CPU模块通过所述视频接口将叠加有所述主刀医生标记、专家标记的病患实景传输到所述AR眼镜上进行实时的投影显示；

7) 步骤1～6进行的同时，主刀医生通过AR眼镜上的蓝牙耳机与位于远程终端控制系统处的专家进行实时对话。

2.如权利要求1所述一种利用AR实现远程医疗会诊的方法，其特征在于：步骤3中，主刀医生进行标记的方法为：主刀医生通过操作与所述CPU模块信号控制连接的驱动装置使所述AR眼镜中的系统光标移动至要标记的位置进行标记。

3.如权利要求2所述一种利用AR实现远程医疗会诊的方法，其特征在于：所述驱动装置可以为外置的触摸板、手柄、鼠标中的一种。

4.如权利要求1所述一种利用AR实现远程医疗会诊的方法，其特征在于：所述远程终端控制系统为PC、手机、平板电脑中的一种。

5.一种利用AR实现远程医疗会诊的设备，其特征在于：包括供主刀医生佩戴的AR眼镜、装设于该AR眼镜上的摄像头、CPU模块、无线通信模块、摄像头接口、视频接口、供专家使用的远程终端控制系统以及蓝牙耳机，所述CPU模块、无线通信模块、视频接口、摄像头接口集成在一控制盒内并装设于所述AR眼镜上；

所述CPU模块通过所述无线通信模块与所述远程终端控制系统无线信号连接；

所述摄像头通过所述摄像头接口与所述CPU模块连接，所述AR眼镜通过所述视频接口与所述CPU模块连接；

所述蓝牙耳机可拆卸地卡设在所述AR眼镜的镜架上。

6.如权利要求5所述一种利用AR实现远程医疗会诊的设备，其特征在于：所述远程终端控制系统为PC、手机、平板电脑中的一种。

7.如权利要求5所述一种利用AR实现远程医疗会诊的设备，其特征在于：所述蓝牙耳机上具有一与所述镜架相适配的卡套，该蓝牙耳机可通过该卡套卡设在所述镜架上。

8.如权利要求7所述一种利用AR实现远程医疗会诊的设备，其特征在于：还包括线绳，所述镜架上开设有环形槽，所述线绳一端绕设在所述环形槽内、另一端与所述蓝牙耳机连接。