CN117133432A - 医疗设备及其交互方法、虚拟/增强现实设备、存储介质 - Google Patents

Abstract

本申请公开了一种医疗设备及其交互方法、虚拟/增强现实设备、存储介质。该方法包括：获取医疗设备的操作界面信息，以及获取所述医疗设备周围的环境信息；根据所述操作界面信息和所述环境信息，生成对应的三维场景图像；其中，所述三维场景图像用于模拟所述医疗设备的操作场景；显示所述三维场景图像。通过上述方式，可以远程模拟医疗设备的操作环境，以便对医疗设备进行控制。

Description

医疗设备及其交互方法、虚拟/增强现实设备、存储介质

技术领域

本申请涉及医疗设备的交互领域，特别是涉及一种医疗设备及其交 互方法、虚拟/增强现实设备、存储介质。

背景技术

新冠病毒通常通过呼吸道的飞沫传播、手触传播、气溶胶传播等， 当人员聚集时，容易通过飞沫传播和气溶胶传播感染病毒，当多人重复 操作同一仪器设备时，容易通过手触传播，即通过多人触摸同一位置而 使病毒传播。医院中每天有大量的医疗设备用于分析检测，全程需要医 护人员监测仪器数据，且通过手触按键进行相应的操作，上述工作方式增加了交叉感染的风险。因此，一些医护人员将医疗仪器的物料装备好、 仪器参数设置好后便走出检测室，但这样存在设备异常时无法及时提醒 医护人员进行设备处理的问题，处理异常问题效率较低。

发明内容

本申请主要解决的技术问题是提供一种医疗设备及其交互方法、虚 拟/增强现实设备、存储介质。通过该方法，可以远程模拟医疗设备的操 作环境，以便对医疗设备进行控制。

为了解决上述技术问题，本申请采用的一种技术方案是：提供了一 种医疗设备的交互方法，该方法包括，获取医疗设备的操作界面信息， 以及获取医疗设备周围的环境信息；根据操作界面信息和环境信息，生 成对应的三维场景图像；其中，三维场景图像用于模拟医疗设备的操作 场景；显示三维场景图像。

其中，根据操作界面信息和环境信息，生成对应的三维场景图像， 包括：根据操作界面信息和环境信息，生成对应的虚拟三维模型；其中， 虚拟三维模型中至少包括对应于医疗设备的虚拟设备，虚拟设备包括操 作界面信息对应的虚拟操作界面；根据获取的位置传感信息和虚拟三维 模型，生成对应的三维场景图像。

其中，根据操作界面信息和环境信息，生成对应的虚拟三维模型， 包括：根据环境信息，生成对应的第一虚拟三维模型；其中，第一虚拟 三维模型中包括对应于医疗设备的虚拟设备；以及根据操作界面信息， 生成对应的操作界面图像；将操作界面图像渲染至第一虚拟三维模型的 设定位置，得到对应的第二虚拟三维模型。

其中，方法还包括：获取医疗设备的监测数据，监测数据包括试剂 余量信息、检测进度信息、检测时间信息、报警信息中的至少一种；根 据操作界面信息，生成对应的操作界面图像，包括：根据操作界面信息 和检测数据，生成对应的操作界面图像；其中，操作界面图像包括操作 区域和监测区域。

其中，方法还包括：获取加速度传感数据、地磁传感数据和重力传 感数据；根据获取的位置传感信息和第二虚拟三维模型，生成对应的三 维场景图像，包括：对加速度传感数据、地磁传感数据和重力传感数据 进行融合处理，得对应的空间位置信息；根据空间位置信息和虚拟三维 模型，生成对应的三维场景图像。

其中，方法还包括：获取基于三维场景图像中目标内容的交互指令； 将交互指令发送给医疗设备，以对医疗设备的操作界面进行相应的操作。

其中，获取基于三维场景图像中目标内容的交互指令，包括：在三 维场景图像中显示一按键标识；响应于基于按键标识的确认指令，确定 按键标识在三维场景图像中的位置信息；确定三维场景图像中，与位置 信息相匹配的目标内容；产生目标内容对应的交互指令。

其中，响应于基于按键标识的确认指令，确定按键标识在三维场景 图像中的位置信息，包括：获取按键标识的轨迹信息；响应于按键标识 的轨迹信息满足预设轨迹要求，确定按键标识在三维场景图像中的位置 信息。

其中，将交互指令发送给医疗设备，以对医疗设备的操作界面进行 相应的操作，包括：响应于目标内容为控件，确定控件对应的控制指令； 将控制指令发送给医疗设备，以对医疗设备进行相应的控制。

其中，获取基于三维场景图像中目标内容的交互指令，包括：获取 语音信号，语音信号对应三维场景图像中的目标内容；生成语音信号对 应的交互指令。

其中，获取医疗设备的操作界面信息，以及获取医疗设备周围的环 境信息之前，还包括：获取预设范围内可连接的医疗设备信息；选择目 标医疗设备，建立与目标医疗设备的通信连接。

为了解决上述问题，本申请采用的另一种技术方案是：提供一种虚 拟/增强现实设备，该虚拟/增强现实设备包括处理器以及与处理器耦接 的存储器和通信模组，通信模组与医疗设备进行通信连接，存储器中存 储有计算机程序，处理器用于执行计算机程序以实现如上述的方法。

为了解决上述问题，本申请采用的另一种技术方案是：提供一种医 疗设备，该医疗设备包括交互模块，该交互模块包括处理器以及与处理 器耦接的存储器和通信模组，通信模组与医疗设备进行通信连接，存储 器中存储有计算机程序，处理器用于执行计算机程序以实现如上述的方 法。

为了解决上述问题，本申请采用的另一种技术方案是：提供一种计 算机可读存储介质，计算机可读存储介质中存储有程序数据，程序数据 在被处理器执行时，用于实现上述方法。

本申请的有益效果是：区别于现有技术的情况，本申请提供一种医 疗设备的交互方法，具体包括，获取医疗设备的操作界面信息，以及获 取医疗设备周围的环境信息；根据操作界面信息和环境信息，生成对应 的三维场景图像；其中，三维场景图像用于模拟医疗设备的操作场景； 显示三维场景图像。通过上述方法，可以实现远程模拟医疗设备操作场景，该操作场景既可以包含医疗设备的操作界面，也可以包括医疗设备 周围的环境，给用户(如医生、护士等)身临其境的感觉；进一步，由 于是远程进行模拟，实现了用户和医疗设备的无接触交互，减小病毒传 播风险。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描 述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的医疗设备的交互方法第一实施例的流程示意图；

图2是三维场景图像的示意图；

图3是图1中步骤12第一实施例的流程示意图；

图4是图3中步骤121一实施例的流程示意图；

图5是图3中步骤122一实施例的流程示意图；

图6是本申请提供的医疗设备的交互方法第二实施例的流程示意图；

图7是图6中步骤64一实施例的流程示意图；

图8是图7中步骤642一实施例的流程示意图；

图9是本申请提供的虚拟/增强现实设备一实施例的结构示意图；

图10是本申请提供的医疗设备一实施例的结构示意图；

图11是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案 进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用 于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于 描述，附图中仅示出了与本申请相关的部分而非全部方法和流程。基于 本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下 所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“包括”和“具有”以及它们任何变形，意图在于 覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、 产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列 出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固 有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结 构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位 置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥 的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是， 本文所描述的实施例可以与其它实施例相结合。

由于血液检查和尿液检查是很多疾病的基础检查项目，通过血液检 查和尿液检查能够判断当前身体的健康状况以及患病的风险，因此医院 每天要进行大量的血液分析和检测、尿液检测和化验等试验，相关医疗 设备需要全天24小时工作进行化验。在化验的过程中，医生需要手动 操作医疗设备的按钮，并且在医疗设备旁边监测检验进度等，在新冠疫 情肆虐期间，容易造成医护人员的交叉感染。因此一种无接触式远程控 制医疗设备的方法可以很好的解决上述问题。通常无接触式远程控制可 以通过电脑远程控制，类似于远程控制其他电脑桌面一样，实时获取数 据等，但是对于用户的体验感并不是很好。若是使用虚拟/增强现实设备 或交互模块，将医疗设备所处环境以及医疗设备建模出来，显示在虚拟 /增强现实设备或交互模块屏幕中，让医护人员有一种身临其境的感觉， 则能够既避免接触式交叉感染，又可以实时查看显示数据，同时还可以 远程控制医疗设备。基于上述技术背景，本申请提出一种基于虚拟/增强 现实设备或交互模块的医疗设备交互方法。

参阅图1，图1是本申请提供的医疗设备的交互方法第一实施例的 流程示意图。本实施例具体包括步骤11至13：

步骤11：获取医疗设备的操作界面信息，以及获取医疗设备周围的 环境信息。

在一实施例中，本实施例可以应用于虚拟现实设备(Virtual Reality device，VR)或增强现实设备(Augmented Reality devic，AR)。

虚拟现实设备是多媒体技术的终极应用形式，它是计算机软硬件技 术、传感技术、机器人技术、人工智能及行为心理学等科学领域飞速发 展的结晶。主要依赖于三维实时图形显示、三维定位跟踪、触觉及嗅觉 传感技术、人工智能技术、高速计算与并行计算技术以及人的行为学研 究等多项关键技术的发展。当人们戴上立体眼镜、数据手套等特制的传 感设备，面对一种三维的模拟现实，似乎置身于一个具有三维的视觉、 听觉、触觉甚至嗅觉的感觉世界，并且人与这个环境可以通过人的自然 技能和相应的设施进行信息交互。

增强现实设备是一种实时计算摄影机影像的位置及角度并加上相 应图像的技术。即增强现实设备是将虚拟信息放在现实中展现，并且让 人和虚拟信息互动。增强现实设备通过技术上的手段能够将现实与虚拟 信息进行无缝对接，将在现实中不存在的事物构建一个三维场景予以展 现，与现实生活相互衔接。

虚拟/增强现实设备在获取医疗设备的操作界面信息之前，需要建立 医疗设备与虚拟/增强现实设备的连接，具体参阅步骤S1至S2：

步骤S01：获取预设范围内可连接的医疗设备信息。

当用户想使用虚拟/增强现实设备获取医疗设备的相关信息时，首先 需要打开医疗设备的联网开关，以使医疗设备连接医院的网络。再打开 虚拟/增强现实设备的联网开关，当虚拟/增强现实设备连接网络后，搜 索预设范围内可连接的医疗设备信息并显示于虚拟/增强现实设备的屏 幕中。具体地，医疗设备与虚拟/增强现实设备可以连接于同一局域网， 同一广域网，不同局域网或者不同广域网。即二者之间可以建立通信连 接即可。

步骤S02：选择目标医疗设备，建立与目标医疗设备的通信连接。

在预设范围内，可连接的医疗设备均显示于虚拟/增强现实设备的屏 幕中，用户可以选择目标医疗设备并与目标医疗设备建立通信连接。为 了能够让用户体验身临其境的感觉，需要程序设计人员根据医疗设备的 显示界面的数据和医疗设备所处的周围环境情况和医疗设备本身的情 况，设计三维模型，以还原实验室中的真实场景。

在另一实施例中，本实施例还可以应用于医疗设备的交互模块。具 体地，本实施例中的医疗设备包含一交互模块，该交互模块与医疗设备 之间通过无线通信的方式进行数据交互。

例如，医疗设备上可以设置交互模块的放置位，该交互模块在未使 用时，可以将该交互模块放置于该放置位，进一步，基于放置位，交互 模块可以与医疗设备电连接，医疗设备可以对交互模块进行充电、数据 同步等操作。该交互模块在使用时，用户将该交互模块从放置位取出， 交互模块实现与医疗设备的无线通信连接。

进一步，该交互模块包括一显示屏，用于显示上述的三维场景图像， 以便用户基于该三维场景图像进行交互。

步骤12：根据操作界面信息和环境信息，生成对应的三维场景图像。

其中，该操作界面可以是医疗设备的显示屏显示的操作显示界面， 也可以医疗设备由实体按钮形成的操作面板界面。对于操作显示界面， 可以是实时同步的当前显示的操作显示界面，也可以是历史显示的操作 界面，还可以是数据库中存储的操作显示界面。对于操作面板界面，可 以预先根据医疗设备的种类、型号形成对应的操作面板界面存储于数据 库中。

其中，环境信息是医疗设备所处的空间环境信息。具体地，工程师 采集实验室的真实环境，具体地可以使用图片采集或者视频采集的形式， 获得素材后，利用3D建模软件对实验室的真实环境进行建模。为了使 用户的体验感更加真实，可以采用对实验室进行一比一还原式建模，且 模型中至少包括医疗设备以及与医疗设备相关的其他配件。具体地，工 程师可以使用unity软件进行建模，建模完成后，将操作界面信息显示 于虚拟医疗设备中，以给用户传递实时查看医疗设备显示数据的体验感。 最终生成三维场景图像。

具体参阅图2，图2是三维场景图像的示意图。具体地，可以观察 到在三维场景图像中，存在虚拟医疗设备，在虚拟医疗设备上具有一操 作界面，如显示界面和操作面板。在一实施例中，显示界面显示的数据 与实验室中医疗设备显示的数据一致，其操作面板也可以真实的医疗设 备的操作面板一致。在三维场景图像中不限于只显示虚拟医疗设备图像，包括实验室内其他设备及配件、操作台等图像也可以显示于三维场景图 像中。

步骤13：显示三维场景图像。

具体地，虚拟/增强现实设备或医疗设备的交互模块都具有一显示屏， 用户可以实时查看三维场景图像中虚拟设备的工作情况。

通过上述医疗设备的交互方法，该方法应用于虚拟/增强现实设备， 该方法包括，获取医疗设备的操作界面信息，以及获取医疗设备周围的 环境信息；根据操作界面信息和环境信息，生成对应的三维场景图像； 其中，三维场景图像用于模拟医疗设备的操作场景；显示三维场景图像。 通过上述方法，可以实现远程模拟医疗设备操作场景，该操作场景既可 以包含医疗设备的操作界面，也可以包括医疗设备周围的环境，给用户 (如医生、护士等)身临其境的感觉；进一步，由于是远程进行模拟， 实现了用户和医疗设备的无接触交互，减小病毒传播风险。

参阅图3，图3是图1中步骤12第一实施例的流程示意图。本实施 例具体包括步骤121至122：

步骤121：根据操作界面信息和环境信息，生成对应的虚拟三维模 型。

其中，虚拟三维模型中至少包括对应于医疗设备的虚拟设备，虚拟 设备包括操作界面信息对应的虚拟操作界面。

具体地，如图4所示，图4是图3中步骤121一实施例的流程示意 图，该步骤121可以具体包括步骤1211-1213：

步骤1211：根据环境信息，生成对应的第一虚拟三维模型；其中， 第一虚拟三维模型中包括对应于医疗设备的虚拟设备。

具体地，首先根据医疗设备所处环境的环境素材以及周围环境与医 疗设备的比例进行建模，生成第一虚拟三维模型，其中，虚拟三维模型 包括真实环境信息对应的虚拟环境图像和真实医疗设备对应的虚拟设 备。在这一步，工程师首先根据环境的外观建立环境对应的虚拟模型， 在第一虚拟三维模型中，并未涉及显示数据的实时传输，因此当用户使 用虚拟/增强现实设备体验时，并没有实时观察显示数据的身临其境感。

步骤1212：根据操作界面信息，生成对应的操作界面图像。

其中，该操作界面信息可以是对应于医疗设备显示屏的显示数据， 可以是实时显示数据，也可以是历史显示数据。该操作界面信息还可以 是医疗设备操作面板的布局信息。在本步骤中，根据操作界面信息，生 成对应的操作界面图像。

步骤1213：将操作界面图像渲染至第一虚拟三维模型的设定位置， 得到对应的第二虚拟三维模型。

可以理解地，由于第一虚拟三维模型与真实的医疗设备是相匹配的， 所以操作界面图像的渲染位置，也需要与真实的医疗设备相对应。若该 操作界面是显示界面，则将该操作界面图像渲染至第一虚拟三维模型的 显示屏位置，若该操作界面是操作面板，则将该操作界面图像渲染至第 一虚拟三维模型的操作面板位置。

步骤122：根据获取的位置传感信息和虚拟三维模型，生成对应的 三维场景图像。

具体地，虚拟/增强现实设备在使用时，随着人体姿态的变化和人体 移动位置的变化，虚拟/增强现实设备屏幕中的画面也在变化，且变化趋 势与人体动作一致，基于上述原理，用户在佩戴虚拟/增强现实设备时， 才能够产生身临其境的感受。具体地，虚拟/增强现实设备通过设置在虚 拟/增强现实设备内部的位置传感器实时采集位置传感信息，经过综合分 析后得到空间位置信息，根据空间位置信息得到虚拟三维模型的移动位 置和移动轨迹，使得用户的移动轨迹与画面的移动轨迹相对应，使得画 面能够实时移动。

具体地，当用户在佩戴虚拟/增强现实设备并静止时，虚拟/增强现 实设备的画面同样是静止的，但是虚拟设备的显示界面中会实时接收医 疗设备的显示数据并显示于虚拟设备中，因此场景中的物体位置相对于 用户并未移动，但是显示数据实时变化；当用户在佩戴虚拟/增强现实设 备并移动时，虚拟/增强现实设备的画面也在移动，场景中的物体位置相 对于用户也在移的，且移动趋势与人体运动趋势相对应。例如用户沿着 画面中医疗设备逐渐靠近，则画面中虚拟设备距离用户的距离越来越近， 且虚拟设备在画面中逐渐放大，而现实生活中，用户在沿着某一预设方 向移动，且该预设移动方向与画面中靠近虚拟设备的移动方向相对应。 因此，根据位置传感信息可以使虚拟三维模型动起来，生成对应的三维 场景图像，让用户的体验感更加真实。

在一另外的实施例中，操作界面图像对应医疗设备的显示屏的显示 界面，该操作界面图像可以具体包括操作区域和监测区域，具体地还可 以包括：获取监测数据，监测数据包括试剂余量信息、检测进度信息、 检测时间信息、报警信息中的至少一种；根据操作界面信息和检测数据， 生成对应的操作界面图像

具体地，利用医疗设备与虚拟/增强现实设备的实时传输功能，获得 医疗设备的操作界面信息和监测数据，其中监测数据包括试剂余量信息， 用于提醒用户在试剂快要用完时及时更换试剂；检测进度信息，用于提 醒用户在检测完成后，及时清理设备以及更换新的检测样品；检测时间 信息，用于提醒用户在检测完成后，及时取出检测样本以及检测报告； 报警信息，用于远程提醒用户设备遇到故障，需要及时处理。通过将上 述监测数据显示于虚拟设备的显示界面上，可以使用户实时观察各种提 示信息，以便对医疗设备及时进行维护和处理。当医疗设备遇到机械故 障或者软件故障时，用户也可以及时得到报警信息。

具体地，将医疗设备的操作界面信息传输给虚拟/增强现实设备或交 互模块，以使虚拟/增强现实设备或交互模块获得和医疗设备的显示界面 对应的虚拟设备的显示界面，同时将监测数据传输至虚拟/增强现实设备， 以使虚拟设备的显示界面上显示监测数据，得到对应的第二虚拟三维模 型。其中，第二虚拟三维模型的显示界面和显示数据与医疗设备的显示 界面和显示数据一一对应。

具体地，参阅图5，图5是图3中步骤122一实施例的流程示意图。 本实施例具体包括步骤1221至1223：

步骤1221：获取加速度传感数据、地磁传感数据和重力传感数据。

具体地，虚拟/增强现实设备或交互模块中配置有陀螺仪。陀螺仪是 一种角速度检测装置，是用高速回转体的动量矩敏感壳体相对惯性空间 绕正交于自转轴的一个或两个轴的角运动检测装置。很多手机的姿态定 位，导航系统等均使用陀螺仪进行辅助定位。通过陀螺仪可以获得众多 传感数据，包括加速度传感数据、地磁传感数据和重力传感数据，以及 一些其他惯性传感数据等，通过对上述传感数据进行分析处理，即可确 定虚拟/增强现实设备或交互模块的位置和位姿，根据上述数据对虚拟三 维模型进行移动生成对应的三维场景图像。

步骤1222：对加速度传感数据、地磁传感数据和重力传感数据进行 融合处理，得对应的空间位置信息。

具体地，通过对加速度传感数据、地磁传感数据和重力传感数据采 用卡曼滤波算法进行融合处理，可以得到表示虚拟/增强现实设备或交互 模块的空间位置参数，其中空间位置参数包括四元数或欧拉角。欧拉角 是用来确定定点转动刚体位置的3个一组独立的角参量，由章动角θ、 旋近角(即进动角Ψ)和自动角ψ组成，为欧拉首先提出而得名。四元数是一种简单的超复数，它可以描述空间里物体的朝向。通过四元数或 者欧拉角可以定位虚拟/增强现实设备或交互模块在空间中的位置和朝 向，通过定位位置和朝向可以使画面随之相应移动。

步骤1223：根据空间位置信息和虚拟三维模型，生成对应的三维场 景图像。

具体地，虚拟三维模型由多维矩阵表示，将空间位置参数和多维矩 阵相乘即可得到移动的三维场景图像。

通过上述方法，利用虚拟/增强现实设备或交互模块中的陀螺仪获得 多个惯性参数，根据惯性参数确定虚拟/增强现实设备在空间中的位置和 姿态，从而形成可移动的三维场景图像，让用户在移动时，感受到和现 实生活中一样的体验感。

参阅图6，图6是本申请提供的医疗设备的交互方法第二实施例的 流程示意图。本实施例具体包括步骤61至65：

步骤61：获取医疗设备的操作界面信息，以及获取医疗设备周围的 环境信息；

步骤62：根据操作界面信息和环境信息，生成对应的三维场景图像； 其中，三维场景图像用于模拟医疗设备的操作场景；

步骤63：显示三维场景图像。

上述步骤61-63与上述第一实施例类似，这里不再赘述。

步骤64：获取基于三维场景图像中目标内容的交互指令。

其中，该目标内容可以是三维场景图像中操作界面的任一元素，可 以是显示屏的显示内容，操作面板的按钮等。

具体地，当用户佩戴(或手持)虚拟/增强现实设备或交互模块时， 可以通过虚拟/增强现实设备或交互模块对虚拟医疗设备进行控制，产生 一交互指令。例如，当用户佩戴(或手持)虚拟/增强现实设备或交互模 块时，观察到医疗设备的试剂余量较少，需要更换医疗设备的试剂时， 可以通过虚拟/增强现实设备选择虚拟设备的暂停按钮，生成控制虚拟设 备暂停使用的交互指令。

步骤65：将交互指令发送给医疗设备，以对医疗设备的操作界面进 行相应的操作。

具体地，可以将根据虚拟设备生成的交互指令发送至医疗设备，以 控制医疗设备完成对应的操作。例如，当根据虚拟设备产生控制虚拟设 备暂停使用的指令后，将该交互指令通过传输通道发送给对应的医疗设 备，由于医疗设备与虚拟设备的功能按钮和屏幕显示数据等均一一对应， 因此医疗设备接收暂停使用的控制命令后，控制医疗设备暂停使用，同 时用户使用虚拟/增强现实设备或交互模块在屏幕中观察到，虚拟设备已 暂停使用。通过上述方式，用户可以通过虚拟/增强现实设备或交互模块 远程控制医疗设备执行对应的动作，进一步减少了手触感染的风险。

可选地，在一实施例中，步骤64中的目标内容可以是控件，即显 示的虚拟控制按钮，响应于目标内容为控件，确定控件对应的控制指令； 将控制指令发送给医疗设备，以对医疗设备进行相应的控制。

例如，该控件表示执行“暂停监测”，那么，当用户与该目标内容 产生交互生成交互指令后，再生成与该控件对应的用于控制监测项目暂 停的控制指令，以使医疗设备暂停监测。

可选地，在一实施例中，步骤64中的交互方式可以是语音交互， 获取语音信号，语音信号对应三维场景图像中的目标内容；生成语音信 号对应的交互指令。

例如，用户输入语音信号“暂停”，通过语音识别，并确定三维场 景图像中与“暂停”相关的目标内容，如确定为“暂停监测”虚拟按钮， 则产生与该虚拟按钮的交互指令，即相当于用户点击了该按钮。

进一步地，参阅图7，图7是图6中步骤64一实施例的流程示意图。 本实施例具体包括步骤641至644：

步骤641：在三维场景图像中显示一按键标识。

具体地，用户在使用虚拟/增强现实设备时，画面中会显示一个按键 标识(指示标识/光标)，该光标具有显示作用以及目标确认的作用，通 常显示于画面的正中央。该光标的移动轨迹可以与虚拟/增强现实设备的 移动轨迹一致，也可以通过与虚拟/增强现实设备对应的手柄的移动轨迹 一致，即光标可由虚拟/增强现实设备直接控制，也可以由虚拟/增强现 实设备的手柄进行控制。

步骤642：响应于基于按键标识的确认指令，确认按键标识在三维 场景图像中的位置信息。

具体地，用户在佩戴虚拟/增强现实设备后，看到屏幕中显示有一个 光标，随着人头部的移动，姿态的变化，使得光标所指示的位置也随着 画面的移动而移动。当用户想要选择虚拟设备中的某一功能按键时，用 户将虚拟/增强现实设备的光标移动到虚拟设备的对应的按键的位置上， 并停留预设时间，例如，预设时间可以为2S，在2S的时间内，光标一直处于选中该按键的状态下，则生成选择该按键标识的确认指令，同时 确认按键标识在三维场景中的位置信息，即在虚拟设备的哪个位置，菌 体对应哪个功能，以生成该功能对应的交互指令。除此以外，当用户想 要选择虚拟设备中的某一功能按键时，用户将虚拟/增强现实设备的光标 移动到虚拟设备的对应的按键的位置上，并点头两次，形成两次点头轨迹，也可以生成对于该按键标识的确认指令。

步骤643：确定三维场景图像中，与位置信息相匹配的目标内容。

在一般情况下，一个目标内容对应一定的显示区域，该位置信息大 多数情况下都位于某一目标内容的显示区域内，在这种情况下，可以认 为该位置信息与该目标内容相匹配。

在另一情况下，该位置信息与目标内容的显示区域没有完全包含， 而且有部分重叠，那么，在这种情况下，也可以认为该位置信息与该目 标内容相匹配。

在其他情况下，若目标位置没有与任何目标内容的显示区域有交叠， 可以确定以目标位置中心为原点，对该目标位置进行范围放大，再采用 上述的方式进行判定。

步骤644：产生目标内容对应的交互指令。

通过识别确认指令对应的按键标识在三维场景中的位置信息，即根 据按键标识与虚拟设备参考点的位置关系，确定按键标识对应的功能按 钮，生成对应功能的交互指令，发送给医疗设备，以使医疗设备执行对 应的控制功能。

参阅图8，图8是图7中步骤642一实施例的流程示意图。本实施 例具体包括步骤6421至6422：

步骤6421：获取按键标识的轨迹信息。

具体地，当用户佩戴虚拟/增强现实设备时，虚拟/增强现实设备会 实时记录光标的移动轨迹，并每隔一段时间分析一次移动轨迹。例如， 虚拟/增强现实设备可以每隔1S分析一次上1S的移动轨迹。

步骤6422：响应于按键标识的轨迹信息满足预设轨迹要求，确定按 键标识在三维场景图像中的位置信息。

具体地，当虚拟/增强现实设备分析光标的移动轨迹时，发现移动轨 迹与预设移动轨迹在一定误差范围内相同，则该移动轨迹为目标移动轨 迹，则生成确认指令，同时检查光标在三维场景图像中的位置信息，以 及其对应的交互指令。此时，若光标在三维场景图像中的位置对应于虚 拟设备的预设功能按键，则生成对应按键的交互指令，并且可以通过该 交互指令控制医疗设备执行对应的操作；若光标在三维场景图像中的位 置未对应任何功能按键，则该确认指令取消，继续分析光标的移动轨迹， 以找到下一个目标移动轨迹。

在另一实施例中，当虚拟/增强现实设备发现目标移动轨迹后，生成 一按键标识确认指令及其对应的功能按钮交互指令后，将该功能按钮的 控制信息显示于三维场景图像中，并在提示信息的下方标注有确认按键 和删除按键。当用户确认选中的功能按钮是正确的时，可以通过光标再 次选中确认按键，当用户确认选中的功能按钮为误触或者其他原因造成 的时，可以选中删除按键，以删除上述交互指令，以免造成错误驱动。

通过上述方法，用户可以通过虚拟/增强现实设备或交互模块实现对 医疗设备的远程控制，利用光标的移动轨迹来识别目标移动轨迹，当用 户的目标移动轨迹满足预设要求后，标识光标所处的位置为选中位置， 确认选中位置在三维场景图像中的位置信息，确认生成的控制命令，将 控制命令发送给医疗设备后，医疗设备根据控制命令执行对应的控制操 作。

综上所述，本申请提出一种医疗设备的交互方法，应用于虚拟/增强 现实设备，该方法包括：获取医疗设备的操作界面信息，以及获取医疗 设备周围的环境信息；根据操作界面信息和环境信息，生成对应的三维 场景图像；其中，三维场景图像用于模拟医疗设备的操作场景；显示三 维场景图像。通过上述方法，可以实现远程模拟医疗设备操作场景，该操作场景既可以包含医疗设备的操作界面，也可以包括医疗设备周围的 环境，给用户(如医生、护士等)身临其境的感觉；进一步，由于是远 程进行模拟，实现了用户和医疗设备的无接触交互，减小病毒传播风险。

参阅图9，图9是本申请提供的虚拟/增强现实设备一实施例的结构 示意图，该虚拟/增强现实设备100中包括处理器110、存储器120和通 信模组130。其中，处理器110和存储器120、通信模组130耦接。通 信模组130用于与医疗设备进行通信连接，存储器120中存储有计算机 程序，处理器110用于执行该计算机程序用于执行上述医疗设备的交互 方法。

参阅图10，图10是本申请提供的医疗设备一实施例的结构示意图， 该医疗设备200包括医疗设备主体(未标示)和交互模块210，该交互 模块210与医疗设备主体可拆卸连接。该交互模块210具体包括处理器 211、存储器212和通信模组213。其中，处理器211和存储器212、通 信模组213耦接。通信模组213用于与医疗设备进行通信连接，存储器212中存储有计算机程序，处理器211用于执行该计算机程序用于执行 上述医疗设备的交互方法。

其中，处理器110还可以称为CPU(Central Processing Unit，中央 处理单元)。处理器110可能是一种电子芯片，具有信号的处理能力。 处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成 电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理 器或者该处理器也可以是任何常规的处理器等。

存储器120可以为内存条、TF卡等，可以存储虚拟/增强现实设备 100中的全部信息，包括输入的原始数据、计算机程序、中间运行结果 和最终运行结果都保存在存储器120中。它根据处理器110指定的位置 存入和取出信息。有了存储器120，虚拟/增强现实设备100才有记忆功 能，才能保证正常工作。虚拟/增强现实设备100的存储器120按用途可 分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存 储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内 存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用 于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装 置，可以通过其它的方式实现。例如，以上所描述的虚拟/增强现实设备 100的实施方式仅仅是示意性的，实际实现时可以有另外的划分方式。

另外，在本申请各个实施例中的各功能单元，可以集成在一个处理 单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元 集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可 以采用软件功能单元的形式实现。

参阅图11，图11为本申请提供的计算机可读存储介质一实施例的 结构示意图，该计算机可读存储介质300中存储有能够实现上述所有方 法的程序数据310。

在本申请各个实施例中的各功能单元集成的单元如果以软件功能 单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可 读存储介质300中。基于这样的理解，本申请的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件 产品的形式体现出来，该计算机可读存储介质300在一个程序数据310 中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统 服务器，或者网络设备等)、电子设备(例如MP3、MP4等，也可以是 手机、平板电脑、可穿戴设备等用户终端，也可以是台式电脑等)或者 处理器(processor)以执行本申请各个实施方式方法的全部或部分步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、 或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实 施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一 个或多个其中包含有计算机可用程序代码的计算机可读存储介质200(包 括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序 产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程 序产品的流程图和/或方框图来描述的。应理解可由计算机可读存储介质 200实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或 方框图中的流程和/或方框的结合。可提供这些计算机可读存储介质300 到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备 的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备 的处理器执行的程序数据310产生用于实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机可读存储介质300也可存储在能引导计算机或其他可编 程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该 计算机可读存储介质300中的程序数据310产生包括指令装置的制造品， 该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。

这些计算机可读存储介质300也可装载到计算机或其他可编程数据 处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以 产生计算机实现的处理，从而在计算机或其他可编程设备上执行的程序 数据310提供用于实现在流程图一个流程或多个流程和/或方框图一个 方框或多个方框中指定的功能的步骤。

在一实施例中，这些可编程数据处理设备上包括处理器和存储器。 处理器还可以称为CPU(Central Processing Unit，中央处理单元)。处 理器可能是一种电子芯片，具有信号的处理能力。处理器还可以是通用 处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编 程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑 器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以 是任何常规的处理器等。

存储器可以为内存条、TF卡等，它根据处理器指定的位置存入和取 出信息。存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有 分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘 等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执 行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数 据会丢失。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围， 凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或 直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保 护范围内。

Claims (14)

1.一种医疗设备的交互方法，其特征在于，所述方法包括：

获取医疗设备的操作界面信息，以及获取所述医疗设备周围的环境信息；

根据所述操作界面信息和所述环境信息，生成对应的三维场景图像；其中，所述三维场景图像用于模拟所述医疗设备的操作场景；

显示所述三维场景图像。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述操作界面信息和所述环境信息，生成对应的三维场景图像，包括：

根据所述操作界面信息和所述环境信息，生成对应的虚拟三维模型；其中，所述虚拟三维模型中至少包括对应于所述医疗设备的虚拟设备，所述虚拟设备包括所述操作界面信息对应的虚拟操作界面；

根据获取的位置传感信息和所述虚拟三维模型，生成对应的三维场景图像。

3.根据权利要求2所述的方法，其特征在于，

所述根据所述操作界面信息和所述环境信息，生成对应的虚拟三维模型，包括：

根据所述环境信息，生成对应的第一虚拟三维模型；其中，所述第一虚拟三维模型中包括对应于所述医疗设备的虚拟设备；以及

根据所述操作界面信息，生成对应的操作界面图像；

将所述操作界面图像渲染至所述第一虚拟三维模型的设定位置，得到对应的第二虚拟三维模型。

4.根据权利要求3所述的方法，其特征在于，

所述方法还包括：

获取所述医疗设备的监测数据，所述监测数据包括试剂余量信息、检测进度信息、检测时间信息、报警信息中的至少一种；

所述根据所述操作界面信息，生成对应的操作界面图像，包括：

根据所述操作界面信息和所述检测数据，生成对应的操作界面图像；其中，所述操作界面图像包括操作区域和监测区域。

5.根据权利要求2所述的方法，其特征在于，

所述方法还包括：

获取加速度传感数据、地磁传感数据和重力传感数据；

所述根据获取的位置传感信息和所述第二虚拟三维模型，生成对应的三维场景图像，包括：

对所述加速度传感数据、所述地磁传感数据和所述重力传感数据进行融合处理，得对应的空间位置信息；

根据所述空间位置信息和所述虚拟三维模型，生成对应的三维场景图像。

6.根据权利要求1所述的方法，其特征在于，

所述方法还包括：

获取基于所述三维场景图像中目标内容的交互指令；

将所述交互指令发送给所述医疗设备，以对所述医疗设备的操作界面进行相应的操作。

7.根据权利要求6所述的方法，其特征在于，

所述获取基于所述三维场景图像中目标内容的交互指令，包括：

在所述三维场景图像中显示一按键标识；

响应于基于所述按键标识的确认指令，确定所述按键标识在所述三维场景图像中的位置信息；

确定所述三维场景图像中，与所述位置信息相匹配的目标内容；

产生所述目标内容对应的交互指令。

8.根据权利要求7所述的方法，其特征在于，

所述响应于基于所述按键标识的确认指令，确定所述按键标识在所述三维场景图像中的位置信息，包括：

获取所述按键标识的轨迹信息；

响应于所述按键标识的轨迹信息满足预设轨迹要求，确定所述按键标识在所述三维场景图像中的位置信息。

9.根据权利要求6所述的方法，其特征在于，

所述将所述交互指令发送给所述医疗设备，以对所述医疗设备的操作界面进行相应的操作，包括：

响应于所述目标内容为控件，确定所述控件对应的控制指令；

将所述控制指令发送给所述医疗设备，以对所述医疗设备进行相应的控制。

10.根据权利要求6所述的方法，其特征在于，

所述获取基于所述三维场景图像中目标内容的交互指令，包括：

获取语音信号，所述语音信号对应所述三维场景图像中的目标内容；

生成所述语音信号对应的交互指令。

11.根据权利要求1所述的方法，其特征在于，

所述获取医疗设备的操作界面信息，以及获取所述医疗设备周围的环境信息之前，还包括：

获取预设范围内可连接的医疗设备信息；

选择目标医疗设备，建立与所述目标医疗设备的通信连接。

12.一种虚拟/增强现实设备，其特征在于，所述虚拟/增强现实设备包括处理器以及与所述处理器耦接的存储器和通信模组，所述通信模组与医疗设备进行通信连接，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-11任一项所述的方法。

13.一种医疗设备，其特征在于，所述医疗设备包括交互模块，该交互模块包括处理器以及与所述处理器耦接的存储器和通信模组，所述通信模组与医疗设备进行通信连接，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-11任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于实现如权利要求1-11任一项所述的方法。