CN107368697B - 医疗设备的虚拟现实控制系统及方法 - Google Patents

医疗设备的虚拟现实控制系统及方法 Download PDF

Info

Publication number
CN107368697B
CN107368697B CN201710764341.XA CN201710764341A CN107368697B CN 107368697 B CN107368697 B CN 107368697B CN 201710764341 A CN201710764341 A CN 201710764341A CN 107368697 B CN107368697 B CN 107368697B
Authority
CN
China
Prior art keywords
control
information
data
acquiring
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710764341.XA
Other languages
English (en)
Other versions
CN107368697A (zh
Inventor
张利波
万俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201710764341.XA priority Critical patent/CN107368697B/zh
Publication of CN107368697A publication Critical patent/CN107368697A/zh
Application granted granted Critical
Publication of CN107368697B publication Critical patent/CN107368697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种医疗设备的虚拟现实控制系统,包括环境扫描设备,智能控制主机以及远程控制终端;所述环境扫描设备与所述智能控制主机通信连接;所述远程控制终端与所述智能控制主机通信连接。上述医疗设备的虚拟现实控制系统,通过将物理环境转换为数字镜像,并在远程控制终端进行虚拟现实重建,用户通过重建的虚拟现实场景对医疗设备进行操控,从而实现了对医疗设备的远程精准控制。本发明还涉及一种医疗设备的虚拟现实控制方法。

Description

医疗设备的虚拟现实控制系统及方法
技术领域
本发明涉及控制领域,特别是涉及医疗设备的虚拟现实控制系统及方法。
背景技术
随着技术的进步,越来越多的医疗设备被制造出来并被医疗机构采用。由于医疗设备的特殊性,往往需要对医疗设备进行精准控制。
但是,很多医疗设备会对近距离接触设备的人员产生放射性或者毒害性危害。例如在放疗过程中,医疗设备会产生放射线,放射线包括放射性同位素产生的α、β、γ射线和各类x射线治疗机或加速器产生的x射线、电子线、质子束及其他粒子束等。放射线会对近距离接触设备的人产生放射线危害作用,比如会造成放射性皮炎、放射性食管炎以及食欲下降、恶心、呕吐、腹痛、腹泻或便秘等诸多毒副反应。因此,如何实现远距离对医疗设备的安全精准控制,成为了需要解决的问题。
发明内容
基于此,有必要针对实现远距离对医疗设备精准控制的问题,提供一种医疗设备的虚拟现实控制系统及方法。
一种医疗设备的虚拟现实控制方法,其中,所述方法包括:
获取数字镜像;
对所述数字镜像进行重建处理,获取重建数据;
根据所述重建数据构建混合现实场景,并获取交互信息;
根据所述交互信息生成控制指令,并通过所述控制指令对所述医疗设备进行控制。
上述医疗设备的虚拟现实控制方法,通过将物理环境转换为数字镜像,并在远程控制终端进行虚拟现实重建,用户通过重建的虚拟现实场景对医疗设备进行操控,从而实现了对医疗设备的远程安全精准控制。
作为一种实施方式,其中,所述获取数字镜像包括:
对当前的物理环境进行扫描并建模,获得所述物理环境对应的数字数据,所述物理环境包括所述医疗设备;
对所述数字数据进行融合配准,生成所述数字镜像。
作为一种实施方式,其中,对所述数字镜像进行重建处理,获取重建数据包括:
分割所述数字镜像,获得静态对象和可控制对象;
根据预先设定的通信协议,将所述静态对象和所述可控制对象进行分块处理,获得重建数据。
作为一种实施方式,其中,所述根据所述重建数据构建混合现实场景包括:
获取所述重建数据;
根据预先设定的通信协议,解析所述重建数据,获得待处理数据;
融合所述待处理数据,获得模型数据;
根据所述模型数据,构建所述混合现实场景。
作为一种实施方式,其中,所述根据所述交互信息生成控制指令,并通过所述控制指令对医疗设备进行控制包括:
若存在多个所述交互信息,则根据预先设置的优先级策略,在多个交互信息中确定最优交互信息;
根据所述最优交互信息生成所述控制指令。
作为一种实施方式,其中,所述根据所述交互信息生成控制指令,并通过所述控制指令对医疗设备进行控制包括:
获取并解析所述交互信息;
获取安全策略;
在所述交互信息中提取对所述医疗设备的控制信息;
判断所述控制信息是否符合所述安全策略;
若符合,则根据所述控制信息获得安全交互信息,从而根据所述安全交互信息生成所述控制指令;
所述获取安全策略包括:
获取操控者身份信息;
根据所述的操控者身份信息在预先存储的身份数据库中匹配;
若匹配成功,则进一步获取与所述操控者身份信息对应的安全策略,或者,
所述获取安全策略包括:
获取场景信息;
根据所述的场景信息在预先存储的场景数据库中匹配;
若匹配成功,则进一步获取与所述场景信息对应的安全策略。
一种虚拟现实控制系统,其中,所述系统包括处理器以及存储器;所述存储器用于存储指令,所述指令被所述处理器执行时,导致所述系统实现如上述实施方式中任一项所述的方法。
一种医疗设备的虚拟现实控制系统,其中,所述混合现实控制系统包括环境扫描设备,智能控制主机以及远程控制终端;所述环境扫描设备与所述智能控制主机通信连接;所述远程控制终端与所述智能控制主机通信连接;
所述环境扫描设备,用于扫描物理环境,根据扫描数据生成对应的数字镜像,并将所述数字镜像发送至所述智能控制主机,所述物理环境包括所述医疗设备;
所述智能控制主机,用于将所述数字镜像进行重建处理,获取重建数据,并将所述重建数据发送至远程控制终端;
所述远程控制终端,用于根据所述重建数据构建混合现实场景以及获取交互信息,并将所述交互信息回传至所述智能控制主机,所述智能控制主机根据所述交互信息生成控制指令,并通过所述控制指令对所述医疗设备进行控制。
作为一种实施方式,其中,所述混合现实控制系统还包括操控模块,用于接收并解析所述控制指令,并根据所述控制指令对所述医疗设备进行控制;
所述操控模块与所智能控制主机通信连接。
作为一种实施方式,其中,所述远程控制终端的数量为一个或多个;
所述远程控制终端与所述智能控制主机连接;
所述智能控制主机还用于根据预先设置的优先级策略,在所述各个远程控制终端发送的交互信息中确定最优交互信息,从而根据所述最优交互信息生成所述控制指令,和/或,
所述智能控制主机还用于根据预先设置的安全策略,在所述交互信息中获取符合所述安全策略的安全交互信息,以生成所述控制指令。
上述医疗设备的虚拟现实控制系统,通过将物理环境转换为数字镜像,并在远程控制终端进行虚拟现实重建,用户通过重建的虚拟现实场景对医疗设备进行操控,从而实现了对医疗设备的远程安全精准控制。
附图说明
图1为其中一个具体实施方式提供的医疗设备的混合现实控制方法的流程图;
图2为图1所示的医疗设备的混合现实方法的步骤S120的流程图;
图3为图1所示的医疗设备的混合现实方法的步骤S140的流程图;
图4为图1所示的医疗设备的混合现实方法的步骤S160的流程图;
图5为图1所示的医疗设备的混合现实方法的步骤S180的流程图;
图6为其中一个具体实施方式提供的医疗设备的混合现实控制系统的应用场景图;
图7为其中另一个具体实施方式提供的医疗设备的混合现实控制系统的应用场景图;
图8为其中一个具体实施方式提供的医疗设备的混合现实控制系统的信息流示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
请参阅图1,图1为一个具体实施方式提供的医疗设备的混合现实控制方法的流程图,其中,所述控制方法包括:
S120,获取数字镜像。
具体地,通过即时定位和地图构建(Simultaneous Localization and Mapping,SLAM)或类似技术对包括医疗设备在内的物理环境进行扫描,扫描后可以获得包括医疗设备的物理环境的3D网络、纹理、尺寸、方向、姿态、声音等数据,并根据上述数据获得物理环境对应的数字镜像。进一步地,获取数字影像可以由环境扫描设备完成。更进一步地,所述环境扫描设备支持预设频率进行采样,即设定一个固定频率进行物理环境的扫描,可以获取最新的物理环境信息。
S140,将所述数字镜像重建处理,获取重建数据。
具体地,对数字镜像进行重建处理,获取重建数据。所述重建处理包括对所述数字镜像进行分割,并分割出静态对象和可控制对象,并进一步分类存储、标识和压缩,形成符合预先设置的协议的数据。进一步地,对数字镜像进行重建处理可以由智能控制主机完成。
S160,根据所述重建数据构建虚拟现实场景,并获取交互信息。
具体地,根据所述重建数据,通过通讯协议进行解析,经过解压、合成融合形成模型数据,并在远离被控制医疗设备的物理空间中进一步构建虚拟控制场景,即虚拟现实场景。使用者可以在远离被控制医疗设备的物理空间中构建虚拟现实场景中对医疗设备映射的虚拟设备对象进行精准控制,例如可以进行复位、强度控制,还可以与病患进行语音沟通。进一步地,构建虚拟现实场景并获取交互信息可由远程控制终端完成。
S180,根据所述交互信息生成控制指令,并通过所述控制指令对医疗设备进行控制。
具体地,根据预先设置的通信协议解析所述交互信息,并生成对医疗设备的控制指令,根据控制指令对医疗设备进行远程安全精准控制。进一步地,可以由智能控制主机根据交互信息生成控制指令,并将控制指令发送给控制模块,由控制模块解析控制指令并根据控制指令对医疗设备进行控制。可以理解,所述控制模块可以独立设置在医疗设备之外,也可以集成在医疗设备内。
上述医疗设备的虚拟现实控制方法,通过将物理环境转换为数字镜像,并在远程控制终端进行虚拟现实重建,用户通过重建的虚拟现实场景对医疗设备进行操控,从而实现了对医疗设备的远程安全精准控制。
作为一种具体实施方式,其中,所述医疗设备包括放射治疗设备及医疗影像设备的至少一种。
具体地,所述医疗设备可以是放疗设备,所述放疗设备包括并不限于KV级X射线治疗机、钴-60治疗机、医用电子直线加速器、内照射近距离后装治疗机、质子加速器等设备。所述医疗设备还可以是医疗影像设备,所述医疗影像设备包括并不限于CT(X射线计算机断层扫描系统)、磁共振仪成像系统等设备。可以理解,所述医疗设备还可以同时包括放射治疗设备及医疗影像设备。
请参阅图2,图2为一种具体实施方式提供的虚拟现实方法的步骤S120的流程图,步骤S120获取数字镜像,包括:
S122,对当前的物理环境进行扫描并建模,获得所述物理环境对应的数字数据,所述物理环境包括所述医疗设备。
具体地,可以通过一个或多个环境扫描设备对当前的物理环境进行扫描并建模,获得所述当前的物理环境对应的多个不同角度的数字数据。所述数字数据包括环境扫描设备通过扫描物理环境可以获得包括医疗设备的物理环境的3D网络、纹理、尺寸、方向、姿态、声音等数据。
S124,对所述数字数据融合配准,获得所述数字镜像。
具体地,对各个数字数据进行融合配准,获得数字镜像。通常,所述融合配准的方法包括,首先对各个所述数字数据进行预处理,通过边缘提取、傅里叶变换、小波变换等操作进行去噪等预处理。然后对数字数据进行配准,即通过特征点或模板,确定数字数据之间的变换关系并通过所述变换关系建立数字数据之间的变换模型。再后根据变换模型将所述数字数据进行融合拼接,并将拼接部分平滑化,即可得到所述物理环境对应的数字镜像。
请参阅图3,图3为一种具体实施方式提供的虚拟现实方法的步骤S140的流程图。步骤S140,所述将所述数字镜像重建处理,获取重建数据,包括:
S142,分割所述数字镜像,获得静态对象和可控制对象。
具体地,将获取的数字镜像进行分割,分割为静态对象和可控制对象。所述静态对象,是指数字镜像中所对应的物理环境中静态的不可控制的,例如桌子、椅子等部分。所述可控制对象是指数字镜像中所对应的物理环境中可以被控制的,例如医疗设备的某个控制按钮等部分。
S144,根据预先设定的通信协议,将所述静态对象和所述可控制对象进行分块处理,获得重建数据。
具体地,根据预先配置的通信协议,将所述静态对象和所述可控制对象进行分块处理,获得重建数据。所述分块处理包括对所述数字镜像的分类存储、标识和压缩,形成符合预先配置的通信协议的数据。进一步地,当获得重建数据后,广播发送所述重建数据至网络。即将重建数据广播发送至所有可以连接至同一网络中的远程控制终端中,使得各个远程控制终端可以同步获取重建数据。
请参阅图4,图4为一种具体实施方式提供的虚拟现实控制方法中步骤S160的流程图。其中,步骤S160,根据所述重建数据构建虚拟现实场景,包括:
S162,获取所述重建数据。
S164,根据预先设定的通信协议,解析所述重建数据,获得待处理数据。
S166,融合所述待处理数据,获得模型数据。
具体地,根据预先设定的通信协议,对所述重建数据进行解析,,即对重建数据进行解压、合成,融合获得模型数据。
S168,根据所述模型数据,构建所述虚拟现实场景。
具体地,根据模型数据,并根据模型数据在远离被控制医疗设备的物理空间中,构建虚拟现实场景。使用者可以在所述虚拟现实场景中对医疗设备映射的虚拟设备对象进行精准控制,例如可以进行复位、强度控制,还可以与病患进行语音沟通。可以理解,构建出的虚拟现实场景用于操控者与虚拟设备对象进行交互。
作为一种具体实施方式,其中,步骤168,根据所述模型数据,构建所述虚拟现实场景包括:
获取物理环境信息,并根据所述物理环境信息以及所述模型数据计算显示比例;根据所述显示比例以及所述模型数据构建所述虚拟现实场景。
具体地,由于所述模型数据与物理环境在尺寸上可能会存在偏差,为了能够立体精准的还原医疗设备所处的物理环境,可以根据物理度量对模型数据作进一步处理。即首先获取物理环境信息,并根据物理环境信息以及所述模型数据计算显示比例,并根据显示比例以及所述模型数据构建所述虚拟现实场景。
作为一种具体实施方式,其中,步骤180,根据所述交互信息生成控制指令,并通过所述控制指令对医疗设备进行控制的步骤包括:
若存在多个所述交互信息,则根据预先设置的优先级策略,在多个交互信息中确定最优交互信息;根据所述最优交互信息生成所述控制指令。
具体地,当多个操控者同时在多个虚拟设备对象中尝试进行操控时,即可能存在多个交互信息。可以根据需求,预先设置优先级策略,所述优先级策略用于在各个交互信息中确定最优交互信息,并根据所述最优交互信息对医疗设备进行控制。
进一步地,在一个包括多个远程控制终端的控制系统中,所述优先级策略可以是直接指定其中一个远程控制终端的交互信息作为最优交互信息;也可以是根据时间段的不同选择不同的远程控制终端,实现远程控制终端对医疗设备的轮流控制;还可以是根据交互信息的内容不同选择不同的远程控制终端,可以指定不同的远程控制终端对不同的控制项进行控制。例如,可以指定某一远程控制终端作为复位控制终端,即将该远程控制终端的交互信息作为复位最优交互信息,该远程控制终端将对医疗设备复位控制选项进行控制。还可以指定另一远程控制终端作为强度控制终端,即将该远程控制终端的交互信息作为强度最优交互信息,并根据所述最优交互信息生成控制指令。可以理解,所述优先级策略可以根据用户的身份信息进行分级管理,为不同级别的用户定制不同的优先级,从而实现对设备的协作控制。
请参阅图5,图5为一个具体实施例提供的虚拟控制方法中步骤S180的流程图。其中,所述根据所述交互信息生成控制指令,并通过所述控制指令对医疗设备进行控制的步骤包括:
S182,获取并解析所述交互信息。
具体地,获取交互信息,并根据预先设置的通信协议对交互信息进行解析。
S184,获取安全策略。
具体地,所述安全策略是指根据医疗设备配置的,并对每次用户远程操控医疗设备的交互信息进行甄别,如果本次交互信息符合预先配置的安全策略,则允许本次交互信息对医疗设备进行控制,如果不符合预先配置的安全策略,则不允许本次交互信息对医疗设备进行控制。所述安全策略可以为对某个按键的操作限制,也可以包括对某个按键的连续操作限制,还可以包括对某个药品注射剂量的限制。
S186,在所述交互信息中提取对所述医疗设备控制信息。
具体地,根据预先设置的协议在交互信息中的所有字段中提取控制信息所在的字段,获得对医疗设备的控制信息。
S188,判断所述控制信息是否符合预先设置的安全策略。
具体地,判断所述控制信息是否符合预先设置的安全策略。例如,所述医疗设备为一个放疗设备,且已知使用该设备对某个器官进行放疗时,正常器官组织的最大耐受量为5000cGy,则可以针对该设备对该器官进行放疗设置安全策略,假设预先设置的安全策略为剂量小于5000cGy,交互信息将使得该放疗设备的放疗剂量为4000cGy,则根据控制信息生成控制指令,并通过控制指令对医疗设备进行控制。如果控制信息将使得该放疗设备的放疗剂量为6000cGy,则判断本次为误操作,不生成相应的控制指令。
S189,若符合,则根据所述控制信息生成控制指令,通过所述控制指令对所述医疗设备进行控制。
具体地,如果判断控制信息符合预先设置的安全策略,将控制信息根据通信协议生成控制指令,并根据控制指令对医疗设备进行控制,从而实现对医疗设备的安全控制。如果控制信息不符合预先设置的安全策略,则判断本次为误操作,不生成相应的控制指令。
作为一种具体实施方式,其中,所述获取安全策略的步骤包括:
获取操控者身份信息;根据所述的操控者身份信息在预先存储的身份数据库中匹配;若匹配成功,则进一步获取与所述操控者身份信息对应的安全策略。
具体地,所述安全策略可以根据操控者的身份信息进行分类,给不同类别的操控者配置不同的权限等级,不同的权限等级对应不同的安全策略。例如,可以将实习医师配置为较低的权限等级,仅允许进行部分危险性较低的控制,而可以给主任医师配置较高的权限等级,允许进行需要更多医疗经验才能胜任的控制。进一步地,身份信息包括脸部信息以及语音信息的至少一种。即可以通过脸部信息进行身份认证,也可以通过语音信息进行身份认证,还可以同时通过脸部信息以及语音信息进行身份认证。
作为又一种具体实施方式,其中,所述获取安全策略的步骤包括:
获取场景信息;根据所述的场景信息在预先存储的场景数据库中匹配;若匹配成功,则进一步获取与所述场景信息对应的安全策略。
具体地,所述安全策略可以根据不同的应用场景进行预先设置,并根据自动识别的应用场景选择不同的安全策略。例如,某个药品的成人的安全注射剂量要远大于儿童的安全注射剂量,可以针对病患是成人以及病患是儿童这两个不同的应用场景建立不同的安全策略。在医疗设备上增加头像采集设备或身份识别设备,自动识别患者的身份,如果识别结果是儿童,则选择儿童对应的安全策略,当注射剂量超过儿童的安全注射剂量时,则不允许本次交互信息对医疗设备进行控制。进一步地,所述安全策略还可以通过机器自学习算法进行改进。例如通过神经网络算法对某个药品的安全注射剂量进行权重迭代。
请参阅图6,图6为其中一个具体实施方式提供的虚拟现实控制系统的应用场景图。医疗设备100是具有放射性危害且需要精准安全控制的设备,通过虚拟显示现实控制系统200来实现对医疗设备100的远程操控。虚拟现实控制系统200包括环境扫描设备210、集成于所述扫描设备210内的操控模块(未图示)、智能控制主机220以及三个远程控制设备230。可以理解,医疗设备可以是放疗设备,也可以是其他医疗影像设备,例如CT(X射线计算机断层扫描系统)、磁共振仪成像系统等。
所述环境扫描设备210,用于将物理环境转换为数字镜像,并将所述数字镜像发送至所述智能控制主机220,其中所述物理环境包括所述医疗设备100,可以理解,所述物理环境还可以包括医疗设备100所处的周围物理环境,例如周围的参照物信息或者周围的标志信息。所述环境扫描设备210可以是支持即时定位和地图构建(SimultaneousLocalization and Mapping,SLAM)的扫描设备。所述环境扫描设备通过扫描物理环境,可以获得包括医疗设备100及周围物理环境的3D网络、纹理、尺寸、方向、姿态、声音等数据,并根据上述数据获得所述物理环境对应的数字镜像。进一步地,环境扫描设备210支持以预设频率进行采样,即设定一个固定频率进行物理环境的扫描,可以获取最新的物理环境信息。再进一步地,所述虚拟现实控制系统可以有多个环境扫描设备210,通过将各个环境扫描设备设置在不同位置,获得所述物理环境的多个不同角度的数据,并将这些数据进行融合配准,从而得到更为精确、全面的所述物理环境对应的镜像数据。
所述智能控制主机220,用于将所述数字镜像进行重建处理,获取重建数据,并将所述重建数据发送至远程控制终端230。所述智能控制主机可以是任何能具有图像处理能力的计算机设备或智能终端设备。所述重建处理包括智能控制主机220对接收到的数字镜像进行分割,并分割出静态对象和可控制对象,并进一步分类存储、标识和压缩,形成符合预先设置的协议的数据。
所述远程控制终端230,用于根据所述重建数据构建虚拟现实场景,以及获取用户的交互信息,并将所述交互信息回传至所述智能控制主机220,所述智能控制主机220根据所述交互信息对所述医疗设备100进行控制。所述远程控制终端230可以是支持立体显示计算功能的终端设备。所述远程控制终端230根据所述重建数据,通过通讯协议进行解析,经过解压、合成融合形成模型数据,并进一步构建虚拟控制场景,即虚拟现实场景。使用者可以在虚拟现实场景中对医疗设备100映射的虚拟设备对象进行精准安全控制,例如可以进行复位、强度控制,还可以与病患进行语音沟通。远程控制终端230将使用者进行控制的交互信息回传给智能控制主机220,智能主机220解析远程控制终端230回传的交互信息,并根据所述控制信息获取控制指令,并通过控制指令对医疗设备100进行控制,从而完成对医疗设备100的远程安全精准控制。可以理解,所述远程控制终端230可以是如图6中的虚拟现实眼镜,也可以是其他虚拟现实设备,只要能实现本发明的目的,对具体设备类型不做限定。
上述医疗设备的虚拟现实控制系统,通过将物理环境转换为数字镜像,并在远程控制终端进行虚拟现实重建,用户通过重建的虚拟现实场景对医疗设备进行操控,从而实现了对医疗设备的远程精准安全控制。
请参阅图7,图7为另一种具体实施方式提供的虚拟现实控制系统提供的应用场景图。其中,环境扫描设备210、操控模块240、智能控制主机220以及远程控制终端230均与图6中的所述的虚拟现实控制系统类似,与图6不同的是,所述虚拟操控模块240设置于医疗设备100外,用于接收并解析所述智能控制主机220发送的控制指令,并根据所述控制指令对所述医疗设备100进行控制;所述操控模块240与所智能控制主机220通信连接。
具体地,所述操控模块240与智能控制主机220通信连接,并可以接收并解析智能控制主机220发送的控制指令,并根据控制指令对医疗设备100进行控制。可以理解,所述操控模块240可以单独设置在医疗设备100之外(如图7),也可以集成在医疗设备100中(如图6)。
上述医疗设备的虚拟现实系统,在医疗设备100不能接受并解析控制指令时,通过增加操控模块240,可以使得智能控制主机220能通过操控模块240进行控制,提高了系统的适用性。
请一并参阅图8,图8为其中一个具体实施方式提供的虚拟现实控制系统的信息流示意图。
具体地,所述环境扫描设备210将数字镜像发送给智能控制主机220进行处理,获得重建数据,智能控制主机将处理后的重建数据发送给远程控制终端230,并由所述远程控制终端230进行重建,构建出包括医疗设备的虚拟现实场景。使用者在所述虚拟现实场景中进行交互,所述远程控制终端230将使用者的交互信息发送给智能控制主机220,智能主机220解析远程控制终端230回传的交互指令,并根据交互信息获取控制指令,并将所述控制指令发送给操控模块240,并根据操控模块240对医疗设备100进行控制,从而实现了医疗设备100的远程安全精准控制。
进一步地,所述环境扫描设备210可以与所述智能控制主机220通信连接,所述通信连接的方式可以采用无线通信连接、有线通信连接,或者先将环境扫描设备210获得的数据拷贝到存储设备中,再将所述存储数据拷贝到所述智能控制主机中。所述存储设备包括并不限于U盘、软盘或者移动硬盘。同样地,所述智能控制主机220与所述远程控制终端230通信连接,所述智能控制主机230与所述操控模块240通信连接。更进一步地,所述远程控制终端230之间也可以通信连接。
作为一种实施例,其中,所述交互信息包括手势信息和/或语音信息。
具体地,所述交互信息是根据使用者通过远程控制终端230,在虚拟现实场境中对医疗设备100进行操作而生产的信息。所述交互信息可以包括手势信息,即对医疗设备100所映射的虚拟设备对象进行操作的手势信息。根据需求,可以对各种不同的手势信息进行自定义,并自定义的手势信息与对医疗设备100的复位、强度控制等控制信息进行一一对应。所述交互信息还可以进一步包括语音信息,所述语音信息包括使用者在增强现实场景中与患者进行语音沟通的信息,从而实现使用者与患者的语音沟通。通过语音沟通可以实现使用者对患者进行远程指导。可以理解,所述交互信息可以只包括手势信息也可以只包括语音信息。
作为一种具体实施方式,其中,所述环境扫描设备210包括:
数字数据生成模块,用于对当前的物理环境进行扫描,获得所述物理环境的数字数据;
数字模型获取模块,用于根据所述数字数据进行建模,获得与所述数字数据对应的数字模型;
融合配准模块,用于对所述数字模型进行融合配准,生成所述数字镜像。
作为一种具体实施方式,其中,所述智能控制主机220包括:
数字镜像分割模块,用于分割所述数字镜像,获得静态对象和可控制对象;
分块处理模块,用于根据预先设定的通信协议,将所述静态对象和所述可控制对象进行分块处理,获得重建数据。
作为一种具体实施方式,其中,所述远程控制终端230包括:
重建数据获取模块,用于重建数据并获取所述重建数据;
重建数据解析模块,用于根据预先设定的通信协议,解析所述重建数据,获得待处理数据;
模型数据获得模块,用于融合所述待处理数据,获得模型数据;
场景构建模块,用于根据所述模型数据,构建所述虚拟现实场景;
交互信息获取模块,用于获取交互信息。
作为一种实施例,其中,所述远程控制终端230的数量为一个或多个;所述远程控制终端230与所述智能控制主机220连接;
所述智能控制主机220还用于根据预先设置的优先级策略,在所述远程控制终端230发送的交互信息中确定最优交互信息,从而根据最优交互信息生成所述控制指令。
具体地,虚拟现实控制系统200可以包括一个或多个远程控制终端230。从而实现多个使用者共享对医疗设备100的控制和/或使用者相互之间的沟通讨论,进而实现用更加合理的方式更好的控制医疗设备100。
具体地,由于多个远程控制终端230均可以向智能控制主机220发送交互信息,并尝试控制医疗设备100,因此,智能控制主机220可以根据需求,预先设置优先级策略,所述优先级策略用于在各个远程控制终端230发送的交互信息中确定最优交互信息,并根据所述最优交互信息对医疗设备100进行控制。所述优先级策略可以是选定某一远程控制终端230,该远程控制终端230的交互信息为最优交互信息;也可以是根据时间段的不同选择不同的远程控制终端230,实现远程控制终端对医疗设备的轮流控制;还可以是根据交互信息的内容不同选择不同的远程控制终端230,可以指定不同的远程控制终端对不同的控制项进行控制。可以理解,所述优先级策略可以根据用户的身份信息进行分级管理,为不同级别的用户定制不同的优先级,从而实现对设备的协作控制。
作为一个具体实施例,其中,所述智能主机220还可以包括:
安全策略获取模块,用于获取安全策略;
控制信息获取模块,用于在所述交互信息中提取对所述医疗设备的控制信息;
误操作判断模块,用于判断所述控制信息是否符合所述安全策略;
控制指令生成模块,用于若符合,则根据所述控制信息获得安全交互信息,从而根据所述安全交互信息生成所述控制指令。
具体地,所述误操作判断模块可以根据不同的医疗设备配置不同的安全策略,并对每次用户远程操控医疗设备100的交互信息进行甄别,如果本次交互信息符合预先配置的安全策略,则允许本次交互信息对医疗设备100进行控制,如果不符合预先配置的安全策略,则不允许本次交互信息对医疗设备100进行控制。所述安全策略可以为对某个按键的操作,也可以包括对某个按键的连续操作,还可以包括对某个药品注射剂量的限制。
作为一种具体实施方式,其中,所述安全策略获取模块包括:
身份信息获取单元,用于获取操控者身份信息;
身份信息匹配单元,用于根据所述的操控者身份信息在预先存储的身份数据库中匹配;
第一安全策略获取单元,用于若匹配成功,则进一步获取与所述操控者身份信息对应的安全策略。
进一步地,所述身份信息获取单元包括脸部识别子单元以及语音识别子单元,分别用于采集用户的脸部信息以及语音信息,相应地,身份信息也包括脸部信息以及语音信息。
在本具体实施方式中,所述安全策略可以根据不同的应用场景进行预先设置,并根据自动识别的应用场景选择不同的安全策略。
作为一种具体实施方式,其中,所述安全策略获取模块包括:
场景信息获取单元,用于获取场景信息;
场景信息匹配单元,用于根据所述的场景信息在预先存储的场景数据库中匹配;
第二安全策略获取单元,用于若匹配成功,则进一步获取与所述场景信息对应的安全策略。
在本具体实施方式中,所述安全策略可以根据操控者的身份信息进行分类,给不同类别的操控者配置不同的权限等级,不同的权限等级对应不同的安全策略。
作为一个具体实施例,其中,控制终端230还包括习惯存储模块,所述习惯存储模块用于采集医生的操作习惯,并将采集到的操作习惯进行分析、存储。进一步地,所述习惯存储模块还可以通过机器学习的方式,根据每次采集到的医生的操作习惯,自动对已经记录的该医生的操作习惯进行更新,并在该医生下次登录后,自动将控制终端230调整到符合该医生的操作习惯的状态。以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种医疗设备的虚拟现实控制方法,其特征在于,所述方法包括:
获取数字镜像;
对所述数字镜像进行重建处理,获取重建数据;
根据所述重建数据构建虚拟现实场景,并获取交互信息;所述虚拟现实场景包括与被控制医疗设备存在映射关系的虚拟设备;
根据所述交互信息生成控制指令,并通过所述控制指令对所述医疗设备进行控制;所述对所述医疗设备进行控制包括对所述医疗设备进行操作控制;
所述根据所述交互信息生成控制指令,并通过所述控制指令对所述医疗设备进行控制包括:
根据预先设置的通信协议解析所述交互信息,并生成对医疗设备的控制指令,根据控制指令对现实场景中的医疗设备进行远程控制;
若存在多个所述交互信息,则根据预先设置的优先级策略,在多个交互信息中确定最优交互信息;根据所述最优交互信息生成所述控制指令;所述优先级策略包括根据时间段的不同选择不同的远程控制终端;
对所述数字镜像进行重建处理,获取重建数据包括:
分割所述数字镜像,获得静态对象和可控制对象;所述静态对象是指所述数字镜像中所对应的物理环境中静态的不可控制的部分,所述可控制对象是指数字镜像中所对应的物理环境中可以被控制的部分;
根据预先设定的通信协议,将所述静态对象和所述可控制对象进行分块处理,获得重建数据。
2.根据权利要求1所述的方法,其特征在于,所述获取数字镜像包括:
对当前的物理环境进行扫描并建模,获得所述物理环境对应的数字数据,所述物理环境包括所述医疗设备;
对所述数字数据进行融合配准,生成所述数字镜像。
3.根据权利要求1所述的方法,其特征在于,所述根据所述重建数据构建虚拟现实场景包括:
获取所述重建数据;
根据预先设定的通信协议,解析所述重建数据,获得待处理数据;
融合所述待处理数据,获得模型数据;
根据所述模型数据,构建所述虚拟现实场景。
4.根据权利要求1所述的方法,其特征在于,所述根据所述交互信息生成控制指令,并通过所述控制指令对医疗设备进行控制包括:
获取并解析所述交互信息;
获取安全策略;
在所述交互信息中提取对所述医疗设备的控制信息;
判断所述控制信息是否符合所述安全策略;
若符合,则根据所述控制信息获得安全交互信息,从而根据所述安全交互信息生成所述控制指令;
所述获取安全策略包括:
获取操控者身份信息;
根据所述的操控者身份信息在预先存储的身份数据库中匹配;
若匹配成功,则进一步获取与所述操控者身份信息对应的安全策略,或者,
所述获取安全策略包括:
获取场景信息;
根据所述的场景信息在预先存储的场景数据库中匹配;
若匹配成功,则进一步获取与所述场景信息对应的安全策略。
5.一种虚拟现实控制系统,其特征在于,所述系统包括处理器以及存储器;所述存储器用于存储指令,所述指令被所述处理器执行时,导致所述系统实现如权利要求1-4任一项所述的方法。
6.一种医疗设备的虚拟现实控制系统,其特征在于,所述虚拟现实控制系统包括环境扫描设备,智能控制主机以及远程控制终端;所述环境扫描设备与所述智能控制主机通信连接;所述远程控制终端与所述智能控制主机通信连接;
所述环境扫描设备,用于扫描物理环境,根据扫描数据生成对应的数字镜像,并将所述数字镜像发送至所述智能控制主机,所述物理环境包括所述医疗设备;
所述智能控制主机,用于将所述数字镜像进行重建处理,获取重建数据,并将所述重建数据发送至远程控制终端;
所述远程控制终端,用于根据所述重建数据构建虚拟现实场景以及获取交互信息,并将所述交互信息回传至所述智能控制主机,所述智能控制主机根据所述交互信息生成控制指令,并通过所述控制指令对所述医疗设备进行控制;所述虚拟现实场景包括与被控制医疗设备存在映射关系的虚拟设备;所述对所述医疗设备进行控制包括对所述医疗设备进行操作控制;
所述根据所述交互信息生成控制指令,并通过所述控制指令对所述医疗设备进行控制包括:
根据预先设置的通信协议解析所述交互信息,并生成对医疗设备的控制指令,根据控制指令对现实场景中的医疗设备进行远程控制;
若存在多个所述交互信息,则根据预先设置的优先级策略,在多个交互信息中确定最优交互信息;根据所述最优交互信息生成所述控制指令;所述优先级策略包括根据时间段的不同选择不同的远程控制终端;
所述智能控制主机包括:数字镜像分割模块,用于分割所述数字镜像,获得静态对象和可控制对象;所述静态对象是指所述数字镜像中所对应的物理环境中静态的不可控制的部分,所述可控制对象是指数字镜像中所对应的物理环境中可以被控制的部分。
7.根据权利要求6所述的系统,其特征在于,所述虚拟现实控制系统还包括操控模块,用于接收并解析所述控制指令,并根据所述控制指令对所述医疗设备进行控制;
所述操控模块与所智能控制主机通信连接。
8.根据权利要求6所述的系统,其特征在于,所述远程控制终端的数量为一个或多个;
所述远程控制终端与所述智能控制主机连接;
所述智能控制主机还用于根据预先设置的优先级策略,在各个所述远程控制终端发送的交互信息中确定最优交互信息,从而根据所述最优交互信息生成所述控制指令,和/或,
所述智能控制主机还用于根据预先设置的安全策略,在所述交互信息中获取符合所述安全策略的安全交互信息,以生成所述控制指令。
9.根据权利要求6所述的系统,其特征在于,所述远程控制终端包括:
重建数据获取模块,用于重建数据并获取所述重建数据;
重建数据解析模块,用于根据预先设定的通信协议,解析所述重建数据,获得待处理数据;
模型数据获得模块,用于融合所述待处理数据,获得模型数据;
场景构建模块,用于根据所述模型数据,构建所述虚拟现实场景;
交互信息获取模块,用于获取交互信息。
10.根据权利要求6所述的系统,其特征在于,所述智能主机还可以包括:
安全策略获取模块,用于获取安全策略;
控制信息获取模块,用于在所述交互信息中提取对所述医疗设备的控制信息;
误操作判断模块,用于判断所述控制信息是否符合所述安全策略;
控制指令生成模块,用于若符合,则根据所述控制信息获得安全交互信息,从而根据所述安全交互信息生成所述控制指令。
CN201710764341.XA 2017-08-30 2017-08-30 医疗设备的虚拟现实控制系统及方法 Active CN107368697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710764341.XA CN107368697B (zh) 2017-08-30 2017-08-30 医疗设备的虚拟现实控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710764341.XA CN107368697B (zh) 2017-08-30 2017-08-30 医疗设备的虚拟现实控制系统及方法

Publications (2)

Publication Number Publication Date
CN107368697A CN107368697A (zh) 2017-11-21
CN107368697B true CN107368697B (zh) 2020-09-22

Family

ID=60310874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710764341.XA Active CN107368697B (zh) 2017-08-30 2017-08-30 医疗设备的虚拟现实控制系统及方法

Country Status (1)

Country Link
CN (1) CN107368697B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428477A (zh) * 2018-03-30 2018-08-21 北京航空航天大学 基于数字双胞胎的云医疗仿真平台的构建方法及云医疗系统
CN108919765B (zh) * 2018-07-20 2021-06-04 王德权 一种基于数字孪生的智能制造工厂虚拟调试和虚拟监控方法及系统
CN109550159A (zh) * 2018-10-11 2019-04-02 中国科学院上海应用物理研究所 用于质子治疗装置的治疗室切换及束流换能自动化系统
CN110448902A (zh) * 2019-07-02 2019-11-15 重庆爱奇艺智能科技有限公司 对外部设备进行虚拟化映射与控制的方法、装置与系统
CN111403022B (zh) * 2020-03-13 2020-11-27 北京维卓致远医疗科技发展有限责任公司 一种医疗用可移动分体式操控系统使用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1469722A (zh) * 2000-10-10 2004-01-21 株式会社东芝 诊断设备、超声诊断设备及其操作控制方法
CN106126014A (zh) * 2016-06-16 2016-11-16 北京小米移动软件有限公司 交互界面的生成方法及装置
CN106845120A (zh) * 2017-01-19 2017-06-13 杭州古珀医疗科技有限公司 一种基于混合现实技术的远程医疗系统及其操作方法
CN106846496A (zh) * 2017-01-19 2017-06-13 杭州古珀医疗科技有限公司 基于混合现实技术的dicom影像查看系统及操作方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201302194D0 (en) * 2013-02-07 2013-03-27 Crisalix Sa 3D platform for aesthetic simulation
CN104850670A (zh) * 2014-02-17 2015-08-19 职康康 基于虚拟现实的医疗设备演示系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1469722A (zh) * 2000-10-10 2004-01-21 株式会社东芝 诊断设备、超声诊断设备及其操作控制方法
CN106126014A (zh) * 2016-06-16 2016-11-16 北京小米移动软件有限公司 交互界面的生成方法及装置
CN106845120A (zh) * 2017-01-19 2017-06-13 杭州古珀医疗科技有限公司 一种基于混合现实技术的远程医疗系统及其操作方法
CN106846496A (zh) * 2017-01-19 2017-06-13 杭州古珀医疗科技有限公司 基于混合现实技术的dicom影像查看系统及操作方法

Also Published As

Publication number Publication date
CN107368697A (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
CN107368697B (zh) 医疗设备的虚拟现实控制系统及方法
US20210308487A1 (en) Adversarial prediction of radiotherapy treatment plans
US11024084B2 (en) Systems and methods for providing medical information and for performing a medically-related process using augmented reality technology
US10825251B2 (en) Systems and methods for providing medical information and for performing a medically-related process using augmented reality technology
US10159851B2 (en) Systems and methods for automatic training of dose prediction models and treatment plans as a cloud service
US10974070B2 (en) Medical product configured to be used for image based radiotherapy planning
US11992702B2 (en) Machine learning optimization of fluence maps for radiotherapy treatment
US20190318474A1 (en) Image synthesis using adversarial networks such as for radiation therapy
US10493298B2 (en) Camera systems and methods for use in one or more areas in a medical facility
US10149987B2 (en) Method and system for generating synthetic electron density information for dose calculations based on MRI
JP2021003564A (ja) 合成医療画像を生成するためのニューラルネットワーク
RU2679969C2 (ru) Визуальная деперсонализация массивов медицинских данных для защиты при объемном 3d-рендеринге
Northway et al. Patient‐specific collision zones for 4π trajectory optimized radiation therapy
CN117377516A (zh) 用于放疗治疗的实时解剖定位监测
US20220347493A1 (en) Real-time anatomic position monitoring in radiotherapy using machine learning regression
CN111915495A (zh) 获取截断部分预测图像的方法及装置
US20190231430A1 (en) Feedback system and method for treatment planning
CN112037886B (zh) 放疗计划制定装置、方法及存储介质
KR102170176B1 (ko) 가상 패치 생성 모델의 학습 방법, 및 이를 이용한 전산화단층촬영 영상 잡음 보정 장치 및 방법
KR102373370B1 (ko) Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법
Mei et al. Registration of the Cone Beam CT and Blue‐Ray Scanned Dental Model Based on the Improved ICP Algorithm
CN117789935A (zh) 多模态图像生成方法及电子设备
Wu et al. A line profile‐based double partial fusion method for acquiring planning CT of oversized patients in radiation treatment
WO2022232749A1 (en) Real-time anatomic position monitoring for radiotherapy treatment
CN117323581A (zh) 表面引导的监测中确定感兴趣区的方法、系统和可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Patentee after: Shanghai Lianying Medical Technology Co., Ltd

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Patentee before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.