CN110618749A - 一种基于增强/混合现实技术的医疗活动辅助系统 - Google Patents

一种基于增强/混合现实技术的医疗活动辅助系统 Download PDF

Info

Publication number
CN110618749A
CN110618749A CN201810629216.2A CN201810629216A CN110618749A CN 110618749 A CN110618749 A CN 110618749A CN 201810629216 A CN201810629216 A CN 201810629216A CN 110618749 A CN110618749 A CN 110618749A
Authority
CN
China
Prior art keywords
information
subsystem
medical
medical activity
augmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810629216.2A
Other languages
English (en)
Inventor
倪凤容
张勇
和阿润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810629216.2A priority Critical patent/CN110618749A/zh
Publication of CN110618749A publication Critical patent/CN110618749A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种基于增强/混合现实技术的医疗活动辅助系统。本发明主要用于医疗活动辅助，能够帮助医疗活动实施人提高医疗活动的效果和效率，例如通过数字X射线机进行X光成像的医疗活动。本发明包括信息采集子系统，信息处理子系统和信息展示子系统。其中，信息采集子系统，用于采集该单元周边物体的包括但不限于三维空间信息的特征信息;信息处理子系统，用于基于本系统服务的医疗设备的预期用途处理前述信息采集子系统采集的信息生成合适的医疗活动指示信息;信息展示子系统，用于在不影响本系统使用者对真实世界物体有效观察的情况下将前述信息处理子系统生成的指示信息展示在所需位置，从而有效的帮助医疗活动实施人的操作。

Description

一种基于增强/混合现实技术的医疗活动辅助系统
一、技术领域
本发明涉及医疗活动辅助系统，尤其是基于增强/混合现实技术的医疗活动辅助系统。
二、背景技术
医疗活动通常包括检查、诊断、治疗等环节。为了保证每一环节的正确实施，医疗活动的实施人通常必须经过长时间的专业培训与实践，付出较高的时间与人力成本，以获得相应的知识技能。然而在医疗实践中，经过培训的人员往往也会出现操作失误，导致医疗活动失败。以最为常见的医疗活动之一，数字X射线摄影系统拍片为例，在基层医院中经过培训的技师，也常常出现摆位不正确、参数设置不适当，导致所得图像质量达不到诊断要求。
部分医疗设备的厂商曾经试图通过提供文字或二维图像提示的方式对这一现象进行改善。但该类方式有以下两大缺陷：
1.与实际医疗活动的工作流的兼容性较差，对实施人的操作有一定的干扰，降低了工作效率
2.虽然给出了正确的操作指导，但不能帮助实施人指出当前操作与正确操作间的差异，或判断当前操作的正确性，因此辅助效果有限
近年来出现的增强/混合现实技术是一种高新技术，可以将虚拟的信息应用到真实的物理世界，产生新的可视化环境，并实现虚拟物体/信息与真实物体/信息的共存与互动。本发明基于这一技术，可以将对医疗活动的辅助与现有工作流无缝链接，并帮助实施人直观的理解现有操作与正确操作间的差异，将有效改善前述现有技术在医疗活动辅助上的缺陷。
三、发明内容
本发明提出一种基于增强/混合现实技术的医疗活动辅助系统，包括信息采集子系统，信息处理子系统和信息展示子系统。其中，信息采集子系统，用于采集该单元周边物体的包括但不限于三维空间信息的特征信息;信息处理子系统，用于基于本系统服务的医疗设备的预期用途处理前述信息采集子系统采集的信息生成合适的医疗活动指示信息;信息展示子系统，用于在不影响本系统使用者对真实世界物体有效观察的情况下将前述信息处理子系统生成的指示信息展示在所需位置。
可选的，所述信息采集子系统包括一个或一个以上深度传感器，能够采集包括但不限于周边物体的三维空间信息的特征信息。所述的特征信息包括但不限于物体外形尺寸、物体与物体相对位置关系、物体与深度传感器的相对位置关系以及物体与若干同深度传感器相对位置关系已知的对象的相对位置关系。
可选的，所述信息采集子系统包括一个或一个以上摄像头，能够采集包括但不限于周边物体的三维空间信息的特征信息。所述的特征信息包括但不限于物体外形尺寸、物体与物体相对位置关系、物体与深度传感器的相对位置关系以及物体与若干同深度传感器相对位置关系已知的对象的相对位置关系。
可选的，所述信息采集子系统同时包括一个或以上的深度传感器与一个或以上的摄像头，能够采集包括但不限于周边物体的三维空间信息的特征信息。所述的特征信息包括但不限于物体外形尺寸、物体与物体相对位置关系、物体与深度传感器的相对位置关系以及物体与若干同深度传感器相对位置关系已知的对象的相对位置关系。
可选的，所述信息采集子系统能够采集声音或动作指令。
可选的，所述信息处理子系统包括硬件模块和软件模块。
可选的，所述信息处理子系统能够由所述信息采集子系统获得信息。
可选的，所述信息处理子系统能够由所述信息采集子系统之外的其他信息来源获得信息。
可选的，所述信息处理子系统使用到的所述医疗设备预期用途为预先人为设定的医疗设备指定用途。
可选的，所述信息处理子系统使用到的所述医疗设备预期用途为其根据所述信息采集子系统获取的信息分析得到的医疗设备用途。
可选的，所述信息处理子系统使用到的所述医疗设备预期用途为其根据所述信息采集子系统外其他信息来源提供的信息分析得到的医疗设备用途。
可选的，所述信息处理子系统生成的所述医疗活动指导信息，可以为视觉信息，包括但不限于色彩、亮度、位置、大小、数量、动作、图标、图像、文字或事先约定含义的视觉信号。
可选的，所述信息处理子系统生成的所述医疗活动指导信息，可以为触觉信息，包括但不限于震动、电击、按压、冷热或事先约定含义的触觉信号。
可选的，所述信息处理子系统生成的所述医疗活动指导信息，可以为听觉信息，包括但不限于语音、节拍、音乐或事先约定含义的听觉信号。
可选的，所述信息处理子系统生成的所述医疗活动指导信息，包含视觉信息、触觉信息和听觉信息中的任意两种或三种的组合。
可选的，所述信息处理子系统生成的所述医疗活动指导信息需要进行基于增强/混合现实技术展示时，能够提供所述信息展示的空间位置信息。
可选的，所述信息展示子系统能够从所述信息处理子系统获得用于展示的所述医疗活动指导信息。
可选的，所述信息展示子系统能够从所述信息处理子系统之外的其他信息来源获取信息用于展示。
可选的，所述信息展示子系统能够支持增强/混合现实的展示方式，即能够对所述医疗活动实施人进行虚拟对象/信息与真实世界的对象/信息共同展示。
可选的，所述信息展示子系统能够支持增强/混合现实的展示方式，即能够对所述医疗活动实施人进行虚拟对象/信息与真实世界的对象/信息互动展示。
可选的，所述信息展示子系统能够支持增强/混合现实的展示方式，即能够对所述医疗活动实施人进行虚拟对象/信息展示时，不影响所述医疗活动实施人对真实世界的有效观察。
四、附图说明
图1为本发明第一实施例基于增强/混合现实技术的医疗活动辅助系统结构示意图；
图2为本发明第一实施例信息采集子系统结构示意图；
图3为本发明第一实施例信息处理子系统的结构示意图；
图4为本发明第一实施例信息展示子系统结构示意图；
图5为本发明第一实施例基于增强/混合现实技术的医疗活动辅助系统示意图；
五、具体实施方式
下面将结合本发明实施例中的附图，对本发明的实施方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明的实施例，本领域人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例
图1为本发明第一实施例基于增强/混合现实技术的医疗活动辅助系统结构示意图。如图1所示基于增强/混合现实技术的医疗活动辅助系统100可包括信息采集子系统110、信息处理子系统120和信息展示子系统130。
图2为本发明第一实施例信息采集子系统110结构示意图。如图2所示，信息采集子系统110可以包括深度传感器210、摄像头220、人机交互界面230、数据接口240。深度传感器210配置为采集系统周围物体的三维深度信息，基于这一信息可以获得包括但不限于物体外形尺寸、物体与物体相对位置关系、物体与深度传感器的相对位置关系以及物体与若干同深度传感器相对位置关系已知的对象的相对位置关系。摄像头220配置为采集系统周围物体环境的亮度和色彩信息，基于这一信息可以对深度传感器210所获得的信息进行有效的补充，提高三维空间信息的特征信息的有效性和准确性。人机交互界面230形式可以包括但不限于按键、触摸板、触摸屏、麦克风+耳机等，用于增加所述医疗活动实施人与本发明第一实施例所示系统100交互的方式与渠道。数据接口240形式可以为有线或无线，用于增加本发明第一实施例所示系统100获取有效信息的方式与渠道。
图3为本发明第一实施例信息处理子系统120的结构示意图。如图3所示，信息处理子系统120可以包括硬件模块310和软件模块320。硬件模块310可以包括存储单元311、处理单元312和接口单元313。存储单元311的用于保存处理所需的软件和数据、处理中的中间数据、处理完成的结果数据，处理单元312用于数据处理，接口单元313用于提供数据传输接口。软件模块320包括数据读写单元321和数据处理单元322，其中数据读写单元321用于数据的写入与读出，数据处理单元322用于信息的处理。
图4为本发明第一实施例信息展示子系统130的结构示意图。信息展示子系统130可以包括虚拟视觉信息显示模块410、虚拟听觉信息展示模块420、虚拟触觉显示模块430和接口模块440。虚拟视觉信息显示模块410可以通过给所述医疗活动实施人的左眼和有眼分别显示特定的有差异的相关图像，同时保证不遮挡所述医疗活动实施人对真实世界的观察，从而将虚拟视觉信息同真实世界有效结合，让所述医疗活动实施人能够直观的获得虚拟信息显示在真实世界特定空间位置的效果。虚拟听觉信息展示模块420，用于将听觉信息展示给所述医疗活动实施人。虚拟触觉信息展示模块430，用于将触觉信息展示给所述医疗活动实施人。接口模块440用于数据的传输。
图5为本发明第一实施例基于增强/混合现实技术的医疗活动辅助系统示意图，包括了信息采集子系统110、信息处理子系统120，信息展示子系统130，病人510和所述医疗活动实施人520。如图5所示，通过辅助机构信息展示子系统130可以直接佩戴在所述医疗活动实施人520头部，以便于所述医疗活动实施人与本发明第一实施例基于增强/混合现实技术的医疗活动辅助系统的交互。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (4)

1.一种基于增强/混合现实技术的医疗活动辅助系统，包括：1）信息采集子系统，用于采集该子系统周边物体的包括但不限于三维空间信息的特征信息;2）信息处理子系统，用于基于本系统服务的医疗设备的预期用途处理前述信息采集子系统采集的信息生成合适的医疗活动指示信息;3)信息展示子系统，用于在不影响本系统使用者对真实世界物体有效观察的情况下将前述信息处理子系统生成的指示信息展示在所需位置。
2.权利要求1中所提及的信息采集子系统，进一步要求其根据具体应用实例应当至少包括一个深度传感器或一个摄像头。
3.权利要求1中所提及的信息处理子系统，进一步要求其根据具体应用实例其生成的医疗活动指示信息应当至少包括一个图形信息或一条文字信息;
权利要求1中所提及的信息处理子系统，进一步要求其可以生成指示信息展示的位置信息。
4.权利要求1中所提及的信息展示子系统，进一步要求其根据具体应用实例应当为增强现实显示设备，即虚拟的指示信息与真实世界可以无缝结合。
CN201810629216.2A 2018-06-19 2018-06-19 一种基于增强/混合现实技术的医疗活动辅助系统 Pending CN110618749A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810629216.2A CN110618749A (zh) 2018-06-19 2018-06-19 一种基于增强/混合现实技术的医疗活动辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810629216.2A CN110618749A (zh) 2018-06-19 2018-06-19 一种基于增强/混合现实技术的医疗活动辅助系统

Publications (1)

Publication Number Publication Date
CN110618749A true CN110618749A (zh) 2019-12-27

Family

ID=68920038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810629216.2A Pending CN110618749A (zh) 2018-06-19 2018-06-19 一种基于增强/混合现实技术的医疗活动辅助系统

Country Status (1)

Country Link
CN (1) CN110618749A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243023A (zh) * 2020-01-14 2020-06-05 于金明 基于虚拟智能医疗平台的质控方法及装置
CN111228656A (zh) * 2020-01-15 2020-06-05 于金明 基于虚拟智能医疗平台的放疗外照射治疗实施质控系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243023A (zh) * 2020-01-14 2020-06-05 于金明 基于虚拟智能医疗平台的质控方法及装置
CN111243023B (zh) * 2020-01-14 2024-03-29 上海联影医疗科技股份有限公司 基于虚拟智能医疗平台的质控方法及装置
CN111228656A (zh) * 2020-01-15 2020-06-05 于金明 基于虚拟智能医疗平台的放疗外照射治疗实施质控系统及方法

Similar Documents

Publication Publication Date Title
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
US11551380B2 (en) Augmented reality interventional system providing contextual overlays
JP2021500690A (ja) 自己展開型拡張現実ベースのサービス命令ライブラリ
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
CA2813207C (en) Overlay maps for navigation of intraoral images
EP3570771B1 (en) Augmented reality for radiation dose monitoring
JP2019500176A (ja) 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品
Abbas et al. Impact of mobile augmented reality system on cognitive behavior and performance during rebar inspection tasks
CN104883975A (zh) 将3d超声和2d x射线影像组合的实时场景建模
CN112346572A (zh) 一种虚实融合实现方法、系统和电子设备
US10646190B2 (en) Radiography guide system and method
US20150005587A1 (en) Goggles for emergency diagnosis of balance disorders
CN104076481A (zh) 自动聚焦方法及其设备
CN108228124B (zh) Vr视觉测试方法、系统和设备
KR20210043174A (ko) 운동 코칭 기능을 제공하는 방법 및 이를 수행하는 전자 장치
CN110618749A (zh) 一种基于增强/混合现实技术的医疗活动辅助系统
US20200005481A1 (en) Method and system using augmentated reality for positioning of ecg electrodes
US12042340B2 (en) Method and system for the identification and handling of events in a system for the synchronization and combined display of information
JP2023169150A (ja) 三次元表示システム
CN109646047B (zh) 一种超声设备操作引导的显示方法
US8265729B2 (en) Third party acquisition of images at the direction of an independent imaging application
US8705823B2 (en) Software product for breast examination result mapping, recording, comparing, and/or tracking
JP2014226515A (ja) 診断支援システム
CN113012789A (zh) 一种病患信息的可视化方法、装置、介质及电子设备
JP6643433B2 (ja) 読影レポート作成のための支援装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191227