CN111223575A - 基于虚拟智能医疗平台的放射治疗辅助显示方法及系统 - Google Patents

基于虚拟智能医疗平台的放射治疗辅助显示方法及系统 Download PDF

Info

Publication number
CN111223575A
CN111223575A CN202010038183.1A CN202010038183A CN111223575A CN 111223575 A CN111223575 A CN 111223575A CN 202010038183 A CN202010038183 A CN 202010038183A CN 111223575 A CN111223575 A CN 111223575A
Authority
CN
China
Prior art keywords
data
dimensional
virtual
radiotherapy
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010038183.1A
Other languages
English (en)
Inventor
于金明
钱俊超
王琳琳
穆向魁
贺树萌
李彦飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010038183.1A priority Critical patent/CN111223575A/zh
Publication of CN111223575A publication Critical patent/CN111223575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/20ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Bioethics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种基于虚拟智能医疗平台的放射治疗辅助显示方法及系统,所述方法包括:获取放射治疗对象的相关数据;根据所述相关数据,生成放射治疗相关的三维模型;根据所述三维模型,在物理空间中,生成混合现实影像。利用本公开各实施例所述的方法,可以辅助提高放射治疗的准确性。

Description

基于虚拟智能医疗平台的放射治疗辅助显示方法及系统
技术领域
本公开涉及医疗设备领域,尤其涉及一种基于虚拟智能医疗平台的放射治疗辅助显示方法及系统。
背景技术
恶性肿瘤是严重危害人类健康的重大慢性疾病,在我国居民死因中位居第一位。放疗RT(radiation therapy)是肿瘤治疗的主要手段之一,是一种局部治疗手段,可以通过提高肿瘤照射剂量来提高局部肿瘤控制率。在实施放疗前,放射治疗实施者,比如医生等,需要确定放射治疗靶区的形状和位置,以针对癌细胞分部区域进行精准放射治疗。
但是,现有技术中,放疗实施者主要是基于其自身的解剖学知识和对放疗设备的了解,粗略地估计靶区的位置和形状,以及粗略估计治疗射束的位置。实际上是在用“看不见”的射线治疗人体内“看不见”的肿瘤。这样实施放疗的准确性较低,可能会导致无法有效消除肿瘤,或者伤害了无肿瘤的区域。
发明内容
本公开提出了一种基于虚拟智能医疗平台的放射治疗辅助显示方法及系统,以辅助提高放射治疗的准确性。
根据本公开的一方面,提供了一种基于虚拟智能医疗平台的放射治疗辅助显示方法,所述方法包括:
获取放射治疗对象的相关数据;
根据所述相关数据,生成放射治疗相关的三维模型;
根据所述三维模型,在物理空间中,生成混合现实影像。
在一种可能的实现方式中,所述根据所述相关数据,生成放射治疗相关的三维模型包括:
对所述相关数据进行解析处理,得到放射治疗相关数据;
根据所述放射治疗相关数据,建立对应的三维模型数据;
将所述三维模型转换为特定的格式,得到所述三维模型。
在一种可能的实现方式中,所述获取放射治疗对象的相关数据包括:
从DICOM RT网络获取放射治疗对象的相关数据。
在一种可能的实现方式中,所述放射治疗相关数据包括图像数据、计划数据、患者结构数据、剂量数据中的任意一种或多种。
在一种可能的实现方式中,所述三维模型包括三维结构模型、三维射野模型、三维剂量分布模型中的任意一种或多种。
在一种可能的实现方式中,所述混合现实影像包括三维结构虚拟全息影像、各角度的三维射野虚拟全息影像、三维剂量分布虚拟全息影像中的任意一种或多种。
在一种可能的实现方式中,所述三维结构虚拟全息影像包括三维临床靶区虚拟全息影像、三维计划靶区虚拟全息影像、三维危及器官虚拟全息影像中的任意一种或多种。
在一种可能的实现方式中,所述根据所述三维模型数据,在物理空间中,生成与所述特定指令对应的混合现实影像包括:
响应于来自用户的特定交互指令,根据所述三维模型,在物理空间中,生成与所述特定指令对应的混合现实影像。
在一种可能的实现方式中,所述方法还包括:
响应于来自用户的特定交互指令,取消或部分取消所述混合现实影像。
在一种可能的实现方式中,所述方法还包括:
响应于来自用户的特定交互指令,根据所述特定交互指令对应改变所述混合现实影像的显示方式。
本公开的另一方面,提供了一种基于虚拟智能医疗平台的放射治疗辅助显示系统,所述系统包括:
数据获取单元,用于获取放射治疗对象的相关数据;
数据处理单元,被配置为根据所述相关数据,生成放射治疗相关的三维模型;
混合现实单元,包括混合现实设备,被配置为根据所述三维模型,在物理空间中,生成混合现实影像。
在一种可能的实现方式中,所述数据处理单元,进一步被配置为:
对所述相关数据进行解析处理,得到放射治疗相关数据;
根据所述放射治疗相关数据,建立对应的三维模型数据;
将所述三维模型转换为特定的格式,得到所述三维模型。
在一种可能的实现方式中,所述数据获取单元与DICOM RT网络对接,用于从所述DICOM RT网络获取放射治疗对象的相关数据。
在一种可能的实现方式中,所述放射治疗相关数据包括图像数据、计划数据、患者结构数据、剂量数据中的任意一种或多种。
在一种可能的实现方式中,所述三维模型包括三维结构模型、三维射野模型、三维剂量分布模型中的任意一种或多种。
在一种可能的实现方式中,所述混合现实影像包括三维结构虚拟全息影像、各角度的三维射野影像、三维临床靶区影像、三维剂量分布虚拟全息影像中的任意一种或多种。
在一种可能的实现方式中,所述三维结构虚拟影像包括三维临床靶区虚拟全息影像、三维计划靶区虚拟全息影像、三维危及器官虚拟全息影像中的任意一种或多种。
在一种可能的实现方式中,所述混合现实单元被配置为:响应于来自用户的特定交互指令,根据所述三维模型,在物理空间中,生成与所述特定指令对应的混合现实影像。
在一种可能的实现方式中,所述混合现实单元,进一步被配置为响应于来自用户的特定交互指令,取消或部分取消所述混合现实影像。
在一种可能的实现方式中,所述混合现实单元,进一步被配置为响应于来自用户的特定交互指令,根据所述特定交互指令对应改变所述混合现实影像的显示方式。
根据本公开的各方面的实施方式,根据实际的放射治疗对象的相关数据,生成对应的三维模型数据,可以保证三维模型数据与实际相符。在接收到用户的特定交互指令时,可以在实际的物理空间中,根据三维模型数据生成包括各模型虚拟全息影像的混合现实影像,使放射治疗实施者可以直观并且多角度的观测放射治疗对象对应的全息影像,从而可以准确地掌握放射治疗靶区的位置和形状,可以辅助提高放射治疗的准确性。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出本公开一种实施例提供的一种基于虚拟智能医疗平台的放射治疗辅助显示方法的流程示意图。
图2示出本公开一种实施例中DICOM RT文件的数据构成示意图。
图3示出本公开一种实施例提供的一种基于虚拟智能医疗平台的放射治疗辅助显示系统的模块结构示意图。
图4是根据一示例性实施例示出的混合现实单元800的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,表示前后关联对象是一种“或”的关系。
本公开实施例中出现的“多个”是指两个或两个以上。本公开实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本公开实施例中对个数的特别限定,不能构成对本公开实施例的任何限制。
虚拟智能(VI)医疗平台是以虚拟现实、增强现实、混合现实等全息技术、人工智能与大数据等技术为基础构建的医疗平台,用于辅助和指导有创、微创、无创临床诊断和治疗过程,可应用于包括但不限于外科、内科、放疗科、介入科等领域。
图1示出本公开一种实施例提供的一种基于虚拟智能医疗平台的放射治疗辅助显示方法的流程示意图。所述方法可以是本公开所述的虚拟智能(VI)医疗平台执行的方法,可以基于所述虚拟智能(VI)医疗平台来实现所述方法的各种实施方式,具体的,所述方法可以包括:
S110:获取放射治疗对象的相关数据。
其中,所述放射治疗对象可以是任意需要放射治疗的患者。所述放射治疗对象的相关数据可以包括与所述对象相关的特征数据、医疗或者诊断数据等。具体的,本公开一种实施例中,所述获取放射治疗对象的相关数据可以包括:
从DICOM RT网络获取放射治疗对象的相关数据。通过与医院的DICOM(DigitalImaging and Communications in Medicine,即医学数字成像和通信)RT网络对接,可以从DICOM RT网络获取到上述的放射治疗对象的相关数据。图2示出本公开一种实施例中DICOMRT文件的数据构成示意图。即从所述DICOM RT网络发来的数据包中可以包含图2中所示的图像数据、计划数据、结构数据、剂量数据。其中,所述计划数据又可以包含有射野数据、摆位数据、患者信息等。所述射野数据可以包括射野的形状、角度、跳数、皮源距等信息,所述患者信息可以包含放射治疗对象的病历号、性别、年龄等信息。
S120:根据所述相关数据,生成放射治疗相关的三维模型。
本公开一种实施例中,所述根据所述相关数据,生成放射治疗相关的三维模型数据可以包括:
对所述相关数据进行解析处理,得到放射治疗相关数据;
根据所述放射治疗相关数据,建立对应的三维模型数据;
将所述三维模型转换为特定的格式,得到所述三维模型。
其中,所述三维模型数据可以是三维结构模型数据、三维射野模型数据、三维剂量分布模型数据中的任意一种或多种。所述三维结构模型数据可以包括患者(放射治疗对象)的人体表面的三维模型数据、人体内部的治疗病区的三维结构模型数据、人体器官的三维结构模型数据。
其中,本公开一种实施例中,所述放射治疗相关数据可以包括图像数据、计划数据、患者结构数据、剂量数据中的任意一种或多种。
在建立所述三维模型数据之前,可以对所述相关数据进行解析,得到图像数据、计划数据、患者结构数据、剂量数据等,用于所述三维模型数据的建立。
其中,所述图像数据可以是CT等DICOM格式图像数据(计算机断层摄影,ComputedTomography,简称CT)等医学影像数据。
所述计划数据可以包括放射治疗射野数据、摆位数据、患者信息数据等,所述患者信息数据中可以包括患者的身份信息、性别等,身份信息可以是姓名、病历号、ID等等。其中,所述放射治疗射野数据可以包含射野的形状、角度、跳数、源皮距SSD数据等。
所述患者结构数据可以包括患者的人体表面的数据、患者体内的治疗病区及人体器官的结构数据。
本公开一种实施例中,可以使用Python对从DICOM RT(radiation therapy,放射治疗)获取并解析得到的所述放射治疗相关数据进行所述三维重建,建立对应的三维模型,而后可以将所述三维模型转换为特定格式的三维模型文件,比如OBJ(3D模型文件格式)格式文件、STL(STereoLithography,立体光刻)格式文件等,可以便于后续的数据应用设备的读取及处理。
S130:根据所述三维模型,在物理空间中,生成混合现实影像。
其中,所述混合现实影像包括所述三维模型对应的虚拟全息影像,即在真实物理空间中投放显示所述三维模型的影像,具体可以通过混合现实设备来实现所述投放显示。
本公开一种实施例中,所述混合现实影像可以包括三维结构虚拟全息影像、各角度的三维射野虚拟全息影像、三维剂量分布虚拟全息影像中的任意一种或多种。
本公开一种实施例中,所述混合现实影像可以默认显示三维人体表面模型,所述三维人体表面模型可以响应于特定交互指令(比如手势、语音等)显示或取消显示。所述混合现实影像还可以默认显示计划中包含的所有角度射野模型,及每个射野详细信息界面,界面中可以包含各射野的名称、角度、跳数、能量等等,可以响应于特定交互指令显示或取消显示。所述混合现实影像还可以默认显示三维结构模型中的CTV及PTV靶区三维模型,及三维结构模型信息界面,界面中可以包含的所有结构名称,通过手势操作或语音等特定人机交互指令实现显示或取消显示。
而在本公开另一种实施例中,也可以响应于来自用户的特定交互指令,根据所述三维模型,在物理空间中,生成与所述特定指令对应的混合现实影像。
其中,所述特定交互指令可以是用户的身体移动、手势、视线凝视、语言等任意可用于人机交互的指令中的一种或多种。响应于所述特定交互指令,可以在真实的物理空间中生成混合现实影像,即在真实物理空间中的特定位置处生成一个或多个虚拟全息影像,虚拟影像混合在真实的物理环境中。可以便于医生等放射治疗实施人员直观地多角度地观察虚拟全息影像所反映的模型。
其中,所述三维结构虚拟全息影像可以包括三维临床靶区虚拟全息影像、三维计划靶区虚拟全息影像、三维危及器官虚拟全息影像中的任意一种或多种。
其中,所述三维射野虚拟全息影像可以包括各个角度的射野虚拟全息影像,所述射野虚拟全息影像中还可以包含有对应的射野的名称、角度、跳数、能量等射野的标识或特征。
所述三维剂量分布全息影像可以包含95%及50%等剂量线三维模型的虚拟全息影像。
其中,所述临床靶区CTV指的是影像或肉眼能见到的和可触及的恶性肿瘤的生长范围,所述计划靶区PTV包含所述临床靶区CTV,还包含器官或肿瘤自主或不自主的位移范围以及摆位造成的误差范围。对应的,所述三维临床靶区CTV虚拟全息影像可以立体地多角度地呈现出所述临床靶区CTV,所述三维计划靶区PTV虚拟全息影像可以立体地多角度地呈现出所述计划靶区,可以更加便于放射治疗实施人员直观观察到靶区的各角度的立体结构,进而可以更精确地进行放射治疗的实施。
另外,通过所述混合现实场景,实施人员不仅可以独立地观察到上述各影像,由于混合显示场景中各影像的位置关系是可以根据实际数据确定的,因此实施人员还可以通过所述混合现实场景直观地从任意角度观察射野、肿瘤、患者的位置关系,可以便于放疗辅助摆位、穿刺手术导航等。
进一步的,实施人员还可以根据需要调整各所述混合现实影像的内容以及显示方式。
本公开一种实施例中,所述方法还可以包括:响应于来自用户的特定交互指令,取消或部分取消所述混合现实影像。其中,所述特定交互指令可以是用户的身体移动、手势、视线凝视、语言等任意可用于人机交互的指令中的一种或多种。用户可以利用所述特定交互指令,实现对混合现实影像的控制,可以关闭整个混合现实影像,也可以只关闭混合全息影像中的部分虚拟全息影像。比如,可以通过手势或语音指示,取消所述各角度的三维射野虚拟全息影像的显示,也可以只取消一个角度的三维射野虚拟全息影像的显示,当然也可以通过人机交互指令,恢复上述三维射野虚拟全息影像的显示。同样的,所述三维临床靶区CTV虚拟全息影像、所述三维计划靶区PTV虚拟全息影像、所述三维剂量分布虚拟全息影像等,也可以通过特定的人机交互指令取消显示或恢复显示。
本公开一种实施例中,所述方法还可以包括:响应于来自用户的特定交互指令,根据所述特定交互指令对应改变所述混合现实影像的显示方式。具体的,比如可以通过手势、身体移动等,调整混合现实影像中各虚拟全息影像的角度、位置,即可以通过手势或身体移动旋转、移动所述虚拟全息影像,比如人体器官、临床靶区、计划靶区对应的虚拟全息影像,用户可以通过交互指令使其移动或旋转到便于观察的位置或角度。
利用上述各实施例所述的基于虚拟智能医疗平台的放射治疗辅助显示方法的实施方式,根据实际的放射治疗对象的相关数据,生成对应的三维模型数据,可以保证三维模型数据与实际相符。在接收到用户的特定交互指令时,可以在实际的物理空间中,根据三维模型数据生成包括各模型虚拟全息影像的混合现实影像,使放射治疗实施者可以直观并且多角度的观测放射治疗对象对应的全息影像,从而可以准确地掌握放射治疗靶区的位置和形状,可以辅助提高放射治疗的准确性。
另外,相对于通过电子屏幕查看DICOM RT对象的方式,可以更直观,而且医师在在观察三维影像时,也不再需要通过鼠标或类似设备对模型进行拖拽、旋转及缩放以寻找更好的观察角度,可以更省时省力。而且,相对于RT剂量、RT结构集、RT计划等需要特有专业软件进行浏览的情况,通过本公开所述方法可以跨平台、跨工作区域查看,可以给临床工作带来更多的便利。
基于上述方法的各种实施方式,本公开还提供一种基于虚拟智能医疗平台的放射治疗辅助显示系统。图3是本公开一种实施例提供的一种基于虚拟智能医疗平台的放射治疗辅助显示系统的模块结构示意图。所述系统可以应用于放射治疗,可以是本公开所述的虚拟智能(VI)医疗平台的一部分,即可以基于所述虚拟智能(VI)医疗平台实现所述系统的各种实施方式,如图3所示,所述系统可以包括:
数据获取单元101,可以用于获取放射治疗对象的相关数据;
数据处理单元102,可以被配置为根据所述相关数据,生成放射治疗相关的三维模型;
混合现实单元103,可以包括混合现实设备,可以被配置为根据所述三维模型,在物理空间中,生成混合现实影像。
其中,所述混合现实设备可以包括全息眼镜等,比如微软的Hololens全息眼镜,用户可以通过全息眼镜观看到所述混合现实影像。
本公开一种实施例中,所述数据处理单元102,可以进一步被配置为:
对所述相关数据进行解析处理,得到放射治疗相关数据;
根据所述放射治疗相关数据,建立对应的三维模型;
将所述三维模型转换为特定的格式,得到所述三维模型数据。
本公开一种实施例中,所述数据获取单元101与DICOM RT网络对接,可以用于从所述DICOM RT网络获取放射治疗对象的相关数据。所述数据获取单元101可以提供C-store(为了快速查询而设计的关系型数据库)网络服务,用于接收通过DICOM协议发送来的患者数据,提供解析服务,数据解析后生成放射治疗相关数据的JSON文件用于后续处理。进一步地,可以使用Python对DICOM RT(radiation therapy,放射治疗)对象进行所述三维重建,重建后转换为特定格式的三维模型,比如OBJ(3D模型文件格式)格式文件、STL(STereoLithography,立体光刻)格式文件等。
本公开一种实施例中,所述放射治疗相关数据包括图像数据、计划数据、患者结构数据、剂量数据中的任意一种或多种。
本公开一种实施例中,所述三维模型包括三维结构模型、三维射野模型、三维剂量分布模型中的任意一种或多种。
本公开一种实施例中,所述混合现实影像包括三维结构虚拟全息影像、各角度的三维射野影像、三维临床靶区影像、三维剂量分布虚拟全息影像中的任意一种或多种。
本公开一种实施例中,所述三维结构虚拟影像包括三维临床靶区虚拟全息影像、三维计划靶区虚拟全息影像、三维危及器官虚拟全息影像中的任意一种或多种。
本公开一种实施例中,所述混合现实单元103可以被配置为:响应于来自用户的特定交互指令,根据所述三维模型,在物理空间中,生成与所述特定指令对应的混合现实影像。
本公开一种实施例中,所述混合现实单元103,可以进一步被配置为响应于来自用户的特定交互指令,取消或部分取消所述混合现实影像。
本公开一种实施例中,所述混合现实单元103,可以进一步被配置为响应于来自用户的特定交互指令,根据所述特定交互指令对应改变所述混合现实影像的显示方式。
对于上述系统的各实施方式中涉及到的与图1、图2所示实施方式中相同或相似的流程,具体的执行方式可以按照图1、图2对应的各实施方式中所提供的执行方式执行。此处不再赘述。
图4是根据一示例性实施例示出的混合现实单元800的框图。所述混合现实单元800可以包括混合现实设备801,所述混合现实设备801还可以配置有传感器组件、多媒体组件、音频组件等。参照图4,混合现实单元800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,输入/输出(I/O)的接口812,以及通信组件816。
处理组件802通常控制混合现实单元800的整体操作,诸如与显示,数据通信,操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在混合现实单元800的操作。这些数据的示例包括用于在混合现实单元800上操作的任何应用程序或方法的指令,数据,信息,影像,音频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为混合现实单元800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为所述混合现实显示单元800生成、管理和分配电力相关联的组件。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当混合现实单元800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为混合现实单元800提供各个方面的状态评估。例如,传感器组件814可以检测到混合现实单元800的打开/关闭状态,组件的相对定位,例如所述组件为混合现实单元800的显示器和小键盘,传感器组件814还可以检测混合现实单元800或混合现实显示单元800一个组件的位置改变,用户与混合现实单元800接触的存在或不存在,混合现实显示单元800方位或加速/减速和混合现实单元800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于混合现实单元800和其他设备之间有线或无线方式的通信。混合现实单元800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (20)

1.一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述方法包括:
获取放射治疗对象的相关数据;
根据所述相关数据,生成放射治疗相关的三维模型;
根据所述三维模型,在物理空间中,生成混合现实影像。
2.如权利要求1所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述根据所述相关数据,生成放射治疗相关的三维模型包括:
对所述相关数据进行解析处理,得到放射治疗相关数据;
根据所述放射治疗相关数据,建立对应的三维模型数据;
将所述三维模型转换为特定的格式,得到所述三维模型。
3.如权利要求1所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述获取放射治疗对象的相关数据包括:
从DICOM RT网络获取放射治疗对象的相关数据。
4.如权利要求2所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述放射治疗相关数据包括图像数据、计划数据、患者结构数据、剂量数据中的任意一种或多种。
5.如权利要求2所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述三维模型包括三维结构模型、三维射野模型、三维剂量分布模型中的任意一种或多种。
6.如权利要求1所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述混合现实影像包括三维结构虚拟全息影像、各角度的三维射野虚拟全息影像、三维剂量分布虚拟全息影像中的任意一种或多种。
7.如权利要求6所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述三维结构虚拟全息影像包括三维临床靶区虚拟全息影像、三维计划靶区虚拟全息影像、三维危及器官虚拟全息影像中的任意一种或多种。
8.如权利要求1所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述根据所述三维模型数据,在物理空间中,生成与所述特定指令对应的混合现实影像包括:
响应于来自用户的特定交互指令,根据所述三维模型,在物理空间中,生成与所述特定指令对应的混合现实影像。
9.如权利要求1所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述方法还包括:
响应于来自用户的特定交互指令,取消或部分取消所述混合现实影像。
10.如权利要求1所述的一种基于虚拟智能医疗平台的放射治疗辅助显示方法,其特征在于,所述方法还包括:
响应于来自用户的特定交互指令,根据所述特定交互指令对应改变所述混合现实影像的显示方式。
11.一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述系统包括:
数据获取单元,用于获取放射治疗对象的相关数据;
数据处理单元,被配置为根据所述相关数据,生成放射治疗相关的三维模型;
混合现实单元,包括混合现实设备,被配置为根据所述三维模型,在物理空间中,生成混合现实影像。
12.如权利要求11所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述数据处理单元,进一步被配置为:
对所述相关数据进行解析处理,得到放射治疗相关数据;
根据所述放射治疗相关数据,建立对应的三维模型数据;
将所述三维模型转换为特定的格式,得到所述三维模型。
13.如权利要求11所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述数据获取单元与DICOM RT网络对接,用于从所述DICOM RT网络获取放射治疗对象的相关数据。
14.如权利要求12所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述放射治疗相关数据包括图像数据、计划数据、患者结构数据、剂量数据中的任意一种或多种。
15.如权利要求11或12所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述三维模型包括三维结构模型、三维射野模型、三维剂量分布模型中的任意一种或多种。
16.如权利要求11所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述混合现实影像包括三维结构虚拟全息影像、各角度的三维射野影像、三维临床靶区影像、三维剂量分布虚拟全息影像中的任意一种或多种。
17.如权利要求16所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述三维结构虚拟影像包括三维临床靶区虚拟全息影像、三维计划靶区虚拟全息影像、三维危及器官虚拟全息影像中的任意一种或多种。
18.如权利要求11所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述混合现实单元被配置为:响应于来自用户的特定交互指令,根据所述三维模型,在物理空间中,生成与所述特定指令对应的混合现实影像。
19.如权利要求11所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述混合现实单元,进一步被配置为响应于来自用户的特定交互指令,取消或部分取消所述混合现实影像。
20.如权利要求11所述的一种基于虚拟智能医疗平台的放射治疗辅助显示系统,其特征在于,所述混合现实单元,进一步被配置为响应于来自用户的特定交互指令,根据所述特定交互指令对应改变所述混合现实影像的显示方式。
CN202010038183.1A 2020-01-14 2020-01-14 基于虚拟智能医疗平台的放射治疗辅助显示方法及系统 Pending CN111223575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010038183.1A CN111223575A (zh) 2020-01-14 2020-01-14 基于虚拟智能医疗平台的放射治疗辅助显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010038183.1A CN111223575A (zh) 2020-01-14 2020-01-14 基于虚拟智能医疗平台的放射治疗辅助显示方法及系统

Publications (1)

Publication Number Publication Date
CN111223575A true CN111223575A (zh) 2020-06-02

Family

ID=70828219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010038183.1A Pending CN111223575A (zh) 2020-01-14 2020-01-14 基于虚拟智能医疗平台的放射治疗辅助显示方法及系统

Country Status (1)

Country Link
CN (1) CN111223575A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111870825A (zh) * 2020-07-31 2020-11-03 于金明 基于虚拟智能医疗平台的放射治疗精确逐野摆位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1724089A (zh) * 2004-07-23 2006-01-25 吴大可 三维适形近距离放射治疗集成系统
CN105893772A (zh) * 2016-04-20 2016-08-24 上海联影医疗科技有限公司 用于放射治疗计划的数据获取方法和装置
CN107358607A (zh) * 2017-08-13 2017-11-17 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗视觉监测与视觉伺服智能控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1724089A (zh) * 2004-07-23 2006-01-25 吴大可 三维适形近距离放射治疗集成系统
CN105893772A (zh) * 2016-04-20 2016-08-24 上海联影医疗科技有限公司 用于放射治疗计划的数据获取方法和装置
CN107358607A (zh) * 2017-08-13 2017-11-17 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗视觉监测与视觉伺服智能控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶哲伟主编: "《医学混合现实》", pages: 145 - 148 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111870825A (zh) * 2020-07-31 2020-11-03 于金明 基于虚拟智能医疗平台的放射治疗精确逐野摆位方法
CN111870825B (zh) * 2020-07-31 2023-08-18 于金明 基于虚拟智能医疗平台的放射治疗精确逐野摆位方法

Similar Documents

Publication Publication Date Title
Park et al. Augmented and mixed reality: technologies for enhancing the future of IR
US11532135B2 (en) Dual mode augmented reality surgical system and method
US20210022812A1 (en) Surgical Navigation Inside A Body
US20210057080A1 (en) Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
CN109567954B (zh) 图像引导程序的工作流程辅助系统及方法
Müller et al. Mobile augmented reality for computer-assisted percutaneous nephrolithotomy
CN109419524B (zh) 医学成像系统的控制
CN111261265B (zh) 基于虚拟智能医疗平台的医学影像系统
CN104394932B (zh) 实时医学治疗的视频图形显示
CN109313698A (zh) 同步的表面和内部肿瘤检测
Wen et al. Augmented reality guidance with multimodality imaging data and depth-perceived interaction for robot-assisted surgery
CN112116575A (zh) 一种图像处理方法及装置、电子设备和存储介质
WO2019238209A1 (en) Gesture control of medical displays
Liu et al. Toward intraoperative image-guided transoral robotic surgery
Zhao et al. Augmented reality technology in image-guided therapy: State-of-the-art review
US11925418B2 (en) Methods for multi-modal bioimaging data integration and visualization
WO2019110135A1 (en) Augmented reality assistance in medical procedure preparation
Esposito et al. Multimodal US–gamma imaging using collaborative robotics for cancer staging biopsies
Tang et al. Choledochoscopic examination of a 3-dimensional printing model using augmented reality techniques: a preliminary proof of concept study
Wagner et al. Future directions in robotic neurosurgery
CN111223575A (zh) 基于虚拟智能医疗平台的放射治疗辅助显示方法及系统
CN111223576A (zh) 基于虚拟智能医疗平台的患者宣教系统
US20230138666A1 (en) Intraoperative 2d/3d imaging platform
US11869216B2 (en) Registration of an anatomical body part by detecting a finger pose
CN111243713A (zh) 基于虚拟智能医疗平台的放疗计划模拟方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230728

Address after: 250117 Shandong city of Ji'nan province Yan Ji Road, No. 440 Shandong Provincial Tumor Hospital

Applicant after: Yu Jinming

Applicant after: Affiliated Tumor Hospital of Shandong First Medical University (Shandong cancer prevention and treatment institute Shandong Cancer Hospital)

Address before: 250117 Shandong city of Ji'nan province Yan Ji Road, No. 440 Shandong Provincial Tumor Hospital

Applicant before: Yu Jinming

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230925

Address after: 201807 2258 Chengbei Road, Jiading District, Shanghai

Applicant after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 250117 Shandong city of Ji'nan province Yan Ji Road, No. 440 Shandong Provincial Tumor Hospital

Applicant before: Yu Jinming

Applicant before: Affiliated Tumor Hospital of Shandong First Medical University (Shandong cancer prevention and treatment institute Shandong Cancer Hospital)