CN107273668A - 一种基于虚拟现实技术的医疗辅助诊断方法和系统 - Google Patents

一种基于虚拟现实技术的医疗辅助诊断方法和系统 Download PDF

Info

Publication number
CN107273668A
CN107273668A CN201710388063.2A CN201710388063A CN107273668A CN 107273668 A CN107273668 A CN 107273668A CN 201710388063 A CN201710388063 A CN 201710388063A CN 107273668 A CN107273668 A CN 107273668A
Authority
CN
China
Prior art keywords
dimensional image
ray
difference
virtual reality
reality technology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710388063.2A
Other languages
English (en)
Inventor
李维民
吴�民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Bao Jiana Medical Technology Co Ltd
Original Assignee
Jiangsu Bao Jiana Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Bao Jiana Medical Technology Co Ltd filed Critical Jiangsu Bao Jiana Medical Technology Co Ltd
Priority to CN201710388063.2A priority Critical patent/CN107273668A/zh
Publication of CN107273668A publication Critical patent/CN107273668A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于虚拟现实技术的医疗辅助诊断方法和系统,包括:人体局部组织模型拍摄、二维图像叠加、差异判断及差异呈现。基于虚拟现实技术,在虚拟现实环境中,根据拍摄人体局部组织生成的二维图像与X光片进行叠加,快速发现差异部分,再将差异部分标记到人体局部组织模型中,通过清晰观察这些差异组织、组织名称和可能病变的文字描述,实现了快速辅助诊断,提高了工作效率。

Description

一种基于虚拟现实技术的医疗辅助诊断方法和系统
技术领域
本发明涉及一种虚拟现实技术,具体涉及一种基于虚拟现实技术的医疗辅助诊断方法和系统。
背景技术
在医学领域,虚拟现实技术可以生动形象地呈现人体组织和组织名称,以便医学生多角度、全方位直观清晰地观察人体组织和组织名称,这对于医学生全面掌握人体组织结构和组织名称有很大的好处,同时也提供了一种医疗辅助检查手段。
目前,对大部分医院而言,X光片依然是临床上最常用的医疗检查方法,多采用人工方法进行读片,由于人体是三维的,但通过X光片成像后,人体被显示为二维图像,人体器官的显示会出现重叠和失真,其诊断定位和准确度与医生的临床经验有很大的关系,诊断结果难免会出现遗漏。
X光片在骨科的应用最为广泛,骨折常首选X光片检查,但X光片难免存在图像重叠和失真,给医务人员人工读片增加了难度,精确定位困难,部分不明显的骨折容易漏诊。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种基于虚拟现实技术的医疗辅助诊断方法和系统,能够更好地分辨组织微小差异并呈现差异组织名称等,尽量减少漏诊,提高工作效率。
为了实现上述目标,本发明采用如下的技术方案:
一种基于虚拟现实技术的医疗辅助诊断方法,包括:
(1)、人体局部组织模型拍摄:在虚拟现实环境中,根据X光片角度拍摄相应部位的人体局部组织模型,生成一张与X光片尺寸相同的二维图像;
(2)、二维图像叠加:控制器发出叠加指令,使二维图像与X光片叠加;
(3)、差异判断:判断二维图像与X光片是否存在差异,若有差异,则发出差异确定请求,虚拟介质触碰叠加的二维图像中有差异的组织,在人体局部组织模型中标记出来;
(4)、差异呈现:呈现出带有差异的人体局部组织模型、组织名称和可能病变的组织的文字描述。
优选地,前述二维图像为透明图像,叠加时,所述二维图像位于X光片前方,这样能够清晰地看到两张图像叠加出现的差异。
再优选地,前述二维图像与X光片能够同时缩放、移动和旋转,方便查看。
进一步优选地,前述虚拟介质为虚拟手柄、射线光点、鼠标或虚拟手,受控制器控制实现移动和抓取;控制器为带有功能按键的虚拟现实手柄、手套、触摸屏或鼠标中的一种。
此外,本发明还公开了基于虚拟现实技术的医疗辅助诊断系统,包括:
拍摄模块:根据X光片的拍摄角度拍摄人体局部组织模型并生成和X光片尺寸相同的二维图像;
叠加处理模块:将拍摄的二维图像与X光片叠加到一起,观察微小差异;
差异确定模块:通过控制器确定二维图像有差异的组织区域,发出确定请求;
差异标记模块:接受有差异的组织请求,标记人体局部组织模型差异部位或组织;
显示模块:用于呈现叠加图像和具体差异,具体差异包括:带有差异的模型、组织名称和可能病变的文字描述。
优选地,前述显示模块为触摸屏、显示屏或带有显示功能的头盔装置中的一种。
本发明的有益之处在于:本发明基于虚拟现实技术,在虚拟现实环境中,根据拍摄人体局部组织生成的二维图像与X光片进行叠加,快速发现差异部分,再将差异部分标记到人体局部组织模型中,通过清晰观察这些差异组织、组织名称和可能病变的文字描述,实现了快速辅助诊断,提高了工作效率。
附图说明
图1是本发明的基于虚拟现实技术的医疗辅助诊断方法的一个优选实施例的流程图;
图2是本发明的基于虚拟现实技术的医疗辅助诊断系统的一个优选实施例的结构框图;
图3(a)是一个人体局部组织模型(手模型)图;
图3(b)是一个手部X光片图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
本发明的医疗辅助诊断方法和系统基于虚拟现实技术,利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中,将人体局部组织模型仿真于虚拟系统,人体局部组织模型包括但不限于手骨、脚骨等。
本实施例中以手骨为例进行阐述,如图1和图2所示,本发明的医疗辅助诊断方法和系统具体如下:
(1)、拍摄人体局部组织模型:在虚拟现实环境中,根据图3(b)的患者手骨X光片角度,拍摄模块拍摄三维的手骨模型(图3(a))生成一张二维图像,这个二维图像与X光片尺寸相同,且生成的二维图像的最小组织是可以移动的。这里所说的“最小组织”是指人体解剖领域中不可再分的组织,不包括分解为细胞、分子等肉眼不可观测的部分。
拍摄手骨时,X光片的拍摄角度一般为正斜位片或侧位片,也可根据实际拍摄需求选取角度。
(2)、叠加二维图像:控制器发出叠加指令,叠加处理模块将透明的二维图像叠加到X光片前方,实现二者的绑定并通过显示模块进行清晰的显示,且能够同时缩放、移动和旋转。为了提高叠加精度,还应当能够通过控制器微调局部角度,如相邻手指间的调整角度可以从0度最大调整到45度。
控制器主要是用于信息输入以发出指令,具体为带有功能按键的虚拟现实手柄、手套、触摸屏或鼠标中的一种。
(3)、差异判断:临床医生或医学生等医学工作者观察判断二维图像与X光片是否存在差异,若有差异,则通过差异确定模块发出差异确定请求,虚拟介质触碰叠加的二维图像中有差异的组织,在人体局部组织模型中标记出来。
需要说明的是,这里的标记可以取相同的标记值,也可以取不同的标记值,如果要区分不同的标记,则取不同的标记值,如果不要区分不同的标记,则取相同的标记值,标记可以用亮度或颜色表示;虚拟介质是指受控制器控制实现移动或抓取的虚拟手柄、射线光点、鼠标、虚拟手等。
(4)、差异标记和呈现:差异标记模块接受有差异的组织请求,标记人体局部组织模型差异部位或组织;然后,通过显示模块呈现具体差异,主要包括:带有差异的模型、组织名称和可能病变的文字描述。显示模块可以是带有显示功能的头盔装置,也可以是触摸屏和显示屏。
为了提高观察的清晰度和准确度,控制器可以移动、旋转或缩放三维人体局部组织、组织名称和可能病变的文字描述,加深正常组织和可能病变描述的理解,对医学生而言,可以快速学习医疗辅助诊断知识,对临床医生来说,能够实现医疗辅助诊断。
综上,本发明基于虚拟现实技术,在虚拟现实环境中,根据拍摄人体局部组织生成的二维图像与X光片进行叠加,快速发现差异部分,再将差异部分标记到人体局部组织模型中,通过清晰观察这些差异组织、组织名称和可能病变的文字描述,实现了快速辅助诊断,提高了工作效率。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。

Claims (8)

1.一种基于虚拟现实技术的医疗辅助诊断方法,其特征在于,包括:
(1)、人体局部组织模型拍摄:在虚拟现实环境中,根据X光片角度拍摄相应部位的人体局部组织模型,生成一张与X光片尺寸相同的二维图像;
(2)、二维图像叠加:控制器发出叠加指令,使二维图像与X光片叠加;
(3)、差异判断:判断二维图像与X光片是否存在差异,若有差异,则发出差异确定请求,虚拟介质触碰叠加的二维图像中有差异的组织,在人体局部组织模型中标记出来;
(4)、差异呈现:呈现出带有差异的人体局部组织模型、组织名称和文字描述。
2.根据权利要求1所述的一种基于虚拟现实技术的医疗辅助诊断方法,其特征在于,所述二维图像为透明图像。
3.根据权利要求1所述的一种基于虚拟现实技术的医疗辅助诊断方法,其特征在于,叠加时,所述二维图像位于X光片前方。
4.根据权利要求1所述的一种基于虚拟现实技术的医疗辅助诊断方法,其特征在于,所述二维图像与X光片绑定,能够同时缩放、移动和旋转。
5.根据权利要求1所述的一种基于虚拟现实技术的医疗辅助诊断方法,其特征在于,所述虚拟介质为虚拟手柄、射线光点、鼠标或虚拟手。
6.根据权利要求1所述的一种基于虚拟现实技术的医疗辅助诊断方法,其特征在于,所述控制器为带有功能按键的虚拟现实手柄、手套、触摸屏或鼠标中的一种。
7.实现如权利要求1-6任一项所述的诊断方法的医疗辅助诊断系统,其特征在于,包括:
拍摄人体局部组织模型并生成和X光片尺寸相同的二维图像的拍摄模块;
将拍摄的二维图像与X光片叠加到一起的叠加处理模块;
确定叠加的二维图像有差异的组织区域的差异确定模块;
接受有差异的组织请求,标记人体局部组织模型差异部位或组织的差异标记模块;
用于呈现叠加图像和具体差异的显示模块。
8.根据权利要求7所述的医疗辅助诊断系统,其特征在于,所述显示模块为触摸屏、显示屏或带有显示功能的头盔装置中的一种。
CN201710388063.2A 2017-05-27 2017-05-27 一种基于虚拟现实技术的医疗辅助诊断方法和系统 Pending CN107273668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710388063.2A CN107273668A (zh) 2017-05-27 2017-05-27 一种基于虚拟现实技术的医疗辅助诊断方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710388063.2A CN107273668A (zh) 2017-05-27 2017-05-27 一种基于虚拟现实技术的医疗辅助诊断方法和系统

Publications (1)

Publication Number Publication Date
CN107273668A true CN107273668A (zh) 2017-10-20

Family

ID=60064345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710388063.2A Pending CN107273668A (zh) 2017-05-27 2017-05-27 一种基于虚拟现实技术的医疗辅助诊断方法和系统

Country Status (1)

Country Link
CN (1) CN107273668A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112451070A (zh) * 2020-10-15 2021-03-09 中国医学科学院北京协和医院 一种基于HoloLens的游离腓骨瓣重建颌骨系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1476813A (zh) * 2002-07-18 2004-02-25 西门子公司 在医疗诊断或治疗设备中定位患者的方法和装置
CN101075347A (zh) * 2006-02-23 2007-11-21 西门子公司 用于改善地自动检测医学图像数据中的异常的方法和装置
CN101422373A (zh) * 2008-12-15 2009-05-06 沈阳东软医疗系统有限公司 一种实现ct图像的感兴趣区域与ct定位片的融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1476813A (zh) * 2002-07-18 2004-02-25 西门子公司 在医疗诊断或治疗设备中定位患者的方法和装置
CN101075347A (zh) * 2006-02-23 2007-11-21 西门子公司 用于改善地自动检测医学图像数据中的异常的方法和装置
CN101422373A (zh) * 2008-12-15 2009-05-06 沈阳东软医疗系统有限公司 一种实现ct图像的感兴趣区域与ct定位片的融合方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112451070A (zh) * 2020-10-15 2021-03-09 中国医学科学院北京协和医院 一种基于HoloLens的游离腓骨瓣重建颌骨系统

Similar Documents

Publication Publication Date Title
KR102695271B1 (ko) 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법
US20240248530A1 (en) Using Optical Codes with Augmented Reality Displays
KR102327527B1 (ko) 3차원 데이터로 피험자의 실시간 뷰
TWI615126B (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
CN103619278B (zh) 用于内窥镜手术期间的引导注射的系统
US20070073133A1 (en) Virtual mouse for use in surgical navigation
CN109998678A (zh) 在医学规程期间使用增强现实辅助导航
JP2003299642A (ja) ナビゲーション手術のための位置合わせ方法
KR101650620B1 (ko) 레이저 수술 유도 장치 및 방법, 이를 수행하기 위한 기록 매체
CN111770735B (zh) 手术仿真信息生成方法及程序
Edgcumbe et al. Augmented reality imaging for robot-assisted partial nephrectomy surgery
JP2020130603A (ja) マンモグラフィ装置及びプログラム
JP6548110B2 (ja) 医用観察支援システム及び臓器の3次元模型
CN205964158U (zh) 一种与肺部手术导航系统配用的胸部约束带
US20150342462A1 (en) Registration method of tissue position and apparatus using the same
CN107273668A (zh) 一种基于虚拟现实技术的医疗辅助诊断方法和系统
CN103892918A (zh) 定位装置、影像叠合方法及影像投影系统
US20230169696A1 (en) Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays
JP2016174788A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN111631814B (zh) 术中血管立体定位导航系统及方法
WO2019000732A1 (zh) 一种软骨修复手术的辅助设备
TWI441106B (zh) 以影像為基礎之外科手術模擬系統
Fallavollita et al. Augmented reality in orthopaedic interventions and education
De Paolis An augmented reality platform for preoperative surgical planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020

RJ01 Rejection of invention patent application after publication