CN101976458A - 应用于移动手持设备的医学图像三维可视化方法 - Google Patents

应用于移动手持设备的医学图像三维可视化方法 Download PDF

Info

Publication number
CN101976458A
CN101976458A CN 201010510559 CN201010510559A CN101976458A CN 101976458 A CN101976458 A CN 101976458A CN 201010510559 CN201010510559 CN 201010510559 CN 201010510559 A CN201010510559 A CN 201010510559A CN 101976458 A CN101976458 A CN 101976458A
Authority
CN
China
Prior art keywords
client
server
image
medical image
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201010510559
Other languages
English (en)
Inventor
刘谦
骆清铭
韩道
明星
何龙军
丁文祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN 201010510559 priority Critical patent/CN101976458A/zh
Publication of CN101976458A publication Critical patent/CN101976458A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种应用于移动设备的医学图像三维可视化方法,通过服务器/客户端方式建立网络连接,服务器上存有医学二维断层数据集根据以及根据该数据集整理得到的医学图像数据列表,运行于移动手持设备上的客户端根据用户的操作指令控制服务器重建医学图像,并通过客户端显示给用户,实现在移动手持设备的医学图像三维可视化。本发明避免了移动设备的高强度计算,使医学图像三维可视化在移动设备中得以实现;服务器可以同时为多个客户端服务,服务器的计算资源得到充分利用;同时,采用支持多点触摸以及无线接入的移动设备,提供自然交互方式,在移动医疗诊断中为医务人员提供可靠辅助信息。

Description

应用于移动手持设备的医学图像三维可视化方法
技术领域
本发明涉及三维可视化以及通信领域,具体涉及一种应用于移动手持设备的医学图像三维可视化方法。
背景技术
计算机辅助断层投影(Computed Tomography,CT)、磁共振成像(Magnetic ResonanceImaging,MRI)、超声(Ultrasonic,US)等医学成像技术的产生和发展,人们可以得到人体内部解剖结构的二维数字断层图像序列。长期以来在医学诊断中,医务人员都是通过观察多组这样的二维断层图像,然后根据经验在人脑中构建出三维模型,并以此作为诊断的依据。这种带有主观意识的判断,难以准确的确定病变体在空间中的大小、位置以及形态。而以一系列医学二维断层图像生成三维图像,展现人体器官的三维结构与形态,且为进一步的操作提供视觉交互手段(N.Svakhine,D.Ebert,D.Stredney.Illustration motifs for volume illustration,IEEE Computer Graphics andApplication 25(3):31-39,2005),并能够获得传统手段无法获得的解剖学信息。因此医学图像的三维可视化在医学观察和诊断中的需求变得日益迫切。
医学图像三维重建的数据通常来说很大,计算复杂,需要执行高精度的向量和积分运算。同时为了满足用户对三维图像的实时操作,这些都对进行计算处理的硬件设备提出较高的要求。通常提供这类服务都需要专业工作站的支持。但随着计算机图形卡技术的发展和应用的普及,这种状况得到了较大改善。通过基于可编程的图形处理器(Graphics Processing Unit,GPU)所提供的强大并行、浮点和向量的运算能力(储璟骏,杨新,高艳.使用GPU编程的光线投射体绘制算法.计算机辅助图形学学报,2007,(2):257-262)。使得在普通中端个人计算机上进行三维可视化以及操作变为可能。但是计算机固定的位置难以实现医务人员对移动诊断的需求。
移动手持设备,特别是以iPhone为代表的大屏幕、多点触摸、支持无线网络(主要指WIFI)拥有领先的用户界面等特性的移动手持设备的出现,为移动医疗解决方案提供了良好的支持。但是移动手持设备在存储、计算处理等性能上都难以达到医学三维可视化的要求。
发明内容
本发明的目的是克服上述现有的技术存在的不足,提供一种使用于移动手持设备(客户端)并通过WIFI无线网络连接,用户可以选择待重建的数据并对计算机(服务器)上医学二维断层数据集通过三维重建所得到的图像进行浏览和操作的方法。
本发明为解决上述技术问题所采用的技术方案为:
一种应用于移动手持设备的医学图像三维可视化方法,通过服务器/客户端方式建立网络连接,其中,服务器上存有医学二维断层数据集以及根据该数据集整理得到的医学图像数据列表,运行于移动手持设备上的客户端根据用户的操作指令生成相应的医学图像,或者客户端控制服务器重建医学图像并通过客户端显示,该方法具体步骤如下:
(1)服务器开启,对重建环境进行初始化,等待客户端连接;
(2)移动手持设备上的客户端进行网络配置,连接服务器;
(3)连接成功,客户端获得服务器上的医学图像数据列表,用户选择待客户端上重建的数据集:
(3.1)客户端从服务器获得医学图像数据列表,解析后将数据列表显示在客户端;
(3.2)用户从客户端上显示的数据列表中选择待重建的医学二维断层数据集;
(4)服务器根据选择的数据集进行三维重建,得到对应的三维彩色图像和各截面灰度图像,并发送给客户端:
(4.1)服务器根据客户端选择的医学二维断层数据集,通过基于GPU编程的光线投射直接体绘制算法对数据集进行三维重建,获得直接体绘制图像和沿三个正交轴投影的灰度图像;
(4.2)服务器将获得的直接体绘制图像和灰度图像发送给客户端;
(5)用户对发送到客户端上的图像进行操作,客户端或服务器对用户的操作做出响应:
(5.1)如果所述操作涉及到对原始的医学二维断层数据集的操作,则服务器对该操作做出响应,对数据集进行重建,并将重建获得的图像发送给客户端并显示;
(5.2)如果操作不涉及对原始的医学二维断层数据集的操作,而仅是对图像本身的操作,则无需向服务器发送指令,客户端自行做出处理,生成相应的图像并显示;
通过上述步骤,即可实现在移动手持设备上的医学图像三维可视化。
作为本发明的进一步改进,所述步骤(5.1)中的操作包括三维模型的旋转、投影灰度图投影深度的改变、传递函数的改变、图像分辨率的改变,以及重新加载待重建数据集。
作为本发明的进一步改进,所述步骤(5.2)中的操作包括图像的缩小、放大和旋转;
作为本发明的进一步改进,所述移动手持设备支持多点触控。
上述的服务器与客服端,其中的通信模式为:基于套接字的异构平台通信;为了减少传输通道的拥挤,增加传输的可靠性,采用命令通道与数据通道并行的双通道模式。
上述的服务器与客户端,其中传输的图片包括:直接体绘制图像和沿三个正交轴投影的灰度图像。
本发明的有益效果为:
1)、采用可编程的GPU体绘制三维重建算法,充分利用可编程图形处理器的强大图形计算能力,使得医学图像三维可视化可以在普通计算机上实现。
2)、基于服务器/客户端的模式,避免了移动设备的高强度计算,使医学图像三维可视化在移动手持设备中得以实现;服务器可以同时为多个客户端服务,使得服务器的计算资源得到充分利用。
3)、采用支持多点触摸以及无线接入的移动手持设备,提供自然交互方式,在移动医疗诊断中为医务人员提供可靠辅助信息。
附图说明
图1是本发明的原理示意图。
图2是本发明的流程图。
具体实施方式
以下结合附图和实施例对本发明实施进行详细描述。
本发明的原理是基于服务器与客户端的医学三维图像浏览方式,参见图1和2,本发明主要由服务器与客户端两部分组成,应用于移动手持设备的医学图像三维可视化方法。
(1)服务器开启,将医学二维断层数据集整理为医学图像数据列表,并对重建环境进行初始化,等待客户端连接;
(1.1)将多组不同的医学二维断层数据集归纳整理为一个纯文本的数据列表,以向客户端提供简明的医学二维断层数据集信息;
(1.2)服务器配置一个可访问的IP地址,绑定两个可用的端口以供数据通道和命令通道使用;
(2)对移动手持设备上的客户端进行网络配置,连接服务器;
(2.1)客户端设置连接服务器的IP和端口,通过无线网路连接服务器;
(2.2)连接不成功,检查并修复服务器以及客户端的网络环境,直至客户端连接上服务器;
(3)连接成功,客户端获得服务器上的医学图像数据列表,用户从中选择待重建的医学二维断层数据集;
(3.1)客户端从服务器获得医学图像数据列表,解析后将数据列表显示在客户端;
(3.2)用户从客户端上显示的数据列表中选择待重建的医学二维断层数据集;
(4)服务器根据选择的医学二维断层数据集进行三维重建,得到对应的直接体绘制图像和沿三个正交轴的投影的灰度图像,并发送给客户端;
(4.1)服务器根据客户端选择的医学二维断层数据集,通过基于GPU编程的光线投射直接体绘制算法对数据集进行三维重建,获得直接体绘制图像和沿三个正交轴投影的灰度图像;
(4.2)服务器将获得的直接体绘制图像和灰度投影图发送给客户端;
(5)用户对客户端上的图像个进行操作,客户端或者服务器对用户的操作做出响应;
(5.1)如果所述操作涉及到对原始的医学二维断层数据集的操作,则需要服务器对该操作做出响应,对数据集进行重建,并将重建获得的图像发送给客户端并显示;所述的操作包括:对重建出来的三维模型进行旋转,投影灰度图投影深度的改变,传递函数的改变,图像分辨率的改变,重新加载待重建数据集;
(5.2)如果操作不涉及对原始的医学二维断层数据集的操作,而仅是对图像本身的操作,则无需向服务器发送指令,客户端应该自行做出处理,生成相应的图像并显示;这些操作包括:图像的缩小、放大,图像的旋转;
通过上述步骤,即可实现在移动手持设备上的医学图像三维可视化。
本实施例的所有显示图像都是服务器根据客户端的操作,基于GPU编程的光线投射体绘制算法实时重建所得。
本实施例中对图像的操作支持多点触摸的交互方式,且图片的旋转、放大、缩小、移动等都是通过矩阵变换实现的。矩阵则是通过对用户手指操作进行检测并运算得到。对图像进行操作后,可以通过双击该视图复位至初始状态。在不同显示图像的视图之间切换时,也将重置该视图的矩阵实现较佳的浏览方式。
本领域技术人员不脱离本发明的实质和精神,可以对上述实施例做出各种修改或变化实现本发明,以上所述仅为本发明较可行的实施例而已,并非因此局限本发明的权利范围,凡运用本发明以及附图内容所作的等效结构变化,均包含于本发明的权利范围内。

Claims (4)

1.一种应用于移动手持设备的医学图像三维可视化方法,通过服务器/客户端方式建立网络连接,其中,服务器上存有医学二维断层数据集以及根据该数据集整理得到的医学图像数据列表,运行于移动手持设备上的客户端根据用户的操作指令生成相应的医学图像,或者客户端控制服务器重建医学图像并通过客户端显示,该方法具体步骤如下:
(1)服务器开启,对重建环境进行初始化,等待客户端连接;
(2)移动手持设备上的客户端进行网络配置,连接服务器;
(3)连接成功,客户端获得服务器上的医学图像数据列表,用户选择待客户端上重建的数据集:
(3.1)客户端从服务器获得医学图像数据列表,解析后将数据列表显示在客户端;
(3.2)用户从客户端上显示的数据列表中选择待重建的医学二维断层数据集;
(4)服务器根据选择的数据集进行三维重建,得到对应的三维彩色图像和各截面灰度图像,并发送给客户端:
(4.1)服务器根据客户端选择的医学二维断层数据集,通过基于GPU编程的光线投射直接体绘制算法对数据集进行三维重建,获得直接体绘制图像和沿三个正交轴投影的灰度图像;
(4.2)服务器将获得的直接体绘制图像和灰度图像发送给客户端;
(5)用户对发送到客户端上的图像进行操作,客户端或服务器对用户的操作做出响应:
(5.1)如果所述操作涉及到对原始的医学二维断层数据集的操作,则服务器对该操作做出响应,对数据集进行重建,并将重建获得的图像发送给客户端并显示;
(5.2)如果操作不涉及对原始的医学二维断层数据集的操作,而仅是对图像本身的操作,则无需向服务器发送指令,客户端自行做出处理,生成相应的图像并显示;
通过上述步骤,即可实现在移动手持设备上的医学图像三维可视化。
2.根据权利要求1所述的一种应用于移动手持设备的医学图像三维可视化方法,其特征在于,所述步骤(5.1)中的操作包括三维模型的旋转、投影灰度图投影深度的改变、传递函数的改变、图像分辨率的改变,以及重新加载待重建数据集。
3.根据权利要求1或2所述的一种应用于移动手持设备的医学图像三维可视化方法,其特征在于,所述步骤(5.2)中的操作包括图像的缩小、放大和旋转;
4.根据权利要求1-3之一所述的一种应用于移动手持设备的医学图像三维可视化方法,其特征在于,所述移动手持设备支持多点触控。
CN 201010510559 2010-10-15 2010-10-15 应用于移动手持设备的医学图像三维可视化方法 Pending CN101976458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010510559 CN101976458A (zh) 2010-10-15 2010-10-15 应用于移动手持设备的医学图像三维可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010510559 CN101976458A (zh) 2010-10-15 2010-10-15 应用于移动手持设备的医学图像三维可视化方法

Publications (1)

Publication Number Publication Date
CN101976458A true CN101976458A (zh) 2011-02-16

Family

ID=43576340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010510559 Pending CN101976458A (zh) 2010-10-15 2010-10-15 应用于移动手持设备的医学图像三维可视化方法

Country Status (1)

Country Link
CN (1) CN101976458A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231176A (zh) * 2011-07-22 2011-11-02 翁荣森 针对医院pacs的临床科室浏览工作站及其应用方法
CN102665075A (zh) * 2012-04-18 2012-09-12 苏州易健医疗信息技术有限公司 一种应用于移动手持设备医学图像提取与显示方法和系统
CN103136785A (zh) * 2013-02-01 2013-06-05 上海交通大学医学院附属第九人民医院 用于移动终端的人体医学模型三维可视化系统及其实现方法
CN104318057A (zh) * 2014-09-25 2015-01-28 新乡医学院第一附属医院 医学影像三维可视化系统
CN104881890A (zh) * 2015-05-25 2015-09-02 上海溪田信息技术有限公司 基于移动终端的医学三维重建快速交互渲染方法
CN105006012A (zh) * 2015-07-14 2015-10-28 山东易创电子有限公司 一种人体断层数据的体渲染方法及系统
CN105321202A (zh) * 2014-07-16 2016-02-10 南京普爱射线影像设备有限公司 医学二维图像和3d图像显示软件系统
CN106874700A (zh) * 2017-04-01 2017-06-20 上海术理智能科技有限公司 基于Web的手术模拟方法、手术模拟装置及电子设备
CN106991712A (zh) * 2016-11-25 2017-07-28 斯图尔特平李 一种基于hmds的医学成像系统
CN107016228A (zh) * 2016-11-25 2017-08-04 斯图尔特平李 一种基于hmds的医学成像系统
CN108122615A (zh) * 2017-12-20 2018-06-05 安徽紫薇帝星数字科技有限公司 一种基于人工智能的医学图像三维建模系统
CN108289656A (zh) * 2015-12-03 2018-07-17 奥林巴斯株式会社 超声波诊断系统、超声波诊断系统的工作方法以及超声波诊断系统的工作程序
CN108364321A (zh) * 2017-01-26 2018-08-03 上海西门子医疗器械有限公司 断层扫描成像重建系统及方法
CN109215764A (zh) * 2018-09-21 2019-01-15 苏州瑞派宁科技有限公司 一种医学图像四维可视化的方法及装置
CN109377549A (zh) * 2018-09-29 2019-02-22 浙江工业大学 一种oct指尖数据的实时处理与三维可视化方法
US10672179B2 (en) 2015-12-30 2020-06-02 Wuhan United Imaging Healthcare Co., Ltd. Systems and methods for data rendering
CN112820385A (zh) * 2021-02-01 2021-05-18 赛诺联合医疗科技(北京)有限公司 一种医学图像浏览方法、客户端及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186820A1 (en) * 2001-05-02 2002-12-12 Motoaki Saito Three-dimensional image display device in network
CN1794246A (zh) * 2005-10-29 2006-06-28 深圳清华大学研究院 一种医学图像数据传输与三维可视化系统及实现方法
CN101149842A (zh) * 2006-09-19 2008-03-26 西门子公司 利用图像着色系统的多维图像数据的细节级别设置
CN101334818A (zh) * 2007-06-19 2008-12-31 美国西门子医疗解决公司 用于高效的多维数据客户机-服务器可视化的方法和装置
CN101350923A (zh) * 2008-09-03 2009-01-21 中国科学院上海技术物理研究所 一种交互式医学图像通信与显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186820A1 (en) * 2001-05-02 2002-12-12 Motoaki Saito Three-dimensional image display device in network
CN1794246A (zh) * 2005-10-29 2006-06-28 深圳清华大学研究院 一种医学图像数据传输与三维可视化系统及实现方法
CN101149842A (zh) * 2006-09-19 2008-03-26 西门子公司 利用图像着色系统的多维图像数据的细节级别设置
CN101334818A (zh) * 2007-06-19 2008-12-31 美国西门子医疗解决公司 用于高效的多维数据客户机-服务器可视化的方法和装置
CN101350923A (zh) * 2008-09-03 2009-01-21 中国科学院上海技术物理研究所 一种交互式医学图像通信与显示方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231176A (zh) * 2011-07-22 2011-11-02 翁荣森 针对医院pacs的临床科室浏览工作站及其应用方法
CN102665075A (zh) * 2012-04-18 2012-09-12 苏州易健医疗信息技术有限公司 一种应用于移动手持设备医学图像提取与显示方法和系统
CN103136785A (zh) * 2013-02-01 2013-06-05 上海交通大学医学院附属第九人民医院 用于移动终端的人体医学模型三维可视化系统及其实现方法
CN103136785B (zh) * 2013-02-01 2016-03-30 上海交通大学医学院附属第九人民医院 用于移动终端的人体医学模型三维可视化系统的实现方法
CN105321202A (zh) * 2014-07-16 2016-02-10 南京普爱射线影像设备有限公司 医学二维图像和3d图像显示软件系统
CN104318057A (zh) * 2014-09-25 2015-01-28 新乡医学院第一附属医院 医学影像三维可视化系统
CN104881890A (zh) * 2015-05-25 2015-09-02 上海溪田信息技术有限公司 基于移动终端的医学三维重建快速交互渲染方法
CN105006012A (zh) * 2015-07-14 2015-10-28 山东易创电子有限公司 一种人体断层数据的体渲染方法及系统
CN105006012B (zh) * 2015-07-14 2018-09-21 山东易创电子有限公司 一种人体断层数据的体渲染方法及系统
CN108289656A (zh) * 2015-12-03 2018-07-17 奥林巴斯株式会社 超声波诊断系统、超声波诊断系统的工作方法以及超声波诊断系统的工作程序
US11544893B2 (en) 2015-12-30 2023-01-03 Wuhan United Imaging Healthcare Co., Ltd. Systems and methods for data deletion
US10672179B2 (en) 2015-12-30 2020-06-02 Wuhan United Imaging Healthcare Co., Ltd. Systems and methods for data rendering
CN107016228A (zh) * 2016-11-25 2017-08-04 斯图尔特平李 一种基于hmds的医学成像系统
CN106991712A (zh) * 2016-11-25 2017-07-28 斯图尔特平李 一种基于hmds的医学成像系统
CN107016228B (zh) * 2016-11-25 2023-08-18 斯图尔特平李 一种基于hmds的医学成像系统
CN108364321A (zh) * 2017-01-26 2018-08-03 上海西门子医疗器械有限公司 断层扫描成像重建系统及方法
CN106874700A (zh) * 2017-04-01 2017-06-20 上海术理智能科技有限公司 基于Web的手术模拟方法、手术模拟装置及电子设备
CN108122615A (zh) * 2017-12-20 2018-06-05 安徽紫薇帝星数字科技有限公司 一种基于人工智能的医学图像三维建模系统
CN109215764A (zh) * 2018-09-21 2019-01-15 苏州瑞派宁科技有限公司 一种医学图像四维可视化的方法及装置
CN109377549A (zh) * 2018-09-29 2019-02-22 浙江工业大学 一种oct指尖数据的实时处理与三维可视化方法
CN112820385A (zh) * 2021-02-01 2021-05-18 赛诺联合医疗科技(北京)有限公司 一种医学图像浏览方法、客户端及系统

Similar Documents

Publication Publication Date Title
CN101976458A (zh) 应用于移动手持设备的医学图像三维可视化方法
Mwalongo et al. State‐of‐the‐Art Report in Web‐based Visualization
CN102857791B (zh) 用移动终端对pacs系统中图像数据的处理及显示方法
CN106847068B (zh) 一种地图转换方法、装置和计算设备
Hachaj Real time exploration and management of large medical volumetric datasets on small mobile devices—evaluation of remote volume rendering approach
CN106569673A (zh) 多媒体病历报告的显示方法及多媒体病历报告的显示设备
Noguera et al. Mobile volume rendering: past, present and future
Doellner et al. Server-based rendering of large 3D scenes for mobile devices using G-buffer cube maps
CN102915232B (zh) 一种3d控件的交互方法及通信终端
CN106846451A (zh) 面向移动设备的真实感体渲染和交互系统及其工作方法
CN105814903A (zh) 用于分布式服务器侧和客户端侧图像数据渲染的体系结构
TW201015488A (en) Mapping graphics instructions to associated graphics data during performance analysis
WO2012097556A1 (zh) 3d图标的处理方法、装置及移动终端
EP2805301B1 (en) Systems and methods for image data management
CN107066794A (zh) 用于评估医学研究数据的方法和系统
Zhang et al. A cloud-enabled remote visualization tool for time-varying climate data analytics
CN106202927A (zh) 医学影像的渲染方法和系统
US10296713B2 (en) Method and system for reviewing medical study data
CN111915714A (zh) 用于虚拟场景的渲染方法、客户端、服务器及计算设备
Ji et al. Research on telemedicine technology and implement based on Virtual Reality
JP5375696B2 (ja) 配信システム、端末装置、配信方法、及びプログラム
TW201015483A (en) Partitioning-based performance analysis for graphics imaging
Wangkaoom et al. High-quality web-based volume rendering in real-time
CN110349254B (zh) 一种面向c/s架构的自适应医学影像三维重建方法
Faraj et al. VoxMorph: 3-scale freeform deformation of large voxel grids

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20110216