CN109145128A - 一种大规模数据在线可视化方法 - Google Patents

Abstract

本发明提出一种大规模数据在线可视化方法，流程包括：打开用户客户端，客户端发送给服务器端任务请求；客户端网络环境测评；获取影子代理；建立初始可视化环境；初始可视化参数；初始高精度结果可视化；等待用户交互指令；发送可视化参数；高精度结果可视化；结束可视化；该可视化方法能够在移动、互联网等多种网络环境，移动、便携等多种设备上，进行大数据量可视化的需求，能够实现实时绘制效率，用户体验好。同时提出一种对客户端可视化环境的评估方法，对客户端计算、存储资源实现动态监测，充分发挥利用客户端资源，可以支持集成多种协议和通信方法，适应性好。

Description

一种大规模数据在线可视化方法

技术领域

本发明属于医学图像处理领域，具体涉及一种大规模数据在线可视化方法。

背景技术

随着医学成像技术快速发展，医学图像已经成为医学临床诊断的重要依据。医学成像设备如CT、MR、PET一次产生的图像数据越来越多，当前这些数据都存储在PACS(医学图像归档与通讯系统)系统中，采用高性能的图像工作站进行图像调阅和浏览，运行范围仅局限在医院的局域网。随着移动网络技术发展，移动设备如智能手机、平板等设备的应用使得信息获取方式日益变得更加便利。医学临床应用方面，如远程诊断、多方会诊、区域图像共享等需求也在不断增加，医生逐渐不再局限在阅片暗室，因此，在任何时候、任何地点、任何设备上都可以共享、实时查看图像成为当前迫切的需求。

鉴于目前国内医院对于性能及安全考虑，医院网络系统具有独立性，PACS系统一般部署在内部网络。因此，医学成像设备厂商及PACS软件厂商推出了基于Web的医学图像可视化系统，纵观当前技术策略大致分为方案A、B、C、D、E五种架构：

方案A：在服务器端建模和渲染，客户端只负责将结果显示给用户，并接受用户交互参数发送给服务端。这种方法网络传输的数据量比较小，但是交互过程每次都需要等待服务器将结果生成完成，受带宽等影响会出现延迟，用户体验不佳，操作(特别是三维旋转等)不够流畅；

方案B：在服务器端建模，将计算好的模型传送给客户端，由客户端进行渲染和显示。这种方法用户操作流畅性好，但是传输数据量较多，依据不同模型数据量会不同，用户需要等待一定的加载时间，且限制可视化方法，如光线投射重建算法(建模和渲染在一端同时完成)不适合该方案；另外对建模数据渲染可视化一般需要特定的插件支持，如VRML需要浏览器支持该模型可视化的插件。

方案C：服务端只负责将数据传输给客户端，由客户端完成建模、渲染、显示和交互等操作。这种方法对用户交互和操作体验非常好，但是数据传输量大，并且对本地计算和存储资源消耗比较大，没法利用服务器高性能计算优势。同时很多医学图像序列数据的量比较大如最小的头颈CT按照240M数据为例，这就会可能出现三个问题：(1)网络传输慢问题。从Web服务器去加载该数据，移动网络(如4G网络)或者局域无线网环境下需要加载过长时间。(2)计算困难问题。即使能够加载到客户端，这么大量的数据在一般浏览器或者移动设备上运行建模、渲染等计算过程，对内存和计算资源需求高，很可能导致客户端无法操作(Freeze状态)或应用崩溃。(3)内存限制问题。浏览器运行或者移动设备App对内存都有一定限制，可能根本无法加载更大的数据量(如iOS对每个app的分配的内存占用限制在200M左右)。因此，该方案不适合大数据量情况。

方案D：服务器只负责传输用户操作的初始页面和数据，客户端就是将传统工作站上的图像系统作为插件放到Web页面。该方案是大多数PACS厂商或图像云服务厂商的常用方式。该方案对用户来讲界面操作流程比较熟悉，但需要用户安装对应的运行插件，如Flash、ActiveX、Java Applet等，这些插件对不同平台支持是不同的，跨平台性差，如ActiveX在非Windows平台上无法加载，且这些插件随着功能升级插件也需要用户同步去更新这些插件，使用不方便。

方案E：是当前医院内部PACS部署常见方法，程序运行在医院局域网内部。该方案采用CS架构，影像客户端是传统的PACS客户端工作站，服务器集中部署到医院内网络，通过FTP或者其他文件系统技术访问影像数据，并下载本地客户端机器上。客户端程序庞杂强大，服务器功能只提供数据查询和传输数据能力，不具备重建可视化等能力。没法部署到云端，且只能在特定的工作站系统上运行该特定软件，移动端、Web等无法访问。

方案A～D是目前主要基于Web的几种方式，客户端运行在外部因特网。方案A、B、C是基于Web的纯HTML页面实现，方案D是通过HTML页面嵌入插件实现。图像可视化一般包含数据建模、渲染、显示、交互等内容，其中建模和渲染是最占用计算和存储资源的过程，显示和交互依据操作平台不同而有不同实现。客户端和服务端鉴于网络带宽速度、稳定性、不同运行设备等原因，通常将建模和渲染放在不同的两端。

因此，针对数据量规模大、实时交互性强、应用部署跨平台的数据可视化应用需求，上述技术方案各有利弊，都无法全部满足。同时，上述方案A～E客户端和服务器端之间的通信协议可能不尽相同，如HTTP协议、FTP协议等，或者直接Socket通信。

发明内容

本发明提出一种大规模数据在线可视化方法，包括流程如下：

步骤1：打开用户客户端，客户端发送给服务器端任务请求，所述任务请求内容包括：客户端所在计算机内存大小、客户端所在计算机内核数量、客户端所在计算机窗口分辨率、应用类型；其中，应用类型包括：临床诊断、教学演示、科学研究和开发测试；

步骤2：客户端网络环境测评：客户端发送测试网络速度请求，服务器端根据客户端发送测试网络速度请求，向客户端发送测试数据，客户端根据实际接收服务器端测试数据运行情况，计算实际网络速度，将实际网络速度发送给服务器；

步骤3：获取影子代理：影子代理即根据评价指标，将原图像降采样，得到降采样后图像；客户端发送影子代理请求到服务器端，服务器端根据客户端已经发送到服务器端的任务请求和实际网络速度，计算影子代理，并将计算结果传递给客户端；

步骤4：建立初始可视化环境：客户端根据收到的影子代理结果建立初始可视化环境，同时建立服务器端可视化环境；

步骤5：初始可视化参数：可视化参数包括图像宽高，放缩比例、旋转角度、是否垂直翻转、是否水平翻转、是否反显、当前窗宽和窗位、切面类型；客户端设定默认初始可视化参数，并发送可视化请求给服务器端，该可视化请求包含初始化参数，服务器端根据客户端发送可视化请求，计算初始高精度数据可视化结果，并将初始高精度结果传递给客户端；

步骤6：初始高精度结果可视化：客户端根据服务器端传递出的初始高精度结果，在客户端进行初始高精度结果可视化；

步骤7：等待用户交互指令：客户端等待用户交互指令，包括：旋转、放缩、移动；

步骤8：发送可视化参数：客户端发送可视化参数和可视化请求到服务器端，服务器端根据此可视化参数和可视化请求，计算高精度数据可视化结果，并将高精度结果传递给客户端；

步骤9：高精度结果可视化：客户端根据服务器端传递出的高精度结果，在客户端进行高精度结果可视化，并返回步骤7继续等待用户交互指令；

步骤10：结束可视化：客户端发送任务结束请求到服务器端，服务器端销毁服务器端可视化环境，结束可视化过程。

所述影子代理包括计算评估指标F，并根据评估指标F将原图像降采样，得到降采样后的影子代理的宽度和高度；

其中，评估指标F计算公式为：

评估指标F约束条件为：

s.t.α+β+γ+δ＝1 (2)

其中，V是网络速度，M是内存大小，C为计算机CPU内核数量，R为窗口分辨率，S为应用类型，包括：临床诊断、教学演示、科学研究、开发测试；

ε是参考加载延迟时间，ρ是参考客户端内存容量，σ是参考客户端CPU内核数量，μ是参考客户端窗口分辨率；

根据计算得到的F值，设原图像数据宽度和高度分别是w和h，降采样后图像的宽度和高度分别为w'和h'：

其中，表示上取整为8的倍数。

所述网络速度V单位为k/s，内存大小M单位为G，计算机CPU内核数量C单位为个，窗口分辨率R单位为像素个数。

有益技术效果：

(1)本发明提出了一种影子代理的大规模在线可视化方法，能够在移动、互联网等多种网络环境，移动、便携等多种设备上，进行大数据量可视化的需求，能够实现实时绘制效率，用户体验好。同时提出一种对客户端可视化环境的评估方法，对客户端计算、存储资源实现动态监测，充分发挥利用客户端资源，可以支持集成多种协议和通信方法，适应性好。

(2)自适应的影子代理精度判定：由于不同网络速度、设备类型、界面分辨率等因素影响，影子代理可以选择不同数据精度来给用户呈现最优的过程效果。如在手机上由于屏幕和网络速度都比较差，影子代理尽可能精度小，但不影响可视化效果，屏幕小看到图片自然也可以小，反之如果本地应用程序，且网络速度快，那么就可以提高影子代理分辨率。这个判别过程通过服务器端环境收集功能，根据多种因素综合评判，最后给出图像代理精度。

附图说明

图1为本发明实施例的一种大规模数据在线可视化方法流程图；

图2为本发明实施例的一种大规模数据在线可视化方法参数交互过程图；

图3为本发明实施例的降采样区间示例图；

图4为本发明实施例的原始图像精度的1/8采样图像；

图5为发明实施例的原始高精度图像数据。

具体实施方式

下面结合附图和具体实施实例对发明做进一步说明，本发明提出一种大规模数据在线可视化方法，包括流程如下，如图1所示，其参数交互过程如图2所示：

步骤1：打开用户客户端，客户端发送给服务器端任务请求，所述任务请求内容包括：客户端所在计算机内存大小、客户端所在计算机内核数量、客户端所在计算机窗口分辨率、应用类型；

步骤2：客户端网络环境测评：客户端发送测试网络速度请求，服务器端根据客户端发送测试网络速度请求，向客户端发送测试数据，客户端根据实际接收服务器端测试数据运行情况，计算实际网络速度，将实际网络速度发送给服务器；

步骤3：获取影子代理：影子代理即根据评价指标，将原图像降采样，得到降采样后图像；客户端发送影子代理请求到服务器端，服务器端根据客户端已经发送到服务器端的任务请求和实际网络速度，计算影子代理，并将计算结果传递给客户端；

步骤4：建立初始可视化环境：客户端根据收到的影子代理结果建立初始可视化环境，同时建立服务器端可视化环境；

步骤5：初始可视化参数：包括图像宽高，放缩比例、旋转角度、是否垂直翻转、是否水平翻转、是否反显、当前窗宽和窗位、切面类型；客户端设定默认初始可视化参数，发送可视化请求给服务器端，该可视化请求包含初始化参数，服务器端根据客户端发送可视化请求，计算初始高精度数据可视化结果，并将初始高精度结果传递给客户端；

步骤6：初始高精度结果可视化：客户端根据服务器端传递出的初始高精度结果，在客户端进行初始高精度结果可视化；

步骤7：等待用户交互指令：客户端等待用户交互指令，包括：选装、放缩、移动；

步骤8：发送可视化参数：客户端发送可视化参数和可视化请求到服务器端，服务器端根据此可视化参数和可视化请求，计算高精度数据可视化结果，并将高精度结果传递给客户端；

步骤9：高精度结果可视化：客户端根据服务器端传递出的高精度结果，在客户端进行初始高精度结果可视化，并返回步骤7继续等待用户交互指令；

步骤10：结束可视化：客户端发送任务结束请求到服务器端，服务器端销毁服务器端可视化环境，结束可视化过程。

所述影子代理包括计算评估指标F，并根据评估指标F将原图像降采样，得到降采样后图像的宽度和高度；

其中，评估指标F计算公式为：

评估指标F约束条件为：

s.t.α+β+γ+δ＝1 (2)

其中，V是网络速度(单位：k/s)，M是内存大小(单位：G)，C为计算机CPU内核数量(单位：个)，R为窗口分辨率(单位：像素)，S为应用类型，取值分别为：临床诊断为0.8、教学演示为0.6、科学研究为0.4、开发测试为0.4。

ε是参考加载延迟时间，根据需求设定，这里取ε＝10秒；ρ是参考客户端内存容量，这里默认取值为4G；σ是参考客户端CPU内核数量，这里默认取2个；μ是参考客户端窗口分辨率，这里默认取值128像素；通常认为网络权重更高一些，依次影响因素权重越低，因此，这里取α＝0.4，β＝0.3，γ＝0.2，δ＝0.1；

因此，根据计算得到的F值，是一个0-1的一个数值，数值约高说明运行条件要求越高，也就是影子代理数据越大，设图像数据宽度和高度分别是w和h，那么降采样后的影子代理的宽度和高度分别为w'和h'：

其中，表示上取整为8的倍数。本发明以512*512原图像为例，可采样示意图如图3所示。

用以上方法，可以得到如图4所示，原始图像精度的1/8采样图像，对比图5原始高精度图像数据，可以看出采样后的图像可以表达原始图像数据，证明该方法的有效性。

Claims (3)

1.一种大规模数据在线可视化方法，其特征在于，包括如下流程：

步骤1：打开用户客户端，客户端发送给服务器端任务请求，所述任务请求内容包括：客户端所在计算机内存大小、客户端所在计算机内核数量、客户端所在计算机窗口分辨率、应用类型；其中，应用类型包括：临床诊断、教学演示、科学研究和开发测试；

步骤2：客户端网络环境测评：客户端发送测试网络速度请求，服务器端根据客户端发送测试网络速度请求，向客户端发送测试数据，客户端根据实际接收服务器端测试数据运行情况，计算实际网络速度，将实际网络速度发送给服务器；

步骤3：获取影子代理：影子代理即根据评价指标，将原图像降采样，得到降采样后图像；客户端发送影子代理请求到服务器端，服务器端根据客户端已经发送到服务器端的任务请求和实际网络速度，计算影子代理，并将计算结果传递给客户端；

步骤4：建立初始可视化环境：客户端根据收到的影子代理结果建立初始可视化环境，同时建立服务器端可视化环境；

步骤5：初始可视化参数：可视化参数包括图像宽高，放缩比例、旋转角度、是否垂直翻转、是否水平翻转、是否反显、当前窗宽和窗位、切面类型；客户端设定默认初始可视化参数，并发送可视化请求给服务器端，该可视化请求包含初始化参数，服务器端根据客户端发送可视化请求，计算初始高精度数据可视化结果，并将初始高精度结果传递给客户端；

步骤6：初始高精度结果可视化：客户端根据服务器端传递出的初始高精度结果，在客户端进行初始高精度结果可视化；

步骤7：等待用户交互指令：客户端等待用户交互指令，包括：旋转、放缩、移动；

步骤8：发送可视化参数：客户端发送可视化参数和可视化请求到服务器端，服务器端根据此可视化参数和可视化请求，计算高精度数据可视化结果，并将高精度结果传递给客户端；

步骤9：高精度结果可视化：客户端根据服务器端传递出的高精度结果，在客户端进行高精度结果可视化，并返回步骤7继续等待用户交互指令；

步骤10：结束可视化：客户端发送任务结束请求到服务器端，服务器端销毁服务器端可视化环境，结束可视化过程。

2.根据权利要求1所述一种大规模数据在线可视化方法，其特征在于，所述影子代理包括计算评估指标F，并根据评估指标F将原图像降采样，得到降采样后的图像宽度和高度；

其中，评估指标F计算公式为：

评估指标F约束条件为：

s.t.α+β+γ+δ＝1 (2)

其中，V是网络速度，M是内存大小，C为计算机CPU内核数量，R为窗口分辨率，S为应用类型，包括：临床诊断、教学演示、科学研究、开发测试；

ε是参考加载延迟时间，ρ是参考客户端内存容量，σ是参考客户端CPU内核数量，μ是参考客户端窗口分辨率；

根据计算得到的F值，设原图像数据宽度和高度分别是w和h，降采样后的图像宽度和高度分别为w'和h'：

其中，表示上取整为8的倍数。

3.根据权利要求1所述一种大规模数据在线可视化方法，其特征在于，所述网络速度V单位为k/s，内存大小M单位为G，计算机CPU内核数量C单位为个，窗口分辨率R单位为像素个数。