CN108184097A - 一种远程医疗中图像的实时查看方法 - Google Patents

Abstract

本发明公开了一种远程医疗中图像的实时查看方法，主要针对超大尺寸的医疗影像，如病理切片图像。本发明运用服务器端处理的方式来生成影像的局部缩略图，定义了不同缩放层级的缩略图映射方法与缓存方法，并设计了一种缓存的更新方法，以节省储存空间。当客户端请求图像数据时，服务器先判断是否命中缓存，没有命中则实时生成指定窗口、缩放等级的缩略图。客户端通过预加载的方式，降低了图像调窗(如拖动，缩放)的操作延迟。通过监听鼠标(触摸)事件，以一定规则判断用户是否在某一区域停留，如果存在停留，则预加载停留区域的下几级缩略图，实现实时查看目标区域的清晰图像。

Description

一种远程医疗中图像的实时查看方法

技术领域

本发明属于医疗影像处理领域，尤其涉及一种远程医疗中图像的实时查看方法。

背景技术

医疗影像在医疗过程中有着重要的作用，诸如MR、CT、DR及CR等技术在医院得到了广泛应用。医疗影像储传系统(PACS)用于医院储存和管理各种医学影像。传统的PACS一般为C/S架构，应用在远程会诊这样的场景中，具有部署复杂、成本高的缺点。近年来随着互联网的发展，出现B/S架构的Web PACS，在平板、手机等终端设备中通过浏览器即可查看医疗影像。然而，医学影像具有分辨率高、文件体积大的特点，基于浏览器的图像浏览需要解决移动网络下的实时性问题和浏览的流畅度问题。

Web PACS的实现可以分为两类：一种做法是在服务器端将影像转化成合适大小的JPG，再由客户端显示，这种做法的缺点是在浏览过程中进行调窗需要重新下载图片，操作响应时间长；另一种是在客户端解析影像，这种方式的缺点是客户端需要有解析影像的能力，并且图像文件需要一次性下载。但是，医学图像大小往往有几十、几百兆，而病理科的病理切片分辨率可以达到10000×10000数量级，大小在千兆级别，这就会造成初次加载的时间很长，文件过大也可能造成浏览过程中的卡顿。

发明内容

本发明的目的在于针对现有技术的不足，提供一种远程医疗中图像的实时查看方法。

本发明的目的是通过以下技术方案来实现的：一种远程医疗中图像的实时查看方法，包括以下步骤：

(1)在服务端存储医疗影像，并维护一个缩略图缓存空间；缩略图储存在文件系统中，尺寸固定为N*N，格式为平板、手机等设备支持的常见格式(jpg、png)，命名规则为“NAME_posL_posT_level.*”，其中NAME为图片的名称，posL为该缩略图左上角像素在原始图像中距离左边界的像素数，posT为该缩略图左上角像素在原始图像中距离上边界的像素数，level＝log₂M，M为该缩略图相对于原图的缩小倍数，level取值为整数，即每一级图片的缩小倍数为上一级的2倍；

(2)客户端从服务端获取待加载图像的原始信息，包括名称NAME，宽度W，高度H；客户端计算得到初始加载缩放层级W_view，H_view为客户端可视区域的宽度和高度；客户端通过HTTP发起获取缩略图“NAME_0_0_level_init”的GET请求；

(3)服务端接收到GET请求后，检查缩略图缓存空间是否已有该缩略图，若存在该缩略图，则返回给客户端，执行步骤(5)，否则执行步骤(4)；

(4)服务端实时生成缩略图“NAME_posL_posT_level”，具体为：打开原始图片，设定窗口为[posL,posT,posL+2^level×N-1,posT+2^level×N-1]，前两个参数分别为窗口左上角距离原始图片左边和上边的像素数，后两个参数分别为窗口右下角距离原始图片左边和上边的像素数，生成该窗口的尺寸为N*N的缩略图；将生成的缩略图返回客户端，并存储到服务端的缩略图缓存空间；

(5)客户端接收到服务端返回的缩略图后，将缩略图加载到可视区域；用户通过鼠标或者触摸手势进行图像浏览；

(6)客户端持续监听用户的鼠标事件和触摸事件，判断用户鼠标或触摸手势在视窗是否出现“停留”，当出现“停留”时，客户端预加载当前缩放等级level的前p级的缩略图，p取level-1到0；当发生拖动或缩放时，执行步骤(7)；

(7)获得原视窗与拖动或缩放后视窗的位置关系，计算需要加载到可视区域的缩略图名称(可能有多个)，通过HTTP向服务端发起获取缩略图的GET请求，重新执行步骤(3)。

进一步地，所述步骤(4)生成缩略图后，检查缩略图缓存空间的使用量，若超过预设阈值S，则服务端使用如下策略更新缩略图缓存空间，以节省储存空间：服务端记录缩略图的最后访问时间T_visit，并指定该缩略图的生存时间T_survival＝T_unit×2^level，T_unit为设置的单位时间长度(例如可以设置为1min、5min)，T_survival的设定建立在如下规律上：用户浏览通常从大的区域通过缩放进入小区域，level越高，缩略图表示的原图区域越大，因此认为高level的缩略图访问的频繁程度更高，更有储存在服务端的必要；当缩略图缓存空间的使用量超过预设阈值S时，执行以下操作：

a.根据T_visit升序排列缩略图，依次检测，删除第一个满足条件T_now-T_visit＞T_survival的缩略图，T_now为当前时间，如果不存在满足该条件的图片，则删除T_visit最小的缩略图；

b.重复步骤a直到缩略图缓存空间的使用量小于等于S。

进一步地，所述步骤(5)中，可视区域使用canvas实现，缩略图通过canvas API完成加载和图像变换操作。

进一步地，所述步骤(6)中，所述“停留”的判断方法如下：客户端以固定时间间隔记录鼠标位置，记(x_i,y_i)为t_i时刻鼠标位置，x_i为距离可视区域左边界距离，y_i为距离可视区域上边界距离；考虑当前时刻之前的k个时刻记录的k个坐标，当且时，l为预设的移动距离阈值，认为用户停留在该区域。

进一步地，所述步骤(6)中，客户端预加载当前缩放等级level的前p级的缩略图的具体方法如下：

(6.1)计算停留时刻之前的k个时刻对应的k个坐标的平均位置，作为预加载的图片中心点C：

(6.2)对于当前可视区域左上角在原图中对应的像素P，记像素P距离原图左边界与上边界的像素值为L和T，计算中心点C在原始图像中的像素坐标：x_real＝L+x_avg×2^level，y_real＝T+y_avg×2^level

(6.3)计算预加载的缩放等级为lp＝level-p的缩略图的posL、posT，分别记为X、Y：

(6.4)通过HTTP GET请求缩略图“NAME_X_Y_lp”。

进一步地，客户端在获取缩略图时利用浏览器缓存，对于下载过的缩略图，直接从浏览器缓存获取。

本发明的有益效果是：本发明的主要创造点在于设计了图片缩略图的一种服务器端缓存方法，设计了图像浏览中的一种客户端预加载策略；本发明主要针对超大尺寸的医疗影像，如病理切片图像。本发明运用服务器端处理的方式来生成影像的局部缩略图，定义了不同缩放层级的缩略图映射方法与缓存方法，并设计了一种缓存的更新方法，以节省储存空间。当客户端请求图像数据时，服务器先判断是否命中缓存，没有命中则实时生成指定窗口、缩放等级的缩略图。客户端通过预加载的方式，降低了图像调窗(如拖动，缩放)的操作延迟。通过监听鼠标(触摸)事件，以一定规则判断用户是否在某一区域停留，如果存在停留，则预加载停留区域的下几级缩略图。系统采用B/S架构，基于HTML5的canvas实现了图片的加载，以实现良好的平台适用性。

附图说明

图1为远程医疗中图像的实时查看方法整体流程示意图；

图2为更新缩略图缓存空间示意图；

图3为客户端持续监听用户的鼠标事件和触摸事件示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明提供的一种远程医疗中图像的实时查看方法，包括以下步骤：

(1)在服务端存储医疗影像，并维护一个缩略图缓存空间；缩略图储存在文件系统中，尺寸固定为N*N，格式为平板、手机等设备支持的常见格式(jpg、png)，命名规则为“NAME_posL_posT_level.*”，其中NAME为图片的名称，posL为该缩略图左上角像素在原始图像中距离左边界的像素数，posT为该缩略图左上角像素在原始图像中距离上边界的像素数，level＝log₂M，M为该缩略图相对于原图的缩小倍数，level取值为整数，即每一级图片的缩小倍数为上一级的2倍；

(2)客户端从服务端获取待加载图像的原始信息，包括名称NAME，宽度W，高度H；客户端计算得到初始加载缩放层级W_view，H_view为客户端可视区域的宽度和高度；客户端通过HTTP发起获取缩略图“NAME_0_0_level_init”的GET请求；

(3)服务端接收到GET请求后，检查缩略图缓存空间是否已有该缩略图，若存在该缩略图，则返回给客户端，执行步骤(5)，否则执行步骤(4)；

(4)服务端实时生成缩略图“NAME_posL_posT_level”，具体为：打开原始图片，设定窗口为[posL,posT,posL+2^level×N-1,posT+2^level×N-1]，前两个参数分别为窗口左上角距离原始图片左边和上边的像素数，后两个参数分别为窗口右下角距离原始图片左边和上边的像素数，生成该窗口的尺寸为N*N的缩略图；将生成的缩略图返回客户端，并存储到服务端的缩略图缓存空间；生成缩略图后，检查缩略图缓存空间的使用量，若超过预设阈值S，则服务端使用如下策略更新缩略图缓存空间，以节省储存空间，如图2所示：服务端记录缩略图的最后访问时间T_visit，并指定该缩略图的生存时间T_survival＝T_unit×2^level，T_unit为设置的单位时间长度(例如可以设置为1min、5min)，T_survival的设定建立在如下规律上：用户浏览通常从大的区域通过缩放进入小区域，level越高，缩略图表示的原图区域越大，因此认为高level的缩略图访问的频繁程度更高，更有储存在服务端的必要；当缩略图缓存空间的使用量超过预设阈值S时，执行以下操作：

a.根据T_visit升序排列缩略图，依次检测，删除第一个满足条件T_now-T_visit＞T_survival的缩略图，T_now为当前时间，如果不存在满足该条件的图片，则删除T_visit最小的缩略图；

b.重复步骤a直到缩略图缓存空间的使用量小于等于S；

(5)客户端接收到服务端返回的缩略图后，将缩略图加载到可视区域；用户通过鼠标或者触摸手势进行图像浏览；可视区域使用canvas实现，缩略图通过canvas API完成加载和图像变换操作；

(6)客户端持续监听用户的鼠标事件和触摸事件，如图3所示，判断用户鼠标或触摸手势在视窗是否出现“停留”，当出现“停留”时，客户端预加载当前缩放等级level的前p级的缩略图，p取level-1到0；当发生拖动或缩放时，执行步骤(7)；

所述“停留”的判断方法如下：客户端以固定时间间隔记录鼠标位置，记(x_i,y_i)为t_i时刻鼠标位置，x_i为距离可视区域左边界距离，y_i为距离可视区域上边界距离；考虑当前时刻之前的k个时刻记录的k个坐标，当且时，l为预设的移动距离阈值，认为用户停留在该区域；

客户端预加载当前缩放等级level的前p级的缩略图的具体方法如下：

(6.1)计算停留时刻之前的k个时刻对应的k个坐标的平均位置，作为预加载的图片中心点C：

(6.2)对于当前可视区域左上角在原图中对应的像素P，记像素P距离原图左边界与上边界的像素值为L和T，计算中心点C在原始图像中的像素坐标：x_real＝L+x_avg×2^level，y_real＝T+y_avg×2^level

(6.3)计算预加载的缩放等级为lp＝level-p的缩略图的posL、posT，分别记为X、Y：

(6.4)通过HTTP GET请求缩略图“NAME_X_Y_lp”；

(7)获得原视窗与拖动或缩放后视窗的位置关系，计算需要加载到可视区域的缩略图名称(可能有多个)，通过HTTP向服务端发起获取缩略图的GET请求，重新执行步骤(3)。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种远程医疗中图像的实时查看方法，其特征在于，包括以下步骤：

(1)在服务端存储医疗影像，并维护一个缩略图缓存空间；缩略图储存在文件系统中，尺寸固定为N*N，命名规则为“NAME_posL_posT_level.*”，其中NAME为图片的名称，posL为该缩略图左上角像素在原始图像中距离左边界的像素数，posT为该缩略图左上角像素在原始图像中距离上边界的像素数，level＝log₂M，M为该缩略图相对于原图的缩小倍数，level取值为整数，即每一级图片的缩小倍数为上一级的2倍；

(2)客户端从服务端获取待加载图像的原始信息，包括名称NAME，宽度W，高度H；客户端计算得到初始加载缩放层级W_view，H_view为客户端可视区域的宽度和高度；客户端通过HTTP发起获取缩略图“NAME_0_0_level_init”的GET请求；

(3)服务端接收到GET请求后，检查缩略图缓存空间是否已有该缩略图，若存在该缩略图，则返回给客户端，执行步骤(5)，否则执行步骤(4)；

(4)服务端实时生成缩略图“NAME_posL_posT_level”，具体为：打开原始图片，设定窗口为[posL,posT,posL+2^level×N-1,posT+2^level×N-1]，前两个参数分别为窗口左上角距离原始图片左边和上边的像素数，后两个参数分别为窗口右下角距离原始图片左边和上边的像素数，生成该窗口的尺寸为N*N的缩略图；将生成的缩略图返回客户端，并存储到服务端的缩略图缓存空间；

(5)客户端接收到服务端返回的缩略图后，将缩略图加载到可视区域；用户通过鼠标或者触摸手势进行图像浏览；

(6)客户端持续监听用户的鼠标事件和触摸事件，判断用户鼠标或触摸手势在视窗是否出现“停留”，当出现“停留”时，客户端预加载当前缩放等级level的前p级的缩略图，p取level-1到0；当发生拖动或缩放时，执行步骤(7)；

(7)获得原视窗与拖动或缩放后视窗的位置关系，计算需要加载到可视区域的缩略图名称，通过HTTP向服务端发起获取缩略图的GET请求，重新执行步骤(3)。

2.根据权利要求1所述的一种远程医疗中图像的实时查看方法，其特征在于，所述步骤(4)生成缩略图后，检查缩略图缓存空间的使用量，若超过预设阈值S，则服务端使用如下策略更新缩略图缓存空间：服务端记录缩略图的最后访问时间T_visit，并指定该缩略图的生存时间T_survival＝T_unit×2^level，T_unit为设置的单位时间长度，T_survival的设定建立在如下规律上：用户浏览通常从大的区域通过缩放进入小区域，level越高，缩略图表示的原图区域越大，因此认为高level的缩略图访问的频繁程度更高，更有储存在服务端的必要；当缩略图缓存空间的使用量超过预设阈值S时，执行以下操作：

a.根据T_visit升序排列缩略图，依次检测，删除第一个满足条件T_now-T_visit＞T_survival的缩略图，T_now为当前时间，如果不存在满足该条件的图片，则删除T_visit最小的缩略图；

b.重复步骤a直到缩略图缓存空间的使用量小于等于S。

3.根据权利要求1所述的一种远程医疗中图像的实时查看方法，其特征在于，所述步骤(5)中，可视区域使用canvas实现，缩略图通过canvas API完成加载和图像变换操作。

4.根据权利要求1所述的一种远程医疗中图像的实时查看方法，其特征在于，所述步骤(6)中，所述“停留”的判断方法如下：客户端以固定时间间隔记录鼠标位置，记(x_i,y_i)为t_i时刻鼠标位置，x_i为距离可视区域左边界距离，y_i为距离可视区域上边界距离；考虑当前时刻之前的k个时刻记录的k个坐标，当且时，l为预设的移动距离阈值，认为用户停留在该区域。

5.根据权利要求1所述的一种远程医疗中图像的实时查看方法，其特征在于，所述步骤(6)中，客户端预加载当前缩放等级level的前p级的缩略图的具体方法如下：

(6.1)计算停留时刻之前的k个时刻对应的k个坐标的平均位置，作为预加载的图片中心点C：

(6.2)对于当前可视区域左上角在原图中对应的像素P，记像素P距离原图左边界与上边界的像素值为L和T，计算中心点C在原始图像中的像素坐标：x_real＝L+x_avg×2^level，y_real＝T+y_avg×2^level；

(6.3)计算预加载的缩放等级为lp＝level-p的缩略图的posL、posT，分别记为X、Y：

(6.4)通过HTTP GET请求缩略图“NAME_X_Y_lp”。

6.根据权利要求1所述的一种远程医疗中图像的实时查看方法，其特征在于，客户端在获取缩略图时利用浏览器缓存，对于下载过的缩略图，直接从浏览器缓存获取。