CN109934774B - 一种基于图像位置上下文的图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于图像位置上下文的图像拼接方法。本发明具体实现步骤如下：步骤(1)将扫描生成的全部单视野图像分为多级瓦片；步骤(2)图像拼接涉及单视野图像及其邻域的姿态数据与计算位点；步骤(3)参考扫描姿态的先验知识用于图像拼接；步骤(4)基于图像位置的上下文进行图像的拼接；步骤(5)在服务器上完成图像拼接的运算；步骤(6)图像拼接参考其邻域边缘的数据池、姿态数据与位置数据,实现快速、连续，流水线式作业。本发明可实现面阵式数字切片扫描仪数字图像的无缝隙拼接，获得病理切片的全部信息，用于病理学、临床医学的观察诊断。

Description

一种基于图像位置上下文的图像拼接方法

技术领域

本发明涉及一种基于图像位置上下文的图像拼接方法，具体涉及一种用于面阵式数字切片扫描仪的图像拼接技术。本发明可应用于远程医疗诊断，病理学诊断，生命科学研究，病理形态学教学等领域。

背景技术

数字切片扫描仪是一种将现代数字系统与传统光学原理有机结合的仪器。它通过采集扫描传统的玻璃病理切片，得到显示患者细胞组织状况的高分辨率数字图像。再应用计算机技术对得到的图像自动进行高精度多视野无缝隙拼接和处理，获得优质的全切片数字化图像(whole slide image，WSI)。数字切片一经制成，其图像质量可长期保证，且支持重复复制。方便随时观察，取阅，可追溯性更好。

近年来，医疗与信息技术的发展显示，生成的数字切片扫描图像可用于远程医疗会诊。协助医院进行病理诊断，降低医院的肿瘤误诊率。帮助经验尚浅的新岗病理医师进行迅速的行业知识积累，建立常规和疑难病例的可视化资源数据库、图像的标准化分析和统计分析等。

现有数字切片扫描仪按照扫描相机的类型，可分为面阵式数字切片扫描仪与线阵式数字切片扫描仪。面阵式切片扫描仪，扫描图像分辨率相对较高。但扫描速度较慢。受光学原理的限制，扫描所得单视野面积较小。要获取大面积的全切片图像，需要拼接大量的单视野扫描图像。而线阵相机切片扫描仪，扫描速度相对较快。但较难控制，扫描图像的分辨率不高，扫描成功率较低。要获得较好的全数字切片图像，需要开发相应的切片扫描算法实现大量单视野切片图像的拼接。

现有的图像拼接算法多关注于切片的扫描路径与图像的拼接方法，即采用一定的图像重叠区域进行特征识别进行拼接。由于图像识别技术的限制与图像数量的巨大，极易造成全切片数字切片图像的部分丢失与移位。且拼接过程中，由于运动平台的运动精度与装配误差。很多研究关注于解决通用的图像畸变，平移等问题，忽略了大量的图像对硬件设备内存与图像上传速度的影响。且图像的拼接仅依赖于特征识别，稳定性不高，且对设备硬件的要求较高。

针对上述问题与现有需求，本发明提出了一种基于上下文的图像拼接技术。通过将扫描所得大量单视野图像分为m级n片瓦片，并记录其像素坐标。依据记载的扫描图像的像素，综合考虑其邻域的边缘数据、位置数据与姿态数据实现对扫描图像的精确拼接。并采用边上传，边拼接的方式，使用服务器进行计算实现扫描图像的全视野无缝拼接。获得全信息、全方位的全切片数字扫描图像，用于后续的病理学诊断。

发明内容

本发明的目的是针对远程医疗诊断、病理学诊断与教学对全切片数字图像的需求，面阵式数字切片扫描仪的图像拼接技术的限制，开发一种基于图像位置上下文的图像拼接方法。实现对大量单视野切片图像的精确拼接，获得无缝隙的全切片数据图像。

为达到上述目的，本发明采用如下技术方案予以解决：

本发明包括扫描区域的全部单视野数字图像、服务器、数字图像的坐标数据、运动平台的状态数据、位置数据等。具体实现步骤如下：

步骤(1)将扫描生成的全部单视野图像分为多级瓦片；

步骤(2)图像拼接涉及单视野图像及其邻域的姿态数据与计算位点；

步骤(3)参考扫描姿态的先验知识用于图像拼接；

步骤(4)基于图像位置的上下文进行图像的拼接；

步骤(5)在服务器上完成图像拼接的运算；

步骤(6)图像拼接参考其邻域边缘的数据池、姿态数据与位置数据,实现快速、连续，流水线式作业。

步骤1所述的全部单视野扫描图像,至少被划分为m级，n片瓦片，所述瓦片除显示扫描图像还携带瓦片相关的位置像素信息。

步骤2所述的图像拼接综合考虑待拼接单视野图像及其邻域的姿态数据，具体包括其上方、下方、左侧与右侧四个邻域的姿态数据。

步骤2所述的图像拼接是拼接一个图像瓦片，需综合考虑待拼接单视野图像及其邻域的姿态数据。具体包括其上方、下方、左侧、右侧、左上方、左下方、右上方、右下方八邻域的像素位置数据，用于上下文的拼接。

所述的拼接一个图像瓦片，为准确拼接第m级第n块扫描图像，需要保持第m级，第(n-1)片瓦片与(n+1)片瓦片的边缘数据，用于后续的拼接。

步骤3所述的扫描姿态的先验知识包括运动平台的运动精度、跳动、直线度等相关数据。还包括初始安装时，测量所得导轨间的直线度、平面度、垂直度、物镜相对切片的倾斜度等数据。

步骤4所述的基于图像位置的上下文的图像拼接，包括：待拼接图像先生成与后生成的邻域图像的边缘识别数据池、相关邻域的位置数据及待拼接图像邻域的姿态数据。

通过特征识别待拼接图像的边缘位置数据时，已扫描获取的邻域图像的姿态信息、瓦片像素位置信息等将保持不被清空,待拼接图像加入线程。

将扫描所得的待拼接图像上传于远程服务器，由远程服务器进行大量图像拼接的运算。

采用边生成扫描图像边上传至远程服务器的图像扫描拼接方式。进行图像拼接的流水线化作业，实现大量扫描图像的快速拼接。

本发明有益效果如下：

本发明综合考虑待拼接图像的位置数据、姿态数据与边缘数据，可实现大量单视野切片扫描图像的准确拼接，获得清晰地全切片数字图像。采用基于上下文的图像拼接，边扫描边拼接。扫描完成图像上传至服务器，实现大量单视野扫描图像的快速拼接。

附图说明

图1是本发明实施例的图像拼接装置的功能方块图；

图2是本发明实施例的瓦片地图示意图；

图3是本发明实施例的图像拼接流程图；

图4是本发明实施例的图像拼接应用系统图；

具体实施方式

下面结合附图和实施例对本发明做具体说明。

本发明的实施例涉及一种用于面阵式数字切片扫描仪的图像拼接技术，实现对大量单视野切片图像的精确拼接，获得无缝隙的全切片数据图像。可应用于远程医疗诊断，病理学诊断，生命科学研究，病理形态学教学等领域。

本发明一种图像拼接技术的图像拼接装置功能方块图如图1所示，由预览单元101、运动平台102、图像获取单元103、上位机PC104、运算处理单元105及远程服务器这5个部分组成。预览单元101将拍摄待扫描的物理切片，得到待拼接的扫描图像及图像信息。根据预览图像，采样获取一定数量的特征点进行对焦，依据对焦获得的焦点及图像的特征分布模拟生成焦平面。依据生成的理论焦平面，运动平台102驱动物理切片运动至理论坐标位置，并上下运动至理论焦点处。当扫描图像锐利度达到要求值，此时图像获取单元103拍照，得到较为清晰的单视野数字切片图像。扫描获取的图像信息，立刻存入上位机PC104的缓存区。随后上位机PC104将一定数量的扫描图像上传至运算处理单元105，由远程服务器基于扫描图像上下文的数据信息对图像进行拼接。

本发明实施例所采用的切片瓦片地图，如图2所示。包括拼接全切片数字图像所需的全部单视野图像，每个单视野图像均携带着其相应的位置像素信息，图像的像素坐标与实际的位置坐标有一定的映射关系，像素坐标系和地图的经纬度坐标系存在对应关系，单视野图像上的每一个像素都对应一个经纬度点位置。不同缩放级别下，像素坐标系和经纬度坐标系的对应关系是不同的。地图瓦片是包含了一系列比例尺、一定地图范围内的地图切片文件。地图瓦片按照金字塔结构组织，每张瓦片都可通过级别、行列号唯一标记。在平移、缩放地图时，浏览器根据金字塔规则，计算出所需的瓦片，从瓦片服务器获取并拼接。多任务切图是将一个“巨大”的切图任务拆分成多个子任务，并开启多个切图进程，每个进程自动领取切图子任务并执行。瓦片成果支持保存到本地，也支持保存到MongoDB数据库。多任务切图时每个切图任务会同时访问地图中图层所在的数据源，所以数据源需要设置为只读打开，并保存工作空间。全部单视野图像被分割为至少m级n片瓦片，m>n。

如图3实施例所示,上位机PC一边扫描切片，一边将单视野数字切片图像上传至服务器。减少上位机的运算功工作，降低对硬件设备的要求，提高进行切片拼接的运算性能，缩短拼接时间。具体流程如下：

待扫描所得的全部单视野数字切片图像被上传至服务器，服务器便根据图像的预期缩放大小与缩放比例，计算数字切片图像应切分的瓦片级数。同时对应不同级别的图像瓦片，其每一级别应切分的瓦片数量也不相同。不同级别的瓦片，其主要的区别在于图像分辨率不同。当决定显示m级的瓦片时，如拼接数字切片图像的第m级第n片瓦片。先依据特征识别算法，提取待拼接图像与其邻域的边缘数据，形成一个图像边缘数据池。再依据计算函数，加入运动平台的直线度、垂直度、运动精度等参数，即获取图像的先验经验。随后获取待拼接图像八邻域的位置数据、四邻域的姿态数据。待拼接图像相关参数均获取完成，再加入第n片瓦片的m+1级与m-1级的图像数据以保证生成图像的清晰度。服务器依据这些数据，即开始进行上下文运算。将邻域图像与待拼接图像进行配准与融合，开始拼接第m级第n片瓦片。再依此同样的方法，进行第m级，n+1片瓦片的拼接。编写应用程序，形成流水线式拼接，最终获取全数字切片图像。

本发明实施例的图像拼接应用系统流程图如图4所示，经过拼接所得切片图像，通过网络共享技术上传至网络系统。分布于不同区域的病理会诊专家，通过下载，复制拼接后的数字切片图像结合患者的病历信息进行诊断。通过这种方式，不同区域的病历专家可以依据病理切片做出自己的诊断。然后通过交流，沟通，对患者的病症做出较为精准、正确的判断。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种基于图像位置上下文的图像拼接装置，其特征在于预览单元(101)、运动平台(102)、图像获取单元(103)、上位机PC(104)、运算处理单元(105)及远程服务器；预览单元(101)用于拍摄待扫描的物理切片，得到待拼接的扫描图像及图像信息；根据预览的图像，采样获取一定数量的特征点进行对焦，依据对焦获得的焦点及图像的特征分布模拟生成焦平面；依据生成的理论焦平面，运动平台(102)驱动物理切片运动至理论坐标位置，并上下运动至理论焦点处；当预览图像锐利度达到要求值，此时图像获取单元(103)拍照，得到清晰的单视野数字切片图像；此刻扫描获取的图像信息，立刻存入上位机PC(104)的缓存区；随后上位机PC(104)将数量设定的单视野数字切片图像上传至运算处理单元(105)，由远程服务器基于扫描图像上下文的数据信息对图像进行拼接。

2.根据权利要求1所述的一种基于图像位置上下文的图像拼接装置，其特征在于每个单视野数字切片图像均携带着其相应的位置像素信息，且其像素坐标与实际的位置坐标有映射关系，像素坐标系和地图的经纬度坐标系存在对应关系，单视野数字切片图像上的每一个像素都对应一个经纬度点位置。

3.根据权利要求1或2所述的一种基于图像位置上下文的图像拼接装置的实现方法，其特征在于包括如下步骤：

步骤1、将待扫描所得的全部单视野数字切片图像上传至服务器，服务器根据图像的预期缩放大小与缩放比例，计算单视野数字切片图像应切分的瓦片级数；同时对应不同级别的图像瓦片，其每一级别应切分的瓦片数量也不相同；不同级别的瓦片，其主要的区别在于图像分辨率不同；

步骤2、依据特征识别算法提取待拼接单视野数字切片图像与其邻域的边缘数据，形成一个图像边缘数据池；

步骤3、依据计算函数，加入运动平台的直线度、垂直度、运动精度，即获取图像的先验经验；

步骤4、获取待拼接图像八邻域的位置数据、四邻域的姿态数据；

所述的八邻域的位置数据，具体包括其上方、下方、左侧、右侧、左上方、左下方、右上方、右下方八邻域的像素位置数据，用于上下文的拼接；

所述的四邻域的姿态数据，具体包括其上方、下方、左侧与右侧四个邻域的姿态数据；

步骤5、待拼接图像相关参数均获取完成后，再加入第n片瓦片的m+1级与m-1级的图像数据以保证生成图像的清晰度；

步骤6、服务器依据根据采集的待拼接图像八邻域的位置数据与四邻域的姿态数据，开始进行上下文运算，将邻域图像与待拼接图像进行配准与融合，开始拼接第m级第n片瓦片；再根据同样的方法，进行第m级第n+1片瓦片的拼接，形成流水线式拼接，最终获取全数字切片图像。

4.根据权利要求3所述的一种基于图像位置上下文的图像拼接装置的实现方法，其特征在于步骤1中所述的单视野数字切片图像,至少被划分为m级，n片瓦片，且m>n。

5.根据权利要求3所述的一种基于图像位置上下文的图像拼接装置的实现方法，其特征在于为准确拼接开始拼接第m级第n片瓦片，需要保持第m级，第(n-1)片瓦片与(n+1)片瓦片的边缘数据，用于后续的拼接。

6.根据权利要求4或5所述的一种基于图像位置上下文的图像拼接装置的实现方法，其特征在于瓦片是包含了一系列比例尺、一定地图范围内的地图切片文件；瓦片按照金字塔结构组织，每张瓦片都可通过级别、行列号唯一标记；在平移、缩放地图时，浏览器根据金字塔规则，计算出所需的瓦片，从服务器获取并拼接。

Images