CN111080564A - 一种图像处理方法及系统 - Google Patents

Abstract

本发明公开了一种图像处理方法及系统，属于图像处理领域。针对现有技术中存在的硬件要求高，成本高，可靠度差、误差大的问题，本发明提供了一种图像处理方法及系统。在通用的三目显微镜上通过人工操作三轴平台即可获得病理切片的数字化全景图像。对比现有的病理切片数字扫描仪，本发明不需要纳米级的三轴平台，也不需要搭建显微成像结构，因此制造成本大大降低，几乎没有维护成本，同时用户可以根据自己的兴趣，获得病理切片上任意区域和任意聚焦面的扫描图像，具有极大的灵活性。可以满足实时拼接需求，所有特征点配对中进行“投票”的机制，和其他所有的配对吻合程度最高的配对，成本低、准确率高，计算要求低，且可以实时的进行扫描和查看。

Description

一种图像处理方法及系统

技术领域

本发明涉及数字扫描技术领域，是一种无需位置传感器、完全基于图像特征匹配来进行图像的定位和拼接，并且产生数字化全景图像的方法和系统。

背景技术

现有数字扫描仪，利用纳米级精度的三轴自动化平台，将工业相机定位到预先指定的位置获取图像，最后将所有视场的图像按照各自预定位置拼接为一张数字化全景图像。这种技术可以快速的对一张图片，如病理切片进行数字化扫描，但是须要依靠纳米级精度的三轴自动化平台完成移动和定位，同时无法保证对每个视场都进行自动聚焦，因此存在1)制造成本高，2)难维护，3)难保证所有视场都处于聚焦状态等缺陷。

中国专利申请，申请号2018103798581，公开日2018年11月16日，公开了一种组织切片显微图像的平面拼接合成方法，包括如下步骤：(1)获取待拼接的单张显微镜图像；(2)提取显微图像的特征；(3)匹配显微图像的特征；(4)对显微图像的拼接合成。其解决现有切片显微图像合成方法存在的不足，达到高效、准确完成动物组织切片显微图像的平面拼接合成。其虽然都有显微镜拍图并合成的方法，当时同现有技术一样，具有以下缺点，特征点计算采用了SURF算子，该算子是需要许可证的，而且对计算资源要求高。图像匹配，采用了传统的ratio rejection方法，也就是排名第一的特征点匹配对的欧几里得距离除以排名第二的特征点匹配对的欧几里得距离，要小于某个阈值，才可被接受，这样做为了选择出足够鲁棒的特征点配对，但是存在的问题在于，这种方法还是经常出现错误配对，因为它仅仅是依赖于排名前两名的配对，非常不可靠。图像匹配中，至少在俩俩图像之间进行位置匹配。假设有100张图像，那么我们还要考虑累计误差的问题，也就是图1和图2之间存在1个像素的误差，这样累计下来，到图100的时候，很有可能和图1存在100个像素的误差了。考虑到图像扫描中很有可能图100和图1在事实上是存在重叠的，这样存在了比较大的绝对误差。最后生成的图像固定在4000x3000大小，而且需要后期处理，不可应用于实时扫描等问题。

综上所述，现有技术中的图像匹配对硬件要求高，成本高，可靠度差、误差大，生成的图像需要再次进行后期处理等问题。

发明内容

1.要解决的技术问题

针对现有技术中存在的硬件要求高，成本高，可靠度差、误差大的问题，本发明提供了一种图像处理方法及系统。本方案的成本低、准确率高，计算要求低，维护成本低，且可以实时的进行扫描和查看。

2.技术方案

本发明的目的通过以下技术方案实现。

一种图像处理方法，步骤如下，

采集对应的图像，计算该图像的特征点并且进行匹配，获得该图像的物理位置，具体包含以下步骤：

步骤1.0如果是第一张图像(N＝1)将该图像的位置坐标自动标记为(0，0)，计算该图像中所包含的特征点，并且将其保存至内存；如果不是第一张图像(N>1)，执行步骤1.1；

步骤1.1计算该图像中所包含的特征点，与保存于内存中的特征点进行特征匹配，获得特征点配对列表；

步骤1.2在特征点配对列表中，根据公式(1)获得最优的特征点配对：

其中，

M是特征点配对列表中特征点配对的数量，

pi，pj分别是特征点配对列表中第i，j个特征点配对，

pv是最优的特征点配对，

1{}是指示函数，函数d计算两个特征点配对之间的距离，t为预设的距离阈值；

步骤1.3通过最优的特征点配对pv，计算第N张图像的位置坐标，并且将第N张图像的特征点保存。

更进一步的，所述的预设的距离阈值t是任意两个特征点配对之间的距离阈值，高于t表示这两个特征点配对之间不能够被匹配。

更进一步的，当保存特征点的总数量超过了预设的阈值TH1，清除最早保存的一部分特征点。

更进一步的，还包括步骤，构建图像金字塔，将第N张图像按照步骤1计算得出的位置坐标，更新至图像金字塔，

具体包含以下步骤：

步骤2.1在图像金字塔第一层中，将第N张图像，按照步骤1计算得出的位置坐标，复制并且更新到对应的图像块；

步骤2.2在图像金字塔第K层(K>＝1)中获得更新的图像块，缩小至原来的一半，复制到K+1层中各自对应的图像块的相应部位；

步骤2.3在图像金字塔第K+1层中，如果该层图像块总计个数小于预设的阈值TH2，执行压缩和保存图像；否则，将K增加1，执行步骤2.2，所述的TH2是内存中保存的图像块数量的上限。

更进一步的，还包括步骤3，压缩和保存图像，将图像金字塔中更新的图像块进行存储。

更进一步的，具体的压缩和保存图像，在图像处理过程中，将图像金字塔中更新的图像块先存储到内存，如果接收到停止命令，内存中保留的图像块保存至硬盘，退出处理步骤。

更进一步的，保存至硬盘前的图像块，先进行压缩后进行保存至硬盘。

一种图像处理系统，使用上述任一所述的图像处理方法。

更进一步的，系统包括显微镜、相机、处理机构，相机连接在显微镜上，通过显微镜的移动来进行拍摄，拍摄的图像送入处理机构中进行图像处理。

更进一步的，所述的处理机构为计算机。

3.有益效果

相比于现有技术，本发明的优点在于：

本发明，利用图像特征匹配技术对图像进行定位，在通用的三目显微镜上通过人工操作三轴平台即可获得病理切片的数字化全景图像。对比现有的病理切片数字扫描仪，它可以实现适用于任何计算特征点的算子，在实际操作中采用了ORB算法，开源且效果好，计算要求低，可以满足实时拼接需求，所有特征点配对中进行“投票”的机制，和其他所有的配对吻合程度最高的配对，自然就成为最佳的配对，匹配的准确率高，这样匹配错误的可能性就几乎为零，基于新图和过往的若干张旧图，数量可以自己定义，可以不累计误差，达到全局最优的匹配，可以完成上GB图像扫描之后立刻可以即时查看浏览。本发明不需要纳米级的三轴平台，也不需要搭建显微成像结构，因此制造成本大大降低，几乎没有维护成本，同时用户可以根据自己的兴趣，获得病理切片上任意区域和任意聚焦面的扫描图像，具有极大的灵活性。

附图说明

图1为本发明的流程示意图；

图2位图像金字塔上层和下层示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

本方案采用了一种基于扫描技术，可以快速新获取图像，将新获取的图像与已有图像之间进行图像特征匹配并且定位；通过建立图像金字塔，基于新的图像，进行实时更新和扩展全景图像的内容。

关于专有名词的定义如下，

特征点：经过图像处理算法提取出的图像中具有明显特征的点，比如桌子转角，细胞核等。

特征匹配：计算特征点A和特征点B之间的相似度，决定A和B是否匹配。

位置坐标：新的图像在全景图中的二维坐标(x，y)。

图像金字塔：由固定大小的图像块组成(一般为256x256)。第N+1层的图像块，由第N层对应的四个图像块(左上，左下，右上，右下)缩小至原来的一半后拼接组成。

全景图像：由多个视场图像(一般上千个以上)拼接组成的全景图像，展现了所需要显示的图像的全貌，并且可以放大和缩小供阅片者查看。压缩过后的大小，达到几百MB到10GB都有可能。此处的全景图像可以为病理切片的数字化全景图像，应用于病理切片的领域等等其他需要使用到的类似领域。

在具体的工作中，本方案只需将定制的工业相机安装在通用的显微镜上，可以为三目显微镜，通过用户对显微镜三轴平台的手动操作来移动相机视场，相机记录对应的图像，并将图像送入处理机构中，处理机构可以为计算机，上面设置有对应的处理程序，处理机构自动将相机所记录的视场图像拼接成数字化全景图像，并进行压缩和保存。解决了现有技术存在的制造成本高、难维护、难以对所有视场都聚焦的问题。低成本、简单且方便，准确率高。

处理程序具体的图像处理的步骤如下，

步骤1，图像匹配和定位，“图像匹配和定位”模块，负责将新获取的图像和已有的图像进行匹配，并且找到新获取的图像的位置坐标；

具体步骤的如下，步骤1，获取第N张图像(N>＝1)，计算该图像的特征点并且进行匹配，获得该图像的物理位置，具体包含以下步骤：

步骤1.0如果是第一张图像(N＝1)将该图像的位置坐标自动标记为(0，0)，计算该图像中所包含的特征点，并且将其保存至内存，执行步骤2；在N＝1的时候，如果图像计算后没有足够的特征点，那么报错，等待输入下一张图作为新的起始图像。这个在实际操作过程中往往是手动移动的距离不足，导致图片过小，或者缺点，特征点不足，会报错。

如果不是第一张图像(N>1)，执行步骤1.1。

步骤1.1计算该图像中所包含的特征点，与保存于内存中的特征点进行特征匹配，获得特征点配对列表。

步骤1.2在特征点配对列表中，根据公式(1)获得最优的特征点配对：

其中，

M是特征点配对列表中特征点配对的数量；

pi，pj分别是特征点配对列表中第i，j个特征点配对；

pv是最优的特征点配对；

1{}是指示函数，函数d计算两个特征点配对之间的距离，t为预设的距离阈值。

通过公式(1)获得获得最佳特征点pv，新的图像的坐标是通过如下公式获得的：

I₂＝I₁+r₁-r₂ (2)

其中I1，I2分别是pv中对应的旧图和新图的绝对二维坐标，r1和r2分别是pv中对应的旧特征点和新特征点在各自所属图像中的相对二维坐标。在N>1的时候，如果新的图像没有足够的特征点，或者和旧有图像之间的最佳特征匹配pv没有获得足够“投票”，那么系统报错，等待输入下一张图作为新的第N张图像。pv获得的“投票”，也就是公式(1)中其他特征匹配和pv之间的距离小于t的所有匹配数量，如下式，

一般情况下每一张图片都是通过顺序移动来一张张拍摄对应的照片获得的，如果移动距离过大，可能下一站图片和上一张图片或者其他图片完全没有相交叉的部分，没有特征点的重合，就无法计算出这张图片的位置，所以在移动拍摄中，一般保证移动不要太远，与现有已经拍摄过的部位有重合。

步骤1.3通过最优的特征点配对pv，计算第N张图像的位置坐标，并且将第N张图像的特征点保存至内存。如果保存特征点的总数量超过了预设的阈值TH1，清除最早保存的一部分特征点。这里一般都是遵循先进先出的原则，始终保持存储的特征点总数量保持问题，超过的被删除，由于每一次清除的是较早保存至内存的特征点，他们的共同点是坐标离新的一帧图像比较远，继续保存已经没有太多意义，清除掉可以减轻内存和计算资源的负担，且不会影响位置的计算，由于清除的特征点已经和新的图像没有坐标系上的交集了，因此清楚后不会影响后续工作。

预设的距离阈值t是任意两个特征点配对之间的距离阈值，高于t表示这两个特征点配对之间不能够被匹配；t设定在一个尽可能低的数值，用以排除不够匹配的任意两个特征点配对。TH1是内存中保存的特征点数量的上限；TH2是内存中保存的图像块(256x256)数量的上限。TH1设定在一个既能够在内存中保存足够多的特征点用来匹配新的一帧图像，又不至于占用过多内存和计算资源的数值。

步骤2，构建图像金字塔，“图像金字塔构建”模块，负责将新获取的图像，结合“图像匹配和定位”模块计算出的位置坐标，更新至图像金字塔中；

具体步骤的如下，步骤2：将第N张图像按照步骤1计算得出的位置坐标，更新至图像金字塔。具体包含以下步骤：

步骤2.1在图像金字塔第一层中，将第N张图像，按照步骤1计算得出的位置坐标，复制并且更新到对应的图像块。

步骤2.2在图像金字塔第K层(K>＝1)中获得更新的图像块，缩小至原来的一半，复制到K+1层中各自对应的图像块的相应部位(左上，左下，右上，右下)。

步骤2.3在图像金字塔第K+1层中，如果该层图像块总计个数小于预设的阈值TH2，执行步骤3进行储存；否则，将K增加1，执行步骤2.2。TH2是内存中保存的图像块(256x256)数量的上限。TH2设定在一个既能够在内存中保存足够的图像块用来加速图像金字塔的生成，又不至于占用过多内存和计算资源的数值。图像金字塔的生成，是为了提供给用户放大和缩小查看拼接后图像的视场。基础构成元素就是256x256的图像块。每四个同层的相邻四个图像块(左上，左下，右上，右下)组成了512x512的大图像块，这个大图像块缩小至原来的一半之后又变成了图像金字塔更上一层的256x256图像块。以此类推，我们可以从第一层的1024个图像块，获得第二层的256个图像块，然后第三层的64个图像块，以此类推，直到最高一层只有一个图像块。如图2所示。下方的一层四个图像块，会缩小至上一层的一个图像块，当用户浏览图像的时候，只需要根据当前用户视场选择合适的分辨率，在对应的图像金字塔的某层获得对应的一部分图像块，显示到电脑屏幕即可。比如一个1900x1000的图像，一般只需要32个图像块即可占满整个屏幕。图像金字塔的存在，可以加速图像在用户端的显示速度。

本方案采用图像金字塔的方案，因为现有技术中，病理切片往往包含了上千甚至上万个相机视场，压缩后的全景图像大小一般都在GB以上。如果没有预处理的图像金字塔，那么用户在浏览全景图像时，在个人电脑上的缩放操作就存在极大的延时，极端的情况下甚至会死机。比如用户要看一个1GB的图像的缩略图，常规的浏览器会把一个1GB数据，解压后得到原始图像，可能5GB，再进行图像的缩小。许多个人电脑的内存可能不够，及时足够，CPU的图像缩小计算，也会有很大的延时。而图像金字塔的好处是，当用户想要看这张图像的缩略图，那么计算机可以自动检测出需要的缩放比例，然后到对应的某一层金字塔中获取对应坐标的图像块，电脑屏幕假设是2048x1024，就需要32个图像块，最后显示到屏幕上。这样即使是配置有限的计算机，也能够提供1GB图像的流畅浏览。运行更加快速，且可以保证运行成本更低，适用于各种场景，更利于方案的推广。

步骤3，“图像压缩和保存”模块，负责将对应的图像金字塔中的图像块，压缩并且保存至硬盘。

具体步骤的如下，步骤3，压缩和保存图像：将图像金字塔中更新的图像块进行存储，存储的地方为内存等机构。超出内存的图像块，压缩并且保存至硬盘，此处的压缩可以使用现有技术的压缩方式，在此不多赘述。如果接收到用户的停止命令，将内存中保留的图像块压缩并且保存至硬盘，最后退出程序；否则，将N增加1，回到步骤1，通过上述方式完整所有的图像采集，在采集中可以实时查看图像，且进行放大和缩小。本发明不需要纳米级的三轴平台，也不需要搭建显微成像结构，因此制造成本大大降低，几乎没有维护成本，同时用户可以根据自己的兴趣，获得病理切片上任意区域和任意聚焦面的扫描图像，具有极大的灵活性。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种图像处理方法，步骤如下，

采集对应的图像，计算该图像的特征点并且进行匹配，获得该图像的物理位置，具体包含以下步骤：

步骤1.0如果是第一张图像(N＝1)将该图像的位置坐标自动标记为(0，0)，计算该图像中所包含的特征点，并且将其保存至内存；如果不是第一张图像(N>1)，执行步骤1.1；

步骤1.1计算该图像中所包含的特征点，与保存于内存中的特征点进行特征匹配，获得特征点配对列表；

步骤1.2在特征点配对列表中，根据公式(1)获得最优的特征点配对：

其中，

M是特征点配对列表中特征点配对的数量，

pi，pj分别是特征点配对列表中第i，j个特征点配对，

pv是最优的特征点配对，

1{}是指示函数，函数d计算两个特征点配对之间的距离，t为预设的距离阈值；

步骤1.3通过最优的特征点配对pv，计算第N张图像的位置坐标，并且将第N张图像的特征点保存。

2.根据权利要求1所述的一种图像处理方法，其特征在于，所述的预设的距离阈值t是任意两个特征点配对之间的距离阈值，高于t表示这两个特征点配对之间不能够被匹配。

3.根据权利要求1或2所述的一种图像处理方法，其特征在于，当保存特征点的总数量超过了预设的阈值TH1，清除最早保存的一部分特征点。

4.根据权利要求1所述的一种图像处理方法，其特征在于，还包括步骤，构建图像金字塔，将第N张图像按照步骤1计算得出的位置坐标，更新至图像金字塔，

具体包含以下步骤：

步骤2.1在图像金字塔第一层中，将第N张图像，按照步骤1计算得出的位置坐标，复制并且更新到对应的图像块；

步骤2.2在图像金字塔第K层(K>＝1)中获得更新的图像块，缩小至原来的一半，复制到K+1层中各自对应的图像块的相应部位；

步骤2.3在图像金字塔第K+1层中，如果该层图像块总计个数小于预设的阈值TH2，执行压缩和保存图像；否则，将K增加1，执行步骤2.2，所述的TH2是内存中保存的图像块数量的上限。

5.根据权利要求4所述的一种图像处理方法，其特征在于，还包括步骤3，压缩和保存图像，将图像金字塔中更新的图像块进行存储。

6.根据权利要求5所述的一种图像处理方法，其特征在于，具体的压缩和保存图像，在图像处理过程中，将图像金字塔中更新的图像块先存储到内存，如果接收到停止命令，内存中保留的图像块保存至硬盘，退出处理步骤。

7.根据权利要求6所述的一种图像处理方法，其特征在于，保存至硬盘前的图像块，先进行压缩后进行保存至硬盘。

8.一种图像处理系统，其特征在于，使用权利要求1-7任一所述的图像处理方法。

9.根据权利要求8所述的一种图像处理系统，其特征在于，系统包括显微镜、相机、处理机构，相机连接在显微镜上，通过显微镜的移动来进行拍摄，拍摄的图像送入处理机构中进行图像处理。

10.根据权利要求9所述的一种图像处理系统，其特征在于，所述的处理机构为计算机。

Images