CN115829891A - 基于多帧配准和平均算法提高扫描图像质量的方法 - Google Patents

Abstract

本发明公开了基于多帧配准和平均算法提高扫描图像质量的方法，包括：输入N个B‑scan；选择一个参考B‑scan；预处理B‑scan；计算移动B‑scan中每个A‑scan相对于参考B‑scan中相应A‑scan的轴向偏移；通过计算这些A‑scan之间的归一化互相关函数来确定轴向偏移；执行线性回归，通过最大互相关的所有点获得最佳曲线，剔除分布中的异常点，重复线性回归；计算移动B‑scan和参考B‑scan之间的转换；选择最佳移动B‑scan，并排序；用排列在前面的几个移动B‑scan和参考B‑scan创建合成图像；排序列表中的前n个移动B‑scan和选定的参考B‑scan用于创建合成图像；对合成图像后处理。本发明有效提高B‑scan图像质量。

Description

基于多帧配准和平均算法提高扫描图像质量的方法

技术领域

本发明涉及图像处理技术领域。

背景技术

组合在眼睛的同一断层位置重复扫描而获得的多个B-scan图像，会遇到这样一个问题：即使在收集扫描所需要的少量时间中，连续扫描内和连续扫描之间也会出现眼动的情况。这就可能导致时间上分离的扫描在空间上也会彼此不同步。在扫描期间没有眼动的理想情况下，作为同一位置的横截面的每一帧将显示相同的断层结构。由于在眼动的情况下引起的空间错位，连续帧将显示在空间上移位的断层特征，如果不考虑这种影响，平均过程将平均扫描中不同的断层特征，从而导致视觉效果下降，比如模糊、伪边缘等特征，甚至信息内容受损。如图1-3，显示对于4x5光栅的一帧，3次B-scan的失准量。

4x5光栅的1帧B-scan 3次扫描之间的错误配准，以棋盘格格式显示。图2、图3和图4分别显示了B-scan 1和2、1和3以及1和4之间的空间错位。需要有效的方法来提高B-scan图像质量。

发明内容

本发明的目的在于提供基于多帧配准和平均算法提高扫描图像质量的方法，有效提高B-scan图像质量。

实现上述目的的技术方案是：

基于多帧配准和平均算法提高扫描图像质量的方法，包括：

输入N个B-scan(断层扫描)；

选择一个参考B-scan；

预处理B-scan；

计算移动B-scan中每个A-scan(轴向扫描)相对于参考B-scan中相应A-scan的轴向偏移；通过计算这些A-scan之间的归一化互相关函数来确定轴向偏移；

执行线性回归，通过最大互相关的所有点获得最佳曲线，剔除分布中的异常点，重复线性回归；

计算移动B-scan和参考B-scan之间的转换；

选择最佳移动B-scan，并排序；

用排列在前面的几个移动B-scan和参考B-scan创建合成图像；

排序列表中的前n个移动B-scan和选定的参考B-scan用于创建合成图像；

对合成图像后处理。

优选的，预处理B-scan包括：

从参考B-scan中选择一组均匀分布的A-scan用于计算偏移量，根据选定A-scan的范围，对一组3个B-scan进行预处理：把散斑当作高频分量，通过帧的高通滤波生成散斑内容图像，然后从原始图像中减去该散斑内容图像，得到具有更高视觉质量的图像，重复此过程3次，然后从该集合构建中值图像。

优选的，执行线性回归，通过最大互相关的所有点获得最佳曲线，剔除分布中的异常点，重复线性回归，包括：

通过一组A-scan用于找到平移，该平移指出该每个位置处参考和移动图像之间互相关的最大值；这是跨越B-scan长度的一组P点，指出该位置的垂直平移；然后使用线性回归来获得通过这些点的最佳拟合线方程，得到最佳曲线后，计算每个点与这条最佳曲线的偏差，得到这些偏差的分布，丢弃比阈值更远的点，从剩余的点导出一条新的回归线。

优选的，计算移动B-scan和参考B-scan之间的转换，包括：

使用2个A-scan之间的归一化互相关最大值的差距，评估转换的平移校正；从每个B-scan的相应位置沿x和z方向采样一对线；这些线的交点定义了一个矩形ABCD，它对应于要转换到的参考B-scan坐标系；向这个矩形添加轴向平移校正，得到一个平行四边形A'B'C'D'。

优选的，选择最佳移动B-scan，包括：

以创建合成图像的函数公式表示如下：

其中

和

是移动图像i的A-scan和参考图像r的A-scan之间的NCC；T是移动B-scan集合，s是T的B-scan子集，r是参考B-scan；如果移动图像和参考图像的NCC的绝对差之和最小化，并且NCC的和最大化，就认为是创建合成图像的最佳子集；计算每个动态图像的

并按升序对它们进行排序。

优选的，还包括：在创建合成图像之前，对子合成图像评估。

优选的，对合成图像后处理，包括：

对合成图像进行自适应直方图均衡，得到二次合成图像；

创建两个权重函数，代表两个相反的轴向斜坡函数；

倍数合成图像与第一个权重函数，得到第一结果；

倍数二次合成图像与第二个权重函数，得到第二结果；

第一结果和第二结果的加权平均。该算法的权重为0.5；

通过拉伸图像直方图来调整加权平均后图像的对比度；

根据用户指定的伽马指数应用伽马校正。

优选的，N为自然数并大于50。

本发明的有益效果是：本发明基于在同一位置采集多个B-scan图像，利用帧平均以及平均算法，给用户呈现一个比其他扫描模式更加高清的B-scan图像。特别适用于组合数量大的B-scan图像。

附图说明

图1是本发明的基于多帧配准和平均算法提高扫描图像质量的方法的流程图；

图2是4x5光栅的1帧B-scan的第一和第二次扫描之间的空间错位示意图；

图3是4x5光栅的1帧B-scan的第一和第三次扫描之间的空间错位示意图；

图4是4x5光栅的1帧B-scan的第一和第四次扫描之间的空间错位示意图；

图5是本发明中一组均匀分布的A-scan的示意图；

图6a是本发明中NNC在A-scan位置上的偏移示意图；

图6b是本发明两个B-scan在A-scan位置上的偏移示意图；

图7a是本发明中参考帧的示意图；

图7b是本发明中动态帧的示意图；

图8a是本发明中NCC在重新排序前的示意图；

图8b是本发明中重新排序的移动B-scan的示意图；

图8c是本发明中NCC在重新排序后的示意图；

图9a是本发明一实施例的合成前的图像；

图9b是本发明一实施例的合成后图像结果。

具体实施方式

下面将结合附图对本发明作进一步说明。

请参阅图1至9b，基于多帧配准和平均算法提高扫描图像质量的方法，包括下列步骤：

步骤S1，输入N个B-scan，其中，B-scan可能是512×1024像素、1024×1024像素。采集时间足够长，足以让眼动导致连续B-scan的空间错位来影响成像。N为自然数，最佳的大于50。

步骤S2，选择一个参考B-scan。具体地，从N个B-scan中的M个组成的子集中选择参考B-scan，以最大化子合成图像的对比度。例如：每第k个B-scan被选为参考B-scan候选，比如把100个B-scan分成10组，每组10个，从每组中选择一个最佳参考图像。K、M均为自然数。

步骤S3，预处理B-scan。从参考B-scan中选择一组均匀分布的A-scan用于计算偏移量，如图5所示。偏移量是通过在每个A-scan位置找到动态图像坐标系和参考图像坐标系之间的归一化互相关的最大值来确定的，然后进行线性回归以获得最佳拟合线。计算偏移和倾斜，转换动态图像匹配参考图像。

根据选定A-scan的范围，对一组3个B-scan进行预处理，主要是为了减少图像中的斑点含量。为了实现一种快速有效地清理图像，并且可以保留图像中显著特征的散斑减少方法，把散斑当作高频分量，通过帧的高通滤波(3x3内核矩阵)生成散斑内容图像。然后从原始图像中减去该散斑内容图像，得到具有更高视觉质量的图像。据观察，重复此过程3次，然后从该集合构建中值图像，可以在散斑减少和边缘平滑之间取得良好的平衡。

提取所有B-scan中散斑减少的A-scan，使用标准差为3的高斯平滑函数进行卷积。

在眼科成像的背景下，扫描一般都是在相连的断层位置，这有助于消除帧之间的散斑噪声，因为它对比摆动的光束扫描采集更多不同的散斑，并且假设图像不能配准的主要原因是眼动。成功配准后，每对图像将相互配准，并且可以通过算术平均值或中值进行组合，优先增强系统强度变化并消除随机噪声。帧平均是一种通过组合多个相互配准的图像来提高B-scan图像质量的方法。

步骤S4，归一化互相关：计算移动B-scan中每个A-scan相对于参考B-scan中相应A-scan的轴向偏移。通过计算这些A-scan之间的归一化互相关函数来确定轴向偏移。相对于A-scan中心的轴向偏移在此函数的最大值时确定。归一化互相关的值在0和1之间变化。归一化互相关是一种简单而有效的相似性度量方法，它不受线性亮度和对比度变化的影响。下面图6a和图6b显示了NNC(互相关中的最大相关值)和两个B-scan在A-scan位置上的偏移。注意，B-scan中每个A-scan位置偏移的差异表明，在B-scan中会出现轴向错切。

步骤S5，执行线性回归，通过最大互相关的所有点获得最佳曲线，剔除分布中的异常点，重复线性回归。一组A-scan用于找到平移，该平移指出该每个位置处参考和移动图像之间互相关的最大值。这是跨越B-scan长度的一组P点，指出该位置的垂直平移。然后使用线性回归来获得通过这些点的最佳拟合线方程，得到最佳曲线后，就会计算每个点与这条最佳曲线的偏差。得到这些偏差的分布，丢弃比阈值更远的点(阈值定义为这些值的标准偏差的因子)。从剩余的点导出一条新的回归线。再使用该回归线计算在B-scan之间的受限仿射变换中使用的垂直平移和倾斜。这样做的好处是，B-scan中快速变化的特征(例如小玻璃疣)不会对最终转换产生明显影响。在连续B-scan之间少量的轴向平移中，这些特征也可能发生显著变化。

步骤S6，计算移动B-scan和参考B-scan之间的转换。使用2个A-scan之间的归一化互相关最大值的差距，来评估转换的平移校正。为了将位移应用于整个B-scan，从每个B-scan的相应位置沿x和z方向采样一对线。这些线的交点定义了一个矩形ABCD，它对应于要转换到的参考B-scan坐标系。如果向这个矩形添加轴向平移校正，会得到一个平行四边形A'B'C'D'，如下图7a、7b所示。这样，配准问题被定义为将平行四边形A1B1C1D1(动态B-scan)向矩形ABCD(参考B-scan)转换。矩形的横向位置是参考B-scan中所选A-scan的位置，矩形的轴向位置与B-scan图像的顶部和底部有固定的偏移。其中，动态帧即移动帧。

由于被扫描对象的眼动，即使在很接近的时间点采集同一位置的B-scan也可能会出现变形。简化这个问题可以借助变换类中仿射变换，它通常描述一对图像之间可能存在的旋转、缩放、错切和平移。将两幅图像进行几何对准的过程称为配准，其目标是通过计算评估变换参数，实现每个图像采集相对于参考图像的一致空间对应，然后使用该配准方法组合OCT图像。

步骤S7，选择最佳移动B-scan。合成图像基于所有B-scan中的M个图像创建的，用所有的B-scan合成图像往往不能产生最佳的合成图像，选择那些与参考图像配准最佳的B-scan子集来创建最佳合成图像。子集的选择其实是一个优化问题，直观地说，希望最小化两个归一化互相关系数(NCC)之间的距离，同时又希望最大化NCC。这样可以得到最优化的配准参数。

对于某些B-scan，在B-scan中NCC之间的差异大。这可能表明这些B-scan和参考B-scan之间的配准可能不够准确，无法促成合成图像的创建。另外NCC的低值表明假设的配准参数差。

找到B-scan子集以创建合成图像的函数公式表示如下：

其中

和

是移动图像i的A-scan和参考图像r的A-scan之间的NCC。T是移动B-scan集合，s是T的B-scan子集，r是参考B-scan。如果移动图像和参考图像的NCC的绝对差之和最小化，并且NCC的和最大化，就认为是创建合成图像的最佳子集。

计算每个动态图像的

并按升序对它们进行排序。然后使用前面几个的B-scan来创建合成图像，排除那些存在NCC小于设置的阈值的B-scan。下图8a、8b、8c显示NCC和重新排序的移动B-scan。

步骤S8，子合成图像创建。用排列在前面的几个移动B-scan和参考B-scan创建合成图像。通过在B-scan上中间一部分A-scan的每个位置获取B-scan子集强度的百分位数(比如中位数)来创建子合成图像。基于中间部分A-scan创建子合成图像会使算法的处理时间更快，但可能会导致图像缺陷被掩盖，尤其是在左侧或右侧边缘。这可能会导致选择有问题的B-scan作为参考图像，因此如果发现算法会产生质量较差的输出，则应该重新遍历算法。

步骤S9，子合成图像的评估。子合成图像的绝对梯度之和表示图像的清晰度，选择最大化合成图像清晰度的B-scan作为参考。

步骤S10，合成图像创建。排序列表中的前n个移动B-scan和选定的参考B-scan用于创建合成图像，n的选择取决于我们要创建的合成图像的扫描模式、视野、清晰度或模糊度。通过在每个位置获取子集B-SCAN强度的百分位数(例如中位数)来创建合成图像。下图9a、9b显示了一个示例结果。

步骤S11，合成图像后处理。后处理可以进一步增强合成图像。后处理的目标是增强合成图像中的重要断层区域。例如，与合成图像中的其他断层区域相比，玻璃体的强度水平通常较低。基于图像融合的算法可以增强玻璃体和脉络膜区域。以下算法描述了后处理：

1)对合成图像进行自适应直方图均衡，得到二次合成图像。

2)创建两个权重函数，代表两个相反的轴向斜坡函数。

3)倍数合成图像与第一个权重函数(顶部为深色)，得到第一结果。

4)倍数二次合成图像与第二个权重函数(顶部是亮的)，得到第二结果。

5)第一结果和第二结果的加权平均。该算法的权重为0.5。

6)通过拉伸图像直方图来调整加权平均后图像的对比度。

7)根据用户指定的伽马指数应用伽马校正。最终提高了扫描图像质量。

特别适用于组合数量大的B-scan图像。这是因为我们搜索的变换群是一般线性仿射变换的一个子群。少量B-scan不能保证能够在一般线性仿射变换子群中搜索到选定的参考B-scan。

以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案也应该属于本发明的范畴，应由各权利要求所限定。

Claims (8)

1.基于多帧配准和平均算法提高扫描图像质量的方法，其特征在于，包括：

输入N个B-scan；

选择一个参考B-scan；

预处理B-scan；

计算移动B-scan中每个A-scan相对于参考B-scan中相应A-scan的轴向偏移；通过计算这些A-scan之间的归一化互相关函数来确定轴向偏移；

执行线性回归，通过最大互相关的所有点获得最佳曲线，剔除分布中的异常点，重复线性回归；

计算移动B-scan和参考B-scan之间的转换；

选择最佳移动B-scan，并排序；

用排列在前面的几个移动B-scan和参考B-scan创建合成图像；

排序列表中的前n个移动B-scan和选定的参考B-scan用于创建合成图像；

对合成图像后处理。

2.根据权利要求1所述的基于多帧配准和平均算法提高扫描图像质量的方法，其特征在于，预处理B-scan包括：

从参考B-scan中选择一组均匀分布的A-scan用于计算偏移量，根据选定A-scan的范围，对一组3个B-scan进行预处理：把散斑当作高频分量，通过帧的高通滤波生成散斑内容图像，然后从原始图像中减去该散斑内容图像，得到具有更高视觉质量的图像，重复此过程3次，然后从该集合构建中值图像。

3.根据权利要求1所述的基于多帧配准和平均算法提高扫描图像质量的方法，其特征在于，执行线性回归，通过最大互相关的所有点获得最佳曲线，剔除分布中的异常点，重复线性回归，包括：

通过一组A-scan用于找到平移，该平移指出该每个位置处参考和移动图像之间互相关的最大值；这是跨越B-scan长度的一组P点，指出该位置的垂直平移；然后使用线性回归来获得通过这些点的最佳拟合线方程，得到最佳曲线后，计算每个点与这条最佳曲线的偏差，得到这些偏差的分布，丢弃比阈值更远的点，从剩余的点导出一条新的回归线。

4.根据权利要求1所述的基于多帧配准和平均算法提高扫描图像质量的方法，其特征在于，计算移动B-scan和参考B-scan之间的转换，包括：

使用2个A-scan之间的归一化互相关最大值的差距，评估转换的平移校正；从每个B-scan的相应位置沿x和z方向采样一对线；这些线的交点定义了一个矩形ABCD，它对应于要转换到的参考B-scan坐标系；向这个矩形添加轴向平移校正，得到一个平行四边形A'B'C'D'。

5.根据权利要求1所述的基于多帧配准和平均算法提高扫描图像质量的方法，其特征在于，选择最佳移动B-scan，包括：

以创建合成图像的函数公式表示如下：

其中

和

是移动图像i的A-scan和参考图像r的A-scan之间的NCC；T是移动B-scan集合，s是T的B-scan子集，r是参考B-scan；如果移动图像和参考图像的NCC的绝对差之和最小化，并且NCC的和最大化，就认为是创建合成图像的最佳子集；计算每个动态图像的f_i ^r并按升序对它们进行排序。

6.根据权利要求1所述的基于多帧配准和平均算法提高扫描图像质量的方法，其特征在于，还包括：在创建合成图像之前，对子合成图像评估。

7.根据权利要求1所述的基于多帧配准和平均算法提高扫描图像质量的方法，其特征在于，对合成图像后处理，包括：

对合成图像进行自适应直方图均衡，得到二次合成图像；

创建两个权重函数，代表两个相反的轴向斜坡函数；

倍数合成图像与第一个权重函数，得到第一结果；

倍数二次合成图像与第二个权重函数，得到第二结果；

第一结果和第二结果的加权平均。该算法的权重为0.5；

通过拉伸图像直方图来调整加权平均后图像的对比度；

根据用户指定的伽马指数应用伽马校正。

8.根据权利要求1所述的基于多帧配准和平均算法提高扫描图像质量的方法，其特征在于，N为自然数并大于50。

Images