CN108769583A - 一种基于fpga的超细电子内镜高清插值模块与方法 - Google Patents

Abstract

本发明提供一种基于FPGA的超细电子内镜高清插值模块与方法。本模块包括由FPGA芯片和片外存储器RAM集成的FPGA系统，FPGA芯片连接超细电子内窥镜和高清医用监视器。本方法包括，将超细电子内窥镜采集到的低质视频图像传输存储在FPGA系统的缓存中，然后利用高清插值方法包括色彩插值和缩放插值，恢复视频图像的色彩并提高视频图像的分辨率，针对绿色分量的色彩恢复，在梯度插值的基础上加上待插值点周边像素点的色差差异，根据梯度和色差差异选择插值的梯度方向；最后将处理过的视频图像输出到医用高清监视器上。

Description

一种基于FPGA的超细电子内镜高清插值模块与方法

技术领域

本发明涉及一种基于FPGA的超细电子内镜高清插值模块与方法。能够满足超细电子内镜的应用需求。

背景技术

医用电子内镜是一种能够直接窥视人体内部器官和组织的医疗仪器，经由人体的天然孔道或者是手术形成的小切口进入人体体内。由于其创口微小、感染风险低、术后恢复速度快等优点，医用电子内镜的使用范围和需求越来越大。

随着微创手术的发展，人们希望手术创口更小使得术后恢复速度更快，所以医用电子内镜也朝着超细化的方向发展。为了获得更小的尺寸，通常的做法是缩小电子内镜中采用的传感器尺寸以及采用单一的CCD/CMOS传感器进行图像采集。但在尺寸缩减的同时也导致获得的图像质量也受到了影响，主要包括色彩失真、图像分辨率低等问题。

由于医用电子内窥镜使用场景的限制，从内窥镜图像采集到医用监视器显示必须是实时的，因此一般效果较好的色彩恢复以及超分辨率的方法难以满足要求，所以采用色彩插值以及缩放插值的方法来实现色彩恢复和视频缩放。FPGA由于其高速的运算能力以及可并行的运算优势，常用于图像处理领域。

本发明采用FPGA对超细电子内镜采集得到的视频图像进行实时的高清插值处理，使得医生能够在高清医用监视器上观察到清晰、色彩真实的图像，帮助医生进行更好的诊断、治疗。

发明内容

本发明的目的在于针对已有技术存在的缺陷，提供一种基于FPGA的超细电子内窥镜的超清插值模块和方法，本发明算法比一般的双线性方法有着更好的效果，并且时间复杂度低，能够实时处理显示超细电子内镜采集到的视频图像。

为达到上述目的，本发明采用下述技术方案：一种基于FPGA的超细电子内镜高清插值模块，其包括由FPGA芯片和片外存储RAM集成的FPGA系统，其特征在于：所述FPGA芯片连接一个超细电子内镜和一个高清医用监视器，实时处理和输出：将FPGA系统中的处理过程分为三个步骤的流水线操作：第一个周期从输入设备读入第一帧图像并缓存到片外存储RAM中；第二个周期对片外存储RAM缓存的图像进行高清超值，并继续从输入设备读入第二帧图像并缓存到片外RAM中，第三个周期向高清医用监视器输出处理后的图像，插值处理第二帧图像，同时读取第三帧图像并缓存到片外RAM。根据此流程循环往复直到停止视频输入并完成全部输出。

一种高清插值方法，包括基于色差的色彩插值和线性近似双三次插值，具体步骤如下：

一种色彩插值方法，包括以下具体步骤：

步骤1，根据超细电子内窥镜获得Bayer格式视频图像，获得待插值区域的5×5像素模板，该模板包括待插值像素点及其5×5领域内的其他像素点；

步骤2，若待插值像素点的行列地址奇偶性相同，则采用线性插值恢复待插值点缺失的RGB颜色分量；若待插值像素点的行列地址奇偶性不同，则进入步骤3；

步骤3，针对缺失的红/蓝分量，计算对角线的梯度值得到待插值点的红/蓝分量；

步骤4，针对缺失的绿色分量，计算待插值点的水平梯度和垂直梯度以及左、右对角线四个点的色差值，根据左、右对角线四个点的色差值计算得到待插值点5×5领域内的水平和垂直方向的色差；

步骤5，计算步骤4所得的色差值和梯度值之和，得到修正后的水平、垂直方向的梯度值，根据步骤四所得修正后的梯度值判断插值，如果水平方向梯度值大于垂直方向梯度值，则根据水平方向的已知像素点计算待插值点缺失的RGB分量，如果水平方向梯度值小于垂直方向，则根据垂直方向的已知像素点计算待插值点缺失的RGB分量，如果两者相同，则根据水平和垂直方向的已知像素点计算待插值点缺失的RGB分量。

优选的，步骤1中获得待插值区域的5×5像素模板的方法为：从FPGA片外RAM中依次读取缓存的当前帧图像数据，用5个行缓存器存储当前所需的5行图像数据，并用5×5个移位寄存器组成窗口读取当前所需的5×5像素模板。

优选的，步骤4、5中针对缺失的绿色分量的计算方法，具体为：

若待插值点为奇数行偶数列，则待插值点缺失的颜色分量为蓝、绿分量，其中蓝色分量计算方法如下，首先计算待插值点的水平、垂直梯度：

式中(R,G,B)为待插值点的RGB三通道值，数字则分别代表该像素点在5×5模板中的行列地址。

计算待插值点周围的色差差异：

其中，为水平方向色差差异值，为垂直方向色差差异值，P为待插值点对角线上的四个像素点，为该点3×3邻域水平方向上的色差值，为该点3×3领域垂直方向上的色差值。

计算梯度与色差差异的和，得到新的梯度值：

根据梯度方向判断边缘方向并进行插值，当时，待插值点处于水平边缘：

当时，待插值点处于垂直边缘：

当时，待插值点处于水平边缘：

若待插值点为偶数行奇数，则待插值点缺失的颜色分量为红、绿分量，其中绿色分量计算方法和上述相同，将式中的蓝色分量更换为红色分量。

一种色彩插值的高效FPGA实现，具体步骤包括：

色差差异计算模块，用于计算当前像素点与周边像素点的色差值；

梯度算子计算模块，用于计算当前像素点与周围像素点在不同方向上的梯度值；

绿色分量生成模块，用于利用上述色差差异计算模块和梯度算子计算模块得到的结果，计算当前像素点缺失的绿色分量；

红/蓝分量生成模块，用于.利用上述计算当前像素点缺失的红/蓝分量。

一种线性近似的双三次插值，包括以下具体步骤：

步骤1，根据色彩恢复后的视频图像，获取4×4的像素模板，该模板包括待插值点周围4×4个像素点；

步骤2，根据待插值点与周围像素点的垂直距离，计算垂直方向插值系数；

步骤3，根据垂直方向插值系数计算垂直方向的四个虚拟像素点；

步骤4，根据待插值点与四个虚拟像素点的水平距离，计算水平方向插值系数；

步骤5，根据水平方向的插值系数计算得到待插值点的像素值。

一种线性近似双三次插值的高效FPGA实现，包括：

插值系数生成模块，用于计算当前待插值像素点与周围像素点的插值系数；

垂直插值模块，用于根据插值系数生成模块的结果计算垂直方向上的插值结果；

水平插值模块，用于根据插值系数生活曾模块以及垂直插值模块的结果计算水平方向上的插值结果。

本发明与现有技术相比，具有以下优点：提供了一种对超细电子内窥镜的高清图像处理方案和模块，能够为医生实时提供高清的视频图像，辅助医生提高诊疗水平；相对于传统的双线性等插值方法有着更好的图像质量，并且算法复杂度较低、易于实现；在色彩插值过程中加入色差值，能够得到色彩更加真实的视频图像，帮助医生更好的判断观察位置的情况等。

附图说明

附图1是基于FPGA的超细电子内镜高清插值硬件系统框架图。

附图2是Bayer格式5×5像素模板示意图。

附图3是本发明中色彩插值的方法流程图。

附图4是本发明中色彩插值的FPGA实现结构框图。

附图5是本发明中缩放插值的FPGA实现结构框图。

具体实施方式

下面结合附图对本发明的优选实施例作详细说明：

实施例一：参见图1，本基于FPGA的超细电子内镜高清插值模块，其包括由FPGA芯片（2）和片外存储RAM（3）集成的FPGA系统（1），其特征在于：所述FPGA芯片（2）连接一个超细电子内镜（4）和一个高清医用监视器（5），实时处理和输出：将FPGA系统（1）中的处理过程分为三个步骤的流水线操作：第一个周期从输入设备（4）读入第一帧图像并缓存到片外存储RAM（3）中；第二个周期对片外存储RAM（3）缓存的图像进行高清超值，并继续从输入设备（4）读入第二帧图像并缓存到片外RAM（3）中，第三个周期向高清医用监视器（5）输出处理后的图像，插值处理第二帧图像，同时读取第三帧图像并缓存到片外RAM（3）。根据此流程循环往复直到停止视频输入并完成全部输出。

实施例二：

如图1所示，本实施例为基于FPGA的超细电子内镜高清插值方法，主要包括色彩插值和缩放插值两部分。

如图2所示，根据从超细电子内镜获得的5×5像素模板，待插值点的行列地址奇偶性可以分为不同的情况。针对不同的情况，色彩插值的方法流程如图3所示。

若待插值点行列地址的奇偶性相同，则当前5×5模板中待插值点为绿色分量G，因此该点的红、蓝分量可以按照正常的线性插值计算得到。此时，只需要计算该点周围的3×3模板即可。

若待插值点行列地址的奇偶性不同，则当前5×5模板中待插值点为红色分量R或蓝色分量G。针对该点缺失的蓝色分量或红色分量，可以按照梯度插值的方法，通过计算待插值点两个对角线上的梯度值选择插值方向，得到缺失的蓝色分量或红色分量。

针对行列地址奇偶性不同情况下缺失的绿色分量，这里以奇数行偶数列为例，即待插值点为红色，缺失蓝、绿分量。偶数行奇数列与该情况类似，仅将公式中的蓝色分量更换为红色分量。首先计算待插值点的水平梯度和垂直梯度值：

式中G34、G32、G43、G23，其中G为RGB三通道中的绿色分量G，数字代表该点在5×5模板中的行列地址。

再计算左、右对角线四个点的色差值，根据左、右对角线四个点的色差值得到待插值点水平和垂直方向的色差差异：

式中，为水平方向色差差异值，为垂直方向色差差异值，P为待插值点对角线上的四个像素点，为该点3×3邻域水平方向上的色差值，为该点3×3领域垂直方向上的色差值。

当计算得到待插值点的色差差异值后，用色差差异值修正计算得到的梯度值：

当计算得到当前待插值点修正后的水平和垂直梯度后，比较两者的大小，梯度值较大的那一边即为当前模板内颜色的边缘方向。

当时，待插值点处于水平边缘，按照水平边缘对待插值点的绿色分量进行色差插值：

当时，待插值点处于垂直边缘，按照垂直边缘对待插值点的绿色分量进行色差插值：

当时，待插值点处于平坦区域，此时认为5×5模板内像素点的颜色相差不大：

如图4所示，本发明提供一种色彩插值基于FPGA的实现框架。

主要包括数据读取、梯度算子模块、色差差异生成模块、绿色分量生成模块和红/蓝分量生成模块。

其中，由于FPGA片内存储资源有限，为了节省存储空间，降低硬件成本，数据读取模块仅读取当前插值所需的5行图像数据，而不是将整帧图像缓存在FPGA的RAM内。

为了实现上述功能，本发明设计了RAM-FIFO读写控制模块，控制包括5个行缓存和5×5个寄存器组成的模板窗口。其中，每个行缓存均采用先进先出的方式进行数据读写，5个行缓存分为1个当前行和4个之前行，在当前行中读取新数据，另外4个行缓存来缓存之前4行的像素值。再用5×5个寄存器从行缓存中读取当前待插值模板需要的像素值。

得到了待插值的5×5像素模板，将数据送入梯度算子模块、色差差异生成模块以及红蓝绿分量的生成模块中进行计算。

至此，可以得到色彩恢复后的低分辨率视频图像，再对该低分辨率的视频图像进行缩放插值，得到高分辨率（如1080P）的视频图像。

如图5所示，从色彩恢复后的图像数据中获得待插值的4×4像素模板，其中数据读取模块与上述相同。

根据输入的缩放比例，计算得到水平方向以及垂直方向上的插值系数。

根据计算得到的插值系数和缓存的像素模板先计算垂直方向上的插值，得到4个虚拟像素点：

式中A为4×4模板内的像素点，P为虚拟的像素点，i为像素点在模板内的水平坐标，j为像素点在模板内的垂直坐标，为垂直方向的插值系数。

再根据4个虚拟的像素点计算得到待插值点的像素值：

式中Q为待插值点，与水平方向的插值系数。

以直径为4mm，分辨率为720×576的超细电子内镜为例，其中使用的是CMOS传感器，这样的传感器体积小、功耗低，并且采集效果较好，能够满足超细电子内镜的采集需求。

本发明中，使用DDR2作为FPGA的片外存储RAM，因为其高速的读写速度和大的存储容量可以满足视频帧缓存的数据读写要求。DDR2读写视频数据时，由于视频的奇场数据在前，偶场数据在后，通过乒乓操作，先后读写奇偶场的数据（各288行），组成一幅完整画面。

视频图像中的各个像素点按照流水线的方式依次进行读取、插值等操作，延迟较低，保证了视频的实时输出。

最终将插值后的图像通过HDMI模块依次输出到医用高清监视器上，根据模块生成的场/行信号确保在监视器上能够正常的显示输出。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于FPGA的超细电子内镜高清插值模块，其包括由FPGA芯片（2）和片外存储RAM（3）集成的FPGA系统（1），其特征在于：所述FPGA芯片（2）连接一个超细电子内镜（4）和一个高清医用监视器（5），实时处理和输出：将FPGA系统（1）中的处理过程分为三个步骤的流水线操作：第一个周期从输入设备（4）读入第一帧图像并缓存到片外存储RAM（3）中；第二个周期对片外存储RAM（3）缓存的图像进行高清超值，并继续从输入设备（4）读入第二帧图像并缓存到片外RAM（3）中，第三个周期向高清医用监视器（5）输出处理后的图像，插值处理第二帧图像，同时读取第三帧图像并缓存到片外RAM（3）。根据此流程循环往复直到停止视频输入并完成全部输出。

2.一种基于FPGA的超细电子内镜高清插值方法，采用根据权利1所述的超细电子内镜高清插值模块进行操作，其特征在于：包括以下操作步骤：

步骤1，对输入的视频图像进行色彩插值，恢复视频图像原有的色彩；

步骤2，根据步骤1中得到的色彩插值后的视频图像，用线性近似的双三次插值提升分辨率。

3.根据权利2所述的基于FPGA的超细电子内镜高清插值方法，其特征在于：所述步骤1，采用色彩插值恢复图像色彩包括以下具体步骤：

步骤1-1，根据超细电子内窥镜获得Bayer格式视频图像，获得待插值区域的5×5像素模板，该模板包括待插值像素点及其5×5领域内的其他像素点；

步骤1-2，若待插值像素点的行列地址奇偶性相同，则采用线性插值恢复待插值点缺失的RGB颜色分量；若待插值像素点的行列地址奇偶性不同，则进入步骤1-3；

步骤1-3，针对缺失的红/蓝分量，计算对角线的梯度值得到待插值点的红/蓝分量；

步骤1-4，针对缺失的绿色分量，计算待插值点的水平梯度和垂直梯度以及左、右对角线四个点的色差值，根据左、右对角线四个点的色差值计算得到待插值点5×5领域内的水平和垂直方向的色差；

步骤1-5，计算步骤1-4所得的色差值和梯度值之和，得到修正后的水平、垂直方向的梯度值，根据步骤1-4所得修正后的梯度值判断插值，如果水平方向梯度值大于垂直方向梯度值，则根据水平方向的已知像素点计算待插值点缺失的绿色分量，如果水平方向梯度值小于垂直方向，则根据垂直方向的已知像素点计算待插值点缺失的绿色分量，如果两者相同，则根据水平和垂直方向的已知像素点计算待插值点缺失的绿色分量。

4.根据权利3所述的基于FPGA的超细电子内镜高清插值方法，其特征在于：步骤1-1中所述获得待插值区域的5×5像素模板的方法为：从FPGA片外RAM中依次读取缓存的当前帧图像数据，用5个行缓存器存储当前所需的5行图像数据，并用5×5个移位寄存器读取当前所需的5×5像素模板。

5.根据权利3所述的基于FPGA的超细电子内镜高清插值方法，其特征在于：所述步骤1-4、步骤1-5中针对缺失的绿色分量的计算方法，具体为：

若待插值点为奇数行偶数列，则待插值点缺失的颜色分量为蓝、绿分量，其中蓝色分量计算方法如下，首先计算待插值点的水平、垂直梯度：

式中(R,G,B)为待插值点的红、绿、蓝三通道值，(R,G,B)后的数字则分别代表该像素点在5×5模板中的行数和列数，后续公式表示含义相同；

计算待插值点周围的色差差异：

其中，为水平方向色差差异值，为垂直方向色差差异值，P为待插值点对角线上的四个像素点，为该点3×3邻域水平方向上的色差值，为该点3×3领域垂直方向上的色差值；

计算梯度与色差差异的和，得到新的梯度值：

根据梯度方向判断边缘方向并进行插值，当时，待插值点处于水平边缘：

当时，待插值点处于垂直边缘：

当时，待插值点处于水平边缘：

若待插值点为偶数行奇数，则待插值点缺失的颜色分量为红、绿分量，其中绿色分量计算方法和上述相同，将式中的蓝色分量更换为红色分量。

6.根据权利2所述的高清插值方法，其特征在于：所述步骤2中采用线性近似的双三次插值提升视频图像分辨率，包括以下具体步骤：

步骤2-1，根据色彩恢复后的视频图像，获取4×4的像素模板，该模板包括待插值点周围4×4个像素点；

步骤2-2，根据待插值点与模板内其他像素点的垂直距离，计算垂直方向的插值系数；

步骤2-3，根据垂直方向插值系数计算垂直方向的四个虚拟像素点；

步骤2-4，根据待插值点与四个虚拟像素点的水平距离，计算水平方向的插值系数；

步骤2-5，根据水平方向的插值系数计算得到待插值点的像素值。