CN115953331B - 一种图像边缘增强方法及系统 - Google Patents

Abstract

本发明提供了一种图像边缘增强方法及系统，属于图像处理技术领域。所述图像边缘增强方法，包括：对待处理图像在YUV颜色空间内的Y亮度分量进行锐化处理；对U色度分量和V色度分量分别进行延迟处理后，与锐化处理后的Y亮度分量对齐，组成边缘增强后的图像。本发明有效的提高了图像清晰度，突出了图像中物体轮廓及特征信息，复杂度合理，运算量适中，适合并行处理，提升了图像处理的实时性。

Description

一种图像边缘增强方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像边缘增强方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

为了改善超高清图像的视觉效果，需要有目的地强调图像的整体或者局部特征，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，增强图像判别和识别效果，满足医疗影像的功能需求。

传统的摄像系统是基于工控机或者ASIC嵌入式设计的，图像边缘增强算法复杂度高，运算量大，超出了工控机的处理能力，会出现严重的拖影卡顿现象，无法满足实时性及高质量的要求；ASIC嵌入式方案在数据处理速度上可以达到超高清图像处理的要求，实时性也较好，但是该种方案难以适用特定应用场景（例如医用场景），功能可扩展性较差，实时性存在瓶颈，无法在底层架构上对图像边缘增强算法做优化。

发明内容

为了解决现有技术的不足，本发明提供了一种图像边缘增强方法及系统，有效的提高了图像清晰度，突出了图像中物体轮廓及特征信息，复杂度合理，运算量适中，适合并行处理，提升了图像处理的实时性。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种图像边缘增强方法。

一种图像边缘增强方法，包括以下过程：

对待处理图像在YUV颜色空间内的Y亮度分量进行锐化处理；

对U色度分量和V色度分量分别进行延迟处理后，与锐化处理后的Y亮度分量对齐，组成边缘增强后的图像。

作为本发明第一方面进一步的限定，对待处理图像在YUV颜色空间内的各Y亮度分量均进行锐化处理，所述锐化处理，包括：

对待处理图像的任一像素，获取其Y亮度分量窗口矩阵；

对Y亮度分量窗口矩阵，依次与水平Sobel算子和水平Sobel算子增益系数相乘，得到第一结果；

对Y亮度分量窗口矩阵，依次与垂直Sobel算子和垂直Sobel算子增益系数相乘，得到第二结果；

对Y亮度分量窗口矩阵，依次与第一对角Sobel算子和对角Sobel算子增益系数相乘，得到第三结果；

对Y亮度分量窗口矩阵，依次与第二对角Sobel算子和对角Sobel算子增益系数相乘，得到第四结果；

对Y亮度分量窗口矩阵，依次与laplacian算子和laplacian算子增益系数相乘，得到第五结果；

第一结果、第二结果、第三结果、第四结果和第五结果相加的加和与图像内容增益系数相乘后，与此像素对应的Y原始分量相加，对相加后的结果进行位宽调整处理后，得到此像素的锐化结果。

作为本发明第一方面更进一步的限定，水平Sobel算子增益系数、垂直Sobel算子增益系数、对角Sobel算子增益系数以及laplacian算子增益系数的加和，再与图像内容增益系数的乘积大于或等于数值1。

作为本发明第一方面更进一步的限定，获取其Y亮度分量窗口矩阵，包括：

接收待处理图像前两行像素的Y亮度分量，第一行像素的Y亮度分量写入第一行缓存寄存器，第二行像素的Y亮度分量写入第二行缓存寄存器，开始接收第三行像素的Y亮度分量时，将Y亮度分量分别写入设定寄存器，得到Y亮度分量窗口矩阵。

作为本发明第一方面更进一步的限定，Y亮度分量窗口矩阵为3×3矩阵。

作为本发明第一方面更进一步的限定，Y亮度分量窗口矩阵与水平Sobel算子、竖直Sobel算子、第一对角Sobel算子、第二对角Sobel算子和laplacian算子的计算过程中，分两个周期完成；

根据算子系数的正负分布，第一个周期分别计算正负系数的乘法及累加，第二个周期做减法运算。

本发明第二方面提供了一种图像边缘增强系统。

一种图像边缘增强系统，包括：

Y亮度分量锐化处理模块，被配置为：对待处理图像在YUV颜色空间内的Y亮度分量进行锐化处理；

YUV颜色空间恢复模块，被配置为：对U色度分量和V色度分量分别进行延迟处理后，与锐化处理后的Y亮度分量对齐，组成边缘增强后的图像。

作为本发明第二方面更进一步的限定，Y亮度分量锐化处理模块中，对待处理图像在YUV颜色空间内的各Y亮度分量均进行锐化处理，所述锐化处理，包括：

对待处理图像的任一像素，获取其Y亮度分量窗口矩阵；

对Y亮度分量窗口矩阵，依次与水平Sobel算子和水平Sobel算子增益系数相乘，得到第一结果；

对Y亮度分量窗口矩阵，依次与垂直Sobel算子和垂直Sobel算子增益系数相乘，得到第二结果；

对Y亮度分量窗口矩阵，依次与第一对角Sobel算子和对角Sobel算子增益系数相乘，得到第三结果；

对Y亮度分量窗口矩阵，依次与第二对角Sobel算子和对角Sobel算子增益系数相乘，得到第四结果；

对Y亮度分量窗口矩阵，依次与laplacian算子和laplacian算子增益系数相乘，得到第五结果；

第一结果、第二结果、第三结果、第四结果和第五结果相加的加和与图像内容增益系数相乘后，与此像素对应的Y原始分量相加，对相加后的结果进行位宽调整处理后，得到此像素的锐化结果。

作为本发明第二方面更进一步的限定，水平Sobel算子增益系数、垂直Sobel算子增益系数、对角Sobel算子增益系数以及laplacian算子增益系数的加和，再与图像内容增益系数的乘积大于或等于数值1。

作为本发明第二方面更进一步的限定，接收待处理图像前两行像素的Y亮度分量分别写入第一行缓存寄存器和第二行缓存寄存器，开始接收第三行像素的Y亮度分量时，将Y亮度分量分别写入设定寄存器，得到Y亮度分量窗口矩阵。

与现有技术相比，本发明的有益效果是：

1、本发明创新性的提出了一种图像边缘增强方法及系统，对待处理图像在YUV颜色空间内的Y亮度分量进行锐化处理，对U色度分量和V色度分量分别进行延迟处理后，与锐化处理后的Y亮度分量对齐，组成边缘增强后的图像，有效的提高了图像清晰度，突出了图像中物体轮廓及特征信息。

2、本发明创新性的提出了一种图像边缘增强方法及系统，复杂度合理，运算量适中，适合并行处理，提升了图像处理的实时性，满足超高清影像处理的性能需求。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的边缘锐化实现方法的原理框图；

图2为本发明实施例1提供的水平Sobel算子示意图；

图3为本发明实施例1提供的垂直Sobel算子示意图；

图4为本发明实施例1提供的对角Sobel算子1示意图；

图5为本发明实施例1提供的对角Sobel算子2示意图；

图6为本发明实施例1提供的laplacian算子示意图；

图7为本发明实施例1提供的流水处理装置的示意图；

图8为本发明实施例1提供的图像边缘增强方法的流程示意图；

图9为本发明实施例1提供的边缘锐化算法流水处理框图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1：

本实施例中，以医用超高清内窥镜摄像系统获取的超高清图像为例，医用超高清内窥镜摄像系统在临床微创外科手术中广泛应用，其具有创伤小、痛苦少、康复快等优点，因此，高质量的实时影像对手术的顺利进行至关重要，为了改善超高清图像的视觉效果，提高诊断效率及使用体验，需要进行超高清图像的边缘增强。

本实施例中，边缘增强算法在YUV颜色空间中处理，而且只针对Y亮度分量，U色度分量和V色度分量进行延迟处理后，与锐化处理后的Y亮度分量对齐，组成边缘增强后的图像，边缘增强算法的实现框图如图1所示。

YUV是一种颜色编码方法，常使用在各个视频处理组件中，YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽；YUV是编译true-color颜色空间（color space）的种类，Y表示明亮度（Luminance或Luma），也就是灰阶值，U和V表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。

本实施例所述的边缘增强算法，具体的，包括：

首先提取Y亮度分量写入行缓存，完成两行写入后，从第三行开始可以获得3×3的像素窗口，每个窗口的像素分别与四个Sobel算子和Laplaican算子相乘；

相乘后的结构分别乘以对应的增益系数（Gh、Gv、Gd、Glap），然后相加，累加和乘以图像内容增益系数K，与原始的Y亮度分量相加；

最后进行位宽调整处理，得到边缘锐化后的图像；

其中，Gh为水平Sobel算子增益系数，Gv为竖直Sobel算子增益系数，Gd为对角Sobel算子增益系数，Glap为laplacian算子增益系数。

可以理解的，本实施例采用了流水处理的方式，在其他一些实现方式中，也可以直接的获取以任一像素为中心点的3×3像素矩阵，当然对于边缘点可以采用复制邻近点像素的方式进行3×3像素矩阵的构建。

本实施例中，水平Sobel算子如图2所示，垂直Sobel算子如图3所示，对角Sobel算子1（即第一角Sobel算子）如图4所示，对角Sobel算子2（即第二角Sobel算子）如图5所示，laplacian算子如图6所示。

边缘锐化的程度和方向可以通过可编程增益系数Gh、Gv、Gd和Glap来控制，在这里，垂直边缘被定义为从图像的顶部到底部的特征，类似地，水平边缘从左到右穿过图像，对角线方向包括左上到右下和右上到左下对角线。

如图1所示，增益系数Gh用于控制水平方向的锐化程度，增益系数Gv用于控制垂直方向的锐化程度，增益系数Gd用于控制对角方向的锐化程度，增益系数Glap用于控制整体的锐化程度（不限定具体方向），通过各个增益系数的大小控制来实现各方向以及整体的锐化程度控制。

可以理解的，本实施例采用的是3×3像素矩阵，这里主要用于与各具体算子的匹配，假设算子形式发生变化，这里的像素矩阵也可以随之变化，例如可以变成5×5或者7×7等等，本领域技术人员可以根据具体工况进行选择，这里不再赘述。

本实施例中，还设置有一个与图像内容相关的增益系数K，用于调整Sobel算子和Laplacian算子的滤波结果输出，在图像平滑且对比度低的区域中，增益较低以避免引入噪声，该增益由内核以像素为基础自动进行动态计算更新，在图像边缘增强和引入未知噪声之间取得折衷。

如果边缘总增益系数大于或等于1，则会限制边缘内容的增强；本实施例中，使用大于1的值设置增益，允许图像过度增强以产生如浮雕的效果；也可以采用等于1的值设置增益，这样能够产生最优的锐化效果。

本实施例所述的上述方案，可以采用MPSoC多核异构处理器作为硬件平台，其中包含APU（Accelerated Processing Unit，应用处理单元）和FPGA部分，APU部署嵌入式软件，实现人机接口应用，对图像边缘增强算法模块进行配置管理，FPGA部分实现图像边缘增强算法的流水处理，组成框图如图7所示。

边缘锐化算法实现流程如图8所示，包括以下过程：

S1：依次提取视频帧中3×3窗口像素值，分别与Sobel、Laplacian算子相乘，得到中心像素对应增强值；

S2：将每个算子的增强值乘以设定增益系数（控制强度），得到修正后的增强值；

S3：将每个算子修正后的增强值相加，累加和乘以增益系数，得到最终边缘增强值；

S4：将最终边缘增强值与视频帧中原始像素值相加，得到边缘锐化增强后的像素值；

S5：对下一个像素进行增强处理，重复步骤S1~S4，得到最终增强后的整帧图像。

更具体的，流水处理，包括：

边缘锐化算法流水处理如图9所示，接收图像前两行Y分量分别写入寄存器Linebuffer0（即第一行缓存寄存器）和寄存器LineBuffer1（即第二行缓存寄存器）；

开始接收第三行数据时，将第一行的数据像素依次写入寄存器P12、寄存器P11和寄存器P10，将第二行的数据像素依次写入寄存器P22、寄存器P21和寄存器P20；将第三行的数据像素依次写入寄存器P32、寄存器P31和寄存器P30，可以获得3×3像素窗口，启动边缘锐化处理；

这里的寄存器P12、寄存器P11、寄存器P10、寄存器P22、寄存器P21、寄存器P20、寄存器P32、寄存器P31和寄存器P30即为设定寄存器，用于生成3×3像素窗口。

3×3像素矩阵与五个边缘增强算子相乘，所得乘积乘以各自增益系数后相加，累加和乘以图像内容增益系数K后，与原始像素值相加，再经过位宽调整处理，得到边缘锐化后的Y分量，从行缓存Linebuffer02、Linebuffer4中分别读取U分量和V分量，与Y分量对齐重新组成视频流。

关于行缓存，Linebuffer0、Linebuffer1两个行缓存采用FIFO实现，可以实现两行Y分量的缓存。

关于Sobel算子、Laplacian算子与3×3像素矩阵乘法，可以分两个周期完成，根据算子系数的正负分布，第一个周期分别计算正负系数的乘法及累加，第二个周期做减法运算，得到算子运算结果；为了区分正负数，需要在运算结果最高位前增加一位标识位，1表示“负”，“0”表示“正”。

从算法角度，相比传统以往算法，本实施例所述方法的计算量小，而且边缘增强力度可调，采用并行处理，数据吞吐量大，实时性高。

实施例2：

本发明实施例2提供了一种图像边缘增强系统，包括：

Y亮度分量锐化处理模块，被配置为：对待处理图像在YUV颜色空间内的Y亮度分量进行锐化处理；

YUV颜色空间恢复模块，被配置为：对U色度分量和V色度分量分别进行延迟处理后，与锐化处理后的Y亮度分量对齐，组成边缘增强后的图像。

所述系统的工作方法与实施例1提供的图像边缘增强方法相同，这里不再赘述。

Claims (8)

1.一种图像边缘增强方法，其特征在于，包括以下过程：

对待处理图像在YUV颜色空间内的Y亮度分量进行锐化处理；

对U色度分量和V色度分量分别进行延迟处理后，与锐化处理后的Y亮度分量对齐，组成边缘增强后的图像；

对待处理图像在YUV颜色空间内的各Y亮度分量均进行锐化处理，所述锐化处理，包括：

对待处理图像的任一像素，获取其Y亮度分量窗口矩阵；

对Y亮度分量窗口矩阵，依次与水平Sobel算子和水平Sobel算子增益系数相乘，得到第一结果；

对Y亮度分量窗口矩阵，依次与垂直Sobel算子和垂直Sobel算子增益系数相乘，得到第二结果；

对Y亮度分量窗口矩阵，依次与第一对角Sobel算子和对角Sobel算子增益系数相乘，得到第三结果；

对Y亮度分量窗口矩阵，依次与第二对角Sobel算子和对角Sobel算子增益系数相乘，得到第四结果；

对Y亮度分量窗口矩阵，依次与laplacian算子和laplacian算子增益系数相乘，得到第五结果；

第一结果、第二结果、第三结果、第四结果和第五结果相加的加和与图像内容增益系数相乘后，与此像素对应的Y原始分量相加，对相加后的结果进行位宽调整处理后，得到此像素的锐化结果。

2.如权利要求1所述的图像边缘增强方法，其特征在于，

水平Sobel算子增益系数、垂直Sobel算子增益系数、对角Sobel算子增益系数以及laplacian算子增益系数的加和，再与图像内容增益系数的乘积大于或等于数值1。

3.如权利要求1所述的图像边缘增强方法，其特征在于，

获取其Y亮度分量窗口矩阵，包括：

接收待处理图像前两行像素的Y亮度分量，第一行像素的Y亮度分量写入第一行缓存寄存器，第二行像素的Y亮度分量写入第二行缓存寄存器，开始接收第三行像素的Y亮度分量时，将Y亮度分量分别写入设定寄存器，得到Y亮度分量窗口矩阵。

4.如权利要求1所述的图像边缘增强方法，其特征在于，

Y亮度分量窗口矩阵为3×3矩阵。

5.如权利要求1所述的图像边缘增强方法，其特征在于，

Y亮度分量窗口矩阵与水平Sobel算子、竖直Sobel算子、第一对角Sobel算子、第二对角Sobel算子和laplacian算子的计算过程中，分两个周期完成；

根据算子系数的正负分布，第一个周期分别计算正负系数的乘法及累加，第二个周期做减法运算。

6.一种图像边缘增强系统，其特征在于，包括：

Y亮度分量锐化处理模块，被配置为：对待处理图像在YUV颜色空间内的Y亮度分量进行锐化处理；

YUV颜色空间恢复模块，被配置为：对U色度分量和V色度分量分别进行延迟处理后，与锐化处理后的Y亮度分量对齐，组成边缘增强后的图像；

Y亮度分量锐化处理模块中，对待处理图像在YUV颜色空间内的各Y亮度分量均进行锐化处理，所述锐化处理，包括：

对待处理图像的任一像素，获取其Y亮度分量窗口矩阵；

对Y亮度分量窗口矩阵，依次与水平Sobel算子和水平Sobel算子增益系数相乘，得到第一结果；

对Y亮度分量窗口矩阵，依次与垂直Sobel算子和垂直Sobel算子增益系数相乘，得到第二结果；

对Y亮度分量窗口矩阵，依次与第一对角Sobel算子和对角Sobel算子增益系数相乘，得到第三结果；

对Y亮度分量窗口矩阵，依次与第二对角Sobel算子和对角Sobel算子增益系数相乘，得到第四结果；

对Y亮度分量窗口矩阵，依次与laplacian算子和laplacian算子增益系数相乘，得到第五结果；

第一结果、第二结果、第三结果、第四结果和第五结果相加的加和与图像内容增益系数相乘后，与此像素对应的Y原始分量相加，对相加后的结果进行位宽调整处理后，得到此像素的锐化结果。

7.如权利要求6所述的图像边缘增强系统，其特征在于，

水平Sobel算子增益系数、垂直Sobel算子增益系数、对角Sobel算子增益系数以及laplacian算子增益系数的加和，再与图像内容增益系数的乘积大于或等于数值1。

8.如权利要求6所述的图像边缘增强系统，其特征在于，

接收待处理图像前两行像素的Y亮度分量，第一行像素的Y亮度分量写入第一行缓存寄存器，第二行像素的Y亮度分量写入第二行缓存寄存器，开始接收第三行像素的Y亮度分量时，将Y亮度分量分别写入设定寄存器，得到Y亮度分量窗口矩阵。