CN104915923A - 不同分辨率图像自适应缩放方法 - Google Patents

Abstract

本发明公开了一种不同分辨率图像自适应缩放方法，通过对图像进行水平和垂直的梯度插值，并对插值后的图像进行双线性二次插值，再结合新时序和新像素数据进行显示。本发明在输入未知分辨率的图像前提下，自动识别输入影像的分辨率并通过合适的缩放算法，清晰显示放大后的图像。

Description

不同分辨率图像自适应缩放方法

技术领域

本发明属于一种不同分辨率图像自适应缩放方法。

背景技术

作为在人类的感知中扮演非常重要角色的图像，可以使人类以非常丰富以及真切的视角来接受外界的信息。但是在现实生活中，受到图像采集系统的限制，使得实际采集的不同分辨率的图像很难在同一台分辨率的显示设备上进行显示。另外为了在不同的设备上传输、处理以及输出图像，常常需要将图像进行缩放。尤其在对图像的分辨率要求非常高的医疗领域，为了对微小的病灶进行诊断，常常需要将影像进行放大。最常用的缩放算法便是插值算法，但是对整幅图像使用某一种插值算法，例如双线性插值，在硬件实现时包括图像缓存单元、插值系数生成单元以及插值计算单元等，从其实现结果看，它的算法以及硬件实现模块达到了预期的效果，但是在理论上会造成被缩放图像边缘高频分量的损失，使图像边缘模糊，整幅图像会变得比较平滑，降低对比度，所以此种方法只能应用在对图像质量要求不是很高的场合，但在要求高分辨率的医疗领域是不适用的。

在放射学中，对于不同的应用场合，需要使用不同分辨率的显示器，比如乳腺影像的诊断就需要5M分辨率的显示器，但是在一般的应用场合，可以使用低分辨率的医学影像进行诊断；医疗影像所能显示的最低差异对早期病灶的诊断至关重要，因此应用于医疗领域的专业显示器要能在一台设备上，自动识别出输入影像的分辨率，并根据显示器的分辨率大小，放大原图像。一般的缩放算法虽然能快速生成图像、视觉效果良好。但是在具有高分辨率、高亮度以及高灰阶的医疗专业显示领域，这些算法的实现是不能满足要求的，处理后的图像难以保持边缘的清晰以及轮廓的分明。

发明内容

本发明目的是：提供一种不同分辨率图像自适应缩放方法。

本发明的技术方案是：一种不同分辨率图像自适应缩放方法，其至少包括如下步骤：

S0：输入图像，输入图像优选为输入视频图像；

S1：获取输入图像的分辨率，计算水平和垂直缩放因子Sx、Sy；

S2：根据水平和垂直缩放因子Sx、Sy将新图像的点Ad映射到原图像的点As；

S3：选取原图像中最靠近As的点作为4X4的A22矩阵；

S4：对A22矩阵进行水平和垂直的梯度插值；

S5：对梯度插值后的图像进行双线性二次插值；

S6：结合新时序和新像素数据进行显示至结束。

在上述技术方案的基础上，进一步包括附属技术方案：

所述步骤S1包括：经显卡输出的输入视频通过DVI接口与FPGA的对应引脚进行连接，在FPGA侧采用大于两倍于视频像素数据时钟的频率对引脚信号进行采样计数，对行同步信号、场同步信号以及数据使能信号的高低电平。

所述步骤S4为高频区域的处理方法，而所述步骤S5为低频区域的处理方法。

所述步骤S3中的A22矩阵包括：

A11 A12 A13 A14

A21 A22 A23 A24

A31 A32 A33 A34

A41 A42 A43 A44

假设第二行的第二个像素点A22与原图像像素点As对应。

所述步骤S4包括：在水平中间列和垂直的中间行各四个点使用梯度插值，得到水平方向的四个插值点：X1、X2、X3、X4、以及行中间点K其中行中间点K为X1、X2、X3、X4梯度插值的结果，而垂直方向上的四个插值点：Y1、Y2、Y3、Y4；由此4X4矩阵的中间2X2个像素以及新生成的X2、X3、K、Y2和Y3构成新的3X3矩阵。

所述步骤S5：如果待插值点在新的3X3矩阵的左上角，就是用左上角的四个点进行双线性二次插值，如果待插值点在新的3X3矩阵的右下角就使用右下角的四点进行双线性插值。

本发明的优点是：

本发明意在解决在高分辨率、高亮度以及高灰阶的专业显示器上，尤其是医用显示器，在输入未知分辨率的图像前提下，自动识别输入影像的分辨率并通过合适的缩放算法，清晰显示放大后的图像。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明的硬件结构图；

图2为本发明的寻址结构图；

图3为本发明中双线性插值的示意图；

图4为本发明中梯度插值的示意图；

图5为本发明中算法的处理示意图；

图6为本发明的流程示意图。

具体实施方式

实施例：如图1-6所示，其为本发明中一种不同分辨率图像自适应缩放方法的具体实施方式，其包括：

S0：输入图像；

S1：获取输入图像的分辨率，计算水平和垂直缩放因子Sx、Sy；

S2：根据水平和垂直缩放因子Sx、Sy将新图像的点Ad映射到原图像的点As；

S3：选取原图像中最靠近As的点作为4X4的A22矩阵；

S4：对A22矩阵进行水平和垂直的梯度插值；

S5：对梯度插值后的图像进行双线性二次插值；

S6：因为目标图像的分辨率是已知的，所以新时序也是已知的，由此结合新时序和新像素数据进行显示至结束。

本发明能使低分辨的输入图像通过转换后显示出高分辨率的显示效果，尤其是对图像边缘的缩放，降低高频分量的损失。其中硬件包括显卡、接口、FPGA、与FPGA相连的存储器、显示屏等，接口优选为DVI接口，显示屏优选为液晶面板，存储器优选为DDR3内存，FPGA具有若干个寄存器。图1中显卡输出的控制信号包括：DE为数据使能信号，HS为行同步信号，VS为场同步信号，DCLK为时钟信号，RGB为颜色信号；hcnt为水平方向像素的计数器，vcnt为垂直方向像素的计数器。此方法前端为显卡，后端为液晶面板，输出数据直接进液晶面板；由于此发明不涉及前端和后端，因此不做重点阐述。

其中步骤S1详细如下：1）经显卡输出的视频通过DVI接口与FPGA的对应引脚进行连接，在FPGA侧采用大于两倍于视频像素数据时钟的频率对几个引脚信号进行采样计数，根据计数的结果确认输入视频数据的分辨率，因为计数器的作用是在一个基频下对行同步信号、场同步信号以及数据使能信号的高低电平个数进行计数，三者结合就可以得出输入视频数据的分辨率，其中在FPGA侧对水平方向以及垂直方向的时序分别采用hcnt以及vcnt进行计数，hcnt与vcnt的位数依据液晶面板的分辨率而定，比如水平方向分辨率为1024，则hcnt计数器的位数为10；其中，在FPGA侧对水平方向、垂直方向以及数据使能信号分别采用hcnt、vcnt以及dcnt0（dcnt1）进行计数，hcnt与vcnt的位数依据液晶面板的分辨率而定，比如水平方向分辨率为1024，则hcnt计数器的位数为10，dcnt0（dcnt1）的位数与hcnt一样；2）数据使能信号时序产生的基础是在HS有效的上升沿信号到来时，开始记录在DE信号上升沿到来之前的对DCLK的计数值，并将其存储在dcnt0中；dcnt1中记录的是DE信号下降沿之后到HS下降后到来之前对DCLK的计数值；3）在FPGA侧水平方向的时序产生的基础是hcnt在VS信号有效之后，记录HS在低电平信号以及高电平信号期间对显示时钟DCLK的计数值，计数值与预设的寄存器中的时序参数进行比较，以判断行时序信号的大小，确认行同步信号的长度；4）水平方向还同时输出HS的上升沿脉冲指示信号HS_R，在垂直方向，使用vcnt对在VS有效期间的HS_R进行计数，vcnt与预设的寄存器中的时序参数进行比较，从而判断垂直方向的时序信号的大小，确认场同步信号的长度；其中时序参数相关寄存器中保存了如下值，以计算出行同步信号、场同步信号以及数据使能信号的高低电平个数：水平方向总宽度，水平方向有效信号开始位置，水平方向有效信号结束位置，水平方向同步信号开始位置，水平方向同步信号结束位置；垂直方向总行数，垂直方向有效信号开始行，垂直方向有效信号结合行，垂直方向同步信号开始行，垂直方向同步信号结束行，原始图像水平方向宽度，原始图像垂直方向宽度；放大图像左边界与显示器左边界距离，放大图像右边界与显示器右边界距离，放大图像上边界与显示器上边界距离，放大图像下边界与显示器下边界距离（因为最终图像放大后的效果是已知的，所以此部分寄存器可以删除不用）。5）在知悉输入图像分辨率后，水平和垂直的缩放因子可以通过计算得出，现以一副1536*2048分辨率的3M图像放大到2048*2560分辨率的5M图像为例说明其工作原理，其水平以及垂直的缩放因子分别为Sx=2048/1536=4/3，Sy=2560/2048=5/4。

步骤S2详细如下：（1）对每个像素亮度值的确定，DVI接口的R、G和B信号的组合即为每个像素的灰度值，在hcnt及vcnt对水平以及垂直的时序进行计数时，DE信号作为存储RGB的使能信号，在DE信号有效时，将RGB的颜色信号顺序缓存至存储器DDR3中，使用两片16bit（作为32bit的高低16bit）的DDR3构成一个32bit的存储器，存储每个像素的24bit的颜色数据，每个像素的地址映射到DDR3中，第一个像素的地址在DDR3中地址为0的存储位置，第一行的最后一个数据存放在地址为1535的存储器中；（2）寻址方式由水平寻址以及垂直寻址构成，第x行第y列的地址为：（x-1）*1536+（y-1），例如第三行的第四个数据的地址的计算方式为：（3-1）*1536+（4-1），具体地址排列如图2所示；

接着是缩放算法的实现：主要分为低频区域（平滑区域）的双线性插值算法以及高频区域（图像边缘）的梯度插值算法，因为在进行梯度插值的时候主要针对的就是高频变化的区域，双线性插值的时候针对的就是低频区域，低频区域与高频区域的区分：因为在实际图像中，像素点灰度值沿某个方向变化时大多数情况下是平坦的，在图像的边缘区域会出现突变，所以可以利用当前灰度点的值与上一个像素点灰度值的变化来反应当前点到下一个像素点灰度值的变化，一般当前后像素点的灰度值相差150时，缩放算法将其判断为边缘。

缩放算法具体包括：

a）双线性插值算法：在原始图像中有四个像素点，其水平和垂直方向的点距离为单位1，像素点分别为：f(i,i)，f(i+1,i)，f(i,i+1)，f(i+1,i+1)，目标像素点为Fd，C₁或Δx为目标像素与点f(i,i)在水平方向上的距离，C₀或（1-Δx）为目标像素与点f(i+1,i)在水平方向上的距离，具体分布如图3所示。

在水平方向上的第一次插值:

F_d1=C₀f(i,i)+C₁f(i+1,i) C₀=1-Δx，C₁=Δx  （1）

所以F_d1=(1-Δx)f(i,i)+Δxf₍i+1,i)  （2）

然后在水平方向上进行第二次插值：

F_d2=(1-Δx)f(i,i+1)+Δxf(i+1,i+1)  （3）

最后在垂直方向上对Fd1以及Fd2进行插值：

F_d=（1-Δy）F_d1+Δy F_d2  （4）

Δy为目标像素与点f(i,i)在垂直方向上的距离。

则目标像素点的计算表达式为：

F_d=(1-Δy)F_d1+Δy F_d2=F_d1+Δy(F_d2-F_d1)=（1-Δx）（1-Δy）f(i,i)+Δx（1-Δy）f(i+1,i)+（1-Δx）Δy f(i,i+1)+ΔxΔy f(i+1,i+1) （5）

或者为：

F_d=f(i,i)+Δx（f(i+1,i)-f(i,i)）+Δy（f(i,i+1)-f(i,i)）+ΔxΔy（f(i+1,i+1)+f(i,i)-f(i+1,i)-f(i,i+1)）  （6）

式（6）比式（5）而言，节省了4个乘法器。

b）梯度插值算法：设二元函数f(x,y)在平面区域D内有一阶连续偏导数，则对于任一点P0(x0,y0)∈D都可以写出一个向量：fx(x0,y0)i+fy(x0,y0)j，称为f(x,y)在P0(x0,y0)的梯度，它的方向是函数在这点的方向导数取得最大值的方向，它的模就等于方向导数的最大值。图像沿边缘方向灰度值变化缓慢，垂直于边缘方向灰度值变化较快，即图像边缘方向方向倒导数小，垂直方向方向导数较大。常见的边缘变化情况有三种：阶跃型边缘、屋顶型边缘以及线条型边缘。

当沿着垂直于边缘方向插值，由于垂直边缘方向是梯度场的方向，方向导数较大，会导致灰度值变化较快，经过插值之后，边缘部分的灰度值会被弱化，造成边缘模糊；如果沿着边缘方向插值，边缘方向是梯度场的垂直方向，方向导数较小，灰度值变化较慢，插值后边缘部分的灰度值依旧会保持原来的信息。

边缘变化有对应于图4中F1到F2（或者F3）的缓慢变化，也有变化对应于图4中F2、F3、F4以及F5的过度变化。对于缓慢的边缘的变化，在F2与F3之间，可以利用梯度插值近似插值得到F2':F2'=F2+C'(F2-F1)（C’是插值系数且为动态值，可通过调节此值来调节图像的对比度）；对于第二种可以采用的插值方法：F3’=0.5（F3+F4）+C’[(F3-F2)+(F4-F5)]，当出现图4方向的变化时，需要对模型进行修正：F3’=0.5（F3+F4）+C’[(F2-F3)+(F5-F4)]，此种情况的算法归纳为：

F3’=0.5（F3+F4），F3<F2，F4<F5  （1）

F3’=0.5（F3+F4）+C’[(F3-F2)+(F4-F5)]，其他情形  （2）

c）改进算法：（1）有别于双线性插值用目标像素附近2x2个像素点进行插值，而扩展到4X4的像素阵列(坐标分别为A11、A12、A13和A14，…，第四行坐标为A41、A42、A43以及A44，假设第二行的第二个像素点A22与原图像像素点对应)；（2）在水平中间列和垂直的中间行各四个点使用梯度插值，得到水平方向的四个插值点：X1、X2、X3以及X4，及行中间点K（X1、X2、X3以及X4梯度插值的结果），垂直方向上的四个插值点：Y1、Y2、Y3以及Y4；（3）则4X4像素阵列的中间2X2个像素以及新生成的X2、X3、K、Y2和Y3构成新的3X3矩阵；（4）最后进行双线性插值，如果待插值点在此矩阵的左上角，就是用左上角的四个点进行双线性二次插值，在右下角就使用右下角的四点进行双线性插值。

具体算法实现：每次的算法实现都需要16个像素点的灰度值，在对DDR3的操作中，将它的突发长度BL设定为4，即只要通过一个读取命令，就可以连续读取同行的4个像素数据值，那只需要使用4次读写就可以获取到所有需要的像素灰度值。

FPGA逻辑实现的基础是自顶向下的模块化设计，下面介绍在此逻辑设计中的各个模块的功能：Timing_Counter是分辨率自适应的计数器；DDR3_Ctrl模块为DDR3的控制模块，一般使用IP核实现；Addr_Gen为产生16个数据的地址产生模块；Pixel_data为从DDR3中读出的插值所需的16位数据；Timing_Ctrl为新像素的时序控制模块；Scaling为缩放算法实现模块；Display为送显模块。

Timing_Ctrl模块用来产生缩放后新图像的时序信号，Scalilng是对图像进行缩放的具体算法实现，其流程图如图5所示，具体实现流程如下：新图像的信号通过DVI信号输入后，首先经过Timing_Counter的计数器模块，得到DE、HS以及VS信号的大小，从而得到输入图像的分辨率；之后图像信号经过DDR3_Ctrl控制的IP之后，存储在DDR3chip之中。当要对图像进行处理的时候，Addr_Gen模块将产生插值所需的16个数据的地址，DDR3_Ctrl根据地址再将数据取出，取出的数据经过Pixel_Data模块进行缓冲；Timing_Ctrl模块产生的是目标图像像素的时序信号，具体的算法实现在Scaling中实现；新时序结合新图像就可以发送到Display模块中进行最终送显之前的缓冲处理。

先用梯度插值将边缘部分的特点显示出来，然后再使用二次线性插值。

本算法实现了对不同分辨率图像的自适应基础上的图像缩放算法，在线性插值的基础上，针对图像的边缘，采取了梯度插值与二次线性插值相结合的缩放算法，而且在插值原像素点的选取上，选取了4ｘ4，供16个数据进行参考，可以在降低很小对比度的基础上，实现图像的缩放。

当然上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种不同分辨率图像自适应缩放方法，其特征在于其至少包括如下步骤：

S0：输入图像；

S1：获取输入图像的分辨率，计算水平和垂直缩放因子Sx、Sy；

S2：根据水平和垂直缩放因子Sx、Sy将新图像的点Ad映射到原图像的点As；

S3：选取原图像中最靠近As的点作为4X4的A22矩阵；

S4：对A22矩阵进行水平和垂直的梯度插值；

S5：对梯度插值后的图像进行双线性二次插值；

S6：结合新时序和新像素数据进行显示至结束。

2.如权利要求1所述的一种不同分辨率图像自适应缩放方法，其特征在于：所述步骤S1包括：经显卡输出的输入视频图像通过DVI接口与FPGA的对应引脚进行连接，在FPGA侧采用大于两倍于视频像素数据时钟的频率对引脚信号进行采样计数，对行同步信号、场同步信号以及数据使能信号的高低电平个数进行计数，并得出输入视频的分辨率。

3.如权利要求2所述的一种不同分辨率图像自适应缩放方法，其特征在于：所述步骤S4为高频区域的处理方法，而所述步骤S5为低频区域的处理方法。

4.如权利要求1或2或3所述的一种不同分辨率图像自适应缩放方法，其特征在于：所述步骤S3中的A22矩阵包括：

A11 A12 A13 A14

A21 A22 A23 A24

A31 A32 A33 A34

A41 A42 A43 A44

假设第二行的第二个像素点A22与原图像像素点As对应。

5.如权利要求4所述的一种不同分辨率图像自适应缩放方法，其特征在于：所述步骤S4包括：在水平中间列和垂直的中间行各四个点使用梯度插值，得到水平方向的四个插值点：X1、X2、X3、X4、以及行中间点K其中行中间点K为X1、X2、X3、X4梯度插值的结果，而垂直方向上的四个插值点：Y1、Y2、Y3、Y4；由此4X4矩阵的中间2X2个像素以及新生成的X2、X3、K、Y2和Y3构成新的3X3矩阵。

6.如权利要求5所述的一种不同分辨率图像自适应缩放方法，其特征在于：所述步骤S5：如果待插值点在新的3X3矩阵的左上角，就是用左上角的四个点进行双线性二次插值，如果待插值点在新的3X3矩阵的右下角就使用右下角的四点进行双线性插值。