CN115526774A - 图像插值方法、装置、存储介质及电子设备 - Google Patents
图像插值方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115526774A CN115526774A CN202110711382.9A CN202110711382A CN115526774A CN 115526774 A CN115526774 A CN 115526774A CN 202110711382 A CN202110711382 A CN 202110711382A CN 115526774 A CN115526774 A CN 115526774A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- target pixel
- interpolation
- target
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004075 alteration Effects 0.000 claims abstract description 52
- 238000012937 correction Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像插值方法、装置、存储介质及电子设备，该方法包括：获取目标图像中的目标像素点在G通道的插值分量，该目标像素点为任一R像素或任一B像素；根据目标像素点对应的目标区域内的像素点的灰度值，确定该目标像素点对应的第一方向波动值，该目标区域包括距离该目标像素点预设距离的区域；获取目标像素点对应的色差梯度；根据插值分量、第一方向波动值以及色差梯度，确定该目标像素点的G通道的插值；根据该目标像素点的G通道的插值，获取该目标像素点的RGB图像。也就是说，本公开在确定目标像素点的G通道的插值时，引入了色差梯度影响因子，这样，可以提高高频纹理插值方向判断的准确率，从而提高了插值得到的RGB图像的质量。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像插值方法、装置、存 储介质及电子设备。
背景技术
随着数码相机的快速发展和逐渐普及，关于Bayer彩色图像的插值算法 在图像压缩、解码和显示方面变得越来越重要，在过去十几年中一直是研究 热点。
相关技术中，通过Demosaic算法对相机CCD或CMOS器件上Bayer 矩阵感应的图像信号进行插值得出RGB图像，但是，对于高频纹理区域， 通过Demosaic算法得到的RGB图像会出现马赛克或回字假纹理，导致插值 得到的RGB图像的质量比较差。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像插值方法、装置、 存储介质及电子设备。
根据本公开实施例的第一方面，提供一种图像插值方法，所述方法包括：
获取目标图像中的目标像素点在G通道的插值分量，所述目标像素点为 任一R像素或任一B像素；
根据所述目标像素点对应的目标区域内的像素点的灰度值，确定所述目 标像素点对应的第一方向波动值，所述目标区域包括距离所述目标像素点预 设距离的区域；
获取所述目标像素点对应的色差梯度；
根据所述插值分量、所述第一方向波动值以及所述色差梯度，确定所述 目标像素点的G通道的插值；
根据所述目标像素点的G通道的插值，获取所述目标像素点的RGB图 像。
可选地，所述插值分量包括水平插值分量和垂直插值分量；所述获取目 标图像中的目标像素点在G通道的插值分量包括：
获取水平方向上与所述目标像素点相邻的两个像素点的水平平均灰度 值；
获取所述目标像素点在水平方向的水平修正值；
根据所述水平平均灰度值和所述水平修正值，确定所述水平插值分量；
获取垂直方向上与所述目标像素点相邻的两个像素点的垂直平均灰度 值；
获取所述目标像素点在垂直方向的垂直修正值；
根据所述垂直平均灰度值和所述垂直修正值，确定所述垂直插值分量。
可选地，所述色差梯度包括水平色差梯度和垂直色差梯度；所述获取所 述目标像素点对应的色差梯度包括：
获取所述目标像素点与第一相邻像素点之间的第一色差，所述第一相邻 像素点包括在水平方向上与所述目标像素点相邻的像素点；
获取第一像素点与第二相邻像素点之间的第二色差，所述第一像素点包 括水平方向上距离所述目标像素点两个像素的像素点，所述第二相邻像素点 包括水平方向上与所述第一像素点相邻的像素点；
根据所述第一色差和所述第二色差，确定所述水平色差梯度；
获取所述目标像素点与第三相邻像素点之间的第三色差，所述第三相邻 像素点包括在垂直方向上与所述目标像素点相邻的像素点；
获取第二像素点与第四相邻像素点之间的第四色差，所述第二像素点包 括垂直方向上距离所述目标像素点两个像素的像素点，所述第四相邻像素点 包括垂直方向上与所述第二像素点相邻的像素点；
根据所述第三色差和所述第四色差，确定所述垂直色差梯度。
可选地，所述第一方向波动值包括第一水平方向波动值和第一垂直方向 波动值；所述根据所述插值分量、所述第一方向波动值以及所述色差梯度， 确定所述目标像素点的G通道的插值包括：
根据所述水平色差梯度、所述第一水平方向波动值以及预设权重因子， 确定第二水平方向波动值；
根据所述垂直色差梯度、所述第一垂直方向波动值以及所述预设权重因 子，确定第二垂直方向波动值；
根据所述插值分量、所述第二水平方向波动值以及所述第二垂直方向波 动值，确定所述目标像素点的G通道的插值。
可选地，所述根据所述插值分量、所述第二水平方向波动值以及所述第 二垂直方向波动值，确定所述目标像素点的G通道的插值包括：
根据所述第二水平方向波动值和所述第二垂直方向波动值，确定垂直权 重值；
根据所述垂直权重值，确定水平权重值；
根据所述插值分量、所述垂直权重值以及所述水平权重值，确定所述目 标像素点的G通道的插值。
根据本公开实施例的第二方面，提供一种图像插值装置，所述装置包括：
插值分量获取模块，被配置为获取目标图像中的目标像素点在G通道的 插值分量，所述目标像素点为任一R像素或任一B像素；
方向波动值确定模块，被配置为根据所述目标像素点对应的目标区域内 的像素点的灰度值，确定所述目标像素点对应的第一方向波动值，所述目标 区域包括距离所述目标像素点预设距离的区域；
色差梯度获取模块，被配置为获取所述目标像素点对应的色差梯度；
插值确定模块，被配置为根据所述插值分量、所述第一方向波动值以及 所述色差梯度，确定所述目标像素点的G通道的插值；
图像获取模块，被配置为根据所述目标像素点的G通道的插值，获取所 述目标像素点的RGB图像。
可选地，所述插值分量包括水平插值分量和垂直插值分量；所述插值分 量获取模块，还被配置为：
获取水平方向上与所述目标像素点相邻的两个像素点的水平平均灰度 值；
获取所述目标像素点在水平方向的水平修正值；
根据所述水平平均灰度值和所述水平修正值，确定所述水平插值分量；
获取垂直方向上与所述目标像素点相邻的两个像素点的垂直平均灰度 值；
获取所述目标像素点在垂直方向的垂直修正值；
根据所述垂直平均灰度值和所述垂直修正值，确定所述垂直插值分量。
可选地，所述色差梯度包括水平色差梯度和垂直色差梯度；所述色差梯 度获取模块，还被配置为：
获取所述目标像素点与第一相邻像素点之间的第一色差，所述第一相邻 像素点包括在水平方向上与所述目标像素点相邻的像素点；
获取第一像素点与第二相邻像素点之间的第二色差，所述第一像素点包 括水平方向上距离所述目标像素点两个像素的像素点，所述第二相邻像素点 包括水平方向上与所述第一像素点相邻的像素点；
根据所述第一色差和所述第二色差，确定所述水平色差梯度；
获取所述目标像素点与第三相邻像素点之间的第三色差，所述第三相邻 像素点包括在垂直方向上与所述目标像素点相邻的像素点；
获取第二像素点与第四相邻像素点之间的第四色差，所述第二像素点包 括垂直方向上距离所述目标像素点两个像素的像素点，所述第四相邻像素点 包括垂直方向上与所述第二像素点相邻的像素点；
根据所述第三色差和所述第四色差，确定所述垂直色差梯度。
可选地，所述第一方向波动值包括第一水平方向波动值和第一垂直方向 波动值；所述插值确定模块，还被配置为：
根据所述水平色差梯度、所述第一水平方向波动值以及预设权重因子， 确定第二水平方向波动值；
根据所述垂直色差梯度、所述第一垂直方向波动值以及所述预设权重因 子，确定第二垂直方向波动值；
根据所述插值分量、所述第二水平方向波动值以及所述第二垂直方向波 动值，确定所述目标像素点的G通道的插值。
可选地，所述插值确定模块，还被配置为：
根据所述第二水平方向波动值和所述第二垂直方向波动值，确定垂直权 重值；
根据所述垂直权重值，确定水平权重值；
根据所述插值分量、所述垂直权重值以及所述水平权重值，确定所述目 标像素点的G通道的插值。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存 储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提 供的图像插值方法的步骤。
根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，其 上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序， 以实现本公开第一方面所提供的图像插值方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：通过获取目标 图像中的目标像素点在G通道的插值分量，所述目标像素点为任一R像素 或任一B像素；根据所述目标像素点对应的目标区域内的像素点的灰度值， 确定所述目标像素点对应的第一方向波动值，所述目标区域包括距离所述目 标像素点预设距离的区域；获取所述目标像素点对应的色差梯度；根据所述 插值分量、所述第一方向波动值以及所述色差梯度，确定所述目标像素点的 G通道的插值。也就是说，本公开在确定目标像素点的G通道的插值时，引 入了色差梯度影响因子，这样，可以提高高频纹理插值方向判断的准确率， 从而提高了插值得到的RGB图像的质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性 的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公 开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像插值方法的流程图；
图2是根据一示例性实施例示出的一种Bayer图像的示意图；
图3是根据一示例性实施例示出的另一种图像插值方法的流程图；
图4是根据一示例性实施例示出的一种图像插值装置的框图；
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的 描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的 要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所 有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一 些方面相一致的装置和方法的例子。
首先，对本公开的应用场景进行说明。在图像采集和光电成像系统结构 中，大多数彩色相机采用单镜片图像传感器，在感光表面覆盖一层CFA(color filter array，颜色滤波阵列)，经过CFA后每个像素点只能获得物理三基色(红、 绿、蓝)任意其中一种分量，每个像素点存在的颜色分量可能不同，但均仅 含有其中一种颜色分量。为了获得全彩色图像，需要利用周围像素点复原另 外两种缺少的颜色分量，这个过程即为颜色插值。
相关技术中，可以通过Demosaic算法对相机CCD或CMOS器件上Bayer 矩阵感应的图像信号进行插值得出RGB图像，对于较复杂的Demosaic算法、 迭代Demosaic算法以及深度学习Demosaic算法，虽然能够取得较好的插值 效果，但对硬件要求较高且计算力较大，不利于工程上实现。而对于简单的 Demosaic算法，方向波动均由方向通道一阶导与二阶导构成，由于Bayer 数据的稀疏特性，二阶导为另一通道二阶导，具有一定的误差性，在1像素宽度的高频纹理区域，很容易受高频纹理数据影响，导致插值方向判断错误， 造成高频纹理斜线马赛克效应或模糊，从而使得插值得到的RGB图像的质 量比较差。
为了解决上述存在的问题，本公开提供一种图像插值方法、装置、存储 介质及电子设备，在确定目标像素点的G通道的插值时，引入了色差梯度影 响因子，这样，可以提高高频纹理插值方向判断的准确率，从而提高了插值 得到的RGB图像的质量。
下面结合具体实施例对本公开进行说明。
图1是根据一示例性实施例示出的一种图像插值方法的流程图，如图1 所示，该方法可以包括：
S101、获取目标图像中的目标像素点在G通道的插值分量。
其中，该目标图像可以是Bayer图像，该目标像素点可以是任一R像素 或任一B像素。图2是根据一示例性实施例示出的一种Bayer图像的示意图， 如图2所示，标注字母R的格子为R像素，标注字母G的格子为G像素， 标注字母B的格子为B像素。该插值分量可以包括水平插值分量和垂直插 值分量。
在本步骤中，在得到该目标图像后，可以将该目标图像中的任一R像素 或任一B像素作为该目标像素点，之后，可以获取水平方向上与该目标像素 点相邻的两个像素点的水平平均灰度值，获取该目标像素点在水平方向的水 平修正值，根据该水平平均灰度值和该水平修正值，确定该水平插值分量， 获取垂直方向上与该目标像素点相邻的两个像素点的垂直平均灰度值，获取 该目标像素点在垂直方向的垂直修正值，根据该垂直平均灰度值和该垂直修 正值，确定该垂直插值分量。
S102、根据该目标像素点对应的目标区域内的像素点的灰度值，确定该 目标像素点对应的第一方向波动值。
其中，该目标区域包括距离该目标像素点预设距离的区域，示例地，该 预设距离可以是2个像素。该第一方向波动值可以包括第一水平方向波动值 和第一垂直方向波动值。
在本步骤中，在确定该目标像素点后，可以通过以下公式计算得到该目 标像素点对应的第一水平方向波动值和第一垂直方向波动值：
公式(1)：
其中，vh(i,j)为该目标像素点对应的第一水平方向波动值，i表示该目 标像素点所在位置的纵坐标，j表示该目标像素点所在位置的横坐标， bayer(i,j)为该目标像素点对应的灰度值，bayer(i,j-1)和bayer(i,j+1)为 水平方向上与该目标像素点相邻的像素点的灰度值，bayer(i,j-2)和 bayer(i,j+2)为水平方向上距离该目标像素点两个像素的像素点的灰度值。 示例地，如图2所示，该目标像素点可以是位于该目标图像中心的R像素，bayer(i,j-1)为位于该目标像素点左边与该目标像素点相邻的G像素的灰 度值，bayer(i,j+1)为位于该目标像素点右边与该目标像素点相邻的G像 素的灰度值，bayer(i,j-2)为位于该目标像素点左边距离该目标像素点两 个像素的R像素的灰度值，bayer(i,j+2)为位于该目标像素点右边与该目 标像素点间隔两个像素的R像素的灰度值。
公式(2)：
其中，vv(i,j)为该目标像素点对应的第一垂直方向波动值，bayer(i- 1,j和bayeri+1,j为垂直方向上与该目标像素点相邻的像素点的灰度值， bayer(i-2,j)和bayer(i+2,j)为垂直方向上距离该目标像素点两个像素的 像素点的灰度值。示例地，如图2所示，bayer(i-1,j)为位于该目标像素 点上方与该目标像素点相邻的G像素的灰度值，bayer(i+1,j)为位于该目 标像素点下方与该目标像素点相邻的G像素的灰度值，bayer(i-2,j)为位 于该目标像素点上方距离该目标像素点两个像素的R像素的灰度值， bayer(i+2,j)为位于该目标像素点下方距离该目标像素点两个像素的R像 素的灰度值。
S103、获取该目标像素点对应的色差梯度。
其中，该色差梯度可以包括水平色差梯度和垂直色差梯度。
在本步骤中，可以获取该目标像素点与第一相邻像素点之间的第一色差， 该第一相邻像素点包括在水平方向上与该目标像素点相邻的像素点，获取第 一像素点与第二相邻像素点之间的第二色差，该第一像素点包括水平方向上 距离该目标像素点两个像素的像素点，该第二相邻像素点包括水平方向上与 该第一像素点相邻的像素点，根据该第一色差和该第二色差，确定该水平色 差梯度。获取该目标像素点与第三相邻像素点之间的第三色差，该第三相邻 像素点包括在垂直方向上与该目标像素点相邻的像素点，获取第二像素点与 第四相邻像素点之间的第四色差，该第二像素点包括垂直方向上距离该目标 像素点两个像素的像素点，该第四相邻像素点包括垂直方向上与该第二像素 点相邻的像素点，根据该第三色差和该第四色差，确定该垂直色差梯度。
S104、根据该插值分量、该第一方向波动值以及该色差梯度，确定该目 标像素点的G通道的插值。
在本步骤中，在确定该插值分量、该第一方向波动值以及该色差梯度后， 可以根据该第一方向波动值、该色差梯度以及该插值分量，计算得到该目标 像素点的G通道的插值。
S105、根据该目标像素点的G通道的插值，获取该目标像素点的RGB 图像。
在本步骤中，在得到该目标像素点的G通道的插值后，可以根据该目标 像素点的G通道的插值，通过现有技术的双线性插值方法得到该目标像素点 的RGB图像，此处不再赘述。
采用上述方法，在确定目标像素点的G通道的插值时，引入了色差梯度 影响因子，这样，可以提高高频纹理插值方向判断的准确率，从而提高了插 值得到的RGB图像的质量。
图3是根据一示例性实施例示出的另一种图像插值方法的流程图，如图 3所示，该方法可以包括：
S301、获取水平方向上与目标像素点相邻的两个像素点的水平平均灰度 值。
在本步骤中，如图2所示，以该目标像素点为该目标图像中的中心点像 素为例，该目标像素点的位置坐标为(i，j)，水平方向上与该目标像素点 相邻的两个像素点为位于该目标像素点左边与该目标像素点相邻的G像素、 位于该目标像素点右边与该目标像素点相邻的G像素。
在确定水平方向上与该目标像素点相邻的两个像素点后，可以进一步获 取该两个像素点的灰度值，由于该两个像素点均为G像素，则该两个像素点 的灰度值即为该两个像素点的G通道的值。
S302、获取该目标像素点在水平方向的水平修正值。
在本步骤中，可以通过以下公式计算得到该目标像素点在水平方向的水 平修正值：
公式(3)：
其中，
为该水平修正值。
S303、根据该水平平均灰度值和该水平修正值，确定水平插值分量。
在本步骤中，可以通过以下公式计算得到该水平插值分量：
其中，Gh(i,j)为该水平插值分量。
S304、获取垂直方向上与该目标像素点相邻的两个像素点的垂直平均灰 度值。
在本步骤中，如图2所示，以该目标像素点为该目标图像中的中心点像 素为例，该目标像素点的位置坐标为(i，j)，垂直方向上与该目标像素点 相邻的两个像素点为位于该目标像素点上方与该目标像素点相邻的G像素、 位于该目标像素点下方与该目标像素点相邻的G像素。
在确定垂直方向上与该目标像素点相邻的两个像素点后，可以进一步获 取该两个像素点的灰度值，由于该两个像素点均为G像素，则该两个像素点 的灰度值即为该两个像素点的G通道的值。
S305、获取该目标像素点在垂直方向的垂直修正值。
在本步骤中，可以通过以下公式计算得到该目标像素点在垂直方向的垂 直修正值：
公式(5)：
其中，
为该垂直修正值。
S306、根据该垂直平均灰度值和该垂直修正值，确定垂直插值分量。
在本步骤中，可以通过以下公式计算得到该垂直插值分量：
其中，Gv(i,j)为该垂直插值分量。
S307、根据该目标像素点对应的目标区域内的像素点的灰度值，确定该 目标像素点对应的第一方向波动值。
其中，该目标区域包括距离该目标像素点预设距离的区域，示例地，该 预设距离可以是2个像素。该第一方向波动值可以包括第一水平方向波动值 和第一垂直方向波动值。
S308、获取该目标像素点与第一相邻像素点之间的第一色差。
其中，该第一相邻像素点包括在水平方向上与该目标像素点相邻的像素 点，如图2所示，以该目标像素点为该目标图像中的中心点像素为例，该目 标像素点的位置坐标为(i，j)，该第一相邻像素点包括位于该目标像素点 左边与该目标像素点相邻的G像素、位于该目标像素点右边与该目标像素点 相邻的G像素。
在本步骤中，在确定该第一相邻像素点后，可以通过以下公式计算得到 该目标像素点与第一相邻像素点之间的第一色差：
其中，colordifference1为该第一色差。
S309、获取第一像素点与第二相邻像素点之间的第二色差。
其中，该第一像素点包括水平方向上距离该目标像素点两个像素的像素 点，该第二相邻像素点包括水平方向上与该第一像素点相邻的像素点。如图 2所示，以该目标像素点为该目标图像中的中心点像素为例，该目标像素点 的位置坐标为(i，j)，该的第一像素点包括位于该目标像素点左边距离该 目标像素点两个像素的第一R像素、位于该目标像素点右边距离该目标像素 点两个像素的第二R像素，该第二相邻像素点包括位于该第一R像素左边 与该第一R像素相邻的G像素(图中未画出)、位于该第一R像素右边与 该第一R像素相邻的G像素、位于该第二R像素左边与该第二R像素相邻 的G像素、位于该第二R像素右边与该第二R像素相邻的G像素(图中未 画出)。
在本步骤中，由于该第一像素点包括两个像素点，因此计算得到的该第 二色差也包括两个：colordifference2L和colordifference2R，可以通过以 下公式计算得到该第二色差：
S310、根据该第一色差和该第二色差，确定水平色差梯度。
在本步骤中，在确定该第一色差和该第二色差后，可以通过以下公式计 算得到该水平色差梯度：
公式(10)：
将公式(7)、(8)、(9)代入公式(10)后，可以得到公式(11)：
S311、获取该目标像素点与第三相邻像素点之间的第三色差。
其中，该第三相邻像素点包括在垂直方向上与该目标像素点相邻的像素 点，如图2所示，以该目标像素点为该目标图像中的中心点像素为例，该目 标像素点的位置坐标为(i，j)，该第三相邻像素点包括位于该目标像素点 上方与该目标像素点相邻的G像素、位于该目标像素点下方与该目标像素点 相邻的G像素。
在本步骤中，在确定该第三相邻像素点后，可以通过以下公式计算得到 该目标像素点与第三相邻像素点之间的第三色差：
其中，colordifference3为该第三色差。
S312、获取第二像素点与第四相邻像素点之间的第四色差。
其中，该第二像素点包括垂直方向上距离该目标像素点两个像素的像素 点，该第四相邻像素点包括垂直方向上与该第二像素点相邻的像素点。如图 2所示，以该目标像素点为该目标图像中的中心点像素为例，该目标像素点 的位置坐标为(i，j)，该的第二像素点包括位于该目标像素点上方距离该 目标像素点两个像素的第三R像素、位于该目标像素点下方距离该目标像素 点两个像素的第四R像素，该第四相邻像素点包括位于该第三R像素上方 与该第三R像素相邻的G像素(图中未画出)、位于该第三R像素下方与 该第三R像素相邻的G像素、位于该第四R像素上方与该第四R像素相邻 的G像素、位于该第四R像素下方与该第四R像素相邻的G像素(图中未 画出)。
在本步骤中，由于该第二像素点包括两个像素点，因此计算得到的该第 四色差也包括两个：colordifference4L和colordifference4R，可以通过以 下公式计算得到该第四色差：
S313、根据该第三色差和该第四色差，确定垂直色差梯度。
在本步骤中，在确定该第三色差和该第四色差后，可以通过以下公式计 算得到该垂直色差梯度：
公式(15)：
将公式(12)、(13)、(14)代入公式(15)后，可以得到公式(16)：
S314、根据该水平色差梯度、第一水平方向波动值以及预设权重因子， 确定第二水平方向波动值。
其中，该预设权重因子可以根据试验测试得到，例如，该预设权重因子 可以是1。
在本步骤中，在得到该水平色差梯度后，可以通过以下公式计算得到该 第二水平方向波动值：
公式(17)：
vh(i，j)′＝vh(i，j)+a*gradienth
其中，vh(i,j)′为该第二水平方向波动值，a为该预设权重因子。
S315、根据该垂直色差梯度、第一垂直方向波动值以及该预设权重因子， 确定第二垂直方向波动值。
在本步骤中，在得到该垂直色差梯度后，可以通过以下公式计算得到该 第二垂直方向波动值：
公式(18)：
Uv(i，j)′＝Uv(i，j)+a*gradientv
其中，vv(i,j)′为该第二垂直方向波动值。
S316、根据该插值分量、该第二水平方向波动值以及该第二垂直方向波 动值，确定该目标像素点的G通道的插值。
在本步骤中，在确定该插值分量、该第二水平方向波动值以及该第二垂 直方向波动值后，可以根据该第二水平方向波动值和该第二垂直方向波动值， 确定垂直权重值，根据该垂直权重值，确定水平权重值，并根据该插值分量、 该垂直权重值以及该水平权重值，确定该目标像素点的G通道的插值。
其中，可以通过以下公式计算得到该垂直权重值：
其中，wh(i,j)为该垂直权重值。
在计算得到该垂直权重值之后，可以通过以下公式计算得到该水平权重 值：
wv(i,j)＝1-wh(i,j) (20)
其中，wv(i,j)为该水平权重值。
进一步地，在计算得到该垂直权重值和该水平权重值后，可以通过以下 公式计算得到该目标像素点的G通道的插值：
G(i,j)＝wh(i,j)*Gh(i,j)+wv(i,j)*Gv(i,j) (21)
其中，G(i,j)为该目标像素点的G通道的插值。
S317、根据该目标像素点的G通道的插值，获取该目标像素点的RGB 图像。
采用上述方法，在计算该目标像素点对应的第二方向波动值时增加了色 差梯度，计算得到的该第二方向波动值更加准确，使得根据该第二方向波动 值确定的该目标像素点的G通道的插值的准确率也更高，这样，可以提高高 频纹理插值方向判断的准确率，从而提高了插值得到的RGB图像的质量。
图4是根据一示例性实施例示出的一种图像插值装置的框图，如图4所 示，该装置可以包括：
插值分量获取模块401，被配置为获取目标图像中的目标像素点在G通 道的插值分量，该目标像素点为任一R像素或任一B像素；
方向波动值确定模块402，被配置为根据该目标像素点对应的目标区域 内的像素点的灰度值，确定该目标像素点对应的第一方向波动值，该目标区 域包括距离该目标像素点预设距离的区域；
色差梯度获取模块403，被配置为获取该目标像素点对应的色差梯度；
插值确定模块404，被配置为根据该插值分量、该第一方向波动值以及 该色差梯度，确定该目标像素点的G通道的插值；
图像获取模块405，被配置为根据该目标像素点的G通道的插值，获取 该目标像素点的RGB图像。
可选地，该插值分量包括水平插值分量和垂直插值分量；该插值分量获 取模块401，还被配置为：
获取水平方向上与该目标像素点相邻的两个像素点的水平平均灰度值；
获取该目标像素点在水平方向的水平修正值；
根据该水平平均灰度值和该水平修正值，确定该水平插值分量；
获取垂直方向上与该目标像素点相邻的两个像素点的垂直平均灰度值；
获取该目标像素点在垂直方向的垂直修正值；
根据该垂直平均灰度值和该垂直修正值，确定该垂直插值分量。
可选地，该色差梯度包括水平色差梯度和垂直色差梯度；该色差梯度获 取模块403，还被配置为：
获取该目标像素点与第一相邻像素点之间的第一色差，该第一相邻像素 点包括在水平方向上与该目标像素点相邻的像素点；
获取第一像素点与第二相邻像素点之间的第二色差，该第一像素点包括 水平方向上距离该目标像素点两个像素的像素点，该第二相邻像素点包括水 平方向上与该第一像素点相邻的像素点；
根据该第一色差和该第二色差，确定该水平色差梯度；
获取该目标像素点与第三相邻像素点之间的第三色差，该第三相邻像素 点包括在垂直方向上与该目标像素点相邻的像素点；
获取第二像素点与第四相邻像素点之间的第四色差，该第二像素点包括 垂直方向上距离该目标像素点两个像素的像素点，该第四相邻像素点包括垂 直方向上与该第二像素点相邻的像素点；
根据该第三色差和该第四色差，确定该垂直色差梯度。
可选地，该第一方向波动值包括第一水平方向波动值和第一垂直方向波 动值；该插值确定模块404，还被配置为：
根据该水平色差梯度、第一水平方向波动值以及预设权重因子，确定第 二水平方向波动值；
根据该垂直色差梯度、第一垂直方向波动值以及该预设权重因子，确定 第二垂直方向波动值；
根据该插值分量、该第二水平方向波动值以及该第二垂直方向波动值， 确定该目标像素点的G通道的插值。
可选地，该插值确定模块404，还被配置为：
根据该第二水平方向波动值和该第二垂直方向波动值，确定垂直权重值；
根据该垂直权重值，确定水平权重值；
根据该插值分量、该垂直权重值以及该水平权重值，确定该目标像素点 的G通道的插值。
通过上述装置，在确定目标像素点的G通道的插值时，引入了色差梯度 影响因子，这样，可以提高高频纹理插值方向判断的准确率，从而提高了插 值得到的RGB图像的质量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有 关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令， 该程序指令被处理器执行时实现本公开提供的图像插值方法的步骤。
图5是根据一示例性实施例示出的一种电子设备500的框图。例如，装 置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制 台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存 储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O) 的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫， 数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个 或多个处理器520来执行指令，以完成上述的图像插值方法的全部或部分步 骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其 他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒 体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这 些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联 系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型 的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器 (SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读 存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)， 磁存储器，快闪存储器，磁盘或光盘。
电力组件506为装置500的各种组件提供电力。电力组件506可以包括 电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电 力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的 屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。 如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入 信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上 的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测 与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组 件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如 拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体 数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有 焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510 包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模 式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信 号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例 中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围 接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按 钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面 的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态， 组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件 514还可以检测装置500或装置500一个组件的位置改变，用户与装置500 接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传 感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检 测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD 图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514 还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传 感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的 通信。装置500可以接入基于通信标准的无线网络，如WiFi，4G或5G，或 它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自 外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所 述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在 NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超 宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路 (ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编 程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、 微处理器或其他电子元件实现，用于执行上述图像插值方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储 介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执 行以完成上述图像插值方法。例如，所述非临时性计算机可读存储介质可以 是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储 设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产 品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可 编程的装置执行时用于执行上述的图像插值方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其 它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这 些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开 的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例 性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确 结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所 附的权利要求来限制。
Claims (10)
1.一种图像插值方法，其特征在于，所述方法包括：
获取目标图像中的目标像素点在G通道的插值分量，所述目标像素点为任一R像素或任一B像素；
根据所述目标像素点对应的目标区域内的像素点的灰度值，确定所述目标像素点对应的第一方向波动值，所述目标区域包括距离所述目标像素点预设距离的区域；
获取所述目标像素点对应的色差梯度；
根据所述插值分量、所述第一方向波动值以及所述色差梯度，确定所述目标像素点的G通道的插值；
根据所述目标像素点的G通道的插值，获取所述目标像素点的RGB图像。
2.根据权利要求1所述的方法，其特征在于，所述插值分量包括水平插值分量和垂直插值分量；所述获取目标图像中的目标像素点在G通道的插值分量包括：
获取水平方向上与所述目标像素点相邻的两个像素点的水平平均灰度值；
获取所述目标像素点在水平方向的水平修正值；
根据所述水平平均灰度值和所述水平修正值，确定所述水平插值分量；
获取垂直方向上与所述目标像素点相邻的两个像素点的垂直平均灰度值；
获取所述目标像素点在垂直方向的垂直修正值；
根据所述垂直平均灰度值和所述垂直修正值，确定所述垂直插值分量。
3.根据权利要求1所述的方法，其特征在于，所述色差梯度包括水平色差梯度和垂直色差梯度；所述获取所述目标像素点对应的色差梯度包括：
获取所述目标像素点与第一相邻像素点之间的第一色差，所述第一相邻像素点包括在水平方向上与所述目标像素点相邻的像素点；
获取第一像素点与第二相邻像素点之间的第二色差，所述第一像素点包括水平方向上距离所述目标像素点两个像素的像素点，所述第二相邻像素点包括水平方向上与所述第一像素点相邻的像素点；
根据所述第一色差和所述第二色差，确定所述水平色差梯度；
获取所述目标像素点与第三相邻像素点之间的第三色差，所述第三相邻像素点包括在垂直方向上与所述目标像素点相邻的像素点；
获取第二像素点与第四相邻像素点之间的第四色差，所述第二像素点包括垂直方向上距离所述目标像素点两个像素的像素点，所述第四相邻像素点包括垂直方向上与所述第二像素点相邻的像素点；
根据所述第三色差和所述第四色差，确定所述垂直色差梯度。
4.根据权利要求3所述的方法，其特征在于，所述第一方向波动值包括第一水平方向波动值和第一垂直方向波动值；所述根据所述插值分量、所述第一方向波动值以及所述色差梯度，确定所述目标像素点的G通道的插值包括：
根据所述水平色差梯度、所述第一水平方向波动值以及预设权重因子，确定第二水平方向波动值；
根据所述垂直色差梯度、所述第一垂直方向波动值以及所述预设权重因子，确定第二垂直方向波动值；
根据所述插值分量、所述第二水平方向波动值以及所述第二垂直方向波动值，确定所述目标像素点的G通道的插值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述插值分量、所述第二水平方向波动值以及所述第二垂直方向波动值，确定所述目标像素点的G通道的插值包括：
根据所述第二水平方向波动值和所述第二垂直方向波动值，确定垂直权重值；
根据所述垂直权重值，确定水平权重值；
根据所述插值分量、所述垂直权重值以及所述水平权重值，确定所述目标像素点的G通道的插值。
6.一种图像插值装置，其特征在于，所述装置包括：
插值分量获取模块，被配置为获取目标图像中的目标像素点在G通道的插值分量，所述目标像素点为任一R像素或任一B像素；
方向波动值确定模块，被配置为根据所述目标像素点对应的目标区域内的像素点的灰度值，确定所述目标像素点对应的第一方向波动值，所述目标区域包括距离所述目标像素点预设距离的区域；
色差梯度获取模块，被配置为获取所述目标像素点对应的色差梯度；
插值确定模块，被配置为根据所述插值分量、所述第一方向波动值以及所述色差梯度，确定所述目标像素点的G通道的插值；
图像获取模块，被配置为根据所述目标像素点的G通道的插值，获取所述目标像素点的RGB图像。
7.根据权利要求6所述的装置，所述色差梯度包括水平色差梯度和垂直色差梯度；所述色差梯度获取模块，还被配置为：
获取所述目标像素点与第一相邻像素点之间的第一色差，所述第一相邻像素点包括在水平方向上与所述目标像素点相邻的像素点；
获取第一像素点与第二相邻像素点之间的第二色差，所述第一像素点包括水平方向上距离所述目标像素点两个像素的像素点，所述第二相邻像素点包括水平方向上与所述第一像素点相邻的像素点；
根据所述第一色差和所述第二色差，确定所述水平色差梯度；
获取所述目标像素点与第三相邻像素点之间的第三色差，所述第三相邻像素点包括在垂直方向上与所述目标像素点相邻的像素点；
获取第二像素点与第四相邻像素点之间的第四色差，所述第二像素点包括垂直方向上距离所述目标像素点两个像素的像素点，所述第四相邻像素点包括垂直方向上与所述第二像素点相邻的像素点；
根据所述第三色差和所述第四色差，确定所述垂直色差梯度。
8.根据权利要求7所述的装置，其特征在于，所述第一方向波动值包括第一水平方向波动值和第一垂直方向波动值；所述插值确定模块，还被配置为：
根据所述水平色差梯度、所述第一水平方向波动值以及预设权重因子，确定第二水平方向波动值；
根据所述垂直色差梯度、所述第一垂直方向波动值以及所述预设权重因子，确定第二垂直方向波动值；
根据所述插值分量、所述第二水平方向波动值以及所述第二垂直方向波动值，确定所述目标像素点的G通道的插值。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110711382.9A CN115526774A (zh) | 2021-06-25 | 2021-06-25 | 图像插值方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110711382.9A CN115526774A (zh) | 2021-06-25 | 2021-06-25 | 图像插值方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115526774A true CN115526774A (zh) | 2022-12-27 |
Family
ID=84694481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110711382.9A Pending CN115526774A (zh) | 2021-06-25 | 2021-06-25 | 图像插值方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115526774A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993723A (zh) * | 2023-09-26 | 2023-11-03 | 山东弘密新材料科技有限公司 | 基于图像处理的壁纸质量检测方法 |
| CN117057995A (zh) * | 2023-08-23 | 2023-11-14 | 上海玄戒技术有限公司 | 图像处理方法、装置、芯片、电子设备及存储介质 |
-
2021
- 2021-06-25 CN CN202110711382.9A patent/CN115526774A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117057995A (zh) * | 2023-08-23 | 2023-11-14 | 上海玄戒技术有限公司 | 图像处理方法、装置、芯片、电子设备及存储介质 |
| CN116993723A (zh) * | 2023-09-26 | 2023-11-03 | 山东弘密新材料科技有限公司 | 基于图像处理的壁纸质量检测方法 |
| CN116993723B (zh) * | 2023-09-26 | 2023-12-15 | 山东弘密新材料科技有限公司 | 基于图像处理的壁纸质量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| EP3872744B1 (en) | Method and apparatus for obtaining sample image set | |
| KR101831077B1 (ko) | 색역 모드 스위칭 방법 및 장치 | |
| US11475243B2 (en) | Training method and device for an image enhancement model, and storage medium | |
| US11580327B2 (en) | Image denoising model training method, imaging denoising method, devices and storage medium | |
| CN110958401B (zh) | 一种超级夜景图像颜色校正方法、装置和电子设备 | |
| US10650502B2 (en) | Image processing method and apparatus, and storage medium | |
| CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
| US11222235B2 (en) | Method and apparatus for training image processing model, and storage medium | |
| EP2975574B1 (en) | Method, apparatus and terminal for image retargeting | |
| CN115526774A (zh) | 图像插值方法、装置、存储介质及电子设备 | |
| CN117616774A (zh) | 图像的处理方法、装置及存储介质 | |
| US9665925B2 (en) | Method and terminal device for retargeting images | |
| EP3621027A1 (en) | Method and apparatus for processing image, electronic device and storage medium | |
| US20210405384A1 (en) | Optical processing apparatus, camera module, electronic device and capturing method | |
| US20200210682A1 (en) | Skin color identification method, skin color identification apparatus and storage medium | |
| CN107730443B (zh) | 图像处理方法、装置及用户设备 | |
| US11425299B2 (en) | Camera module, processing method and apparatus, electronic device, and storage medium | |
| CN111835941B (zh) | 图像生成方法及装置、电子设备、计算机可读存储介质 | |
| US20180018536A1 (en) | Method, Device and Computer-Readable Medium for Enhancing Readability | |
| CN115147466A (zh) | 图像配准方法及装置、图像处理方法及装置以及存储介质 | |
| CN117057995B (zh) | 图像处理方法、装置、芯片、电子设备及存储介质 | |
| CN118695119A (zh) | 一种图像处理方法、装置、芯片、电子设备及存储介质 | |
| CN113744138A (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN115375554A (zh) | 图像信号的处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |