CN116883238A - 基于方向的超分辨率图像生成方法、装置、电子设备 - Google Patents
基于方向的超分辨率图像生成方法、装置、电子设备 Download PDFInfo
- Publication number
- CN116883238A CN116883238A CN202310758479.4A CN202310758479A CN116883238A CN 116883238 A CN116883238 A CN 116883238A CN 202310758479 A CN202310758479 A CN 202310758479A CN 116883238 A CN116883238 A CN 116883238A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixels
- value
- gradient
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 230000008859 change Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000003313 weakening effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提出了基于方向的超分辨率图像生成方法、装置、电子设备，该方法包括：将初始图像放大为待处理图像，确定待处理像素的梯度变化角度和像素梯度强度值，根据强度阈值提取高频区域像素，根据像素梯度强度值和梯度变化角度对高频区域像素进行方向插值，确定每个高频区域像素的像素残差值；根据融合系数和像素残差值得到高频融合像素，基于高频融合像素生成超分辨率图像。根据本发明实施例的技术方案，无需引入高成本的模型，降低了超分辨率图像的成本，而且能够在图像放大后，利用梯度方向的像素残差值对插值得到的像素进行融合，使得图像边缘的轮廓更加清晰，提高超分辨率图像的清晰度。
Description
技术邻域
本发明涉及图像超分辨率技术邻域，特别涉及一种基于方向的超分辨率图像生成方法、装置、电子设备。
背景技术
图像超分辨率技术能够将一幅低分辨率图像或图像序列恢复出高分辨率图像，图像超分辨率的实现目前有两个方向，一是通过深度学习训练模型训练出超分辨率图像，但是训练成本较高，而且准确性依赖于训练样本集。另一种方法是通过传统的图像算法计算出超分辨率图像，但是在放大过程中图像的边缘和纹理会逐渐变得模糊，导致超分辨率图像出现偏差，无法满足实际应用的需求。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于方向的超分辨率图像生成方法、装置、电子设备，能够以较低的成本生成超分辨率图像，提高超分辨率图像的清晰度。
第一方面，本发明实施例提供了一种基于方向的超分辨率图像生成方法，包括：
获取初始图像，将初始图像放大为待处理图像；
确定所述待处理图像的待处理像素的梯度变化角度和像素梯度强度值，提取所述待处理图像的高频区域像素集，所述高频区域像素集为高频区域像素的集合，所述高频区域像素为所述像素梯度强度值大于预设的强度阈值的所述待处理像素；
根据所述像素梯度强度值和所述梯度变化角度对所述高频区域像素进行方向插值，确定每个所述高频区域像素的像素残差值，所述像素残差值用于表征所述高频区域像素的像素值与方向插值得到的像素值之间的数值差异；
根据预设的融合系数和所述像素残差值对所述高频区域像素进行加权融合得到高频融合像素，基于所述高频融合像素生成超分辨率图像。
根据本发明的一些实施例，所述将初始图像放大为待处理图像，包括：
将所述初始图像的像素值表征从RGB分量转换为YUV分量；
通过标准插值算法进行双立方插值将所述初始图像放大为所述待处理图像。
根据本发明的一些实施例，所述待处理图像还包括低频区域像素集，所述低频区域像素集为低频区域像素的集合，所述低频区域像素为所述像素梯度强度值小于或等于所述强度阈值的所述待处理像素，所述基于所述高频融合像素生成超分辨率图像包括：
将全部的所述低频区域像素和所述高频融合像素的像素值表征从YUV分量转换为RGB分量，得到超分辨率像素集；
将所述超分辨率像素集所表征的图像确定为所述超分辨率图像。
根据本发明的一些实施例，所述确定所述待处理图像每个待处理像素的梯度变化角度和像素梯度强度值，包括：
确定每个所述待处理像素的水平方向梯度和垂直方向梯度；
根据所述垂直方向梯度与所述水平方向梯度确定所述梯度变化角度和所述像素梯度强度值。
根据本发明的一些实施例，所述根据所述像素梯度强度值和所述梯度变化角度对所述高频区域像素进行方向插值，确定每个所述高频区域像素的像素残差值，包括：
根据预设的邻域范围，根据所述梯度变化角度确定所述高频区域像素的第一正向区域索引，根据所述第一正向区域索引确定第二正向区域索引，所述第一正向区域索引和所述第二正向区域索引用于指示不同的梯度增强方向；
根据所述第一正向区域索引确定第一负向区域索引，根据所述第二正向区域索引确定第二负向区域索引，所述第一负向区域索引和所述第二负向区域索引用于指示不同的梯度减弱方向；
根据所述第一正向区域索引、所述第二正向区域索引、所述第一负向区域索引、所述第二负向区域索引和所述像素梯度强度值进行方向插值，得到所述像素残差值。
根据本发明的一些实施例，根据所述第一正向区域索引、所述第二正向区域索引、所述第一负向区域索引、所述第二负向区域索引和所述像素梯度强度值进行方向插值，得到所述像素残差值，包括：
根据所述梯度变化角度和预设的偏差系数进行取余数处理得到角度偏差值；
确定邻接像素数组，所述邻接像素数组的数组元素为所述高频区域像素的邻接像素；
根据所述第一正向区域索引、所述第二正向区域索引和所述角度偏差值，确定所述每个所述邻接像素的正向区域像素值；
根据所述第一负向区域索引、所述第二负向区域索引和所述角度偏差值，确定每个所述邻接像素的负向区域像素值；
根据所述正向区域像素值、所述负向区域像素值和所述像素梯度强度值得到所述像素残差值。
根据本发明的一些实施例，所述根据所述正向区域像素值、所述负向区域像素值和所述像素梯度强度值得到所述像素残差值，包括：
确定邻接梯度强度数组，所述邻接梯度强度数组的数组元素为每个所述邻接像素的所述像素梯度强度值；
根据所述第一正向区域索引、所述第二正向区域索引和所述角度偏差值，确定所述像素梯度强度值数组中每个所述邻接像素的正向梯度强度值；
根据所述第一负向区域索引、所述第二负向区域索引和所述角度偏差值，确定所述像素梯度强度值数组中每个所述邻接像素的负向梯度强度值；
基于所述高频区域像素的所述像素梯度强度值与所述正向梯度强度值和所述负向梯度强度值的大小关系，根据所述正向区域像素值、所述负向区域像素值和所述高频区域像素的像素值确定所述像素残差值。
第二方面，本发明实施例提供了一种基于方向的超分辨率图像生成装置，包括少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述第一方面所述的基于方向的超分辨率图像生成方法。
第三方面，本发明实施例提供了一种电子设备，包括有如上述第二方面所述的基于方向的超分辨率图像生成装置。
第四方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的基于方向的超分辨率图像生成方法。
根据本发明实施例的基于方向的超分辨率图像生成方法，至少具有如下有益效果：获取初始图像，将初始图像放大为待处理图像；确定所述待处理图像的待处理像素的梯度变化角度和像素梯度强度值，提取所述待处理图像的高频区域像素集，所述高频区域像素集为高频区域像素的集合，所述高频区域像素为所述像素梯度强度值大于预设的强度阈值的所述待处理像素；根据所述像素梯度强度值和所述梯度变化角度对所述高频区域像素进行方向插值，确定每个所述高频区域像素的像素残差值，所述像素残差值用于表征所述高频区域像素的像素值与方向插值得到的像素值之间的数值差异；根据预设的融合系数和所述像素残差值对所述高频区域像素进行加权融合得到高频融合像素，基于所述高频融合像素生成超分辨率图像。根据本发明实施例的技术方案，无需引入高成本的模型，降低了超分辨率图像的成本，而且能够在图像放大后，利用梯度方向的像素残差值对插值得到的像素进行融合，使得图像边缘的轮廓更加清晰，提高超分辨率图像的清晰度。
附图说明
图1是本发明一个实施例提供的基于方向的超分辨率图像生成方法的流程图；
图2是本发明另一个实施例提供的将初始图像放大为目标图像的流程图；
图3是本发明另一个实施例提供的将YUV分量转换为RGB分量得到超分辨率图像的流程图；
图4是本发明另一个实施例提供的确定梯度变换交底和像素梯度强度值的流程图；
图5是本发明另一个实施例提供的确定正负向区域索引的流程图；
图6是本发明另一个实施例提供的确定正负向像素值的流程图；
图7是本发明另一个实施例提供的确定像素残差值的流程图；
图8是本发明另一个实施例提供的基于方向的超分辨率图像生成装置的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术邻域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明实施例提供了一种基于方向的超分辨率图像生成方法、装置、电子设备，其中，基于方向的超分辨率图像生成方法包括：获取初始图像，将初始图像放大为待处理图像；确定所述待处理图像的待处理像素的梯度变化角度和像素梯度强度值，提取所述待处理图像的高频区域像素集，所述高频区域像素集为高频区域像素的集合，所述高频区域像素为所述像素梯度强度值大于预设的强度阈值的所述待处理像素；根据所述像素梯度强度值和所述梯度变化角度对所述高频区域像素进行方向插值，确定每个所述高频区域像素的像素残差值，所述像素残差值用于表征所述高频区域像素的像素值与方向插值得到的像素值之间的数值差异；根据预设的融合系数和所述像素残差值对所述高频区域像素进行加权融合得到高频融合像素，基于所述高频融合像素生成超分辨率图像。根据本发明实施例的技术方案，无需引入高成本的模型，降低了超分辨率图像的成本，而且能够在图像放大后，利用梯度方向的像素残差值对插值得到的像素进行融合，使得图像边缘的轮廓更加清晰，提高超分辨率图像的清晰度。
下面基于附图，对本发明实施例的控制方法作进一步阐述。
参照图1，图1为本发明实施例提供的一种基于方向的超分辨率图像生成方法的流程图，基于方向的超分辨率图像生成方法包括但不限于有以下步骤：
S11，获取初始图像，将初始图像放大为待处理图像；
S12，确定待处理图像的待处理像素的梯度变化角度和像素梯度强度值，提取待处理图像的高频区域像素集，高频区域像素集为高频区域像素的集合，高频区域像素为像素梯度强度值大于预设的强度阈值的待处理像素；
S13，根据像素梯度强度值和梯度变化角度对高频区域像素进行方向插值，确定每个高频区域像素的像素残差值，像素残差值用于表征高频区域像素的像素值与方向插值得到的像素值之间的数值差异；
S14，根据预设的融合系数和像素残差值对高频区域像素进行加权融合得到高频融合像素，基于高频融合像素生成超分辨率图像。
需要说明的是，初始图像可以是任意尺寸和分辨率的图像，将初始图像进行放大也可以是任意方向，本实施例对此不多做限定。
需要说明的是，在将初始图像放大到待处理图像后，图像的边缘和纹路会变得模糊，为了得到图像质量满足需求的超分辨率图像，需要恢复图像边缘和纹理的清晰程度，本实施例基于每个像素的梯度变化方向和梯度强度确定像素残差值，不仅无需使用网络模型，还可以通过像素值与像素残差值的融合实现图像边缘和纹理的修复，提高了超分辨率图像的清晰度。
需要说明的是，在对图像进行放大后，通常低频区域的像素值保持不变，本实施例预先设定好强度阈值，根据强度阈值和每个待处理像素的像素梯度强度提取出高频区域像素，只针对高频区域像素进行后续处理，提高图像处理的效率。
需要说明的是，在具备像素梯度强度和像素变化角度后，可以用于表征相邻的像素之间的差异，基于此，本实施例通过方向插值确定高频像素区域的像素残差值，根据像素残差值和像素值进行融合后，能够降低相邻像素之间的差异，从而提高超分辨率图像的清晰度。具体的表达式为：pixmerge＝F(i,j)+α·pixresidual，其中，pixresidual为像素残差值，F(i，j)为像素值，i为待处理图像的整数行坐标，j为待处理图像的整数列坐标，α为融合系数，融合系数可以是任意小于1的数值，该值越接近1，超分辨率效果越强，图像的边缘和纹理越清晰。
通过本实施例的技术方案，不需要像深度学习一样训练模型，不会额外增加图像中并不存在的内容，在图像放大到任意尺度时，能够保持轮廓的清晰程度，且实现成本不高，可解决图像放大后轮廓不够清晰、相比实际图像内容可能出现偏差的问题。
另外，在一实施例中，参照图2，图1所示的步骤S11还包括但不限于有以下步骤：
S21，将初始图像的像素值表征从RGB分量转换为YUV分量；
S22，通过标准插值算法进行双立方插值将初始图像放大为待处理图像。
需要说明的是，初始图像的像素值通常是RGB分量，若直接在RGB分量的基础上进行超分辨率，会导致图像的边缘和纹路在超分辨率过程中出现色差或者色散，影响图像质量。因此，本实施例先将像素值从RGB分量转换为YUV分量，具体公式可以是：在YUV分量的维度完成图像处理后，再转换回RGB分量即可得到超分辨率图像。
需要说明的是，本实施例通过标准插值算法进行双立方插值，从而实现图像放大，具体的公式可以是其中，/>m为初始图像的整数行坐标，n为初始图像的整数列坐标，u为初始图像的整数行坐标和实际行坐标的偏差，u为初始图像的整数列坐标和实际列坐标的偏差，row为初始图像的行坐标遍历中间值，col为初始图像的列坐标遍历中间值。
另外，在一实施例中，待处理图像还包括低频区域像素集，低频区域像素集为低频区域像素的集合，低频区域像素为像素梯度强度值小于或等于强度阈值的待处理像素，参照图3，图1所示的步骤S14还包括但不限于有以下步骤：
S31，将全部的低频区域像素和高频融合像素的像素值表征从YUV分量转换为RGB分量，得到超分辨率像素集；
S32，将超分辨率像素集所表征的图像确定为超分辨率图像。
需要说明的是，本实施例的像素处理针对高频区域像素，而构成超分辨率图像仍然需要结合低频区域像素，因此，在通过本实施例的技术方案对高频区域像素进行残差值融合处理得到高频融合像素后，需要将低频区域像素和高频融合像素共同作为超分辨率像素集。
需要说明的是，由于图2所示的实施例中将RGB分量转换为YUV分量，因此得到的超分辨率像素集的每个像素均为YUV分量数据，可以将超分辨率像素集的每个像素从YUV分量转换为RGB分量，从而得到超分辨率图像，转换方式可以采用以下公式：
另外，在一实施例中，参照图4，图1所示的步骤S12还包括但不限于有以下步骤：
S41，确定每个待处理像素的水平方向梯度和垂直方向梯度；
S42，根据垂直方向梯度与水平方向梯度确定梯度变化角度和像素梯度强度值。
需要说明的是，为了确定梯度变化方向和强度，可以先确定每个像素在水平和垂直方向的梯度，再利用构建直角三角形的原来确定梯度变化角度和像素梯度强度值，即将像素梯度强度值作为直角三角形的斜边，梯度变化角度为与水平方向的夹角。水平方向梯度gradx和垂直方向梯度grady可以通过以下公式得到：
需要说明的是，在确定水平方向梯度和垂直方向梯度后，梯度变化角度gradangle和像素梯度强度值grads可以通过以下公式得到：
gradangle(i,j)＝arctan(grady(i,j)gradx(i,j))；
另外，在一实施例中，参照图5，图1所示的步骤S13还包括但不限于有以下步骤：
S51，根据预设的邻域范围，根据梯度变化角度确定高频区域像素的第一正向区域索引，根据第一正向区域索引确定第二正向区域索引，第一正向区域索引和第二正向区域索引用于指示不同的梯度增强方向；
S52，根据第一正向区域索引确定第一负向区域索引，根据第二正向区域索引确定第二负向区域索引，第一负向区域索引和第二负向区域索引用于指示不同的梯度减弱方向；
S53，根据第一正向区域索引、第二正向区域索引、第一负向区域索引、第二负向区域索引和像素梯度强度值进行方向插值，得到像素残差值。
需要说明的是，本实施例在高频区域像素的360度邻域范围内计算出索引值，即对高频区域像素的360度邻域范围计算出梯度变化的第一正向区域索引、第二正向区域索引、第一负向区域索引和第二负向区域索引，对每个方向计算两个索引，能够提高梯度增强和减弱方向的参考性，从而为方向插值提供更准确的参考。其中，各索引的具体计算公式如下：
lightidx1＝(lightidx0+1)％8；
darkidx0＝(lightidx0+4)％8；
darkidx1＝(darkidx0+1)％8；
其中，lightidx0为第一正向区域索引，lightidx1为第二正向区域索引，darkidx0为第一负向区域索引，darkidx1为第二负向区域索引，％为取余数操作。
需要说明的是，由于在平面坐标领域，360邻域范围实际上能够得到8个坐标，即对于坐标(i，j)，其领域的坐标分别为(i+1,j)、(i+1,j+1)、(i+1,j-1)、(i-1,j+1)、(i-1,j)、(i-1,j-1)、(i,j+1)和(i,j-1),因此本实施例的余数操作的数值采用8。
另外，在一实施例中，参照图6，图5所示的步骤S53还包括但不限于有以下步骤：
S61，根据梯度变化角度和预设的偏差系数进行取余数处理得到角度偏差值；
S62，确定邻接像素数组，邻接像素数组的数组元素为高频区域像素的邻接像素；
S63，根据第一正向区域索引、第二正向区域索引和角度偏差值，确定每个邻接像素的正向区域像素值；
S64，根据第一负向区域索引、第二负向区域索引和角度偏差值，确定每个邻接像素的负向区域像素值；
S65，根据正向区域像素值、负向区域像素值和像素梯度强度值得到像素残差值。
需要说明的是，根据正向区域和负向区域的索引，以及梯度强度的大小，可完成每个高频区域像素的方向插值，通过方向插值后计算出像素残差值，能够确定高频区域像素与邻接像素之间的差异，通过融合计算减少该差异，从而修复超分辨率图像的边缘和纹理，提高图像质量。
需要说明的是，角度偏差值angledist可以通过以下方式计算：angledist＝gradangle(i,j)％45，根据上述实施例的描述，360邻域范围为8个像素点，所以邻接像素数组的表达式为
需要说明的是，由于每个邻接像素为坐标值加1和/或减1，高频区域像素与邻接像素之间所形成的夹角为45度，因此本实施例在上述公式中采用45与角度偏差值进行计算，正向区域像素值pixlight和负向区域像素值pixdark的计算通过以下公式得到：
另外，在一实施例中，参照图7，图6所示的步骤S65还包括但不限于有以下步骤：
S71，确定邻接梯度强度数组，邻接梯度强度数组的数组元素为每个邻接像素的像素梯度强度值；
S72，根据第一正向区域索引、第二正向区域索引和角度偏差值，确定像素梯度强度值数组中每个邻接像素的正向梯度强度值；
S73，根据第一负向区域索引、第二负向区域索引和角度偏差值，确定像素梯度强度值数组中每个邻接像素的负向梯度强度值；
S74，基于高频区域像素的像素梯度强度值与正向梯度强度值和负向梯度强度值的大小关系，根据正向区域像素值、负向区域像素值和高频区域像素的像素值确定像素残差值。
需要说明的是，为了确定高频区域像素与邻接像素之间的梯度强度差异，根据上述实施例确定的每个像素的像素梯度强度构造邻接梯度强度数组，其表达式为：
需要说明的是，在确定邻接像素的像素梯度强度值之后，结合上述实施例得到的正向区域像素值和负向区域像素值，每个邻接像素的正向梯度强度值grads_light和负向梯度强度值grads_dark可以通过以下公式计算得到：
需要说明的是，在确定高频区域像素后，像素残差值pixresidual可以根据高频区域像素的像素值和对应的正向区域像素值和负向区域像素值的大小关系确定，具体可以采用以下公式：
需要说明的是，通过上述实施例的方法，可以完成一个高频区域像素的超分辨率处理，得到高频区域像素对应的高频融合像素，对于待处理图像而言，需要通过遍历高频区域像素集，重复上述图5至图7所示实施例的操作，直到得到每个高频区域像素对应的高频融合像素，再与低频区域像素结合后从YUV分量转换至RGB分量完成图像超分辨率处理。
如图8所示，图8是本发明一个实施例提供的基于方向的超分辨率图像生成装置的结构图。本发明还提供了一种基于方向的超分辨率图像生成装置，包括：
处理器801，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器802，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行本申请实施例的基于方向的超分辨率图像生成方法；
输入/输出接口803，用于实现信息输入及输出；
通信接口804，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线805，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息；
其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种电子设备，包括如上所述的基于方向的超分辨率图像生成装置。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于方向的超分辨率图像生成方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，实现了以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本邻域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本邻域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本邻域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本邻域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。
Claims (10)
1.一种基于方向的超分辨率图像生成方法，其特征在于，包括：
获取初始图像，将初始图像放大为待处理图像；
确定所述待处理图像的待处理像素的梯度变化角度和像素梯度强度值，提取所述待处理图像的高频区域像素集，所述高频区域像素集为高频区域像素的集合，所述高频区域像素为所述像素梯度强度值大于预设的强度阈值的所述待处理像素；
根据所述像素梯度强度值和所述梯度变化角度对所述高频区域像素进行方向插值，确定每个所述高频区域像素的像素残差值，所述像素残差值用于表征所述高频区域像素的像素值与方向插值得到的像素值之间的数值差异；
根据预设的融合系数和所述像素残差值对所述高频区域像素进行加权融合得到高频融合像素，基于所述高频融合像素生成超分辨率图像。
2.根据权利要求1所述的基于方向的超分辨率图像生成方法，其特征在于，所述将初始图像放大为待处理图像，包括：
将所述初始图像的像素值表征从RGB分量转换为YUV分量；
通过标准插值算法进行双立方插值将所述初始图像放大为所述待处理图像。
3.根据权利要求2所述的基于方向的超分辨率图像生成方法，其特征在于，所述待处理图像还包括低频区域像素集，所述低频区域像素集为低频区域像素的集合，所述低频区域像素为所述像素梯度强度值小于或等于所述强度阈值的所述待处理像素，所述基于所述高频融合像素生成超分辨率图像包括：
将全部的所述低频区域像素和所述高频融合像素的像素值表征从YUV分量转换为RGB分量，得到超分辨率像素集；
将所述超分辨率像素集所表征的图像确定为所述超分辨率图像。
4.根据权利要求1所述的基于方向的超分辨率图像生成方法，其特征在于，所述确定所述待处理图像每个待处理像素的梯度变化角度和像素梯度强度值，包括：
确定每个所述待处理像素的水平方向梯度和垂直方向梯度；
根据所述垂直方向梯度与所述水平方向梯度确定所述梯度变化角度和所述像素梯度强度值。
5.根据权利要求4所述的基于方向的超分辨率图像生成方法，其特征在于，所述根据所述像素梯度强度值和所述梯度变化角度对所述高频区域像素进行方向插值，确定每个所述高频区域像素的像素残差值，包括：
根据预设的邻域范围，根据所述梯度变化角度确定所述高频区域像素的第一正向区域索引，根据所述第一正向区域索引确定第二正向区域索引，所述第一正向区域索引和所述第二正向区域索引用于指示不同的梯度增强方向；
根据所述第一正向区域索引确定第一负向区域索引，根据所述第二正向区域索引确定第二负向区域索引，所述第一负向区域索引和所述第二负向区域索引用于指示不同的梯度减弱方向；
根据所述第一正向区域索引、所述第二正向区域索引、所述第一负向区域索引、所述第二负向区域索引和所述像素梯度强度值进行方向插值，得到所述像素残差值。
6.根据权利要求5所述的基于方向的超分辨率图像生成方法，其特征在于，根据所述第一正向区域索引、所述第二正向区域索引、所述第一负向区域索引、所述第二负向区域索引和所述像素梯度强度值进行方向插值，得到所述像素残差值，包括：
根据所述梯度变化角度和预设的偏差系数进行取余数处理得到角度偏差值；
确定邻接像素数组，所述邻接像素数组的数组元素为所述高频区域像素的邻接像素；
根据所述第一正向区域索引、所述第二正向区域索引和所述角度偏差值，确定所述每个所述邻接像素的正向区域像素值；
根据所述第一负向区域索引、所述第二负向区域索引和所述角度偏差值，确定每个所述邻接像素的负向区域像素值；
根据所述正向区域像素值、所述负向区域像素值和所述像素梯度强度值得到所述像素残差值。
7.根据权利要求6所述的基于方向的超分辨率图像生成方法，其特征在于，所述根据所述正向区域像素值、所述负向区域像素值和所述像素梯度强度值得到所述像素残差值，包括：
确定邻接梯度强度数组，所述邻接梯度强度数组的数组元素为每个所述邻接像素的所述像素梯度强度值；
根据所述第一正向区域索引、所述第二正向区域索引和所述角度偏差值，确定所述像素梯度强度值数组中每个所述邻接像素的正向梯度强度值；
根据所述第一负向区域索引、所述第二负向区域索引和所述角度偏差值，确定所述像素梯度强度值数组中每个所述邻接像素的负向梯度强度值；
基于所述高频区域像素的所述像素梯度强度值与所述正向梯度强度值和所述负向梯度强度值的大小关系，根据所述正向区域像素值、所述负向区域像素值和所述高频区域像素的像素值确定所述像素残差值。
8.一种基于方向的超分辨率图像生成装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于方向的超分辨率图像生成方法。
9.一种电子设备，其特征在于，包括权利要求8所述的基于方向的超分辨率图像生成装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于方向的超分辨率图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310758479.4A CN116883238A (zh) | 2023-06-25 | 2023-06-25 | 基于方向的超分辨率图像生成方法、装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310758479.4A CN116883238A (zh) | 2023-06-25 | 2023-06-25 | 基于方向的超分辨率图像生成方法、装置、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883238A true CN116883238A (zh) | 2023-10-13 |
Family
ID=88253911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310758479.4A Pending CN116883238A (zh) | 2023-06-25 | 2023-06-25 | 基于方向的超分辨率图像生成方法、装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883238A (zh) |
-
2023
- 2023-06-25 CN CN202310758479.4A patent/CN116883238A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| JP4657367B2 (ja) | 画像処理装置、撮像装置、および画像歪み補正方法 | |
| CN110300292B (zh) | 投影畸变校正方法、装置、系统及存储介质 | |
| CN110298282B (zh) | 文档图像处理方法、存储介质和计算设备 | |
| JP2013225740A (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
| KR20070118547A (ko) | 화상처리장치, 촬상장치, 화상출력장치, 이들 장치에있어서의 방법 및 프로그램 | |
| CN111311482B (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
| CN106934806A (zh) | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 | |
| JP2013206175A (ja) | 画像判定装置、画像判定方法及び画像判定用コンピュータプログラム | |
| CN111415300A (zh) | 一种用于全景图像的拼接方法和系统 | |
| JP2004166007A (ja) | 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体 | |
| CN113221925A (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN114627175A (zh) | 一种图像处理方法、智能终端及计算机可读存储介质 | |
| JP5870745B2 (ja) | 画像処理装置、二値化閾値算出方法及びコンピュータプログラム | |
| JP2016178553A (ja) | 画像処理装置、領域検出方法及びコンピュータプログラム | |
| EP2536123A1 (en) | Image processing method and image processing apparatus | |
| KR101262164B1 (ko) | 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 | |
| JP2018124968A (ja) | 画像処理装置、及び、画像処理方法 | |
| JP4867620B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5316385B2 (ja) | 画像処理装置及び画像処理プログラム | |
| CN116883238A (zh) | 基于方向的超分辨率图像生成方法、装置、电子设备 | |
| WO2023226218A1 (zh) | 轴对称光学成像并行仿真方法及装置 | |
| WO2014077024A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP5208043B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN111383172B (zh) | 神经网络模型的训练方法、装置及智能终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |