CN112070657B - 图像处理方法、装置、系统、设备及计算机存储介质 - Google Patents
图像处理方法、装置、系统、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN112070657B CN112070657B CN202010820296.7A CN202010820296A CN112070657B CN 112070657 B CN112070657 B CN 112070657B CN 202010820296 A CN202010820296 A CN 202010820296A CN 112070657 B CN112070657 B CN 112070657B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- images
- determining
- convolution kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000001914 filtration Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000016776 visual perception Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 210000001525 retina Anatomy 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 8
- 210000000608 photoreceptor cell Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了图像处理方法、装置、系统、设备及计算机存储介质。该方法包括：获取原始图像；对原始图像进行n个预设尺度的下采样处理，得到n张第一图像；对每张第一待处理图像进行多个预设卷积核参数的高斯滤波处理，得到多张第二图像；放大每张第二待处理图像；对各张第三待处理图像执行：确定第三待处理图像的卷积核参数；确定第三待处理图像的卷积核参数对应的目标像素距离；以基准像素点为中心，基于目标像素距离确定第三待处理图像的第一区域；对各个第一区域进行拼接融合，得到目标图像。根据本申请实施例提供的图像处理方法、装置、系统、设备及计算机存储介质，能够在保证人眼视觉感受的前提下降低图像数据量的大小。
Description
技术领域
本申请属于图像处理领域，尤其涉及图像处理方法、装置、系统、设备及计算机存储介质。
背景技术
为了提供无缝的沉浸式或身临其境的体验，诸如虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR)等近眼显示技术应运而生。
在近眼显示技术中，需要生成待显示图像，然后将待显示图像的相关数据传输至显示装置，从而能够在显示装置显示待显示图像。
然后，现阶段，为了使图像显示效果满足人眼视觉感受，待显示图像的数据量往往较大。待显示图像数据量较大会导致近眼显示系统面临着数据传输带宽过高等问题。因此需要一种在保证人眼视觉感受的前提下降低图像数据的大小的技术方案。
发明内容
本申请实施例提供一种在图像处理方法、装置、系统、设备及计算机存储介质，能够在保证人眼视觉感受的前提下降低图像数据量的大小。
第一方面，本申请实施例提供一种图像处理方法，方法包括：获取原始图像；对原始图像进行n个预设尺度的下采样处理，得到n张第一图像；将原始图像和n张第一图像作为第一待处理图像，并对每张第一待处理图像分别执行：对第一待处理图像进行多个预设卷积核参数的高斯滤波处理，得到多张第二图像；将n张第一图像和各张第二图像作为第二待处理图像，并针对每张第二待处理图像分别执行：放大第二待处理图像，其中，放大后的第二待处理图像的尺度与原始图像的尺度相同；将原始图像和各张放大后的第二待处理图像作为第三待处理图像，并针对各张第三待处理图像分别执行：确定第三待处理图像的卷积核参数；基于预设的卷积核参数与像素距离的对应关系，确定第三待处理图像的卷积核参数对应的目标像素距离；以基准像素点为中心，基于目标像素距离确定第三待处理图像的第一区域，其中第一区域的尺度与目标像素距离相关；对各个第一区域进行拼接融合，得到目标图像，其中，在目标图像中，距离基准像素点越近的第一区域，卷积核参数越小。
在一种可选的实施方式中，卷积核参数为高斯核半径，基于像素距离阈值确定第三待处理图像的第一区域，包括：基于目标像素距离，确定第三待处理图像的第二区域，其中第二区域的尺度与目标像素距离相关；将第二区域与第三待处理图像的前一第三待处理图像的第二区域的非重叠区域，确定为第三待处理图像的第一区域。
在一种可选的实施方式中，卷积核参数为高斯核半径，确定第三待处理图像的卷积核参数，包括：确定与第三待处理图像对应的第一待处理图像的第一高斯核半径；确定在利用对应的第一待处理图像对第三待处理图像对应的第二待处理图像进行高斯滤波时所采用的卷积核的第二高斯核半径；计算第一高斯核半径和第二高斯核半径的和值，并将和值作确定为第三待处理图像的卷积核参数。
在一种可选的实施方式中，确定与第三待处理图像对应的第一待处理图像的第一高斯核半径，具体包括：放大与第三待处理图像对应的第一待处理图像，得到第三图像，第三图像的尺度与原始图像的尺度相同；确定与第三图像匹配的第四图像，第四图像为利用预设卷积核对原始图像高斯滤波得到的图像；将预设卷积核的高斯核半径确定为第一高斯核半径
在一种可选的实施方式中，对原始图像进行n个预设尺度的下采样处理，得到n张第一图像，包括：获取第l张第一图像，其中，l＝0,1,…,n-1，当l＝0时，第l张第一图像为原始图像；对第l张第一图像进行高斯滤波；对高斯滤波后的第l张第一图像，进行预设尺度的下采样处理，得到第l+1张第一图像。
第二方面，本申请实施例提供了一种图像处理装置，装置包括：图像获取模块，用于获取原始图像；第一处理模块，用于对原始图像进行n个预设尺度的下采样处理，得到n张第一图像；第二处理模块，用于将原始图像和n张第一图像作为第一待处理图像，并对每张第一待处理图像分别执行：对第一待处理图像进行多个预设卷积核参数的高斯滤波处理，得到多张第二图像；第三处理模块，用于将n张第一图像和各张第二图像作为第二待处理图像，并针对每张第二待处理图像分别执行：放大第二待处理图像，其中，放大后的第二待处理图像的尺度与原始图像的尺度相同；第四处理模块，用于将原始图像和各张放大后的第二待处理图像作为第三待处理图像，并针对各张第三待处理图像分别执行：确定第三待处理图像的卷积核参数；基于预设的卷积核参数与像素距离的对应关系，确定第三待处理图像的卷积核参数对应的目标像素距离；以基准像素点为中心，基于目标像素距离确定第三待处理图像的第一区域，其中第一区域的尺度与目标像素距离相关；图像合成模块，用于对各个第一区域进行拼接融合，得到目标图像，其中，在目标图像中，距离基准像素点越近的第一区域，卷积核参数越小。
在一种可选的实施方式中，卷积核参数为高斯核半径，第四处理模块，包括：第一处理单元，用于基于目标像素距离，确定第三待处理图像的第二区域，其中第二区域的尺度与目标像素距离相关；第二处理单元，用于将第二区域与第三待处理图像的前一第三待处理图像的第二区域的非重叠区域，确定为第三待处理图像的第一区域。
第三方面，本申请实施例提供了一种微显示系统，系统包括：微显示控制器，用于执行第一方面或第一方面的任一可选的实施方式提供的图像处理方法，生成目标图像的控制信号，并将控制信号输出至微显示器；微显示器，用于基于控制信号，显示目标图像。
第四方面，本申请实施例提供了一种图像处理设备，设备包括：存储器，用于存储程序；处理器，用于运行存储器中存储的程序，以执行第一方面或第一方面的任一可选的实施方式提供的图像处理方法。
第五方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或第一方面的任一可选的实施方式提供的图像处理方法。
本申请实施例可以在原始图像的基础上，通过下采样处理，得到n张分辨率不同的第一图像。然后再对包括原始图像和n张第一图像在内的第一待处理图像进行多次高斯滤波，得到模糊程度不同的多张第二图像。再由原始图像、n张放大后的第一图像和各张放大后的第二图像的第一区域拼接融合得到多分辨率的目标图像。由于多分辨率的目标图像相较于整体高分辨率的图像，整体数据量较小，因此本申请实施例可以降低图像数据的大小。
此外，由于卷积核参数可以对由原始图像、n张放大后的第一图像以及各张第二图像组成的第三待处理图像的模糊程度进行衡量，本申请实施例可以生成以基准像素点为中心，越远离基准像素点越模糊的目标图像。由于人眼对越靠近图像边缘区域的清晰程度越不敏感，保证了人眼主观感受。同时，相邻的两个放大后的第一图像的第一区域之间，插入有多个放大后的第二图像的第一区域，由于第二图像的模糊度不同，相邻的两个放大后的第一图像的第一区域之间，图像的模糊度可以形成过渡，可以消除两个第一图像的清晰度差异在实际显示过程中所带来的存在的边界线效应，保证了人眼主观感受。此外，可以根据卷积核参数确定第一区域的尺度，以根据各图像的模糊程度确定第一区域的尺度，保证了人眼主观感受。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人眼视网膜的感光细胞分布示意图；
图2是本申请实施例提供的一种人眼视觉模型的示意图；
图3是本申请实施例提供的一种示例性地人眼临界频率与像素点关系的曲线图；
图4是本申请实施例提供的一种图像处理方法的流程示意图；
图5是本申请实施例提供的一种示例性地下采样处理的逻辑示意图；
图6是本申请实施例提供的一种第二图像的示意图；
图7是本申请实施例提供的一种示例性地第一待处理图像的高斯核半径σi与i的变化曲线；
图8是本申请实施例提供的一种确定目标图像的逻辑示意图；
图9是本申请实施例提供的原始图像和目标图像的对比图；
图10是本申请实施例提供的一种示例性的目标图像的结构示意图；
图11是本申请实施例提供的一种图像处理设备的结构示意图；
图12是本申请实施例提供的一种微显示系统的系统构架图；
图13示出了本申请实施例提供的图像处理设备的硬件结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
本申请实施例提供了一种图像处理方法、装置、系统、设备及计算机存储介质，适用于
为了便于理解本申请实施例提供的技术方案，在介绍本申请实施例的具体实施内容之前，先对本申请实施例涉及的几个概念作具体解释。
1、人眼视觉特性。
人眼通过视网膜上的感光细胞获取外界的视觉信息，然而视网膜上感光细胞的分布呈现高度不均匀的状态。图1是本申请实施例提供的一种人眼视网膜的感光细胞分布示意图。图1示出了视网膜上5°到50°视角范围内感光细胞的分布情况，其中每个六边形单元代表相同数量的感光细胞。
如图1所示，距离视网膜中心凹越近，也就是说视角越小，感光细胞的分布密度最高，视觉敏感度越高，相应地分辨率越高。距离中心凹越远，也就是说视角越大，细胞的分布密度越低，视觉敏感度越低，分辨率越低。
相应地，基于上述人眼视觉特性，人眼在观察物体时，人眼视线中央的视觉敏感度最高，位于凝视区域的物体有较高的空间分辨率成像，人眼可以察觉到物体更多的细节信息。人眼视线边缘处的视觉敏感度最低，位于边缘区域的物体成像模糊，人眼仅能感知到物体的大致轮廓。
2、人眼视觉模型。
图2是本申请实施例提供的一种人眼视觉模型的示意图。其中，点B表示中心凹(Fovea)，中心凹处于视网膜(Retina)的最中间位置。假设给定图像的宽度为N像素，人眼到图像平面(图2中的矩形示出)的距离为Nv，v为视距。O点为人眼凝视点，O点位置表示为X0＝(x0,y0)，A点为图像上任一像素点，A点位置表示为X1＝(x1,y1)，A点所处人眼视角为e，A点到凝视点的距离为d(x)，A的单位可以是像素(pixels)。
其中，d(x)满足公式(1)：
其中，视角e又可以称为人眼视网膜偏心率，偏心率的单位可以为角度(degree)偏向率满足公式(2)：
3、人眼临界频率。
人眼临界频率表示在当前视觉区域中人眼所能感知到事物的最大细节程度，即高于人眼临界频率的高频视觉信息将不会被人眼所接收。
首先，为了说明人眼临界频率，先介绍对比敏感度函数。对比敏感度函数满足公式(3)：
其中，CS(f,e)表示对比敏感度，CT(f,e)表示对比度阈值，f为空间频率，空间频率的单位可以是周期/度(cycles/degree)。CT0表示最小对比度阈值，示例性地，CT0的取值可以为1/64。α表示空间频率衰减系数，α可以为常数，示例性地，α的取值可以为0.106。e2表示半分辨率偏心率常量，示例性地，e2的取值可以为2.3。
基于上述对比敏感度函数，当对比度阈值CT(f,e)取值为1时，可以得到第一人眼临界频率fc关于偏心率e的公式(4)：
fc(e)＝-e2lnCT0/(αe+αe2) (4)
根据公式(4)可知，在人眼视轴附近时，视网膜偏心率最小，人眼临界频率最大。随着视网膜偏心率的增加，人眼临界频率急剧衰减。
结合上述公式(1)-公式(4)，第一人眼临界频率fc可以表示为公式(5)：
在实际的显示系统中，人眼临界频率受显示器可以显示的最高频率fd影响。因此可以用最高频率fd对第一人眼临界频率fc进行修正，得到更具有实际意义的第二人眼临界频率fm。
其中，最高频率fd满足公式(6)：
第二人眼临界频率fm满足公式(7)：
fm(x)＝min(fc,fd) (7)
为了更加直观的理解人眼临界频率与偏心率之间的关系。图3是本申请实施例提供的一种示例性地人眼临界频率与像素点关系的曲线图。图3是假设参数为N＝1600、v＝1的情况下，人眼临界频率与图像像素点之间的关系。其中。纵坐标为归一化之后的人眼临界频率，横坐标表示像素点位置，像素点位置为0的位置为人眼凝视点所在位置。
距离人眼凝视点越远的像素点，其偏向率越大。因此，图3示出了人眼临界频率与偏心率之间的关系，即人眼凝视点的偏向率最大，其临界频率最大；越靠近图像边缘，偏心率越大，人眼临界频率越小。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种图像处理方法、装置、系统、设备及计算机存储介质。下面首先对本申请实施例所提供的图像处理方法进行介绍。
图4是本申请实施例提供的一种图像处理方法的流程示意图。如图4所示，图像处理方法400包括S410-S480。可选地，图像处理方法400各步骤的执行主体可以是与近眼显示装置独立设置的图像处理装置，又或者可以是近眼显示设备内部的图像处理模块，对此不作限定。本申请实施例的下述部分将对S410-S480展开具体说明。
S410，获取原始图像A0。
其中，原始图像可以指整体精度一致的高分辨率图像。
S420，对原始图像进行n个预设尺度的下采样处理，得到n张第一图像。
其中n为正整数，n的取值可以具体场景和实际需求设置，对此不作限制。
首先，对于下采样处理的具体说明如下。
下采样处理是在待处理图像的基础上，每间隔预设行、预设列采集像素点，形成新的图像的一种处理方法。
示例性地，图5是本申请实施例提供的一种示例性地下采样处理的逻辑示意图。如图5所示，每个圆均表示一个像素点，对于下采样前的图像，可以取其单数行、单数列的像素点(即图5中的实心圆)，形成下采样后的图像。
其次，由于n个预设尺度不同，原始图像和n张第一图像的尺度也均不相同，原始图像和n张第一图像的分辨率也不同。因此，通过S420，可以获得包括原始图像在内的n+1张不同分辨率的图像。
然后，对于S420的具体实施方式说明如下。
可选地，可以对前一张第一图像进行s倍下采样，得到当前第一图像。也就是说，可以在原始图像A0的基础上进行s倍下采样，得到第1张第一图像A1；然后在第1张第一图像A1的基础上再次进行s倍下采样，得到第2张第一图像A2；……；最后，在第n-1张第一图像An-1的基础上再次进行s倍下采样，得到第n张第一图像An。其中，s可以是任意大于1的整数。比如，当s＝2时，可以每间隔一行、一列选取一个像素点，比如可以选取前一张第一图像的单数行、单数列像素，得到当前第一图像。作一个具体的示例，当s＝2时，若原始图像A0的尺度为256×256，则第1张第一图像A1的尺度为128×128，第2张第一图像A2的尺度为64×64，第3张第一图像A3的尺度为16×16，……。
需要说明的是，由于每次下采样操作之后，相较于下采样前的图像，下采样后的图像的尺度均会减小，因此通过对原始图像进行n次下采样操作，可以得到n张尺度不同的第一图像。
此外，还可以对原始图像进行不同倍率的下采样来得到n张第一图像。例如第1次下采样的倍率是s，……，第n次下采样的倍率是sn。
在一些实施例中，将输入的图像进行下采样操作之后再放大到原图像大小时，图像会出现非常明显的块状效应。为了提高图像显示效果，可以在每次下采样操作之前先对待采样图像进行高斯滤波。
此时，S420可以具体包括步骤a1至步骤a3。
步骤a1，获取第l张第一图像。
其中，l＝0,1,…,n-1。当l＝0时，第l张第一图像为原始图像。
步骤a2，对第l张第一图像进行高斯滤波。
可选地，对每张第一图像进行高斯滤波时高斯卷积核可以相同。
步骤a3，对高斯滤波后的第l张第一图像，进行预设尺度的下采样处理，得到第l+1张第一图像。
可选地，对每张高斯滤波后的第一图像，可以进行相同倍率的下采样处理。示例性地，当采用2倍率的下采样滤波时，第l+1张第一图像中的像素Il+1(x,y)满足公式(8)：
其中，ω(i,j)表示2p×2p的高斯卷积模板，Il(2x-i,2y-j)表示第l张第一图像中的像素。在公式(8)示出的下采样操作过程中，使用下采样方式中较为典型的隔行隔列操作，保留高斯滤波后的第一图像中奇数行奇数列的像素值，去除其余像素值，隔行隔离列下采样逻辑过程可继续参见图5，在此不再赘述。原始图像和n张第一图像的分辨率呈现为1：1/4：1/16：1/64：…逐渐减小的数列。
针对本实施例中S420，也就是说，先对原始图像A0执行步骤a1-步骤a3得到第1张第一图像A1，然后再对第1张第一图像A1执行步骤a1-步骤a3得到第2张第二图像A2，……，最后，对第n-1张第一图像An-1执行步骤a1-步骤a3得到第n张第二图像An。
S430，将原始图像和n张第一图像作为第一待处理图像，并对每张第一待处理图像分别执行：对第一待处理图像进行多个预设卷积核参数的高斯滤波处理，得到多张第二图像。
也就是说，对任意一张第一图像Ai，进行m个不同卷积核的高斯滤波处理后，可以得到m张第二图像，Bi1，Bi2，……，Bim。其中，i为0至n之间的任意整数。m可以是任意正整数，m可以根据具体场景和实际需求设置，对此不作限定。可选地，预设卷积核参数可以具体实现为高斯核半径，高斯核半径决定着高斯核的大小，高斯核半径越大，图像的模糊度越高。
需要说明的是，第一图像以及其对应的m张第二图像，Bi1，Bi2，……，Bim可以作为第i组图像，例如表示为Octavei。原始图像以及其对应的多张第二图像可以作为第0组图像，例如表示为Octave0。其中，不同组的图像其分辨率和尺度均不同，同一组的图像分辨率相同、尺度相同、模糊度不同。
可选地，各第一待处理图像的高斯滤波次数可以相同，或者可以不同，例如利用根据具体场景和具体需求设置各第一待处理图像的高斯滤波次数，对此不作限定。
在一些实施例中，对于同一第一图像，若滤波次数为m，m次高斯滤波的高斯核参数可以是根据具体场景和实际需求预先设置的，例如第k次滤波的高斯核半径σk可以等于kσ0，k为不大于m的任意整数，也就是说，m次滤波的高斯核半径可以依次为σ0、2σ0、……、mσ0。
在一个实施例中，图6是本申请实施例提供的一种第二图像的示意图。如图6所示，在原始图像A0的基础上，进行n次下采样，可以得到多张第一图像A1-An。从图6可知，原始图像A0和第一图像A1-An的尺度不同，且随着下采样次数的增大，第一图像的尺度逐渐减小。然后，分别对原始图像A0进行两次高斯滤波，可以得到第二图像B01和B02，原始图像A0和第二图像B01和B02共同作为第0组图像Octave0。同理地，可以将第一图像A1和对应的第二图像B11和B12共同作为第1组图像Octave1，将第一图像A2和对应的第二图像B21和B22共同作为第2组图像Octave2，……，将第一图像An和对应的第二图像(图中未示出)共同作为第n组图像Octaven。
S440，将n张第一图像和各张第二图像作为第二待处理图像，并针对每张第二待处理图像分别执行：放大第二待处理图像，得到第三待处理图像。
其中，放大后的第二待处理图像的尺度与原始图像的尺度相同。
可选地，对于第二待处理图像，可以通过双线性插值法，放大得到与原始图像尺度相同的第二待处理图像。需要说明的是，对于原始图像对应的第二图像，可以无需进行放大，此时可以跳过步骤S440。
S450，将原始图像和各张放大后的第二待处理图像作为第三待处理图像，并针对各张第三待处理图像分别执行：确定第三待处理图像的卷积核参数。
其中，第三待处理图像的卷积核参数可以用来衡量第三待处理图的模糊程度。由于下采样处理或者先滤波后下采样处理会改变图像的模糊度，第三待处理图像的高斯核半径与S430中的预设核卷积参数并非完全相同。本申请实施例的下述部分对第三待处理图像的高斯核半径的具体计算方式展开具体说明。
在一些实施例中，卷积核参数可以为高斯核半径。
相应地，步骤S450的具体实施方式可以包括b1-步骤b3。
步骤b1，确定与第三待处理图像对应的第一待处理图像的第一高斯核半径。
在一个实施例中，步骤b1可以具体实现为步骤b11-步骤b13。
b11，放大与第三待处理图像对应的第一待处理图像，得到第三图像。
其中，第三图像的尺度与原始图像的尺度相同，也就是说，需要将第三图像放大至与原始图像尺寸相同。其中，具体放大方式可参见步骤S440的相关说明，在此不再赘述。
此外，对于与第三待处理图像对应的第一待处理图像，分为下述三种情况：第一种情况，若第三待处理图像是原始图像，则对应的第一待处理图像为原始图像，则无需对其进行放大，可以跳过步骤b1。第二种情况，若第三待处理图像是通过对某一原始图像进行高斯滤波处理得到的第二图像放大得到的，则其对应的第一待处理图像为原始图像，则无需对其进行放大，可以跳过步骤b11。第三种情况，若第三待处理图像是通过对某一第一图像进行高斯滤波处理得到的第二图像放大得到的，则其对应的第一待处理图像为该某一第一图像，此时需要通过步骤b11对该第一图像进行放大。第四种情况，若第三待处理图像是通过对某一第一图像放大得到的，则其对应的第一待处理图像为该某一第一图像，此时需要通过步骤b11对该第一图像进行放大。
步骤b12，确定与第三图像匹配的第四图像。
其中，第四图像为利用预设卷积核对原始图像高斯滤波得到的图像。
可选地，可以用逐像素最小均方差法确定与第三图像匹配的第四图像。其中，均方误差(Mean Square Error，MSE)是指两幅图像中所有像素值之差的平方的平均数，用于图像处理中对图像质量的客观评价。
也就是说，若利用核半径为σd的卷积核对原始图像高斯滤波得到的滤波图像与第三图像的均方误差最小，则可以将该滤波图像确定为与第三图像匹配的第四图像。
步骤b13，将预设卷积核的高斯核半径确定为第一高斯核半径。
也就是说，若第三图像与利用核半径为σd的卷积核对原始图像高斯滤波得到的第四图像的均方误差最小，则第一高斯核半径为σd。
在一个实施例中，申请人在参数N＝1600，v＝1的情况下，进行了大量试验，在获取的大量试验数据的基础上，申请人拟合得到第一待处理图像Ai的高斯核半径σi与i的变化曲线。图7是本申请实施例提供的一种示例性地第一待处理图像Ai的高斯核半径σi与i的变化曲线。
进一步地，如图7所示，第一高斯核半径σi与i之间满足公式(9)：
σi＝1.078e0.751×i (9)
需要说明的是，当参数N，v发生变化时，可以对公式9进行修正得到新的对应关系。
步骤b2，确定在利用对应的第一待处理图像对第二待处理图像进行高斯滤波时所采用的卷积核的第二高斯核半径。
也就是说，在S430中进行高斯滤波时所采用的第二高斯核半径。
步骤b3，计算第一高斯核半径和第二高斯核半径的和值，并将和值作确定为第二图像的高斯核半径。
S460，针对各张第三待处理图像分别执行：基于预设的卷积核参数与像素距离的对应关系，确定第三待处理图像的卷积核参数对应的目标像素距离。
首先，对于卷积核参数与像素距离的对应关系，若卷积核参数为高斯核半径，则该对应关系可以具体为高斯核半径与像素距离的对应关系。
其中，高斯核半径与像素距离的对应关系可以是根据高斯核半径与空间频率的对应关系推导得到的，高斯核半径与空间频率的对应关系满足公式(10)：
若期望图像中各位置的频率不大于人眼临界频率，则可以将第一人眼临界频率fc作为f，代入公式(10)，由于第一人眼临界频率fc满足公式(5)，则根据上述公式(5)和公式(10)，可以得到高斯核半径与像素距离的对应关系(11)：
然后，对于步骤S460，在已知任意第三待处理图像Di的高斯核半径σ之后，利用公式(11)即可计算得到该第三待处理图像的目标像素距离d(xi)。
S470，针对各张第三待处理图像分别执行：以基准像素点为中心，基于目标像素距离确定第三待处理图像的第一区域。
首先，对于基准像素点，基准像素点可以是图像的中心点，又或者可以是由眼球追踪装置捕获的人眼凝视点。其次，对于第三待处理图像的第一区域的形状，在一个示例中，原始图像的第一区域可以是实心圆，对于除原始图像之外的第一区域，其形状可以是空心圆。在另一个示例中，原始图像的第一区域可以是实心矩形区域，对于除原始图像之外的第一区域，其形状可以是空心矩形。此外，第一区域的还可以是其他形状，对第三待处理图像的第一区域的形状不作具体限制。
然后，对于第一区域的尺度，第一区域的尺度与目标像素距离相关。示例性地，若任意第一区域的外边框是矩形，则可以令矩形的角，也就是矩形上离基准像素点最远的点，到矩阵像素点的距离等于目标像素距离。可选地，任意第一区域的长宽度比与原始图像的长宽比相同。又一示例性地，若任意区域的外边框为圆形，则可以令该外边框的半径等于目标像素距离。
在一些实施例中，若将第三待处理图像按照卷积核参数从小到大的顺序进行排列，则对于任意两个相邻的第三待处理图像，前一个第三待处理图像的外边框可以与后一个第三待处理图像的内边框重合。
此时，S470的具体实施方式包括对于每张第三待处理图像执行步骤c1和步骤c2。
步骤c1，基于目标像素距离，确定第三待处理图像的第二区域。
其中，第二区域的尺度与目标像素距离相关。
可选地，第二区域可以为单连通区域。若第二区域的比例与原始图像相同，在得到目标像素距离d(xi)，若利用目标像素距离计算的第二区域的宽度为Li，宽度为Wi，则第二区域Ci可以表示为公式(12)：
其中，不同第三待处理图像的第二区域的大小不同，但其形状可以相同。第二区域的可以是一个与原始图像的长宽高等比例的矩形区域，又或者，可以是圆形区域，又或者可以是异型区域。第二区域的形状可以根据具体场景和实际需求设置，对此不作限定。
示例性地，若共包含r+1个第三待处理图像，即原始图像、第一图像和第二图像的总数加起来等于r+1，则一共获取r+1个第二区域。
为了便于理解第二区域，本申请实施例下述部分将结合图8对第二区域展开具体说明。图8是本申请实施例提供的一种确定目标图像的逻辑示意图。如图8所示，对于第一个第三待处理区域，其第二区域即为黑色区域C0。对于第二个第三待处理区域，其第二区域为由斜线阴影区域C1和内部白色区域组成的一个矩形区域。
步骤c2，将第二区域与第三待处理图像的前一第三待处理图像的第二区域的非重叠区域，确定为第三待处理图像的第一区域。
可选地，若各第二待处理图像的第二区域均为矩形区域，则除了原始图像的第一区域为实心矩形区域之外，其他第二待处理图像的第一区域均为空心矩形框。
示例性地，继续参见图8，r个第三待处理图像的第一区域分别表示为C0、C1、C2、……、Cr。对于第二个第三待处理图像，其第二区域为由斜线阴影区域C1和内部白色区域组成的一个矩形区域。其前一第三待处理图像的第一区域即为内部白色区域，则第二个第三待处理区域的第一区域即为斜线阴影区域C1。
S480，对各个第一区域进行拼接融合，得到目标图像。
其中，在目标图像中，距离基准像素点越近的第一区域，卷积核参数越小。
由于第三待处理图像中，按照卷积核从小到大的顺序，依次为：原始图像、原始图像的多个第二图像(多个第二图像间按照滤波时的高斯核从小到大排列)、第1张放大后的第一图像、第1张第一图像的多个放大后的第二图像、第2张放大后的第一图像、第2张第一图像的多个放大后的第二图像、……、第n张放大后的第一图像、第n张第一图像的多个放大后的第二图像。因此，第一区域按照距离基准像素点从近到远依次是：原始图像的第一区域C1、原始图像的多个第二图像的第一区域、第1张放大后的第一图像的第一区域、第1张第一图像的多个放大后的第二图像的第一区域、……、第n张第一图像的多个放大后的第二图像的第一区域。
示例性地，继续参见图8，通过对多个第一图像拼接融合，即得到本申请实施例的目标图像，其中，目标图像最中间的黑色区域为原始图像的第一区域。按照模糊程度从高到底，分别为第一区域C1、第一区域C2、……、第一区域Cr。
为了更加清晰的理解本申请，图9是本申请实施例提供的原始图像和目标图像的对比图。如图9所示，若图像的中心为人眼凝视点，则通过本申请实施例的方法400，可以得到一个中间清晰、越靠近图像边缘越模糊的目标图像。
本申请实施例可以在原始图像的基础上，通过下采样处理，得到n张分辨率不同的第一图像。然后再对包括原始图像和n张第一图像在内的第一待处理图像进行多次高斯滤波，得到模糊程度不同的多张第二图像。再由原始图像、n张放大后的第一图像和各张放大后的第二图像的第一区域拼接融合得到多分辨率的目标图像。由于多分辨率的目标图像相较于整体高分辨率的图像，整体数据量较小，因此本申请实施例可以降低图像数据的大小。
此外，由于卷积核参数可以对由原始图像、n张放大后的第一图像以及各张第二图像组成的第三待处理图像的模糊程度进行衡量，本申请实施例可以生成以基准像素点为中心，越远离基准像素点越模糊的目标图像。由于人眼对越靠近图像边缘区域的清晰程度越不敏感，保证了人眼主观感受。同时，相邻的两个放大后的第一图像的第一区域之间，插入有多个放大后的第二图像的第一区域，由于第二图像的模糊度不同，相邻的两个放大后的第一图像的第一区域之间，图像的模糊度可以形成过渡，可以消除两个第一图像的清晰度差异在实际显示过程中所带来的存在的边界线效应，保证了人眼主观感受。此外，可以根据卷积核参数确定第一区域的尺度，以根据各图像的模糊程度确定第一区域的尺度，保证了人眼主观感受。
此外，在一些实施例中，由于可以基于预设的高斯核半径与像素距离的对应关系确定各第三待处理图像的待拼接区域，即各第三待处理图像的第一区域。且高斯核半径与像素距离的对应关系是根据高斯核半径与空间频率的对应关系推导得到的，因此图像上各位置的频率等于该位置的人眼临界频率。相应地，图片不包含人眼不能识别的高频信息，进一步减少了图像数据的大小。
图10是本申请实施例提供的一种示例性的目标图像的结构示意图。如图10所示，由于图像的长度与像素距离存在比例，可以通过长度方向上的像素来对整个目标图像作具体说明。如图10所示，图10中的像素点位置0处表示为人眼凝视点。如图10所示，各第三待处理图像的第一区域均以人眼凝视点中心。其中，以位置点0对称分布的两个数据条均表示同一第一区域的左右两个部分。各第一区域的频率基本与所在位置对应的第一人眼临界频率保持一致，整个图像的频率分布特征符合人眼临界频率的分布特性。也就是说，目标图像符合人眼临界频率平缓变化的特性
此外，为了验证本申请实施例提供的图像处理方法的有效性，与空间变化高斯滤波以及纹理金字塔方法相比，本文所提出的算法可以获得相似的人眼凝视效果。
具体地，可以采用中心凹峰值信噪比(Foveal Peak Signal-to-Noise Ratio，FPSNR)作为视觉质量评价指标，对空间变化高斯滤波、纹理金字塔和本文算法的效果进行评价。FPSNR的计算公式可以表示为公式(13)：
式中，o(x)为原始图像，c(x)为目标图像，fcn为图像所处人眼视觉区域的临界频率。
FPSNR使用临界频率对像素误差进行加权，充分考虑到人眼视网膜非均匀采样特性，能够更好的反映出中心凹图像处理的效果。三种算法对图像进行滤波所得到的FPSNR值如表1所示。
表1三种滤波方法的FPSNR对比(灰度等级＝256，数据位宽＝24bit)
其中，Lena、Peppers、Airplane为三种图像处理标准测试图。
从表1示出的FPSNR值可以看到，三种算法的实验效果相似，仅因高斯核半径不同以及多尺度滤波区域的选取，导致在部分区域有略微差别。空间变化高斯滤波方法的复杂度为O(NlogN)，本申请复杂度为O(N)。其中，N为原始图像的像素个数。本申请在获得相似滤波效果的同时，可以大幅降低计算量。
基于相同的申请构思，本申请实施例除了提供了图像处理方法之外，还提供了与之对应的图像处理装置。
图11是本申请实施例提供的一种图像处理设备的结构示意图。如图11所示，图像处理设备1100包括：图像获取模块1110、第一处理模块1120、第二处理模块1130、第三处理模块1140、第四处理模块1150和图像合成模块1160。
图像获取模块1110，用于获取原始图像。
第一处理模块1120，用于对原始图像进行n个预设尺度的下采样处理，得到n张第一图像。
第二处理模块1130，用于将原始图像和n张第一图像作为第一待处理图像，并对每张第一待处理图像分别执行：对第一待处理图像进行多个预设卷积核参数的高斯滤波处理，得到多张第二图像。
第三处理模块1140，用于将n张第一图像和各张第二图像作为第二待处理图像，并针对每张第二待处理图像分别执行：放大第二待处理图像，其中，放大后的第二待处理图像的尺度与原始图像的尺度相同。
第四处理模块1150，用于将原始图像和各张放大后的第二待处理图像作为第三待处理图像，并针对各张第三待处理图像分别执行：确定第三待处理图像的卷积核参数；基于预设的卷积核参数与像素距离的对应关系，确定第三待处理图像的卷积核参数对应的目标像素距离；以基准像素点为中心，基于目标像素距离确定第三待处理图像的第一区域，其中第一区域的尺度与目标像素距离相关。
图像合成模块1160，用于对n张第一图像的多张第二图像的第一区域进行拼接融合，得到目标图像，其中在目标图像中，相对位置越靠近基准像素点的第一区域，其分辨率越小。
在一些实施例中，卷积核参数为高斯核半径。
第四处理模块1150，包括：
第一处理单元，用于基于目标像素距离，确定第三待处理图像的第二区域，其中第二区域的尺度与目标像素距离相关；
第二处理单元，用于将第二区域与第三待处理图像的前一第三待处理图像的第二区域的非重叠区域，确定为第三待处理图像的第一区域。
在一些实施例中，卷积核参数为高斯核半径，
第四处理模块1150，包括：
第一计算单元，用于确定与第三待处理图像对应的第一待处理图像的第一高斯核半径；
第二计算单元，用于确定在利用对应的第一待处理图像对第三待处理图像对应的第二待处理图像进行高斯滤波时所采用的卷积核的第二高斯核半径；
第三计算单元，用于计算第一高斯核半径和第二高斯核半径的和值，并将和值作确定为第三待处理图像的卷积核参数。
在一些实施例中，第一计算单元，具体包括：
图像放大子单元，用于放大与第三待处理图像对应的第一待处理图像，得到第三图像，第三图像的尺度与原始图像的尺度相同；
图像确定子单元，用于确定与第三图像匹配的第四图像，第四图像为利用预设卷积核对原始图像高斯滤波得到的图像；
计算子单元，用于将预设卷积核的高斯核半径确定为第一高斯核半径。
在一些实施例中，第一处理模块1120，包括：
图像获取单元，用于获取第l张第一图像，其中，l＝0,1,…,n-1，当l＝0时，第l张第一图像为原始图像；
高斯滤波单元，用于对第l张第一图像进行高斯滤波；
下采样单元，用于对高斯滤波后的第l张第一图像，进行预设尺度的下采样处理，得到第l+1张第一图像。
根据本发明实施例的图像处理装置，可以在原始图像的基础上，通过下采样处理，得到n张分辨率不同的第一图像。然后再对包括原始图像和n张第一图像在内的第一待处理图像进行多次高斯滤波，得到模糊程度不同的多张第二图像。再由原始图像、n张放大后的第一图像和各张放大后的第二图像的第一区域拼接融合得到多分辨率的目标图像。由于多分辨率的目标图像相较于整体高分辨率的图像，整体数据量较小，因此本申请实施例可以降低图像数据的大小。
此外，由于卷积核参数可以对由原始图像、n张放大后的第一图像以及各张第二图像组成的第三待处理图像的模糊程度进行衡量，本申请实施例可以生成以基准像素点为中心，越远离基准像素点越模糊的目标图像。由于人眼对越靠近图像边缘区域的清晰程度越不敏感，保证了人眼主观感受。同时，相邻的两个放大后的第一图像的第一区域之间，插入有多个放大后的第二图像的第一区域，由于第二图像的模糊度不同，相邻的两个放大后的第一图像的第一区域之间，图像的模糊度可以形成过渡，可以消除两个第一图像的清晰度差异在实际显示过程中所带来的存在的边界线效应，保证了人眼主观感受。此外，可以根据卷积核参数确定第一区域的尺度，以根据各图像的模糊程度确定第一区域的尺度，保证了人眼主观感受。
根据本发明实施例的图像处理装置的其他细节，与以上结合图1至图10所示实例描述的图像处理方法类似，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
基于相同的申请构思，本申请实施例除了提供了图像处理方法、图像处理装置之外，还提供了与之对应的微显示系统。
图12是本申请实施例提供的一种微显示系统的系统构架图。如图12所示，微显示系统1200包括：
微显示控制器1210，用于执行本发明实施例结合图1至图10示出的图像处理方法，生成目标图像的控制信号，并将控制信号输出至微显示器。
微显示器1220，用于基于控制信号，显示目标图像。
在一些实施例中，微显示控制器1210与微显示器1220之间可以通过有线通信或者无线通信进行信息传输。
在一些实施例中，微显示器可以是硅基显示器。示例性地，可以是数字微镜器件(Digital Mirror Device，DMD)显示器、硅基液晶(Liquid Crystal on Silicon，LCOS)显示器、发光二极管(Light Emitting Diode，LED)显示器和有机发光二极管(Organic LightEmitting Diode，OLED)显示器中的至少一种。
根据本发明实施例的微显示系统的其他细节，与以上结合图1至图10所示实例描述的图像处理方法类似，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
图13示出了本申请实施例提供的图像处理设备的硬件结构示意图。
在图像处理设备可以包括处理器1301以及存储有计算机程序指令的存储器302。
具体地，上述处理器1301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器1302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器1302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1302可在图像处理设备的内部或外部。在特定实施例中，存储器1302是非易失性固态存储器。
存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器1301通过读取并执行存储器1302中存储的计算机程序指令，以实现上述实施例中的任意一种图像处理方法。
在一个示例中，图像处理设备还可包括通信接口1303和总线1310。其中，如图13所示，处理器1301、存储器1302、通信接口1303通过总线1310连接并完成相互间的通信。
通信接口1303，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线1310包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该图像处理设备可以基于处理器以及存储有计算机程序指令的存储器执行本申请实施例中的图像处理方法，从而实现结合图1和图11描述的图像处理方法和装置。
另外，结合上述实施例中的图像处理方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像处理方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置、设备及和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (8)
1.一种图像处理方法，其特征在于，所述方法包括：
获取原始图像；
对所述原始图像进行n个预设尺度的下采样处理，得到n张第一图像；
将所述原始图像和所述n张第一图像作为第一待处理图像，并对每张所述第一待处理图像分别执行：对第一待处理图像进行多个预设卷积核参数的高斯滤波处理，得到多张第二图像；
将所述n张第一图像和各张第二图像作为第二待处理图像，并针对每张所述第二待处理图像分别执行：放大第二待处理图像，其中，放大后的第二待处理图像的尺度与所述原始图像的尺度相同；
将所述原始图像和各张放大后的第二待处理图像作为第三待处理图像，并针对各张第三待处理图像分别执行：
确定第三待处理图像的卷积核参数；
基于预设的卷积核参数与像素距离的对应关系，确定所述第三待处理图像的卷积核参数对应的目标像素距离；
以基准像素点为中心，基于所述目标像素距离确定所述第三待处理图像的第一区域，其中所述第一区域的尺度与所述目标像素距离相关；
对各个所述第一区域进行拼接融合，得到目标图像，其中，在所述目标图像中，距离所述基准像素点越近的第一区域，卷积核参数越小；
其中，所述卷积核参数为高斯核半径，
所述确定所述第三待处理图像的卷积核参数，包括：
确定与所述第三待处理图像对应的第一待处理图像的第一高斯核半径；
确定在利用所述对应的第一待处理图像对所述第三待处理图像对应的第二待处理图像进行高斯滤波时所采用的卷积核的第二高斯核半径；
计算第一高斯核半径和所述第二高斯核半径的和值，并将所述和值作确定为所述第三待处理图像的卷积核参数；
其中，所述确定与所述第三待处理图像对应的第一待处理图像的第一高斯核半径，具体包括：
放大与所述第三待处理图像对应的第一待处理图像，得到第三图像，所述第三图像的尺度与所述原始图像的尺度相同；
确定与所述第三图像匹配的第四图像，所述第四图像为利用预设卷积核对所述原始图像高斯滤波得到的图像；
将所述预设卷积核的高斯核半径确定为所述第一高斯核半径。
2.根据权利要求1所述的图像处理方法，其特征在于，
所述卷积核参数为高斯核半径，
所述基于所述像素距离阈值确定所述第三待处理图像的第一区域，包括：
基于所述目标像素距离，确定所述第三待处理图像的第二区域，其中所述第二区域的尺度与所述目标像素距离相关；
将所述第二区域与所述第三待处理图像的前一第三待处理图像的第二区域的非重叠区域，确定为所述第三待处理图像的第一区域。
3.根据权利要求1所述的图像处理方法，其特征在于，
所述对所述原始图像进行n个预设尺度的下采样处理，得到n张第一图像，包括：
获取第l张第一图像，其中，l＝0,1,…,n-1，当l＝0时，第l张第一图像为所述原始图像；
对所述第l张第一图像进行高斯滤波；
对高斯滤波后的所述第l张第一图像，进行预设尺度的下采样处理，得到第l+1张第一图像。
4.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取原始图像；
第一处理模块，用于对所述原始图像进行n个预设尺度的下采样处理，得到n张第一图像；
第二处理模块，用于将所述原始图像和所述n张第一图像作为第一待处理图像，并对每张所述第一待处理图像分别执行：对第一待处理图像进行多个预设卷积核参数的高斯滤波处理，得到多张第二图像；
第三处理模块，用于将所述n张第一图像和各张第二图像作为第二待处理图像，并针对每张所述第二待处理图像分别执行：放大所述第二待处理图像，其中，放大后的第二待处理图像的尺度与所述原始图像的尺度相同；
第四处理模块，用于将所述原始图像和各张放大后的第二待处理图像作为第三待处理图像，并针对各张第三待处理图像分别执行：确定所述第三待处理图像的卷积核参数；基于预设的卷积核参数与像素距离的对应关系，确定所述第三待处理图像的卷积核参数对应的目标像素距离；以基准像素点为中心，基于所述目标像素距离确定所述第三待处理图像的第一区域，其中所述第一区域的尺度与目标像素距离相关；
图像合成模块，用于对各个所述第一区域进行拼接融合，得到目标图像，其中，在所述目标图像中，距离所述基准像素点越近的第一区域，卷积核参数越小；
其中，所述卷积核参数为高斯核半径，
所述第四处理模块，包括：
第一计算单元，用于确定与所述第三待处理图像对应的第一待处理图像的第一高斯核半径；
第二计算单元，用于确定在利用所述对应的第一待处理图像对所述第三待处理图像对应的第二待处理图像进行高斯滤波时所采用的卷积核的第二高斯核半径；
第三计算单元，计算第一高斯核半径和所述第二高斯核半径的和值，并将所述和值作确定为所述第三待处理图像的卷积核参数；
其中，所述第一计算单元，具体包括：
图像放大子单元，用于放大与所述第三待处理图像对应的第一待处理图像，得到第三图像，所述第三图像的尺度与所述原始图像的尺度相同；
图像确定子单元，用于确定与所述第三图像匹配的第四图像，所述第四图像为利用预设卷积核对所述原始图像高斯滤波得到的图像；
计算子单元，用于将所述预设卷积核的高斯核半径确定为所述第一高斯核半径。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述卷积核参数为高斯核半径，
所述第四处理模块，包括：
第一处理单元，用于基于所述目标像素距离，确定所述第三待处理图像的第二区域，其中所述第二区域的尺度与所述目标像素距离相关；
第二处理单元，用于将所述第二区域与所述第三待处理图像的前一第三待处理图像的第二区域的非重叠区域，确定为所述第三待处理图像的第一区域。
6.一种微显示系统，所述微显示系统包括：
微显示控制器，用于执行如权利要求1-3任一项所述的图像处理方法，生成目标图像的控制信号，并将所述控制信号输出至微显示器；
所述微显示器，用于基于所述控制信号，显示所述目标图像。
7.一种图像处理设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-3任一项所述的图像处理方法。
8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-3任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820296.7A CN112070657B (zh) | 2020-08-14 | 2020-08-14 | 图像处理方法、装置、系统、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820296.7A CN112070657B (zh) | 2020-08-14 | 2020-08-14 | 图像处理方法、装置、系统、设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070657A CN112070657A (zh) | 2020-12-11 |
| CN112070657B true CN112070657B (zh) | 2024-02-27 |
Family
ID=73661727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010820296.7A Active CN112070657B (zh) | 2020-08-14 | 2020-08-14 | 图像处理方法、装置、系统、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070657B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801082B (zh) * | 2021-01-22 | 2024-01-12 | 北京百度网讯科技有限公司 | 图像的采样方法、装置及电子设备 |
| CN112764706A (zh) * | 2021-01-27 | 2021-05-07 | 苏州唐古光电科技有限公司 | 图像处理方法、装置、系统、设备及介质 |
| CN113256542B (zh) * | 2021-06-22 | 2021-10-01 | 明峰医疗系统股份有限公司 | 一种用于ct扫描仪的噪声抑制方法、系统及介质 |
| CN113542739B (zh) * | 2021-07-15 | 2023-10-20 | Oppo广东移动通信有限公司 | 图像编码方法及装置、图像解码方法及装置、介质、设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886876A (zh) * | 2019-02-25 | 2019-06-14 | 昀光微电子（上海）有限公司 | 一种基于人眼视觉特征的近眼显示方法 |
| CN109933268A (zh) * | 2019-02-25 | 2019-06-25 | 昀光微电子（上海）有限公司 | 一种基于人眼视觉特征的近眼显示装置 |
| US10701394B1 (en) * | 2016-11-10 | 2020-06-30 | Twitter, Inc. | Real-time video super-resolution with spatio-temporal networks and motion compensation |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE202016009102U1 (de) * | 2015-02-19 | 2022-04-22 | Magic Pony Technology Limited | Verbesserung visueller Daten mittels gestufter Faltungen |
-
2020
- 2020-08-14 CN CN202010820296.7A patent/CN112070657B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10701394B1 (en) * | 2016-11-10 | 2020-06-30 | Twitter, Inc. | Real-time video super-resolution with spatio-temporal networks and motion compensation |
| CN109886876A (zh) * | 2019-02-25 | 2019-06-14 | 昀光微电子（上海）有限公司 | 一种基于人眼视觉特征的近眼显示方法 |
| CN109933268A (zh) * | 2019-02-25 | 2019-06-25 | 昀光微电子（上海）有限公司 | 一种基于人眼视觉特征的近眼显示装置 |
Non-Patent Citations (1)
| Title |
|---|
| 季渊等.基于多尺度金字塔的硅基OLED微显示控制器.《光学学报》.2019,第39卷(第12期),正文第1-5节，第1223001-1到1223001-8页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070657A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070657B (zh) | 图像处理方法、装置、系统、设备及计算机存储介质 | |
| US10762606B2 (en) | Image processing apparatus and method for generating high quality image | |
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| Pan et al. | Deep blind video super-resolution | |
| CN106408524B (zh) | 基于二维图像辅助的深度图像增强方法 | |
| Yan et al. | Multi-scale dense networks for deep high dynamic range imaging | |
| Jeon et al. | Accurate depth map estimation from a lenslet light field camera | |
| US11188777B2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
| EP3480784B1 (en) | Image processing method, and device | |
| CN107509031B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| EP3614336A1 (en) | Image processing method, image processing apparatus, imaging apparatus, lens apparatus, program, and image processing system | |
| US10628924B2 (en) | Method and device for deblurring out-of-focus blurred images | |
| CN103426147A (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
| Tang et al. | What does an aberrated photo tell us about the lens and the scene? | |
| An et al. | Single-shot high dynamic range imaging via deep convolutional neural network | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| CN111105370B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| CN110689486A (zh) | 图像的处理方法、装置、设备及计算机可存储介质 | |
| JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
| CN111369435A (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
| CN108230251A (zh) | 组合式图像恢复方法及装置 | |
| Cui et al. | Optical aberration correction for simple lenses via sparse representation | |
| Wang et al. | A bilateral filtering based ringing elimination approach for motion-blurred restoration image | |
| Ye et al. | LFIENet: Light field image enhancement network by fusing exposures of LF-DSLR image pairs | |
| CN110895790B (zh) | 基于后验降质信息估计的场景图像超分辨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |