CN111507902A - 一种高分辨率图像获取方法及装置 - Google Patents
一种高分辨率图像获取方法及装置 Download PDFInfo
- Publication number
- CN111507902A CN111507902A CN202010296501.4A CN202010296501A CN111507902A CN 111507902 A CN111507902 A CN 111507902A CN 202010296501 A CN202010296501 A CN 202010296501A CN 111507902 A CN111507902 A CN 111507902A
- Authority
- CN
- China
- Prior art keywords
- resolution image
- feature extraction
- low
- feature
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000000605 extraction Methods 0.000 claims abstract description 174
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000009499 grossing Methods 0.000 claims abstract description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种高分辨率图像获取方法及装置，其中包括：获取低分辨率图像；通过预设的特征抽取网络对所述低分辨率图像进行像素相关性提取，得到特征关系图；确定对所述特征关系图进行像素扩充的倍数；按照所述像素扩充的倍数，通过预设的上采样网络对所述特征关系图进行像素扩充得到扩充后图像；根据多个所述扩充后图像得到高分辨率图像。本申请通过结合特征抽取网络以及上采样网络的整体模型框架对低分辨率的图像进行特征提取以及平滑处理，使得得到的高分辨率图像具有更加准确地预测的效果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种高分辨率图像获取方法及装置。
背景技术
细粒度交通流量推测指的是由粗粒度的交通流量图，推测出细粒度/高分辨的城市人/车流量分布图，是补全完善城市交通数据的重要一环，其对于监控城市交通流量有着重大的意义。然而，由于传感器设备数量和精度的限制，实时获得高精度的城市人/车分布是非常困难和昂贵的(问题的必要性，落地场景)。例如，目前有500m2地块的人群流量信息，利用细粒度人群分布生成模型可以生成250m2和125m2的人群分布，能够更方便准确地辅助交管部门和政府部门决策。
目前的细粒度交通流量推测模型(SRCNN，ESPCN，VDSR，SRResNet,DeepSD)主要是基于固定的网络结构，需要人工调节网络结构。
现有的基于固定结构的细粒度流量推测模型UrbanFM以及DeepDPM，主要存在以下几个方面的局限性：
1.UrbanFM采用更深的网络结构(32层卷积组成残差网，残差网使用3×3卷积核)进行特征提取，且采用固定结构进行上采样，需要专家调节网络结构，一般技术人员无法对网络结构进行调节。
2.UrbanFM混合使用SRCNN(kernel 9×9,kernel 3×3,kernel 5×5)和SRResNet，但是对于不同的任务，固定的网络结构不一定最优。
3.UrbanFM存在着严重的结构冗余，对于external等因素使用上采样网络(参数众多)，造成结构冗余。
4.DeepDPM使用的SRCNN只有三层，相比更深的网络结构，SRCNN特征抽取的能力弱。针对相关技术中存在的诸多技术问题，目前尚未提供有效的解决方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种高分辨率图像获取方法及装置。
第一方面，本申请提供了一种高分辨率图像获取方法，包括：
获取低分辨率图像；
通过预设的特征抽取网络对所述低分辨率图像进行像素相关性提取，得到特征关系图；
确定对所述特征关系图进行像素扩充的倍数；
按照所述像素扩充的倍数，通过预设的上采样网络对所述特征关系图进行像素扩充得到扩充后图像；
根据多个所述扩充后图像得到高分辨率图像。
可选的，如前述的方法，所述特征抽取网络包括：用于确定所述特征抽取网络中各特征抽取层之间关联关系的连接块；
所述通过预设的特征抽取网络对所述低分辨率图像进行像素相关性提取，得到特征关系图，包括：
通过所述连接块中的关联权重确定各个所述特征抽取层之间的关联关系；
按照所述关联关系，通过所述特征抽取层对所述低分辨率图像进行像素相关性提取，得到对应的特征关系图。
可选的，如前述的方法，按照所述关联关系，通过所述特征抽取层对所述低分辨率图像进行像素相关性提取，包括：
按照所述关联关系确定由不同的特征抽取层按序排列得到的至少一个特征抽取层组合；其中，前一特征抽取层的输出为后一特征抽取层的输入；
将所述低分辨率图像输入所述特征抽取层组合进行所述像素相关性提取。
可选的，如前述的方法，所述将所述低分辨率图像输入所述特征抽取层组合进行像素相关性提取，包括：
确定所述特征抽取层组合包括的特征抽取层以及排列次序；
确定同一所述特征抽取层中的各个残差块的权重；
将所述低分辨率图像输入第一特征抽取层中各所述残差块进行处理，得到输出结果；所述第一特征抽取层为所述特征抽取层组合的第一个特征抽取层；
按照所述第一特征抽取层中各所述残差块的权重对所述输出结果进行加权得到初级特征关系图；
将所述初级特征关系图输入至所述特征抽取层组合的下一所述特征抽取层中进行处理，按此递归直至最后一层的所述特征抽取层。
可选的，如前述的方法，所述确定同一所述特征抽取层中的各个残差块的权重，包括：
确定同一个所述特征抽取层中的所有所述连接块；
通过梯度优化法确定各个所述残差块的权重参数，所述权重参数用于表征同一个所述特征抽取层中的各个所述连接块所占的权重。
可选的，如前述的方法，所述按照所述像素扩充的倍数，通过预设的上采样网络对所述特征关系图进行像素扩充得到扩充后图像，包括：
根据所述像素扩充的倍数N，将所述特征关系图扩充为N个通道的多通道图像；其中，N为大于等于2的正整数；
根据所述倍数N确定所述上采样网络中上采样层的个数，每个所述上采样层包括多个用于进行平滑处理的子像素块；
依次通过各个所述上采样层，对所述多通道图像进行逐级扩充放大，得到单通道的扩充后图像。
可选的，如前述的方法，所述获取低分辨率图像，包括：
获取初始低分辨率图像；
获取所述初始低分辨率图像的低分辨率图像特征；
获取至少一种类型的影响因子；
确定各个所述影响因子对应的因子特征；
通过全连接层对所有所述低分辨率图像特征与所述因子特征进行整合，得到所述低分辨率图像。
第二方面，本申请提供了一种高分辨率图像获取装置，包括：
获取模块，用于获取低分辨率图像；
提取模块，用于通过预设的特征抽取网络对所述低分辨率图像进行相关性提取，得到特征关系图；
倍数确定模块，用于确定对所述特征关系图进行像素扩充的倍数；
扩充模块，用于按照所述像素扩充的倍数，通过预设的上采样网络对所述特征关系图进行像素扩充得到扩充后图像；
处理模块，用于根据多个所述扩充后图像得到高分辨率图像。
第三方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现如前述任一项所述的方法。
第四方面，本申请提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如前述任一项所述的方法。
本申请实施例提供一种高分辨率图像获取方法及装置，其中包括：获取低分辨率图像；通过预设的特征抽取网络对所述低分辨率图像进行像素相关性提取，得到特征关系图；确定对所述特征关系图进行像素扩充的倍数；按照所述像素扩充的倍数，通过预设的上采样网络对所述特征关系图进行像素扩充得到扩充后图像；根据多个所述扩充后图像得到高分辨率图像。本申请通过结合特征抽取网络以及上采样网络的整体模型框架对低分辨率的图像进行特征提取以及平滑处理，使得得到的高分辨率图像具有更加准确地预测的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种高分辨率图像获取方法的流程示意图；
图2为本申请另一实施例提供的一种高分辨率图像获取方法的流程示意图；
图3为本申请另一实施例提供的一种高分辨率图像获取方法的流程示意图；
图4为本申请另一实施例提供的一种高分辨率图像获取方法的流程示意图；
图5为本申请另一实施例提供的一种高分辨率图像获取方法的流程示意图；
图6为本申请实施例提供的一种高分辨率图像获取装置的框图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种高分辨率图像获取方法，包括如下所述步骤S1至S5：
步骤S1.获取低分辨率图像。
具体的，本实施例中的低分辨率图像与高分辨率图像是两个相对的概念，主要用于表征：通过本实施例中的相应方法步骤，可以对低分辨率进行分辨率提升，进而得到高分辨率。举例来说：低分辨率图像可以是大小为32×32的图像；而高分辨率图像则为128×128的图像。可选的，低分辨率图像是交通流量图时，交通流量图为低分辨率的图像的原因可以是：传感器设备数量和精度的限制，导致无法实时获得高精度的城市人/车分布。因此采用本实施例中的方案对低分辨率图像进行处理得到高分辨率图像，以降低传感器设备的布置数量，补偿因传感器设备的精度导致无法获得城市中各路段精准的人/车分布的缺陷。
步骤S2.通过预设的特征抽取网络对低分辨率图像进行像素相关性提取，得到特征关系图。
具体的，通过特征抽取网络可以对低分辨率图像中的各个像素进行相关性提取，具体的像素相关性提取用于获取各个像素之间的关联关系，且一般的，可以通过特征抽取网络确定某一像素与其邻居像素(可以是直接相邻的，也可以是间隔一个像素或多个像素)；进而得到的特征关系图中可以体现不同像素间的相关性。
步骤S3.确定对特征关系图进行像素扩充的倍数。
也就是说，确定目标得到的高分辨率图像的像素与低分辨率图像的像素之间的倍数关系；举例来说：当低分辨率图像是单通道的32×32的某地人流量数据集图像时，目的是将其扩充成单通道的128×128的高分辨率图像；则该倍数为(128×128)/(32×32)＝16。
步骤S4.按照像素扩充的倍数，通过预设的上采样网络对特征关系图进行像素扩充得到扩充后图像。
具体的，上采样可以理解为任何可以将图像变成更高分辨率的技术；最简单的方式就是重采样和插值法：将输入的特征关系图进行像素重置到一个想要的尺寸；进而计算每个点的像素点，可选的，可以使用双线性插值bilinear等插值方法对重置后图像中非原始像素点进行插值；最终得到像素扩充得到扩充后图像。
步骤S5.根据多个扩充后图像得到高分辨率图像。
具体的，由于步骤S4中是通过一个特征关系图进行像素扩充得到扩充后图像，而通过步骤S2会得到多个特征关系图，因此，需要对每个所述特征关系图对应的扩充后图像进行统一处理，对所有特征关系进行综合，得到高分辨率图像。
如图2所示，在一些实施例中，如前述的方法，特征抽取网络包括：用于确定特征抽取网络中各特征抽取层之间关联关系的连接块；
步骤S2通过预设的特征抽取网络对低分辨率图像进行像素相关性提取，得到特征关系图，包括如下所述步骤S21和S22：
步骤S21.通过连接块中的关联权重确定各个特征抽取层之间的关联关系。
具体的，现有技术中，连接块是用于将多层特征抽取层之间线性连接，但是这样会导致直接堆积多层卷积块容易造成过拟合，随着堆积的层数越多，特征抽取能力可能会下降。当连接块I为判断特征抽取层A与特征抽取层B之间的关联关系时，则关联权重可以包括(关联系数，不关联系数)，一般的，关联系数+不关联系数＝1，当连接块I在特征抽取层B中，且关联系数大于不关联系数时，则不将特征抽取层A的输出作为特征抽取层B的输入。
本实施例中，连接块中主要的搜索单元是残差连接(skip connection)，残差连接用于搜索本层与上层是否相连；连接块对特征抽取有着重要的意义,通过残差连接可以用于设定对不同特征抽取层中抽取得到的特征是否进行融合，可以使得更深的网络结构能达到更好的结果。
可选的，一个特征抽取层中的连接块可以包括多个，每个连接块用于确定与另一个特征抽取层的关联关系，可选的，可以按照该特征抽取层所在的层次给其分配对应个数的连接块，已确定其与前序的特征抽取层之间的连接关系。
步骤S22.按照关联关系，通过特征抽取层对低分辨率图像进行像素相关性提取，得到对应的特征关系图。
具体的，通过该关联关系，每一个特征抽取去都可以对低分辨率图像进行一次像素相关性提取，举例的，通过特征抽取层I，对低分辨率图像进行像素相关性提取后，可以得到与其中的像素X相邻举例在3个像素内的邻居像素；进而得到对应的特诊关系图。
如图3所示，在一些实施例中，如前述的方法，步骤S22按照关联关系，通过特征抽取层对低分辨率图像进行像素相关性提取，包括如下所述步骤S221和S222：
S221.按照关联关系确定由不同的特征抽取层按序排列得到的至少一个特征抽取层组合；其中，前一特征抽取层的输出为后一特征抽取层的输入。
具体的，关联关系为用于表征不同特征抽取层之间连接关系；由于特征抽取层之间本身是具有顺序关系的，前一层的特征抽取层的输出可以作为后一特征抽取层的输入，但是，反之则不行。
此外，由于同一个特征抽取层可能同时与多个其它特征抽取层之间存在关联关系，因此，不同的特征抽取层组合之间可能会存在相同的特征抽取层，但是，排列次序或者具体选择的特征抽取层会存在差异。
前一特征抽取层的输出为后一特征抽取层的输入，意味着通过每个特征抽取层组合进行特征抽取的行为都是单向进行的。
S222.将低分辨率图像输入特征抽取层组合进行像素相关性提取。
具体的，由于步骤S221中已确定所有的特征抽取层组合，因此将低分辨率图像输入各个组合中进行像素相关性提取，即可得到不同的像素之间的相关性。
如图4所示，在一些实施例中，如前述的方法，步骤S222将低分辨率图像输入特征抽取层组合进行像素相关性提取，包括如下所述步骤S2221至S2225：
步骤S2221.确定特征抽取层组合包括的特征抽取层以及排列次序。
具体的，由于每个特征抽取层中还包括多个残差块，因此确定特征抽取层组合包括的特征抽取层以及排列次序，以便于确定不同特征抽取层中残差块的关系。其中残差块主要由五个顺序的操作组成(conv→bn→relu→conv→bn)，序列输出和输入进行融合，生成残差块的输出，残差是指预测值和观测值之间的差距。
步骤S2222.确定同一特征抽取层中的各个残差块的权重。
具体的，同一特征抽取层中会存在多个残差块，一般的，各个残差块的卷积核各不相同，但是，在同一个残差块中的卷积核一般情况下采用相同设置；举例的，同一层的残差块可以分别采用1×1,3×3和5×5的卷积核。残差块本身的模型参数与卷积核的数量对应，当残差块中包括两个卷积核时，其对应有两个卷积核的参数，残差块的计算公式的一种可选方案可以如下所示，将θ0和θ1统称为残差块的参数：
Or＝x+bn(fc1(bn(relu(fc0(x；θ0)))；θ1))。
此外，同一特征抽取层中的各个残差块的权重具体为：
同一特征抽取层的各个残差块对输入的图像都会进行处理，由于各个残差块的模型参数或卷积核各不相同，因此需要确定各个残差块的权重，已得到最佳的特征抽取结果。
步骤S2223.将低分辨率图像输入第一特征抽取层中各残差块进行处理，得到输出结果；第一特征抽取层为特征抽取层组合的第一个特征抽取层。
具体的，输出结果中包括每个残差块对低分辨率图像进行处理后得到的特征。
步骤S2224.按照第一特征抽取层中各残差块的权重对输出结果进行加权得到初级特征关系图。
具体的，也就是说，每个残差块对低分辨率图像进行处理后都会提取得到对应的特征，按照同一层中各残差块的权重，对各个特征进行加权，进而得到包括加权后特征的初级特征关系图。
步骤S2225.将初级特征关系图输入至特征抽取层组合的下一特征抽取层中进行处理，按此递归直至最后一层的特征抽取层。
具体的，步骤S2223至步骤S2225即为：在前一层的特征抽取层对输入的输入处理得到输出结果之后，将输出结果作为本层的输入，直至递归到最后一个特征抽取层，并处理后得到特征关系图。
在一些实施例中，如前述的方法，步骤S2222确定同一特征抽取层中的各个残差块的权重，包括如下所述步骤A1至A2：
步骤A1.确定同一个特征抽取层中的所有连接块；
具体的，基于步骤S21中所述的，同一特征抽取层存在多个连接块，因此需要确定每个特征抽取层对应的所有连接块。
步骤A2.通过梯度优化法确定各个残差块的权重参数，权重参数用于表征同一个特征抽取层中的各个连接块所占的权重。
具体的，其中一种可选的通过梯度优化法确定各个残差块的权重参数的技术方案可以是：给每个残差块的操作定义可学习的权重，统称为结构参数wa(Architectureparameters),进一步的，整个特征抽取网络中的结构参数的定义如下：
其中，结构参数包括：残差块规模大小，各连接块的关联权重；中nrl是第l层残差块的个数，ncl是第l层连接块的个数，Lf是特征抽取网的层数。
如图5所示，在一些实施例中，如前述的方法，步骤S4按照像素扩充的倍数，通过预设的上采样网络对特征关系图进行像素扩充得到扩充后图像，包括如下所述步骤S41至S43：
步骤S41.根据像素扩充的倍数N，将特征关系图扩充为N个通道的多通道图像；其中，N为大于等于2的正整数；
具体的，当对于单通道的32×32的人流量数据集图像，且目的是将其扩充成单通道的128×128的细粒度流量图时，特征关系N则为(128×128)/(32×32)＝16。因此需要量特征关系图扩充为变成16通道的32×32的图像。
步骤S42.根据倍数N确定上采样网络中上采样层的个数，每个上采样层包括多个用于进行平滑处理的子像素块；
步骤S43.依次通过各个上采样层，对多通道图像进行逐级扩充放大，得到单通道的扩充后图像。
具体的，在步骤S41和步骤S42中，当每层上采样网络可以对输入的图像进行处理后获得固定通道数量(例如：22个通道)的处理后图像，同时每一层上采样网络都可以对其采样得到的图像进行统一处理(例如像素重排)，进而得到通道数量减少(例如：减少为原来的22个)的图像。
举例的，当每次上采样都能对图像放大4倍，且通道数量降低为原来1/4时，则只需设置两个上采样层即可将16通道32×32的多通道图像恢复形成单通道的128×128的图像。
其中一种上采样网络可选的实现方式可以是：
(1)通过SubPixel Block(子像素块)，对粗粒度图像进行高维映射和重构；(2)对于每个Mix SubPixel Block(上采样层)的结构进行学习，可选的，每层Mix SubPixelBlock中的SubPixel Block(子像素块)的结构可以分为三种SubPixel 1×1,SubPixel 3×3和SubPixel 5×5，分别表示卷积核大小为1×1，3×3和5×5的SubPixel Block；(3)USNasNet，主要是自动学习结构的上采样网络。
SubPixel Block由顺序的操作组成(conv→BN→PixelShuffle→ReLU)，主要的计算公式如下，可以将θ2称为SubPixelBlock的模型参数：
Os＝relu(ps(bn(conv(x；θ2))))
同样，对于每个SubPixel的操作块，我们定义每个操作的权重，这些操作的权重是自动学习的结构参数，其定义为：
其中，nsl是第l层的Mix SubPixel Block中SubPixel Block的个数，Lu是上采样层的层数。
在一些实施例中，如前述的方法，步骤S1获取低分辨率图像，包括如下所述步骤S11至S15：
步骤S11.获取初始低分辨率图像。
具体的，初始低分辨率图像是未整合影响因子特征的低分辨率图像。
步骤S12.获取初始低分辨率图像的低分辨率图像特征。
具体的，可以通过卷积网络对初始低分辨率图像进行特征提取，进而提取得到该低分辨率图像特征。
步骤S13.获取至少一种类型的影响因子。
具体的，影响因子可以是会对图像的特征产生影响的因子，例如：天气、节假日、演唱会或游乐场门票降低都会对部分的车流量产生影响，因此获取的影响因子是与所需获取的特征具有相关性的因子。
步骤S14.确定各个影响因子对应的因子特征。
具体的，获取各个影响因子对应的因子特征可以通过卷积网络进行获取，且因子特征是与低分辨率图像的特征类型相一致的特征。
步骤S15.通过全连接层对所有低分辨率图像特征与因子特征进行整合，得到低分辨率图像。
具体的，通过全连接层对低分辨率图像特征与因子特征进行整合之后，即可将所有特征都进行叠加，进而得到能够生成在各种影响因子的影响下的表征能力增强的低分辨率图像。
综上所述，采用本实施例中的方法，可以对天气，节假日等额外因素进行前向融合(在进入特征抽取网之前进行特征融合)，以避免分布上采样网络，进而减少结构冗余。采用本实施例中的方法不需要专家设计网络进行上采样操作。
进一步，由于不同网络之间会相互影响，因此，可以对上采样网络、特征抽取网络以及各个影响因子对应的全连接层中的参数进行端到端的统一优化。可以将参数分为模型参数和结构参数。
首先，定义模型参数，即：上采样网络和特征抽取网络中的卷积核，以及额外信息抽取网(全连接网)的参数，其定义如下：
Μ＝{θr,θs,θe}；
其中，θr表示所有残差块的参数集合，θs表示所有子像素块参数集合，θe表示所有额外信息的特征抽取(全连接网)参数集合。
同样，定义了结构参数，即控制模型结构(残差块规模大小(残差块中卷积核的大小，例如1×1,3×3,5×5)，残差块连接，SubPixel块规模大小(SubPixel块中卷积核的大小，例如1×1,3×3,5×5))选择的参数，其定义如下：
A＝{af,au0,au1}；
其中，af是FENasNet网(特征抽取网络)所有结构参数的集合，au0是粗粒度流量预测部分USNasNet网(上采样网络)所有结构参数的结合。同理，au1是额外因素部分USNasNet网所有结构参数的结合可选的，采用训练集的损失来优化模型参数M，同时用验证集的损失来优化结构参数A。
对模型参数的优化公式如下所示：
其中，通过训练集损失Ltrain优化模型参数θ，β是学习率，θ'表示更新后的模型参数，
表示计算梯度，
表示对θ的梯度。
对结构参数的优化公式如下所示：
其中，通过验证集损失Lvalid优化结构参数a，γ是学习率，a'表示更新后的模型参数，
表示计算梯度，
表示对a的梯度。
实验例：
在四个数据集上(北京出租流量2013-2016年)，测试了本申请提出的算法与固定结构的UrbanFM的结果。数据集的描述如下：
表1 数据集描述
其中，time span(时间期限)中的P1、P2、P3和P4分别为四段时间；time interval为每次采样的时间间隔，coarse-grained size为粗粒度图像的尺寸(即：低分辨率图像尺寸)，fine-grained size为细粒度图像的尺寸(即：高分辨率图像尺寸)，upsamplingfactor上采样的因子的数值(扩大倍数)，External factors为额外因子；从表中可以看出，由于图像分辨率提升了4倍，因此需要将北京出租车流量数据集扩大4倍，额外因子(例如：欢乐谷人流量)数据集空间扩大两倍。
通过对比了指标rmse(Root Mean Square Error，均方根误差)，其中，rmse越低表示预测值与真实值差距越小，即效果越好。选取其他模型进行比较，如下表所示的MP，SRCNN，ESPCN，SRResNet等。EFMNet是本申请提出的基于固定结构的模型，EFMNet+是基于NAS搜索的模型，EFMNet-ne表示不考虑额外因素模型的效果，EFMNet-ne+表示不考虑额外因素的NAS模型，实验效果统计如下：
表2 细粒度人群分布推测结果对比
从实验结果中可以看出，通过本申请实施例中通过自动机器学习搜索到的网络结构在五个数据集上均优于目前最优的固定结构的专家网络UrbanFM，体现了本申请方法采用的网络搜索架构在细粒度交通流量推测任务上具有很好的泛化能力，且能达到优于专家网的效果。
如图6所示，根据本申请的另一方面的一种实施例，还提供了一种高分辨率图像获取装置，包括：
获取模块1，用于获取低分辨率图像；
提取模块2，用于通过预设的特征抽取网络对低分辨率图像进行相关性提取，得到特征关系图；
倍数确定模块3，用于确定对特征关系图进行像素扩充的倍数；
扩充模块4，用于按照像素扩充的倍数，通过预设的上采样网络对特征关系图进行像素扩充得到扩充后图像；
处理模块5，用于根据多个扩充后图像得到高分辨率图像。
具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。
根据本申请的另一个实施例，还提供一种电子设备，包括：如图7所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的程序时，实现上述方法实施例的步骤。
上述电子设备提到的总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述方法实施例的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种高分辨率图像获取方法，其特征在于，包括：
获取低分辨率图像；
通过预设的特征抽取网络对所述低分辨率图像进行像素相关性提取，得到特征关系图；
确定对所述特征关系图进行像素扩充的倍数；
按照所述像素扩充的倍数，通过预设的上采样网络对所述特征关系图进行像素扩充得到扩充后图像；
根据多个所述扩充后图像得到高分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述特征抽取网络包括：用于确定所述特征抽取网络中各特征抽取层之间关联关系的连接块；
所述通过预设的特征抽取网络对所述低分辨率图像进行像素相关性提取，得到特征关系图，包括：
通过所述连接块中的关联权重确定各个所述特征抽取层之间的关联关系；
按照所述关联关系，通过所述特征抽取层对所述低分辨率图像进行像素相关性提取，得到对应的特征关系图。
3.根据权利要求2所述的方法，其特征在于，按照所述关联关系，通过所述特征抽取层对所述低分辨率图像进行像素相关性提取，包括：
按照所述关联关系确定由不同的特征抽取层按序排列得到的至少一个特征抽取层组合；其中，前一特征抽取层的输出为后一特征抽取层的输入；
将所述低分辨率图像输入所述特征抽取层组合进行所述像素相关性提取。
4.根据权利要求3所述的方法，其特征在于，所述将所述低分辨率图像输入所述特征抽取层组合进行像素相关性提取，包括：
确定所述特征抽取层组合包括的特征抽取层以及排列次序；
确定同一所述特征抽取层中的各个残差块的权重；
将所述低分辨率图像输入第一特征抽取层中各所述残差块进行处理，得到输出结果；所述第一特征抽取层为所述特征抽取层组合的第一个特征抽取层；
按照所述第一特征抽取层中各所述残差块的权重对所述输出结果进行加权得到初级特征关系图；
将所述初级特征关系图输入至所述特征抽取层组合的下一所述特征抽取层中进行处理，按此递归直至最后一层的所述特征抽取层。
5.根据权利要求4所述的方法，其特征在于，所述确定同一所述特征抽取层中的各个残差块的权重，包括：
确定同一个所述特征抽取层中的所有所述连接块；
通过梯度优化法确定各个所述残差块的权重参数，所述权重参数用于表征同一个所述特征抽取层中的各个所述连接块所占的权重。
6.根据权利要求1所述的方法，其特征在于，所述按照所述像素扩充的倍数，通过预设的上采样网络对所述特征关系图进行像素扩充得到扩充后图像，包括：
根据所述像素扩充的倍数N，将所述特征关系图扩充为N个通道的多通道图像；其中，N为大于等于2的正整数；
根据所述倍数N确定所述上采样网络中上采样层的个数，每个所述上采样层包括多个用于进行平滑处理的子像素块；
依次通过各个所述上采样层，对所述多通道图像进行逐级扩充放大，得到单通道的扩充后图像。
7.根据权利要求1所述的方法，其特征在于，所述获取低分辨率图像，包括：
获取初始低分辨率图像；
获取所述初始低分辨率图像的低分辨率图像特征；
获取至少一种类型的影响因子；
确定各个所述影响因子对应的因子特征；
通过全连接层对所有所述低分辨率图像特征与所述因子特征进行整合，得到所述低分辨率图像。
8.一种高分辨率图像获取装置，其特征在于，包括：
获取模块，用于获取低分辨率图像；
提取模块，用于通过预设的特征抽取网络对所述低分辨率图像进行相关性提取，得到特征关系图；
倍数确定模块，用于确定对所述特征关系图进行像素扩充的倍数；
扩充模块，用于按照所述像素扩充的倍数，通过预设的上采样网络对所述特征关系图进行像素扩充得到扩充后图像；
处理模块，用于根据多个所述扩充后图像得到高分辨率图像。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-7任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010296501.4A CN111507902B (zh) | 2020-04-15 | 2020-04-15 | 一种高分辨率图像获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010296501.4A CN111507902B (zh) | 2020-04-15 | 2020-04-15 | 一种高分辨率图像获取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507902A true CN111507902A (zh) | 2020-08-07 |
| CN111507902B CN111507902B (zh) | 2023-09-26 |
Family
ID=71877559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010296501.4A Active CN111507902B (zh) | 2020-04-15 | 2020-04-15 | 一种高分辨率图像获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507902B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724138A (zh) * | 2021-09-09 | 2021-11-30 | 北京京隽科技有限公司 | 一种图像分辨率扩充处理方法、装置和控制终端 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040233219A1 (en) * | 2003-03-05 | 2004-11-25 | Aguera Y Arcas Blaise | System and method for exact rendering in a zooming user interface |
| US20050129328A1 (en) * | 2003-12-15 | 2005-06-16 | Xerox Corporation | Corner sharpening of text and line art in a super resolution anti-aliasing image path |
| US20060245497A1 (en) * | 2005-04-14 | 2006-11-02 | Tourapis Alexis M | Device and method for fast block-matching motion estimation in video encoders |
| JP2010187341A (ja) * | 2009-02-13 | 2010-08-26 | Sharp Corp | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| US20110026811A1 (en) * | 2009-07-31 | 2011-02-03 | Hirokazu Kameyama | Image processing apparatus and method, data processing apparatus and method, and program and recording medium |
| KR20150008744A (ko) * | 2013-07-15 | 2015-01-23 | 삼성전자주식회사 | 깊이 영상 처리 방법 및 장치 |
| CN104462494A (zh) * | 2014-12-22 | 2015-03-25 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
| US20160140713A1 (en) * | 2013-07-02 | 2016-05-19 | Guy Martin | System and method for imaging device modelling and calibration |
| CN106846249A (zh) * | 2017-01-22 | 2017-06-13 | 浙江得图网络有限公司 | 一种全景视频拼接方法 |
| CN106878632A (zh) * | 2017-02-28 | 2017-06-20 | 北京知慧教育科技有限公司 | 一种视频数据的处理方法和装置 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
| US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| US20180108120A1 (en) * | 2016-10-17 | 2018-04-19 | Conduent Business Services, Llc | Store shelf imaging system and method |
| US20180336662A1 (en) * | 2017-05-17 | 2018-11-22 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
| US20180357765A1 (en) * | 2015-09-23 | 2018-12-13 | Koninklijke Philips N.V. | Image processing method and apparatus for normalisation and artefact correction |
| CN110084205A (zh) * | 2019-04-30 | 2019-08-02 | 合肥工业大学 | 一种基于改进的面向对象高分辨率遥感影像分类方法 |
| CN110288524A (zh) * | 2019-05-09 | 2019-09-27 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
| CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
| CN110619605A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 并行气象要素降尺度方法、装置、电子设备及存储介质 |
| CN110992265A (zh) * | 2019-12-02 | 2020-04-10 | 北京数码视讯科技股份有限公司 | 图像处理方法及模型、模型的训练方法及电子设备 |
-
2020
- 2020-04-15 CN CN202010296501.4A patent/CN111507902B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040233219A1 (en) * | 2003-03-05 | 2004-11-25 | Aguera Y Arcas Blaise | System and method for exact rendering in a zooming user interface |
| US20050129328A1 (en) * | 2003-12-15 | 2005-06-16 | Xerox Corporation | Corner sharpening of text and line art in a super resolution anti-aliasing image path |
| US20060245497A1 (en) * | 2005-04-14 | 2006-11-02 | Tourapis Alexis M | Device and method for fast block-matching motion estimation in video encoders |
| JP2010187341A (ja) * | 2009-02-13 | 2010-08-26 | Sharp Corp | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| US20110026811A1 (en) * | 2009-07-31 | 2011-02-03 | Hirokazu Kameyama | Image processing apparatus and method, data processing apparatus and method, and program and recording medium |
| US20160140713A1 (en) * | 2013-07-02 | 2016-05-19 | Guy Martin | System and method for imaging device modelling and calibration |
| KR20150008744A (ko) * | 2013-07-15 | 2015-01-23 | 삼성전자주식회사 | 깊이 영상 처리 방법 및 장치 |
| CN104462494A (zh) * | 2014-12-22 | 2015-03-25 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
| US20180357765A1 (en) * | 2015-09-23 | 2018-12-13 | Koninklijke Philips N.V. | Image processing method and apparatus for normalisation and artefact correction |
| US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| US20180108120A1 (en) * | 2016-10-17 | 2018-04-19 | Conduent Business Services, Llc | Store shelf imaging system and method |
| CN106846249A (zh) * | 2017-01-22 | 2017-06-13 | 浙江得图网络有限公司 | 一种全景视频拼接方法 |
| CN106878632A (zh) * | 2017-02-28 | 2017-06-20 | 北京知慧教育科技有限公司 | 一种视频数据的处理方法和装置 |
| US20180336662A1 (en) * | 2017-05-17 | 2018-11-22 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
| CN110084205A (zh) * | 2019-04-30 | 2019-08-02 | 合肥工业大学 | 一种基于改进的面向对象高分辨率遥感影像分类方法 |
| CN110288524A (zh) * | 2019-05-09 | 2019-09-27 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
| CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
| CN110619605A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 并行气象要素降尺度方法、装置、电子设备及存储介质 |
| CN110992265A (zh) * | 2019-12-02 | 2020-04-10 | 北京数码视讯科技股份有限公司 | 图像处理方法及模型、模型的训练方法及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| QIN, LJ: "A River Channel Extraction Method for Urban Environments Based on Terrain Transition Lines", pages 1 - 13 * |
| 朱胜利: "基于移动智能终端的视像信号处理技术研究", pages 1 - 60 * |
| 杨宏志: "基于深度学习的自然场景文字识别", 《中国优秀硕士学位论文全文数据库》, pages 1 - 68 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724138A (zh) * | 2021-09-09 | 2021-11-30 | 北京京隽科技有限公司 | 一种图像分辨率扩充处理方法、装置和控制终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507902B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
| CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| CN108876792B (zh) | 语义分割方法、装置和系统及存储介质 | |
| CN110738235B (zh) | 肺结核判定方法、装置、计算机设备及存储介质 | |
| CN112308200A (zh) | 神经网络的搜索方法及装置 | |
| CN110490082A (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN117575111B (zh) | 一种基于迁移学习的农业遥感图像时空序列预测方法 | |
| CN111079507B (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
| CN116011684A (zh) | 一种基于时空图卷积网络的交通流量预测方法 | |
| CN111008953B (zh) | 一种数字病理图像质控的方法及装置 | |
| CN112541459A (zh) | 基于多尺度感知注意力网络的人群计数方法及系统 | |
| CN111127879B (zh) | 基于生成式对抗网络的城市交通流量预测方法 | |
| CN114582128A (zh) | 基于图离散注意力网络的交通流预测方法、介质及设备 | |
| CN116089875A (zh) | 融合多源时空数据的交通流量预测方法、装置及存储介质 | |
| CN111507902B (zh) | 一种高分辨率图像获取方法及装置 | |
| CN113222209B (zh) | 基于域适应的区域尾气迁移预测方法、系统及存储介质 | |
| CN114822033A (zh) | 基于特征金字塔网络的路网交通流量数据修复方法及系统 | |
| CN112990041B (zh) | 一种基于改进型U-net的遥感影像建筑物提取方法 | |
| CN114444813A (zh) | 基于深度学习的交通流量预测方法 | |
| CN111985731B (zh) | 城市公共交通站点人数的预测方法及系统 | |
| CN112733724A (zh) | 基于判别样本元挖掘器的亲属关系验证方法和装置 | |
| CN111583166A (zh) | 一种影像融合网络模型构建及训练方法、装置 | |
| CN109409497B (zh) | 一种路况预测方法及装置 | |
| CN114495571B (zh) | 基于跨层耦合网络的车位状态检测方法、装置及存储介质 | |
| CN113989665B (zh) | 一种基于路由聚合感知fpn的sar船只检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |