CN115018711B - 一种用于仓库调度的图像超分辨率重建方法 - Google Patents

一种用于仓库调度的图像超分辨率重建方法 Download PDF

Info

Publication number
CN115018711B
CN115018711B CN202210830018.9A CN202210830018A CN115018711B CN 115018711 B CN115018711 B CN 115018711B CN 202210830018 A CN202210830018 A CN 202210830018A CN 115018711 B CN115018711 B CN 115018711B
Authority
CN
China
Prior art keywords
feature
matrix
feature map
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210830018.9A
Other languages
English (en)
Other versions
CN115018711A (zh
Inventor
麻亮
左柳波
刘啸
李一航
刘欢
帅科
唐清霖
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Yunlitchi Technology Co ltd
Original Assignee
Chengdu Yunlitchi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Yunlitchi Technology Co ltd filed Critical Chengdu Yunlitchi Technology Co ltd
Priority to CN202210830018.9A priority Critical patent/CN115018711B/zh
Publication of CN115018711A publication Critical patent/CN115018711A/zh
Application granted granted Critical
Publication of CN115018711B publication Critical patent/CN115018711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于仓库调度的图像超分辨率重建方法，属于人工智能和图像处理技术领域，包括训练深度学习网络，头级卷积层对场景图像进行卷积运算，依次利用各个多头特征映射模块对特征图进行操作，图像重建单元对特征图进行上采样，输出得到重建后的重置图像等步骤。本发明的注意力机制信息来源不仅有本模块内部的多尺度特征信息，还有部分直接来自其上游多头特征映射模块输出的特征信息，复杂场景图像中干扰信息对注意力机制的影响小，内部特征信息具有很好的连贯性，各个模块输出的特征图中特征信息的抽象程度低，重建效果优于现有的先进模型。

Description

一种用于仓库调度的图像超分辨率重建方法
技术领域
本发明属于仓库和人工智能技术领域，具体地说，涉及一种用于仓库调度的图像超分辨率重建方法。
背景技术
现代化的仓库中，安装在顶部的摄像头能够实时获取仓库内部的影像，利用计算机视觉技术可以对仓库中的货物、叉车和操作人员等目标进行识别和追踪，与大数据等技术结合，实现对仓库作业的自动化控制和智能调度。精准的图像识别依赖于高质量的图像输入，但在仓库这样的应用场景中，识别的目标对象多种多样，场景变化也比较复杂，在一些情况下，目标距离摄像头较远，获取的目标对象图像分辨率低，限制了识别和追踪的准确率。
发明内容
针对现有技术中上述的不足，本发明提供了一种用于仓库调度的图像超分辨率重建方法，通过对一些低分辨率图像进行重建，提高图像质量，进而提高对目标对象的识别和追踪准确率。
为了达到上述目的，本发明采用的解决方案是：一种用于仓库调度的图像超分辨率重建方法，包括以下步骤：
S100、获取深度学习网络，利用训练集对所述深度学习网络进行训练；所述深度学习网络包括依次设置的头级卷积层、深层特征抽取单元和图像重建单元，所述深层特征抽取单元包括顺次连接的多个多头特征映射模块；
S200、获取待重建的场景图像，将所述场景图像输入步骤S100中训练好的深度学习网络，经过所述头级卷积层对所述场景图像进行卷积运算后，输出得到具象特征图；
S300、将所述具象特征图输入所述深层特征抽取单元，依次利用各个所述多头特征映射模块对特征图进行操作后，所述深层特征抽取单元输出抽象特征图；
所述多头特征映射模块对特征图的操作过程表示为如下数学模型：
Figure 376456DEST_PATH_IMAGE001
Figure 596215DEST_PATH_IMAGE002
Figure 281144DEST_PATH_IMAGE003
Figure 990474DEST_PATH_IMAGE004
Figure 948238DEST_PATH_IMAGE005
Figure 34006DEST_PATH_IMAGE006
Figure 855331DEST_PATH_IMAGE007
Figure 266721DEST_PATH_IMAGE008
其中，Wn-1表示从第一端口输入多头特征映射模块的特征图，Hn-1表示从第二端口输入多头特征映射模块的特征图，Un-1表示从第三端口输入多头特征映射模块的特征图，对于第一个多头特征映射模块，从其第一端口、第二端口和第三端口输入的特征图均为具象特征图；f31()、f32()、f51()和f52()均表示普通的卷积运算处理层，f31()和f32()的卷积核大小为3*3，f51()和f52()的卷积核大小为5*5，ρ1()、ρ2()、ρ3()和ρ4()均代表非线性激活函数ReLU，M1表示经过ρ1()函数激活后输出得到的特征图，M2表示经过ρ2()函数激活后输出得到的特征图，fLA()表示左翼注意力模块，LG表示左翼注意力模块输出的左翼调制图，fRA()表示右翼注意力模块，RG表示右翼注意力模块输出的右翼调制图，×表示元素对应乘积，[·]表示将其中的特征图做拼接操作，M3表示左翼调制图校准特征图M1、右翼调制图校准特征图M2后拼接得到的特征图，fTM()表示中路特征整合模块，Wn表示从多头特征映射模块的第四端口输出的特征图，Wn作为下游多头特征映射模块第一端口的输入，Hn表示从多头特征映射模块的第五端口输出的特征图，Hn作为下游多头特征映射模块第二端口的输入，Un表示从多头特征映射模块的第六端口输出的特征图，Un作为下游多头特征映射模块第三端口的输入；
S400、将所述抽象特征图输入所述图像重建单元，所述图像重建单元对特征图进行上采样，并输出重建后的重置图像，所述重置图像的分辨率大于所述场景图像。
进一步地，所述深度学习网络中设有长跳跃连接，所述具象特征图经所述长跳跃连接输入到所述深层特征抽取单元与所述图像重建单元之间，所述具象特征图与所述抽象特征图相加后，再输入所述图像重建单元。
进一步地，所述中路特征整合模块对特征图的运算过程表示为如下数学模型：
Figure 422765DEST_PATH_IMAGE009
Figure 312223DEST_PATH_IMAGE010
Figure 253634DEST_PATH_IMAGE011
其中，特征图Wn和特征图Un共同作为所述中路特征整合模块的输入，Wn表示从多头特征映射模块的第四端口输出的特征图，Un表示从多头特征映射模块的第六端口输出的特征图，[·]表示将其中的特征图在通道方向上拼接，fJ1()和fJ3()分别表示卷积核大小为1*1的卷积操作和卷积核大小为3*3的卷积操作，T1()和T2()均表示Tanh激活函数，JO表示T1()函数激活后输出得到的特征图，JE表示特征图Wn与特征图Un作差后生成得到的特征图，JM代表所述中路特征整合模块输出的特征图。
进一步地，所述左翼注意力模块按照如下数学公式对特征图进行操作：
Figure 570346DEST_PATH_IMAGE012
Figure 479265DEST_PATH_IMAGE013
Figure 172415DEST_PATH_IMAGE014
Figure 968332DEST_PATH_IMAGE015
其中，特征图M1+M2和特征图Wn-1共同作为左翼注意力模块的输入，Wn-1表示从第一端口输入多头特征映射模块的特征图，MAV()、MEV()和VAV()分别表示对特征图做全局最大池化操作、全局平均池化操作和全局方差池化操作，MAV()、MEV()和VAV()池化操作的方向均沿着通道方向；分别对特征图M1+M2沿着通道方向做全局最大池化操作和全局平均池化操作后得到第一矩阵和第二矩阵，S1表示将第一矩阵与第二矩阵作差后得到的第三矩阵；分别对特征图Wn-1沿着通道方向做全局最大池化操作和全局平均池化操作后得到第四矩阵和第五矩阵，S2表示将第四矩阵与第五矩阵作差后得到的第六矩阵；分别对特征图M1+M2和特征图Wn-1沿着通道方向做全局方差池化操作后得到第七矩阵和第八矩阵，S3表示将第七矩阵与第八矩阵相加后得到的第九矩阵；fW()表示卷积核大小为1*1的卷积运算，θW()为非线性激活函数sigmoid，[·]表示将其中的特征图拼接，LG表示所述左翼注意力模块输出的左翼调制图。
进一步地，所述右翼注意力模块按照如下数学公式对特征图进行操作：
Figure 721525DEST_PATH_IMAGE012
Figure 852161DEST_PATH_IMAGE016
Figure 349001DEST_PATH_IMAGE017
Figure 999425DEST_PATH_IMAGE018
其中，特征图M1+M2和特征图Un-1共同作为右翼注意力模块的输入，Un-1表示从第三端口输入多头特征映射模块的特征图，MAV()、MEV()和VAV()分别表示对特征图做全局最大池化操作、全局平均池化操作和全局方差池化操作，MAV()、MEV()和VAV()池化操作的方向均沿着通道方向；分别对特征图M1+M2沿着通道方向做全局最大池化操作和全局平均池化操作后得到第一矩阵和第二矩阵，S1表示将第一矩阵与第二矩阵作差后得到的第三矩阵；分别对特征图Un-1沿着通道方向做全局最大池化操作和全局平均池化操作后得到第十矩阵和第十一矩阵，C1表示将第十矩阵与第十一矩阵作差后得到的第十二矩阵；分别对特征图M1+M2和特征图Un-1沿着通道方向做全局方差池化操作后得到第七矩阵和第十三矩阵，C2表示将第七矩阵与第十三矩阵相加后得到的第十四矩阵；fU()表示卷积核大小为1*1的卷积运算，θU()为非线性激活函数sigmoid，[·]表示将其中的特征图拼接，RG表示所述右翼注意力模块输出的右翼调制图。
进一步地，所述图像重建单元包括串联设置的上采样组件和输出卷积层，所述上采样组件包括顺次连接的重建卷积层、ReLU激活层和亚像素卷积层。
本发明的有益效果是：
（1）为了使深度学习网络能够很好地提取各种仓库复杂场景下的低分辨率图像特征，本发明的多头特征映射模块内部采用了多尺度的特征提取结构，以获取不同尺度下的特征信息，并采用左翼注意力模块和右翼注意力模块分别对不同的特征信息进行校准，网络能够更好地聚焦高频信息区域，特征抽取效果好；
（2）注意力机制的信息来源中，不仅有本模块内部的多尺度特征信息（M1+M2），还有部分直接来自其上游多头特征映射模块输出的特征信息（Wn-1或Un-1），这样适当地增大一点注意力机制的关注范围，可以降低复杂场景图像中干扰信息对注意力机制的影响，降低注意力机制对特征图产生错误调制的概率，同时也增强了不同多头特征映射模块内部特征信息的连贯性，减少有用信息丢失；
（3）对于中路特征整合模块，同时采用拼接降维和作差两种方式融合特征图Wn和特征图Un，这样可以有效地去除两个特征图中多种形式的重复低频信息，避免高频信息淹没在大量重复无用的低频信息中，降低后续多头特征映射模块提取有效特征的难度，提高特征提取效果；
（4）在多头特征映射模块中，还利用左翼调制图和右翼调制图相加得到的注意力图去校准中路特征整合模块输出的特征图，使得输出的特征图Hn中特征信息的抽象程度更低，信息的层级与低层次的图像超分辨重建任务（相对图像识别而言）更加匹配，有利于提升最终重建得到的图像质量。
附图说明
图1为本发明的深度学习网络整体架构示意图；
图2为图1所示深度学习网络中多头特征映射模块的内部结构示意图；
图3为图2所示多头特征映射模块中左翼注意力机构或右翼注意力机构的内部结构示意图；
图4为图2所示多头特征映射模块中中路特征整合模块的内部结构示意图；
图5为图2所示多头特征映射模块中图像重建单元的内部结构示意图；
图6为对比例1中修改后的多头特征映射模块的内部结构示意图；
图7为对比例2中修改后的多头特征映射模块的内部结构示意图；
附图中：
1-场景图像，2-头级卷积层，3-深层特征抽取单元，4-图像重建单元，41-重建卷积层，42-ReLU激活层，43-亚像素卷积层，44-输出卷积层，5-多头特征映射模块，51-第一端口，52-第二端口，53-第三端口，54-第四端口，55-第五端口，56-第六端口，57-左翼注意力模块，58-右翼注意力模块，59-中路特征整合模块，6-重置图像，7-长跳跃连接。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例：
在计算机上通过编程搭建图1所示的深度学习网络，该深度学习网络包括依次设置的头级卷积层2、深层特征抽取单元3和图像重建单元4。头级卷积层2用于提取场景图像1的浅层特征信息，所以采用普通卷积操作实现，其卷积核的大小为3*3，输出具象特征图通道数量为48。深层特征抽取单元3包括顺次连接的五个多头特征映射模块5，多头特征映射模块5的内部结构如图2所示，多头特征映射模块5上设有六个端口，其中第一端口51、第二端口52、第三端口53为信息输入端口，上游多头特征映射模块5输出的特征信息通过该三个端口输入。第四端口54、第五端口55、第六端口56为信息输出端口，用于向下游多头特征映射模块5输出特征图。抽象特征图为最后一个多头特征映射模块5第五端口55输出的特征图，最后一个多头特征映射模块5的第四端口54和第六端口56单独输出的特征图则不再向后传递。f31()和f51()卷积运算不改变特征图尺寸，输出特征图通道数量为48，拼接后得到的M3特征图通道数量为96，经过f32()和f52()卷积运算后，得到的特征图Wn和特征图Un通道数量重新降为48。
如图4所示，特征图Wn和特征图Un输入中路特征整合模块59后，一方面，两者拼接得到通道为96的特征图，然后利用1*1卷积将通道数量降为48，激活后得到特征图JO。另一方面，两个特征图直接作差，同样得到通道数量为48的特征图JE。最后，再次拼接、卷积和激活，输出得到通道数量为48的特征图JM。
左翼注意力模块57和右翼注意力模块58均为空间注意力模块，它们内部对特征图的操作过程几乎是一样的。请参考图3，输入的特征图M1+M2通道数量为48，经过通道方向的全局最大池化操作、全局方差池化操作和全局平均池化操作后，分别得到一个二维的矩阵。特征图Wn-1和特征图Un-1输入注意力模块后，操作过程与特征图M1+M2相同。然后经过加减法操作后，得到两个矩阵并拼接起来，再利用1*1卷积将通道数量降为1，经过sigmoid函数激活后，得到左翼调制图或右翼调制图。
为了避免特征消失，深度学习网络中设有长跳跃连接7，具象特征图经长跳跃连接7输入到深层特征抽取单元3与图像重建单元4之间，具象特征图与抽象特征图相加后，再输入图像重建单元4。如图5所示，图像重建单元4包括串联设置的上采样组件和输出卷积层44，上采样组件包括顺次连接的重建卷积层41、ReLU激活层42和亚像素卷积层43，重建卷积层41和输出卷积层44的卷积核大小均为3*3。一个上采样组件只将特征图的长宽尺寸增大两倍，所以上采样组件的数量需要根据对场景图像1的上采样倍数确定。当上采样倍数为2时，上采样组件数量为1，当上采样倍数为4时，上采样组件数量为2，当上采样倍数为8时，上采样组件数量为3，以此类推。对于上采样组件内部，重建卷积层41输出特征图通道数量为输入时的4倍，重建卷积层41前后特征图长宽尺寸保持不变。亚像素卷积层43输出特征图的长宽尺寸为输入时的两倍，通道数量则变为输入时的四分之一。最后特征图经输出卷积层44卷积运算后，输出得到通道数量为3的重置图像6。
截取仓库中各种目标的高清监控影像，一共1400张，通过双三次下采样获得这些图像对应的低分辨率图像。随机选取1000张高清影像及其对应的低分辨率图像组成训练集，剩下的400张高清影像及其对应的低分辨率图像作为测试集。然后利用训练集训练深度学习网络，训练过程中，采用L1损失函数对网络中的参数进行优化。为了更好地说明本发明所提出网络的性能，本实施例还采用相同的训练集对现有的先进模型SAN和CARN进行训练，三个模型训练完成后，在相同测试集上的测试结果如下：
表1 实施例1、SAN模型和CARN模型在测试集上的测试结果
Figure 923519DEST_PATH_IMAGE019
PSNR和SSIM的结果越大，表明重建后的图像质量越好，如表1所示，本发明所提供的图像重建方法相对现有技术取得了明显的进步，能够更好地重建出仓库内复杂的场景影像。
对比例1：
为了证明中路特征整合模块59在深度学习网络中的作用，对比例1在实施例的基础上对深度学习网络进行了修改，以常规的求和方式融合特征图Wn和特征图Un（修改后的多头特征映射模块5结构如图6所示），网络的其他部分保持与实施例完全相同。采用与实施例相同的训练和测试过程对修改后的网络进行训练和测试，结果如下：
表2 对比例1在测试集上的测试结果
Figure 292183DEST_PATH_IMAGE020
如表2所示，通过对比数据可以看出，采用中路特征整合模块59融合特征图Wn和特征图Un后，重建图像在PSNR和SSIM两个参数上的测量结果均高于对比例1。
对比例2：
为了证明左翼调制图和右翼调制图相加得到的注意力图去校准特征图JM的作用效果，对比例2在实施例的基础上对深度学习网络进行了修改，对比例2中去掉了对特征图JM的校准，修改后的多头特征映射模块5结构如图7所示，网络的其他部分保持与实施例完全相同。采用与实施例相同的训练和测试过程对修改后的网络进行训练和测试，结果如下：
表3 对比例2在测试集上的测试结果
Figure 576403DEST_PATH_IMAGE021
如表3所示，通过对比数据可以看出，利用左翼调制图和右翼调制图相加得到的注意力图去校准特征图JM后，重建图像在PSNR和SSIM两个参数上的测量结果均得到了明显的提高，说明利用左翼调制图和右翼调制图相加得到的注意力图去校准特征图JM能够明显提高网络重建图像的质量。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种用于仓库调度的图像超分辨率重建方法，其特征是：包括以下步骤：
S100、获取深度学习网络，利用训练集对所述深度学习网络进行训练；所述深度学习网络包括依次设置的头级卷积层、深层特征抽取单元和图像重建单元，所述深层特征抽取单元包括顺次连接的多个多头特征映射模块；
S200、获取待重建的场景图像，将所述场景图像输入步骤S100中训练好的深度学习网络，经过所述头级卷积层对所述场景图像进行卷积运算后，输出得到具象特征图；
S300、将所述具象特征图输入所述深层特征抽取单元，依次利用各个所述多头特征映射模块对特征图进行操作后，所述深层特征抽取单元输出抽象特征图；
所述多头特征映射模块对特征图的操作过程表示为如下数学模型：
Figure 101312DEST_PATH_IMAGE001
Figure 50813DEST_PATH_IMAGE002
Figure 812096DEST_PATH_IMAGE003
Figure 138035DEST_PATH_IMAGE004
Figure 301163DEST_PATH_IMAGE005
Figure 421566DEST_PATH_IMAGE006
Figure 935724DEST_PATH_IMAGE007
Figure 799774DEST_PATH_IMAGE008
其中，Wn-1表示从第一端口输入多头特征映射模块的特征图，Hn-1表示从第二端口输入多头特征映射模块的特征图，Un-1表示从第三端口输入多头特征映射模块的特征图，f31()、f32()、f51()和f52()均表示普通的卷积运算处理层，f31()和f32()的卷积核大小为3*3，f51()和f52()的卷积核大小为5*5，ρ1()、ρ2()、ρ3()和ρ4()均代表非线性激活函数ReLU，M1表示经过ρ1()函数激活后输出得到的特征图，M2表示经过ρ2()函数激活后输出得到的特征图，fLA()表示左翼注意力模块，LG表示左翼注意力模块输出的左翼调制图，fRA()表示右翼注意力模块，RG表示右翼注意力模块输出的右翼调制图，×表示元素对应乘积，[·]表示将其中的特征图做拼接操作，M3表示左翼调制图校准特征图M1、右翼调制图校准特征图M2后拼接得到的特征图，fTM()表示中路特征整合模块，Wn表示从多头特征映射模块的第四端口输出的特征图，Wn作为下游多头特征映射模块第一端口的输入，Hn表示从多头特征映射模块的第五端口输出的特征图，Hn作为下游多头特征映射模块第二端口的输入，Un表示从多头特征映射模块的第六端口输出的特征图，Un作为下游多头特征映射模块第三端口的输入；
S400、将所述抽象特征图输入所述图像重建单元，所述图像重建单元对特征图进行上采样，并输出重建后的重置图像，所述重置图像的分辨率大于所述场景图像。
2.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法，其特征是：所述深度学习网络中设有长跳跃连接，所述具象特征图经所述长跳跃连接输入到所述深层特征抽取单元与所述图像重建单元之间，所述具象特征图与所述抽象特征图相加后，再输入所述图像重建单元。
3.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法，其特征是：所述中路特征整合模块对特征图的运算过程表示为如下数学模型：
Figure 817409DEST_PATH_IMAGE009
Figure 374292DEST_PATH_IMAGE010
Figure 110167DEST_PATH_IMAGE011
其中，特征图Wn和特征图Un共同作为所述中路特征整合模块的输入，[·]表示将其中的特征图在通道方向上拼接，fJ1()和fJ3()分别表示卷积核大小为1*1的卷积操作和卷积核大小为3*3的卷积操作，T1()和T2()均表示Tanh激活函数，JO表示T1()函数激活后输出得到的特征图，JE表示特征图Wn与特征图Un作差后生成得到的特征图，JM代表所述中路特征整合模块输出的特征图。
4.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法，其特征是：所述左翼注意力模块按照如下数学公式对特征图进行操作：
Figure 777909DEST_PATH_IMAGE012
Figure 650050DEST_PATH_IMAGE013
Figure 377834DEST_PATH_IMAGE014
Figure 601005DEST_PATH_IMAGE015
其中，特征图M1+M2和特征图Wn-1共同作为左翼注意力模块的输入，MAV()、MEV()和VAV()分别表示对特征图做全局最大池化操作、全局平均池化操作和全局方差池化操作，MAV()、MEV()和VAV()池化操作的方向均沿着通道方向；分别对特征图M1+M2沿着通道方向做全局最大池化操作和全局平均池化操作后得到第一矩阵和第二矩阵，S1表示将第一矩阵与第二矩阵作差后得到的第三矩阵；分别对特征图Wn-1沿着通道方向做全局最大池化操作和全局平均池化操作后得到第四矩阵和第五矩阵，S2表示将第四矩阵与第五矩阵作差后得到的第六矩阵；分别对特征图M1+M2和特征图Wn-1沿着通道方向做全局方差池化操作后得到第七矩阵和第八矩阵，S3表示将第七矩阵与第八矩阵相加后得到的第九矩阵；fW()表示卷积核大小为1*1的卷积运算，θW()为非线性激活函数sigmoid，[·]表示将其中的特征图拼接，LG表示所述左翼注意力模块输出的左翼调制图。
5.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法，其特征是：所述右翼注意力模块按照如下数学公式对特征图进行操作：
Figure 806859DEST_PATH_IMAGE016
Figure 796156DEST_PATH_IMAGE017
Figure 694842DEST_PATH_IMAGE018
Figure 139730DEST_PATH_IMAGE019
其中，特征图M1+M2和特征图Un-1共同作为右翼注意力模块的输入，MAV()、MEV()和VAV()分别表示对特征图做全局最大池化操作、全局平均池化操作和全局方差池化操作，MAV()、MEV()和VAV()池化操作的方向均沿着通道方向；分别对特征图M1+M2沿着通道方向做全局最大池化操作和全局平均池化操作后得到第一矩阵和第二矩阵，S1表示将第一矩阵与第二矩阵作差后得到的第三矩阵；分别对特征图Un-1沿着通道方向做全局最大池化操作和全局平均池化操作后得到第十矩阵和第十一矩阵，C1表示将第十矩阵与第十一矩阵作差后得到的第十二矩阵；分别对特征图M1+M2和特征图Un-1沿着通道方向做全局方差池化操作后得到第七矩阵和第十三矩阵，C2表示将第七矩阵与第十三矩阵相加后得到的第十四矩阵；fU()表示卷积核大小为1*1的卷积运算，θU()为非线性激活函数sigmoid，[·]表示将其中的特征图拼接，RG表示所述右翼注意力模块输出的右翼调制图。
6.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法，其特征是：所述图像重建单元包括串联设置的上采样组件和输出卷积层，所述上采样组件包括顺次连接的重建卷积层、ReLU激活层和亚像素卷积层。
CN202210830018.9A 2022-07-15 2022-07-15 一种用于仓库调度的图像超分辨率重建方法 Active CN115018711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210830018.9A CN115018711B (zh) 2022-07-15 2022-07-15 一种用于仓库调度的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210830018.9A CN115018711B (zh) 2022-07-15 2022-07-15 一种用于仓库调度的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN115018711A CN115018711A (zh) 2022-09-06
CN115018711B true CN115018711B (zh) 2022-10-25

Family

ID=83080432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210830018.9A Active CN115018711B (zh) 2022-07-15 2022-07-15 一种用于仓库调度的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115018711B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358931B (zh) * 2022-10-20 2023-01-03 运易通科技有限公司 一种用于仓库物流系统的图像重建方法及设备
CN116012688B (zh) * 2023-03-27 2023-06-09 成都神鸟数据咨询有限公司 一种用于城市管理评估系统的图像增强方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN214225966U (zh) * 2021-02-24 2021-09-17 成都运荔枝科技有限公司 一种货物运输情况智能监控系统用警报装置
WO2021228058A1 (zh) * 2020-05-15 2021-11-18 华为技术有限公司 成像方法、成像装置、光学成像系统及车辆
CN113870258A (zh) * 2021-12-01 2021-12-31 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统
CN114419612A (zh) * 2022-01-10 2022-04-29 重庆锐云科技有限公司 一种用于景区车牌识别的图像超分辨率重建方法及装置
WO2022116856A1 (zh) * 2020-12-01 2022-06-09 华为技术有限公司 一种模型结构、模型训练方法、图像增强方法及设备
CN114742706A (zh) * 2022-04-12 2022-07-12 重庆牛智智科技有限公司 一种用于智慧环保的水污染遥感图像超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021228058A1 (zh) * 2020-05-15 2021-11-18 华为技术有限公司 成像方法、成像装置、光学成像系统及车辆
WO2022116856A1 (zh) * 2020-12-01 2022-06-09 华为技术有限公司 一种模型结构、模型训练方法、图像增强方法及设备
CN214225966U (zh) * 2021-02-24 2021-09-17 成都运荔枝科技有限公司 一种货物运输情况智能监控系统用警报装置
CN113870258A (zh) * 2021-12-01 2021-12-31 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统
CN114419612A (zh) * 2022-01-10 2022-04-29 重庆锐云科技有限公司 一种用于景区车牌识别的图像超分辨率重建方法及装置
CN114742706A (zh) * 2022-04-12 2022-07-12 重庆牛智智科技有限公司 一种用于智慧环保的水污染遥感图像超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SSR2: Sparse signal recovery for single-image super-resolution on faces with extreme low resolutions;RamziAbiantun等;《Pattern Recognition》;20190630;第90卷;308-324 *
基于CNN与ELM的二次超分辨率重构方法研究;张静等;《计算机学报》;20170506;第41卷(第11期);2581-2597 *
自注意力与域适应对抗模板重建方法;贾可等;《现代信息科技》;20200925;第4卷(第18期);1-6 *

Also Published As

Publication number Publication date
CN115018711A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN115018711B (zh) 一种用于仓库调度的图像超分辨率重建方法
CN106910192B (zh) 一种基于卷积神经网络的图像融合效果评估方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN112862792B (zh) 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN111523521A (zh) 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN111402146A (zh) 图像处理方法以及图像处理装置
CN110852383A (zh) 基于注意力机制深度学习网络的目标检测方法及装置
CN110674704A (zh) 一种基于多尺度扩张卷积网络的人群密度估计方法及装置
CN112446835B (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN107491793B (zh) 一种基于稀疏散射全卷积的极化sar图像分类方法
Kim et al. Deeply aggregated alternating minimization for image restoration
CN113689326B (zh) 一种基于二维图像分割引导的三维定位方法
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
Liu et al. An efficient unfolding network with disentangled spatial-spectral representation for hyperspectral image super-resolution
CN114565539B (zh) 一种基于线上知识蒸馏的图像去雾方法
CN115410030A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113610905A (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN115526891A (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN115100301A (zh) 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统
CN113008371B (zh) 一种深度学习解色散模糊的高光谱成像方法
CN110599588A (zh) 三维流场内粒子重构方法及装置、电子设备及存储介质
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant