CN111275054B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111275054B CN111275054B CN202010058004.0A CN202010058004A CN111275054B CN 111275054 B CN111275054 B CN 111275054B CN 202010058004 A CN202010058004 A CN 202010058004A CN 111275054 B CN111275054 B CN 111275054B
- Authority
- CN
- China
- Prior art keywords
- feature
- output
- image
- processing node
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 363
- 238000000034 method Methods 0.000 claims description 47
- 238000000605 extraction Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000003213 activating effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 33
- 238000005070 sampling Methods 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，包括：获取待处理图像；将待处理图像输入到图像处理模型中，基于待处理模型的输出得到待处理图像的图像处理结果；其中，图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，以形成动态的图像处理模型，并基于图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。本申请实施例中可以自适应地选择已知网络结构，适用于不同尺度分布的图像，对实际运行计算量进行控制，降低了计算量。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，本发明涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
现有针对图像处理的网络结构均为使用预先定义好的静态网络对输入图片进行预测，主要分为手工设计的网络和网络结构搜索两种。其中，手工设计的网络一般使用多个层次特征图融合的方法来丰富特征图的语的细节信，以建立特征图之间的上下文关系。而网络结构搜索主要使用基于强化学习或梯度更新的方法,在一个数据集去拟合一个固定的网络结构。
但是，在实际应用中，待处理图像的尺寸分布往往有很大的差别，例如在一张图片中既有占图像很小比例的前景物体，也有占图像大部分比例的背景区域，若使用现有技术中的图像处理的网络结构，由于其均为固定的结构，对于这种尺寸分布相差很大的图像将无法准确地建立特征图之间的上下文关系，进而无法得到准确地处理结果。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取待处理图像；
将待处理图像输入到图像处理模型中，基于图像处理模型的输出得到待处理图像的图像处理结果；
其中，图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，以形成动态的图像处理模型，并基于图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。
第一方面可选的实施例中，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，包括：
基于特征处理节点的输入特征图，确定初始输出特征图；
将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率；
基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图。
第一方面可选的实施例中，各尺寸的特征图的使用概率包括针对初始特征图进行上采样处理的使用概率、进行分辨率不变处理的使用概率、以及进行分辨率下采样处理的使用概率中的至少两种。
第一方面可选的实施例中，基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图，包括：
对于使用概率大于设定阈值的每一个使用概率，对初始输出特征图分别进行相对应的尺寸的特征提取，以确定特征处理节点的输出特征图。
第一方面可选的实施例中，若特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，则不执行基于特征处理节点的输入特征图，确定初始输出特征图的步骤。
第一方面可选的实施例中，每个特征处理节点中还包括依次级联的卷积层和残差层，依次级联的卷积层和残差层用于基于特征处理节点的输入特征图，确定初始输出特征图。
第一方面可选的实施例中，门控网络中包括神经网络和激活函数层，将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率，包括：
基于门控网络中包括的神经网络，确定特征处理节点对应于各尺寸的输出特征图的初始使用概率；
基于激活函数对各尺寸的输出特征图的初始使用概率进行激活，得到特征处理节点对应于各尺寸的输出特征图的使用概率。
第二方面，本申请实施例提供了一种图像处理装置，包括：
图像获取模块，用于获取待处理图像；
图像处理结果确定模块，用于将待处理图像输入到图像处理模型中，基于图像处理模型的输出得到待处理图像的图像处理结果；
其中，图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，以形成动态的图像处理模型，并基于图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。
第二方面可选的实施例中，对于除最后一个层级的之外的各层级的每个特征处理节点，图像处理模型在基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图时，具体用于：
基于特征处理节点的输入特征图，确定初始输出特征图；
将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率；
基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图。
第二方面可选的实施例中，各尺寸的特征图的使用概率包括针对初始特征图进行上采样处理的使用概率、进行分辨率不变处理的使用概率、以及进行分辨率下采样处理的使用概率中的至少两种。
第二方面可选的实施例中，图像处理模型在基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图时，具体用于：
对于使用概率大于设定阈值的每一个使用概率，对初始输出特征图分别进行相对应的尺寸的特征提取，以确定特征处理节点的输出特征图。
第二方面可选的实施例中，若特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，则不执行基于特征处理节点的输入特征图，确定初始输出特征图的步骤。
第二方面可选的实施例中，每个特征处理节点中还包括依次级联的卷积层和残差层，依次级联的卷积层和残差层用于基于特征处理节点的输入特征图，确定初始输出特征图。
第二方面可选的实施例中，门控网络中包括神经网络和激活函数层，图像处理模型在将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率时，具体用于：
基于门控网络中包括的神经网络，确定特征处理节点对应于各尺寸的输出特征图的初始使用概率；
基于激活函数对各尺寸的输出特征图的初始使用概率进行激活，得到特征处理节点对应于各尺寸的输出特征图的使用概率。
第三方面，本申请实施例提供了一种电子设备，其特征在于，包括处理器和存储器：
存储器被配置用于存储机器可读指令，指令在由处理器执行时，使得处理器执行第一方面中的任一项方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行第一方面中的任一项方法。
本申请实施例提供的技术方案带来的有益效果是：
在本申请实施例中，由于图像处理模型中包括多个层级的特征处理子网络，并且每个层级的特征处理子网络中还包括不同深度的特征处理节点，也就是说，该图像处理模型中包含大量的网络结构,从而在根据输入的待处理图像进行动态选择的过程中，可以自适应地选择多个已知网络结构,进而可以适用于不同尺度分布的图像。进一步的，由于除最后一个层级的之外的各层级的每个特征处理节点包括了用于控制输出特征图的门控网络，此时可以自适应地关闭不重要的特征处理节点,从而可以拟合不同的网络结构并对实际运行计算量进行控制，即可以保证确定出适用的网络结构，又可以降低了计算量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例提供的一种图像处理模型的部分结构示意图；
图3为本申请实施例提供的一种深度特征提取网络的部分结构示意图；
图4为本申请实施例提供的一种图像处理装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种图像处理方法，如图1所示，该方法包括：
步骤S101，获取待处理图像。
其中，待处理图像指的是需要进行图像处理的图像，该待处理图像的具体类型本申请实施例不限定，如可以为通过拍摄装置拍摄的照片，也可以是视频中的帧图像等。
步骤S102，将待处理图像输入到图像处理模型中，基于图像处理模型的输出得到待处理图像的图像处理结果；
其中，图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，以形成动态的图像处理模型，并基于图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。
本申请可选的实施例中，图像处理模型可以为图像语义分割模型，图像处理结果可以为该待处理图像的语义分割结果。
在实际应用中，该图像处理模型可以包括深度特征提取网络，而深度特征提取网络中包括不同的层级的特征处理子网络(每个层级为一个特征处理子网络)，并且每个层级中包括了不同深度的特征处理节点。此外，该图像处理模型中除最后一个层级的之外的各层级的每个特征处理节点可以包括门控网络，该门控网络可以根据输入特征图控制该特征处理节点的输出特征图。其中，当特征处理节点不存在输出特征图时，说明该特征处理节点处于关闭状态，也就是说，门控网络可以控制特征处理节点的通断。相应的，当图像处理模型中的特征处理节点包括门控网络时，由于门控网络可以控制特征处理节点的通断，因此该图像处理模型为可动态调整的模型。
在实际应用中，图像处理模型中还包括初始特征提取网络，当待处理图像输入到图像处理模型时，初始特征提取网络可以将该待处理图像的图片特征提取到高维特征空间，得到待处理图像的初始特征图。其中，初始特征提取网络的具体网络结构可以预先配置，本申请实施例不限定。例如，初始特征提取网络中可以包括多尺度特征提取模块和多尺度特征融合模块；相应的，当待处理图像输入到图像处理模型后，初始特征提取网络中的多尺度特征提取模块可以先提取待处理图像的多个尺度的特征图，然后多尺度特征融合模块对多个尺度的特征图进行融合，得到待处理图像的初始特征图。
在本申请实施例中，由于可以先通过初始特征提取网络将待处理图像的图片特征提取到高维特征空间，此时可以保证后续在对待处理图像进行处理的过程中可以更加稳定。
本申请可选的实施例中，每个特征处理节点对应一种输入特征图尺寸，若当前特征处理节点为第一个层级节点，该节点的输入为的初始特征图，且初始特征图中尺寸等于该节点的输入特征图尺寸；若当前特征处理节点为除第一个层级之外的其它层级的节点，该节点的输入为其上一层级的各特征处理节点所输出的尺寸等于该节点的输入特征图尺寸的输出特征图；若当前特征处理节点为最后一个层级的节点，则该节点的输出特征图为将其各输入特征图融合后的输出特征图。
在实际应用中，在通过初始特征提取提取待处理图像的初始特征图后，可以基于图像处理模型中的深度特征提取网络对初始特征图进行进一步的特征提取进而得深度特征。
其中，深度特征提取网络中每个层级的特征处理节点的输入特征图对应于一种尺寸，不同的特征处理节点对应的输入特征图尺寸可能相同，也可能是不同的。
在实际应用中，不同层级的特征处理节点的输入特征图或输出特征图是存在不同的。如若当前特征处理节点为第一个层级的特征处理节点，该特征处理节点的输入特征图为初始特征图，且输入的初始特征图等于该特征处理节点对应的输入特征图尺寸；若当前特征处理节点是除第一个层级之外的其它层级的特征处理节点，则该特征处理节点的输入为其上一层级的各特征处理节点所输出的且等于该特征处理节点对应的输入特征图尺寸的输出特征图；此外，若当前特征处理节点为最后一个层级的特征处理节点，由于最后一个层级的特征处理节不包含门控网络，此时该特征处理节点的输出特征图为将其各输入特征图融合后的输出特征图。
在一示例中，假设当前特征处理节点属于第三个层级的特征处理子网络，对应的输入特征图尺寸为待处理图像的1/8，此时上一层级即为第二个层级的特征处理子网络，且第二个层级的特征处理子网络中包括特征处理节点1和特征处理节点2，特征处理节点1的输出特征图的尺寸分别为待处理图像大小和待处理图像的1/8，特征处理节点2的输出特征图的尺寸分别为待处理图像的1/4、待处理图像的1/8和待处理图像的1/16，此时当前特征处理节点的输入特征图为特征处理节点1输出的待处理图像的1/8大小的输出特征图和特征处理节点2输出的待处理图像的1/8大小的输出特征图。相应的，若第三个层级的特征处理子网络为图像处理模型中的最后一个层级，此时当前特征处理节点则可以对特征处理节点1和特征处理节点2输出的待处理图像的1/8大小的输出特征图进行特征融合，得到输出特征图。
也就是说，在深度特征提取网络中，只有第一个层级的特征处理节点输入为初始特征图，而除最后一个层级的之外的各层级的每个特征处理节点的输出均为至少两种不同尺寸的特征图。
在本公开实施例中，基于最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果，包括：
将最后一个层级的各特征处理节点的输出特征图进行融合，得到尺寸等于待处理图像的尺寸的融合特征图；
基于融合特征图，得到待处理图像的语义分割结果并输出。
在实际应用中，图像处理模块中还可以包括处理结果输出模块，其用于基于最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。也就是说，在得到最后一个层级的各特征处理节点所输出的输出特征图后，即可确定出待处理图像的处理结果。
其中，处理结果输出模块中包括依次级联的特征融合模块和语义分割结果输出模块。此时所包括的特征融合模块可以将最后一个层级的各特征处理节点的输出特征图进行融合，得到尺寸等于待处理图像的尺寸的融合特征图，然后通过语义分割结果输出模块基于融合特征图，得到待处理图像的语义分割结果，并将得到的语义分割结果输出。
其中，将最后一个层级的各特征处理节点的输出特征图进行融合的具体实现方式本申请实施例不限定。例如，将各尺寸的输出特征图进行融合并进行上采样分辨率处理，直至得到尺寸等于待处理图像的尺寸的融合特征图。
在一示例中，假设，最后一个层级的各特征处理节点的输出特征图的尺寸分别为待处理图像尺寸的1/8，待处理图像尺寸的1/4、待处理图像尺寸的1/2，此时可以对尺寸为待处理图像尺寸的1/8的输出特征图进行上采样分辨率处理，得到尺寸为待处理图像尺寸的1/4的特征图，并将得到的尺寸为待处理图像尺寸的1/4的特征图和原尺寸为待处理图像尺寸的1/4的输出特征图进行融合，得到第一融合的特征图，然后对融合的特征图进行上采样分辨率处理，得到尺寸为待处理图像尺寸的1/2的特征图，并将得到的尺寸为待处理图像尺寸的1/2的特征图和原尺寸为待处理图像尺寸的1/2的输出特征图进行融合，得到第二融合的特征图，然后对第二融合的特征图进行上采样分辨率处理，得到尺寸为待处理图像尺寸的融合特征图。
在本申请实施例中，由于图像处理模型中包括多个层级的特征处理子网络，并且每个层级的特征处理子网络中还包括不同深度的特征处理节点，也就是说，该图像处理模型中包含大量的网络结构,从而在根据输入的待处理图像进行动态选择的过程中，可以自适应地选择多个已知网络结构,进而可以适用于不同尺度分布的图像。进一步的，由于除最后一个层级的之外的各层级的每个特征处理节点包括了用于控制输出特征图的门控网络，此时可以自适应地关闭不重要的特征处理节点,从而可以拟合不同的网络结构并对实际运行计算量进行控制，即可以保证确定出适用的网络结构，又可以降低了计算量。
在本申请实施例中，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，包括：
基于特征处理节点的输入特征图，确定初始输出特征图；
将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率；
基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图。
其中，为了描述方便，下文中将除最后一个层级的之外的各层级的每个特征处理节点称之为目标特征处理节点。在实际应该用中，对于每个目标特征处理节点，在将等于该目标特征处理节点的输入特征图尺寸的输出特征图输入至目标特征处理节点时，该目标特征处理节点所包括的特征提取模块可以根据所输入的输入特征图，确定初始输出特征图，并且所包括的特征选择模块(即门控网络)可以根据所输入的输入特征图确定该目标特征处理节点对应于各尺寸的输出特征图的使用概率，然后所包括的特征输出模块可以基于对应于的每一种尺寸的输出特征图的使用概率对初始输出特征图进行特征提取，进而得到该目标特征处理节点对应于各尺寸的输出特征图。
其中，使用概率指的是对应尺寸的特征图的使用可能性，当使用概率越大时，其对应尺寸的特征图的使用可能性越高，反之，则使用可能性越低。
本申请可选的实施例中，各尺寸的特征图的使用概率包括针对初始特征图进行上采样处理的使用概率、进行分辨率不变处理的使用概率、以及进行分辨率下采样处理的使用概率中的至少两种。
也就是说，在目标特征处理节点根据输入特征图确定初始输出特征图后，可以对初始输出特征图进行上采样处理，分辨率不变处理或分辨率下采样处理等，而门控网络用于确定对初始输出特征图的进行上采样处理，分辨率不变处理或分辨率下采样处理的使用概率。
在本申请实施例中，基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图，包括：
对于使用概率大于设定阈值的每一个使用概率，对初始输出特征图分别进行相对应的尺寸的特征提取，以确定特征处理节点的输出特征图。
在实际应用中，目标特征处理节点在确定输出特征图时，可以将使用概率小于设定阈值使用概率过滤掉，即不执行使用概率小于设定阈值所对应的特征提取方式。也就是说，本申请实施例中，可以根据各尺寸的特征图的使用概率，确定对初始输出特征图进行特征提取的方式。其中，阈值的具体数值可以预先设置，本申请实施例不限定。在本申请可选的实施例中，设定阈值可以设置0，也就是说，若使用概率为0，此时将不执行该使用概况对应的特征提取方式。
在一示例中，假设目标特征处理节点通过门控网络确定对应于上采样处理的使用概率为0.5、对应于分辨率不变处理的使用概率为0.6、以及对应于分辨率下采样处理的使用概率为0，且设定阈值为0；相应的，由于对应于上采样处理的使用概率为0.5和对应于分辨率不变处理的使用概率为0.6，且均大于设定阈值，此时目标特征处理节点可以不执行对初始输出特征图进行分辨率上采样处理和对初始特征图进行分辨率不变处理，仅对初始输出特征图进行分辨率下采样处理。
可以理解的是，在本申请实施例中，若特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，则不执行基于特征处理节点的输入特征图，确定初始输出特征图的步骤。
在实际应用中，若特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，此时不需要对初始输出特征图进行特征提取，而为了减少计算量，目标特征处理节点可以不执行基于特征处理节点的输入特征图，确定初始输出特征图的步骤(即将目标特征处理节点处于关闭的状态)。
在本申请实施例中，可以通过各目标特征处理节点中的门控网络确定各目标特征处理节点的输出特征图的使用概率,进而可以动态地将计算量大但对最终结果贡献较小的目标特征处理节点删除,从而在有计算量约束时，可以动态选择网络结构，达到减小计算量的目的。
在本申请可选的实施例中，每个特征处理节点中还包括依次级联的卷积层和残差层，依次级联的卷积层和残差层用于基于特征处理节点的输入特征图，确定初始输出特征图。
在实际应用中，对于图像处理模型中的每个特征处理节点，其还包括依次级联的卷积(SepConv)层和残差(Residual)层，基于该依次级联的卷积层和残差层可以根据输入特征图确定初始输出特征图。其中，需要说明的是，对于最后一个层级中的特征处理节点，基于该卷积层和残差层确定的初始输出特征图即为最后的输出特征图。
此外，在实际应用中，在将等于该特征处理节点的输入特征图尺寸的输出特征图输入至特征处理节点前，可以先对各输入特征图进行融合，得到融合特征图，然后将融合特征图输入至依次级联的卷积层和残差层；也可以直接将各输入特征图输入至依次级联的卷积层和残差层，依次级联的卷积层和残差层先对各输入特征图输进行融合，得到融合特征图，然后基于得到的融合特征图确定初始输出特征图。
在本申请可选的实施例中，门控网络中包括神经网络和激活函数层，将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率，包括：
基于门控网络中包括的神经网络，确定特征处理节点对应于各尺寸的输出特征图的初始使用概率；
基于激活函数对各尺寸的输出特征图的初始使用概率进行激活，得到特征处理节点对应于各尺寸的输出特征图的使用概率。
在实际应用中，门控网络可以为轻量级门控网络，其可以包括卷积神经网络和激活函数层，该卷积神经网络可以将输入特征图映射到隐空间并输出对应于各尺寸的输出特征图的激活值，然后激活函数层对各激活值进行激活，得到对应于各尺寸的输出特征图的使用概率。另外，由于使用概率是经过激活函数层确定的，此时各使用概率被限制在[0,1]之间，而激活函数层可以为max((0,tanh(x))，其中，x为激活值个数。
此外，在实际应用中，在训练图像处理模型中，对于每个目标特征处理节点中门控网络输出的各使用概率，可以将其与对应的输出特征图中的特征值相乘，以达到将特征处理节点和其所包括的门控网络一起进行端到端的训练。
如图2所示，本申请实施例提供一种图像处理模型的结构示意图，并结合该结构示意图。其中，图2中的Scale(比例)下方的数字(即1、1/4、…1/64)表示特征图尺寸(即不同的深度)，如当为1时即特征图尺寸为待处理图像大小，当为1/4时即特征图尺寸为待处理图像的1/4等。
在本示例中，假设图像处理模型为图像语义分割模型，该图像语义分割模型可以包括初始特征提取网络、深度特征提取网络、以及处理结果输出模块。其中，深度特征提取网络中包括L+1个层级的特征处理子网络(图中1列为一个层级)，每个特征处理子网络中包括各特征处理节点(如图中的深度特征提取网络中所包括的圆点所示)，其所包括的各特征处理节点对应一种输入特征图尺寸。例如，对于第二个层级的两个特征处理节点，其对应的输入特征图尺寸分别为尺寸为待处理图像的1/4的初始特征图、以及尺寸为待处理图像的1/8的初始特征图。
在本示例中，获取到待处理图像后，可以通过图中所示的Input(输入)将待处理图像输入至初始特征提取网络，初始特征提取网络中所包括的多尺度特征提取模块(即图中的STEM)将待处理图像的多个尺度的特征图，然后所包括的多尺度特征融合模块可以对得到的多个尺度的特征图进行融合，得到初始特征图。相应的，将初始特征图输入至深度特征提取网络中的第一个层级的特征处理节点，第一个层级的特征处理节点对初始特征图分别进行分辨率不变采样处理(如图2中水平方向的箭头所示)和分辨率下采样处理(如图2中指向右下方的箭头所示)，得到不同的尺寸的输出特征图，然后根据输出特征图的尺寸，将各输出特征图分别输入至对应的第二个层级中的特征处理节点，并以此类推，直至到最后一个层级的特征处理节点。
为了更好的理解。在本示例中以其中一个特征处理节点为例，对除最后一个层级的之外的各层级的每个特征处理节点的处理过程进行说明。其中，该特征处理节点的内容结构如图3所示，具体的：
该特征处理节点的上一层级存在3个特征处理节点所输出的输出特征图的尺寸等于该节点的输入特征图尺寸(如图中C区域所示)，然后可以对该特征处理节点的输入特征图进行融合，得到融合后的特征图(具体如图中的A所示)；进一步，依次级联的卷积层和残差层(具体如图中的cell中的SepConv和Identity所示)基于该融合后的特征图确定初始输出特征图(如图3中b区域所示)，门控网络(如图3中的Gate)基于该融合后的特征图，确定对应于分辨率上采样处理的使用概率、对应于分辨率不变处理的使用概率以及对应于分辨率上采样处理的使用概率；进一步的，假设得到的3个使用概率均大于设定阈值，此时可以对初始输出特征图进行分别进行分辨率上采样处理(如图3中指向右上方的箭头所示)、分辨率不变处理(如图3中水平方向的箭头所示)、以及分辨率下采样处理(如图3中指向右下方的箭头所示)，得到3种不同尺寸的输出特征图(如图3中B区域所示)。其中，图3中Rounting区域为图3中b区域的详细结构示意图。
可以理解是的，在实际应用中，若门控网络确定的各尺寸的输出特征图的使用概率均不大于设定阈值，此时便可以不再执行图中cell部分，也就是说，此时可以不再执行该特征处理节点，进而可以减少了计算量。
进一步的，处理结果输出模块将最后一个层级的各特征处理节点的输出特征图基于分辨率上采样处理方式(如图2中的Upsample)进行融合，得到尺寸等于待处理图像的尺寸的融合特征图，并基于该融合特征图得到待处理图像的语义分割结果并输出(如图2中的Output)。
本申请实施例中，图像处理模型中包括多个尺度的特征处理节点的路径选择空间,可以使所设计的路径选择包含现有大多数的静态网络结构能够高效地提取多个尺度的特征。
进一步的，图像处理模型中包括多个尺度的特征处理节点主要用来聚合多尺度特征并进行后续传播的路径选择.并且可以使用门控网络来对各个特征处理节点进行通断控制。进而在实际应用中，可以根据实际应用场景(如在终端设备或在服务器)的计算量需求，在训练图像处理模型时，通过损失函数进行约束控网络动态地将计算量大但对最终结果贡献较小的特征处理节点删除,即可以根据输入图像动态地决定是否使用该节点进行特征聚合，从而达到在有计算量约束时动态选择网络结构的目的。
如图4所示，本申请实施例提供了一种图像处理装置，如图4所示，该图像处理装置60可以包括：图像获取模块601以及图像处理结果确定模块602，其中，
图像获取模块601，用于获取待处理图像；
图像处理结果确定模块602，用于将待处理图像输入到图像处理模型中，基于待处理模型的输出得到待处理图像的图像处理结果；
其中，图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，以形成动态的图像处理模型，并基于图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。
本申请可选的实施例中，对于除最后一个层级的之外的各层级的每个特征处理节点，图像处理模型在基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图时，具体用于：
基于特征处理节点的输入特征图，确定初始输出特征图；
将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率；
基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图。
本申请可选的实施例中，各尺寸的特征图的使用概率包括针对初始特征图进行上采样处理的使用概率、进行分辨率不变处理的使用概率、以及进行分辨率下采样处理的使用概率中的至少两种。
本申请可选的实施例中，图像处理模型在基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图时，具体用于：
对于使用概率大于设定阈值的每一个使用概率，对初始输出特征图分别进行相对应的尺寸的特征提取，以确定特征处理节点的输出特征图。
本申请可选的实施例中，若特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，则不执行基于特征处理节点的输入特征图，确定初始输出特征图的步骤。
本申请可选的实施例中，每个特征处理节点中还包括依次级联的卷积层和残差层，依次级联的卷积层和残差层用于基于特征处理节点的输入特征图，确定初始输出特征图。
本申请可选的实施例中，门控网络中包括神经网络和激活函数层，图像处理模型在将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率时，具体用于：
基于门控网络中包括的神经网络，确定特征处理节点对应于各尺寸的输出特征图的初始使用概率；
基于激活函数对各尺寸的输出特征图的初始使用概率进行激活，得到特征处理节点对应于各尺寸的输出特征图的使用概率。
本申请实施例提供了一种电子设备，如图5所示，图5所示的电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选地，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。
其中，处理器2001应用于本申请实施例中，用于实现图4所示的各模块的功能。
处理器2001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现图4所示实施例提供的图像处理装置的动作。
本申请实施例提供了一种电子设备，本申请实施例中的电子设备包括：处理器；以及存储器，存储器配置用于存储机器可读指令，该指令在由该处理器执行时，使得该处理器执行所述的图像处理方法。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上用于存储计算机指令，当计算机指令在计算机上运行时，使得计算机可以执行实现图像处理方法。
本申请中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本申请实施例中的一种图像处理方法，在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入到图像处理模型中，基于所述图像处理模型的输出得到所述待处理图像的图像处理结果；
其中，所述图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定所述特征处理节点的输出特征图，以形成动态的图像处理模型，并基于所述图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到所述待处理图像的处理结果；
对于除最后一个层级的之外的各层级的每个特征处理节点，所述基于该特征处理节点中包括的门控网络确定所述特征处理节点的输出特征图，包括：
基于所述特征处理节点的输入特征图，确定初始输出特征图；
将所述特征处理节点的输入特征图输入至所述门控网络，以确定所述特征处理节点对应于各尺寸的输出特征图的使用概率；
基于所述初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定所述特征处理节点的输出特征图。
2.根据权利要求1所述的方法，其特征在于，所述各尺寸的特征图的使用概率包括针对所述初始输出特征图进行上采样处理的使用概率、进行分辨率不变处理的使用概率、以及进行分辨率下采样处理的使用概率中的至少两种。
3.根据权利要求1所述的方法，其特征在于，所述基于所述初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定所述特征处理节点的输出特征图，包括：
对于使用概率大于设定阈值的每一个使用概率，对所述初始输出特征图分别进行相对应的尺寸的特征提取，以确定所述特征处理节点的输出特征图。
4.根据权利要求3所述的方法，其特征在于，若所述特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，则不执行所述基于所述特征处理节点的输入特征图，确定初始输出特征图的步骤。
5.根据权利要求1所述的方法，其特征在于，每个特征处理节点中还包括依次级联的卷积层和残差层，所述依次级联的卷积层和残差层用于基于特征处理节点的输入特征图，确定初始输出特征图。
6.根据权利要求1所述的方法，其特征在于，所述门控网络中包括神经网络和激活函数层，所述将所述特征处理节点的输入特征图输入至所述门控网络，以确定所述特征处理节点对应于各尺寸的输出特征图的使用概率，包括：
基于所述门控网络中包括的神经网络，确定所述特征处理节点对应于各尺寸的输出特征图的初始使用概率；
基于所述激活函数层对各尺寸的输出特征图的初始使用概率进行激活，得到所述特征处理节点对应于各尺寸的输出特征图的使用概率。
7.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
图像处理结果确定模块，用于将所述待处理图像输入到图像处理模型中，基于所述图像处理模型的输出得到所述待处理图像的图像处理结果；
其中，所述图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定所述特征处理节点的输出特征图，以形成动态的图像处理模型，并基于所述图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到所述待处理图像的处理结果；
对于除最后一个层级的之外的各层级的每个特征处理节点，所述图像处理模型在基于该特征处理节点中包括的门控网络确定所述特征处理节点的输出特征图时，具体包括：
基于所述特征处理节点的输入特征图，确定初始输出特征图；
将所述特征处理节点的输入特征图输入至所述门控网络，以确定所述特征处理节点对应于各尺寸的输出特征图的使用概率；
基于所述初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定所述特征处理节点的输出特征图。
8.一种电子设备，其特征在于，包括处理器和存储器：
所述存储器被配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058004.0A CN111275054B (zh) | 2020-01-16 | 2020-01-16 | 图像处理方法、装置、电子设备及存储介质 |
| PCT/CN2020/118866 WO2021143207A1 (zh) | 2020-01-16 | 2020-09-29 | 图像处理方法、装置、计算处理设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058004.0A CN111275054B (zh) | 2020-01-16 | 2020-01-16 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275054A CN111275054A (zh) | 2020-06-12 |
| CN111275054B true CN111275054B (zh) | 2023-10-31 |
Family
ID=71003058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010058004.0A Active CN111275054B (zh) | 2020-01-16 | 2020-01-16 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111275054B (zh) |
| WO (1) | WO2021143207A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275054B (zh) * | 2020-01-16 | 2023-10-31 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112329835A (zh) * | 2020-10-30 | 2021-02-05 | 天河超级计算淮海分中心 | 图像处理方法、电子设备和存储介质 |
| CN114612374A (zh) * | 2020-12-09 | 2022-06-10 | 中国科学院深圳先进技术研究院 | 基于特征金字塔的图像检测模型的训练方法、介质和设备 |
| CN113361567B (zh) * | 2021-05-17 | 2023-10-31 | 上海壁仞智能科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN116051848B (zh) * | 2023-02-10 | 2024-01-09 | 阿里巴巴（中国）有限公司 | 图像特征提取方法、网络模型、装置及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108228700A (zh) * | 2017-09-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 图像描述模型的训练方法、装置、电子设备及存储介质 |
| CN108229650A (zh) * | 2017-11-15 | 2018-06-29 | 北京市商汤科技开发有限公司 | 卷积处理方法、装置及电子设备 |
| KR101903437B1 (ko) * | 2017-06-30 | 2018-10-04 | 동국대학교 산학협력단 | 딥 레지듀얼 러닝 기반 눈 개폐 분류 장치 및 방법 |
| CN108776807A (zh) * | 2018-05-18 | 2018-11-09 | 复旦大学 | 一种基于可跳层双支神经网络的图像粗细粒度分类方法 |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
| CN109710800A (zh) * | 2018-11-08 | 2019-05-03 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频分类方法、装置、终端及存储介质 |
| CN109934153A (zh) * | 2019-03-07 | 2019-06-25 | 张新长 | 基于门控深度残差优化网络的建筑物提取方法 |
| WO2019203921A1 (en) * | 2018-04-17 | 2019-10-24 | Hrl Laboratories, Llc | System for real-time object detection and recognition using both image and size features |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10241520B2 (en) * | 2016-12-22 | 2019-03-26 | TCL Research America Inc. | System and method for vision-based flight self-stabilization by deep gated recurrent Q-networks |
| CN111275054B (zh) * | 2020-01-16 | 2023-10-31 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-01-16 CN CN202010058004.0A patent/CN111275054B/zh active Active
- 2020-09-29 WO PCT/CN2020/118866 patent/WO2021143207A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101903437B1 (ko) * | 2017-06-30 | 2018-10-04 | 동국대학교 산학협력단 | 딥 레지듀얼 러닝 기반 눈 개폐 분류 장치 및 방법 |
| CN108228700A (zh) * | 2017-09-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 图像描述模型的训练方法、装置、电子设备及存储介质 |
| CN108229650A (zh) * | 2017-11-15 | 2018-06-29 | 北京市商汤科技开发有限公司 | 卷积处理方法、装置及电子设备 |
| WO2019203921A1 (en) * | 2018-04-17 | 2019-10-24 | Hrl Laboratories, Llc | System for real-time object detection and recognition using both image and size features |
| CN108776807A (zh) * | 2018-05-18 | 2018-11-09 | 复旦大学 | 一种基于可跳层双支神经网络的图像粗细粒度分类方法 |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
| CN109710800A (zh) * | 2018-11-08 | 2019-05-03 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频分类方法、装置、终端及存储介质 |
| CN109934153A (zh) * | 2019-03-07 | 2019-06-25 | 张新长 | 基于门控深度残差优化网络的建筑物提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 廖晓雯.基于多层特征融合的目标检测.《中国优秀硕士学位论文全文数据库信息科技辑》.2020,第I138-2045页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021143207A1 (zh) | 2021-07-22 |
| CN111275054A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275054B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109101975B (zh) | 基于全卷积神经网络的图像语义分割方法 | |
| JP6837158B2 (ja) | ビデオ識別及びトレーニング方法、装置、電子デバイス及び媒体 | |
| WO2021238262A1 (zh) | 一种车辆识别方法、装置、设备及存储介质 | |
| CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109816659B (zh) | 图像分割方法、装置及系统 | |
| CN111523600A (zh) | 神经网络训练、目标检测、及智能设备控制的方法及装置 | |
| CN114418030B (zh) | 图像分类方法、图像分类模型的训练方法及装置 | |
| US11604272B2 (en) | Methods and systems for object detection | |
| CN111767962A (zh) | 基于生成对抗式网络的一阶段目标检测方法、系统及装置 | |
| CN114511576A (zh) | 尺度自适应特征增强深度神经网络的图像分割方法与系统 | |
| CN113343982A (zh) | 多模态特征融合的实体关系提取方法、装置和设备 | |
| CN111709415B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN113570030A (zh) | 数据处理方法、装置、设备以及存储介质 | |
| CN114202648B (zh) | 文本图像矫正方法、训练方法、装置、电子设备以及介质 | |
| CN114780768A (zh) | 一种视觉问答任务处理方法、系统、电子设备及存储介质 | |
| CN113822287B (zh) | 一种图像处理方法、系统、设备以及介质 | |
| CN115170815A (zh) | 视觉任务处理及模型训练的方法、装置、介质 | |
| CN111783936B (zh) | 卷积神经网络构建方法、装置、设备及介质 | |
| CN116645668B (zh) | 图像生成方法、装置、设备以及存储介质 | |
| CN113313162A (zh) | 一种多尺度特征融合目标检测的方法及系统 | |
| CN110796115B (zh) | 图像检测方法、装置、电子设备及可读存储介质 | |
| CN117115900A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
| CN116579409A (zh) | 基于重参数化的智能相机模型剪枝加速方法及加速系统 | |
| CN116797850A (zh) | 基于知识蒸馏和一致性正则化的类增量图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |