CN112149756A - 模型训练方法、图像识别方法、装置、设备及存储介质 - Google Patents

模型训练方法、图像识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112149756A
CN112149756A CN202011094929.7A CN202011094929A CN112149756A CN 112149756 A CN112149756 A CN 112149756A CN 202011094929 A CN202011094929 A CN 202011094929A CN 112149756 A CN112149756 A CN 112149756A
Authority
CN
China
Prior art keywords
image
resolution
images
model
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011094929.7A
Other languages
English (en)
Inventor
李世行
吴海山
殷磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202011094929.7A priority Critical patent/CN112149756A/zh
Publication of CN112149756A publication Critical patent/CN112149756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种模型训练方法、图像识别方法、装置、设备及存储介质。此模型训练方法包括：获取多个原始图像；针对每一原始图像，对原始图像进行分辨率调整，得到多个不同分辨率的图像；根据多个不同分辨率的图像，训练分辨率识别模型，并根据多个不同分辨率的图像中每一分辨率对应的图像，训练对应于该分辨率的图像识别模型；其中，分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像。通过基于不同分辨率图像对训练分辨率识别模型和多个对应于不同分辨率的图像识别模型，可以在图像识别过程中，利用分辨率识别模型识别图像分辨率，从而选择对应的图像识别模型针对性进行图像识别，以优化识别效果。

Description

模型训练方法、图像识别方法、装置、设备及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种模型训练方法、图像识别方法、装置、设备及存储介质。
背景技术
在很多场景中会涉及到图像识别。图像识别，一般是利用图像识别模型对目标图像进行处理，以进行目标检测、分类等识别。
相关技术中，图像识别模型一般基于一定的数据集进行训练，比如1米分辨率图像数据集。这样训练得到的模型对于1米分辨率图像的识别能达到较好的识别效果，对其它分辨率的图像的识别效果则较差。但是，一些特殊场景，例如遥感领域，采集到的图像的分辨率跨度较大，可能在1m～1km之间。这就导致相关技术中的模型适用性较差，在一些场景中图像识别的效果较差，识别准确率较低。
发明内容
本发明的主要目的在于提供一种模型训练方法、图像识别方法、装置、设备及存储介质，旨在利用此模型训练方法训练新的模型以适用于各种场景的图像识别，且优化识别效果。
为实现上述目的，本发明提供一种模型训练方法，包括：
获取多个原始图像；
针对每一原始图像，对所述原始图像进行分辨率调整，得到多个不同分辨率的图像；
根据所述多个不同分辨率的图像，训练分辨率识别模型，并根据所述多个不同分辨率的图像中每一分辨率对应的图像，训练对应于所述分辨率的图像识别模型；
其中，所述分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像。
可选的，所述对所述原始图像进行分辨率调整，得到多个不同分辨率的图像，包括：
基于所述原始图像，利用超分辨率算法，生成至少一个更高分辨率的图像；
和/或，
基于所述原始图像，利用插值算法，生成至少一个更低分辨率的图像。
可选的，所述根据所述多个不同分辨率的图像，训练分辨率识别模型，包括：
以不同分辨率的图像作为训练样本，以分辨率作为分类标签，基于分类模型进行训练，得到分辨率识别模型。
可选的，所述原始图像为遥感图像，所述方法还包括：
确定获取到的每个遥感图像的分辨率；
计算每一分辨率对应的遥感图像的数量；
根据每一分辨率对应的遥感图像的数量，从多个遥感图像对应的分辨率中选择多个目标分辨率；
相应的，针对每一原始图像，对所述原始图像进行分辨率调整，得到多个不同分辨率的图像，包括：
针对每一原始图像，对所述原始图像进行分辨率调整，得到多个目标分辨率对应的图像。
本发明还提供一种图像识别方法，包括：
获取待识别的目标图像；
利用分辨率识别模型，确定所述目标图像的分辨率；
根据所述目标图像的分辨率，从多个图像识别模型中确定与所述目标图像的分辨率对应的图像识别模型；
利用确定的所述图像识别模型，对所述目标图像进行图像识别；
其中，分辨率识别模型和多个图像识别模型为通过所述模型训练方法训练得到的分辨率识别模型和多个图像识别模型。
可选的，所述获取待识别的目标图像包括：
获取原始目标图像和标准图像；
以所述标准图像为参照，对所述原始目标图像进行校正，得到待识别的目标图像。
本发明还提供一种模型训练装置，包括：
原始图像获取模块，用于获取多个原始图像；
图像生成模块，用于针对每一原始图像，对所述原始图像进行分辨率调整，得到多个不同分辨率的图像；
模型训练模块，用于根据所述多个不同分辨率的图像，训练分辨率识别模型，并根据所述多个不同分辨率的图像中每一分辨率对应的图像，训练对应于所述分辨率的图像识别模型；其中，所述分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像。
本发明还提供一种图像识别装置，包括：
目标图像获取模块，用于获取待识别的目标图像；
分辨率确定模块，用于利用分辨率识别模型，确定所述目标图像的分辨率；
模型确定模块，用于根据所述目标图像的分辨率，从多个图像识别模型中确定与所述目标图像的分辨率对应的图像识别模型；
识别模块，用于利用确定的所述图像识别模型，对所述目标图像进行图像识别；
其中，分辨率识别模型和多个图像识别模型为通过所述模型训练装置训练得到的分辨率识别模型和多个图像识别模型。
本发明还提供一种模型训练设备，所述模型训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型训练程序，所述模型训练程序被所述处理器执行时实现如上所述的模型训练方法的步骤。
本发明还提供一种图像识别设备，所述图像识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像识别程序，所述图像识别程序被所述处理器执行时实现如上所述的图像识别方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有模型训练程序，所述模型训练程序被处理器执行时实现如上所述的模型训练方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像识别程序，所述图像识别程序被处理器执行时实现如上所述的图像识别方法的步骤。
本发明提供一种模型训练方法、图像识别方法、装置、设备及存储介质，包括：获取多个原始图像；针对每一原始图像，对所述原始图像进行分辨率调整，得到多个不同分辨率的图像；根据所述多个不同分辨率的图像，训练分辨率识别模型，并根据所述多个不同分辨率的图像中每一分辨率对应的图像，训练对应于所述分辨率的图像识别模型；其中，所述分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像。通过基于不同分辨率图像对训练分辨率识别模型和多个对应于不同分辨率的图像识别模型，可以在图像识别过程中，利用分辨率识别模型对图像进行分辨率识别，从而选择对应的图像识别模型针对性进行图像识别，以优化识别效果。
附图说明
图1为本发明提供的一种应用场景的示意图；
图2为本发明一实施例提供的一种模型训练方法的流程图；
图3为本发明一实施例提供的一种图像识别方法的流程图；
图4为本发明一实施例提供的一种模型训练和使用过程的流程图；
图5为本发明一实施例提供的一种模型训练装置的结构示意图；
图6为本发明一实施例提供的一种图像识别装置的结构示意图；
图7为本发明一实施例提供的一种模型训练设备的结构示意图；
图8为本发明一实施例提供的一种图像识别设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图像识别，一般是利用图像识别模型对目标图像进行处理，以进行目标检测、分类等识别。图像识别的效果会受到多种因素影响，例如待识别图像的质量、图像识别模型的效果、待识别图像与图像识别模型的匹配度等。
图像识别模型在应用之前，一般需要基于一定的样本数据集进行训练。而样本数据集的选取，一般会考虑与模型的识别任务相关的图像。例如，对应于对目标物体的识别任务，样本数据集会选取大量包含有目标物体的图像，而并不会考虑到选取何种分辨率的图像。而实际上，这种方式也会使得模型对不同分辨率图像的识别效果有所差别。例如，样本中多为1米分辨率图像，则训练得到的模型对于1米分辨率图像的识别能达到较好的识别效果。对于分辨率低于1米的图像，其相对于1米分辨率的图像的细节较为模糊，可能因此导致模型无法很好地处理细节信息而识别失败。对于分辨率高于1米的图像，其相对于1米分辨率的图像可能存在较多噪声，可能因此导致模型更多关注到图像中的噪声而识别失败。
上述的失败情况，可能在分辨率差别不太大的图像之间并不常见，但是，在一些特殊场景中，例如遥感领域，采集到的图像的分辨率跨度较大，可能在1m～1km之间。这就导致上述的失败情况较为常见，也就是说模型适用性较差，在一些场景中图像识别的效果较差，识别率较低。
基于此，本发明提出一种模型训练方法，以期通过此方法训练一可以高效识别图像分辨率的分辨率识别模型和多个可以对应于不同分辨率进行图像识别的图像识别模型。在实际应用过程中则可以利用分辨率识别模型识别图像分辨率，而后根据图像分辨率选取对应的图像识别模型进行针对性识别。
图1为本发明提供的一种应用场景的示意图。本发明的方法，可以适用于各种需要进行图像识别的场景。如图1所示的，以遥感图像的识别为例说明。基于一定数量的遥感图像生成多种不同分辨率的遥感图像，作为训练样本。利用多种不同分辨率的遥感图像训练分辨率识别模型，使分辨率识别模型具备识别不同遥感图像的分辨率的能力。利用每种分辨率的遥感图像对应训练一个图像识别模型，使每个图像识别模型具备对对应分辨率的遥感图像进行图像识别的能力。在应用过程中，待识别的图像首先输入分辨率识别模型，确定分辨率后，输入对应的图像识别模型进行识别。具体的实现方式可以参考以下实施例。
图2为本发明一实施例提供的一种模型训练方法的流程图。本实施例的方法可以包括：
S201、获取多个原始图像。
在本发明中，“原始图像”是相对于经过处理得到的图像的概念。
原始图像可以为具体的应用场景中历史生成的图像。例如，在遥感图像处理的场景中，原始图像可以为历史采集的遥感图像。一般，遥感图像采集和识别是为了对目标区域的某个目标进行监测，因此，原始图像可以为历史采集的针对目标区域的遥感图像。
在图像处理过程中，获取和处理的“图像”实际是由一系列的数据所构成的。构成图像的数据中包括图像尺寸、像素数量、每个像素点的像素值等数据，获取图像的本质就是获取图像的这些基本数据。
S202、针对每一原始图像，对原始图像进行分辨率调整，得到多个不同分辨率的图像。
为了得到足够多的样本数据，可以对原始图像进行分辨率调整，得到不同分辨率的图像，例如0.5倍分辨率、2倍分辨率、8倍分辨率、16倍分辨率等。或者其它满足训练要求的分辨率的图像。
通过分辨率调整的方式，可以得到更多样的分辨率，满足模型训练的需求。特别是对于原始图像数量较少的情况，可以补充缺少的分辨率的图像，丰富样本类型。这样，训练得到的模型可以适用于更多分辨率的图像识别，提升图像识别效果。
至于具体分辨率的确定方式，可以根据图像采集任务或图像识别任务确定。仍以遥感图像处理为例，假设遥感任务包括对目标区域的森林面积监测和树木种类分析。则对应的图像识别任务至少包括两种，第一是对目标区域森林面积的识别，第二是对目标区域的树木进行分类识别。结合两种图像识别任务和卫星拍摄特点，可以知道，对于第一种任务可能需要卫星在较高的位置进行拍摄，拍摄图像所覆盖的范围要尽可能大，这会使得对应的图像的分辨率较低(例如在第一分辨率时，拍摄的图像最佳，可完整呈现整个目标区域)；对于第二种任务可能需要卫星在较低的位置进行拍摄，拍摄图像所覆盖的范围可能会比较小，但图像的分辨率需要较高(例如在第二分辨率时，拍摄的图像最佳，可以很好地识别到图像中树木的种类)。由此，即可确定可适用于此种场景下的图像的分辨率为第一分辨率和第二分辨率。那么，在对原始图像进行分辨率调整时，则可以主要将分辨率调整为第一分辨率和第二分辨率。当然，这里列举的场景较为简单，实际应用中的场景可能更为复杂，涉及到的图像的分辨率的数量可能更多，但原理一致，这里就不再赘述。
在另一种实现方式中，还可以通过获取的原始图像来确定多个不同分辨率的图像的分辨率。仍以遥感图像处理为例，则上述的原始图像为遥感图像。具体的，可以在获取到多个遥感图像后，确定获取到的每个遥感图像的分辨率；然后计算每一分辨率对应的遥感图像的数量；根据每一分辨率对应的遥感图像的数量，从多个遥感图像对应的分辨率中选择多个目标分辨率。
相应的，本步骤中的针对每一原始图像，对原始图像进行分辨率调整，得到多个不同分辨率的图像，可以包括：针对每一原始图像，对原始图像进行分辨率调整，得到多个目标分辨率对应的图像。
其中，可以根据图像中某个物体的所占像素大小与其实际大小的关系，确定每个遥感图像的分辨率。
基于上述的原始图像的获取方式，作为历史生成的图像，原始图像的分辨率一定程度上反映了图像采集任务或图像识别任务对图像分辨率的需求。通过确定每一分辨率对应的遥感图像的数量，可以区分每一分辨率的重要程度或者说会再次出现的概率。例如，在数百张遥感图像中，某一分辨率的图像仅出现过一次，那么大致可以推断此种分辨率的图像出现的概率极低，不属于图像识别任务的主要对象。据此，即可以选择出多个目标分辨率，目标分辨率可以是再次出现的概率较高的分辨率(或者说图像识别任务的主要对象)。那么，在对原始图像进行分辨率调整时，则可以主要将分辨率调整为目标分辨率。
这种调整方式，可以在一定程度上减少图像识别模型的数量，节省内存资源和处理资源。
另外，在对原始图像进行调整前(或调整后)，还可以对图像进行校正，以尽量确保训练样本的角度一致。具体的，可以首先确定一标准图像(可以从原始图像中确定，或者从目标区域相关的标准地图中确定)，然后以标准图像为参照，对原始图像进行校正，得到标准角度的图像。校正过程可以为，分别在标准图像和原始图像中选取若干个相同的参考特征点，调整原始图像使得原始图像中的若干个参考特征点与标准图像中的若干个参考特征点对正，得到校正后的图像。
其中，标准图像指的是可提供图片方向、角度等参考标准的图像。例如遥感领域的标准地图等。图像中的参考特征点指的是辨识度较高的明显特征点，例如建筑物、交叉路口、地理标志等。通过向标准图像对正，可以修正原始图像存在的旋转、弯曲等形变。需要说明的是，标准图像仅用于图像校正使用，而校正过程中仅对齐参考特征点的相对位置，而并不影响原始图像的分辨率。标准图像可用于参与训练过程，也可不参与训练过程。
例如，原始图像相对于标准图像存在一定角度，这会使得原始图像中的参考特征点相对于标准图像中的参考特征点存在一定角度，通过计算原始图像中的参考特征点与标准图像中的参考特征点对正的公式，将其应用至整个原始图像即可实现校正。
另外需要说明的是，若在训练模型过程中，对训练数据(原始图像及基于原始图像生成的图像)进行校正，则在利用模型进行图像识别前，也可以对待识别的图像做同样校正处理，以提高识别效果。
对图像进行分辨率调整或者进行校正的过程，实际上也是通过对图像尺寸、像素数量、每个像素点的像素值等相关数据进行调整实现的。
S203、根据多个不同分辨率的图像，训练分辨率识别模型，并根据多个不同分辨率的图像中每一分辨率对应的图像，训练对应于该分辨率的图像识别模型。
其中，分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像。
具体的，可以将不同分辨率的图像作为训练样本，将分辨率作为标签，训练分辨率识别模型。分辨率识别模型可以为分类模型，具体的可以为卷积神经分类模型等。
利用图像-分辨率的对应关系进行有监督学习，相对于无监督学习而言，训练效率更高，效果更好。
可以将每种分辨率的图像及其对应的识别结果数据作为一组训练样本，训练一个或多个图像识别模型。图像识别模型具体的可以为目标识别模型。这样，可以得到一系列图像识别模型，每个图像识别模型都对应一个识别效果最佳的分辨率，可用于高效识别此分辨率的图像。
本实施例提供的模型训练方法，可以获取多个原始图像，针对每一原始图像，对原始图像进行分辨率调整，得到多个不同分辨率的图像，根据多个不同分辨率的图像，训练分辨率识别模型，并根据多个不同分辨率的图像中每一分辨率对应的图像，训练对应于该分辨率的图像识别模型，其中，分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像，通过基于不同分辨率图像对训练分辨率识别模型和多个对应于不同分辨率的图像识别模型，可以在图像识别过程中，利用分辨率识别模型对图像进行分辨率识别，从而选择对应的图像识别模型针对性进行图像识别，以优化识别效果，提高模型的准确率。
可选的，上述的对原始图像进行分辨率调整的方式可以包括：基于原始图像，利用超分辨率算法，生成至少一个更高分辨率的图像；和/或，基于原始图像，利用插值算法，生成至少一个更低分辨率的图像和/或至少一个更高分辨率的图像。
超分辨率算法可以选择基于深度学习的图像超分辨率重建方法。具体的，可以确定若干组对应的高分辨率图像和低分辨率图像，通过神经网络基于其中的低分辨率图像重新构建对应的高分辨率图像，比较重新构建的高分辨率图像与原高分辨率图像，根据比较结果不断修正神经网络中的节点模型和参数，直至重新构建的高分辨率图像相对原高分辨率图像的失真足够小。如此构建的神经网络即可用于生成对应于原始图像的更高分辨率的图像。需要说明的是，本发明中所说的“更高分辨率”指的是分辨率高于原始图像的分辨率，“更低分辨率”指的是分辨率低于原始图像的分辨率。
插值算法是基于原始图像的每个像素点的像素值，确定新生成的更低分辨率的图像或更高分辨率的图像的每个像素点的像素值的方法。具体的，在生成更高分辨率的图像时，相当于将某个目标物体在图像中所占的像素增多。可以理解为在原始图像中的每个原始像素点的周围增加新的像素点，根据每个新增像素点周围的原始像素点的像素值，确定每个新增像素点的像素值即可。在生成更低分辨率的图像时，相当于将某个目标物体在图像中所占的像素减少。可以理解为将原始图像中的多个原始像素点压缩成一个新的像素点，根据每个新的像素点对应的多个原始像素点的像素值，确定每个新的像素点的像素值即可。
通过算法生成的图像，相对于图像采集装置直接采集的图像的质量可能更好。快速生成高质量的图像，更有利于模型的训练。
对于图像识别的效果可能还会受到采集图像时的环境因素的影响。例如，在户外采集图像时遇到雨雪天气，使得图像中出现遮挡；或者受到光影的影响而在图像中出现反光、阴影造成的失真等。针对这种情况，上述的模型训练方法还可以包括：针对每一分辨率对应的多个图像，按照拍摄环境属性进行分类；上述的根据多个不同分辨率的图像中每一分辨率对应的图像，训练对应于该分辨率的图像识别模型，可以包括：根据得到的不同分辨率、不同拍摄环境属性的图像，训练多个分别对应于不同分辨率、不同拍摄环境属性的图像识别模型。
其中，拍摄环境属性可以包括但不限于：天气状况、环境亮度等。拍摄环境属性可以根据采集图像时的相关记录确定，也可以从图像中提取相关信息进行分析确定。以天气状况为例，可以将每一分辨率对应的多个图像再按天气状况进行分组，得到多组相同分辨率相同天气的图像。然后利用多组相同分辨率相同天气的图像训练多个图像识别模型。相对应的，在模型使用时，可以确定待识别图像的分辨率和天气状况后，输入对应的图像识别模型进行识别，从而有效提高对不同天气下采集的图像识别效率。
为了提升识别效果，也可以另外增加其它属性，以更为精细地划分图像识别模型的有效识别范围。
图3为本发明一实施例提供的一种图像识别方法的流程图。本实施例的方法可以包括：
S301、获取待识别的目标图像。
目标图像可以为图像采集装置采集到的图像。
在一些实施方式中，也可以对目标图像进行校正。与上述的对原始图像的校正相似的，可以首先确定一标准图像(若模型训练阶段也做了图像校正，则可以直接选用同样的标准图像作为校正过程的参照标准)，然后以标准图像为参照，对目标图像进行校正，得到标准角度的图像。校正过程可以为，分别在标准图像和目标图像中选取若干个相同的参考特征点，调整目标图像使得目标图像中的若干个参考特征点与标准图像中的若干个参考特征点对正，得到校正后的目标图像。
S302、利用分辨率识别模型，确定目标图像的分辨率。
将目标图像或校正后的目标图像输入分辨率识别模型，即可输出目标图像的分辨率。
S303、根据目标图像的分辨率，从多个图像识别模型中确定与目标图像的分辨率对应的图像识别模型。
从多个图像识别模型中选择与目标图像的分辨率一致的图像识别模型。即图像识别模型的训练样本的分辨率与目标图像的分辨率一致。具体的，可以在存储图像识别模型时，将图像识别模型的训练样本的分辨率作为其中一个属性进行标记，以便于图像识别模型的选择。
S304、利用确定的图像识别模型，对目标图像进行图像识别。
将目标图像或校正后的目标图像输入确定的图像识别模型，即可输出识别结果。根据不同分辨率的图像对应的不同识别任务，图像识别模型的输出也可能有所不同。例如，若图像识别任务为对目标区域森林面积的识别，则输出为目标区域森林面积的大小；若图像识别任务为对目标区域的树木进行分类识别，则输出为目标区域中树木的类别。
本实施例中的分辨率识别模型和多个图像识别模型为通过上述的模型训练方法训练得到的分辨率识别模型和多个图像识别模型。本实施例可以达到与上述实施例相同的技术效果，此处不再赘述。
图4为本发明一实施例提供的一种模型训练和使用过程的流程图。本实施例的方法可以包括：
(1)输入经过校正处理的数据集，数据集包含图像以及对应的目标任务标签。
(2)数据生成。通过超分辨率算法生成更高分辨率的图像数据，通过图像缩放、使用不同的插值方法获取低分辨率图像，得到不同分辨率(比如0.5、2、8、16倍分辨率)的图像数据和对应的标签，分别进行存储。
(3)对不同分辨率的图像数据，以分辨率作为分类标签，构建分类模型(如卷积神经分类模型)，获得分辨率识别模型A。
(4)针对不同的分辨率图像数据和对应的标签，训练目标任务模型B1、B2、B3……。
(5)预测时，对于输入的图像，先经过分辨率识别模型A获取预测的分辨率，根据该结果初始化对应的目标识别模型Bi(i＝1,2,3,……)，将图像输入到Bi中执行预测得到识别结果。
在实际应用中，本实施例提供的方法可以用于遥感图像的图像识别模型的训练和应用，提高对遥感图像的识别效率和识别效果。
图5为本发明一实施例提供的一种模型训练装置的结构示意图。本实施例的模型训练装置500，可以包括：原始图像获取模块501、图像生成模块502、模型训练模块503。
原始图像获取模块501，用于获取多个原始图像；
图像生成模块502，用于针对每一原始图像，对原始图像进行分辨率调整，得到多个不同分辨率的图像；
模型训练模块503，用于根据多个不同分辨率的图像，训练分辨率识别模型，并根据多个不同分辨率的图像中每一分辨率对应的图像，训练对应于该分辨率的图像识别模型；其中，分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像。
可选的，图像生成模块502在对原始图像进行分辨率调整，得到多个不同分辨率的图像时，具体可以用于：
基于原始图像，利用超分辨率算法，生成至少一个更高分辨率的图像；
和/或，
基于原始图像，利用插值算法，生成至少一个更低分辨率的图像。
可选的，模型训练模块503在根据多个不同分辨率的图像，训练分辨率识别模型时，具体用于：
以不同分辨率的图像作为训练样本，以分辨率作为分类标签，基于分类模型进行训练，得到分辨率识别模型。
可选的，原始图像为遥感图像，模型训练装置500还可以包括：
确定模块504，用于确定获取到的每个遥感图像的分辨率；
计数模块505，用于计算每一分辨率对应的遥感图像的数量；
选择模块506，用于根据每一分辨率对应的遥感图像的数量，从多个遥感图像对应的分辨率中选择多个目标分辨率；
相应的，图像生成模块502在针对每一原始图像，对原始图像进行分辨率调整，得到多个不同分辨率的图像时，具体用于：
针对每一原始图像，对原始图像进行分辨率调整，得到多个目标分辨率对应的图像。
本实施例的装置可用于执行上述实施例中的模型训练方法，产生的技术效果相似，此处不再赘述。
图6为本发明一实施例提供的一种图像识别装置的结构示意图。本实施例的图像识别装置600，可以包括：目标图像获取模块601、分辨率确定模块602、模型确定模块603、识别模块604。
目标图像获取模块601，用于获取待识别的目标图像；
分辨率确定模块602，用于利用分辨率识别模型，确定目标图像的分辨率；
模型确定模块603，用于根据目标图像的分辨率，从多个图像识别模型中确定与目标图像的分辨率对应的图像识别模型；
识别模块604，用于利用确定的图像识别模型，对目标图像进行图像识别；
其中，分辨率识别模型和多个图像识别模型为通过模型训练装置训练得到的分辨率识别模型和多个图像识别模型。
可选的，目标图像获取模块601在获取待识别的目标图像时，具体用于：
获取原始目标图像和标准图像；
以标准图像为参照，对原始目标图像进行校正，得到待识别的目标图像。
本实施例的装置可用于执行上述实施例中的图像识别方法，产生的技术效果相似，此处不再赘述。
在另一实施例中，可以有一装置，同时具有上述两实施例中模型训练装置500和图像识别装置600中的各构成模块，且可以执行上述的模型训练方法和上述的图像识别方法。
本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述的模型训练方法或图像识别方法的步骤。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的模型训练方法或图像识别方法的步骤。
图7为本发明一实施例提供的一种模型训练设备的结构示意图。本实施例的模型训练设备700包括：存储器701、处理器702及存储在存储器701上并可在处理器702上运行的模型训练程序，模型训练程序被处理器702执行时实现上述的模型训练方法的步骤。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有模型训练程序，模型训练程序被处理器执行时实现上述的模型训练方法的步骤。
图8为本发明一实施例提供的一种图像识别设备的结构示意图。本实施例的图像识别设备800包括：存储器801、处理器802及存储在存储器801上并可在处理器802上运行的图像识别程序，图像识别程序被处理器802执行时实现上述的图像识别方法的步骤。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有图像识别程序，图像识别程序被处理器执行时实现上述的图像识别方法的步骤。
上述的模型训练设备700和图像识别设备800可以为服务器或者计算机等具有计算和存储能力的电子设备。
在另一实施例中，上述的模型训练设备700和图像识别设备800可以为同一电子设备。
本发明针对如遥感图像(如不同卫星获取的数据)尺度变化大造成模型难以泛化的缺点，提出了使用额外的模块，构建出分辨率识别模型并在图像识别时进行任务模型的切换的方法，提高了图像任务的识别能力、精度以及分辨率差别过大时的模型泛化能力。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种模型训练方法，其特征在于，包括：
获取多个原始图像；
针对每一原始图像，对所述原始图像进行分辨率调整，得到多个不同分辨率的图像；
根据所述多个不同分辨率的图像，训练分辨率识别模型，并根据所述多个不同分辨率的图像中每一分辨率对应的图像，训练对应于所述分辨率的图像识别模型；
其中，所述分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行分辨率调整，得到多个不同分辨率的图像，包括：
基于所述原始图像，利用超分辨率算法，生成至少一个更高分辨率的图像；和/或，
基于所述原始图像，利用插值算法，生成至少一个更低分辨率的图像。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述多个不同分辨率的图像，训练分辨率识别模型，包括：
以不同分辨率的图像作为训练样本，以分辨率作为分类标签，基于分类模型进行训练，得到分辨率识别模型。
4.根据权利要求1所述的方法，其特征在于，所述原始图像为遥感图像，所述方法还包括：
确定获取到的每个遥感图像的分辨率；
计算每一分辨率对应的遥感图像的数量；
根据每一分辨率对应的遥感图像的数量，从多个遥感图像对应的分辨率中选择多个目标分辨率；
相应的，针对每一原始图像，对所述原始图像进行分辨率调整，得到多个不同分辨率的图像，包括：
针对每一原始图像，对所述原始图像进行分辨率调整，得到多个目标分辨率对应的图像。
5.一种图像识别方法，其特征在于，包括：
获取待识别的目标图像；
利用分辨率识别模型，确定所述目标图像的分辨率；
根据所述目标图像的分辨率，从多个图像识别模型中确定与所述目标图像的分辨率对应的图像识别模型；
利用确定的所述图像识别模型，对所述目标图像进行图像识别；
其中，分辨率识别模型和多个图像识别模型为通过权利要求1-4任一项所述的方法训练得到的分辨率识别模型和多个图像识别模型。
6.根据权利要求5所述的方法，其特征在于，所述获取待识别的目标图像包括：
获取原始目标图像和标准图像；
以所述标准图像为参照，对所述原始目标图像进行校正，得到待识别的目标图像。
7.一种模型训练装置，其特征在于，包括：
原始图像获取模块，用于获取多个原始图像；
图像生成模块，用于针对每一原始图像，对所述原始图像进行分辨率调整，得到多个不同分辨率的图像；
模型训练模块，用于根据所述多个不同分辨率的图像，训练分辨率识别模型，并根据所述多个不同分辨率的图像中每一分辨率对应的图像，训练对应于所述分辨率的图像识别模型；其中，所述分辨率识别模型用于识别图像的分辨率，每一分辨率对应的图像识别模型用于识别对应分辨率的图像。
8.一种图像识别装置，其特征在于，包括：
目标图像获取模块，用于获取待识别的目标图像；
分辨率确定模块，用于利用分辨率识别模型，确定所述目标图像的分辨率；
模型确定模块，用于根据所述目标图像的分辨率，从多个图像识别模型中确定与所述目标图像的分辨率对应的图像识别模型；
识别模块，用于利用确定的所述图像识别模型，对所述目标图像进行图像识别；
其中，分辨率识别模型和多个图像识别模型为通过权利要求7所述的装置训练得到的分辨率识别模型和多个图像识别模型。
9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
CN202011094929.7A 2020-10-14 2020-10-14 模型训练方法、图像识别方法、装置、设备及存储介质 Pending CN112149756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011094929.7A CN112149756A (zh) 2020-10-14 2020-10-14 模型训练方法、图像识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011094929.7A CN112149756A (zh) 2020-10-14 2020-10-14 模型训练方法、图像识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112149756A true CN112149756A (zh) 2020-12-29

Family

ID=73951844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011094929.7A Pending CN112149756A (zh) 2020-10-14 2020-10-14 模型训练方法、图像识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112149756A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597983A (zh) * 2021-03-04 2021-04-02 湖南航天捷诚电子装备有限责任公司 一种遥感图像中目标对象的识别方法及其存储介质和系统
CN113591675A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 图像识别模型的构建方法、装置、设备以及存储介质
CN116912604A (zh) * 2023-09-12 2023-10-20 浙江大华技术股份有限公司 模型训练方法、图像识别方法、装置以及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855490A (zh) * 2012-07-23 2013-01-02 黑龙江工程学院 高分辨率遥感影像面向对象神经网络分类方法
CN107992894A (zh) * 2017-12-12 2018-05-04 北京小米移动软件有限公司 图像识别方法、装置及计算机可读存储介质
CN108288027A (zh) * 2017-12-28 2018-07-17 新智数字科技有限公司 一种图像质量的检测方法、装置及设备
CN108629287A (zh) * 2018-04-09 2018-10-09 华南农业大学 一种遥感影像地物分类方法
CN108921042A (zh) * 2018-06-06 2018-11-30 四川大学 一种基于深度学习的人脸序列表情识别方法
CN109284700A (zh) * 2018-09-05 2019-01-29 武汉斗鱼网络科技有限公司 图像中多个人脸检测的方法、存储介质、设备及系统
CN110766612A (zh) * 2019-12-26 2020-02-07 杭州知衣科技有限公司 一种基于深度学习的图像超分辨率方法
CN110909578A (zh) * 2018-09-18 2020-03-24 中国移动通信有限公司研究院 一种低分辨率图像识别方法、装置和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855490A (zh) * 2012-07-23 2013-01-02 黑龙江工程学院 高分辨率遥感影像面向对象神经网络分类方法
CN107992894A (zh) * 2017-12-12 2018-05-04 北京小米移动软件有限公司 图像识别方法、装置及计算机可读存储介质
CN108288027A (zh) * 2017-12-28 2018-07-17 新智数字科技有限公司 一种图像质量的检测方法、装置及设备
CN108629287A (zh) * 2018-04-09 2018-10-09 华南农业大学 一种遥感影像地物分类方法
CN108921042A (zh) * 2018-06-06 2018-11-30 四川大学 一种基于深度学习的人脸序列表情识别方法
CN109284700A (zh) * 2018-09-05 2019-01-29 武汉斗鱼网络科技有限公司 图像中多个人脸检测的方法、存储介质、设备及系统
CN110909578A (zh) * 2018-09-18 2020-03-24 中国移动通信有限公司研究院 一种低分辨率图像识别方法、装置和存储介质
CN110766612A (zh) * 2019-12-26 2020-02-07 杭州知衣科技有限公司 一种基于深度学习的图像超分辨率方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUMA，H 等，: "A Face and Posture Recognition Model Using CNN for Adapting Different Resolution Images", 《WEB, ARTIFICIAL INTELLIGENCE AND NETWORK APPLICATIONS. PROCEEDINGS OF THE WORKSHOPS OF THE 34TH INTERNATIONAL CONFERENCE ON ADVANCED INFORMATION NETWORKING AND APPLICATIONS (WAINA-2020). ADVANCES IN INTELLIGENT SYSTEMS AND COMPUTING (AISC 1150)》, 31 March 2020 (2020-03-31), pages 440 - 446 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597983A (zh) * 2021-03-04 2021-04-02 湖南航天捷诚电子装备有限责任公司 一种遥感图像中目标对象的识别方法及其存储介质和系统
CN112597983B (zh) * 2021-03-04 2021-05-14 湖南航天捷诚电子装备有限责任公司 一种遥感图像中目标对象的识别方法及其存储介质和系统
CN113591675A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 图像识别模型的构建方法、装置、设备以及存储介质
CN116912604A (zh) * 2023-09-12 2023-10-20 浙江大华技术股份有限公司 模型训练方法、图像识别方法、装置以及计算机存储介质
CN116912604B (zh) * 2023-09-12 2024-01-16 浙江大华技术股份有限公司 模型训练方法、图像识别方法、装置以及计算机存储介质

Similar Documents

Publication Publication Date Title
US11138478B2 (en) Method and apparatus for training, classification model, mobile terminal, and readable storage medium
CN112149756A (zh) 模型训练方法、图像识别方法、装置、设备及存储介质
CN108764372A (zh) 数据集的构建方法和装置、移动终端、可读存储介质
CN110705405A (zh) 目标标注的方法及装置
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN111193965B (zh) 一种视频播放方法、视频处理方法及装置
CN110688524B (zh) 视频检索方法、装置、电子设备及存储介质
CN108897786A (zh) 应用程序的推荐方法、装置、存储介质及移动终端
CN113658192B (zh) 一种多目标行人的轨迹获取方法、系统、装置及介质
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
CN110490058B (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
CN112183542A (zh) 基于文本图像的识别方法、装置、设备和介质
CN111797832A (zh) 一种图像感兴趣区域自动生成方法及系统及图像处理方法
CN114240940B (zh) 一种基于遥感影像的云及云阴影检测方法和装置
CN113822277B (zh) 基于深度学习目标检测的违规广告图片检测方法及系统
CN115620119A (zh) 一种天气类型图像检测及雾天图像处理方法及装置
CN111709951B (zh) 目标检测网络训练方法及系统及网络及装置及介质
CN115829890A (zh) 一种图像融合方法、装置、设备、存储介质及产品
CN113609990A (zh) 目标建筑物的施工进度的确定方法、装置和服务器
CN110942005A (zh) 物体识别方法及装置
CN111260623A (zh) 图片评价方法、装置、设备及存储介质
US20230401691A1 (en) Image defect detection method, electronic device and readable storage medium
JP2014232373A (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
CN116071556B (zh) 一种基于目标框的大尺寸图像自适应裁剪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination