CN111931873A - 图像识别方法和装置 - Google Patents
图像识别方法和装置 Download PDFInfo
- Publication number
- CN111931873A CN111931873A CN202011040050.4A CN202011040050A CN111931873A CN 111931873 A CN111931873 A CN 111931873A CN 202011040050 A CN202011040050 A CN 202011040050A CN 111931873 A CN111931873 A CN 111931873A
- Authority
- CN
- China
- Prior art keywords
- feature
- local
- image
- features
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Abstract
本说明书实施例提供了图像识别方法和装置。根据实施例的方法,首先需要对待识别图像分别进行两次降尺寸处理,其中一个分支得到保留有待识别图像的全局语义及上下文关系的全局特征,另一个分支得到损失了待识别图像的全局语义但是保留有局部细节的多个第一局部特征。然后利用两个分支协同工作,在特征层面进行了特征共享,使得两个分支能够共享信息,同时关注各自擅长的部分,有效地利用待识别图像的整体和局部信息完成对待识别图像的识别。
Description
技术领域
本说明书一个或多个实施例涉及图像处理技术领域,尤其涉及图像识别方法和装置。
背景技术
图像是客观对象的一种相似性的、生动性的描述或写真,是人们最常用的信息载体。它是人们最主要的信息源。
目前,图像识别通常采用基于深度学习的图像识别方法,但是该识别方法对于尺寸较大的图像,比如遥感影像图,图像的识别精度较低。因此,针对以上不足,需要提供更精准地图像识别方案。
发明内容
本说明书一个或多个实施例描述了图像识别方法和装置,能够提高图像的识别精度。
根据第一方面,提供了图像识别方法,包括:
对待识别图像进行第一降尺寸处理,得到能够被计算机处理的该待识别图像的全局特征;所述全局特征包含所述待识别图像的全局语义及上下文关系;
对待识别图像进行第二降尺寸处理,得到能够被计算机处理的该待识别图像的至少两个第一局部特征;
对所述全局特征和所述至少两个第一局部特征进行合并处理;
对合并处理后的特征进行识别,得到所述待识别图像的识别结果。
在一个实施例中,其中,所述对所述全局特征和所述至少两个第一局部特征进行合并处理,包括:
将所述全局特征划分为至少两个第二局部特征;
将所述至少两个第一局部特征与所述至少两个第二局部特征进行合并处理。
在一个实施例中,其中,所述对所述全局特征和所述至少两个第一局部特征进行合并处理进一步包括:
将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行第一合并处理,得到第一合并特征;其中,所述拼接后的特征的大小与所述全局特征的大小相同;
所述对合并处理后的特征进行识别得到所述待识别图像的识别结果,包括:
对所述第一合并特征进行识别,得到第一识别结果;
对所述第二合并特征进行识别,得到第二识别结果;所述第二合并特征为所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理后得到的特征;
根据所述第一识别结果和所述第二识别结果,得到所述待识别图像的识别结果。
在一个实施例中,其中,
所述对所述第一合并特征进行识别,得到第一识别结果,包括:
对所述第一合并特征进行分析,得到全局注意力图和全局识别概率图,其中,所述全局注意力图用于表征所述第一合并特征中的每一个特征项被关注的程度,所述全局识别概率图用于描述所述第一合并特征项中的每一个特征项属于被识别出的类别的概率;
将全局注意力图中的每一个特征项被关注的程度与所述全局识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第一识别结果;
所述对所述第二合并特征进行识别,得到第二识别结果,包括:
对所述第二合并特征进行分析,得到局部注意力图和局部识别概率图,其中,所述局部注意力图用于表征所述第二合并特征中的每一个特征项被关注的程度,所述局部识别概率图用于描述所述第二合并特征项中的每一个特征项属于被识别出的类别的概率;
将局部注意力图中的每一个特征项被关注的程度与所述局部识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第二识别结果。
在一个实施例中,其中,所述根据所述第一识别结果和所述第二识别结果得到所述待识别图像的识别结果,包括:
计算所述第一识别结果和所述第二识别结果的平均值,将得到的该平均值作为所述待识别图像的识别结果。
在一个实施例中,其中,所述将所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理,包括:
将每一个所述第一局部特征与该第一局部特征相对应的一个第二局部特征进行合并处理;其中,第一局部特征及该第一局部特征相对应的第二局部特征映射在所述待识别图像中的相同位置。
在一个实施例中,其中,所述对所述全局特征和所述至少两个第一局部特征进行合并处理,包括:
将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行合并处理;其中,所述拼接后的特征的大小与所述全局特征的大小相同。
在一个实施例中,其中,所述对待识别图像进行第一降尺寸处理包括:
对所述待识别图像进行降采样处理。
在一个实施例中,其中,所述对待识别图像进行第二降尺寸处理包括:
对所述待识别图像进行裁剪处理。
根据第二方面,提供了图像识别装置,包括:
第一处理模块,配置为对待识别图像进行第一降尺寸处理,得到能够被计算机处理的该待识别图像的全局特征;所述全局特征包含所述待识别图像的全局语义及上下文关系;
第二处理模块,配置为对待识别图像进行第二降尺寸处理,得到能够被计算机处理的该待识别图像的至少两个第一局部特征;
合并处理模块,配置为对所述第一处理模块得到的所述全局特征和所述第二处理模块得到的所述至少两个第一局部特征进行合并处理;
分析识别模块,配置为对所述合并处理模块合并处理后的特征进行识别,得到所述待识别图像的识别结果。
在一个实施例中,其中,所述合并处理模块,配置为将所述全局特征划分为至少两个第二局部特征;将所述至少两个第一局部特征与所述至少两个第二局部特征进行合并处理。
在一个实施例中,其中,所述合并处理模块,配置为将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行第一合并处理,得到第一合并特征;其中,所述拼接后的特征的大小与所述全局特征的大小相同;
所述分析识别模块包括:
第一识别模块,配置为对所述第一合并特征进行识别,得到第一识别结果;
第二识别模块,配置为对所述第二合并特征进行识别,得到第二识别结果;所述第二合并特征为所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理后得到的特征;
结果分析模块,配置为根据所述第一识别结果和所述第二识别结果,得到所述待识别图像的识别结果。
在一个实施例中,其中,
所述第一识别模块,配置为对所述第一合并特征进行分析,得到全局注意力图和全局识别概率图,其中,所述全局注意力图用于表征所述第一合并特征中的每一个特征项被关注的程度,所述全局识别概率图用于描述所述第一合并特征项中的每一个特征项属于被识别出的类别的概率;将全局注意力图中的每一个特征项被关注的程度与所述全局识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第一识别结果;
所述第二识别模块,配置为对所述第二合并特征进行分析,得到局部注意力图和局部识别概率图,其中,所述局部注意力图用于表征所述第二合并特征中的每一个特征项被关注的程度,所述局部识别概率图用于描述所述第二合并特征项中的每一个特征项属于被识别出的类别的概率;
将局部注意力图中的每一个特征项被关注的程度与所述局部识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第二识别结果。
在一个实施例中,其中,
所述结果分析模块,配置为计算所述第一识别结果和所述第二识别结果的平均值,将得到的该平均值作为所述待识别图像的识别结果。
在一个实施例中,其中,所述合并处理模块,配置为将每一个所述第一局部特征与该第一局部特征相对应的一个第二局部特征进行合并处理;其中,第一局部特征及该第一局部特征相对应的第二局部特征映射在所述待识别图像中的相同位置。
在一个实施例中,其中,所述合并处理模块,配置为将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行合并处理;其中,所述拼接后的特征的大小与所述全局特征的大小相同。
在一个实施例中,其中,所述第一处理模块,配置为对所述待识别图像进行降采样处理。
在一个实施例中,其中,所述第二处理模块,配置为对所述待识别图像进行裁剪处理。
根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面中任一项所述的方法。
根据第四方面,提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面中任一项所述的方法。
根据说明书实施例提供的方法和设备,由于待识别图像的尺寸较大无法被计算机处理,因此,可先对待识别图像进行第一降尺寸处理,得到保留有上下文关系以及全局语义的全局特征。然后再对待识别图像进行第二降尺寸处理,得到保留有图像局部细节的多个第一局部特征。最后通过将全局特征与多个第一局部特征进行合并,既可以明确待识别图像的全局语义及上下文关系,又可以明确待识别图像局部的细节,最后通过对合并处理后的特征进行识别,即可得到针对待识别图像精确度相对较高的识别结果,从而实现提高图像的识别精度的目的。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书一个实施例提供的图像识别方法的流程图;
图2是本说明书一个实施例提供的图像处理方式的示意图;
图3是本说明书另一个实施例提供的图像处理方式的示意图;
图4是本说明书又一个实施例提供的图像处理方式的示意图;
图5是本说明书另一个实施例提供的图像识别装置的示意图。
具体实施方式
如前所述,对于尺寸较大的图像,例如,遥感影像图,无论是传统的图像识别方法还是新兴的基于深度学习的图像识别方法都无法准确地识别出图像。
为此,根据本说明书的实施例,总体上先对待识别图像分别进行第一降尺寸和第二降尺寸处理,既得到保留有全局语义和上下文关系的全局特征,又得到损失了上下文关系但保留有图像局部细节的多个第一局部特征。通过将全局特征与第一局部特征合并处理,这样,可以缓解待识别图像单独通过降采样或裁剪方式处理后给图像分析带来的精度损失的避免在对图像进行降尺寸处理时,损失全局特征或者局部特征而导致的识别不准确的问题情况,从而能够极大地提高待识别图像的识别精度。如图1所示,本说明书实施例提供了图像识别方法,具体可以包括以下步骤:
步骤101:对待识别图像进行第一降尺寸处理,得到能够被计算机处理的该待识别图像的全局特征;所述全局特征包含所述待识别图像的全局语义及上下文关系;
步骤103:对待识别图像进行第二降尺寸处理,得到能够被计算机处理的该待识别图像的至少两个第一局部特征;
步骤105:对所述全局特征和所述至少两个第一局部特征进行合并处理;
步骤107:对合并处理后的特征进行识别,得到所述待识别图像的识别结果。
在本实施例中,由于待识别图像的尺寸较大无法被计算机处理,因此,可先对待识别图像进行第一降尺寸处理,得到保留有上下文关系以及全局语义的全局特征。然后再对待识别图像进行第二降尺寸处理,得到保留有图像局部细节的多个第一局部特征。最后通过将全局特征与多个第一局部特征进行合并,既可以明确待识别图像的全局语义及上下文关系,又可以明确待识别图像局部的细节,最后通过对合并处理后的特征进行识别,即可得到针对待识别图像精确度相对较高的识别结果,从而实现提高图像的识别精度的目的。
在本说明实施例中,为了提高图像的识别精度,步骤105中,全局特征与第一局部特征合并处理有如下三种方式:
第一种方式:对全局特征进行划分,将划分得到的第二局部特征与第一局部特征合并。
第二种方式:将第一局部特征拼接,将拼接后的特征与全局特征合并。
第三种方式:对全局特征进行划分,将划分得到的第二局部特征与第一局部特征合并;同时,将第一局部特征拼接,将拼接后的特征与全局特征合并。
如图2所示,下面针对全局特征与第一局部特征以第一种方式合并处理进行详细说明:
全局特征是包含待识别图像的全局语义及上下文关系,所以全局特征是待识别图像的尺寸减小后的特征。为了与保留有局部细节的第一局部特征进行合并,可先确定每一个第一局部特征在待识别图像中对应的区域。比如,待识别图像经过第二降尺寸处理后得到4个第一局部特征,其中,第一局部特a征对应待识别图像的左上角区域,第一局部特征b对应待识别图像的右上角区域,第一局部特征c对应待识别图像的左下角区域,第一局部特征d对应待识别图像的右下角区域。
那么,按照每一个第一局部特征在待识别图像中对应的区域,以及全局特征与待识别图像之间的缩放比例,可以从全局特征中分别划分出每一个第一局部特征相对应的一个第二局部特征。由于全局特征是待识别图像经过降尺寸处理后得到的特征,所以全局特征的尺寸小于待识别图像的尺寸。而第一局部特征是在待识别图像未经过缩放处理所得到的多个特征,从而使得每一个第一局部特征的尺寸大于对应的第二局部特征的尺寸。所以,为了保证第一局部特征与第二局部特征合并时,第一局部特征与第二局部特征中相同的特征项能够重合,需要对第二局部特征进行放大处理,例如,上采样处理,使得放大处理后的第二局部特征与相对应的一个第一局部特征的尺寸相同。最后再将每一个放大后的第二局部特征与相对应的一个第一局部特征进行合并。
由于第一局部特征是呈碎片化的特征,在将全局特征划分为多个第二特征后,再与一个相对应的第一局部特征进行合并,可以得到多个局部细节更突出的特征,那么再对合并后的特征进行识别,可以使得待识别图像的局部细节识别的更准确。
需要说明的是,第一局部特征a、b、c和d之间可以有部分区域重复,也可以是与其他的第一局部特征没有重复区域的特征。
如图3所示,下面针对全局特征与第一局部特征以第二种方式合并处理进行详细说明:
由于第一局部特征是包含待识别图像局部细节,损失了待识别图像的全文语义及上下文关系,所以为了进一步明确待识别图像的全文语义,可先对第一局部特征进行拼接,以形成具有完整语义的第一局部特征。由于拼接后的第一局部特征的尺寸较大,因此,为了与尺寸相对较小的全局特征进行合并,需要对拼接后的第一局部特征进行缩小处理,比如,降采样处理,以使拼接后的第一局部特征的尺寸与全局特征的尺寸相同。最后将拼接后的特征与全局特征进行合并。
由于全局特征是包含全文语义及上下文关系,所以再将第一局部特征进行拼接后,在与全局特征进行合并,可以更突出全局特征中的局部细节,有助于对待识别图像的全文细节进行分析。
如图4所示,下面针对全局特征与第一局部特征以第三种方式合并处理进行详细说明:
第三种方式分为两个分支,第一分支是将第一局部特征拼接,将拼接后的特征与全局特征合并;第二分支是将全局特征划分为多个第二局部特征,再将每一个第二局部特征与一个第一局部特征合并。
针对第一分支为:对第一局部特征进行拼接,以形成具有完整语义的第一局部特征。由于第一局部特征是在待识别图像未经过任何缩放处理得到的特征,而全局特征是待识别图像经过第一降尺寸处理后得到的特征,所以拼接后的第一局部特征的尺寸大于全局特征的尺寸,因此,为了与尺寸相对较小的全局特征进行合并,需要对拼接后的第一局部特征进行缩小处理,比如,降采样处理,以使拼接后的第一局部特征的尺寸与全局特征的尺寸相同,再将拼接后的特征与全局特征进行合并,得到第一合并特征,使得合并后第一局部特征和全局特征中相对应的特征项重合。
针对第二分支:由于第一局部特征是保留有局部细节的特征,因此,为了使得第一局部特征中的局部细节更突出,可先确定每一个第一局部特征在待识别图像中对应的区域。比如,待识别图像经过第二降尺寸处理后得到4个第一局部特征,其中,第一局部特征q对应待识别图像的左上角区域,第一局部特征w对应待识别图像的右上角区域,第一局部特征e对应待识别图像的左下角区域,第一局部特征r对应待识别图像的右下角区域。
那么,按照每一个第一局部特征在待识别图像中对应的区域,以及全局特征与待识别图像之间的缩放比例,可以从全局特征中分别划分出与每一个第一局部特征相对应的第二局部特征。为了保证第一局部特征与第二局部特征合并时,第一局部特征与第二局部特征中相同的特征项能够重合,需要对第二局部特征进行放大处理,例如,上采样处理,使得放大处理后的第二局部特征与相对应的一个第一局部特征的尺寸相同。最后将每一个放大后的第二局部特征与相对应的一个第一局部特征进行合并,得到第二合并特征。
由于第一分支得到的是包含有待识别图像全局语义及上下文关系的第一合并特征,且在局部细节上更突出的特征,所以对第一合并特征识别,更有助于分析待识别图像的全文信息。第二分支可以得到多个第二合并特征,而每个第二合并特征可以更突出待识别图像的局部细节,所以有助于待识别图像的局部细节的分析。
在本说明书另一个实施例中,对第一合并特征进行识别,得到第一识别结果的方式包括:将多个第一局部特征进行拼接,然后将拼接后的第一局部特征与全局特征进行合并,可以得到用于描述待识别图像全局语义、上下文关系且更突出局部细节的特征。通过对合并得到的特征进行分析,可以得到用于表征合并后的特征中的每一个特征项被关注的程度的全局注意力图,以及用于描述合并后的特征中的每一个特征项属于被识别出的类别的概率的全局识别概率图。然后将全局注意力图和全局识别概率图中相对应的特征项的被关注的程度与属于被识别出的类别的概率进行相乘,可以得到该特征项的识别结果,最终得到关于待识别图像全文的第一识别结果。
同样地,将每个第一局部特征与一个第二局部特征合并后,可以得到更突出待识别图像局部细节的特征,对该合并后的特征进行分析,可以得到用于表征该合并后的特征中的每一个特征项被关注的程度的局部注意力图,以及用于表征该合并后的特征中的每一个特征项属于被识别出的类别的概率的局部识别概率图。然后将局部注意力图和局部识别概率图中相对应的特征项的被关注的程度与属于被识别出的类别的概率进行相乘,可以得到该特征项的识别结果,最终得到关于待识别图像局部区域的第二识别结果。
以全局注意力图为例,若待识别图像中的需要识别出的主要是农作物,那么第一局部特征与全局特征合并后的特征中,用于表征“稻田”的特征项被关注的程度会相对较高,比如90%,用于表征“树木”的特征项被关注的程度会相对较低,比如3%。
以全局识别概率图为例,第一局部特征与全局特征合并后的特征中,特征项x属于被分析出的“树木”的概率为94%,特征v属于被分析出的“稻田”的概率为91%。
然后将特征项“树木”的被关注程度3%与属于被分析出的类别的概率94%相乘,可以得到特征项“树木”最终的识别结果。
需要说明的是,每一个特征项用于描述待识别图像中的一个像素点。
在本说明书另一个实施例中,根据第一识别结果和第二识别结果得到待识别图像的识别结果包括:第一识别结果是表征对待识别图像的全文进行分析后的结果,第二识别图像是表征对待识别图像的局部区域分别分析后的得到的总结果。因此,可分别设置第一识别结果和第二识别结果的权重值分别为50%,即对第一识别结果和第二识别结果进行求平均处理,得到关于待识别图像最终的识别结果。
为了使得第一局部特征与第二局部特征中相对应的特征项能够重合,在本说明书另一个实施例中,将至少两个第二局部特征与至少两个第一局部特征进行合并处理的方式包括:由于全局特征是待识别图像经过降尺寸处理后得到的特征,所以全局特征的尺寸是待识别图像的,而第一局部特征是在待识别图像未缩小时直接划分得到的,所以在将全局特征划分为多个第二局部特征后,第二局部特征的尺寸小于第一局部特征的尺寸。所以需要对第二局部特征进行放大处理,例如上采样,使得放大后的第二局部特征能够与相对应的一个第一局部特征的尺寸相同,以使合并后的第一局部特征和第二局部特征中相同的特征项是重合的。
为了使拼接后的第一局部特征与全局特征中相对应的特征项能够重合,在本说明书另一个实施例中,对全局特征和至少两个第一局部特征进行合并处理的方式还包括:由于第一局部特征是待识别图像未经过缩放处理得到的特征,而全局特征是待识别图像经过降尺寸处理后得到的特征,所以拼接后的第一局部特征的尺寸大于全局特征,需要对拼接后的第一局部特征进行缩小处理,比如,降采样,以使缩小后的特征能够与全局特征的尺寸相同,使得重合后的两个特征中相对应的特征项能够重合。
在本说明书的实施例中,在对图像进行识别前,尤其是对诸如遥感图像之类的大尺寸图像进行识别之前,通常需要对图像进行降尺寸处理,以便使得降尺寸后的图像能够被计算机分析及处理。
本说明书一个实施例中,对图像进行降尺寸处理可以有如下两种方式:
第一种方式是对图像进行降采样处理。将大尺寸的图像降采样为小尺寸的图像。此种处理方式虽然会损失图像的局部细节,但是能够保留图像的全局语义及上下文关系。
第二种方式是对图像进行裁剪处理。将大尺寸的图像裁剪成多个小尺寸的图像。此种处理方式虽然会损失图像的全局语义及上下文关系,但是能够保留图像的局部细节。
因此,上述步骤101中,对待识别图像进行的第一降尺寸处理可以是通过降采样处理的方式,实现对待识别图像的分辨率进行降低且对待识别图像的尺寸进行缩小的目的,以保留待识别图像的全局语义及上下文关系,然后再将降采样得到的待识别图像转化为用于描述待识别图像中的每一个像素点的全局特征,有助于对待识别图像全文的分析。
在本说明书另一个实施例中,上述步骤103中,对待识别图像的第二降尺寸处理可以是通过裁剪处理的方式得到多个图像块,实现缩小待识别图像尺寸的目的。通过损失待识别图像的全文语义及上下文关系的方式保留待识别图像局部的细节,然后再将裁剪得到的多个图像块分别转化为用于描述一个图像块中的每一个像素点的第一局部特征,有助于对待识别图像局部细节的分析。
其中,各个图像块可以是完全独立图的图像,也可以是有部分区域重叠的图像。
在具体的应用场景中,可以是利用卫星遥感技术来拍摄农田中种植的农作物的图像,并利用本说明书任一实施例的图像识别方法对该图像进行识别,以获取农户的种植信息。后续,则可以为农户设置专属的授信策略,赋予适宜的信贷额度。
本说明书一个实施例提供了图像识别装置,如图5所示,该装置包括:
第一处理模块51,配置为对待识别图像进行第一降尺寸处理,得到能够被计算机处理的该待识别图像的全局特征;所述全局特征包含所述待识别图像的全局语义及上下文关系;
第二处理模块52,配置为对待识别图像进行第二降尺寸处理,得到能够被计算机处理的该待识别图像的至少两个第一局部特征;
合并处理模块53,配置为对所述第一处理模块51得到的所述全局特征和所述第二处理模块52得到的所述至少两个第一局部特征进行合并处理;
分析识别模块54,配置为对所述合并处理模块53合并处理后的特征进行识别,得到所述待识别图像的识别结果。
在本说明书另一个实施例中,其中,所述合并处理模块53,配置为将所述全局特征划分为至少两个第二局部特征;将所述至少两个第一局部特征与所述至少两个第二局部特征进行合并处理。
在本说明书另一个实施例中,其中,所述合并处理模块53,配置为将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行第一合并处理,得到第一合并特征;
所述分析识别模块54包括:
第一识别模块,配置为对所述第一合并特征进行识别,得到第一识别结果;
第二识别模块,配置为对所述第二合并特征进行识别,得到第二识别结果;所述第二合并特征为所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理后得到的特征;
结果分析模块,配置为根据所述第一识别结果和所述第二识别结果,得到所述待识别图像的识别结果。
在本说明书另一个实施例中,其中,
所述第一识别模块,配置为对所述第一合并特征进行分析,得到全局注意力图和全局识别概率图,其中,所述全局注意力图用于表征所述第一合并特征中的每一个特征项被关注的程度,所述全局识别概率图用于描述所述第一合并特征项中的每一个特征项属于被识别出的类别的概率;将全局注意力图中的每一个特征项被关注的程度与所述全局识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第一识别结果;
所述第二识别模块,配置为对所述第二合并特征进行分析,得到局部注意力图和局部识别概率图,其中,所述局部注意力图用于表征所述第二合并特征中的每一个特征项被关注的程度,所述局部识别概率图用于描述所述第二合并特征项中的每一个特征项属于被识别出的类别的概率;
将局部注意力图中的每一个特征项被关注的程度与所述局部识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第二识别结果。
在本说明书另一个实施例中,其中,
所述结果分析模块,配置为计算所述第一识别结果和所述第二识别结果的平均值,将得到的该平均值作为所述待识别图像的识别结果。
在本说明书另一个实施例中,其中,所述合并处理模块53,配置为将每一个所述第一局部特征与该第一局部特征相对应的一个第二局部特征进行合并处理;其中,第一局部特征及该第一局部特征相对应的第二局部特征映射在所述待识别图像中的相同位置。
在本说明书另一个实施例中,其中,所述合并处理模块53,配置为将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行合并处理;其中,所述拼接后的特征的大小与所述全局特征的大小相同。
在本说明书另一个实施例中,其中,所述第一处理模块51,配置为对所述待识别图像进行降采样处理。
在本说明书另一个实施例中,其中,所述第二处理模块52,配置为对所述待识别图像进行裁剪处理。
本说明书还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行说明书中任一个实施例中的方法。
本说明书还提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现说明书中任一个实施例中的方法。
可以理解的是,本说明书实施例示意的结构并不构成对图像识别装置的具体限定。在说明书的另一些实施例中,图像识别装置可以包括比图示更多或者更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本说明书方法实施例基于同一构思,具体内容可参见本说明书方法实施例中的叙述,此处不再赘述。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (20)
1.图像识别方法,包括:
对待识别图像进行第一降尺寸处理,得到能够被计算机处理的该待识别图像的全局特征;所述全局特征包含所述待识别图像的全局语义及上下文关系;
对待识别图像进行第二降尺寸处理,得到能够被计算机处理的该待识别图像的至少两个第一局部特征;
对所述全局特征和所述至少两个第一局部特征进行合并处理;
对合并处理后的特征进行识别,得到所述待识别图像的识别结果。
2.根据权利要求1所述的方法,其中,所述对所述全局特征和所述至少两个第一局部特征进行合并处理,包括:
将所述全局特征划分为至少两个第二局部特征;
将所述至少两个第一局部特征与所述至少两个第二局部特征进行合并处理。
3.根据权利要求2所述的方法,其中,所述对所述全局特征和所述至少两个第一局部特征进行合并处理进一步包括:
将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行第一合并处理,得到第一合并特征;其中,所述拼接后的特征的大小与所述全局特征的大小相同;
所述对合并处理后的特征进行识别得到所述待识别图像的识别结果,包括:
对所述第一合并特征进行识别,得到第一识别结果;
对所述第二合并特征进行识别,得到第二识别结果;所述第二合并特征为所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理后得到的特征;
根据所述第一识别结果和所述第二识别结果,得到所述待识别图像的识别结果。
4.根据权利要求3所述的方法,其中,
所述对所述第一合并特征进行识别,得到第一识别结果,包括:
对所述第一合并特征进行分析,得到全局注意力图和全局识别概率图,其中,所述全局注意力图用于表征所述第一合并特征中的每一个特征项被关注的程度,所述全局识别概率图用于描述所述第一合并特征项中的每一个特征项属于被识别出的类别的概率;
将全局注意力图中的每一个特征项被关注的程度与所述全局识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第一识别结果;
所述对所述第二合并特征进行识别,得到第二识别结果,包括:
对所述第二合并特征进行分析,得到局部注意力图和局部识别概率图,其中,所述局部注意力图用于表征所述第二合并特征中的每一个特征项被关注的程度,所述局部识别概率图用于描述所述第二合并特征项中的每一个特征项属于被识别出的类别的概率;
将局部注意力图中的每一个特征项被关注的程度与所述局部识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第二识别结果。
5.根据权利要求3所述的方法,其中,所述根据所述第一识别结果和所述第二识别结果得到所述待识别图像的识别结果,包括:
计算所述第一识别结果和所述第二识别结果的平均值,将得到的该平均值作为所述待识别图像的识别结果。
6.根据权利要求2所述的方法,其中,所述将所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理,包括:
将每一个所述第一局部特征与该第一局部特征相对应的一个第二局部特征进行合并处理;其中,第一局部特征及该第一局部特征相对应的第二局部特征映射在所述待识别图像中的相同位置。
7.根据权利要求1所述的方法,其中,所述对所述全局特征和所述至少两个第一局部特征进行合并处理,包括:
将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行合并处理;其中,所述拼接后的特征的大小与所述全局特征的大小相同。
8.根据权利要求1至7中任一所述的方法,其中,所述对待识别图像进行第一降尺寸处理包括:
对所述待识别图像进行降采样处理。
9.根据权利要求1至7中任一所述的方法,其中,所述对待识别图像进行第二降尺寸处理包括:
对所述待识别图像进行裁剪处理。
10.图像识别装置,包括:
第一处理模块,配置为对待识别图像进行第一降尺寸处理,得到能够被计算机处理的该待识别图像的全局特征;所述全局特征包含所述待识别图像的全局语义及上下文关系;
第二处理模块,配置为对待识别图像进行第二降尺寸处理,得到能够被计算机处理的该待识别图像的至少两个第一局部特征;
合并处理模块,配置为对所述第一处理模块得到的所述全局特征和所述第二处理模块得到的所述至少两个第一局部特征进行合并处理;
分析识别模块,配置为对所述合并处理模块合并处理后的特征进行识别,得到所述待识别图像的识别结果。
11.根据权利要求10所述的装置,其中,所述合并处理模块,配置为将所述全局特征划分为至少两个第二局部特征;将所述至少两个第一局部特征与所述至少两个第二局部特征进行合并处理。
12.根据权利要求11所述的装置,其中,所述合并处理模块,配置为将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行第一合并处理,得到第一合并特征;其中,所述拼接后的特征的大小与所述全局特征的大小相同;
所述分析识别模块包括:
第一识别模块,配置为对所述第一合并特征进行识别,得到第一识别结果;
第二识别模块,配置为对所述第二合并特征进行识别,得到第二识别结果;所述第二合并特征为所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理后得到的特征;
结果分析模块,配置为根据所述第一识别结果和所述第二识别结果,得到所述待识别图像的识别结果。
13.根据权利要求12所述的装置,其中,
所述第一识别模块,配置为对所述第一合并特征进行分析,得到全局注意力图和全局识别概率图,其中,所述全局注意力图用于表征所述第一合并特征中的每一个特征项被关注的程度,所述全局识别概率图用于描述所述第一合并特征项中的每一个特征项属于被识别出的类别的概率;将全局注意力图中的每一个特征项被关注的程度与所述全局识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第一识别结果;
所述第二识别模块,配置为对所述第二合并特征进行分析,得到局部注意力图和局部识别概率图,其中,所述局部注意力图用于表征所述第二合并特征中的每一个特征项被关注的程度,所述局部识别概率图用于描述所述第二合并特征项中的每一个特征项属于被识别出的类别的概率;
将局部注意力图中的每一个特征项被关注的程度与所述局部识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘,得到第二识别结果。
14.根据权利要求12所述的装置,其中,
所述结果分析模块,配置为计算所述第一识别结果和所述第二识别结果的平均值,将得到的该平均值作为所述待识别图像的识别结果。
15.根据权利要求11所述的装置,其中,所述合并处理模块,配置为将每一个所述第一局部特征与该第一局部特征相对应的一个第二局部特征进行合并处理;其中,第一局部特征及该第一局部特征相对应的第二局部特征映射在所述待识别图像中的相同位置。
16.根据权利要求10所述的装置,其中,所述合并处理模块,配置为将所述至少两个第一局部特征进行拼接,将拼接后的特征与所述全局特征进行合并处理;其中,所述拼接后的特征的大小与所述全局特征的大小相同。
17.根据权利要求10至16中任一所述的装置,其中,所述第一处理模块,配置为对所述待识别图像进行降采样处理。
18.根据权利要求10至16中任一所述的装置,其中,所述第二处理模块,配置为对所述待识别图像进行裁剪处理。
19.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-9中任一项所述的方法。
20.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011040050.4A CN111931873B (zh) | 2020-09-28 | 2020-09-28 | 图像识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011040050.4A CN111931873B (zh) | 2020-09-28 | 2020-09-28 | 图像识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931873A true CN111931873A (zh) | 2020-11-13 |
CN111931873B CN111931873B (zh) | 2020-12-22 |
Family
ID=73334602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011040050.4A Active CN111931873B (zh) | 2020-09-28 | 2020-09-28 | 图像识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931873B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011140679A1 (zh) * | 2010-05-13 | 2011-11-17 | 中国科学院自动化研究所 | 基于拓扑知觉组织理论的形状图像分类方法 |
US20150030242A1 (en) * | 2013-07-26 | 2015-01-29 | Rui Shen | Method and system for fusing multiple images |
CN110543841A (zh) * | 2019-08-21 | 2019-12-06 | 中科视语(北京)科技有限公司 | 行人重识别方法、系统、电子设备及介质 |
CN110569731A (zh) * | 2019-08-07 | 2019-12-13 | 北京旷视科技有限公司 | 一种人脸识别方法、装置及电子设备 |
CN111127557A (zh) * | 2019-12-13 | 2020-05-08 | 中国电子科技集团公司第二十研究所 | 一种基于深度学习的视觉slam前端位姿估计方法 |
CN111144484A (zh) * | 2019-12-26 | 2020-05-12 | 深圳集智数字科技有限公司 | 一种图像识别方法及装置 |
-
2020
- 2020-09-28 CN CN202011040050.4A patent/CN111931873B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011140679A1 (zh) * | 2010-05-13 | 2011-11-17 | 中国科学院自动化研究所 | 基于拓扑知觉组织理论的形状图像分类方法 |
US20150030242A1 (en) * | 2013-07-26 | 2015-01-29 | Rui Shen | Method and system for fusing multiple images |
CN110569731A (zh) * | 2019-08-07 | 2019-12-13 | 北京旷视科技有限公司 | 一种人脸识别方法、装置及电子设备 |
CN110543841A (zh) * | 2019-08-21 | 2019-12-06 | 中科视语(北京)科技有限公司 | 行人重识别方法、系统、电子设备及介质 |
CN111127557A (zh) * | 2019-12-13 | 2020-05-08 | 中国电子科技集团公司第二十研究所 | 一种基于深度学习的视觉slam前端位姿估计方法 |
CN111144484A (zh) * | 2019-12-26 | 2020-05-12 | 深圳集智数字科技有限公司 | 一种图像识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
苏煜 等: "基于全局和局部特征集成的人脸识别", 《软件学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN111931873B (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6893233B2 (ja) | 画像に基づくデータ処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム | |
EP3839818A2 (en) | Method and apparatus for performing structured extraction of text, device and storage medium | |
CN111652218A (zh) | 文本检测方法、电子设备及计算机可读介质 | |
CN111932577B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
Raghavan et al. | Optimized building extraction from high-resolution satellite imagery using deep learning | |
CN111860537B (zh) | 基于深度学习的绿色柑橘识别方法、设备及装置 | |
Zhang et al. | ReYOLO: A traffic sign detector based on network reparameterization and features adaptive weighting | |
CN112883926A (zh) | 表格类医疗影像的识别方法及装置 | |
CN113240716B (zh) | 一种多特征融合的孪生网络目标跟踪方法及系统 | |
US20220027661A1 (en) | Method and apparatus of processing image, electronic device, and storage medium | |
JP2023527615A (ja) | 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム | |
CN113297959A (zh) | 一种基于角点注意力孪生网络的目标跟踪方法及系统 | |
US20220076068A1 (en) | Method for constructing a convolution neural network based on farmland images, electronic device using the same | |
CN110008949B (zh) | 一种图像目标检测方法、系统、装置和存储介质 | |
CN111931873B (zh) | 图像识别方法和装置 | |
Li et al. | Detection of road objects based on camera sensors for autonomous driving in various traffic situations | |
He et al. | Variable scale learning for visual object tracking | |
CN114842482B (zh) | 一种图像分类方法、装置、设备和存储介质 | |
Ai et al. | ELUNet: an efficient and lightweight U-shape network for real-time semantic segmentation | |
CN111325179B (zh) | 手势跟踪方法、装置、电子设备和存储介质 | |
Tabelini et al. | Deep traffic sign detection and recognition without target domain real images | |
CN114419490A (zh) | 一种基于注意力金字塔的sar船只目标检测方法 | |
CN114359572A (zh) | 多任务检测模型的训练方法、装置及终端设备 | |
CN113837993A (zh) | 轻量级虹膜图像分割方法、装置、电子设备及存储介质 | |
CN113469172B (zh) | 目标定位、模型训练、界面交互方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |