CN112488062A - 一种图像识别方法、装置、设备及介质 - Google Patents
一种图像识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112488062A CN112488062A CN202011508173.6A CN202011508173A CN112488062A CN 112488062 A CN112488062 A CN 112488062A CN 202011508173 A CN202011508173 A CN 202011508173A CN 112488062 A CN112488062 A CN 112488062A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- weight
- similarity
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像识别方法、装置、设备及介质,用以提高识别准确率,提升识别效率。方法包括:获取待识别图像,待识别图像包括多个第一区域;确定每个第一区域和目标区域的相似度,目标区域为第一图像所包括的多个第二区域中的每个第二区域,第一图像为图像集合中的任一图像;根据每个第一区域对应的权重和第一相似度,以及每个第二区域对应的权重和第二相似度,确定第一图像的相似参数,其中,第一相似度是第一区域与各第二区域的相似度中最大的,第二相似度是第二区域与各第一区域的相似度中最大的;根据图像集合中每张图像的相似参数,从图像集合确定与待识别图像匹配的图像。
Description
技术领域
本申请涉及图像识别领域,尤其涉及一种图像识别方法、装置、设备及介质。
背景技术
在人脸识别场景中,通常利用神经网络提取待识别人脸图像的特征,然后计算将提取的特征与模板库中各模板人脸图像特征向量的向量距离,并将向量距离最小且满足阈值的模板人脸图像对应的对象,作为待识别人脸图像对应的对象。
若待识别人脸图像中存在人脸遮挡、人脸缺失或者存在人脸偏移角度等情况(如图1所示),因这些情况下的人脸图像的特征向量与正常的人脸图像特征向量差异较大,若采用上述方式进行识别,可能匹配到的错误的模板图像,甚至难以匹配到模板图像,造成识别准确率较低,识别效率低下。
发明内容
本申请提供一种图像识别方法、装置、设备及介质,用以提高识别准确率,提升识别效率。
第一方面,本申请实施例提供一种图像识别方法,方法包括:
获取待识别图像,待识别图像包括多个第一区域;
确定每个第一区域与第一图像包括的多个第二区域中每个第二区域的相似度,待识别图像包括的多个第一区域的划分方式与第一图像包括的多个第二区域的划分方式相同,第一图像是图像集合中的任一图像;
根据每个第一区域对应的权重和第一相似度,以及每个第二区域对应的权重和第二相似度,确定第一图像的相似参数,其中,第一区域与多个第二区域中每个第二区域的相似度中最大的相似度为第一相似度,第二区域与多个第一区域的相似度中最大的相似度为第二相似度;
根据图像集合中每张图像的相似参数,从图像集合中确定与待识别图像匹配的图像。
本申请实施例中,在确定第一图像的相似参数时利用第一图像中各第二区域对应的第二相似度,实现在确定第一图像的相似参数的时充分利用每个第二区域的信息,不丢失任何第二区域的信息,使得第一图像的相似参数准确地反映出第一图像与待识别图像的相似程度,有助于提升确定待识别图像匹配的图像的准确率,从而提升识别效率。尤其在待识别图像中存在缺失、遮挡、偏移等情况下,充分利用每个第二区域的信息,不丢失任何第二区域的信息,可以保障第一图像的相似参数可以准确地反映出第一图像与待识别图像的相似程度。
一种可能的实施方式中,本申请实施例提供的图像识别方法中,确定第一图像的相似参数之前,方法还包括:
根据识别模式与权重信息的对应关系,确定使用的识别模式对应的权重信息;
其中,权重信息中包括第一区域对应的权重和第二区域对应的权重。
本申请实施例中,图像识别过程中,各第一区域对应的权重和第二区域对应的权重可与使用的识别模式有关。不同的识别模式对应不同的权重信息。根据识别模式与权重信息的对应关系,可以确定所使用的识别模式对应的权重信息。在识别场景中,通过调整识别模式,来调整图像识别过程中各第一区域和各第二区域的权重。
一种可能的实施方式中,本申请实施例提供的图像识别方法中,第一区域对应的权重和第二区域对应的权重是下列中的一种:
用于表征区域匹配频次的匹配权重;
用于表征区域图像特征偏移程度的距离权重;
用于根据匹配权重和距离权重确定的综合权重。
本申请实施例中,各区域的匹配权重可以反映出区域匹配频次,匹配频次高的区域表明区域所包含的信息较多。提升包含更多信息的区域在确定第一图像的相似参数中的权重,有助于提升包含更多信息的区域在确定第一图像的相似参数时的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。各区域的距离权重可以反映出区域图像特征偏移程度,偏移程度高的区域表明区域中图像可能出现图像缺失、遮挡、偏转等情况的可能性较高,提高图像特征偏移较小的区域在确定第一图像的相似参数中的权重,有助于提升图像特征偏移较小的区域在确定第一图像的相似参数时的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
一种可能的实施方式中,本申请实施例提供的图像识别方法中,通过下列方式确定第一区域对应的匹配权重:
针对任意一个第一区域,根据第一区域匹配到的第二区域的数量,确定第一区域的权重,其中,若第一区域是各第一区域中与第二区域相似度最大的第一区域,则确定第一区域匹配到第二区域;
通过下列方式确定第二区域对应的匹配权重:
针对任意一个第二区域,根据第二区域匹配到的第一区域的数量,确定第二区域的权重,其中,若第二区域是各第二区域中与第一区域相似度最大的第二区域,则确定第二区域匹配到第一区域。
本申请实施例中,通过对待识别图像中各第一区域匹配频次,准确地确定第一区域的匹配权重,从而确定各第一区域在确定第一图像的相似参数时的贡献。通过第一图像中各第二区域匹配频次,准确地确定第二区域的匹配权重,从而确定各第一区域在确定第一图像的相似参数时的贡献,能够提高确定第一图像的相似参数的准确度,进而提高确定待识别图像匹配的图像的准确率,提升识别效率。
一种可能的实施方式中,本申请实施例提供的图像识别方法中,通过下列方式确定第一区域对应的距离权重:
根据第一区域的第一曼哈顿和第二曼哈顿距离,确定第一区域的距离权重;
其中,第一曼哈顿是根据第一区域对应的第一相似度所属的第二区域的位置信息,以及与第一区域相邻的第一区域对应的第一相似度所属第二区域的位置信息确定的,第二曼哈顿是根据第一区域的位置信息,以及与第一区域相邻的第一区域的位置信息确定的;
通过下列方式确定第二区域对应的距离权重:
根据第二区域的第三曼哈顿距离和第四曼哈顿距离,确定第二区域的距离权重;
其中,第三曼哈顿距离是根据第二区域对应的第二相似度所属的第一区域的位置信息,以及与第二区域相邻的第二区域对应的第二相似度所属第一区域的位置信息确定的,第四曼哈顿距离是根据第二区域的位置信息、与第二区域相邻的第二区域的位置信息确定的。
本申请实施例中,利用第一区域的第一曼哈顿和第二曼哈顿距离,确定能够表征第一区域图像特征偏移程度的距离权重,准确地确定各第一区域的距离权重,能够提升确定第一图像的相似参数的准确度;利用第二区域的第三曼哈顿和第四曼哈顿距离,确定能够表征第二区域图像特征偏移程度的距离权重,准确地确定各第二区域的距离权重,能够提升确定第一图像的相似参数的准确度,从而提高确定待识别图像匹配的图像的准确率,提升识别效率。
一种可能的实施方式中,本申请实施例提供的图像识别方法中,通过下列方式确定第一区域对应的综合权重:
将第一区域的匹配权重和距离权重与第一数量的比值,确定为第一区域的综合权重,其中,第一数量为全部第一区域的匹配权重和距离权重的总和;
通过下列方式确定第二区域对应的综合权重:
将第二区域的匹配权重和距离权重与第二数量的比值,确定为第二区域的综合权重,其中,第二数量为全部第二区域的匹配权重和距离权重的总和。
本申请实施例中,确定各区域的综合权重,实现精细化地确定每个第一区域、每个第二区域对确定第一图像的相似参数的贡献,可使第一图像的相似参数能够准确反映出与待识别图像的相似情况或者相似程度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
一种可能的实施方式中,本申请实施例提供的图像识别方法中,根据图像集合中每张图像的相似参数,从图像集合确定与待识别图像匹配的图像,包括:
将图像集合中每个图像的相似参数最大的,且相似参数大于参数阈值的图像,确定为与待识别图像匹配的图像。
本申请实施例中,将相似参数最大的,并且大于参数阈值的图像作为待识别图像匹配的图像可以降低错检率,提升识别效率以及识别质量。
第二方面,本申请实施例提供一种图像识别装置,装置包括:
获取模块,用于获取待识别图像,待识别图像包括多个第一区域;
计算模块,用于确定每个第一区域与第一图像包括的多个第二区域中每个第二区域的相似度,待识别图像包括的多个第一区域的划分方式与第一图像包括的多个第二区域的划分方式相同,第一图像是图像集合中的任一图像;
处理模块,用于根据每个第一区域对应的权重和第一相似度,以及每个第二区域对应的权重和第二相似度,确定第一图像的相似参数,其中,第一区域与多个第二区域中每个第二区域的相似度中最大的相似度为第一相似度,第二区域与多个第一区域的相似度中最大的相似度为第二相似度;以及根据图像集合中每张图像的相似参数,从图像集合中确定与待识别图像匹配的图像。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,获取模块还用于:
在确定第一图像的相似参数之前,根据识别模式与权重信息的对应关系,确定使用的识别模式对应的权重信息;
其中,权重信息中包括第一区域对应的权重和第二区域对应的权重。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,第一区域对应的权重和第二区域对应的权重是下列中的一种:
用于表征区域匹配频次的匹配权重;
用于表征区域图像特征偏移程度的距离权重;
用于根据匹配权重和距离权重确定的综合权重。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,计算模块还用于:
通过下列方式确定第一区域对应的匹配权重:
针对任意一个第一区域,根据第一区域匹配到的第二区域的数量,确定第一区域的权重,其中,若第一区域是各第一区域中与第二区域相似度最大的第一区域,则确定第一区域匹配到第二区域;
通过下列方式确定第二区域对应的匹配权重:
针对任意一个第二区域,根据第二区域匹配到的第一区域的数量,确定第二区域的权重,其中,若第二区域是各第二区域中与第一区域相似度最大的第二区域,则确定第二区域匹配到第一区域。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,计算模块还用于:
通过下列方式确定第一区域对应的距离权重:
根据第一区域的第一曼哈顿和第二曼哈顿距离,确定第一区域的距离权重;
其中,第一曼哈顿是根据第一区域对应的第一相似度所属的第二区域的位置信息,以及与第一区域相邻的第一区域对应的第一相似度所属第二区域的位置信息确定的,第二曼哈顿是根据第一区域的位置信息,以及与第一区域相邻的第一区域的位置信息确定的;
通过下列方式确定第二区域对应的距离权重:
根据第二区域的第三曼哈顿距离和第四曼哈顿距离,确定第二区域的距离权重;
其中,第三曼哈顿距离是根据第二区域对应的第二相似度所属的第一区域的位置信息,以及与第二区域相邻的第二区域对应的第二相似度所属第一区域的位置信息确定的,第四曼哈顿距离是根据第二区域的位置信息、与第二区域相邻的第二区域的位置信息确定的。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,计算模块还用于:
通过下列方式确定第一区域对应的综合权重:
将第一区域的匹配权重和距离权重与第一数量的比值,确定为第一区域的综合权重,其中,第一数量为全部第一区域的匹配权重和距离权重的总和;
通过下列方式确定第二区域对应的综合权重:
将第二区域的匹配权重和距离权重与第二数量的比值,确定为第二区域的综合权重,其中,第二数量为全部第二区域的匹配权重和距离权重的总和。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,处理模块具体用于:
将图像集合中每个图像的相似参数最大的,且相似参数大于参数阈值的图像,确定为与待识别图像匹配的图像。
第三方面,本申请实施例提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行指令以实现如第一方面中任一项图像识别方法。
第四方面,本申请实施例提供一种存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面中任一项的图像识别方法。
另外,第二至四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
附图说明
图1是示例性示出的一种待识别图像中人脸缺失、遮挡、偏移情况的示意图;
图2是根据一示例性实施例示出的一种图像识别方法的示意流程图;
图3是根据一示例性实施例示出的一种第一区域的示意图;
图4是根据一示例性实施例示出的另一种第一区域的示意图;
图5是根据一示例性实施例示出的一种待识别图像的匹配情况示意图;
图6是根据一示例性实施例示出的一种图像特征偏移情况示意图;
图7是根据一示例性实施例示出的一种待识别图像中相邻区域的示意图;
图8是根据一示例性实施例示出的另一种待识别图像中相邻区域的示意图;
图9是根据一示例性实施例示出的一种图像识别方法的示意流程图;
图10是根据一示例性实施例示出的一种图像识别装置的结构示意图;
图11是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部份实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
针对待识别人脸图像中存在人脸遮挡、人脸缺失或者存在人脸偏移角度等情况,可以采用将待识别人脸图像进行分块,并将各分块与各模板人脸图像对应位置的分块进行匹配,将不同位置的分块的匹配结果总和起来获得最终匹配结果。
采用这样识别方式,需要将待识别人脸图像与模板人脸图像需要完全对齐,但是对齐效果难以统一。若待识别人脸图像与模板人脸图像对齐后,仍可能会出现五官未一一对应的情况,例如模板人脸图像中鼻子所在区块对应在待识别人脸图像中区块中是眼睛的图像。对于待识别图像中存在遮挡、偏移、或者人脸缺失的情况下,在对待识别图像中的分块与模板图像中的位置相同位置的分块进行匹配时,匹配效果较差,识别准确率不高,识别效率低下。若通过缩小人脸五官所在分块的面积的方式,提升对齐效果,由于分块面积变小,使得分块数量增多,导致计算成本增加,降低了识别速度。
有鉴于此,本申请提供一种图像识别方法、装置、设备及介质,用于提升识别准确率,提高识别速度。其中,方法和装置是基于同一技术构思的,由于方法及装置解决问题的原理相似,因此装置与方法的实施可以相互参见,重复之处不再赘述。以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
图2是根据一示例性实施例示出的一种图像识别方法的流程示意图,应用于电子设备,如图2所示,方法可以包括以下步骤:
S201,获取待识别图像,待识别图像包括多个第一区域。
电子设备可以通过直接采集图像的方式,或者通过接收图像的方式获取待识别图像。电子设备可以按照预设方式,将待识别图像划分为多个第一区域,也即将待识别图像划分为多个分块,每一个分块为一个区域,第一区域的数量可以根据实际场景进行设定。每个第一区域的大小相同。不同第一区域之间可以重叠。如图3所示的图像,图像中包括9个不重叠的第一区域。如图4所示图像,图像中包括3个重叠的第一区域。
一种可能的实施方式中,待识别图像中包含对象,电子设备可以通过确定待识别图像的信息,从而确定待识别图像中包含对象的信息。电子设备可以通过采集待识别对象的图像的方式,或者通过接收待识别对象的图像的方式获取识别图像。通过识别待识别图像的方式识别对象。在对象识别场景中,对象可以为人,通过本申请实施例提供的图像识别方法可以识别某个人的身份。对象也可以为其它事物,例如动物、植物、以及物品(如汽车、服饰)等。
S202,确定每个第一区域与第一图像包括的多个第二区域中每个第二区域的相似度,待识别图像包括的多个第一区域的划分方式与第一图像包括的多个第二区域的划分方式相同,第一图像是图像集合中的任一图像。
电子设备将待识别图像与图像集合中的第一图像进行匹配,图像集合中包括多张第一图像。在实际应用场景中,图像集合可以实施为模板库,模板库中可以包括多张模板图像,第一图像为模板库中任一张模板图像。在对象识别场景中,每张模板图像所包括的对象(或者说,所对应的对象)可以是预先确定的,并利用对象的身份信息表征对象。电子设备还可以预先存储每张模板图像所包括对象的身份信息,身份信息可以包括身份标识(ID),编号,学号,工号等。
电子设备可以预先按照预设方式,将每个第一图像划分为多个第二区域。通常,第二区域的数量可以与待识别图像中第一区域的数量相同。需要注意的是,电子设备对待识别图像划分为多个第一区域的方式,与对每个第一图像划分为多个第二区域的方式是相同的。通常,待识别图像与第一图像的大小相同。
电子设备可以将待识别图像输入利用预先训练的卷积神经网络模型确定每个第一区域的特征向量。其中,卷积神经网络模型的卷积核尺寸和移动步长是预先配置的。电子设备可以根据待识别图像的大小和第一区域的大小确定卷积核尺寸和移动步长,或者电子设备根据待识别图像的大小和卷积核尺寸以及移动步长确定第一区域的大小。
电子设备也可以将待识别图像中各第一区域对应的子图像输入预先训练的神经网络模型,确定各第一区域的特征向量。
类似地,针对图像集合中多张图像中的任一张图像(第一图像),电子设备也可以利用卷积神经网络模型确定第一图像中的各第二区域的特征向量。或者电子设备将第一图像中的各第二区域对应的子图像输入前述神经网络模型,确定各第二区域的特征向量。
需要说明的是,电子设备确定第一图像中各第二区域的特征向量的过程,可以在步骤S201之前完成。并且电子设备不需要重复执行确定第一图像中各第二区域的特征向量的过程。
例如,待识别图像中包括n个第一区域,第一图像包括n个第二区域。电子设备可以根据第i个第一区域(i=1,2,3,…n)的特征向量以及第一图像中第j个第二区域(j=1,2,3,…n)的特征向量,计算第i个第一区域与第j个第二区域的相似度si,j。如通过计算两个特征向量之间的距离,确定这两个特征向量的相似度。电子设备通过计算每个第一区域与每个第二区域的相似度,可以得到每个第一区域与每个第二区域之间的相似度矩阵Sn×n。
S203,根据每个第一区域对应的权重和第一相似度,以及每个第二区域对应的权重和第二相似度,确定第一图像的相似参数,其中,第一区域与多个第二区域中每个第二区域的相似度中最大的相似度为第一相似度,第二区域与多个第一区域的相似度中最大的相似度为第二相似度。
针对待识别图像中每个第一区域(例如,第i个第一区域),电子设备根据第i个第一区域与第一图像中的各第二区域的相似度,如Si=[si,1 … si,n](相似度矩阵Sn×n中的第i行),可以确定第i个第一区域与第一图像中每个第二区域的相似度中最大的相似度,并确定为第i个第一区域对应的第一相似度。
通常,将第一相似度所属的第二区域,称为该第二区域匹配到第i个第一区域。假设第1个第一区域对应的第一相似度所属的第二区域为第4个第二区域、第3个第一区域对应的第一相似度所属的第二区域也为第4个第二区域,那么第4个第二区域匹配到的第一区域为第1个第一区域和第3个第一区域。
电子设备也可以记录第i个第一区域对应的第一相似度所属的第二区域的位置信息(或者序号、标识、编号等)。第一图像中,位置信息与第二区域是一一对应的,位置信息唯一对应一个第二区域。电子设备也可以通过矩阵A记录待识别图像中各第一区域对应的第一相似度所属的第二区域的位置信息a。例如,A=[a1 … an],其中,an为第n个第一区域对应的第一相似度所属的第二区域的位置信息。
现有技术中,将与各第一区域对应的第一相似度的总和确定为第一图像与待识别图像之间的相似参数(或者称为匹配结果)。然后比较图像集合中各第一图像与待识别图像的相似参数中,最大的相似参数所属第一图像,确定为与待识别图像匹配的第一图像。
但是,在实际应用场景中,因待识别图像中存在人脸角度偏移、人脸遮挡、人脸缺失等因素,电子设备可能将第一图像同一第二区域匹配到待识别图像中几个第一区域的情况,也即几个第一区域对应的第一相似度均属于同一第二区域。如图5所示,第一图像中标识为d对应的第二区域匹配到待识别图像中的标识为1、2、4对应的三个第一区域。换句话说,第一图像的全部第二区域中,标识为d对应的第二区域是与标识为1相似度最大的第二区域。类似的,标识为d对应的第二区域也是与标识为2相似度最大的第二区域,标识为d对应的第二区域也是与标识为4相似度最大的第二区域。
由于第一图像中的某一个第二区域匹配到待识别图像中多个第一区域,造成第一图像中一些第二区域未匹配到待识别图像任一个第一区域,导致这些第二区域处图像对应的信息丢失。由于第一图像中不同第二区域蕴含的信息量不同,不同第二区域对第一图像与待识别图像之间的匹配结果也具有不同程度的影响。
为了避免第一图像中一些第二区域没有匹配到待识别图像任一第一区域,导致识别过程中,第一图像出现信息丢失。本申请实施例提供的图像识别方法中,提供一种反向匹配的识别思想。
针对第一图像中每个第二区域(例如,第j个第二区域),电子设备根据第j个第二区域与待识别图像中的各第一区域的相似度,如Sj=[s1,j … sn,j](相似度矩阵Sn×n中的第j列),可以确定第j个第二区域与待识别图像中每个第一区域的相似度中最大的相似度,并确定为第j个第二区域对应的第二相似度。通常,将第二相似度所属的第一区域,称为该第一区域匹配到第j个第二区域。假设第1个第二区域对应的第二相似度所属的第一区域为第2个第一区域、第2个第二区域对应的第二相似度所属的第一区域为第2个第一区域,第3个第二区域对应的第二相似度所属的第一区域为第2个第一区域,那么第2个第一区域匹配到的第二区域为第1个第二区域、第2个第二区域以及第3个第二区域。
电子设备也可以通过矩阵B记录第二区域对应的第二相似度所属的第一区域的位置信息b。例如,B=[b1 … bn],其中,bn为与第n个第二区域对应的第二相似度所属的第一区域的位置信息。待识别图像中,位置信息与第一区域是一一对应的,位置信息唯一对应一个第一区域。
示例一、
电子设备在确定第一图像的相似参数时,电子设备可以根据将待识别图像中每个第一区域与第一图像中每个第二区域之间的相似度矩阵 确定各第一区域对应的第一相似度。例如,对于第1个第一区域(i=1),与全部第二区域的相似度为相似度矩阵Sn×n中的第一行矩阵,其中,第一行矩阵中的最大值s1,k为第1个第一区域对应的第一相似度,s1,k所属第二区域为第k个第二区域,第k个第二区域为匹配到第1个第一区域的第二区域。类似地,电子设备可以确定第i个第一区域对应的第一相似度(可记为)。
电子设备可以根据将待识别图像中每个第一区域与第一图像中每个第二区域之间的相似度矩阵确定各第二区域对应的第二相似度。例如,对于第1个第二区域(j=1),与全部第二区域的相似度为相似度矩阵Sn×n中的第一列矩阵,其中,第一列矩阵中的最大值为sp,1为第1个第二区域对应的第二相似度,sp,1所属第一区域为第p个第一区域,第p个第一区域为匹配到第1个第二区域的第一区域。类似地,电子设备可以确定第j个第二区域对应的第二相似度(可记为)。
若每个第一区域对应的权重相同(例如,权重为t1),每个第二区域对应的权重相同(例如,权重为t2,t2的数值可以等于t1)。电子设备根据每个第一区域对应的权重和第一相似度以及每个第二区域对应的权重和第二相似度,确定第一图像的相似参数sim,可通过公式进行计算。
若电子设备中未配置每个第一区域对应的权重,以及未配置每个第二区域对应的权重,电子设备可以根据每个第一区域对应的第一相似度以及每个第二区域对应的第二相似度,确定第一图像的相似参数sim,可通过公式进行计算。应理解的是,此时t1和t2的数值均为1。
在识别场景中,电子设备通过反向匹配的方法,充分利用第一图像中各第二区域的信息,使得第一图像的相似参数能够体现出第一图像与待识别图像的相似程度,有助于提升确定待识别图像匹配的图像的准确率,从而提升识别效率。
一种可能的实施方式中,每个第一区域对应的权重可以不是定值,和/或,每个第二区域对应的权重可以不是定值。电子设备在执行步骤S202之后以及步骤S203之前,还可以确定待识别图像中每个第一区域的权重;和/或,确定第一图像中每个第二区域的权重。
由于待识别图像中的遮挡或者发生人脸偏移的区域是随机的。若第一图像中的某个第二区域匹配到待识别图像中多个第一区域,也即该第二区域匹配频次较高,可以反映出该第二区域中包含更多的信息。电子设备可以给这些包含更多的信息的第二区域配置较高的匹配权重。本申请实施例还提供一种基于匹配次数确定区域权重方法。
示例二、
电子设备可以根据待识别图像中各第一区域对应的第一相似度所属的第二区域的位置信息,确定第一图像中每个第二区域匹配到第一区域的数量。电子设备可以通过矩阵A记录待识别图像中各第一区域对应的第一相似度所属第二区域的位置信息,如A=[a1… an],其中,an为第n个第一区域对应的第一相似度所属的第二区域的位置信息。
电子设备可以确定各第二区域的位置信息在矩阵A中出现的次数,确定该第二区域匹配到第一区域的数量。电子设备根据各第二区域匹配到第一区域的数量,确定各第二区域的匹配权重。如mj表示第j个第二区域的位置信息在矩阵A中出现的次数(也是第j个第二区域匹配到的第一区域的数量)。电子设备可以确定第j个第二区域的匹配权重为其中,ε1为常数,通常为小数,也可以根据实际应用场景进行配置。
在识别场景中,电子设备通过对第一图像中各第二区域匹配的频次,能够反映出第二区域包含信息的多少。提升包含更多信息的第二区域在确定第一图像的相似参数中的权重,有助于提升包含更多信息的第二区域在确定第一图像的相似参数时的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
若待识别图像中的某个第一区域匹配到第一图像中多个第二区域,也即该第一区域匹配频次较高,可以反映出该第一区域中包含更多的信息。电子设备可以给待识别图像中这些包含更多的信息的第一区域配置较高的匹配权重。
电子设备还可以确定待识别图像中的每个第一区域的匹配权重。电子设备可以根据第一图像中各第二区域对应的第二相似度所属的第一区域的位置信息,确定待识别图像中每个第一区域匹配到第二区域的数量。电子设备可以通过矩阵B记录第一图像中各第二区域对应的第二相似度所属第一区域的位置信息,如B=[b1 … bn],其中,bn为与第n个第二区域对应的第二相似度所属的第一区域的位置信息。
电子设备可以确定各第一区域的位置信息在矩阵B中出现的次数,确定该第一区域匹配到第二区域的数量。电子设备根据各第一区域匹配到第二区域的数量,确定各第一区域的匹配权重。如mi表示第i个第一区域的位置信息在矩阵B中出现的次数(也是第i各第一区域匹配到的第二区域的数量)。电子设备可以确定第i个第一区域的匹配权重为其中,ε1为常数,通常为小数,也可以根据实际应用场景进行配置。需要说明的是,若ε1为0,若某个第一区域的位置信息在矩阵B中出现的次数为0,使该第一区域的匹配权重值为0,导致该第一区域对应的信息丢失。因此ε1为小数,可以使得编号在矩阵B中出现的次数为0的第一区域的匹配权重为一个较小的数值,而不会使该第一区域对应的信息丢失。
一种可能的实施方式中,电子设备未配置或未确定每个第二区域的权重,电子设备可以根据公式确定第一图像的相似参数。在识别场景中,电子设备通过对待识别图像中各第一区域匹配的频次,确定待识别图像中包含更多信息的第一区域。提升包含更多信息的第一区域在确定第一图像的相似参数中的权重,有助于提升包含更多信息的第一区域在确定第一图像的相似参数时的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
一种可能的实施方式中,电子设备可以根据上述实施例中确定的每个第一区域的匹配权重以及每个第一区域对应的第一相似度、确定的每个第二区域的匹配权重、以及每个第二区域对应的相似度,根据公式 确定第一图像的相似参数sim。在识别场景中,电子设备通过对待识别图像中各第一区域的匹配频次,确定待识别图像中包含更多信息的第一区域。并通过第一图像中各第二区域的匹配频次,确定第一图像中包含更多信息的第二区域。提升包含更多信息的第一区域在确定第一图像的相似参数中的权重,以及提升包含更多信息的第二区域在确定第一图像的相似参数中的权重,有助于提升包含更多信息的第一区域和包含更多信息的第二区域在确定第一图像的相似参数时的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
示例三、
通常,待识别图像中第一区域间的相对位置和第一图像中第二区域间的相对位置保持不变。例如,若待识别区域中第一区域a在第一区域b附近,那么第一区域a在第一图像中匹配到的第二区域c,也应该在第一区域b在第一图像中匹配到的第二区域d附近。
由于待识别图像中的遮挡或者发生人脸偏移的区域是随机的,待处理图像的第一区域a的目标第二区域c(第一图像全部第二区域中,与第一区域的相似度最大的第二区域)的图像特征,和目标第二区域的相邻第二区域d的图像特征存在较大的偏移,表明第一区域a与该目标第二区域c的匹配效果不好。电子设备在确定第一图像的相似参数时,可以降低第一区域a的权重,也可以降低区域的图像特征存在较大偏移对识别的影响。图6为一示例性实施例示出匹配偏移的情况。
电子设备可以根据待识别图像中第i个第一区域对应的第一相似度所属的第二区域的位置信息,与第i个第一区域相邻的第一区域对应的第一相似度所属的第二区域的位置信息,确定第i个第一区域的第一曼哈顿距离。其中,与第i个第一区域相邻的第一区域可指全部与第i个区域相邻的第一区域,或者部分与第i个区域相邻的第一区域。示例性的,与第i个第一区域相邻的第一区域的数量为4。假设,待识别图像中第i个第一区域对应的第一相似度所属的第二区域为第j个第二区域,第j个第二区域的位置信息记为bj。
以与第i个第一区域相邻的第一区域的数量为4为例进行说明。如图7所示,待识别图像中第i个第一区域的相邻的第一区域可分别为第i个第一区域上、下、左、右4个相邻的第一区域,对应第i-R个第一区域、第i+R个第一区域、第i-L个第一区域、第i+L个第一区域。其中,第i-R个第一区域对应的第一相似度所属的第二区域为第p1个第二区域,位置信息为ap1;第i+R个第一区域对应的第一相似度所属的第二区域为第p2个第二区域,位置信息为ap2;第i-L个第一区域对应的第一相似度所属的第二区域为第p3个第二区域,位置信息为ap3;第i+L个第一区域的目标第二区域为第p4个第二区域,位置信息为bap4。
电子设备可以根据任一两个第二区域位置信息确定这两个第二区域的曼哈顿距离,例如,第1个第二区域和第2个第二区域之间的曼哈顿距离可以表示为D=d(a1,a2),其中,a1为(x1,y1),a2为(x2,y2)。d((x1,y1),(x2,y2))=|x1-x2|+|y1-y2|。
类似地,电子设备可以确定第i个第一区域对应的第一相似度所属的第二区域的位置信息aj,与第i个第一区域相邻的第一区域对应的第一相似度所属的第二区域的位置信息中的每个位置信息之间的曼哈顿距离的总和,也即第i个第一区域的第一曼哈顿距离Di。例如,Di=d(aj,ap1)+d(aj,ap2)+d(aj,ap3)+d(aj,ap4)。
电子设备可以确定第i个第一区域的位置信息与第i个第一区域相邻的第一区域的位置信息中每个位置信息之间的曼哈顿距离的总和,也即第i个第一区域的第二曼哈顿距离Mi。例如,Mi=d(bi,bi-R)+d(bi,bi+R)+d(bi,bi-L)+d(bi,bi+L)。通常,若确定第i个第一区域的第一曼哈顿距离时,与第i个第一区域相邻的第一区域的数量为4,Mi的数值也为4。若与第i个第一区域相邻的第一区域的数量为3,Mi的数值也为3。
电子设备可以将第i个第一区域的第一曼哈顿距离和第i个的第二曼哈顿距离的差值,也即Di-Mi,确定为第i个区域的偏移曼哈顿距离,表征第i个第一区域的图像特征偏移程度。
针对待识别图像中的每个第一区域,电子设备可以根据每个第一区域的偏移曼哈顿距离,确定第i个第一区域的距离权重max(Di-Mi,ε2)为从Di-4和ε2中选取最大值。其中,ε2为小数,可以避免计算距离权重公式中出现分母为0的情形。
一种可能的实施方式中,待识别图像中每个第一区域的相邻的第一区域的数量不同。例如,图7中示出的待识别图像中第一行第一列的第一区域仅有2个相邻的第一区域,可以对待识别图像进行扩充,将待识别图像的首行、首列、末行、末列进行复制并续接在相应的行或列之前,如图8所示。通过扩充的方式,使得待识别图像中每个第一区域的相邻的第一区域的数量相同。
需注意的是,电子设备确定待识别图像中的每个第一区域的距离权重,是指确定未扩充的待识别图像中每个第一区域的距离权重,并在确定的过程中,对待识别图像进行扩充。扩充后的各第一区域的位置信息保持不变。如图7中标识为1的灰色框为待识别图像中标识为1的扩充后的第一区域。扩充后的标识为1的第一区域的位置信息与待识别图像中的标识为1的第一区域的位置信息相同。对于第一图像也可以采用相同处理方式。
在识别场景中,电子设备通过各第一区域的距离权重表征各第一区域图像特征偏移程度。降低图像特征偏移较大的第一区域在确定第一图像的相似参数中的权重,提高图像特征偏移较小的第一区域在确定第一图像的相似参数中的权重,有助于提升图像特征偏移较小的第一区域在确定第一图像的相似参数时的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
与电子设备确定待识别图像中每个第一区域的距离权重过程类似,电子设备也可以确定第一图像中每个第二区域的距离权重。
电子设备可以确定第j个第二区域对应的第二相似度所属的第一区域的位置信息bi,与第j个第二区域相邻的第二区域对应的第二相似度所属的第一区域的位置信息中各位置信息之间的曼哈顿距离的总和(第j个第二区域的第三曼哈顿距离)。例如,与第j个第二区域相邻的第二区域可以分别为第j个第二区域上、下、左、右4个相邻的第二区域,对应第j-R个第二区域、第j+R个第二区域、第j-L个第二区域、第j+L个第二区域。其中,第i-R个第二区域对应的第二相似度所属的第一区域为第q1个第二区域,位置信息为bq1;第i+R个第二区域对应的第二相似度所属的第一区域为第q2个第一区域,位置信息为bq2;第i-L个第二区域对应的第二相似度所属的第一区域为第q3个第一区域,位置信息为bq3;第i+L个第二区域对应的第二相似度所属的第一区域为第q4个第一区域,位置信息为bq4。
电子设备可以确定第j个的第三曼哈顿距离,可以记为Dj=d(bi,bq1)+d(bi,bq2)+d(bi,bq3)+d(bi,bq4)。电子设备也可以确定第j个第二区域的位置信息,与第j个第二区域相邻的第二区域的位置信息中每个位置信息之间的曼哈顿距离的总和(第四曼哈顿距离),可以记为Mj=d(ai,ai-R)+d(ai,ai+R)+d(ai,ai-L)+d(ai,ai+L),Mj为第j个第二区域的第四曼哈顿距离。
针对第一图像中的每个第二区域,电子设备可以根据每个第二区域的偏移曼哈顿距离,确定第j个第二区域的距离权重max(Di-M,ε2)表示为从Dj-M和ε2中选取最大值。其中,ε2为小数,可以避免计算距离权重公式中出现分母为0的情形。
一种可能的实施方式中,电子设备可以根据第一图像中每个第二区域的距离权重和第二域相似度,以及待识别图像中每个第一区域的第一相似度,根据公式计算第一图像的相似参数。在识别场景中,电子设备通过确定各第二区域的距离权重表征各第二区域图像特征偏移程度。降低图像特征偏移较大的第二区域在确定第一图像的相似参数中的权重,提高图像特征偏移较小的第二区域在确定第一图像的相似参数中的权重,有助于提升图像特征偏移较小的第二区域在确定第一图像的相似参数时的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
一种可能的实施方式中,电子设备根据上述实施例中确定出的各第一区域的距离权重、各第一区域的第一相似度,确定出的中各第二区域的距离权重、各第二区域的第二相似度,确定第一图像的相似参数sim,如在识别场景中,电子设备利用第一图像中各第二区域的距离权重,以及待识别图像中各第一区域的距离权重,降低图像特征偏移较大的区域在确定第一图像的相似参数中的权重,提高图像特征偏移较小的区域在确定第一图像的相似参数中的权重,有助于提升图像特征偏移较小的区域在确定第一图像的相似参数时的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
示例四、
电子设备可以将示例二和示例三中所确定的待识别图像中各第一区域的匹配权重和距离权重,融合为各第一区域的综合权重。
一种可能的实施方式中,电子设备可以根据待识别图像中每个第一区域的综合权重、待识别图像中每个第一区域对应的第一相似度以及第一图像中每个第二区域对应的第二相似度,确定第一图像的相似参数 在识别场景中,电子设备利用待识别图像中各第一区域的匹配权重和距离权重,确定各第一区域的综合权重,兼顾各第一区域包含的信息以及图像特征偏移程度,第一区域的综合权重可以反映出第一区域对确定第一图像的相似参数的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
电子设备也可以将示例二和示例三中所确定的第一图像中各第二区域的匹配权重和距离权重,融合为各第二区域的综合权重。
一种可能的实施方式中,电子设备可以根据第一图像中每个第二区域的综合权重、待识别图像中每个第一区域对应的第一相似度以及第一图像中每个第二区域对应的第二相似度,确定第一图像的相似参数 在识别场景中,电子设备利用第一图像中各第二匹配权重和距离权重,确定各第二区域的综合权重,兼顾各第二区域包含的信息以及图像特征偏移程度,第二区域的综合权重可以反映出第二区域对确定第一图像的相似参数的贡献。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率。
另一种可能的实施方式中,电子设备还可以根据待识别图像中每个第一区域的综合权重、第一图像中每个第二区域的综合权重、待识别图像中每个第一区域的目标第二区域的相似度以及第一图像中每个第二区域的目标第一区域相似度,确定第一图像的相似参数
在识别场景中,电子设备利用待识别图像中各第一区域的综合权重,第一图像中各第二区域的综合权重,兼顾各第一区域和第二区域包含的信息以及图像特征偏移程度,确定各第一区域和第二区域对确定第一图像的相似参数的贡献,使得匹配过程中通过综合权重自适应修正错误的匹配模式。提升确定第一图像的相似参数的准确度,有助于提高确定待识别图像匹配的图像的准确率,从而提升识别效率,提高图像识别方法的泛化性能。
步骤S204,根据图像集合中每张图像的相似参数,从图像集合中确定与待识别图像匹配的图像。
一种可能的实施方式中,电子设备采用上述过程确定图像集合中每张图像的相似参数之后,将相似参数最大的目标图像确定为与待识别图像匹配的图像。
另一种可能的实施方式中,电子设备采用上述过程确定图像集合中每张图像的相似参数之后,将相似参数最大的目标图像,若目标图像的相似参数大于预设参数阈值,则将该目标图像确定为与待识别图像匹配的图像。
在对象识别场景中,电子设备还可以将与待识别图像匹配的图像所对应的对象确定为待识别图像所包含的对象。电子设备也可以将目标图像对应的对象的身份信息,确定为待识别图像中所包括的对象的身份信息。
一种可能的实施方式中,若图像集合中每张图像的相似参数均小于预设参数阈值,待识别图像中所包含的对象可能未记录在图像集合中任意一张图像中。电子设备可以生成提示信息(图像、文字、音频等形式),提示管理人员该对象可能未记录在模板库中。
在实际应用场景中,电子设备采用如步骤S203中的实现过程,确定模板库中每张模板图像的相似参数,然后确定与待识别图像匹配的模板图像。例如将相似参数最大的,并且相似参数大于预设参数阈值的模板图像为待识别图像匹配的模板图像。进一步地,电子设备还可以将与待识别图像匹配的模板图像所对应的对象,确定为待识别图像所包含的对象,实现对象识别。
一种可能的实施方式中,电子设备在执行步骤S203之前,电子设备可以获取进行图像识别的识别模式。电子设备可以提供识别模式选择界面,并将被选中的识别模式作为图像识别所使用的识别模式。用户可在电子设备提供的识别模式选择界面中选择所使用的识别模式。
本申请实施例中,识别模式可以表征应用场景,例如,识别模式可以是学校场景,法院场景,公司场景等。识别模式也可以表征识别性能,例如,一般识别,高速度识别,高准确率识别。
电子设备中还可以存储有识别模式与权重信息的对应关系。权重信息中包括每个第一区域的权重和每个第二区域的权重。
例如,识别模式1与权重信息1具有对应关系,权重信息1中可以包括每个第一区域的匹配权重和每个第二区域的匹配权重。识别模式2与权重信息2具有对应关系,权重信息2中可以包括每个第一区域的距离权重和每个第二区域的匹配权重。识别模式3与权重信息3具有对应关系,权重信息3中可以包括每个第一区域的综合权重和每个第二区域的综合权重等。其中,匹配权重、距离权重以及综合权重的确定过程,可参见前述实施例,此处不再赘述。
权重信息中也可以包括权重类型,权重类型可以表征权重的属性,例如,用于表征区域匹配频次的权重类型、用于表征区域图像特征偏移程度的权重类型以及根据前两个类型确定的权重类型。
识别模式与权重信息的对应关系,可以是识别模式与权重信息中权重类型的对应关系。电子设备根据当前使用的识别模式所对应的权重类型,来确定每个第一区域对应的权重和每个第二区域对应的权重。例如,识别模式4与权重信息4具有对应关系,权重信息4中包括第一区域对应的权重类型为用于表征区域图像特征偏移程度的权重类型,第二区域对应的权重类型为用于表征区域匹配频次的权重类型。然后,电子设备可以根据确定出的第一区域对应用于表征区域图像特征偏移程度的权重类型,采用前述计算确定每个第一区域对应的距离权重的过程,确定每个第一区域对应的权重。类似地,电子设备也可以根据确定出的第二区域对应用于表征区域匹配频次的权重类型,采用前述计算确定每个第二区域对应的匹配权重的过程,确定每个第二区域对应的权重。
图9是根据一示例性实施例示出的一种图像识别方法的示意流程图,如图9所示,图像识别方法可以应用于电子设备,方法包括如下步骤:
步骤S901,采集待识别图像。
步骤S902,确定待识别图像中各第一区域的特征向量。
电子设备可以对待识别图像采用传统或基于深度学习的特征提取算法进行分区域特征提取,获得不同第一区域的特征向量。例如,电子识别将待识别图像放缩到与模板图像同一尺寸后输入提前训练好的卷积神经网络。然后通过设置卷积核尺寸和移动的步长,可以直接得到待识别图像中不同第一区域的特征向量。每个第一区域的大小相同,可以存着重叠,第一区域的数量可以由卷积核的大小和移动步长确定。
步骤S903,根据预先确定的模板图像中各第二区域的特征向量,确定各第一区域与各第二区域的相似度,其中,模板图像为模板库中任一张图像。
电子设备也可以预先确定模板图像中各第二区域的特征向量,例如对模板图像采用传统或基于深度学习的特征提取算法进行分区域特征提取,获得不同第二区域的特征向量。模板库中包含多个模板图像,电子设备可以预先确定每个模板图像中的第二区域的特征向量。
电子设备针对待识别图片中每个第一区域,分别计算各第一区域与模板图片中各第二区域的相似度。其中,相似度表征特征向量间的距离。例如,图像被划分为n个区域,即能得到相似度矩阵Sn×n,其中si,j为矩阵S中第i行第j列上的元素,表示待识别图像中第i个第一区域和模板图像中第j个第二区域的相似度值。
步骤S904,统计各第一区域匹配到的第二区域的数量,以及统计各第二区域匹配到第一区域的数量。
若第二区域是各第二区域中与第一区域相似度最大的第二区域,则确定第二区域匹配到第一区域。例如,第一区域z与全部第二区域的相似度中,第二区域k的相似度最大,则第二区域k匹配到第一区域z。类似地,若第一区域是各第一区域中与第二区域相似度最大的第一区域,则确定第一区域匹配到第二区域。
电子设备可以对相似度矩阵Sn×n的每一行取最大值,并记录最大值对应的第二区域的位置信息,可以得到待识别图像中n个第一区域的最大相似度(也是第一相似度)以及各第一区域对应的最大相似度所属的第二区域的位置信息其中,位置信息可以表征区域在图像中的位置,位置以坐标的形式记录,如(x,y)。也可以以行列形式记录,如第一行第一列可以记为(1,1)。
步骤S905,根据各第一区域匹配到的第二区域的数量,确定各第一区域的匹配权重以及根据各第二区域匹配到第一区域的数量,确定各第二区域的匹配权重。
电子设备可以根据如下公式确定各第二区域的匹配权重:
电子设备可以根据如下公式确定各第一区域的匹配权重:
步骤S906,确定各第一区域的偏移曼哈顿距离,以及各第二区域的偏移曼哈顿距离。
一种可能的实施方式中,针对每个第一区域,电子设备可以第i个第一区域对应的最大相似度所属的第二区域的位置信息以及第i个第一区域相邻的第一区域中每个第一区域对应的最大相似度所属的第二区域的位置信息,如可以计算第i个第一区域的第一曼哈顿距离其中,bi-r,bi+r,bi-l,bi+l分别表示待识别图像中第i个第一区域上、下、左、右四个相邻区域匹配的第二区域的位置信息。
电子设备可以根据待识别图像中第i个第一区域的位置信息,分别与第i个第一区域相邻的第一区域中每个第一区域的位置信息之间的曼哈顿距离的总和,确定第i个第一区域的第二曼哈顿距离DMi。通常,DMi的值为4(指定的相邻区域的数量)。电子设备将Di-DMi,确定为第i个第一区域的偏移曼哈顿距离。
类似地,电子设备也可以确定第j个第二区域的偏移曼哈顿距离。
步骤S907,根据各第一区域的偏移曼哈顿距离,确定各第一区域的距离权重,以及根据各第二区域的偏移曼哈顿距离,确定各第二区域的距离权重。
步骤S908,根据各第一区域的匹配权重和距离权重,确定各第一区域的综合权重,以及根据各第二区域的匹配权重和距离权重,确定各第二区域的综合权重。
步骤S909,根据各第一区域的综合权重、各第二区域的综合权重、各第一区域对应的最大相似度、各第二区域对应的最大相似度,确定模板图像的相似参数。
电子设备可以通过步骤S903至步骤S909,确定模板库中每张模板图像的相似参数simd,其中,d为不小于1的整数。
步骤S910,将模板库中相似参数最大的、且相似参数大于参数阈值的模板图像确定为与待识别图像匹配的图像。
电子设备将全部模板图像的相似参数中最大的相似参数MAX(sim)对应的模板图像作为与待识别图像匹配的图像,其中,MAX(sim)≥simref,simref为相似参数阈值。
在对象识别场景中,电子设备还可以将与待识别图像匹配的模板图像对应的对象的身份信息确定为待识别图像所包括的对象的身份信息。或者,电子设备将与待识别图像匹配的模板图像对应的对象的信息作为识别结果。
图10是根据一示例性实施例示出的一种图像识别装置的结构示意图,如图10所示,该装置包括获取模块1001,计算模块1002,处理模块1003。
获取模块1001,用于获取待识别图像,待识别图像包括多个第一区域;
计算模块1002,用于确定每个第一区域和目标区域的相似度,目标区域为第一图像所包括的多个第二区域中的每个第二区域,第一图像为图像集合中的任一图像,其中,待识别图像中多个第一区域的划分方式与第一图像中多个第二区域的划分方式相同;
处理模块1003,用于根据每个第一区域对应的权重和第一相似度,以及每个第二区域对应的权重和第二相似度,确定第一图像的相似参数,其中,第一相似度是第一区域与各第二区域的相似度中最大的,第二相似度是第二区域与各第一区域的相似度中最大的;以及根据图像集合中每张图像的相似参数,从图像集合确定与待识别图像匹配的图像。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,获取模块1001还用于:
在确定第一图像的相似参数之前,根据识别模式与权重信息的对应关系,确定使用的识别模式对应的权重信息;
其中,权重信息中包括第一区域对应的权重和第二区域对应的权重。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,第一区域对应的权重和第二区域对应的权重是下列中的一种:
用于表征区域匹配频次的匹配权重;
用于表征区域图像特征偏移程度的距离权重;
用于根据匹配权重和距离权重确定的综合权重。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,计算模块1002还用于:
通过下列方式确定第一区域对应的匹配权重:
针对任意一个第一区域,根据第一区域匹配到的第二区域的数量,确定第一区域的权重,其中,若第一区域是各第一区域中与第二区域相似度最大的第一区域,则确定第一区域匹配到第二区域;
通过下列方式确定第二区域对应的匹配权重:
针对任意一个第二区域,根据第二区域匹配到的第一区域的数量,确定第二区域的权重,其中,若第二区域是各第二区域中与第一区域相似度最大的第二区域,则确定第二区域匹配到第一区域。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,计算模块1002还用于:
通过下列方式确定第一区域对应的距离权重:
根据第一区域的第一曼哈顿和第二曼哈顿距离,确定第一区域的距离权重;
其中,第一曼哈顿是根据第一区域对应的第一相似度所属的第二区域的位置信息,以及与第一区域相邻的第一区域对应的第一相似度所属第二区域的位置信息确定的,第二曼哈顿是根据第一区域的位置信息,以及与第一区域相邻的第一区域的位置信息确定的;
通过下列方式确定第二区域对应的距离权重:
根据第二区域的第三曼哈顿距离和第四曼哈顿距离,确定第二区域的距离权重;
其中,第三曼哈顿距离是根据第二区域对应的第二相似度所属的第一区域的位置信息,以及与第二区域相邻的第二区域对应的第二相似度所属第一区域的位置信息确定的,第四曼哈顿距离是根据第二区域的位置信息、与第二区域相邻的第二区域的位置信息确定的。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,计算模块1002还用于:
通过下列方式确定第一区域对应的综合权重:
将第一区域的匹配权重和距离权重与第一数量的比值,确定为第一区域的综合权重,其中,第一数量为全部第一区域的匹配权重和距离权重的总和;
通过下列方式确定第二区域对应的综合权重:
将第二区域的匹配权重和距离权重与第二数量的比值,确定为第二区域的综合权重,其中,第二数量为全部第二区域的匹配权重和距离权重的总和。
一种可能的实施方式中,本申请实施例提供的图像识别装置中,处理模块1003具体用于:
将图像集合中每个图像的相似参数最大的,且相似参数大于参数阈值的图像,确定为与待识别图像匹配的图像。
基于上述本申请实施例相同构思,图11是根据一示例性实施例示出的电子设备1100的结构示意图,如图11所示,本申请实施例示出的电子设备1100包括:
处理器1110;
用于存储处理器1110可执行指令的存储器1120;
其中,处理器1110被配置为执行指令,以实现本申请实施例中图像识别方法中的全部或部分步骤。
可选的,电子设备还包括图像采集装置1130,用于采集待识别对象的图像。
上述处理器1110可以包括中央处理器(CPU),或者特定集成电路(ApplicationSpecific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器1120可以包括用于存储数据或指令的大容量存储器。举例来说而非限制,存储器1120可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器1120可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器1120可在数据处理装置的内部或外部。在特定实施例中,存储器1120是非易失性固态存储器。在特定实施例中,存储器902包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器1110通过读取并执行存储器1120中存储的计算机程序指令,以实现上述实施例中的图像识别方法。
在一个示例中,该电子设备还可包括通信接口1140和总线1150。其中,如图11所示,处理器1110、存储器1120、图像采集装置1130、通信接口1140通过总线1150连接并完成相互间的通信。
通信接口1140,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线1150包括硬件、软件或两者,将该电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其它图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其它合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线910可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,结合上述实施例中的图像识别方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一项图像识别方法。
可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像识别方法,其特征在于,所述方法包括:
获取待识别图像,所述待识别图像包括多个第一区域;
确定每个第一区域与第一图像包括的多个第二区域中每个第二区域的相似度,所述待识别图像包括的所述多个第一区域的划分方式与所述第一图像包括的多个第二区域的划分方式相同,所述第一图像是图像集合中的任一图像;
根据所述每个第一区域对应的权重和第一相似度,以及所述每个第二区域对应的权重和第二相似度,确定所述第一图像的相似参数,其中,所述第一区域与所述多个第二区域中每个第二区域的相似度中最大的相似度为第一相似度,所述第二区域与所述多个第一区域的相似度中最大的相似度为第二相似度;
根据所述图像集合中每张图像的相似参数,从所述图像集合中确定与所述待识别图像匹配的图像。
2.根据权利要求1所述的方法,其特征在于,所述确定所述第一图像的相似参数之前,所述方法还包括:
根据识别模式与权重信息的对应关系,确定使用的识别模式对应的权重信息;
其中,所述权重信息中包括所述第一区域对应的权重和所述第二区域对应的权重。
3.根据权利要求2所述的方法,其特征在于,所述第一区域对应的权重和所述第二区域对应的权重是下列中的一种:
用于表征区域匹配频次的匹配权重;
用于表征区域图像特征偏移程度的距离权重;
用于根据所述匹配权重和所述距离权重确定的综合权重。
4.根据权利要求3所述的方法,其特征在于,通过下列方式确定所述第一区域对应的匹配权重:
针对任意一个第一区域,根据所述第一区域匹配到的第二区域的数量,确定所述第一区域的权重,其中,若所述第一区域是各第一区域中与所述第二区域相似度最大的第一区域,则确定所述第一区域匹配到所述第二区域;
通过下列方式确定所述第二区域对应的匹配权重:
针对任意一个第二区域,根据所述第二区域匹配到的第一区域的数量,确定所述第二区域的权重,其中,若所述第二区域是各第二区域中与所述第一区域相似度最大的第二区域,则确定所述第二区域匹配到所述第一区域。
5.根据权利要求3所述的方法,其特征在于,通过下列方式确定所述第一区域对应的距离权重:
根据所述第一区域的第一曼哈顿和第二曼哈顿距离,确定所述第一区域的距离权重;
其中,所述第一曼哈顿是根据所述第一区域对应的第一相似度所属的第二区域的位置信息,以及与所述第一区域相邻的第一区域对应的第一相似度所属第二区域的位置信息确定的,所述第二曼哈顿是根据所述第一区域的位置信息,以及与所述第一区域相邻的第一区域的位置信息确定的;
通过下列方式确定所述第二区域对应的距离权重:
根据所述第二区域的第三曼哈顿距离和第四曼哈顿距离,确定所述第二区域的距离权重;
其中,所述第三曼哈顿距离是根据所述第二区域对应的第二相似度所属的第一区域的位置信息,以及与所述第二区域相邻的第二区域对应的第二相似度所属第一区域的位置信息确定的,所述第四曼哈顿距离是根据所述第二区域的位置信息、与所述第二区域相邻的第二区域的位置信息确定的。
6.根据权利要求3~5中任一所述的方法,其特征在于,通过下列方式确定所述第一区域对应的综合权重:
将所述第一区域的匹配权重和距离权重与第一数量的比值,确定为所述第一区域的综合权重,其中,所述第一数量为全部第一区域的匹配权重和距离权重的总和;
通过下列方式确定所述第二区域对应的综合权重:
将所述第二区域的匹配权重和距离权重与第二数量的比值,确定为所述第二区域的综合权重,其中,所述第二数量为全部第二区域的匹配权重和距离权重的总和。
7.根据权利要求1所述的方法,其特征在于,所述根据所述图像集合中每张图像的相似参数,从所述图像集合确定与所述待识别图像匹配的图像,包括:
将所述图像集合中每个图像的相似参数最大的,且相似参数大于参数阈值的图像,确定为与所述待识别图像匹配的图像。
8.一种图像识别装置,其特征在于,所述装置包括:
获取模块,用于获取待识别图像,所述待识别图像包括多个第一区域;
计算模块,用于确定每个第一区域与第一图像包括的多个第二区域中每个第二区域的相似度,所述待识别图像包括的所述多个第一区域的划分方式与所述第一图像包括的多个第二区域的划分方式相同,所述第一图像是图像集合中的任一图像;
处理模块,用于根据所述每个第一区域对应的权重和第一相似度,以及所述每个第二区域对应的权重和第二相似度,确定所述第一图像的相似参数,其中,所述第一区域与所述多个第二区域中每个第二区域的相似度中最大的相似度为第一相似度,所述第二区域与所述多个第一区域的相似度中最大的相似度为第二相似度;以及根据所述图像集合中每张图像的相似参数,从所述图像集合中确定与所述待识别图像匹配的图像。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令以实现如权利要求1至7中任一项所述的图像识别方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的图像识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011508173.6A CN112488062B (zh) | 2020-12-18 | 2020-12-18 | 一种图像识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011508173.6A CN112488062B (zh) | 2020-12-18 | 2020-12-18 | 一种图像识别方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112488062A true CN112488062A (zh) | 2021-03-12 |
CN112488062B CN112488062B (zh) | 2023-04-07 |
Family
ID=74914651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011508173.6A Active CN112488062B (zh) | 2020-12-18 | 2020-12-18 | 一种图像识别方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112488062B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114429649A (zh) * | 2022-04-07 | 2022-05-03 | 青岛美迪康数字工程有限公司 | 目标图像识别方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150561A (zh) * | 2013-03-19 | 2013-06-12 | 华为技术有限公司 | 人脸识别方法和设备 |
CN107292287A (zh) * | 2017-07-14 | 2017-10-24 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN108875797A (zh) * | 2018-05-29 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 一种确定图像相似度的方法、相册管理方法及相关设备 |
CN109241985A (zh) * | 2017-07-11 | 2019-01-18 | 普天信息技术有限公司 | 一种图像识别方法及装置 |
CN109829448A (zh) * | 2019-03-07 | 2019-05-31 | 苏州市科远软件技术开发有限公司 | 人脸识别方法、装置及存储介质 |
CN110532851A (zh) * | 2019-07-04 | 2019-12-03 | 珠海格力电器股份有限公司 | 指静脉识别方法、装置、计算机设备和存储介质 |
CN111401326A (zh) * | 2020-04-21 | 2020-07-10 | 招商局金融科技有限公司 | 基于图片识别的目标身份识别方法、服务器及存储介质 |
WO2020237887A1 (zh) * | 2019-05-29 | 2020-12-03 | 平安科技(深圳)有限公司 | 人脸识别方法、装置、终端及存储介质 |
-
2020
- 2020-12-18 CN CN202011508173.6A patent/CN112488062B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150561A (zh) * | 2013-03-19 | 2013-06-12 | 华为技术有限公司 | 人脸识别方法和设备 |
CN109241985A (zh) * | 2017-07-11 | 2019-01-18 | 普天信息技术有限公司 | 一种图像识别方法及装置 |
CN107292287A (zh) * | 2017-07-14 | 2017-10-24 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
US20200042770A1 (en) * | 2017-07-14 | 2020-02-06 | Shenzhen Intellifusion Technologies Co., Ltd. | Facial recognition method and apparatus, electronic device, and storage medium |
CN108875797A (zh) * | 2018-05-29 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 一种确定图像相似度的方法、相册管理方法及相关设备 |
CN109829448A (zh) * | 2019-03-07 | 2019-05-31 | 苏州市科远软件技术开发有限公司 | 人脸识别方法、装置及存储介质 |
WO2020237887A1 (zh) * | 2019-05-29 | 2020-12-03 | 平安科技(深圳)有限公司 | 人脸识别方法、装置、终端及存储介质 |
CN110532851A (zh) * | 2019-07-04 | 2019-12-03 | 珠海格力电器股份有限公司 | 指静脉识别方法、装置、计算机设备和存储介质 |
CN111401326A (zh) * | 2020-04-21 | 2020-07-10 | 招商局金融科技有限公司 | 基于图片识别的目标身份识别方法、服务器及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114429649A (zh) * | 2022-04-07 | 2022-05-03 | 青岛美迪康数字工程有限公司 | 目标图像识别方法及装置 |
CN114429649B (zh) * | 2022-04-07 | 2022-06-24 | 青岛美迪康数字工程有限公司 | 目标图像识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112488062B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389030B (zh) | 人脸特征点检测方法、装置、计算机设备及存储介质 | |
Meyer | An alternative probabilistic interpretation of the huber loss | |
CN109389153B (zh) | 一种全息防伪码校验方法及装置 | |
CN109086734B (zh) | 一种对人眼图像中瞳孔图像进行定位的方法及装置 | |
CN107423306B (zh) | 一种图像检索方法及装置 | |
WO2020098250A1 (zh) | 字符识别方法、服务器及计算机可读存储介质 | |
CN110189341B (zh) | 一种图像分割模型训练的方法、图像分割的方法及装置 | |
US10007678B2 (en) | Image processing apparatus, image processing method, and recording medium | |
US20190043168A1 (en) | An image processing device, an image processing method, and computer-readable recording medium | |
CN111914878A (zh) | 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质 | |
CN111414803A (zh) | 人脸识别方法、装置、电子设备 | |
CN112488062B (zh) | 一种图像识别方法、装置、设备及介质 | |
CN105224957B (zh) | 一种基于单样本的图像识别的方法及系统 | |
EP2128820A1 (en) | Information extracting method, registering device, collating device and program | |
CN113255700B (zh) | 图像的特征图的处理方法及装置、存储介质、终端 | |
CN112446428B (zh) | 一种图像数据处理方法及装置 | |
CN114022567A (zh) | 位姿跟踪方法、装置、电子设备及存储介质 | |
CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
CN111597979B (zh) | 一种目标对象聚类方法及装置 | |
CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
CN108805899B (zh) | 一种目标跟踪方法及装置 | |
Aing et al. | Instancepose: Fast 6dof pose estimation for multiple objects from a single rgb image | |
CN111611846A (zh) | 行人再识别方法、装置、电子设备及存储介质 | |
CN113837930B (zh) | 人脸图像合成方法、装置以及计算机可读存储介质 | |
CN114155420B (zh) | 一种场景识别模型训练方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |