CN109002784B - 街景识别方法和系统 - Google Patents
街景识别方法和系统 Download PDFInfo
- Publication number
- CN109002784B CN109002784B CN201810715716.8A CN201810715716A CN109002784B CN 109002784 B CN109002784 B CN 109002784B CN 201810715716 A CN201810715716 A CN 201810715716A CN 109002784 B CN109002784 B CN 109002784B
- Authority
- CN
- China
- Prior art keywords
- street view
- training sample
- feature
- sample pair
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请涉及数据处理技术领域,尤其涉及一种街景识别模型的训练方法,包括:获取本轮训练使用的训练样本对;将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;将所述第一特征和所述第二特征进行对比得到的对比结构,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练;经过对所述神经网络的多轮训练,得到街景识别模型。利用本申请方案提供的街景识别模型的训练方式,可以得到识别准确性高的街景识别模型。本申请还提供了一种街景识别模型的训练系统、一种街景识别方法、系统和电子设备。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种街景识别方法和系统。
背景技术
随着社会的发展,手机等电子设备以及互联网与计算机技术的日益完善,图像数据和视频数据也随之成指数增长。如何有效利用丰富的图像和视频资源,是当前大数据时代面临的挑战。基于图像内容的图像检索及图像识别技术是图像数据处理的关键技术,不仅如此,图像检索技术和图像识别技术在实际生活中也有着重要的应用,如停车场车牌识别,或者以某辆车、某个人或某个物体为目标对象进行识别,可以为警方破案提供关键线索。我们也可以随时随地的拍摄自己喜欢的物品,并且在网络商城进行查找,因此图像检索技术以及图像识别技术具有广泛的应用前景。
但是由于目标对象的类别繁多,且每一种类别的目标对象具有多种形态,在对目标对象的图像进行匹配识别的过程中,往往难以保证图像识别的准确性。
发明内容
有鉴于此,本申请实施例提供一种街景识别方法和系统,可以增加图像识别过程中的准确性,为用户提供便利。
本申请实施例提供了一种街景识别模型的训练方法,所述方法包括:
获取本轮训练使用的训练样本对;其中,所述训练样本对包括两个相同和/或不同的街景图像;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并
根据匹配结果对所述神经网络进行本轮训练;
经过对所述神经网络的多轮训练,得到街景识别模型。
上述技术方案中,所述神经网络包括孪生Siamese网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
上述技术方案中,所述神经网络包括双通道神经网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入所述双通道神经网络的不同通道;
使用所述双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
所述距离确定操作,包括:
确定所述第一特征和所述第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于所述第二反馈信息对所述双通道神经网络进行参数调整;
基于调整后的参数,使用所述双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
上述技术方案中,针对每轮训练,将使用该轮训练完成得到的街景识别模型为该轮训练中使用的各训练样本对提取的特征保存。
本申请实施例还提供了一种街景识别方法,包括:
将待确定街景图像输入完成训练的街景识别模型;
其中,所述街景识别模型包括采用如上所述的训练方法训练得到的街景识别模型或者采用如上所述的训练方法训练得到的街景识别模型所包括的神经网络的一个分支;
使用所述街景识别模型为所述待确定街景图像提取第三特征;并
将所述第三特征和保存的特征进行比对;
根据得到的比对结果确定所述待确定街景图像对应的街景;并
输出确定的街景对应的相关信息。
本申请实施例还提供了一种街景识别方法,包括:
针对多个已确定街景图像中的每个已确定街景图像,将待确定街景图像与该已确定街景图像输入完成训练的街景识别模型;
其中,所述街景识别模型包括采用如上所述的训练方法训练得到的街景识别模型;
使用所述街景识别模型为所述待确定街景图像和该已确定街景图像确定第三特征和第四特征;并
将所述第三特征和所述第四特征进行比对;
根据得到的比对结果确定所述待确定街景图像对应的街景;并
输出确定的街景对应的相关信息。
本申请实施例还提供了一种街景识别模型的训练系统,所述系统包括:获取模块、确定模块、处理模块、生成模块;其中,
所述获取模块,用于获取本轮训练使用的训练样本对;其中,所述训练样本对包括两个相同和/或不同的街景图像;
所述确定模块,用于将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
所述处理模块,用于将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练;
所述生成模块,用于经过对所述神经网络的多轮训练,得到街景识别模型。
上述技术方案中,所述神经网络包括孪生Siamese网络;
所述确定模块,具体用于根据以下步骤确定第一特征和第二特征:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
所述处理模块,具体用于根据以下步骤将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配,并根据匹配结果对所述神经网络进行本轮训练:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
本申请实施例还提供了一种街景识别系统,包括:输入模块、处理模块、确定模块和输出模块;其中,
所述输入模块,用于将待确定街景图像输入完成训练的街景识别模型;其中,所述街景识别模型包括采用如上所述的训练方法训练得到的街景识别模型或者采用如上所述的训练方法训练得到的街景识别模型所包括的神经网络的一个分支;
所述处理模块,用于使用所述街景识别模型为所述待确定街景图像提取第三特征;并将所述第三特征和保存的特征进行比对;
所述确定模块,用于根据得到的比对结果确定所述待确定街景图像对应的街景;
所述输出模块,用于输出确定的街景对应的相关信息。
本申请实施例还提供了一种街景识别系统,包括:输入模块、处理模块、确定模块和输出模块;其中,
所述输入模块,用于针对多个已确定街景图像中的每个已确定街景图像,将待确定街景图像与该已确定街景图像输入完成训练的街景识别模型;其中,所述街景识别模型包括采用如上所述的训练方法训练得到的街景识别模型;
所述处理模块,用于使用所述街景识别模型为所述待确定街景图像和该已确定街景图像确定第三特征和第四特征;并将所述第三特征和所述第四特征进行比对;
所述确定模块,用于根据得到的比对结果确定所述待确定街景图像对应的街景;
所述输出模块,用于输出确定的街景对应的相关信息。
本申请实施例还提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法的步骤。
采用上述方案,可以在每轮训练过程中将训练样本对输入神经网络的两个分支的入口,并利用神经网络为输入的训练样本对确定第一特征和第二特征,从而可以将确定的第一特征与第二特征进行比对,得到比对结果,并将比对结果与该训练样本对的标注值进行匹配,从而可以利用匹配结果调整神经网络的参数,如此神经网络进行多轮训练后,可以得到具有准确识别能力的街景识别模型,从而可以利用街景识别模型对待确定街景图像进行街景识别,并输入识别的街景对应的相关信息,这样,不仅可以高效且准确地识别待确定街景图像对应的街景,还可以将识别的街景的相关信息发送给对应的用户,为用户提供便利。
为使本申请实施例的上述目的、特征和优点能更明显易懂,下面将结合实施例,并配合所附附图,作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种街景识别模型的训练方法的流程图;
图2示出了本申请实施例所提供的一种街景识别方法的流程图;
图3示出了本申请实施例所提供的一种街景识别方法的流程图;
图4示出了本申请实施例所提供的一种街景识别模型的训练及街景识别方法的流程图;
图5示出了本申请实施例所提供的一种街景识别模型的训练系统的功能模块图;
图6示出了本申请实施例所提供的一种街景识别系统的功能模块图;
图7示出了本申请实施例所提供的一种街景识别系统的功能模块图;
图8示出了本申请实施例所提供的一种电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。以下对本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例下述方法、装置、电子设备或计算机存储介质可以应用于任何需要对街景进行识别的场景,比如,可以应用于街景识别平台或软件等。本申请实施例并不对具体的应用场景作限制,任何使用本申请实施例提供的街景识别模型的训练方法以及街景识别的方案均在本申请保护范围内。
本申请实施例提供的街景识别模型的训练方法,可以在每轮训练过程中将训练样本对输入神经网络的两个分支的入口,并利用神经网络为输入的训练样本对确定第一特征和第二特征,从而可以将确定的第一特征与第二特征进行比对,得到比对结果,并将比对结果与该训练样本对的标注值进行匹配,从而可以利用匹配结果调整神经网络的特征参数。如此神经网络进行多轮训练后,可以得到具有准确识别能力的街景识别模型,从而可以利用街景识别模型对街景图像进行识别。
本申请实施例中,下述实施例将会对街景识别模型的训练方法作详细说明。
本申请实施例提供的一种街景识别模型的训练方法如图1所示,包括:
S101,获取本轮训练使用的训练样本对。
在具体实施中,街景识别平台在街景识别模型训练的过程中,可以获取本轮训练过程中使用的至少一个训练样本对。这里的训练样本对可以包括两个相同和/或不同的街景图像,该训练样本对可以具有相应的标注值,该标注值可以表征对应的训练样本对的相似程度。例如,当训练样本对为两个相同的街景图像时,该训练样本对的标注值可以为1;当训练样本对为两个相同的街景图像时,该训练样本对的标注值可以为0。
在一些实施方式中,上述训练样本对还可以包括同一街景的街景图像以及不同街景的街景图像,这里的街景可以包括建筑物、景物以及标志物等,两个同一街景的街景图像对应的标注值可以近似为1,两个不同街景的街景图像对应的标注值可以趋近于0。
需要说明的是,在选择训练样本对时,可以根据街景识别模型的实际应用场景或实际需求对训练样本对中的街景图像进行调整,如可以将属于同一个街景的街景图像作为训练样本对,即使训练样本对中的两个街景图像可能不完全相同,也可以将同一个街景的街景图像作为相同的街景图像,这样,可以提高街景识别模型的识别准确度,即使在街景图像不相同的情况下,也可以对同一街景的街景图像进行识别。上述训练样本对的标注值可以结合实际需求进行设定,本申请实施中可以将标注值设置为0至1之间,1表示两个街景图像相同,0表示两个街景图像不同。
S102,将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征。
在具体实施中,街景识别平台可以构建神经网络的网络结构,例如径向基神经网络、霍普菲尔网络、马尔可夫链等神经网络结构。在构建神经网络时,可以为神经网络设置两个分支,其中的每个分支可以具有相同的网络结构。街景识别平台可以将获取的至少一个训练样本对中的每个训练样本对输入构建的神经网络的分支,利用构建的神经网络对输入的训练样本对确定第一特征和第二特征。其中的第一特征和第二特征可以分别对应训练样本对中的两个街景图像,即第一特征可以为由训练样本对中的一个街景图像提取的特征,第二特征可以为由训练样本对中的另一个街景图像提取的特征。
这里,在将训练样本对输入神经网络的分支时,可以将训练样本对分别输入神经网络的每个分支对应的入口,从而神经网络的每个分支可以分别对训练样本对的特征进行提取,并实时共享模型训练过程中的特征以及参数,这样可以提高模型训练的效率以及准确率。
在具体实施中,当神经网络包括孪生Siamese网络时,可以将获取的至少一个训练样本对中的每个训练样本对,分别输入Siamese网络的两个入口,并使用Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量。这里,第一特征向量与第二特征向量可以为由训练样本对中提取的特征组成的特征向量,其中,第一特征向量可以为由训练样本对中的一个街景图像提取的特征组成的特征向量,第二特征可以为由训练样本对中的另一个街景图像提取的特征组成的特征向量。第一特征向量和第二特征向量均可以包括多个特征。
在一些实施方式中,当神经网络包括双通道神经网络时,可以将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并将每个训练样本对分别输入双通道神经网络的不同通道中,进而可以使用双通道神经网络分别为输入的训练样本对确定第一特征和第二特征。这里,在将每个训练样本对分别作为源数据和目标数据输入双通道神经网络的通道时,可以将训练样本对中的一个训练样本作为源数据,并将训练样本对中的另一个训练样本作为目标数据,并分别将源数据和目标数据输入双通道神经网络的不同通道中,从而利用双通道神经网络提取的源数据和目标数据的特征,确定训练样本对的第一特征和第二特征。这里,第一特征与第二特征之间可以具有相同的特征。
S103,将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练。
在具体实施中,街景识别平台可以将第一特征与第二特征进行比对,并得到比对结果,并将得到的比对结果与预先存储的训练样本对的标注值进行匹配,并根据匹配结果对神经网络的参数进行调整,使比对结果与训练样本对的标注值一致。如果神经网络为Siamese网络,在利用第一特征与第二特征的对比结果与训练样本对的标注值进行匹配时,可以先将第一特征向量与第二特征向量进行比对,得到比对结果,并将比对结果与对应训练样本对的标注值进行匹配,如果第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练,如果第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值不一致,则可以根据比对应训练样本对的标注值的差异值生成第一反馈信息,可以基于第一反馈信息对Siamese网络进行参数调整,并利用参数调整之后的Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致。其中,所述标注值表征对应训练样本对相似或者不相似。
如果神经网络为双通道神经网络,在利用第一特征与第二特征的对比结果与训练样本对的标注值进行匹配时,可以先确定第一特征与第二特征之间的距离,并将确定的距离与预设距离阈值进行匹配。第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练。若第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或,第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则可以根据第一特征与第二特征之间的距离与预设距离阈值之间的差异值,生成第二反馈信息,并基于第二反馈信息对双通道神经网络进行参数调整,并基于调整后的参数,使用双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
S104,经过对所述神经网络的多轮训练,得到街景识别模型。
在具体实施中,每轮训练过程中使用的训练样本对可以相同,从而即使在训练样本对有限的情况下,也可以得到识别率较高的街景识别模型。这里得到的街景识别模型,可以具有7个全连接层,且第7个全连接层可以包括128个特征,当第7个全连接层具有128个特征时,街景识别模型既可以具有较高的识别率以及识别效率。从而可以利用该网络结构的街景识别模型识别街景图像。
进一步地,在每轮训练过程中,可以将使用该轮训练完成得到的街景识别模型为该轮训练中使用的各训练样本对提取的特征进行保存,从而可以在利用训练之后的街景识别模型识别街景图像时,为识别的街景图像作为参考。
基于此,本申请实施例还提供了一种街景识别方法,如图2所示,包括:
S201,将待确定街景图像输入完成训练的街景识别模型;
这里,街景识别模型可以采用上述街景识别模型的训练方法得到,该街景识别模型可以包括神经网络的两个分支,两个分支的网络结构可以相同。在将确定街景图像输入完成训练的街景识别模型时,可以将待确定街景图像分别输入两个分支中,或者将待确定街景图像输入街景识别模型所包括的神经网络的一个分支。其中的待确定街景图像可以为根据用户输入获取的需要进行街景识别的街景图像。
S202,使用所述街景识别模型为所述待确定街景图像提取第三特征;并将所述第三特征和保存的特征进行比对。
在具体实施中,在将待确定街景图像输入街景识别模型之后,可以利用街景识别模型对待确定街景图像进行特征提取,并形成待确定街景图像的第三特征,并将形成的第三特征与街景识别模型在训练时保存的特征进行比对。在对待确定街景图像进行特征提取时,可以提取街景识别模型在训练时确定的128个特征,例如街景图像的颜色、轮廓或形状等特征,从而形成待确定街景图像的第三特征。确定待确定街景图像的第三特征之后,可以将第三特征与保存的特征进行比对,得到比对结果。
一些实施方式中,还可以为提取的特征设置相应的权重,利用权重对提取的特征进行加权后,形成待确定街景图像的第三特征。在将第三特征与保存的特征进行比对时,可以将第三特征与每个保存的特征进行比对,得到待确定街景图像与每个保存的特征的比对结果。
S203,根据得到的比对结果确定所述待确定街景图像对应的街景;并输出确定的街景对应的相关信息。
在具体实施中,可以通过计算第三特征与保存的特征之间的距离确定待确定街景图像对应的街景。在计算第三特征与保存的特征之间的距离时,可以计算第三特征与保存的特征之间的欧式距离或余弦距离。当第三特征与保存的特征之间的距离接近于0时,则可以表明该保存的特征对应的街景为待确定街景图像对应的街景。当确定街景图像对应的街景时,可以获取确定的街景的相关信息,并将街景的相关信息发送或显示给输入待确定街景图像的用户。如果第三特征与保存的特征之间的距离接近1时,则表明待确定街景图像对应的街景与保存的特征对应的街景图像的街景为不同街景,则可以将第三特征与另一个保存的特征进行特征比对,直到确定待确定街景图像对应的街景为止,或直到保存的特征均与第三特征不接近为止。
需要说明的是,这里的特征之间的距离为进行归一化之后的距离。距离越大,表明两者的特征不同或不相近,距离越小,表明两者的特征相同或相近。
通过上述街景识别的方案,可以利用街景识别模型,高效且准确地识别待确定街景图像对应的街景,并将识别的街景的相关信息发送给对应的用户,为用户提供便利。
本申请实施例还提供了一种街景识别方法,如图3所示,包括:
S301,针对多个已确定街景图像中的每个已确定街景图像,将待确定街景图像与该已确定街景图像输入完成训练的街景识别模型。
这里,街景识别模型可以采用上述街景识别模型的训练方法得到,该街景识别模型可以包括神经网络的两个分支,两个分支的网络结构可以相同。在将确定街景图像输入完成训练的街景识别模型时,可以将待确定街景图像分别输入两个分支中,或者将待确定街景图像输入街景识别模型所包括的神经网络的一个分支。
在具体实施中,在利用街景识别模型对待确定街景图像进行识别之前,可以获取多个已确定街景图像中的每个已确定街景图像。在利用街景识别模型对待确定街景图像进行识别时,可以将待确定街景图像以及每个已确定街景图像输入街景识别模型,具体如,将待确定街景图像与一个已确定街景图像输入街景识别模型,在利用街景识别模型对待确定街景图像和该已确定街景图像进行比对之后,若确定该已确定街景图像与待确定街景图像对应的街景不一致,则将待确定街景图像与下一个已确定街景图像输入街景识别模型。
S302,使用所述街景识别模型为所述待确定街景图像和该已确定街景图像确定第三特征和第四特征;并将所述第三特征和所述第四特征进行比对。
在具体实施中,在将待确定街景图像和该已确定街景图像输入街景识别模型之后,可以利用街景识别模型对待确定街景图像和该已确定街景图像进行特征提取,分别形成待确定街景图像对应的第三特征和该已确定街景图像对应的第四特征,并将形成的第三特征与第四特征进行比对,得到比对结果。在利用街景识别模型提取特征时,可以提取街景识别模型在训练时确定的128个特征,例如街景图像的颜色、轮廓或形状等特征,从而形成待确定街景图像的第三特征以及该已确定街景图像对应的第四特征。
一些实施方式中,还可以为提取的特征设置相应的权重,利用权重对提取的特征进行加权后,形成街景图像的第三特征以及该已确定街景图像对应的第四特征。
S303,根据得到的比对结果确定所述待确定街景图像对应的街景;并输出确定的街景对应的相关信息。
在具体实施中,可以通过计算第三特征与第四特征之间的距离确定待确定街景图像对应的街景。在计算第三特征与第三特征之间的距离时,可以计算第三特征与第三特征之间的欧式距离或余弦距离。当第三特征与第三特征之间的距离接近于0时,则表明待确定街景图像对应的街景与该已确定街景图像对应的街景为同一街景,从而可以获取该已确定街景图像对应街景的相关信息,并将街景的相关信息发送或显示给输入待确定街景图像的用户。如果第三特征与第三特征之间的距离接近1时,则表明待确定街景图像对应的街景与该已确定街景图像对应的街景为不同街景,则可以将待确定街景图像与下一个已确定街景图像输入街景识别模型,利用街景识别模型对待确定街景图像与下一个已确定街景图像进行特征比对,直到确定待确定街景图像对应的街景为止,或直到已确定街景图像均不为待确定街景图像对应的街景为止。
通过上述街景识别的方案,可以利用街景识别模型,高效且准确地识别待确定街景图像对应的街景,并将识别的街景的相关信息发送给对应的用户,为用户提供便利。
本申请实施例还提供了一种街景识别模型的训练及街景识别方法,如图4所示,包括:
S401,获取本轮训练使用的训练样本对。
在具体实施中,街景识别平台在街景识别模型训练的过程中,可以获取本轮训练过程中使用的至少一个训练样本对。这里的训练样本对可以包括两个相同和/或不同的街景图像,该训练样本对可以具有相应的标注值,该标注值可以表征对应的训练样本对的相似程度。
S402,将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征。
在具体实施中,街景识别平台可以选择孪生Siamese网络或双通道神经网络构建神经网络的网络结构。这里的网络结构可以包括特征个数、连接层个数以及特征对应的参数等。街景识别平台可以将获取的至少一个训练样本对中的每个训练样本对输入构建的神经网络的分支,利用构建的神经网络对输入的训练样本对确定第一特征和第二特征。其中的第一特征和第二特征可以分别对应训练样本对中的两个街景图像。
S403,将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配,形成匹配结果。
在具体实施中,街景识别平台可以计算第一特征与第二特征之间的距离,根据计算的距离得到第一特征和第二特的比对结果。在得到比对结果之后,可以将该比对结果对应训练样本对的标注值进行匹配,形成匹配结果。
S404,根据匹配结果对所述神经网络进行本轮训练,如果第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练,进入S406;如果第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值不一致,则继续本轮训练,进入S405。
S405,根据比对应训练样本对的标注值的差异值生成第一反馈信息,并基于第一反馈信息对神经网络进行参数调整,并利用参数调整之后的神经网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致。
S406,经过对所述神经网络的多轮训练,得到街景识别模型。
这里,得到的街景识别模型,可以具有7个全连接层,且第7个全连接层可以包括128个特征,当第7个全连接层具有128个特征时,街景识别模型既可以具有较高的识别率以及识别效率。从而可以利用该网络结构的街景识别模型识别街景图像。
S407,将待确定街景图像输入完成训练的街景识别模型,使用街景识别模型为待确定街景图像提取第三特征,利用提取的第三特征确定待确定街景图像对应的街景。
在具体实施中,可以利用街景识别模型对待确定街景图像进行特征提取,形成待确定街景图像的第三特征,并将形成的第三特征与街景识别模型在训练时保存的特征进行比对,当第三特征与保存的特征之间的距离接近于0时,则可以表明该保存的特征对应的街景为待确定街景图像对应的街景。或者,可以利用街景识别模型对待确定街景图像和已确定街景图像进行特征提取,形成待确定街景图像对应的第三特征以及已确定街景图像对应的第四特征,将第三特征与第四特征进行比对,当第三特征与第四特征之间的距离接近于0时,则可以表明该保存的特征对应的街景为待确定街景图像对应的街景。
S408,当确定街景图像对应的街景时,获取确定的街景的相关信息,将街景的相关信息发送或显示给输入待确定街景图像的用户。
在具体实施中,街景的相关信息可以包括街景的位置信息、游览信息、历史信息等相关信息,可以推送给用户。
通过上述街景识别模型的训练及街景识别的方案,可以利用街景识别模型,高效且准确地识别待确定街景图像对应的街景,并将识别的街景的相关信息发送给对应的用户,为用户提供便利。
如图5所示,本申请实施例还提供了一种街景识别模型的训练系统50,所述系统50包括:获取模块51、确定模块52、处理模块53、生成模块54;其中,
所述获取模块51,用于获取本轮训练使用的训练样本对;其中,所述训练样本对包括两个相同和/或不同的街景图像;
所述确定模块52,用于将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
所述处理模块53,用于将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练;
所述生成模块54,用于经过对所述神经网络的多轮训练,得到街景识别模型。
在具体实施中,所述神经网络包括孪生Siamese网络;
所述确定模块52,具体用于根据以下步骤确定第一特征和第二特征:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
所述处理模块53,具体用于根据以下步骤将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配,并根据匹配结果对所述神经网络进行本轮训练:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
在具体实施中,所述神经网络包括双通道神经网络;
所述确定模块52,具体用于根据以下步骤将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入所述双通道神经网络的不同通道;
使用所述双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
所述处理模块53,具体用于根据以下步骤将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
所述距离确定操作,包括:
确定所述第一特征和所述第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于所述第二反馈信息对所述双通道神经网络进行参数调整;
基于调整后的参数,使用所述双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
在具体实施中,所述系统50还包括,保存模块55,用于针对每轮训练,将使用该轮训练完成得到的街景识别模型为该轮训练中使用的各训练样本对提取的特征保存。
采用上述街景识别模型的训练系统50,可以在每轮训练过程中将训练样本对输入神经网络的两个分支的入口,并利用神经网络为输入的训练样本对确定第一特征和第二特征,从而可以将确定的第一特征与第二特征进行比对,得到比对结果,并将比对结果与该训练样本对的标注值进行匹配,从而可以利用匹配结果调整神经网络的参数,如此神经网络进行多轮训练后,可以得到具有准确识别能力的街景识别模型。
如图6所示,本申请实施例还提供了一种街景识别系统60,包括:输入模块61、处理模块62、确定模块63和输出模块64;其中,
所述输入模块61,用于将待确定街景图像输入完成训练的街景识别模型;其中,所述街景识别模型包括采用上述的训练方法训练得到的街景识别模型或者采用上述的训练方法训练得到的街景识别模型所包括的神经网络的一个分支;
所述处理模块62,用于使用所述街景识别模型为所述待确定街景图像提取第三特征;并将所述第三特征和保存的特征进行比对;
所述确定模块63,用于根据得到的比对结果确定所述待确定街景图像对应的街景;
所述输出模块64,用于输出确定的街景对应的相关信息。
采用上述街景识别装置60,可以利用街景识别模型,高效且准确地识别待确定街景图像对应的街景,并将识别的街景的相关信息或游览信息发送给对应的用户,为用户提供便利。
如图7所示,本申请实施例还提供了一种街景识别系统70,包括:输入模块71、处理模块72、确定模块73和输出模块74。
所述输入模块71,用于针对多个已确定街景图像中的每个已确定街景图像,将待确定街景图像与该已确定街景图像输入完成训练的街景识别模型;其中,所述街景识别模型包括采用如上述的训练方法训练得到的街景识别模型;
所述处理模块72,用于使用所述街景识别模型为所述待确定街景图像和该已确定街景图像确定第三特征和第四特征;并将所述第三特征和所述第四特征进行比对;
所述确定模块73,用于根据得到的比对结果确定所述待确定街景图像对应的街景;
所述输出模块74,用于输出确定的街景对应的相关信息。
采用上述街景识别装置70,可以利用街景识别模型,高效且准确地识别待确定街景图像对应的街景,并将识别的街景的相关信息或游览信息发送给对应的用户,为用户提供便利。
如图8所示,本申请实施例还提供了一种电子设备80,包括:处理器81、存储器82和总线83。
所述存储器存储82有所述处理器81可执行的机器可读指令,当电子设备运行时,所述处理器81与所述存储器82之间通过总线83通信,所述机器可读指令被所述处理器81执行时执行如下处理:
获取本轮训练使用的训练样本对;其中,所述训练样本对包括两个相同和/或不同的街景图像;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并
根据匹配结果对所述神经网络进行本轮训练;
经过对所述神经网络的多轮训练,得到街景识别模型。
在具体实施中,上述处理器81执行的处理中,所述神经网络包括孪生Siamese网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
在具体实施中,上述处理器81执行的处理中,所述神经网络包括双通道神经网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入所述双通道神经网络的不同通道;
使用所述双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
所述距离确定操作,包括:
确定所述第一特征和所述第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,和/或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于所述第二反馈信息对所述双通道神经网络进行参数调整;
基于调整后的参数,使用所述双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
在具体实施中,上述处理器81执行的处理中,针对每轮训练,将使用该轮训练完成得到的街景识别模型为该轮训练中使用的各训练样本对提取的特征保存。
或者,
当电子设备80运行时,所述处理器81与所述存储器82之间通过总线83通信,所述机器可读指令被所述处理器81执行时执行如下处理:
将待确定街景图像输入完成训练的街景识别模型;
其中,所述街景识别模型包括采用如上述的训练方法训练得到的街景识别模型或者采用如上述的训练方法训练得到的街景识别模型所包括的神经网络的一个分支;
使用所述街景识别模型为所述待确定街景图像提取第三特征;并
将所述第三特征和保存的特征进行比对;
根据得到的比对结果确定所述待确定街景图像对应的街景;并
输出确定的街景对应的相关信息。
或者,
当电子设备80运行时,所述处理器81与所述存储器82之间通过总线83通信,所述机器可读指令被所述处理器81执行时执行如下处理:
针对多个已确定街景图像中的每个已确定街景图像,将待确定街景图像与该已确定街景图像输入完成训练的街景识别模型;
其中,所述街景识别模型包括采用如上述的训练方法训练得到的街景识别模型;
使用所述街景识别模型为所述待确定街景图像和该已确定街景图像确定第三特征和第四特征;并
将所述第三特征和所述第四特征进行比对;
根据得到的比对结果确定所述待确定街景图像对应的街景;并
输出确定的街景对应的相关信息。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述任一实施例提供的投资风险控制方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述投资风险控制方法,从而解决目前。
本申请实施例所提供的街景识别模型的训练方法及街景识别方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种街景识别方法,其特征在于,所述方法包括:
获取本轮训练使用的训练样本对;其中,所述训练样本对包括两个相同和/或不同的街景图像;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;其中,所述标注值表征对应的训练样本对的相似程度;并根据匹配结果对所述神经网络进行本轮训练;
经过对所述神经网络的多轮训练,得到街景识别模型;
将待确定街景图像输入完成训练的街景识别模型;其中,所述街景识别模型包括街景识别模型或者街景识别模型所包括的神经网络的一个分支;
使用所述街景识别模型为所述待确定街景图像提取第三特征;并
将所述第三特征和保存的特征进行比对;
根据得到的比对结果确定所述待确定街景图像对应的街景;并
输出确定的街景对应的相关信息。
2.根据权利要求1所述的方法,其特征在于,所述神经网络包括孪生Siamese网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
3.根据权利要求1所述的方法,其特征在于,所述神经网络包括双通道神经网络;
将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征,包括:
将获取的至少一个训练样本对中的每个训练样本对分别作为源数据和目标数据,并分别输入所述双通道神经网络的不同通道;
使用所述双通道神经网络分别为输入的训练样本对确定第一特征和第二特征;
将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;并根据匹配结果对所述神经网络进行本轮训练,包括:
执行如下距离确定操作,直到满足第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,或满足第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,则完成本轮训练;
所述距离确定操作,包括:
确定所述第一特征和所述第二特征之间的距离;
针对第一特征与第二特征之间的距离大于预设距离阈值,且对应源数据的标注值表征对应训练样本对相似,或针对第一特征与第二特征之间的距离不大于预设距离阈值,且对应源数据的标注值表征对应训练样本对不相似,生成第二反馈信息;并
基于所述第二反馈信息对所述双通道神经网络进行参数调整;
基于调整后的参数,使用所述双通道神经网络为对应训练样本对确定新的第一特征和第二特征,并再次执行所述距离确定操作。
4.根据权利要求1-3任一项所述的方法,其特征在于,针对每轮训练,将使用该轮训练完成得到的街景识别模型为该轮训练中使用的各训练样本对提取的特征保存。
5.一种街景识别方法,其特征在于,包括:
针对多个已确定街景图像中的每个已确定街景图像,将待确定街景图像与该已确定街景图像输入完成训练的街景识别模型;
其中,所述街景识别模型包括采用如权利要求1-3任一项所述的街景识别模型;
使用所述街景识别模型为所述待确定街景图像和该已确定街景图像确定第三特征和第四特征;并
将所述第三特征和所述第四特征进行比对;
根据得到的比对结果确定所述待确定街景图像对应的街景;并
输出确定的街景对应的相关信息。
6.一种街景识别系统,其特征在于,所述系统包括:获取模块、确定模块、处理模块、生成模块;其中,
所述获取模块,用于获取本轮训练使用的训练样本对;其中,所述训练样本对包括两个相同和/或不同的街景图像;
所述确定模块,用于将获取的至少一个训练样本对中的每个训练样本对输入具有两个分支的神经网络的分支分别对应的入口,并使用所述神经网络分别为输入的训练样本对确定第一特征和第二特征;
所述处理模块,用于将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配;其中,所述标注值表征对应的训练样本对的相似程度;并根据匹配结果对所述神经网络进行本轮训练;
所述生成模块,用于经过对所述神经网络的多轮训练,得到街景识别模型;
输入模块,用于将待确定街景图像输入完成训练的街景识别模型;其中,所述街景识别模型包括街景识别模型或者街景识别模型所包括的神经网络的一个分支;
处理模块,用于使用所述街景识别模型为所述待确定街景图像提取第三特征;并将所述第三特征和保存的特征进行比对;
确定模块,用于根据得到的比对结果确定所述待确定街景图像对应的街景;
输出模块,用于输出确定的街景对应的相关信息。
7.根据权利要求6所述的系统,其特征在于,所述神经网络包括孪生Siamese网络;
所述确定模块,具体用于根据以下步骤确定第一特征和第二特征:
将获取的至少一个训练样本对中的每个训练样本对分别输入Siamese网络的两个入口,并使用所述Siamese网络分别为输入的训练样本对确定第一特征向量和第二特征向量;
所述处理模块,具体用于根据以下步骤将所述第一特征和所述第二特征进行比对得到的比对结果,与对应训练样本对的标注值进行匹配,并根据匹配结果对所述神经网络进行本轮训练:
执行如下匹配操作,直到第一特征向量和第二特征向量的比对结果与对应训练样本对的标注值一致,则完成本轮训练;其中,所述标注值表征对应训练样本对相似或者不相似;
所述匹配操作包括:
将所述第一特征向量和所述第二特征向量进行比对,得到比对结果;
将所述比对结果与对应训练样本对的标注值进行匹配;
针对标注值表征对应训练样本对的匹配情况与所述比对结果表征的匹配情况不一致的情况,生成第一反馈信息;并
基于所述第一反馈信息对所述Siamese网络进行参数调整;
基于调整后的参数,使用所述Siamese网络为对应训练样本对确定新的第一特征向量和第二特征向量,并再次执行所述匹配操作。
8.一种街景识别系统,其特征在于,包括:输入模块、处理模块、确定模块和输出模块;其中,
所述输入模块,用于针对多个已确定街景图像中的每个已确定街景图像,将待确定街景图像与该已确定街景图像输入完成训练的街景识别模型;其中,所述街景识别模型包括采用如权利要求1-3任一项所述的街景识别模型;
所述处理模块,用于使用所述街景识别模型为所述待确定街景图像和该已确定街景图像确定第三特征和第四特征;并将所述第三特征和所述第四特征进行比对;
所述确定模块,用于根据得到的比对结果确定所述待确定街景图像对应的街景;
所述输出模块,用于输出确定的街景对应的相关信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810715716.8A CN109002784B (zh) | 2018-06-29 | 2018-06-29 | 街景识别方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810715716.8A CN109002784B (zh) | 2018-06-29 | 2018-06-29 | 街景识别方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109002784A CN109002784A (zh) | 2018-12-14 |
CN109002784B true CN109002784B (zh) | 2021-04-13 |
Family
ID=64598820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810715716.8A Active CN109002784B (zh) | 2018-06-29 | 2018-06-29 | 街景识别方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109002784B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309727B (zh) * | 2019-06-11 | 2022-02-18 | 四川隧唐科技股份有限公司 | 一种建筑识别模型的建立方法、建筑识别方法和装置 |
CN112488144B (zh) * | 2019-09-12 | 2024-03-19 | 中国移动通信集团广东有限公司 | 网络设置提示生成方法、装置及电子设备、存储介质 |
CN111292372B (zh) * | 2020-02-24 | 2020-11-27 | 当家移动绿色互联网技术集团有限公司 | 目标物体定位方法、装置、存储介质以及电子设备 |
CN112101187A (zh) * | 2020-09-11 | 2020-12-18 | 腾讯科技(深圳)有限公司 | 道路识别方法、装置及电子设备 |
CN112508093B (zh) * | 2020-12-03 | 2022-01-28 | 北京百度网讯科技有限公司 | 一种自训练方法、装置、电子设备和可读存储介质 |
TWI764489B (zh) * | 2020-12-30 | 2022-05-11 | 鴻海精密工業股份有限公司 | 人行通道環境評估方法、裝置及電子設備 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184778A (zh) * | 2015-08-25 | 2015-12-23 | 广州视源电子科技股份有限公司 | 一种检测方法及装置 |
CN106022380A (zh) * | 2016-05-25 | 2016-10-12 | 中国科学院自动化研究所 | 基于深度学习的个体身份识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016065534A1 (zh) * | 2014-10-28 | 2016-05-06 | 中国科学院自动化研究所 | 一种基于深度学习的歩态识别方法 |
US9965717B2 (en) * | 2015-11-13 | 2018-05-08 | Adobe Systems Incorporated | Learning image representation by distilling from multi-task networks |
-
2018
- 2018-06-29 CN CN201810715716.8A patent/CN109002784B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184778A (zh) * | 2015-08-25 | 2015-12-23 | 广州视源电子科技股份有限公司 | 一种检测方法及装置 |
CN106022380A (zh) * | 2016-05-25 | 2016-10-12 | 中国科学院自动化研究所 | 基于深度学习的个体身份识别方法 |
Non-Patent Citations (4)
Title |
---|
"Dual-channel convolutional neural network for change detection of multitemporal SAR images";Tao Liu等;《2016 International Conference on Orange Technologies (ICOT)》;20180205;第60-63页 * |
"Dual-channel spectral weighting for robust speech recognition in mobile devices";Iván López-Espejo等;《Digital Signal Processing》;20180430;第75卷;第13-24页 * |
"Face verification using convolutional neural networks with Siamese architecture";Zuzana Bukovčiková等;《2017 International Symposium ELMAR》;20171201;第205-208页 * |
"基于改进深度孪生网络的分类器及其应用";沈雁等;《计算机工程与应用》;20180531;第54卷(第10期);第19-25页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109002784A (zh) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109002784B (zh) | 街景识别方法和系统 | |
CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
CN106446816B (zh) | 人脸识别方法及装置 | |
US20170164049A1 (en) | Recommending method and device thereof | |
CN109299594B (zh) | 身份验证方法及装置 | |
CN110263133B (zh) | 基于知识图谱的问答方法、电子装置、设备及存储介质 | |
CN109657539B (zh) | 人脸颜值评价方法、装置、可读存储介质及电子设备 | |
CN110807472B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN111414803A (zh) | 人脸识别方法、装置、电子设备 | |
CN111553241B (zh) | 掌纹的误匹配点剔除方法、装置、设备及存储介质 | |
CN111488798B (zh) | 指纹识别方法、装置、电子设备及存储介质 | |
CN115830649A (zh) | 一种网络资产指纹特征的识别方法、装置及电子设备 | |
CN110990541A (zh) | 一种实现问答的方法及装置 | |
CN110929644B (zh) | 基于启发式算法的多模型融合人脸识别方法、装置、计算机系统与可读介质 | |
CN116778189A (zh) | 一种rpa流程处理分析方法及计算机设备 | |
CN116630749A (zh) | 工业设备故障检测方法、装置、设备以及存储介质 | |
CN111860559A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN115222047A (zh) | 一种模型训练方法、装置、设备及存储介质 | |
CN115830618A (zh) | 一种文本识别方法、装置、计算机设备及存储介质 | |
CN112488062B (zh) | 一种图像识别方法、装置、设备及介质 | |
CN111814535B (zh) | 掌纹图像的识别方法、装置、设备及计算机可读存储介质 | |
CN110874602A (zh) | 一种图像识别方法及装置 | |
CN114140822A (zh) | 行人重识别方法及装置 | |
CN114549857A (zh) | 图像信息识别方法、装置、计算机设备和存储介质 | |
CN115082999A (zh) | 合影图像人物分析方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 101-8, 1st floor, building 31, area 1, 188 South Fourth Ring Road West, Fengtai District, Beijing Applicant after: Guoxin Youyi Data Co., Ltd Address before: 100070, No. 188, building 31, headquarters square, South Fourth Ring Road West, Fengtai District, Beijing Applicant before: SIC YOUE DATA Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |