CN106202329B - 样本数据处理、数据识别方法和装置、计算机设备 - Google Patents

样本数据处理、数据识别方法和装置、计算机设备 Download PDF

Info

Publication number
CN106202329B
CN106202329B CN201610515995.4A CN201610515995A CN106202329B CN 106202329 B CN106202329 B CN 106202329B CN 201610515995 A CN201610515995 A CN 201610515995A CN 106202329 B CN106202329 B CN 106202329B
Authority
CN
China
Prior art keywords
feature vector
pair
feature
distance
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610515995.4A
Other languages
English (en)
Other versions
CN106202329A (zh
Inventor
汤晓鸥
黄琛
吕健勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201610515995.4A priority Critical patent/CN106202329B/zh
Publication of CN106202329A publication Critical patent/CN106202329A/zh
Priority to PCT/CN2017/091431 priority patent/WO2018001384A1/zh
Application granted granted Critical
Publication of CN106202329B publication Critical patent/CN106202329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种样本数据处理、数据识别方法和装置、计算机设备,其中,样本数据处理方法包括:从样本的数据中获取所述样本的特征向量对;确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度。通过本发明实施例,有效降低了同类样本和异类样本的混淆,提高了数据识别的准确率。

Description

样本数据处理、数据识别方法和装置、计算机设备
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种样本数据处理方法及装置、一种数据识别方法及装置,以及,一种计算机设备。
背景技术
随着科技的进步和大数据时代的到来,人们可以访问获取的数据和信息资源呈现出爆炸式的增长,互联网上每天都诞生海量的文字、图像、音视频等数据和信息。为了有效地组织、查询和浏览如此大规模的数据和信息,需要对这些数据和信息进行分类,进而进行管理。为此,数据识别技术应运而生。
目前,一种对数据或信息进行识别的方式是通过模式识别的方式,如通过采集的训练样本训练相关的分类器,使用训练过的分类器对数据或信息进行分类识别;另一种对数据或信息进行识别的方式是直接通过数据的特征比对的方式。然而,无论是哪种方式都需要比对数据的特征之间的相似性。现有的特征比对多使用欧式距离计算特征之间的距离,进而确定数据之间的相似性。但是,在使用欧式距离确定数据特征之间的相似性时,采用统一的计算特征间距离的形式,也即,仅考虑到了特征间距离的差别,这种形式有可能造成同类样本距离大于异类样本距离,从而混淆同类和异类样本。
发明内容
本发明实施例提供了样本数据处理技术方案以及数据识别技术方案。
根据本发明实施例的一个方面,提供了一种样本数据处理方法,包括:从样本的数据中,获取所述样本的特征向量对;确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度。
可选地,结合本发明实施例提供的任一种样本数据处理方法,所述确定所述特征向量对的距离和所述特征向量对在特征空间中的位置包括:针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
可选地,结合本发明实施例提供的任一种样本数据处理方法,对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理包括:分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
可选地,结合本发明实施例提供的任一种样本数据处理方法,分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理包括:分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
可选地,结合本发明实施例提供的任一种样本数据处理方法,所述对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理包括:对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
可选地,结合本发明实施例提供的任一种样本数据处理方法,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置包括:分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;根据进行了归一化处理后的特征向量模值,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置。
可选地,结合本发明实施例提供的任一种样本数据处理方法,所述样本数据处理方法还包括:根据所述特征向量对的相似度,获得所述样本中的正样本对的分数分布和负样本对的分数分布;根据所述正样本对的分数分布和所述负样本对的分数分布,选择困难样本。
可选地,结合本发明实施例提供的任一种样本数据处理方法,根据所述正样本对的分数分布和所述负样本对的分数分布,选择困难样本包括:根据所述正样本对的分数分布,确定相似度最低的正样本对为正困难样本对;对所述正困难样本对中的每个样本,确定每个样本对应的相似度最高的负样本,获得负困难样本对。
可选地,结合本发明实施例提供的任一种样本数据处理方法,在所述获得负困难样本对之后,所述样本数据处理方法还包括:获得所述正困难样本对的相似度和所述负困难样本对的相似度;使用第一双铰链损失函数对获得的相似度进行处理,其中,所述第一双铰链损失函数用于增大所述正困难样本对的相似度,和缩小所述负困难样本对的相似度。
可选地,结合本发明实施例提供的任一种样本数据处理方法,在所述使用第一双铰链损失函数对获得的相似度进行处理之后,所述样本数据处理方法还包括:获得所述正困难样本对所对应的特征向量的第一距离,和,所述负困难样本对所对应的特征向量的第二距离;使用第二双铰链损失函数对所述第一距离和所述第二距离进行处理,其中,所述第二双铰链损失函数用于增大所述第二距离,增大后的所述第二距离大于所述第一距离。
根据本发明实施例的另一方面,提供了一种数据识别方法,包括:获取待识别数据的特征向量以及样本数据集中的样本的特征向量,其中,所述样本数据集中包括至少一个样本;分别将获取的每一个样本的特征向量与所述待识别数据的特征向量组合,生成对应的至少一个特征向量对;对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;根据所述相似度,确定所述样本数据集中与所述待识别数据相似度满足预定条件的样本。
可选地,结合本发明实施例提供的任一种数据识别方法,所述对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置包括:对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
可选地,结合本发明实施例提供的任一种数据识别方法,所述对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理包括:分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
可选地,结合本发明实施例提供的任一种数据识别方法,分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理包括:分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
可选地,结合本发明实施例提供的任一种数据识别方法,所述对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理包括:对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
可选地,结合本发明实施例提供的任一种数据识别方法,所述分别将获取的每一个样本的特征向量与所述待识别数据的特征向量组合,生成对应的至少一个特征向量对包括:分别将获取的每一个样本的特征向量与所述待识别数据的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个样本的特征向量与待识别数据的特征向量进行组合,生成对应的至少一个特征向量对。
根据本发明实施例的又一方面,还提供了一种样本数据处理装置,包括:第一获取模块,用于从样本的数据中获取样本的特征向量对;第一确定模块,用于确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;第一相似度度量模块,用于对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述第一确定模块,用于针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述第一相似度度量模块包括:第一非线性处理模块,用于分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;第一级联模块,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;第二非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;相似度确定模块,用于根据所述第二非线性处理模块的处理结果确定所述特征向量对的相似度。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述第一非线性处理模块,用于分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述第二非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述第一确定模块,用于分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;根据进行了归一化处理后的特征向量模值,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述样本数据处理装置还包括:第二获取模块,用于根据所述特征向量对的相似度,获得所述样本中的正样本对的分数分布和负样本对的分数分布;困难样本选择模块,用于根据所述正样本对的分数分布和所述负样本对的分数分布,选择困难样本。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述困难样本选择模块,用于根据所述正样本对的分数分布,确定相似度最低的正样本对作为正困难样本对;对所述正困难样本对中的每个样本,确定每个样本对应的相似度最高的负样本,获得负困难样本对。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述样本数据处理装置还包括:第三获取模块,用于在所述困难样本选择模块获得负困难样本对之后,获得所述正困难样本对的相似度和所述负困难样本对的相似度;第一损失处理模块,用于使用第一双铰链损失函数对获得的相似度进行处理,其中,所述第一双铰链损失函数用于增大所述正困难样本对的相似度,和缩小所述负困难样本对的相似度。
可选地,结合本发明实施例提供的任一种样本数据处理装置,所述样本数据处理装置还包括:第四获取模块,用于在所述第一损失处理模块使用第一双铰链损失函数对获得的相似度进行处理之后,获得所述正困难样本对所对应的特征向量的第一距离,和,所述负困难样本对所对应的特征向量的第二距离;第二损失处理模块,用于使用第二双铰链损失函数对所述第一距离和所述第二距离进行处理,其中,所述第二双铰链损失函数用于增大所述第二距离,增大后的所述第二距离大于所述第一距离。
根据本发明实施例的再一方面,还提供了一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行前述任一项所述的样本处理方法对应的操作。
根据本发明实施例的再一方面,还提供了一种数据识别装置,包括:第五获取模块,用于获取待识别数据的特征向量以及样本数据集中的样本的特征向量,其中,所述样本数据集中包括至少一个样本;生成模块,用于分别将获取的每一个样本的特征向量与所述待识别数据的特征向量组合,生成对应的至少一个特征向量对;第二确定模块,用于对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;第二相似度度量模块,用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;样本确定模块,用于根据所述相似度,确定所述样本数据集中与所述待识别数据相似度满足预定条件的样本。
可选地,结合本发明实施例提供的任一种数据识别装置,所述第二确定模块,用于对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
可选地,结合本发明实施例提供的任一种数据识别装置,所述第二相似度度量模块包括:第三非线性处理模块,用于分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;第二级联模块,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;第四非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
可选地,结合本发明实施例提供的任一种数据识别装置,所述第三非线性处理模块,用于分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
可选地,结合本发明实施例提供的任一种数据识别装置,所述第四非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
可选地,结合本发明实施例提供的任一种数据识别装置,所述生成模块,用于分别将获取的每一个样本的特征向量与所述待识别数据的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个样本的特征向量与待识别数据的特征向量进行组合,生成对应的至少一个特征向量对。
根据本发明实施例的又一方面,还提供了一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如前述任一项所述的数据识别方法对应的操作。
根据本发明实施例的再一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有:用于从样本的数据中获取所述样本的特征向量对的可执行指令;用于确定所述特征向量对的距离和所述特征向量对在特征空间中的位置的可执行指令;用于对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度的可执行指令。
根据本发明实施例的再一方面,还提供了另一种计算机可读存储介质,所述计算机可读存储介质存储有:用于获取待识别数据的特征向量以及样本数据集中的样本的特征向量的可执行指令,其中,所述样本数据集中包括至少一个样本;用于分别将获取的每一个样本的特征向量与所述待识别数据的特征向量组合,生成对应的至少一个特征向量对的可执行指令;用于对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置的可执行指令;用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定特征向量对的相似度的可执行指令;用于根据所述相似度,确定所述样本数据集中与所述待识别数据相似度满足预定条件的样本的可执行指令。
根据本发明实施例提供的技术方案,在进行数据特征比对时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度。由此,使得同类和异类特征向量对的差别更为明显,有效降低了同类样本和异类样本的混淆。进一步地,基于本实施例的样本处理方法有效比对出的特征之间的相似度,在任意适当的具有相似度应用的场景,如,数据识别(如图像识别)、数据检索(如图像检索)、数据分类(如图像分类)、迁移学习、零样本学习的过程中,都可以有效比对出特征之间的相似度。若将其应用于数据识别、数据分类或数据检索中,则可以有效提高上述数据处理的准确率。
附图说明
图1是根据本发明实施例一的一种样本数据处理方法的步骤流程图;
图2是根据本发明实施例二的一种样本数据处理方法的步骤流程图;
图3是根据本发明实施例三的一种样本数据处理方法的步骤流程图;
图4是图3所示实施例中的一种PDDM的结构示意图;
图5是图3所示实施例中的一种深度卷积神经网络的框架示意图;
图6是根据本发明实施例四的一种样本数据处理装置的结构框图;
图7是根据本发明实施例五的一种样本数据处理装置的结构框图;
图8是根据本发明实施例六的一种计算机设备的结构示意图;
图9是根据本发明实施例七的一种数据识别方法的步骤流程图;
图10是根据本发明实施例八的一种数据识别方法的步骤流程图;
图11是根据本发明实施例九的一种数据识别装置的结构框图;
图12是根据本发明实施例十的一种数据识别装置的结构框图;
图13是根据本发明实施例十一的一种计算机设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明,但不用来限制本发明的范围。
本领域技术人员可以理解,本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
实施例一
参照图1,示出了根据本发明实施例一的一种样本数据处理方法的步骤流程图。
本实施例的样本数据处理方法包括以下步骤:
步骤S102:从样本的数据中,获取样本的特征向量对。
在使用模式识别方式对数据进行识别时,需要首先采集样本,通过样本训练相关的分类器,进而使用训练好的分类器进行数据识别。本发明实施例着重关注从采集的样本中提取出最有效的特征,以便在后续使用该提取出的特征对分类器进行有效训练。
本实施例中,所述样本可以为任意适当的样本,包括但不限于:图片样本、文字样本、语音样本、生物数据(如指纹)样本等。特征向量是以向量形式表示的样本的数值型特征,可以较为有效的表征样本。本实施例中,对每个样本的特征向量的提取可以采用任意已有的适当方式,如HOG(Histogram of Oriented Gradient,用于目标检测的特征描述子)特征提取,LBP(Local Binary Pattern,局部二值模式)特征提取等,本发明实施例对此不作限制。
获得每一个样本的特征向量后,针对每一个样本,可以将该样本的特征向量与其它样本的特征向量进行组合,形成特征向量对。由此,根据所述样本,将获得多对特征向量对。
步骤S104:确定特征向量对的距离和特征向量对在特征空间中的位置。
其中,特征向量对的距离可以表示一对特征向量之间的相对距离,而特征向量对在特征空间中的位置则可以表示一对特征向量之间的绝对距离。
本发明实施例中,通过特征向量对在特征空间中的位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度,由此使得同类和异类特征向量对的差别更为明显,可以更为全面和有效地区分样本的特征。
步骤S106:对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定特征向量对的相似度。
针对每一对特征向量对,都对该特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,进而根据处理结果确定该特征向量对的相似度。通过非线性映射,第一方面,可以提取到特征向量对的距离的特征,和,特征向量对在特征空间中的位置的特征;第二方面,也可以更为有效地区分第一方面中提取出的特征。进而,可以有效确定特征向量对中的两个特征向量的相似度。
通过本实施例的样本数据处理方法,在进行数据特征比对时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度。由此,使得同类和异类特征向量对的差别更为明显,有效降低了同类样本和异类样本的混淆。进一步地,基于本实施例的样本处理方法有效比对出的特征之间的相似度,在任意适当的具有相似度应用的场景,如,数据识别(如图像识别)、数据检索(如图像检索)、数据分类(如图像分类)、迁移学习、零样本学习的过程中,都可以有效比对出特征之间的相似度。若将其应用于数据识别、数据分类或数据检索中,则可以有效提高上述数据处理的准确率。
实施例二
参照图2,示出了根据本发明实施例二的一种样本数据处理方法的步骤流程图。
本实施例的样本数据处理方法包括以下步骤:
步骤S202:从样本的数据中获取样本的特征向量对。
如实施例一中所述,获得的样本的特征向量对可能包括多对,本实施例中以一对特征向量对为例进行说明,但本领域技术人员应当明了,在实际应用中,其它特征向量对参照本实施例即可。
步骤S204:确定特征向量对的距离和特征向量对在特征空间中的位置。
本发明实施例中,一种可行的确定特征向量对的距离和特征向量对在特征空间中的位置的方式包括:针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。例如,特征向量对中的特征向量A和B,则可以将|A-B|确定为该特征向量对的距离,可以将确定为特征向量对在特征空间中的位置。但不限于此,在实际应用中,其它确定特征向量对的距离的方式也同样适用,如加权距离向量方式等。本实施例中,直接将特征向量对的特征向量之差的绝对值确定为特征向量对的距离,实现简单,数据处理量小,数据处理速度也更快。
此外,在确定特征向量对的距离和特征向量对在特征空间中的位置时,可以先分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;再根据进行了归一化处理后的特征向量模值,确定特征向量对的距离和特征向量对在特征空间中的位置。
以向量a为例,向量a的模||a||为通过分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理,可以使得特征向量间的值域相似,以便于后续特征向量对的距离和特征向量对在特征空间中的位置的获取。其中,归一化处理可以由本领域技术人员根据实际需要采用任意适当的归一化处理方式实现,本发明实施例对此不作限制。
步骤S206:对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度。
在实现本步骤时,一种可行的方式包括:分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;级联该处理后的特征向量对的距离和特征向量对在特征空间中的位置;对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。其中,对特征向量对的距离和特征向量对在特征空间中的位置进行处理的非线性函数,和,对级联后的特征向量对的距离和特征向量对在特征空间中的位置进行处理的非线性函数可以相同,也可以不同。通过对特征向量对的距离进行非线性函数处理,可以有效提取出特征向量对的距离的特征;通过对特征向量对在特征空间中的位置进行非线性函数处理,可以有效提取出特征向量对在特征空间中的位置的特征。再将提取出的特征进行级联,形成包括特征向量对的距离特征和位置特征的特征向量。最后,再对级联形成的该特征向量进行非线性函数处理,以获取表达特征间相似度的结果。
此外,为了便于对分别进行了非线性映射的特征向量对的距离和特征向量对在特征空间中的位置进行级联,在分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理时,可以先分别将特征向量对的距离和特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对该处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理;模值归一化处理后,特征向量对的距离和特征向量对在特征空间中的位置值域相似。通过全连接层映射,可以将一个特征向量映射成一个后续便于处理的新的特征向量,一般来说,全连接层映射后的特征向量的维数低于未映射前的维数。
而在对非线性函数处理后的特征向量对的距离和特征向量对在特征空间中的位置进行级联后,实现对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理时,可以通过对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理,从而实现对级联后的特征向量的特征提取。
最后,可以根据上述对级联后的特征向量对的距离和特征向量对在特征空间中的位置进行非线性函数处理的处理结果确定特征向量对的相似度。本发明实施例中,相似度以分数形式表示。但本领域技术人员应当明了,在实际使用中,相似度也可以采用其它适当形式表示。
通过上述过程,实现了对提取的样本的特征向量的进一步特征提取处理,通过进一步的特征提取处理,有效地提高了样本相似度判断的准确性和效率。
基于获得的更为精准的相似度,本实施例进一步提供了基于上述相似度的使用的优选方案。本领域技术人员应当明了,下述步骤和说明与本实施例的前述过程相结合形成了优选的样本数据处理方案,但不是必选方案。
步骤S208:根据特征向量对的相似度,获得样本中的正样本对的分数分布和负样本对的分数分布。
根据获得的每个特征向量对的相似度的分数,可以确定样本中的正样本对的分数分布和负样本对的分数分布。
步骤S210:根据正样本对的分数分布和负样本对的分数分布,选择困难样本。
因为本发明实施例获得的特征向量对的相似度更为精准和有效,因此,根据该相似度选择的困难样本也更为精准和有效,这样的困难样本更具有学习和训练价值。
在实现本步骤时,一种可行的方式包括:根据正样本对的分数分布,确定相似度最低的正样本对作为正困难样本对;对正困难样本对中的每个样本,确定每个样本对应的相似度最高的负样本,获得负困难样本对。通过该方式选择的困难样本,既可以保证用于学习和训练的最低的样本数据量,又保证了数据处理速度,提高了学习和训练的效率。
但不限于此,在实际应用中,还可以根据上述方式选择更多的困难样本进行训练和学习。当然,也可以选择稍少一些的困难样本进行训练和学习,例如,选择一个三元困难样本,即,选择一个正困难样本对和一个负困难样本,形成三元困难样本进行后续的训练和学习等。
步骤S212:获得正困难样本对的相似度和负困难样本对的相似度,使用第一双铰链损失函数对获得的相似度进行处理。
其中,第一双铰链损失函数用于增大正困难样本对的相似度,和缩小负困难样本对的相似度。
本发明实施例中,第一双铰链损失函数无需有关分布形状或者分布模式的任何假定,即可最大化正负相似度分布的差距。通过第一双铰链损失函数,优化了困难样本对的相似度,使得正困难样本(同类样本)更为相似,负困难样本(异类样本)差异更大。
步骤S214:获得正困难样本对所对应的特征向量的第一距离,和,负困难样本对所对应的特征向量的第二距离,使用第二双铰链损失函数对第一距离和第二距离进行处理。
其中,第二双铰链损失函数用于增大第二距离,增大后的第二距离大于第一距离。
对于使用特征向量进行后续学习和训练的情况,本发明实施例进一步提供了第二双铰链损失函数,以对困难样本的特征向量进行优化,使得正困难样本(同类样本)更为相似,负困难样本(异类样本)差异更大。
既使用第一双铰链损失函数,又使用第二双铰链损失函数,可以实现特征向量的相似度分数维度和特征维度的有效监管。
步骤S216:使用第一双铰链损失函数处理后的相似度,和/或,使用第二双铰链损失函数处理后的第一距离和第二距离,进行神经网络的深度学习。
深度学习是通过多层的神经网络结构,采用逐层训练方法进行的神经网络学习方法,深度学习往往含有多个隐含层。本实施例的样本数据处理方法可用于多个隐含层中的部分或全部隐含层
步骤S218:使用神经网络的深度学习结果,进行待识别数据的识别。
通过本实施例的样本数据处理方法,在进行数据特征比对时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度。由此,使得同类和异类特征向量对的差别更为明显,有效降低了同类样本和异类样本的混淆。进一步地,基于本实施例的样本处理方法有效比对出的特征之间的相似度,在任意适当的具有相似度应用的场景,如,数据识别(如图像识别)、数据检索(如图像检索)、数据分类(如图像分类)、迁移学习、零样本学习的过程中,都可以有效比对出特征之间的相似度。若将其应用于数据识别、数据分类或数据检索中,则可以有效提高上述数据处理的准确率。
并且,根据样本的相似度,精准有效地选择困难样本,并通过双铰链损失函数对困难样本的相似度或特征距离进行优化,使得同类样本更为相似,异类样本差别更大,从而为后续深度学习的效率提供了可靠的保障。
需要说明的是,本实施例着重强调与前述实施例的不同之处,相同或相似部分参照前述实施例即可。
实施例三
参照图3,示出了根据本发明实施例三的一种样本数据处理方法的步骤流程图。
本实施例以一个具体实例的形式,对本发明实施例的样本数据处理方法进行说明。本实施例由深度卷积神经网络对特征向量对在特征空间中的位置(特征向量对的均值)和距离(特征向量对的差)进行非线性回归,得到适应特征位置的相似性度量PDDM(Position-Dependent Deep Metric,依赖于位置的深度度量);进而,使用该度量计算神经网络前向传播的所有数据之间的相似性,从中选出一个四元困难样本(hard quadruplet),包括相似性最低的正样本对,和该正样本对各自相似性最高的负样本;然后,使用新的目标函数——双铰链损失函数(double-header hinge loss)对四元困难样本的相似性分数和深度特征同时进行优化,进而引导高效的深度特征学习。
本实施例的样本数据处理方法包括以下步骤:
步骤S302:从样本的数据中获取样本的特征向量对。
所述样本可以为任意适当的样本,包括但不限于:图片样本、文字样本、语音样本、生物数据(如指纹)样本等。获得每一个样本的特征向量后,针对每一个样本,可以将该样本的特征向量与其它样本的特征向量进行组合,形成特征向量对。由此,根据样本,将获得多对特征向量对。
本实施例中,仅以一对特征向量对为例进行说明,其它特征向量对参照本实施例中的特征向量对即可。本实施例中,设定f(xi)和f(yi)为获取的特征向量对。
步骤S304:对特征向量对中的特征向量进行特征向量模值归一化。
通过特征向量模值归一化,使两个特征向量具有可比性。
步骤S306:分别计算特征向量模值归一化后特征向量的差和均值。
其中,差代表了特征向量对的距离,均值代表了特征向量对所处的空间位置。本实施例中,差u表示为u=|f(xi)-f(yi)|;均值v表示为v=(f(xi)+f(yi))/2。
步骤S308:把特征向量的差和均值分别经过两个不同的全连接层进行映射,再分别通过非线性函数以及模值归一化。
步骤S310:级联步骤S308得到的两个向量,一起通过全连接层、非线性函数、全连接层的映射,最后得到一个相似性分数。
通过步骤S304-S310,输入特征向量对,输出特征向量的局部相似性分数,实现了适应特征位置的局部相似性学习,根据特征向量对所处的特征空间位置,即可自适应判断它们的相似性。
上述过程如图4所示。图4示出一种PDDM的结构示意图,通过PDDM实现了上述S304-S310过程。图4中,L2表示归一化处理,FC表示线性映射函数,未在图4中示出的是,FC后引入了非线性函数,从而实现了特征向量的非线性处理。
步骤S312:用局部相似性度量PDDM计算神经网络前向传播的所有特征向量对的相似性分数,得到正样本对的分数分布和负样本对的分数分布。
步骤S314:选择相似性最低的正样本对。
步骤S316:对该正样本对的每个样本,选择它们各自相似性最高的负样本。
由此,总共选择了四个样本作为困难样本。
通过上述步骤S312-S316,实现了基于局部相似性的困难样本选择,从神经网络前向传播的一批数据中选出一个四元困难样本。
步骤S318:计算四元困难样本之间相似度的第一双铰链损失函数。
本实施例中,第一双铰链损失函数Em如下所示:
其中,
其中,Em表示第一双铰链损失函数;均表示差额变量,是函数优化的对象,越小越优;α表示强制间距,优选地,α=0.5。S表示向量的相似度,如表示向量之间的相似度,以此类推。表示正样本对数据集,表示负样本对数据集,max表示最大,argmin表示相似度最小,argmax表示相似度最大。
上述公式(1)中“min”表示Em取最小值,以优化第一双铰链损失函数的函数值,有效训练CNN网络。第一双铰链损失函数取最小值,可以使得相似度分数违反约束的大小关系的情况最小。
步骤S320:计算四元困难样本特征的第二双铰链损失函数。
本实施例中,第二双铰链损失函数Ee如下所示:
其中,
其中,Ee表示第二双铰链损失函数;均表示差额变量,是函数优化的对象,越小越优;β表示强制间距,优选地,β=1;表示归一化后的向量模值,也依此类推;max表示最大;分别表示向量和向量
上述公式(2)中“min”表示Ee取最小值,以优化第二双铰链损失函数的函数值,有效训练CNN网络。第二双铰链损失函数取最小值,可以使得特征向量违反约束的大小关系的情况最小。
当上述第一双铰链损失函数和第二双铰链损失函数均使用时,合并后的双铰链损失函数如下:
其中,Em表示第一双铰链损失函数,Ee表示第二双铰链损失函数;表示卷积神经网络参数,是函数优化的对象,越小越优。λ,γ表示正则参数,优选地,λ=0.5,γ=5×10-4
上述公式(3)中“min”表示Em、Ee的模均取最小值,以优化合并后的双铰链损失函数的函数值,有效训练CNN网络。合并后的双铰链损失函数中,如公式(1)和(2)中所示,Em和Ee均取最小值;将的模也取最小值,可以有效约束网络参数。
步骤S322:求解整个损失函数的反向导数。
通过求解整个损失函数的反向导数,可以对神经网络的反向通路进行优化。
通过上述步骤S318-S322,通过输入选择的四元困难样本,和它们的深度特征和相似度,输出深度卷积神经网络的反向梯度,实现了局部相似性引导的深度特征优化在当前的前向传播中同时优化局部相似性度量和深度特征。
步骤S324:使用反向导数优化后的神经网络,进行数据识别。
一种实现上述优化的深度卷积神经网络的框架如图5所示,图5中,CNN表示卷积神经网络,L2表示归一化处理,S(.)表示相似度分数。图5中,通过PDDM对批量数据,即批量的特征向量进行相似度度量;进而,根据相似度度量的结果获得相应的四元困难样本,在图5中分别表示为使用CNN对该四元困难样本进行处理,获得相应的四个特征向量一方面,通过PDDM对该四个特征向量进行相似度度量,获得三个相似度分数使用第一双铰链损失函数对获得的相似度分数进行优化;另一方面,使用第二双铰链损失函数对四个特征向量进行优化。通过图5所示卷积神经网络,既实现了对相似度分数的优化处理,又实现了对特征向量的优化处理。但如前所述,在实际使用中,可以择一进行优化,也可以结合使用。
通过本实施例,同时得到了特征向量的局部相似性度量和深度特征,加快了深度学习的学习速度并提高了学习质量。
实施例四
参照图6,示出了根据本发明实施例四的一种样本数据处理装置的结构框图。
本实施例的样本数据处理装置包括:
第一获取模块402,用于从样本的数据中获取样本的特征向量对;第一确定模块404,用于确定特征向量对的距离和特征向量对在特征空间中的位置;第一相似度度量模块406,用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定特征向量对的相似度。
本实施例的样本数据处理装置可以作为独立的设备,或者,设置于任意具有数据采集和处理功能的设备中,如终端设备或服务器中。
通过本实施例的样本数据处理装置,在进行数据特征比对时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度。由此,使得同类和异类特征向量对的差别更为明显,有效降低了同类样本和异类样本的混淆。进一步地,基于本实施例的样本处理方法有效比对出的特征之间的相似度,在任意适当的具有相似度应用的场景,如,数据识别(如图像识别)、数据检索(如图像检索)、数据分类(如图像分类)、迁移学习、零样本学习的过程中,都可以有效比对出特征之间的相似度。若将其应用于数据识别、数据分类或数据检索中,则可以有效提高上述数据处理的准确率。
实施例五
参照图7,示出了根据本发明实施例五的一种样本数据处理装置的结构框图。
本实施例的样本数据处理装置包括:第一获取模块502,用于从样本的数据中获取样本的特征向量对;第一确定模块504,用于确定特征向量对的距离和特征向量对在特征空间中的位置;第一相似度度量模块506,用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定特征向量对的相似度。
可选地,第一确定模块504,用于针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
可选地,第一相似度度量模块506包括:第一非线性处理模块5062,用于分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;第一级联模块5064,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;第二非线性处理模块5066,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;相似度确定模块5068,用于根据第二非线性处理模块5066的处理结果确定特征向量对的相似度。
可选地,第一非线性处理模块5062,用于分别将特征向量对的距离和特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
可选地,第二非线性处理模块5066,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
可选地,第一确定模块504,用于分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;根据进行了归一化处理后的特征向量模值,确定特征向量对的距离和特征向量对在特征空间中的位置。
可选地,本实施例的样本数据处理装置还包括:第二获取模块508,用于根据特征向量对的相似度,获得样本中的正样本对的分数分布和负样本对的分数分布;困难样本选择模块510,用于根据正样本对的分数分布和负样本对的分数分布,选择困难样本。
可选地,困难样本选择模块510,用于根据正样本对的分数分布,确定相似度最低的正样本对作为正困难样本对;对正困难样本对中的每个样本,确定每个样本对应的相似度最高的负样本,获得负困难样本对。
可选地,本实施例的样本数据处理装置还包括:第三获取模块512,用于在困难样本选择模块510获得负困难样本对之后,获得正困难样本对的相似度和负困难样本对的相似度;第一损失处理模块514,用于使用第一双铰链损失函数对获得的相似度进行处理,其中,第一双铰链损失函数用于增大正困难样本对的相似度,和缩小负困难样本对的相似度。
可选地,本实施例的样本数据处理装置还包括:第四获取模块516,用于在第一损失处理模块514使用第一双铰链损失函数对获得的相似度进行处理之后,获得正困难样本对所对应的特征向量的第一距离,和,负困难样本对所对应的特征向量的第二距离;第二损失处理模块518,用于使用第二双铰链损失函数对第一距离和所述第二距离进行处理,其中,第二双铰链损失函数用于增大第二距离,增大后的第二距离大于第一距离。
本实施例的样本数据处理装置可以作为独立的设备,或者,设置于任意具有数据采集和处理功能的设备中,如终端设备或服务器中。
本实施例的样本数据处理装置用于实现前述多个方法实施例中相应的样本数据处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。
实施例六
参照图8,示出了根据本发明实施例六的一种计算机设备的结构示意图,本发明具体实施例并不对计算机设备的具体实现做限定。
如图8所示,该计算机设备可以包括:处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中:
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604,用于与其它设备比如客户端或数据采集设备等的网元通信。
处理器602,用于执行程序610,具体可以执行上述方法实施例中的相关步骤。
具体地,程序610可以包括程序代码,该程序代码包括计算机操作指令。
处理器610可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器606,用于存放程序610。存储器606可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行以下操作:从样本的数据中获取样本的特征向量对;确定特征向量对的距离和特征向量对在特征空间中的位置;对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定特征向量对的相似度。
在一种可选的实施方式中,程序610还用于使得处理器602在确定特征向量对的距离和特征向量对在特征空间中的位置时,针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
在一种可选的实施方式中,程序610还用于使得处理器602在对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理时,分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
在一种可选的实施方式中,程序610还用于使得处理器602在分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理时,分别将特征向量对的距离和特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
在一种可选的实施方式中,程序610还用于使得处理器602在对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理时,对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
在一种可选的实施方式中,程序610还用于使得处理器602在确定特征向量对的距离和特征向量对在特征空间中的位置时,分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;根据进行了归一化处理后的特征向量模值,确定特征向量对的距离和特征向量对在特征空间中的位置。
在一种可选的实施方式中,程序610还用于使得处理器602根据特征向量对的相似度,获得样本中的正样本对的分数分布和负样本对的分数分布;根据正样本对的分数分布和负样本对的分数分布,选择困难样本。
在一种可选的实施方式中,程序610还用于使得处理器602在根据正样本对的分数分布和负样本对的分数分布,选择困难样本时,根据正样本对的分数分布,确定相似度最低的正样本对为正困难样本对;对正困难样本对中的每个样本,确定每个样本对应的相似度最高的负样本,获得负困难样本对。
在一种可选的实施方式中,程序610还用于使得处理器602在获得负困难样本对之后,还获得正困难样本对的相似度和负困难样本对的相似度;使用第一双铰链损失函数对获得的相似度进行处理,其中,第一双铰链损失函数用于增大正困难样本对的相似度,和缩小负困难样本对的相似度。
在一种可选的实施方式中,程序610还用于使得处理器602在使用第一双铰链损失函数对获得的相似度进行处理之后,还获得正困难样本对所对应的特征向量的第一距离,和,负困难样本对所对应的特征向量的第二距离;使用第二双铰链损失函数对第一距离和第二距离进行处理,其中,第二双铰链损失函数用于增大第二距离,增大后的第二距离大于第一距离。
程序610中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
通过本实施例的计算机设备,在进行数据特征比对时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度。由此,使得同类和异类特征向量对的差别更为明显,有效降低了同类样本和异类样本的混淆。进一步地,基于本实施例的计算机设备有效比对出的特征之间的相似度,在任意适当的具有相似度应用的场景,如,数据识别(如图像识别)、数据检索(如图像检索)、数据分类(如图像分类)、迁移学习、零样本学习的过程中,都可以有效比对出特征之间的相似度。若将其应用于数据识别、数据分类或数据检索中,则可以有效提高上述数据处理的准确率。
实施例七
参照图9,示出了根据本发明实施例七的一种数据识别方法的步骤流程图。
本实施例的数据识别方法包括以下步骤:
步骤S702:获取待识别数据的特征向量以及样本数据集中的样本的特征向量。
其中,样本数据集中包括至少一个样本。待识别数据和样本数据集中的样本应当属于同一数据类型,如,均为图像、或者均为语音、或者均为文字等,也即,两者具有可比性。
例如,当用户需要对一个图片进行识别时,数据识别设备如服务器或者终端可以提取该图片的特征向量。同时,在该数据识别设备中还存储有相应的图片集,或者,该数据识别设备可以访问相应的图片集,并对图片集中的图片进行特征提取,或者,使用设备中保存的已提取出的图片集中的图片的特征。
步骤S704:分别将获取的每一个样本的特征向量与待识别数据的特征向量组合,生成对应的至少一个特征向量对。
仍以上述图片识别为例,设定图片集中包含有500张图片,则该500张图片的特征向量可以分别与待识别图片的特征向量进行组合,生成500个特征向量对。
步骤S706:对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置。
其中,特征向量对的距离可以表示一对特征向量之间的相对距离,而特征向量对在特征空间中的位置则可以表示一对特征向量之间的绝对距离。
本发明实施例中,通过特征向量对在特征空间中的位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度,由此使得同类和异类特征向量对的差别更为明显,可以更为全面和有效地区分样本的特征。
步骤S708:对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度。
步骤S710:根据所述相似度,确定样本数据集中与待识别数据相似度满足预定条件的样本。
其中,预定条件可以由本领域技术人员根据实际情况适当设置,例如,在进行数据精确识别时,可以将样本数据集中与待识别数据相似度最高的样本确定为满足预定条件的样本;再例如,在进行数据分类时,可以将与待识别数据的相似度满足一定阈值的那些样本确定为与待识别数据所属同一分类的样本;又例如,在进行数据检索时,根据检索精度要求,将与待识别数据的相似度大于或等于某一设定阈值的那些样本确定为检索结果等等。
在确定了特征向量对的相似度后,既可以根据该相似度进行数据识别。
例如,若确定了图片集中的某一张图片与待识别图片的相似度最高,则可以将待识别图片识别为图片集中的图片。
通过本实施例,在进行数据识别时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置确定数据之间的相似度,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度。由此,使得同类和异类特征向量对的差别更为明显,降低了同类样本和异类样本的混淆,提高了数据识别的准确率。
实施例八
参照图10,示出了根据本发明实施例八的一种数据识别方法的步骤流程图。
本实施例的数据识别方法包括以下步骤:
步骤S802:获取待识别数据的特征向量以及样本数据集中的样本的特征向量。
其中,样本数据集中包括至少一个样本。
步骤S804:分别将获取的每一个样本的特征向量与待识别数据的特征向量组合,生成对应的至少一个特征向量对。
在实际应用中,在生成特征向量对时,需要特征向量之间具有统一的度量标准,为此,在一种可行的实施方式中,可以分别将获取的每一个样本的特征向量与待识别数据的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个样本的特征向量与待识别数据的特征向量进行组合,生成对应的至少一个特征向量对。
其中,归一化处理可以由本领域技术人员根据实际需要采用任意适当的归一化处理方式实现,本发明实施例对此不作限制。通过归一化处理,可以使得特征向量间的值域相似,以便于后续特征向量对的距离和特征向量对在特征空间中的位置的获取。
步骤S806:对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置。
在一可选实施方式中,可以对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
例如,特征向量对f(xi)和f(yi),可以将|f(xi)-f(yi)|确定为该特征向量对的距离,将(f(xi)+f(yi))/2确定为特征向量对在特征空间中的位置。
步骤S808:分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
通过非线性函数处理,可以进一步提取特征向量对的距离和位置的特征,既减少了数据处理量,又可以有效比对出特征之间的相似度。
在一种可行的实施方式中,先分别将特征向量对的距离和特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对非线性映射后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。通过归一化处理,为后续的特征级联打下了基础。
步骤S810:级联处理后的特征向量对的距离和特征向量对在特征空间中的位置。
步骤S812:对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
在一种可行的实施方式中,对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
通过本步骤的非线性函数处理,将级联后的特征向量对的距离和特征向量对在特征空间中的位置处理为表征特征之间相似度的度量,如相似度分数。
通过上述步骤S808-S812,实现了对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度。
步骤S814:根据所述相似度,确定样本数据集中与待识别数据相似度满足预定条件的样本。
其中,预定条件可以由本领域技术人员根据实际情况适当设置,本实施例对此不作限制。
通过本实施例,在进行数据识别时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置确定数据之间的相似度,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度。由此,使得同类和异类特征向量对的差别更为明显,降低了同类样本和异类样本的混淆,提高了数据识别的准确率。
需要说明的是,本实施例着重强调与前述实施例的不同之处,相同或相似部分参照前述实施例即可。
实施例九
参照图11,示出了根据本发明实施例九的一种数据识别装置的结构框图。
本实施例的数据识别装置包括:
第五获取模块902,用于获取待识别数据的特征向量以及样本数据集中的样本的特征向量,其中,样本数据集中包括至少一个样本;
生成模块904,用于分别将获取的每一个样本的特征向量与待识别数据的特征向量组合,生成对应的至少一个特征向量对;
第二确定模块906,用于对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;
第二相似度度量模块908,用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;
样本确定模块910,用于根据所述相似度,确定样本数据集中与待识别数据相似度满足预定条件的样本。
本实施例的数据识别装置可以作为独立的设备,或者,设置于任意具有数据采集和处理功能的设备中,如终端设备或服务器中。
通过本实施例的数据识别装置,在进行数据特征比对时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度,由此使得同类和异类特征向量对的差别更为明显,有效降低了同类样本和异类样本的混淆,提高了数据识别的准确率。
实施例十
参照图12,示出了根据本发明实施例十的一种数据识别装置的结构框图。
本实施例的数据识别装置包括:第五获取模块1002,用于获取待识别数据的特征向量以及样本数据集中的样本的特征向量,其中,样本数据集中包括至少一个样本;生成模块1004,用于分别将获取的每一个样本的特征向量与待识别数据的特征向量组合,生成对应的至少一个特征向量对;第二确定模块1006,用于对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;第二相似度度量模块1008,用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;样本确定模块1010,用于根据所述相似度,确定样本数据集中与待识别数据相似度满足预定条件的样本。
可选地,第二确定模块1006,用于对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
可选地,第二相似度度量模块1008包括:第三非线性处理模块10082,用于分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;第二级联模块10084,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;第四非线性处理模块10086,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
可选地,第三非线性处理模块10082,用于分别将特征向量对的距离和特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
可选地,第四非线性处理模块10086,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
可选地,生成模块1004,用于分别将获取的每一个样本的特征向量与待识别数据的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个样本的特征向量与待识别数据的特征向量进行组合,生成对应的至少一个特征向量对。
本实施例的数据识别装置可以作为独立的设备,或者,设置于任意具有数据采集和处理功能的设备中,如终端设备或服务器中。
本实施例的数据识别装置用于实现前述多个方法实施例中相应的数据识别方法,并具有相应的方法实施例的有益效果,在此不再赘述。
实施例十一
参照图13,示出了根据本发明实施例十一的一种计算机设备的结构示意图,本发明具体实施例并不对计算机设备的具体实现做限定。
如图13所示,该计算机设备可以包括:处理器(processor)1102、通信接口(Communications Interface)1104、存储器(memory)1106、以及通信总线1108。
其中:
处理器1102、通信接口1104、以及存储器1106通过通信总线1108完成相互间的通信。
通信接口1104,用于与其它设备比如客户端或数据采集设备等的网元通信。
处理器1102,用于执行程序1110,具体可以执行上述方法实施例中的相关步骤。
具体地,程序可以包括程序代码,该程序代码包括计算机操作指令。
处理器1102可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1106,用于存放程序1110。存储器1106可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序1110具体可以用于使得处理器1102执行以下操作:获取待识别数据的特征向量以及样本数据集中的样本的特征向量,其中,样本数据集中包括至少一个样本;分别将获取的每一个样本的特征向量与待识别数据的特征向量组合,生成对应的至少一个特征向量对;对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;根据所述相似度,确定样本数据集中与所述待识别数据相似度满足预定条件的样本。
在一种可选的实施方式中,程序1110还用于使得处理器1102在对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置时,对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
在一种可选的实施方式中,程序1110还用于使得处理器1102在对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理时,分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
在一种可选的实施方式中,程序1110还用于使得处理器1102在分别对特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理时,分别将特征向量对的距离和特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
在一种可选的实施方式中,程序1110还用于使得处理器1102在对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理时,对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
在一种可选的实施方式中,程序1110还用于使得处理器1102在分别将获取的每一个样本的特征向量与待识别数据的特征向量组合,生成对应的至少一个特征向量对时,分别将获取的每一个样本的特征向量与所述待识别数据的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个样本的特征向量与待识别数据的特征向量进行组合,生成对应的至少一个特征向量对。
程序1110中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
通过本实施例的计算机设备,在进行数据特征比对时,同时使用了数据特征的特征向量对的距离和特征向量对在特征空间中的位置,也即,不仅考虑了特征间距离的差别,而且考虑了特征所在的空间位置,使得相似度度量可以根据当前位置的特征分布更自适应和有效地比对出特征之间的相似程度,由此使得同类和异类特征向量对的差别更为明显,有效降低了同类样本和异类样本的混淆,提高了数据识别的准确率。
需要指出,根据实施的需要,可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的处理方法。此外,当通用计算机访问用于实现在此示出的处理的代码时,代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例,而并非对本发明实施例的限制,有关技术领域的普通技术人员,在不脱离本发明实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明实施例的范畴,本发明实施例的专利保护范围应由权利要求限定。
本发明实施例提供了A1、一种样本数据处理方法,包括:从样本的数据中获取所述样本的特征向量对;确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度。
A2、根据A1所述的方法,其中,所述确定所述特征向量对的距离和所述特征向量对在特征空间中的位置包括:针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
A3、根据A1或A2所述的方法,其中,对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理包括:分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
A4、根据A3所述的方法,其中,分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理包括:分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
A5、根据A3或A4所述的方法,其中,所述对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理包括:对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
A6、根据A1至A5任一项所述的方法,其中,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置包括:分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;根据进行了归一化处理后的特征向量模值,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置。
A7、根据A1至A6任一项所述的方法,其中,所述方法还包括:根据所述特征向量对的相似度,获得所述样本中的正样本对的分数分布和负样本对的分数分布;根据所述正样本对的分数分布和所述负样本对的分数分布,选择困难样本。
A8、根据A7所述的方法,其中,根据所述正样本对的分数分布和所述负样本对的分数分布,选择困难样本包括:根据所述正样本对的分数分布,确定相似度最低的正样本对为正困难样本对;对所述正困难样本对中的每个样本,确定每个样本对应的相似度最高的负样本,获得负困难样本对。
A9、根据A8所述的方法,其中,在所述获得负困难样本对之后,所述方法还包括:获得所述正困难样本对的相似度和所述负困难样本对的相似度;使用第一双铰链损失函数对获得的相似度进行处理,其中,所述第一双铰链损失函数用于增大所述正困难样本对的相似度,和缩小所述负困难样本对的相似度。
A10、根据A9所述的方法,其中,在所述使用第一双铰链损失函数对获得的相似度进行处理之后,所述方法还包括:获得所述正困难样本对所对应的特征向量的第一距离,和,所述负困难样本对所对应的特征向量的第二距离;使用第二双铰链损失函数对所述第一距离和所述第二距离进行处理,其中,所述第二双铰链损失函数用于增大所述第二距离,增大后的所述第二距离大于所述第一距离。
本发明实施例还提供了B11、一种数据识别方法,包括:获取待识别数据的特征向量以及样本数据集中的样本的特征向量,其中,所述样本数据集中包括至少一个样本;分别将获取的每一个样本的特征向量与所述待识别数据的特征向量组合,生成对应的至少一个特征向量对;对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;根据所述相似度,确定所述样本数据集中与所述待识别数据相似度满足预定条件的样本。
B12、根据B11所述的方法,其中,所述对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置包括:对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
B13、根据B11或B12所述的方法,其中,所述对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理包括:分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
B14、根据B13所述的方法,其中,分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理包括:分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
B15、根据B13或B14所述的方法,其中,所述对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理包括:对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
B16、根据B11所述的方法,其中,所述分别将获取的每一个样本的特征向量与所述待识别数据的特征向量组合,生成对应的至少一个特征向量对包括:分别将获取的每一个样本的特征向量与所述待识别数据的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个样本的特征向量与待识别数据的特征向量进行组合,生成对应的至少一个特征向量对。
本发明实施例还提供了C17、一种样本数据处理装置,包括:第一获取模块,用于从样本的数据中获取所述样本的特征向量对;第一确定模块,用于确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;第一相似度度量模块,用于对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度。
C18、根据C17所述的装置,其中,所述第一确定模块,用于针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
C19、根据C17或C18所述的装置,其中,所述第一相似度度量模块包括:第一非线性处理模块,用于分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;第一级联模块,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;第二非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;相似度确定模块,用于根据所述第二非线性处理模块的处理结果确定所述特征向量对的相似度。
C20、根据C19所述的装置,其中,所述第一非线性处理模块,用于分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
C21、根据C19或C20所述的装置,其中,所述第二非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
C22、根据C17至C21任一项所述的装置,其中,所述第一确定模块,用于分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;根据进行了归一化处理后的特征向量模值,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置。
C23、根据C17至C22任一项所述的装置,其中,所述装置还包括:第二获取模块,用于根据所述特征向量对的相似度,获得所述样本中的正样本对的分数分布和负样本对的分数分布;困难样本选择模块,用于根据所述正样本对的分数分布和所述负样本对的分数分布,选择困难样本。
C24、根据C23所述的装置,其中,所述困难样本选择模块,用于根据所述正样本对的分数分布,确定相似度最低的正样本对作为正困难样本对;对所述正困难样本对中的每个样本,确定每个样本对应的相似度最高的负样本,获得负困难样本对。
C25、根据C24所述的装置,其中,所述装置还包括:第三获取模块,用于在所述困难样本选择模块获得负困难样本对之后,获得所述正困难样本对的相似度和所述负困难样本对的相似度;第一损失处理模块,用于使用第一双铰链损失函数对获得的相似度进行处理,其中,所述第一双铰链损失函数用于增大所述正困难样本对的相似度,和缩小所述负困难样本对的相似度。
C26、根据C25所述的装置,其中,所述装置还包括:第四获取模块,用于在所述第一损失处理模块使用第一双铰链损失函数对获得的相似度进行处理之后,获得所述正困难样本对所对应的特征向量的第一距离,和,所述负困难样本对所对应的特征向量的第二距离;第二损失处理模块,用于使用第二双铰链损失函数对所述第一距离和所述第二距离进行处理,其中,所述第二双铰链损失函数用于增大所述第二距离,增大后的所述第二距离大于所述第一距离。
本发明实施例还提供了D27、一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如A1至A10任一项所述的样本处理方法对应的操作。
本发明实施例还提供了E28、一种数据识别装置,包括:第五获取模块,用于获取待识别数据的特征向量以及样本数据集中的样本的特征向量,其中,所述样本数据集中包括至少一个样本;生成模块,用于分别将获取的每一个样本的特征向量与所述待识别数据的特征向量组合,生成对应的至少一个特征向量对;第二确定模块,用于对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;第二相似度度量模块,用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;样本确定模块,用于根据所述相似度,确定所述样本数据集中与所述待识别数据相似度满足预定条件的样本。
E29、根据E28所述的装置,其中,所述第二确定模块,用于对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
E30、根据E28或E29所述的装置,其中,所述第二相似度度量模块包括:第三非线性处理模块,用于分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;第二级联模块,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;第四非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
E31、根据E30所述的装置,其中,所述第三非线性处理模块,用于分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
E32、根据E30或E31所述的装置,其中,所述第四非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
E33、根据E28所述的装置,其中,所述生成模块,用于分别将获取的每一个样本的特征向量与所述待识别数据的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个样本的特征向量与待识别数据的特征向量进行组合,生成对应的至少一个特征向量对。
本发明实施例还提供了F34、一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求11至16任一项所述的数据识别方法对应的操作。

Claims (32)

1.一种图像样本数据处理方法,包括:
从图像样本的数据中获取所述图像样本的特征向量对;
确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;
对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度,
其中,所述方法还包括:根据所述特征向量对的相似度,获得所述图像样本中的正图像样本对的分数分布和负图像样本对的分数分布;根据所述正图像样本对的分数分布和所述负图像样本对的分数分布,选择困难图像样本。
2.根据权利要求1所述的方法,其中,所述确定所述特征向量对的距离和所述特征向量对在特征空间中的位置包括:
针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
3.根据权利要求1所述的方法,其中,对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,包括:
分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;
级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;
对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
4.根据权利要求3所述的方法,其中,分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理包括:
分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;
再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;
对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
5.根据权利要求3所述的方法,其中,所述对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理,包括:
对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
6.根据权利要求1至5任一项所述的方法,其中,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置包括:
分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;
根据进行了归一化处理后的特征向量模值,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置。
7.根据权利要求1所述的方法,其中,根据所述正图像样本对的分数分布和所述负图像样本对的分数分布,选择困难图像样本包括:
根据所述正图像样本对的分数分布,确定相似度最低的正图像样本对为正困难图像样本对;
对所述正困难图像样本对中的每个图像样本,确定每个图像样本对应的相似度最高的负图像样本,获得负困难图像样本对。
8.根据权利要求7所述的方法,其中,在所述获得负困难图像样本对之后,所述方法还包括:
获得所述正困难图像样本对的相似度和所述负困难图像样本对的相似度;
使用第一双铰链损失函数对获得的相似度进行处理,其中,所述第一双铰链损失函数用于增大所述正困难图像样本对的相似度,和缩小所述负困难图像样本对的相似度。
9.根据权利要求8所述的方法,其中,在所述使用第一双铰链损失函数对获得的相似度进行处理之后,所述方法还包括:
获得所述正困难图像样本对所对应的特征向量的第一距离,和,所述负困难图像样本对所对应的特征向量的第二距离;
使用第二双铰链损失函数对所述第一距离和所述第二距离进行处理,其中,所述第二双铰链损失函数用于增大所述第二距离,增大后的所述第二距离大于所述第一距离。
10.一种图像识别方法,包括:
获取待识别图像的特征向量以及图像样本数据集中的图像样本的特征向量,其中,所述图像样本数据集中包括至少一个图像样本;
分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量组合,生成对应的至少一个特征向量对;
对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;
对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;
根据所述相似度,确定所述图像样本数据集中与所述待识别图像相似度满足预定条件的图像样本。
11.根据权利要求10所述的方法,其中,所述对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置包括:
对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
12.根据权利要求10所述的方法,其中,所述对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,包括:
分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;
级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;
对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
13.根据权利要求12所述的方法,其中,分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理包括:
分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;
再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;
对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
14.根据权利要求12或13所述的方法,其中,所述对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理包括:
对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
15.根据权利要求10所述的方法,其中,所述分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量组合,生成对应的至少一个特征向量对包括:
分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量进行特征向量模值归一化处理;
将进行了归一化处理后的每一个图像样本的特征向量与待识别图像的特征向量进行组合,生成对应的至少一个特征向量对。
16.一种图像样本数据处理装置,包括:
第一获取模块,用于从图像样本的数据中获取所述图像样本的特征向量对;
第一确定模块,用于确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;
第一相似度度量模块,用于对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度,
其中,所述装置还包括:
第二获取模块,用于根据所述特征向量对的相似度,获得所述图像样本中的正图像样本对的分数分布和负图像样本对的分数分布;
困难图像样本选择模块,用于根据所述正图像样本对的分数分布和所述负图像样本对的分数分布,选择困难图像样本。
17.根据权利要求16所述的装置,其中,所述第一确定模块,用于针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
18.根据权利要求16所述的装置,其中,所述第一相似度度量模块包括:
第一非线性处理模块,用于分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;
第一级联模块,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;
第二非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;
相似度确定模块,用于根据所述第二非线性处理模块的处理结果确定所述特征向量对的相似度。
19.根据权利要求18所述的装置,其中,所述第一非线性处理模块,用于分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
20.根据权利要求18所述的装置,其中,所述第二非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
21.根据权利要求16至20任一项所述的装置,其中,所述第一确定模块,用于分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;根据进行了归一化处理后的特征向量模值,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置。
22.根据权利要求16所述的装置,其中,所述困难图像样本选择模块,用于根据所述正图像样本对的分数分布,确定相似度最低的正图像样本对作为正困难图像样本对;对所述正困难图像样本对中的每个图像样本,确定每个图像样本对应的相似度最高的负图像样本,获得负困难图像样本对。
23.根据权利要求22所述的装置,其中,所述装置还包括:
第三获取模块,用于在所述困难图像样本选择模块获得负困难图像样本对之后,获得所述正困难图像样本对的相似度和所述负困难图像样本对的相似度;
第一损失处理模块,用于使用第一双铰链损失函数对获得的相似度进行处理,其中,所述第一双铰链损失函数用于增大所述正困难图像样本对的相似度,和缩小所述负困难图像样本对的相似度。
24.根据权利要求23所述的装置,其中,所述装置还包括:
第四获取模块,用于在所述第一损失处理模块使用第一双铰链损失函数对获得的相似度进行处理之后,获得所述正困难图像样本对所对应的特征向量的第一距离,和,所述负困难图像样本对所对应的特征向量的第二距离;
第二损失处理模块,用于使用第二双铰链损失函数对所述第一距离和所述第二距离进行处理,其中,所述第二双铰链损失函数用于增大所述第二距离,增大后的所述第二距离大于所述第一距离。
25.一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1至9任一项所述的图像样本数据处理方法对应的操作。
26.一种图像识别装置,包括:
第五获取模块,用于获取待识别图像的特征向量以及图像样本数据集中的图像样本的特征向量,其中,所述图像样本数据集中包括至少一个图像样本;
生成模块,用于分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量组合,生成对应的至少一个特征向量对;
第二确定模块,用于对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;
第二相似度度量模块,用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;
图像样本确定模块,用于根据所述相似度,确定所述图像样本数据集中与所述待识别图像相似度满足预定条件的图像样本。
27.根据权利要求26所述的装置,其中,所述第二确定模块,用于对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。
28.根据权利要求26所述的装置,其中,所述第二相似度度量模块包括:
第三非线性处理模块,用于分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;
第二级联模块,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;
第四非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。
29.根据权利要求28所述的装置,其中,所述第三非线性处理模块,用于分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。
30.根据权利要求28或29所述的装置,其中,所述第四非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。
31.根据权利要求26所述的装置,其中,所述生成模块,用于分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个图像样本的特征向量与待识别图像的特征向量进行组合,生成对应的至少一个特征向量对。
32.一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求10至15任一项所述的图像识别方法对应的操作。
CN201610515995.4A 2016-07-01 2016-07-01 样本数据处理、数据识别方法和装置、计算机设备 Active CN106202329B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610515995.4A CN106202329B (zh) 2016-07-01 2016-07-01 样本数据处理、数据识别方法和装置、计算机设备
PCT/CN2017/091431 WO2018001384A1 (zh) 2016-07-01 2017-07-03 数据处理、数据识别方法和装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610515995.4A CN106202329B (zh) 2016-07-01 2016-07-01 样本数据处理、数据识别方法和装置、计算机设备

Publications (2)

Publication Number Publication Date
CN106202329A CN106202329A (zh) 2016-12-07
CN106202329B true CN106202329B (zh) 2018-09-11

Family

ID=57465610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610515995.4A Active CN106202329B (zh) 2016-07-01 2016-07-01 样本数据处理、数据识别方法和装置、计算机设备

Country Status (2)

Country Link
CN (1) CN106202329B (zh)
WO (1) WO2018001384A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202329B (zh) * 2016-07-01 2018-09-11 北京市商汤科技开发有限公司 样本数据处理、数据识别方法和装置、计算机设备
CN106845533B (zh) * 2017-01-05 2020-11-24 天津大学 基于自训练的零样本视频分类方法
CN107203755B (zh) * 2017-05-31 2021-08-03 中国科学院遥感与数字地球研究所 一种用于遥感图像时间序列标记样本自动增新的方法、装置和系统
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN108304859B (zh) * 2017-12-29 2021-03-30 达闼科技(北京)有限公司 图像识别方法及云端系统
CN108304864B (zh) * 2018-01-17 2020-07-17 清华大学 深度对抗度量学习方法及装置
CN110348465B (zh) * 2018-04-03 2022-10-18 富士通株式会社 用于标注样本的方法
CN108710920B (zh) * 2018-06-05 2021-05-14 北京中油瑞飞信息技术有限责任公司 示功图识别方法及装置
CN108960314B (zh) * 2018-06-26 2022-02-11 北京旷视科技有限公司 基于难样本的训练方法、装置及电子设备
CN109145991B (zh) * 2018-08-24 2020-07-31 北京地平线机器人技术研发有限公司 图像组生成方法、图像组生成装置和电子设备
CN111104832B (zh) * 2018-10-29 2023-05-26 百度在线网络技术(北京)有限公司 图像标签获取方法、图像标签获取装置以及电子设备
CN109615065A (zh) * 2018-12-17 2019-04-12 郑州云海信息技术有限公司 一种基于fpga的数据处理方法、设备以及存储介质
CN111178403B (zh) * 2019-12-16 2023-10-17 北京迈格威科技有限公司 训练属性识别模型的方法、装置、电子设备及存储介质
CN111522988B (zh) * 2020-05-29 2022-07-15 深圳市商汤科技有限公司 图像定位模型获取方法及相关装置
CN112381166B (zh) * 2020-11-20 2024-03-05 北京百度网讯科技有限公司 信息点识别方法、装置及电子设备
CN112561060B (zh) * 2020-12-15 2022-03-22 北京百度网讯科技有限公司 神经网络训练方法及装置、图像识别方法及装置和设备
CN112508130A (zh) * 2020-12-25 2021-03-16 商汤集团有限公司 聚类方法及装置、电子设备和存储介质
CN112766049A (zh) * 2020-12-29 2021-05-07 清华大学 基于难样本挖掘的大规模人脸识别测试集构建方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750545A (zh) * 2012-06-01 2012-10-24 南京师范大学 一种同时实现聚类、分类和度量学习的模式识别方法
US9031331B2 (en) * 2012-07-30 2015-05-12 Xerox Corporation Metric learning for nearest class mean classifiers
CN103839041B (zh) * 2012-11-27 2017-07-18 腾讯科技(深圳)有限公司 客户端特征的识别方法和装置
CN103500345A (zh) * 2013-09-29 2014-01-08 华南理工大学 一种基于距离度量学习行人重验证的方法
CN103810475B (zh) * 2014-02-19 2017-04-05 百度在线网络技术(北京)有限公司 一种目标物识别方法及装置
CN104598872B (zh) * 2014-12-23 2018-07-06 深圳市君利信达科技有限公司 一种面部比对的方法、设备及一种面部识别的方法、系统
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN106202329B (zh) * 2016-07-01 2018-09-11 北京市商汤科技开发有限公司 样本数据处理、数据识别方法和装置、计算机设备

Also Published As

Publication number Publication date
WO2018001384A1 (zh) 2018-01-04
CN106202329A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106202329B (zh) 样本数据处理、数据识别方法和装置、计算机设备
TWI677852B (zh) 一種圖像特徵獲取方法及裝置、電子設備、電腦可讀存儲介質
CN111737458B (zh) 基于注意力机制的意图识别方法、装置、设备及存储介质
CN106951825B (zh) 一种人脸图像质量评估系统以及实现方法
Jayalekshmi et al. Facial expression recognition and emotion classification system for sentiment analysis
CN108694225B (zh) 一种图像搜索方法、特征向量的生成方法、装置及电子设备
EP3023911B1 (en) Method and apparatus for recognizing object, and method and apparatus for training recognizer
Naikal et al. Informative feature selection for object recognition via sparse PCA
JP2018205937A (ja) 画像検索装置及びプログラム
Tarawneh et al. Deep face image retrieval: A comparative study with dictionary learning
US11126827B2 (en) Method and system for image identification
CN110909784B (zh) 一种图像识别模型的训练方法、装置及电子设备
KR20170108339A (ko) 영상에서 다수의 객체를 인식하는 방법
Roy et al. A novel quaternary pattern of local maximum quotient for heterogeneous face recognition
JP6713162B2 (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
CN110602120A (zh) 一种面向网络的入侵数据检测方法
Abaci et al. Matching caricatures to photographs
CN114817596A (zh) 融合语义相似性嵌入和度量学习的跨模态图文检索方法
CN114494809A (zh) 特征提取模型优化方法、装置及电子设备
CN113762005B (zh) 特征选择模型的训练、对象分类方法、装置、设备及介质
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
US8879804B1 (en) System and method for automatic detection and recognition of facial features
CN113378620A (zh) 监控视频噪声环境下跨摄像头行人重识别方法
CN112241470A (zh) 一种视频分类方法及系统
CN109885680B (zh) 一种基于义原扩展的短文本分类预处理方法、系统及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant