CN112214535A - 一种相似度计算方法、系统、电子设备及存储介质 - Google Patents

一种相似度计算方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN112214535A
CN112214535A CN202011138623.7A CN202011138623A CN112214535A CN 112214535 A CN112214535 A CN 112214535A CN 202011138623 A CN202011138623 A CN 202011138623A CN 112214535 A CN112214535 A CN 112214535A
Authority
CN
China
Prior art keywords
centroid
data
similarity calculation
similarity
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011138623.7A
Other languages
English (en)
Inventor
杨康
徐成国
周星杰
王硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202011138623.7A priority Critical patent/CN112214535A/zh
Publication of CN112214535A publication Critical patent/CN112214535A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种相似度计算方法、系统、电子设备及存储介质，其方法技术方案包括对特征数据类型进行判断；若所述特征数据为字符串，将所述特征数据转化为数字；对所述特征数据中的数字占比进行判断；根据所述特征数据中数字的占比选定质心；计算所述质心与目标向量之间的距离，得出相似度。本发明解决了现有相似度计算方法不合理的问题。

Description

一种相似度计算方法、系统、电子设备及存储介质
技术领域
本发明属于数据处理领域，尤其涉及一种相似度计算方法、系统、电子设备及存储介质。
背景技术
在目前的大数据时代，很多公司可以随时随地的获取到大量的数据(如用户的特征数据等)，然而，对于这些大量数据只有采取合理的处理措施才能挖掘出数据中的价值，做出一些有益的决策。其中，通过对新数据与现存的有明确指向的数据进行对比，根据与每个现存类别的相似度，来判断这个数据应该划归到哪个类别，并采取什么样的处理措施，以发挥其价值。通过数据之间的相似度，决定数据的类别以及处理方式，已经成了处理新数据的一个常用手段。尤其在推荐领域，不仅可以基于用户的相似度，为新用户推荐产品；同时还可以基于产品的相似度，为新产品寻找用户。所以一个好的基于高维特征的相似度计算方法是目前数据处理及推荐领域特别热的话题。
对于现有的相似度计算方法，主要是简单的对目标物体的特征向量使用平均数或者加权平均的方法来获取目标向量的质心；然后通过欧式距离、余弦距离等经典的距离计算方法计算目标向量与质心之间的距离；通过距离大小来衡量两个特征之间的相似度。
以上的特征相似度计算方法虽然已经被广泛的应用的在工业领域的各个方面，但在处理一些高维特征的时候，仍存在一些问题：
(1)在质心点的确定过程中，采用平均的方法将会带来较大的误差，影响相似度的结果；
(2)在相似度的计算过程中，欧式距离或者正余弦距离容易忽略高维特征中不同特征对结果影响的重要性，同时由于不同的特征的数据量级不同，也会对最终的结果带来消极的影响。
发明内容
本申请实施例提供了一种相似度计算方法、系统、电子设备及存储介质，以至少解决现有相似度计算方法不合理的问题。
第一方面，本申请实施例提供了一种相似度计算方法，包括：
第一数据判断步骤：对特征数据类型进行判断；
数据转化步骤：若所述特征数据为字符串，将所述特征数据转化为数字；
第二数据判断步骤：对所述特征数据中的数字占比进行判断；
质心计算步骤：根据所述特征数据中数字的占比选定质心；
相似度计算步骤：计算所述质心与目标向量之间的距离，得出相似度。
优选的，所述质心计算步骤包括：若所述特征数据中的数字占比大于等于0.5，则选定所述特征数据中的众数为质心。
优选的，所述质心计算步骤包括：若所述特征数据中的数字占比小于0.5，则计算所述特征数据的平均值作为质心。
优选的，所述相似度计算步骤进一步包括：使用相对距离计算方式计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000021
其中，x为质心，y为目标向量。
优选的，所述相似度计算步骤进一步包括：
评估步骤，评估所述特征数据的重要程度得到特征系数；
相似度获取步骤，根据所述特征系数计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000022
其中，λ为特征系数，x为质心，y为目标向量。
第二方面，本申请实施例提供了一种相似度计算系统，适用于上述一种相似度计算方法，包括：
第一数据判断单元：对特征数据类型进行判断；
数据转化单元：若所述特征数据为字符串，将所述特征数据转化为数字；
第二数据判断单元：对所述特征数据中的数字占比进行判断；
质心计算单元：根据所述特征数据中数字的占比选定质心；
相似度计算单元：使用相对距离计算方式计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000031
其中，x为质心，y为目标向量。
其中，所述质心计算单元包括：若所述特征数据中的数字占比大于等于0.5，则选定所述特征数据中的众数为质心；若所述特征数据中的数字占比小于0.5，则计算所述特征数据的平均值作为质心。
其中，所述相似度计算单元进一步包括：
评估单元，评估所述特征数据的重要程度得到特征系数；
相似度获取单元，根据所述特征系数计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000032
其中，λ为特征系数，x为质心，y为目标向量。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种相似度计算方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种相似度计算方法。
相比于相关技术，本申请实施例提供的一种相似度计算方法可以在高维特征数据中，取得一个合理且有代表性质心点。在相似度计算过程中，不仅可以消除高维特征数据本身的数值分布对结果的影响，同时还可根据特征数据中不同特征特征对目标任务的重要性，使用不同的权重，使得相似度结果对目标任务有更大的贡献。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的相似度计算方法流程图；
图2是根据本申请实施例中的相似度计算系统的框架图；
图3是根据本申请实施例的电子设备的框架图；
以上图中：
11、第一数据判断单元；12、数据转化单元；13、第二数据判断单元；14、质心计算单元；15、相似度计算单元；20、总线；21、处理器；22、存储器；23、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在目前的大数据时代，很多公司可以随时随地的获取到大量的数据(如用户的特征数据等)，然而，对于这些大量数据只有采取合理的处理措施才能挖掘出数据中的价值，做出一些有益的决策。其中，通过对新数据与现存的有明确指向的数据进行对比，根据与每个现存类别的相似度，来判断这个数据应该划归到哪个类别，并采取什么样的处理措施，以发挥其价值。通过数据之间的相似度，决定数据的类别以及处理方式，已经成了处理新数据的一个常用手段。尤其在推荐领域，不仅可以基于用户的相似度，为新用户推荐产品；同时还可以基于产品的相似度，为新产品寻找用户。所以一个好的基于高维特征的相似度计算方法是目前数据处理及推荐领域特别热的话题。
对于现有的相似度计算方法，主要是简单的对目标物体的特征向量使用平均数或者加权平均的方法来获取目标向量的质心；然后通过欧式距离、余弦距离等经典的距离计算方法计算目标向量与质心之间的距离；通过距离大小来衡量两个特征之间的相似度。
现有的的特征相似度计算方法虽然已经被广泛的应用的在工业领域的各个方面，但在处理一些高维特征的时候，仍存在一些问题：
(1)在质心点的确定过程中，对于大多数的情况下，采用简单的平均或者加权平均的方法可以很好的构造特征质心点，但是对于一些特殊分布的数据(如其中一个数的占比较大等情况)或者字符特征，采用平均的方法将会带来较大的误差，影响相似度的结果；
(2)在相似度的计算过程中，现存的更多方法是通过计算两点之间的欧式距离，或者正余弦距离来衡量两者间距离的远近，这样容易忽略高维特征中不同特征对结果影响的重要性，同时由于不同的特征的数据量级不同，也会对最终的结果带来消极的影响。
本发明实施例为克服上述问题，采取以下方法：
(1)对于高维特征数据，结合数据的不同特征，对质心点进行构造；
(2)在高维特征的相似度计算过程中，加入归一化过程，消除数值本身对相似度结果的影响；
(3)在高维特征的相似度计算过程中，加入针对目标任务每个特征重要程度的权重系数，以使整个相似度计算能够更好的贡献目标任务。
请参见图1，为本申请实施例的相似度计算方法流程图，包括如下步骤：
S101.对特征数据类型进行判断；
S102.若所述特征数据为字符串，将所述特征数据转化为数字；
S103.对所述特征数据中的数字占比进行判断；
S104.根据所述特征数据中数字的占比选定质心；
S105.计算所述质心与目标向量之间的距离，得出相似度。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
对于字符串，可采用一定的编码规则(如ASCII编码等)，将字符转化为数字，然后分析其分布特征，构建其质心点。
某个数字在整个统计量中占比较大时，可采用重复次数较多的数值(即，众数)作为整个统计量的计算质心。其中，所述步骤S104包括：若所述特征数据中的数字占比大于等于0.5，则选定所述特征数据中的众数为质心。
对于其他的情况可采用平均值计算的方式进行质心向量的计算。其中，所述步骤S104包括：若所述特征数据中的数字占比小于0.5，则计算所述特征数据的平均值作为质心。
本发明实施例在相似度计算的过程中主要采用自定义的相似度距离计算方案，此方案对原本欧式距离的计算过程，进行了改进，避免了由于某些特征值整体过大，而很容易产生较大的差值，导致在计算过程中削弱了其他特征值较小的维度(与质心点的差值也相对较小)对于整体结果的影响。因此，本发明实施例对相似度的计算过程改进如下：
欧式距离：欧几里得度量(euclidean metric)(也称欧氏距离)是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
使用欧式距离计算特征相似度的过程，主要是通过计算特征向量与质心在各个维度上的差值，然后对各个差值求平方和，公式为
Figure BDA0002737551780000071
其中，x为质心，y为目标向量。
在本发明实施例的相似度距离的计算过程中，为了解决因某特征整体数值过大，而产生的差值整体较大，削弱在相似度距离计算过程中对整体数值较小，产生的差值整体分布也较小的特征的情况。所以，本发明实施例在距离的计算过程中，采用相对距离的方式代替绝对距离，削弱不同分布的差异对结果的影响。其中，所述步骤S105进一步包括：使用相对距离计算方式计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000072
其中，x为质心，y为目标向量。
此外，通过对特征数据的分析，为了体现不同特征的对目标任务的影响程度，本发明的相似度计算过程中需首先对特征数进行评估，根据目标任务给每个特征一个系数，用以标记特征对目标任务的重要程度。所以步骤S105进一步包括：
评估步骤，评估所述特征数据的重要程度得到特征系数；
相似度获取步骤，根据所述特征系数计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000081
其中，λ为特征系数，x为质心，y为目标向量。
本实施例可以在高维特征数据中，取得一个合理且有代表性质心点。在相似度计算过程中，不仅可以消除高维特征数据本身的数值分布对结果的影响，同时还可根据特征数据中不同特征对目标任务的重要性，使用不同的权重，使得相似度结果对目标任务有更大的贡献。
本申请实施例提供了一种相似度计算系统，适用于上述的一种相似度计算方法。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图2为根据本申请实施例中的相似度计算系统的框架图，包括：
第一数据判断单元11：对特征数据类型进行判断；
数据转化单元12：若所述特征数据为字符串，将所述特征数据转化为数字；
第二数据判断单元13：对所述特征数据中的数字占比进行判断；
质心计算单元14：根据所述特征数据中数字的占比选定质心；
相似度计算单元15：使用相对距离计算方式计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000082
其中，x为质心，y为目标向量。
对于字符串，可采用一定的编码规则(如ASCII编码等)，将字符转化为数字，然后分析其分布特征，构建其质心点。
某个数字在整个统计量中占比较大时，可采用重复次数较多的数值(即，众数)作为整个统计量的计算质心。其中，所述质心计算单元14包括：若所述特征数据中的数字占比大于等于0.5，则选定所述特征数据中的众数为质心。
对于其他的情况可采用平均值计算的方式进行质心向量的计算。其中，所述质心计算单元14包括：若所述特征数据中的数字占比小于0.5，则计算所述特征数据的平均值作为质心。
本发明实施例在相似度计算的过程中主要采用自定义的相似度距离计算方案，此方案对原本欧式距离的计算过程，进行了改进，避免了由于某些特征值整体过大，而很容易产生较大的差值，导致在计算过程中削弱了其他特征值较小的维度(与质心点的差值也相对较小)对于整体结果的影响。因此，本发明实施例对相似度的计算过程改进如下：
使用欧式距离计算特征相似度的过程，主要是通过计算特征向量与质心在各个维度上的差值，然后对各个差值求平方和，公式为
Figure BDA0002737551780000091
其中，x为质心，y为目标向量。
在本发明实施例的相似度距离的计算过程中，为了解决因某特征整体数值过大，而产生的差值整体较大，削弱在相似度距离计算过程中对整体数值较小，产生的差值整体分布也较小的特征的情况。所以，本发明实施例在距离的计算过程中，采用相对距离的方式代替绝对距离，削弱不同分布的差异对结果的影响。其中，所述相似度计算单元15进一步包括：使用相对距离计算方式计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000092
其中，x为质心，y为目标向量。
此外，通过对特征数据的分析，为了体现不同特征的对目标任务的影响程度，本发明的相似度计算过程中需首先对特征数进行评估，根据目标任务给每个特征一个系数，用以标记特征对目标任务的重要程度。所以相似度计算单元15进一步包括：
评估单元，评估所述特征数据的重要程度得到特征系数；
相似度获取步骤，根据所述特征系数计算所述质心与目标向量之间的距离，公式为
Figure BDA0002737551780000101
其中，λ为特征系数，x为质心，y为目标向量。
需要说明的是，上述各个单元可以是功能单元也可以是程序单元，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的单元而言，上述各个单元可以位于同一处理器中；或者上述各个单元还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例一种相似度计算方法可以由电子设备来实现。图3为根据本申请实施例的电子设备的硬件结构示意图。
计算机设备可以包括处理器21以及存储有计算机程序指令的存储器22。
具体地，上述处理器21可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器22可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器22可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器22可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器22可在数据处理装置的内部或外部。在特定实施例中，存储器22是非易失性(Non-Volatile)存储器。在特定实施例中，存储器22包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器22可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器21所执行的可能的计算机程序指令。
处理器21通过读取并执行存储器22中存储的计算机程序指令，以实现上述实施例中的任意一种相似度计算方法。
在其中一些实施例中，计算机设备还可包括通信接口23和总线20。其中，如图2所示，处理器21、存储器22、通信接口23通过总线20连接并完成相互间的通信。
通信端口23可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线20包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线20包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线20可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线20可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以执行本申请实施例中的一种相似度计算方法。
另外，结合上述实施例中的一种相似度计算方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种相似度计算方法。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种相似度计算方法，其特征在于，包括：
第一数据判断步骤：对特征数据类型进行判断；
数据转化步骤：若所述特征数据为字符串，将所述特征数据转化为数字；
第二数据判断步骤：对所述特征数据中的数字占比进行判断；
质心计算步骤：根据所述特征数据中数字的占比选定质心；
相似度计算步骤：计算所述质心与目标向量之间的距离，得出相似度。
2.如权利要求1所述的相似度计算方法，其特征在于，所述质心计算步骤包括：若所述特征数据中的数字占比大于等于0.5，则选定所述特征数据中的众数为质心。
3.如权利要求1所述的相似度计算方法，其特征在于，所述质心计算步骤包括：若所述特征数据中的数字占比小于0.5，则计算所述特征数据的平均值作为质心。
4.如权利要求1所述的相似度计算方法，其特征在于，所述相似度计算步骤进一步包括：使用相对距离计算方式计算所述质心与目标向量之间的距离，公式为
Figure FDA0002737551770000011
其中，x为质心，y为目标向量。
5.如权利要求1所述的相似度计算方法，其特征在于，所述相似度计算步骤进一步包括：
评估步骤，评估所述特征数据的重要程度得到特征系数；
相似度获取步骤，根据所述特征系数计算所述质心与目标向量之间的距离，公式为
Figure FDA0002737551770000012
其中，λ为特征系数，x为质心，y为目标向量。
6.一种相似度计算系统，其特征在于，包括：
第一数据判断单元：对特征数据类型进行判断；
数据转化单元：若所述特征数据为字符串，将所述特征数据转化为数字；
第二数据判断单元：对所述特征数据中的数字占比进行判断；
质心计算单元：根据所述特征数据中数字的占比选定质心；
相似度计算单元：使用相对距离计算方式计算所述质心与目标向量之间的距离，公式为
Figure FDA0002737551770000021
其中，x为质心，y为目标向量。
7.如权利要求6所述的相似度计算系统，其特征在于，所述质心计算单元包括：若所述特征数据中的数字占比大于等于0.5，则选定所述特征数据中的众数为质心；若所述特征数据中的数字占比小于0.5，则计算所述特征数据的平均值作为质心。
8.如权利要求7所述的相似度计算系统，其特征在于，所述相似度计算单元进一步包括：
评估单元，评估所述特征数据的重要程度得到特征系数；
相似度获取单元，根据所述特征系数计算所述质心与目标向量之间的距离，公式为
Figure FDA0002737551770000022
其中，λ为特征系数，x为质心，y为目标向量。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的一种相似度计算方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的一种相似度计算方法。
CN202011138623.7A 2020-10-22 2020-10-22 一种相似度计算方法、系统、电子设备及存储介质 Pending CN112214535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011138623.7A CN112214535A (zh) 2020-10-22 2020-10-22 一种相似度计算方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011138623.7A CN112214535A (zh) 2020-10-22 2020-10-22 一种相似度计算方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112214535A true CN112214535A (zh) 2021-01-12

Family

ID=74056387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011138623.7A Pending CN112214535A (zh) 2020-10-22 2020-10-22 一种相似度计算方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112214535A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344104A (zh) * 2021-06-23 2021-09-03 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394546A (zh) * 2007-09-17 2009-03-25 华为技术有限公司 视频目标轮廓跟踪方法及装置
CN103020122A (zh) * 2012-11-16 2013-04-03 哈尔滨工程大学 一种基于半监督聚类的迁移学习方法
CN105320968A (zh) * 2015-11-19 2016-02-10 电子科技大学 一种质心分类器的改进方法
CN111209347A (zh) * 2018-11-02 2020-05-29 北京京东尚科信息技术有限公司 一种混合属性数据聚类的方法和装置
CN111209447A (zh) * 2019-02-27 2020-05-29 山东大学 一种基于音形码的中文字符串相似度计算方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394546A (zh) * 2007-09-17 2009-03-25 华为技术有限公司 视频目标轮廓跟踪方法及装置
CN103020122A (zh) * 2012-11-16 2013-04-03 哈尔滨工程大学 一种基于半监督聚类的迁移学习方法
CN105320968A (zh) * 2015-11-19 2016-02-10 电子科技大学 一种质心分类器的改进方法
CN111209347A (zh) * 2018-11-02 2020-05-29 北京京东尚科信息技术有限公司 一种混合属性数据聚类的方法和装置
CN111209447A (zh) * 2019-02-27 2020-05-29 山东大学 一种基于音形码的中文字符串相似度计算方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岑咏华;王晓蓉;吉雍慧;: "一种基于改进K-means的文档聚类算法的实现研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344104A (zh) * 2021-06-23 2021-09-03 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109873812B (zh) 异常检测方法、装置及计算机设备
CN109271611B (zh) 一种数据校验方法、装置及电子设备
US9069634B2 (en) Signature representation of data with aliasing across synonyms
CN110034921A (zh) 基于带权模糊hash的webshell检测方法
CN112214535A (zh) 一种相似度计算方法、系统、电子设备及存储介质
CN111639493A (zh) 一种地址信息标准化方法、装置、设备及可读存储介质
CN113408804B (zh) 窃电行为检测方法、系统、终端设备及存储介质
CN111177719A (zh) 地址类别判定方法、装置、计算机可读存储介质及设备
CN113992625B (zh) 域名源站探测方法、系统、计算机及可读存储介质
CN111556042B (zh) 恶意url的检测方法、装置、计算机设备和存储介质
CN113630389B (zh) 用户异常行为识别方法、系统、电子设备及存储介质
CN115452101A (zh) 一种仪表检定方法、装置、设备及介质
CN114251075B (zh) 基于多目标参数的储层开采方案确定方法、装置及设备
CN109508247B (zh) 定位内存错误发生位置的方法、系统、及电子设备
CN113901616A (zh) 一种零件的搜索方法和系统
CN111325215B (zh) 图像局部特征描述方法、装置、设备及介质
JP2014206382A (ja) 目標類識別装置
CN110046180B (zh) 一种用于定位相似实例的方法、装置和电子设备
US20190095483A1 (en) Search apparatus, storage medium, database system, and search method
CN112348055A (zh) 一种聚类评估度量方法、系统、装置和存储介质
CN112698877A (zh) 数据处理方法及系统
CN113299345B (zh) 病毒基因分类的方法、装置及电子设备
CN110647449A (zh) 一种Linpack性能测试优化的方法及装置
CN112149703A (zh) 基于烟花算法的聚类方法和装置
CN117214766B (zh) 一种移动电源故障检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination