CN110309040B - 一种基于功能相似度的api推荐结果评估方法 - Google Patents

一种基于功能相似度的api推荐结果评估方法 Download PDF

Info

Publication number
CN110309040B
CN110309040B CN201910502776.6A CN201910502776A CN110309040B CN 110309040 B CN110309040 B CN 110309040B CN 201910502776 A CN201910502776 A CN 201910502776A CN 110309040 B CN110309040 B CN 110309040B
Authority
CN
China
Prior art keywords
api
similarity
apis
recommended
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910502776.6A
Other languages
English (en)
Other versions
CN110309040A (zh
Inventor
李必信
韩伟娜
孔祥龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910502776.6A priority Critical patent/CN110309040B/zh
Publication of CN110309040A publication Critical patent/CN110309040A/zh
Application granted granted Critical
Publication of CN110309040B publication Critical patent/CN110309040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于功能相似度的API(Application Programming Interface,应用程序编程接口)推荐结果评估方法,针对推荐结果是API集合的情况,通过名称相似度、API注释相关性以及API的调用图相似度三个维度来度量推荐API与正确API的功能相似度,并根据此相似度来评估API推荐系统的推荐结果集合的贡献值,利用此贡献值代替传统评估方法中的“0”或“1”,计算推荐结果正确性,使得正确性的评估更加精确,贴近人为评价结果。

Description

一种基于功能相似度的API推荐结果评估方法
技术领域
本发明涉及评估方法,具体涉及一种基于功能相似度的API推荐结果评估方法,属于API推荐的结果评估技术领域。
背景技术
API(Application Programming Interface,即应用程序编程接口)推荐是代码推荐领域的一个重要部分,其情境是根据一句描述或者上下文来推荐开发者想要的API,于一次推荐,某些系统的推荐结果是一个API集合。评价推荐结果时,正确性往往是用户最关心的性能。计算正确性的指标有精度(precision),召回率(recall)等,但是这些指标的计算中,传统方法都是将推荐结果与正确结果进行比对,如果完全一样则记为1,否则记为0。但是这样的判断方法存在着问题:与参考正确结果不一致的推荐并不一定是错的,相反,推荐结果依然可能对于程序员的编程具有贡献。针对这一问题,本发明考虑通过多维度计算推荐结果集合与正确结果集合的相似性来评估推荐结果的正确性,使得指标的计算结果更加精确。
发明内容
本发明正是针对现有技术中存在的问题,提供一种计算两个API集合的相似度计算方法,并将此方法用在API推荐结果的正确性评估中,使得对于API推荐结果的正确性评估更加精确。
为了实现上述目的,本发明的技术方案如下,一种基于功能相似度的API推荐结果评估方法,包括如下步骤:
步骤1)在需要推荐API的情境下执行推荐系统,得到一次推荐结果API集合T,并获取该情境下正确API集合R;
步骤2)将推荐API集合T与正确API集合R中的API两两进行功能相似度计算,得到相似性矩阵S;
步骤3)处理相似性矩阵S,去除推荐API的最相似API重复对应一个正确API的情况,得到每个推荐API的贡献值d(0<=d<=1);
步骤4)用推荐API的贡献值d代替传统的定性值0和1,计算推荐结果T的正确性(用精度、召回率等指标来衡量)。
上述方法中,步骤2)中两两计算API(API1、API2)功能相似度Sim的方法为:
(a)计算两个API(API1、API2)之间的名称相似度SimName
公式:
SimName=1-(cm/l);
其中,cm指API1变成API2所需要的修改次数;l指API1和API2中较长的字符串长度;
需要指出的是,若两个API名称相似度为100%(即推荐API与正确API完全一致),则不需要计算下面两个维度的相似度,两个API功能相似度Sim为1;
(b)计算两个API代码的注释相关性SimComment。提取API注释Comment1以及API2注释Comment2,若Comment1中有@see标签且链接到API2或者Comment2中有@see标签且链接到API1,则两者有注释相关性,相关性为100%,否则注释相关性为0;
(c)计算两个API的调用图相似度SimCall。如果两个API在代码实现上有直接或间接调用关系,或者两个API调用了同样的底层API,则说明两个API功能上有一定相似性,具体相似程度用两个调用图的重合度反映,可根据以下公式计算:
公式:
SimCall=cc/ca;
其中,cc指API1和API2调用图的重合API个数,ca指API1和API2调用图规模(用API总个数表示)之积;
(d)对以上三个维度的相似度求平均值,即为两个API的相似度Sim(名称相似度为100%的情况除外)。
上述方法中,步骤3)中得到每个推荐API的贡献值d的方法为:假定推荐API集合T中共有m个元素,正确API集合R中共有n个元素,则相似性矩阵S为m行n列:
(a)找到每一行的最大值,最大值所对应的正确API即为该推荐API最相似的正确API;
(b)检查这m个推荐API所对应的正确API,如果有多个推荐API最相似的正确API为同一个,则只保留这多个对应中相似值最大的一个,其余的相似值置为0。如此处理得到的最终相似值即为各个推荐API的贡献值d。
相对于现有技术,本发明具有如下优点,本发明将API的相似度引入API推荐结果正确性的评价中,具体优点如下:
(1)增加了API推荐结果的区分度,对单个API的正确性判断加入了多个维度的判断,使得传统方法中被判断为“错误”的推荐结果有了优劣之分,在传统计算方法下正确性指标一样的两个推荐结果中,与正确结果相似的推荐结果在新的评价方法中会有更高的合理得分,这使得推荐结果的评估精度提高;
(2)推荐结果可以更精准地反馈到推荐过程中,应用本发明的评价方法可以对推荐结果的贡献有一个更加精准的定量衡量,反馈到推荐过程中可以推动推荐过程的优化;
(3)评价结果更加符合人为评价结果,实现某个功能的API可能不只有一个,因此正确结果也可能不只有一种。本发明将功能相似度加入到推荐结果评价中,评价指标得分高的与正确结果更为相似,这种相似的推荐结果对于程序开发人员也有一定的贡献。
附图说明
图1是本发明方法的流程图。
图2是Sets.newHashSet()与Maps.newHashMap()的调用关系图。
具体实施方式:
为了加深对本发明的理解,下面结合附图对本实施例做详细的说明。
实施例1:参见图1,本发明针对传统的API推荐结果正确性评价方法中非0即1的方式,提出了基于API功能相似度的推荐结果正确性评估技方法。从三个维度计算两个API的相似度,从而得到一个推荐API的贡献度(在0到1之间)。而且在此基础上,在整个推荐API集合的结果的正确性计算上给出了计算方法。
体系结构:图1给出了基于功能相似度的API推荐结果评估技术的设计体系结构,下面给出两个主要部分的具体说明。
1、两个API(API1、API2)功能相似度Sim的计算;
本模块的功能为:通过三个维度的相似度比较,计算两个API的功能相似度Sim,为了说明方便,假设两个API为API1和API2。
公式:
Sim=(SimName+SimComment+SimCall)/3
其中,SimName为两个API的名称相似度,SimComment为两个API的注释相关性,SimCall为两个API的调用图相似度。
其中,名称相似度、代码注释相关性、调用图相似度计算方式如下:
(1)API1、API2之间的名称相似度SimName
公式:
SimName=1-(cm/l)
其中,cm指API1变成API2所需要的修改次数;l指API1和API2中较长的字符串长度。修改次数是指API1变成API2需要变换的次数,包括加字符、减字符以及替换字符的次数,字符串长度以API1和API2中较长的为准。名称相似度度量了两个API名称的相似程度。相比于其他的方法(例如求最长公共字串),此方法求得的相似度更加具有普遍意义。
若两个API名称相似度为100%(即推荐API与正确API完全一致),则不用计算下面两个维度,两个API功能相似度为1。
(2)API1、API2之间的代码注释相关性SimComment
经过调查发现开源代码库中的API注释中一般会有@see注释。在源码中,某个API的注释中,@see后跟的API与主API的关系有以下两种情况:
(a)功能相近;
(b)经常一起使用。
若API1的注释中@see后有API2或者API2的注释中@see后有API1,则认为API1与API2注释相关性为100%,否则为0。
(3)API1、API2之间的调用图相似度SimCall
如果API1和API2在实现上有直接或间接调用关系,或者两个API调用了同样的底层API3,则说明两个API相似,具体相似程度根据被调用函数占全部被调用函数的比例计算得出。API1与API2的调用关系相似度SimCall计算公式如下:
(a)API1直接或者间接调用了API2:
SimCall=API2个数/API1所有调用函数个数;
(b)API1与API2都调用了API3:
SimCall=(API3个数/API1所有调用函数个数)*(API3个数/API2所有调用函数个数)。
2、两个API集合的相似度计算;
在上述方法中,计算了两个API之间的功能相似度Sim。API推荐系统的推荐结果往往是多个API的集合,为了计算该推荐API集合与正确API集合之间的功能相似度,本发明采用的方法为(假定推荐API集合为T{T1,T2,T3,T4…Tm},正确API集合为R{R1,R2,R3,R4…Rn}):
(1)将T1~Tm与R1~Rn两两进行功能相似度计算,得到m*n相似性矩阵S:
其中Sij(1<i<m,1<j<n)表示Ti与Rj的相似度。
(2)在m行中,取每一行中的最大值作为推荐结果T1~Tm的相似值,得到以下映射:
T1…S1x…Rx
T2…S2x…Rx
T3…S3x…Rx
Tm…Smx…Rx
其中,x为1~n的变量,x是最大值对应的正确API的下标。Six即为Si1~Sin中的最大值。(3)若m个Rx中有p个重复(即p个推荐API与同一个正确API最为相似),则只保留这p个相似值中最大的那个值,其余相似数值变为0。将m个推荐API的最终相似数值作为每个API的贡献度d。
具体实施方法:参见图1,一种基于功能相似度的API推荐结果评估方法,包括如下步骤:
步骤1)在需要推荐API的情境下执行推荐系统,得到一次推荐结果API集合T,并获取该情境下正确API集合R;
步骤2)将推荐API集合T与正确API集合R中的API两两进行相似度比较,得到相似性矩阵S:
(a)计算两个API(API1、API2)之间的名称相似度SimName
公式:SimName=1-(cm/l);
其中,cm指API1变成API2所需要的修改次数;l指API1和API2中较长的字符串长度;
需要指出的是,若两个API名称相似度为100%(即推荐API与正确API完全一致),则不需要计算下面两个维度的相似度,两个API功能相似度Sim为1;
(b)计算两个API代码的注释相关性SimComment。提取API注释Comment1以及API2注释Comment2,若Comment1中有@see标签且链接到API2或者Comment2中有@see标签且链接到API1,则两者有注释相关性,相关性为100%,否则注释相关性为0;
(c)计算两个API的调用图相似度SimCall。如果两个API在代码实现上有直接或间接调用关系,或者两个API调用了同样的底层API,则说明两个API功能上有一定相似性,具体相似程度用两个调用图的重合度反映,可根据以下公式计算:
公式:
SimCall=cc/ca;
其中,cc指API1和API2调用图的重合API个数,ca指API1和API2调用图规模(用API总个数表示)之积;
(d)对以上三个维度的相似度求平均值,即为两个API的相似度Sim(名称相似度为100%的情况除外);
步骤3)处理相似性矩阵S,去除推荐API的最相似API重复对应一个正确API的情况,得到每个推荐API的贡献值d(0<=d<=1)。(假定推荐API集合T中共有m个元素,正确API集合R中共有n个元素,则相似性矩阵S为m行n列):
(a)找到每一行的最大值,最大值所对应的正确API即为该推荐API最相似的正确API;
(b)检查这m个推荐API所对应的正确API,如果有多个推荐API最相似的正确API为同一个,则只保留这多个对应中相似值最大的一个,其余的相似值置为0。如此处理得到的最终相似值即为各个推荐API的贡献值d;
步骤4)用推荐API的贡献值d代替传统的定性值0和1,计算推荐结果T的正确性(用精度、召回率等指标来衡量)。
应用实施例:
为了方便描述,我们假定有如下简化的应用实例:推荐API集合与正确API集合如下所示:
推荐结果集合T:
T1:LogFactory.getLog
T2:Iterables.getOnlyElement
T3:Lists.newArrayList
T4:Iterables.size
T5:Sets.newHashSet
正确结果集合R:
R1:LoggerFactory.getLogger
R2:Iterables.getOnlyElement
R3:Lists.newArrayList
R4:Maps.newHashMap
R5:Iterables.addAll
R6:Iterables.removelf
根据我们前面提到的计算步骤,依次实施:
第一步,得到一次推荐结果的API集合T和正确API集合R。
第二步,将推荐API集合T与正确API集合R中的API两两进行相似度比较(下面以Sets.newHashSet与Maps.newHashMap为例):
首先,计算名称相似度。根据公式名称相似度=1-(修改次数/字符串长度)计算得到Sets.newHashSet与Maps.newHashMap的名称与相似度为:1-(6/15)=60%。
其次,计算注释相关性。在Sets.newHashSet与Maps.newHashMap的注释中,并没有出现对方的@see链接,所以两者注释相关性为0。
接着,计算调用图相似度。图2为Sets.newHashSet()与Maps.newHashMap()的调用关系图。
两者都调用了HashMap()这一个API,根据公式:调用关系相似度=(API3个数/API1所有调用函数个数)*(API3个数/API2所有调用函数个数)可得两个API的调用关系相似度为:(1/3)*(1/1)=33.3%。
最后,综合以上三步的计算结果。Sets.newHashSet与Maps.newHashMap的功能相似度为:31.1%。
按此方法计算其余API的相似度,得到相似性矩阵。本例中推荐结果的相似性矩阵S为:
第三步,处理相似性矩阵S,去除推荐API的最相似API重复对应一个正确API的情况,得到每个推荐API的贡献值d(0<=d<=1)。
首先,找到每行的最大值作为每个推荐API的相似值,如表中所示,加粗的值即为每行中最大的值。
推荐结果T1~T5的相似值以及其对应正确API为:
T1…21.6%...R1
T2…1…R2
T3…1…R3
T4…19%...R5
T5…32.6%...R4
接着,去除对应相同正确API的较小相似值,得到最终推荐API的贡献值d。本例中没有多个推荐API对应同一个正确API的情况,所以推荐结果的最终贡献值为:
T1d:21.6%
T2d:1
T3d:1
T4d:19%
T5d:32.6%
第四步,计算推荐结果正确性。
本例中,precision(精度)为(推荐的正确比重):
(T1d+T2d+T3d+T4d+T5d)/5=54.6%。
Recall(召回率)为(所有正确结果被推荐的比重):
(T1d+T2d+T3d+T4d+T5d)/6=45.5%。
需要说明的是上述实施例,并非用来限定本发明的保护范围,在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。

Claims (2)

1.一种基于功能相似度的API推荐结果评估方法,其特征在于,所述方法包括以下步骤:
步骤1)在需要推荐API的情境下执行推荐系统,得到一次推荐结果API集合T,并获取该情境下正确API集合R;
步骤2)将推荐API集合T与正确API集合R中的API两两进行功能相似度计算,得到相似性矩阵S;
步骤3)处理相似性矩阵S,去除推荐API的最相似API重复对应一个正确API的情况,得到每个推荐API的贡献值d;
步骤4)用推荐API的贡献值d代替传统的定性值0和1,计算推荐结果API集合T的正确性;
所述步骤2)中计算两个API即API1和API2功能相似度Sim的方法为:
(a)计算两个API即API1和API2之间的名称相似度SimName
公式:
SimName=1-(cm/l);
其中,cm指API1变成API2所需要的修改次数;l指API1和API2中较长的字符串长度;
若两个API名称相似度为100%,即推荐API与正确API完全一致,则不需要计算下面两个维度的相似度,两个API功能相似度Sim为1;
(b)计算两个API代码的注释相关性SimComment;提取API注释Comment1以及API2注释Comment2,若Comment1中有@see标签且链接到API2或者Comment2中有@see标签且链接到API1,则两者有注释相关性,相关性为100%,否则注释相关性为0;
(c)计算两个API的调用图相似度SimCall;如果两个API在代码实现上有直接或间接调用关系,或者两个API调用了同样的底层API,则说明两个API功能上有一定相似性,具体相似程度用两个调用图的重合度反映,根据以下公式计算:
公式:
SimCall=cc/ca;
其中,cc指API1和API2调用图的重合API个数,ca指API1和API2调用图规模之积,调用图规模用API总个数表示;
(d)对以上三个维度的相似度求平均值,即为两个API的相似度Sim,名称相似度为100%的情况除外;
所述步骤3)中得到每个推荐API的贡献值d的方法为:假定推荐API集合T中共有m个元素,正确API集合R中共有n个元素,则相似性矩阵S为m行n列:
(a)找到每一行的最大值,最大值所对应的正确API即为该推荐API最相似的正确API;
(b)检查这m个推荐API所对应的正确API,如果有多个推荐API最相似的正确API为同一个,则只保留这多个对应中相似值最大的一个,其余的相似值置为0,如此处理得到的最终相似值即为各个推荐API的贡献值d。
2.根据权利要求1所述的基于功能相似度的API推荐结果评估方法,其特征在于,所述每个推荐API的贡献值d的范围:0<=d<=1。
CN201910502776.6A 2019-06-11 2019-06-11 一种基于功能相似度的api推荐结果评估方法 Active CN110309040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502776.6A CN110309040B (zh) 2019-06-11 2019-06-11 一种基于功能相似度的api推荐结果评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502776.6A CN110309040B (zh) 2019-06-11 2019-06-11 一种基于功能相似度的api推荐结果评估方法

Publications (2)

Publication Number Publication Date
CN110309040A CN110309040A (zh) 2019-10-08
CN110309040B true CN110309040B (zh) 2024-01-12

Family

ID=68075838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502776.6A Active CN110309040B (zh) 2019-06-11 2019-06-11 一种基于功能相似度的api推荐结果评估方法

Country Status (1)

Country Link
CN (1) CN110309040B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160403B (zh) * 2019-12-09 2023-09-26 青岛聚好联科技有限公司 一种api接口复用发现的方法及装置
CN114860918A (zh) * 2022-05-25 2022-08-05 重庆邮电大学 一种融合多源可靠信息的移动应用推荐方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040040017A1 (en) * 2002-08-22 2004-02-26 International Business Machines Corporation Method and apparatus for automatically determining optimum placement of privileged code locations in existing code
US20130018795A1 (en) * 2011-07-15 2013-01-17 Kolhatkar Jayashree S Multi-Channel Data Driven, Real-Time Fraud Determination System For Electronic Payment Cards
CN104156467A (zh) * 2014-08-22 2014-11-19 北京智谷睿拓技术服务有限公司 Api推荐方法及api推荐装置
CN105354327A (zh) * 2015-11-26 2016-02-24 中山大学 一种基于大数据分析的接口api推荐方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040040017A1 (en) * 2002-08-22 2004-02-26 International Business Machines Corporation Method and apparatus for automatically determining optimum placement of privileged code locations in existing code
US20130018795A1 (en) * 2011-07-15 2013-01-17 Kolhatkar Jayashree S Multi-Channel Data Driven, Real-Time Fraud Determination System For Electronic Payment Cards
CN104156467A (zh) * 2014-08-22 2014-11-19 北京智谷睿拓技术服务有限公司 Api推荐方法及api推荐装置
CN105354327A (zh) * 2015-11-26 2016-02-24 中山大学 一种基于大数据分析的接口api推荐方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合多维信息的主题自适应Web API推荐方法;李鸿超等;《软件学报》;20171206;第3374-3387页 *

Also Published As

Publication number Publication date
CN110309040A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN111382255B (zh) 用于问答处理的方法、装置、设备和介质
CN107103048B (zh) 药品信息匹配方法及系统
CN110309040B (zh) 一种基于功能相似度的api推荐结果评估方法
US10140336B1 (en) Accuracy testing of query optimizers
CN113407536B (zh) 表数据的关联方法、装置、终端设备及介质
US20230273973A1 (en) Method and device for homogenization conversion of same index detected by different equipment, and electronic equipment
Sun et al. Effectiveness of exploring historical commits for developer recommendation: an empirical study
CN111723097A (zh) 应用程序接口配置方法、装置、计算机设备和存储介质
CN111177356A (zh) 一种酸碱指标医疗大数据分析方法及系统
CN110648764A (zh) 一种获取临床数据预测模型的方法、装置、可读介质及电子设备
CN112613741A (zh) 一种空间数据质检结果人工复核记录自动继承方法、电子设备、存储介质
CN103019943A (zh) 一种面向失败测试用例稀少情况的软件错误定位方法
CN110827934B (zh) 一种crf的监查方法及装置
CN116705310A (zh) 围术期风险评估的数据集构建方法、装置、设备及介质
Detwiler et al. Integrating and ranking uncertain scientific data
WO2018209704A1 (zh) 基于dna测序数据的样本来源检测方法、装置和存储介质
CN116368577A (zh) 基于测试结果水平的分析
CN114330534A (zh) 设备屏幕透图检测模型训练方法及设备屏幕透图检测方法
CN117349358B (zh) 基于分布式图处理框架的数据匹配与合并的方法和系统
Alic et al. Muffinec: Error correction for de novo assembly via greedy partitioning and sequence alignment
Stephens et al. Measuring the mappability spectrum of reference genome assemblies
CN111199148A (zh) 文本相似度确定方法、装置、存储介质和电子设备
CN111339068B (zh) 众包质量控制方法、装置、计算机存储介质和计算设备
CN117493642B (zh) 相似电子病历检索方法、装置、终端及存储介质
CN113111075B (zh) 投融资信息挖掘方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant