CN117493210A - 微服务工具评价方法及系统 - Google Patents

微服务工具评价方法及系统 Download PDF

Info

Publication number
CN117493210A
CN117493210A CN202311591104.XA CN202311591104A CN117493210A CN 117493210 A CN117493210 A CN 117493210A CN 202311591104 A CN202311591104 A CN 202311591104A CN 117493210 A CN117493210 A CN 117493210A
Authority
CN
China
Prior art keywords
evaluation
micro
information
service tool
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311591104.XA
Other languages
English (en)
Inventor
柴剑平
董琪
赵薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyi Instec Technology Co ltd
Communication University of China
Original Assignee
Zhongyi Instec Technology Co ltd
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyi Instec Technology Co ltd, Communication University of China filed Critical Zhongyi Instec Technology Co ltd
Priority to CN202311591104.XA priority Critical patent/CN117493210A/zh
Publication of CN117493210A publication Critical patent/CN117493210A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种微服务工具评价方法及系统,属于人工智能技术领域,获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,所述基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;根据各个微服务工具的所述基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价;基于各个微服务工具的评价,判定并推荐评价最高的微服务工具;本发明可以获得更加全面的评价结果,进而达到给予用户更加精准的微服务工具推荐结果的技术效果。

Description

微服务工具评价方法及系统
技术领域
本发明属于人工智能技术领域,具体涉及一种微服务工具评价方法、系统、电子设备以及存储介质。
背景技术
微服务是一种架构风格,一个大型复杂软件应用由一个或多个微服务组成。系统中的各个微服务可被独立部署,各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并很好地完成该任务。在所有情况下,每个任务代表着一个小的业务能力,也就是说,微服务是一种将应用程序拆分为小型、独立且自治的服务单元的架构风格,每个服务单元专注于特定的业务功能,且通过API进行通信;这种架构有助于提高应用的可伸缩性、可维护性和灵活性,使架构能够更快速地进行开发、部署和管理。
随着微服务架构在企业中广泛应用,在复杂业务场景中甚至会需要用到几十种微服务工具。用户如何筛选合适的微服务工具成了亟待解决的问题。现有的评价微服务工具的方法包括基于用户经验的主观评价方法,通过测量和统计方式将微服务工具的特征转化为具体数值进行分析和比较的客观评价方法。但是,存在的弊端如下:
1)主观评价容易受到测试环境、个人背景和主观偏见等的影响,不同评价者、不同时间、地点,可能有不同的评判标准和结果,导致评价的不一致性和不可靠性;2)现有的客观评价方法侧重于利用用户对工具的评价数据进行操作,但缺少平台对微服务工具的客观测评数据以及开发者的资源数据的支持,导致评价结果不够全面。
因此,亟需一种高效的微服务工具评价方法。
发明内容
本发明提供一种微服务工具评价方法、系统、电子设备以及存储介质,用以克服现有技术中存在的至少一个技术问题。
为实现上述目的,本发明提供一种微服务工具评价方法,方法包括:
获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;互动效能评价的获取方法包括,对所获取的互动信息进行预处理以及文本特征提取;利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取互动信息的情感值评价;基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价;
根据各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价;
基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
进一步,优选的,基于工具性能参数的评价信息的获取方法包括:
根据所获取的微服务工具的工具性能参数的信息,获取微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价;
对所获取的微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价分别进行归一化处理;
利用归一化处理后的微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价,获取基于工具性能参数的评价信息。
进一步,优选的,对所获取的微服务工具对应的负载容量进行归一化处理通过以下方式获取:
其中,x为负载容量原始数据;x′是负载容量归一化处理后的数据;Tcapacity_min为所有微服务工具对应的负载容量数据中的最小值;Tcapacity_max为所有微服务工具对应的负载容量数据中的最大值。
进一步,优选的,所述信息质量评价通过信息完整度评价、信息清晰度评价和信息可获得性评价获取。
进一步,优选的,完整性评价指标包括,工具名称和描述、所支持的编程语言和平台、功能特点、文档、教程和使用示例;
清晰度评价指标包括,标题、段落、子节、编号、图表和图像;
可获得性评价指标包括,在线发布、直接下载链接、多渠道访问、搜索功能和兼容性。
进一步,优选的,信息质量评价的获取方法包括:
对所获取的微服务工具对应的开发者发布内容信息进行清洗预处理;
基于完整性评价指标,获取预处理后的开发者发布内容信息的完整性评价;开发者发布内容信息的基于可获得性评价指标,获取开发者发布内容信息的可获得性评价;基于清晰度评价指标,获取开发者发布内容信息的清晰度评价;
根据完整性评价、可获得性评价和清晰度评价,获得信息质量评价。
进一步,优选的,互动信息评价模型为利用问句数据集训练后获得;其中,问句数据集通过基于问句形式特征集的有限状态自动机获取;问句形式特征集中包括语气词特征、疑问代词特征、疑问格式特征、语气副词特征和补充特征。
为了解决上述问题,本发明还提供一种微服务工具评价系统,系统包括:
信息获取单元,用于获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;互动效能评价的获取方法包括,对所获取的互动信息进行预处理以及文本特征提取;利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取互动信息的情感值评价;基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价;
评价获取单元,用于根据各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价;
推荐单元,用于基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的微服务工具评价方法中的步骤。
为了解决上述问题,本发明还提供一种计算机可读存储介质,计算机可读存储介质中存储有至少一个指令,至少一个指令被电子设备中的处理器执行以实现上述的微服务工具评价方法。
本发明提供的微服务工具评价方法、系统、电子设备以及存储介质,通过获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息三个大维度的信息;具有如下有益效果:
1)通过将主观评价与客观评价相结合,解决了主观评价容易受到测试环境、个人背景和主观偏见等的影响,不同评价者、不同时间、地点,可能有不同的评判标准和结果,导致评价的不一致性和不可靠性的问题;
2)通过基于开发者发布内容的评价信息和基于工具性能参数的评价信息两个维度,解决现有的客观评价方法侧重于利用用户对工具的评价数据进行操作,但缺少平台对微服务工具的客观测评数据以及开发者的资源数据的支持,导致评价结果不够全面的问题;
3)获得更加全面的评价结果,进而给予用户更加精准的微服务工具推荐结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的微服务工具评价方法的流程示意图;
图2为本发明一实施例提供的微服务工具评价方法的原理示意图;
图3为本发明一实施例提供的微服务工具评价系统的模块示意图;
图4为本发明一实施例提供的实现微服务工具评价方法的电子设备的内部结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1和图2对微服务工具评价方法进行了整体性的描述。其中,图1为本发明一实施例提供的微服务工具评价方法的流程示意图,该方法可以由一个系统执行,该系统可以由软件和/或硬件实现;图2为本发明一实施例提供的微服务工具评价方法的原理示意图。
如图1所示,在本实施例中,微服务工具评价方法包括步骤S10~S30。
S10、获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,所述基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;所述互动效能评价的获取方法包括,对所获取的互动信息进行预处理以及文本特征提取;利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取所述互动信息的情感值评价;基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价。S20、根据各个微服务工具的所述基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价。S30、基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
如图2所示,评价体系分为基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息三部分。具体包括步骤S11~S13。
S11、首先要获取基于用户评价的评价信息。基于用户评价的评价信息包括两部分,一部分为用户对微服务工具的评星数据;另一部为用户对微服务工具的评论文本。
对于用户对微服务工具的评星数据而言,需要用户对工具评星数据预处理:将用户对工具的评星转化为用户对微服务工具的评星数值Ustar,具体实现方式可以为,一星映射到一分,五星映射到五分等。
另一部分,用户对微服务工具的评论文本进行预处理及文本特征提取,然后进行情感评分。
需要说明的是,获取各个微服务工具的各种评价信息的文本,并对文本进行预处理,具体可以清洗文本,可以包括去除停用词(如“的”、“了”等);去除无意义的标点符号;将文本分割成一个一个的词语;对同义词和一词多义的处理;去除低频次和高频词。可以人工筛选和标注,也可以引入正则化函数筛选文本;本发明所述的文本预处理,均可以采用上述方法实现,例如在获取互动效能评价过程中,对所获取的互动信息进行预处理也可以采用上述方法实现。在针对用户对微服务工具的评论文本进行预处理的环节,可以为去除用户评论中的重复评论、以及无关工具的评论,并同时删除其评星数据等。
对于预处理后的用户对微服务工具的评论文本进行文本特征提取;具体的步骤包括,建立词袋模型,统计每个词语在文本中出现的次数,得到词语的向量表示,或者将文本内容进行分析,提炼文本的主体内容,并将其转化为向量表示等。具体的实现方式可以为Word2Vec模型或Glove模型;本发明所述的文本预处理,均可以采用上述方法实现。例如,在获取互动效能评价过程中,对所预处理后的互动信息进行文本特征提取,也可以采用上述方法实现。
基于所提取的用户对微服务工具的评论文本的文本特征进行情感评分,获取用户对微服务工具的评论文本数值Ucomment。具体的实现方式为,建立评论情感分析数据集:从软件下载网站,如在苹果手机软件app store中,爬取评论文本,进行主观评价。建议每条标签评论语句不少于3000条。而文本情感强度分析模块功能可通过NLP模型(例,基于BERT的中文情感倾向分析库)实现。
通过以下公式,基于用户对微服务工具的评星数值Ustar和用户对微服务工具的评论文本数值Ucomment获得基于用户评价的评价信息Uscore
Uscore=λ1Ustar2Ucomment
其中,λ1和λ2分别为用户对微服务工具的评星和评论情感评分加权值;λ1+λ2=1。
S12、获取基于开发者发布内容的评价信息。
所述基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取。
所述信息质量评价Dinfo的获取方法包括:
S1211、对所获取的微服务工具对应的开发者发布内容信息进行清洗预处理。
S1212、基于完整性评价指标,获取预处理后的开发者发布内容信息的完整性评价;所述完整性评价指标包括,工具名称和描述、所支持的编程语言和平台、功能特点、文档、教程和使用示例。开发者发布内容信息的基于可获得性评价指标,获取所述开发者发布内容信息的可获得性评价;所述可获得性评价指标包括,在线发布、直接下载链接、多渠道访问、搜索功能和兼容性。基于清晰度评价指标,获取所述开发者发布内容信息的清晰度评价;所述清晰度评价指标包括,标题、段落、子节、编号、图表和图像。
具体地说,完整性评价将信息中所包含的必要信息的完整性进行评估,例如是否涵盖了所有必要的主题或关键要素,以得出一个完整性得分。示例性,完整性得分范围:将完整性得分映射到一个标准化的范围,例如0到5之间,表示数据完整性的程度,其中5表示完整性最高,0表示完整性最低。对于完整性评价指标,示例性说明如下:工具名称和描述为每个开发者工具都应该包括工具的名称、用途和主要功能的简要描述;支持的编程语言和平台为工具适用的编程语言、操作系统和开发平台的详细列表。功能特点为详细列出工具的各种功能,如代码编辑、调试、测试、性能优化等。文档和教程为提供工具的官方文档链接以及一些入门教程和学习资源。使用示例为提供一些实际的使用示例,演示工具如何解决开发中的问题。
清晰度评价为评估信息的结构和组织方式是否清晰易懂,例如标题、段落、子节、编号等的使用情况,以得出一个清晰度得分。示例性的,清晰度得分范围:将清晰度得分映射到一个标准化的范围,例如0到5之间,表示文档的清晰度,其中5表示清晰度最高,0表示清晰度最低。对于完整性评价指标,示例性说明如下:标题为使用明确简洁的标题来概括整个文档或每个主要部分,并给读者一个清晰的导航指引。段落为将相关信息组织成段落,并在段落之间留有适当的间距,以提高可读性和理解性。子节为在必要的情况下,使用子节标题来进一步细分主要部分,使读者更容易找到他们感兴趣的内容。编号为在列举或描述步骤、指南或重要要点时,使用编号来有效地传达信息的顺序和层次。图表和图像为使用清晰、易于理解的图表和图像来支持文字描述,帮助读者更好地理解和应用信息。
可获得性评价,评估用户获取信息的难易程度,例如信息的在线可用性、下载速度等,以得出一个可获得性得分。例如,可获得性得分范围:将可获得性得分映射到一个标准化的范围,例如0到5之间,表示文档的可获得性,其中5表示可获得性最高,0表示可获得性最低。可获得性评价指标,示例性的,在线发布可以为工具信息应该在易于访问的网站上发布,确保开发者可以轻松找到工具的详细信息。直接下载链接可以为提供明确的下载链接,使用户能够快速下载工具,而不需要在网站上搜索或导航。多渠道可访问可以为工具信息应该在不同的在线渠道可访问,如官方网站、开发者社区、GitHub等,以满足不同用户的偏好。搜索功能可以为在工具信息页面上提供搜索功能,使用户可以直接搜索关键词找到他们感兴趣的内容。兼容性可以为确保工具信息的网页在不同浏览器和设备上都能正常显示和访问,以保证用户体验的一致性。
S1213、根据所述完整性评价、可获得性评价和清晰度评价,获得所述信息质量评价Dinfo
所述互动效能评价Dinteractive的获取方法包括:
S1221、对所获取的互动信息进行预处理以及文本特征提取;
S1222、利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取所述互动信息的情感值评价。
需要说明的是,所述互动信息评价模型为利用问句数据集训练后获得;其中,所述问句数据集通过基于问句形式特征集的有限状态自动地获取;所述问句形式特征集中包括语气词特征、疑问代词特征、疑问格式特征、语气副词特征和补充特征。
具体地说,所述问句形式特征集中包括语气词特征、疑问代词特征、疑问格式特征、语气副词特征和补充特征。在具体的实施过程中,上述特征还可以细分为X1~X8共8个特征。具体地说,X1语气词,分类标准为是否有语气词“呢";X2语气词,分类标准为是否有语气词“吗,么、嘛,吧”;X3疑问代词,分类标准为含有什么、如何、哪、哪里、儿、谁、啥、为啥、何何不、为何、为什么、怎么、咋、干吗;X4疑问格式,分类标准为是非问:能愿动词加语气词;X5疑问格式分类标准为择问:X还是x;X6疑问格式,分类标准为正反间:X不XX不X没有X不成莫非、莫不是、难道、难不成、到底、何必、何须、何妨、何曾、何尝、何不、何苦;X7语气副词,分类标准为包含竟、岂;X8补充特征,分类标准为包含X3,X5,X6的补充特征。
示例性说明如下:含有疑问句的互动信息评价和未含有疑问句的评价,比如,含有疑问句即映射分数为1,否则为0。对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,区分出来是人工回答类型即映射分数为1,否则为0;使用NLP模型对开发者人工回复的文本进行情感分析,计算情感值;将情感值映射到0到5的标准化范围内,可以使用线性映射或其他合适的方法。例如,可以根据情感值的范围来设置映射规则。具体地说,对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定通过现有技术中的技术手段实现,例如Islam N,Sutradhar D,Noor H,et al.Distinguishing HumanGenerated Text From ChatGPT Generated Text Using Machine Learning[J].arXivpreprint arXiv:2306.01761,2023。
S1223、基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价Dinteractive
通过下述公式,所述基于开发者发布内容的评价信息Dscore通过信息质量评价Dinfo和互动效能评价Dinteractive获取。
Dscore=λ3Dfile4Dinteractive
其中,λ3和λ4分别为信息质量评价和互动效能评价的加权值;λ34=1。
S13、获取基于工具性能参数的评价信息。
所述基于工具性能参数的评价信息的获取方法包括:
S131、根据所获取的微服务工具的工具性能参数的信息,获取微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价。S132、对所获取的微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价分别进行归一化处理。
具体地说,响应时间Ttime为指系统对请求作出响应的时间。通常是从请求发出到收到响应的时间间隔。响应时间短意味着系统能够快速响应请求,提供更好的用户体验。在代码中,可以使用计时器或时间戳来测量请求开始和结束之间的时间差。使用性能分析工具或性能监控库,如Java应用程序使用的JProfiler、Java Flight Recorder等,来捕获和分析方法的执行时间。
对所获取的微服务工具对应的响应时间进行归一化处理通过以下方式获取:
其中,x为响应时间原始数据;x′是响应时间归一化处理后的数据;Tcapacity_min为所有微服务工具对应的响应时间数据中的最小值;Tcapacity_max为所有微服务工具对应的响应时间数据中的最大值。
吞吐量Tthroughput指系统在单位时间内能够处理的请求数量。吞吐量高表示系统具有较高的处理能力和并发性能,能够同时处理更多的请求。可以使用负载测试工具,如Apache JMeter、Gatling等,模拟并发请求并测量单位时间内处理的请求数量。在代码中,可以记录每个请求的处理时间戳,然后根据时间戳计算单位时间内的请求数量。
对所获取的微服务工具对应的吞吐量进行归一化处理通过以下方式获取:
其中,x为吞吐量原始数据;x′是吞吐量归一化处理后的数据;Tcapacity_min为所有微服务工具对应的吞吐量数据中的最小值;Tcapacity_max为所有微服务工具对应的吞吐量数据中的最大值。
负载容量Tcapacity指系统能够承受的并发请求数量或负载水平。负载容量的评价考虑系统在高负载情况下的稳定性和性能表现,以确定系统的可靠性和弹性。可以使用负载测试工具,在逐渐增加并发请求的情况下,观察系统的性能表现和资源利用情况,确定系统能够承受的最大负载。使用监控工具来监测系统资源的使用情况,如CPU利用率、内存占用等,以确定系统的负载容量。
对所获取的微服务工具对应的负载容量进行归一化处理通过以下方式获取:
其中,x为负载容量原始数据;x′是负载容量归一化处理后的数据;Tcapacity_min为所有微服务工具对应的负载容量数据中的最小值;Tcapacity_max为所有微服务工具对应的负载容量数据中的最大值。
并发性能Tconcurrency指系统在同时处理多个请求时的性能表现。评价并发性能通常涉及到并发请求的处理方式、资源管理、锁机制等方面的考量,以保证系统能够有效地处理并发请求而不降低性能。在代码中,可以使用并发编程的技术,如多线程或异步处理,以实现并发请求的处理。通过设置并发线程数或异步任务的并发数量,并观察系统的性能指标,可以评估并发性能。使用并发测试工具来模拟并发请求,并测量处理这些请求时系统的响应时间和吞吐量。
对所获取的微服务工具对应的并发性能进行归一化处理通过以下方式获取:
其中,x为并发性能原始数据;x′是并发性能归一化处理后的数据;Tcapacity_min为所有微服务工具对应的并发性能数据中的最小值;Tcapacity_max为所有微服务工具对应的并发性能数据中的最大值。
S133、利用归一化处理后的微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价,获取基于工具性能参数的评价信息Tscore
基于工具性能参数的评价信息Tscore通过以下公式获取:
Tscore=λ5Ttime6Tthroughput7Tcapacity8Tconcurrency
其中,λ5、λ6、λ7和λ8分别为响应时间、吞吐量、负载容量和并发性能的加权值;λ5678=1。
S20、根据各个微服务工具的所述基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价。
根据具体需求对以上方面进行权重分配,对微服务工具的评价,即总体评分。具体地说,通过以下公式将所述基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息进行加权求和。
SCORE=λuUscoredDscoretTscore
其中,λu、λd和λt分别为基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息的加权值。
S30、基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
具体地说,就是根据各个微服务工具的评价得分进行排序,将得分最高的微服务工作作为评价最高的微服务工具,进行推荐。
与上述微服务工具评价方法相对应,本发明还提供一种微服务工具评价系统。如图3所示,本发明提供的微服务工具评价系统300,可以安装于电子设备中。根据实现的功能,该微服务工具评价系统300可以包括信息获取单元310、评价获取单元320和推荐单元330。本发明单元也可以称之为模块,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
信息获取单元310,用于获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;互动效能评价的获取方法包括,对所获取的互动信息进行预处理以及文本特征提取;利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取互动信息的情感值评价;基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价;
评价获取单元320,用于根据各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价;
推荐单元330,用于基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
对于上述微服务工具评价系统的具体的实施方式,可参照上述微服务工具评价方法的具体实施例,在此不再做具体描述。
本发明的微服务工具评价系统300,通过将主观评价与客观评价相结合,解决了主观评价容易受到测试环境、个人背景和主观偏见等的影响,不同评价者、不同时间、地点,可能有不同的评判标准和结果,导致评价的不一致性和不可靠性的问题;通过基于开发者发布内容的评价信息和基于工具性能参数的评价信息两个维度,解决现有的客观评价方法侧重于利用用户对工具的评价数据进行操作,但缺少平台对对微服务工具的客观测评数据以及开发者的资源数据的支持,导致评价结果不够全面的问题;获得更加全面的评价结果,进而给予用户更加精准的微服务工具推荐结果。
如图4所示,本发明还相应提供一种微服务工具评价方法的电子设备4。
该电子设备4可以包括处理器40、存储器41和总线,还可以包括存储在存储器41中并可在所述处理器40上运行的计算机程序,如微服务工具评价程序42。存储器41还可以既包括微服务工具评价系统的内部存储单元也包括外部存储设备。存储器41不仅可以用于存储安装于应用软件及各类数据,例如微服务工具评价程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
其中,所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器41在一些实施例中可以是电子设备4的内部存储单元,例如该电子设备4的移动硬盘。所述存储器41在另一些实施例中也可以是电子设备4的外部存储设备,例如电子设备4上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括电子设备4的内部存储单元也包括外部存储设备。所述存储器41不仅可以用于存储安装于电子设备4的应用软件及各类数据,例如微服务工具评价程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器40在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器40是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器41内的程序或者模块(例如微服务工具评价程序等),以及调用存储在所述存储器41内的数据,以执行电子设备4的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器41以及至少一个处理器40等之间的连接通信。
图4仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图4示出的结构并不构成对所述电子设备4的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备4还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理系统与所述至少一个处理器40逻辑相连,从而通过电源管理系统实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备4还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备4还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备4与其他电子设备之间建立通信连接。
可选地,该电子设备4还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备4中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备4中的所述存储器41存储的微服务工具评价程序42是多个指令的组合,在所述处理器40中运行时,可以实现:获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;互动效能评价的获取方法包括,对所获取的互动信息进行预处理以及文本特征提取;利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取互动信息的情感值评价;基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价;根据各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价;基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
具体地,所述处理器40对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。需要强调的是,为进一步保证上述微服务工具评价程序的私密和安全性,上述微服务工具评价数据存储于本服务器集群所处区块链的节点中。
进一步地,所述电子设备4集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明实施例还提供一种计算机可读存储介质,所述存储介质可以是非易失性的,也可以是易失性的,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现:获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;互动效能评价的获取方法包括,对所获取的互动信息进行预处理以及文本特征提取;利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取互动信息的情感值评价;基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价;根据各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价;基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
具体地,所述计算机程序被处理器执行时具体实现方法可参考实施例微服务工具评价方法中相关步骤的描述,在此不赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种微服务工具评价方法,其特征在于,方法包括:
获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,所述基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;所述互动效能评价的获取方法包括,对所获取的互动信息进行预处理以及文本特征提取;利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取所述互动信息的情感值评价;基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价;
根据各个微服务工具的所述基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价;
基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
2.根据权利要求1所述的微服务工具评价方法,其特征在于,
所述基于工具性能参数的评价信息的获取方法包括:
根据所获取的微服务工具的工具性能参数的信息,获取微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价;
对所获取的微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价分别进行归一化处理;
利用归一化处理后的微服务工具对应的响应时间、吞吐量、负载容量和并发性能评价,获取基于工具性能参数的评价信息。
3.根据权利要求2所述的微服务工具评价方法,其特征在于,
对所获取的微服务工具对应的负载容量进行归一化处理通过以下方式获取:
其中,x为负载容量原始数据;x′是负载容量归一化处理后的数据;Tcapacity_min为所有微服务工具对应的负载容量数据中的最小值;Tcapacity_max为所有微服务工具对应的负载容量数据中的最大值。
4.根据权利要求1所述的微服务工具评价方法,其特征在于,
所述信息质量评价通过信息完整度评价、信息清晰度评价和信息可获得性评价获取。
5.根据权利要求4所述的微服务工具评价方法,其特征在于,
所述信息质量评价的获取方法包括:
对所获取的微服务工具对应的开发者发布内容信息进行清洗预处理;
基于完整性评价指标,获取预处理后的开发者发布内容信息的完整性评价;开发者发布内容信息的基于可获得性评价指标,获取所述开发者发布内容信息的可获得性评价;基于清晰度评价指标,获取所述开发者发布内容信息的清晰度评价;
根据所述完整性评价、可获得性评价和清晰度评价,获得所述信息质量评价。
6.根据权利要求5所述的微服务工具评价方法,其特征在于,
所述完整性评价指标包括,工具名称和描述、所支持的编程语言和平台、功能特点、文档、教程和使用示例;
所述清晰度评价指标包括,标题、段落、子节、编号、图表和图像;
所述可获得性评价指标包括,在线发布、直接下载链接、多渠道访问、搜索功能和兼容性。
7.根据权利要求1所述的微服务工具评价方法,其特征在于,
所述互动信息评价模型为利用问句数据集训练后获得;其中,所述问句数据集通过基于问句形式特征集的有限状态自动机获取;所述问句形式特征集中包括语气词特征、疑问代词特征、疑问格式特征、语气副词特征和补充特征。
8.一种微服务工具评价系统,其特征在于,系统包括:
信息获取单元,用于获取各个微服务工具的基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息;其中,所述基于开发者发布内容的评价信息是通过信息质量评价和互动效能评价获取;所述互动效能评价的获取方法包括,对所获取的互动信息进行预处理以及文本特征提取;利用预设的互动信息评价模型对提取的文本特征进行疑问句判定,获取含有疑问句的互动信息评价和未含有疑问句的评价;对于判定为疑问句的文本特征进行机器人回复类型或人工回复类型的判定,获取含有机器人回复类型的评价和含有人工回复类型的评价;将判定为人工回复类型的文本特征进行情感分析,并获取所述互动信息的情感值评价;基于含有疑问句的互动信息评价、未含有疑问句的评价、含有机器人回复类型的评价、含有人工回复类型的评价和情感值评价获取互动效能评价;
评价获取单元,用于根据各个微服务工具的所述基于用户评价的评价信息、基于开发者发布内容的评价信息和基于工具性能参数的评价信息,获取各个微服务工具的评价;
推荐单元,用于基于各个微服务工具的评价,判定并推荐评价最高的微服务工具。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一所述的微服务工具评价方法中的步骤。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的微服务工具评价方法。
CN202311591104.XA 2023-11-27 2023-11-27 微服务工具评价方法及系统 Pending CN117493210A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311591104.XA CN117493210A (zh) 2023-11-27 2023-11-27 微服务工具评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311591104.XA CN117493210A (zh) 2023-11-27 2023-11-27 微服务工具评价方法及系统

Publications (1)

Publication Number Publication Date
CN117493210A true CN117493210A (zh) 2024-02-02

Family

ID=89674464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311591104.XA Pending CN117493210A (zh) 2023-11-27 2023-11-27 微服务工具评价方法及系统

Country Status (1)

Country Link
CN (1) CN117493210A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878427A (zh) * 2017-02-23 2017-06-20 北京工业大学 一种基于分时信任的微服务调度调度方法以及调度中间件
US20200167805A1 (en) * 2018-11-28 2020-05-28 International Business Machines Corporation Micro-service sequencing and recommendation
CN112395148A (zh) * 2019-08-14 2021-02-23 北京国双科技有限公司 微服务评价的量化方法、装置、计算机设备和存储介质
CN112491585A (zh) * 2020-11-04 2021-03-12 新华三大数据技术有限公司 微服务健康度评估方法及装置
WO2021093821A1 (zh) * 2019-11-14 2021-05-20 中兴通讯股份有限公司 智能助理评价、推荐方法、系统、终端及可读存储介质
WO2021157321A1 (ja) * 2020-02-07 2021-08-12 株式会社日立製作所 代替候補推薦システム及び方法
CN113487209A (zh) * 2021-07-16 2021-10-08 江苏瑞中数据股份有限公司 基于成熟度模型的微服务成熟度评估方法及其系统
CN116127367A (zh) * 2021-11-10 2023-05-16 华为技术有限公司 服务评价的审核方法、装置以及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878427A (zh) * 2017-02-23 2017-06-20 北京工业大学 一种基于分时信任的微服务调度调度方法以及调度中间件
US20200167805A1 (en) * 2018-11-28 2020-05-28 International Business Machines Corporation Micro-service sequencing and recommendation
CN112395148A (zh) * 2019-08-14 2021-02-23 北京国双科技有限公司 微服务评价的量化方法、装置、计算机设备和存储介质
WO2021093821A1 (zh) * 2019-11-14 2021-05-20 中兴通讯股份有限公司 智能助理评价、推荐方法、系统、终端及可读存储介质
WO2021157321A1 (ja) * 2020-02-07 2021-08-12 株式会社日立製作所 代替候補推薦システム及び方法
CN112491585A (zh) * 2020-11-04 2021-03-12 新华三大数据技术有限公司 微服务健康度评估方法及装置
CN113487209A (zh) * 2021-07-16 2021-10-08 江苏瑞中数据股份有限公司 基于成熟度模型的微服务成熟度评估方法及其系统
CN116127367A (zh) * 2021-11-10 2023-05-16 华为技术有限公司 服务评价的审核方法、装置以及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANG BO等: "Performance Modeling and Workflow Scheduling of MicroService-Based Applications in Clouds", 《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》, vol. 30, no. 9, 1 September 2019 (2019-09-01), pages 2114 - 2129, XP011739368, DOI: 10.1109/TPDS.2019.2901467 *
刘沐煊;: "关于云环境中Web应用的微服务架构评估研究", 科技资讯, no. 23, 13 August 2018 (2018-08-13) *

Similar Documents

Publication Publication Date Title
Srinivasan et al. Biases in AI systems
Prana et al. Categorizing the content of github readme files
Noei et al. Too many user-reviews! what should app developers look at first?
Di Sorbo et al. What would users change in my app? summarizing app reviews for recommending software changes
US10169706B2 (en) Corpus quality analysis
US9535980B2 (en) NLP duration and duration range comparison methodology using similarity weighting
CN115002200B (zh) 基于用户画像的消息推送方法、装置、设备及存储介质
Park et al. Evaluating ontology extraction tools using a comprehensive evaluation framework
US20150356456A1 (en) Real-Time or Frequent Ingestion by Running Pipeline in Order of Effectiveness
US20160019462A1 (en) Predicting and Enhancing Document Ingestion Time
CN112052396A (zh) 课程匹配方法、系统、计算机设备和存储介质
CN111753089A (zh) 话题聚类方法、装置、电子设备及存储介质
Rani et al. A decade of code comment quality assessment: A systematic literature review
WO2020111827A1 (ko) 프로필 자동생성서버 및 방법
CN113886204A (zh) 用户行为数据收集方法、装置、电子设备及可读存储介质
Peng et al. An approach of extracting feature requests from app reviews
Rahmi Dewi et al. Software Requirement-Related Information Extraction from Online News using Domain Specificity for Requirements Elicitation: How the system analyst can get software requirements without constrained by time and stakeholder availability
Zhao et al. State and tendency: an empirical study of deep learning question&answer topics on Stack Overflow
CN117493210A (zh) 微服务工具评价方法及系统
CN114862141A (zh) 基于画像关联性的课程推荐方法、装置、设备及存储介质
CN114841165A (zh) 用户数据分析及展示方法、装置、电子设备及存储介质
Tan et al. The applications of machine learning in computational thinking assessments: a scoping review
Alam et al. Electronic opinion analysis system for library (E-OASL)
Al-Juboori et al. Web site evaluation: Trends and existing approaches
CN113486266B (zh) 页面标签添加方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination