CN114791975A - 一种可跨平台的ai模型推荐系统及方法 - Google Patents

一种可跨平台的ai模型推荐系统及方法 Download PDF

Info

Publication number
CN114791975A
CN114791975A CN202110095387.3A CN202110095387A CN114791975A CN 114791975 A CN114791975 A CN 114791975A CN 202110095387 A CN202110095387 A CN 202110095387A CN 114791975 A CN114791975 A CN 114791975A
Authority
CN
China
Prior art keywords
model
text
description text
user
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110095387.3A
Other languages
English (en)
Inventor
杜恒欣
刘宗伟
王振刚
刘涛
韩宗晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linyi Zhongke Artificial Intelligence Innovation Research Institute Co ltd
Linyi Branch Of Institute Of Computing Technology Chinese Academy Of Sciences Linyi Zhongke Artificial Intelligence Innovation Research Institute
Original Assignee
Linyi Zhongke Artificial Intelligence Innovation Research Institute Co ltd
Linyi Branch Of Institute Of Computing Technology Chinese Academy Of Sciences Linyi Zhongke Artificial Intelligence Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linyi Zhongke Artificial Intelligence Innovation Research Institute Co ltd, Linyi Branch Of Institute Of Computing Technology Chinese Academy Of Sciences Linyi Zhongke Artificial Intelligence Innovation Research Institute filed Critical Linyi Zhongke Artificial Intelligence Innovation Research Institute Co ltd
Priority to CN202110095387.3A priority Critical patent/CN114791975A/zh
Publication of CN114791975A publication Critical patent/CN114791975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种可跨平台的AI模型推荐系统和方法，该系统用于根据用户的需求进行AI模型推荐，包括：获取模块，用于从多个AI开放平台获取AI模型的模型描述文本；用户模块，用于获取用户对所需AI模型的需求描述文本；推荐模块，用于将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表；本发明通过从多个AI开放平台获取AI模型的模型描述文本，并将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表，以使本发明可以高效、准确地实现了跨平台的AI模型推荐。

Description

一种可跨平台的AI模型推荐系统及方法
技术领域
本发明涉及推荐技术领域，具体来说涉及AI模型推荐领域，更具体地说，涉及一种可跨平台的AI模型推荐系统及方法。
背景技术
人工智能的应用日渐成熟，利用AI(Artificial Intelligence，即人工智能)开放平台的模型服务开发AI产品(例如，智能音响、智能客服、问答机器人等)，可以大大减少产品研发时间。但是，目前网络上存在着许多不同的AI开放平台，例如，谷歌AI平台、百度AI开放平台、科大讯飞AI开放平台、腾讯AI开放平台、旷世人工智能开放平台等等。各大AI开放平台设有各种AI模型用于提供对应的AI模型服务，如提供图像识别模型的服务或者提供语音识别模型的服务等。如何从多个AI开放平台的大量AI模型中高效地选取最佳AI模型服务成为较大的难题。
目前，有基于自建的AI开放平台的API推荐，同步或异步调用的API，组成智慧化医院的医院信息系统。其他的API推荐，多数属于开发应用程序时代码编程的API推荐。
目前网络中存在许多的AI开放平台，这些平台推出了使用API或者SDK的方式进行调用平台已有的AI模型。用户需要从多个AI开放平台中寻找到适合自身需求的AI模型服务，但一个AI开放平台所提供的AI模型服务可能远远满足不了用户的需求，用户需要多方寻找，才能从中找到能够满足自身需求的AI模型，其效率低下，严重地影响了AI产品开发的周期。因此，有必要对现有技术进行改进。
发明内容
因此，本发明的目的在于克服上述现有技术的缺陷，提供一种可跨平台的AI模型推荐系统及方法。
本发明的目的是通过以下技术方案实现的：
根据本发明的第一方面，提供一种可跨平台的AI模型推荐系统，用于根据用户的需求进行AI模型推荐，包括：获取模块，用于从多个AI开放平台获取AI模型的模型描述文本；用户模块，用于获取用户对所需AI模型的需求描述文本；推荐模块，用于将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。
在本发明的一些实施例中，推荐模块包括：文本聚类子模块，用于根据从多个AI开放平台获取的AI模型的模型描述文本对AI模型进行聚类，根据聚类结果为所有模型描述文本及其特征词向量添加对应的类别标签，基于所有模型描述文本及其对应的类别标签生成分类数据集；文本分类子模块，其分类神经网络采用所述分类数据集预先训练得到，用于根据用户对所需AI模型的需求描述文本预测用户所需AI模型的类别；文本匹配子模块，用于筛选该用户所需AI模型的类别下的AI模型的模型描述文本，将用户对所需AI模型的需求描述文本与筛选出的该类别下的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。
在本发明的一些实施例中，所述文本聚类子模块被配置按照以下方式进行聚类：对从多个AI开放平台获取的AI模型的模型描述文本进行文本预处理；用特征提取模型从每个经预处理后的AI模型的模型描述文本分别提取其对应的特征词向量；基于特征词向量通过聚类算法对所有的AI模型进行聚类，得到包括多个类别的聚类结果，为每个类别添加类别标签。
在本发明的一些实施例中，所述对从多个AI开放平台获取的AI模型的模型描述文本进行文本预处理包括分词处理和去除停用词的处理。
在本发明的一些实施例中，采用聚类算法CURE基于特征词向量通过聚类算法对所有的AI模型进行聚类，聚类算法CURE的收缩因子设置为0.4～0.6。
在本发明的一些实施例中，所述推荐模块，还用于在AI模型推荐列表上添加各个AI模型的产品定价和/或其模型描述文本中的至少部分信息以向用户展示。
在本发明的一些实施例中，所述文本匹配子模块被配置按照以下方式进行匹配：将需求描述文本对应的特征词向量与每个筛选出的AI模型的模型描述文本对应的特征词向量分别进行点乘交互计算得到文本交互矩阵；使用卷积神经网络分别对每个文本交互矩阵进行特征提取和池化操作，得到语义信息；通过全局的注意力机制网络对需求描述文本对应的特征词向量与筛选出的AI模型的模型描述文本对应的特征词向量进行重要性排序和归一化，得到重要性排序结果；用全连接神经网络根据重要性排序结果和语义信息对需求描述文本和每个筛选出的AI模型的模型描述文本进行匹配度处理并排序，按照匹配度由高到低的顺序形成跨平台的AI模型推荐列表。
根据本发明的第二方面，提供一种基于第一方面所述的可跨平台的AI模型推荐系统实现的AI模型推荐方法，包括：S1、获取用户对所需AI模型的需求描述文本；S2、通过可跨平台的AI模型推荐系统将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。
根据本发明的第三方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储一个或多个可执行指令；所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现第二方面所述方法的步骤。
与现有技术相比，本发明的优点在于：
本发明提供一种可跨平台的AI模型推荐系统，通过从多个AI开放平台获取AI模型的模型描述文本，并将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表，以使本发明可以高效、准确地实现了跨平台的AI模型推荐。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1为根据本发明实施例的可跨平台的AI模型推荐系统的系统示意图；
图2为根据本发明实施例的可跨平台的AI模型推荐系统的文本聚类子模块的工作原理示意图；
图3为根据本发明实施例的可跨平台的AI模型推荐系统的文本聚类子模块的一个示意性工作流程图；
图4为根据本发明实施例的可跨平台的AI模型推荐系统的文本匹配子模块的示意性工作流程图。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如在背景技术部分提到的，目前网络中存在许多的AI开放平台，用户需要从多个AI开放平台中寻找到适合自身需求的AI模型服务，但一个AI开放平台所提供的AI模型服务可能远远满足不了用户的需求，用户需要多方寻找，才能从中找到能够满足自身需求的AI模型，其效率低下，严重地影响了AI产品开发的周期。为解决此问题，本发明提供一种可跨平台的AI模型推荐系统，通过从多个AI开放平台获取AI模型的模型描述文本，并将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表，以使本发明可以高效、准确地实现了跨平台的AI模型推荐。
参见图1，本发明提供一种可跨平台的AI模型推荐系统，用于根据用户的需求进行AI模型推荐，包括：获取模块100，用于从多个AI开放平台获取AI模型的模型描述文本及各个AI模型的产品定价；用户模块300，用于获取用户对所需AI模型的需求描述文本；推荐模块200，用于将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。优选的，按照匹配度大小生成AI模型推荐列表是按照匹配度由高到低的顺序生成AI模型推荐列表。
根据本发明的一个实施例，获取模块100被配置为：利用编写的爬虫代码从多个AI开放平台获取AI模型的模型描述初始文本和/或产品定价初始文本，对所获取的模型描述初始文本和/或产品定价初始文本进行数据清洗、去除空格和规范格式以提取出其中的模型描述文本和/或产品定价并存放于本地。多个AI开放平台例如图1所示的AI开放平台1、AI开放平台2、AI开放平台3等。AI开放平台例如是谷歌AI平台、百度AI开放平台、科大讯飞AI开放平台、腾讯AI开放平台或者旷世人工智能开放平台。应当理解的是，此处的AI开放平台仅是举例，根据运营方的实际需求，可以选择其所需的AI开放平台，本发明对此不作任何限制。获取模块100可采用Scrapy爬虫框架编写爬虫代码以定义所需的爬虫逻辑。模型描述文本是对AI模型的功能、分类和/或用途进行介绍的文本。在本发明的一个实施例中，运营方(可跨平台的AI模型推荐系统的提供方)可以根据需要自定义模型描述文本的具体类型。例如，某个运营方可以定义模型描述文本包括功能描述文本、分类标题和应用场景中的一个或者多个元素。功能描述文本是对AI模型的功能进行介绍的文本。该实施例的技术方案至少能够实现以下有益技术效果：本发明利用爬虫爬取存在于不同AI开放平台的数据并经过数据清洗、去除空格和规范格式以提取出其中的模型描述文本和产品定价存放于本地，便于后续快速、准确地提供跨平台的AI模型推荐。当然，本发明不限于采用爬虫的方式，其他方式获取模型描述文本和产品定价也是可以的，比如，从第三方的AI开放平台开放的端口直接获取所需的模型描述文本和产品定价。
根据本发明的一个实施例，用户模块300可通过向用户提供预设的用于规范描述模型功能的可选关键词让用户点选与其需求匹配的关键词和/或向用户提供自定义描述需求的输入窗口的方式，获取用户对所需AI模型的需求描述文本。例如，假设运营方提供可选关键字及窗口输入两种获取方式，若用户点选关键字“语言处理模型”、“分类模型”，并通过窗口输入“新闻分类”，则用户的需求描述文本则是语言处理模型、分类模型、新闻分类。可选关键字可以来源于添加的分类标签。应当理解的是，分类标签的具体类型可以由运营方根据自身需求设置，此处仅为举例，本发明对此不作任何限制。该实施例的技术方案至少能够实现以下有益技术效果：提供关键字让用户可以快捷地选择一些基础的描述，并且可以规范用户的输入，提高需求描述文本的准确性，便于后续更准确地匹配到用户所需的AI模型；提供自定义描述需求的输入窗口，可以让用户根据自身的需要，自由、细化地添加自定义的描述，在有特定需求或者网络上存在海量AI模型的情况下，可以根据自定义的描述更高效地寻找到用户所需的AI模型。
根据本发明的一个实施例，再次参见图1，推荐模块200包括：文本聚类子模块210、文本分类子模块220和文本匹配子模块230。
优选的，文本聚类子模块210，用于根据从多个AI开放平台获取的AI模型的模型描述文本对AI模型进行聚类，根据聚类结果为所有模型描述文本及其特征词向量添加对应的类别标签并基于所有模型描述文本及添加的对应的类别标签生成分类数据集。由于AI开放平台的AI模型服务种类大多数相同，也存在各自独特之处，且各个类别的AI模型服务数量不同，相差较大的特点，可先对AI模型的模型描述文本进行聚类。参见图2，文本聚类子模块210被配置按照以下方式进行聚类：对从多个AI开放平台获取的AI模型的模型描述文本进行文本预处理；用特征提取模型从每个经预处理后的AI模型的模型描述文本分别提取其对应的特征词向量；基于特征词向量通过聚类算法对所有的AI模型进行聚类，得到包括多个类别的聚类结果，为每个类别添加类别标签。其中，文本预处理是为更准确地提取模型描述文本中的语义。例如，对从多个AI开放平台获取的AI模型的模型描述文本进行文本预处理包括分词处理和去除停用词的处理。用于分词处理的分词工具可选择Jieba分词工具，基于模型描述文本中含有人工智能领域一系列的专有名词，如图像识别、语音对话等，所以在分词过程中加入提前整理好的人工智能领域专业词汇字典。去除停用词的处理可根据chineseStopWords.txt文档执行去除停用词的操作。提取的特征词向量可便于后续的计算。根据本发明的一个实施例，经过预处理后的模型描述文本，都为一个个词语，采用Bert模型作为特征提取模型。Bert模型中Transformer层采用双向编码器，可以通过一个额外的输出层进行微调(Fine-tuning)，能够通过联合所有层中的上下文预先训练深度双向表示，采用BERT模型训练特征词向量，完整的保存了短文本语义信息，提升了模型的上下文特征抽取能力。文本聚类子模块210可以被配置为：基于模型描述文本及其类别标签生成用于训练文本分类子模型的分类数据集。文本聚类子模块210可以被配置为：基于模型描述文本对应的特征词向量及其类别标签可以生成对应的特征字典。根据本发明的一个实施例，可将该BERT模型的超参数按以下方式设置：批大小(Batch_size)设置为16，学习率(Learning_rate)设置为5e_5，训练集中全部样本的使用次数(Epochs)为3，词向量维度m，每个AI模型的模型描述文本共n条短文本数据，得到特征词向量Text_x1＝{x11,x12,…,xnm}。短文本是指字数或者词数少于特定的阈值的文本，例如，n个字或者词构成的短文本数据，n例如为160个字或者词。词向量维度m例如为100维。关于短文本数据的长度、特征词向量的词向量维度，此处仅为举例说明，运营方可以根据自身经验设置，本发明对此不作任何限制。
为了更好地对AI模型的模型描述文本聚类，根据本发明的一个实施例，本发明优选采用聚类算法CURE(Clustering Using Representatives)基于特征词向量通过聚类算法对所有的AI模型进行聚类。聚类算法CURE的收缩因子优选设置为0.4～0.6，可在本发明中取得较好的聚类效果；尤其优选地，收缩因子设置为0.5。CURE模型的输入定义为模型描述文本的特征词向量Text_x1＝{x11，x12，...，xnm}集合。CURE是一种基于取样和代表点的层次聚类算法，在计算过程中将每一类视为一个中心点和多个代表点，用以表示每类的数据，再采用迭代的方式，通过收缩因子对代表点进行控制使其能够越来越接近类的中心点，自底向上地合并两个距离最近的类。而且，因为收缩因子降低了噪声对聚类的影响，对离群点的敏感度较小。Cure算法流程如图3所示，首先从原始数据集中随机抽取一部分样本点作为子集，再对该子集进行划分，在这些划分后的集合上运行CURE聚类算法得到每个集合的类，并删除其中的离群点，然后对这些类进一步进行CURE层次聚类，并删除其中的离群点，最后对剩余的数据集样本点进行划分。其中，离群点，是指距离类中心点较远的点，也称异常点。
下面结合图3来说明文本聚类模块210的一个示意性工作流程：
步骤A1：输入所有模型描述文本对应的特征词向量；
步骤A2：划分若干个数据片；
步骤A3：将数据片中的每个模型描述文本对应的特征词向量作为单独一类；其中，选择距离该类中心点最远的点作为代表点P，定义收缩因子α，调节类的形状，收缩公式为：
P′i＝Pi+α(mean-Pi)；
该式中，Pi为类的代表点，P′i为每次收缩更新后的类的代表点，mean为类的中心点。首次聚类将样本划分为10个数量规模相差不大的类，每个类设置有200条模型描述文本，收缩因子α＝0.5，代表点个数m＝4；
步骤A4：计算类之间的相似度，合并相似度最大的两个类；即：计算两个模型描述文本的相似度sim，采用欧式距离计算，公式为：
Figure BDA0002914032560000071
该式中，xzj表示第z个AI模型的模型描述文本的第j维词向量，Pij表示第i个类的代表点的第j维词向量，n表示模型描述文本的长度；然后比较相似度，将最大相似度的两个类合并为新类；
步骤A5：计算新类的中心点和代表点；即：迭代计算，更新新类的中心点和代表点；
步骤A6：判断是否达到聚类终止条件，若是则进入步骤A7，若否则返回步骤A4；其中，聚类终止条件可设置为判断聚类数目是否达到预定值或者判断当前最大相似度是否低于某个阈值，若是，则认为达到聚类终止条件；
步骤A7：迭代停止，输出聚类结果，根据聚类结果为所有模型描述文本及其特征词向量附上类别标签(Label)。即：经过聚类的同一个类下的所有模型描述文本和模型描述文本的特征词向量分别附上对应类别标签，生成字典形式。模型描述文本的类别标签可用于检索该所模型描述文本的特征词向量和/或数据可视化。
发明人为了评估文本聚类子模块210的性能，选择纯度和F-measure值两种方法，纯度是用来统计聚类准确的文本在该聚类中所占比例。F-measure值是通过信息检索中的准确率和召回率来进行聚类效果评价。平均纯度值和F-measure值越高，说明聚类准确的文本越多，聚类性能越好。在相同的实验条件下，分别计算CURE算法和k-means算法，CURE算法的实验结果平均纯度值为0.453，F-measure值为0.42，k-means算法的实验结果平均纯度值为0.217，F-measure值为0.236，实验结果表明，对AI模型的模型描述文本聚类，采用CURE算法的性能更好。
文本分类子模块220，其分类神经网络采用所述分类数据集预先训练得到，用于根据用户对所需AI模型的需求描述文本预测用户所需AI模型的类别。文本分类子模块220的分类神经网络是采用文本聚类子模块210生成的分类数据集经多次训练得到的。用户的需求描述文本(Text_user)，经过分词、词向量化，得到需求描述文本对应的特征词向量，输入到文本分类子模块220中，根据用户对所需AI模型的需求描述文本预测AI模型的类别。需求描述文本对应的特征词向量的形式为Text_user1＝{u11,u12,…,unm}。优选的，在文本分类子模块220中使用TextCNN模型作为分类神经网络进行训练。TextCNN是多通道单层卷积的模型，TextCNN利用卷积神经网络(Convolutional Neural Network，CNN)来提取句子中类似n-gram的关键信息，且结构简单，效果好。将用户的需求描述文本输入到训练好的TextCNN模型中，得到需求描述文本的类别(标签)。一个示意性的超参数设置为：在TextCNN模型的卷积层中，卷积核大小filterSize分别定义为3、5、7，卷积核数量numFilters分别定义为：64、64、64，激活函数采用Relu函数；池化层采用最大池化策略，学习率learningRate定义为0.001；Dropout定义为0.5，并采用L2正则化，最后一层为全连接层，使用Softmax激活函数输出每个类别的概率。
优选的，文本匹配子模块230，用于筛选该用户所需AI模型的类别下的AI模型的模型描述文本，将用户对所需AI模型的需求描述文本与筛选出的该类别下的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。优选的，文本匹配子模块230被配置按照以下方式进行匹配：将需求描述文本对应的特征词向量与每个筛选出的AI模型的模型描述文本对应的特征词向量分别进行点乘交互计算得到文本交互矩阵；使用卷积神经网络分别对每个文本交互矩阵进行特征提取和池化操作，得到语义信息；通过全局的注意力机制网络对需求描述文本对应的特征词向量与筛选出的AI模型的模型描述文本对应的特征词向量进行重要性排序和归一化，得到重要性排序结果；用全连接神经网络根据重要性排序结果和语义信息对需求描述文本和每个筛选出的AI模型的模型描述文本进行匹配度处理并排序，按照匹配度由高到低的顺序形成跨平台的AI模型推荐列表。优选的，文本匹配子模块230可以从特征词典中根据用户所需AI模型的类别查询该类别下的AI模型的模型描述文本对应的特征词向量。特征词典的设置可避免重复工作，快速获得模型描述文本对应的特征词向量。优选的，推荐模块200还被配置为在AI模型推荐列表中展示AI模型的匹配度。AI模型推荐列表还提供用户所选择的AI模型所在的AI开放平台的调用接口。由此，便于用户从相应的AI开放平台快速调用所需的AI模型。根据本发明的一个实施例，文本匹配子模块230可以从文本聚类模块210的特征提取模块获取用户对所需AI模型的需求描述文本对应的特征词向量。
优选的，在文本匹配子模块230中，可以训练文本匹配模型，实现实时在线匹配，高效获取AI模型推荐列表，并附有AI模型的产品定价，供用户择优选择。文本匹配子模块230的示意性工作流程，如图4所示：
首先，分别将两个待匹配文本的特征词向量(需求描述文本对应的特征词向量和模型描述文本对应的特征词向量)进行点乘交互计算，得到文本交互矩阵，公式为：
Figure BDA0002914032560000101
其中，
Figure BDA0002914032560000102
表示模型描述文本对应的特征词向量；T表示转置，
Figure BDA0002914032560000103
表示用户的需求描述文本对应的特征词向量；
接着，使用卷积神经网络(CNN)进行特征提取和池化操作，得到语义信息；其中，该卷积神经网络的卷积核大小为3×5×7，卷积核的数量为64，池化层选用最大池化方法，学习效率a＝0.001，批大小(Batch size)设为50，丢弃概率(Dropout)设置为0.8；
最后，通过全局的注意力网络采用softmax对需求描述文本对应的特征词向量与筛选出的AI模型的模型描述文本对应的特征词向量进行重要性排序和归一化，得到重要性排序结果，将重要性排序结果和卷积神经网络输出的语义信息共同输入到全连接神经网络中，从而得到两个待匹配文本的匹配度，并进行排序，附上模型描述文本对应的产品定价文本，得到AI模型推荐列表。用户可以手动选择或者自动选择匹配度最高的AI模型进行试用。经实验，本发明的可跨平台的AI模型推荐系统输出结果准确率为0.963，故使用该系统可以高效获取AI模型推荐列表。
根据本发明的一个实施例，推荐模块200，可以被配置为：在AI模型推荐列表上添加各个AI模型的产品定价和/或其模型描述文本中的至少部分信息以向用户展示。该实施例的技术方案至少能够实现以下有益技术效果：在AI推荐列表带有所推荐的各个AI模型的产品定价的情况下，便于用户根据匹配度和自身成本预算快速选择所需的AI模型服务；将模型描述文本中的分类标题或者应用场景添加到AI模型推荐列表中，以便用户根据直观的语言描述选择所需的AI模型服务。
根据本发明的一个实施例，在开发AI产品时，为了进一步减少人工智能相关的研究时间，缩短AI产品开发时间，可跨平台的AI模型推荐系统还包括AI模型性能测试模块，AI模型性能测试模块中预先存储有用于测试AI模型性能的性能测验数据集，所述AI模型性能测试模块被配置为：接收用户的请求，通过调用接口调用AI模型推荐列表中所有的AI模型运行性能测验数据集，并将性能测验结果添加到AI模型推荐列表中。性能测验数据集例如是运营方预先存储的有关自然语言处理和/或图像识别相关的测试数据，测试数据中预先定义了输入以及与之对应的输出标签，从而测试相应的AI模型的性能。优选的，AI模型性能测试模块还被配置为：向用户提供配置自定义的性能测验数据集的自定义配置接口，并在用户配置完成后，响应于用户的测验请求，通过调用接口调用AI模型推荐列表中所有的AI模型运行用户自定义配置的性能测验数据集，并将性能测验结果添加到AI模型推荐列表中。性能测验结果可以根据性能测验数据集的任务类型来具体设置。例如，如果是识别任务，则性能测验结果可以是准确率。该实施例的技术方案至少能够实现以下有益技术效果：为用户提供跨平台测试AI模型的接口，可以让用户不用分别到各个AI开放平台上单独测试模型的性能，直接通过本发明的系统提供的AI模型推荐列表自主选择、调用或通过测试的方式高效得到所需AI模型，为用户开发AI产品提供便捷，帮助用户有效缩短AI产品的开发时间。
本发明还提供一种基于前述实施例所述的可跨平台的AI模型推荐系统实现的AI模型推荐方法，包括：S1、获取用户对所需AI模型的需求描述文本；S2、通过可跨平台的AI模型推荐系统将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。优选的，步骤S2包括：S21、根据用户对所需AI模型的需求描述文本预测AI模型的类别，从获取的AI模型的模型描述文本中筛选该类别下的AI模型的模型描述文本；S22、将用户对所需AI模型的需求描述文本与筛选出的该类别下的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种可跨平台的AI模型推荐系统，用于根据用户的需求进行AI模型推荐，其特征在于，包括：
获取模块，用于从多个AI开放平台获取AI模型的模型描述文本；
用户模块，用于获取用户对所需AI模型的需求描述文本；
推荐模块，用于将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。
2.根据权利要求1所述的可跨平台的AI模型推荐系统，其特征在于，所述推荐模块包括：
文本聚类子模块，用于根据从多个AI开放平台获取的AI模型的模型描述文本对AI模型进行聚类，根据聚类结果为所有模型描述文本及其特征词向量添加对应的类别标签，基于所有模型描述文本及其对应的类别标签生成分类数据集；
文本分类子模块，其分类神经网络采用所述分类数据集预先训练得到，用于根据用户对所需AI模型的需求描述文本预测用户所需AI模型的类别；
文本匹配子模块，用于筛选该用户所需AI模型的类别下的AI模型的模型描述文本，将用户对所需AI模型的需求描述文本与筛选出的该类别下的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。
3.根据权利要求2所述的可跨平台的AI模型推荐系统，其特征在于，所述文本聚类子模块被配置按照以下方式进行聚类：
对从多个AI开放平台获取的AI模型的模型描述文本进行文本预处理；
用特征提取模型从每个经预处理后的AI模型的模型描述文本分别提取其对应的特征词向量；
基于特征词向量通过聚类算法对所有的AI模型进行聚类，得到包括多个类别的聚类结果，为每个类别添加类别标签。
4.根据权利要求3所述的可跨平台的AI模型推荐系统，其特征在于，所述对从多个AI开放平台获取的AI模型的模型描述文本进行文本预处理包括分词处理和去除停用词的处理。
5.根据权利要求4所述的可跨平台的AI模型推荐系统，其特征在于，采用聚类算法CURE基于特征词向量通过聚类算法对所有的AI模型进行聚类，聚类算法CURE的收缩因子设置为0.4～0.6。
6.根据权利要求1至5任一项所述的可跨平台的AI模型推荐系统，其特征在于，所述推荐模块，还用于在AI模型推荐列表上添加各个AI模型的产品定价和/或其模型描述文本中的至少部分信息以向用户展示。
7.根据权利要求2至5任一项所述的可跨平台的AI模型推荐系统，其特征在于，所述文本匹配子模块被配置按照以下方式进行匹配：
将需求描述文本对应的特征词向量与每个筛选出的AI模型的模型描述文本对应的特征词向量分别进行点乘交互计算得到文本交互矩阵；
使用卷积神经网络分别对每个文本交互矩阵进行特征提取和池化操作，得到语义信息；
通过全局的注意力机制网络对需求描述文本对应的特征词向量与筛选出的AI模型的模型描述文本对应的特征词向量进行重要性排序和归一化，得到重要性排序结果；
用全连接神经网络根据重要性排序结果和语义信息对需求描述文本和每个筛选出的AI模型的模型描述文本进行匹配度处理并排序，按照匹配度由高到低的顺序形成跨平台的AI模型推荐列表。
8.一种基于权利要求1至6任一项所述的可跨平台的AI模型推荐系统实现的AI模型推荐方法，其特征在于，包括：
S1、获取用户对所需AI模型的需求描述文本；
S2、通过可跨平台的AI模型推荐系统将用户对所需AI模型的需求描述文本与获取的AI模型的模型描述文本进行匹配，按照匹配度大小生成AI模型推荐列表。
9.一种计算机可读存储介质，其特征在于，其上包含有计算机程序，所述计算机程序可被处理器执行以实现权利要求8所述方法的步骤。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，其中存储器用于存储一个或多个可执行指令；
所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现权利要求8所述方法的步骤。
CN202110095387.3A 2021-01-25 2021-01-25 一种可跨平台的ai模型推荐系统及方法 Pending CN114791975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110095387.3A CN114791975A (zh) 2021-01-25 2021-01-25 一种可跨平台的ai模型推荐系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110095387.3A CN114791975A (zh) 2021-01-25 2021-01-25 一种可跨平台的ai模型推荐系统及方法

Publications (1)

Publication Number Publication Date
CN114791975A true CN114791975A (zh) 2022-07-26

Family

ID=82460389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110095387.3A Pending CN114791975A (zh) 2021-01-25 2021-01-25 一种可跨平台的ai模型推荐系统及方法

Country Status (1)

Country Link
CN (1) CN114791975A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497306A (zh) * 2022-11-22 2022-12-20 中汽研汽车检验中心（天津）有限公司 一种基于gis数据的速度区间权重计算方法
CN115994668A (zh) * 2023-02-16 2023-04-21 浙江非线数联科技股份有限公司 智慧社区资源管理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497306A (zh) * 2022-11-22 2022-12-20 中汽研汽车检验中心（天津）有限公司 一种基于gis数据的速度区间权重计算方法
CN115994668A (zh) * 2023-02-16 2023-04-21 浙江非线数联科技股份有限公司 智慧社区资源管理系统
CN115994668B (zh) * 2023-02-16 2023-06-20 浙江非线数联科技股份有限公司 智慧社区资源管理系统

Similar Documents

Publication Publication Date Title
CN108829757B (zh) 一种聊天机器人的智能服务方法、服务器及存储介质
US11948058B2 (en) Utilizing recurrent neural networks to recognize and extract open intent from text inputs
WO2020224213A1 (zh) 语句意图识别方法、装置及计算机可读存储介质
CN111680159B (zh) 数据处理方法、装置及电子设备
WO2020168752A1 (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
CN112395506A (zh) 一种资讯推荐方法、装置、电子设备和存储介质
WO2021169842A1 (zh) 数据更新方法、装置、电子设备及计算机可读存储介质
CN113094578B (zh) 基于深度学习的内容推荐方法、装置、设备及存储介质
CN110727839A (zh) 自然语言查询的语义解析
WO2021204017A1 (zh) 文本意图识别方法、装置以及相关设备
CN112101031B (zh) 一种实体识别方法、终端设备及存储介质
US11599518B2 (en) Efficient embedding table storage and lookup
CN114791975A (zh) 一种可跨平台的ai模型推荐系统及方法
CN112183106B (zh) 一种基于音素联想及深度学习的语义理解方法及装置
CN114817548A (zh) 文本分类方法、装置、设备及存储介质
CN114722198A (zh) 产品分类编码确定方法、系统及相关装置
CN112100360B (zh) 一种基于向量检索的对话应答方法、装置和系统
CN113377844A (zh) 面向大型关系型数据库的对话式数据模糊检索方法及装置
CN113486670A (zh) 基于目标语义的文本分类方法、装置、设备及存储介质
US20230351257A1 (en) Method and system for training virtual agents through fallback analysis
CN113177118A (zh) 文本分类模型、文本分类的方法以及装置
US11854537B2 (en) Systems and methods for parsing and correlating solicitation video content
CN113342964B (zh) 一种基于移动业务的推荐类型确定方法及系统
CN114491265A (zh) 一种经营性空间平台运营服务系统的构建方法
CN114595324A (zh) 电网业务数据分域的方法、装置、终端和非暂时性存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination