CN110231939B - 模型生成方法、系统、计算机设备和存储介质 - Google Patents
模型生成方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110231939B CN110231939B CN201910410878.5A CN201910410878A CN110231939B CN 110231939 B CN110231939 B CN 110231939B CN 201910410878 A CN201910410878 A CN 201910410878A CN 110231939 B CN110231939 B CN 110231939B
- Authority
- CN
- China
- Prior art keywords
- model
- training
- target network
- multiplexed
- project development
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 186
- 238000011161 development Methods 0.000 claims abstract description 116
- 238000003062 neural network model Methods 0.000 claims abstract description 51
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000009434 installation Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 9
- 238000012827 research and development Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/36—Software reuse
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及研发过程优化技术领域，本发明提供一种模型生成方法、系统、计算机设备和存储介质，上述方法包括：根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型；获取待复用模型的归档文件；根据项目开发需求和第一特征信息获取待调用训练样本的第二特征信息，并根据第二特征信息选取待调用的训练样本；根据待调用的训练样本对待复用模型进行二次训练，生成符合项目开发需求的目标网络模型。上述模型生成方法，可以将内部网络中的神经网络模型进行复用，按照项目开发需求选取训练样本并对待复用模型进行二次训练，生成目标网络模型，提高神经网络模型的使用率，减少反复训练生成已存在的待复用模型，同时提高训练神经网络的效率。
Description
技术领域
本发明涉及研发过程优化技术领域，具体而言，本发明涉及一种模型生成方法、模型生成系统、计算机设备和存储介质。
背景技术
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，取得了很多的成就。
随着人工智能的应用领域越来越广泛，应用功能和人工智能算法研究的深入，人工智能的神经网络模型在井喷式地出现。
但是，训练后获得的神经网络模型都各自分散在不同的开发者，大量神经网络模型及其功能不被其他开发者所用，神经网络模型难以被复用，另外，为了实现相同功能或完成中间训练过程，部分相同的神经网络模型会被重复开发，大大降低生成神经网络模型的效率。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，特别是神经网络模型训练的效率低的技术缺陷。
本发明提供一种模型生成方法，包括如下步骤：
根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型；
获取所述待复用模型的归档文件，其中，所述归档文件中记录有所述待复用模型所调用的训练样本的第一特征信息；
根据所述项目开发需求和所述第一特征信息获取待调用训练样本的第二特征信息，并根据所述第二特征信息选取所述待调用的训练样本；
根据所述待调用的训练样本对所述待复用模型进行二次训练，生成符合所述项目开发需求的目标网络模型。
在一个实施例中，在所述生成符合所述项目开发需求的目标网络模型的步骤之后，还包括：
获取所述第二特征信息；根据所述项目开发需求和所述第二特征信息生成所述目标网络模型的归档文件；将所述目标网络模型和所述目标网络模型的归档文件存储在所述内部网络中。
在一个实施例中，在所述生成符合所述项目开发需求的目标网络模型的步骤之后，还包括：
生成用于调用所述目标网络模型的脚本文件；将所述目标网络模型和所述目标网络模型的脚本文件进行封装，获得模型安装包，其中，所述模型安装包用于安装后进行所述目标网络模型的可视化的使用；在所述内部网络中发布所述模型安装包。
在一个实施例中，所述根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型的步骤，包括：
识别所述项目开发需求的第一功能信息，从所述第一功能信息提取关键字；在所述已存储的神经网络模型的第二功能信息中，对所述关键字进行检索，获取与所述项目开发需求匹配的神经网络模型的第三功能信息；向用户客户端发送所述第三功能信息，接收所述用户返回的模型选定信息，将所述模型选定信息对应的神经网络模型作为所述待复用模型。
在一个实施例中，所述根据所述项目开发需求和所述第一特征信息获取待调用训练样本的第二特征信息的步骤，包括：
分析所述项目开发需求的训练要求信息；在所述训练要求信息表示训练新功能时，根据所述需求信息和所述首次训练的样本确定训练样本范围，根据所述训练样本范围确定所述第二特征信息。
在一个实施例中，在所述分析所述项目开发需求的训练要求信息的步骤之后，还包括：
在所述训练要求信息表示优化模型时，将所述待复用模型训练时所调用的训练样本的特征信息作为所述第二特征信息。
在一个实施例中，所述根据所述项目开发需求和所述第二特征信息生成所述目标网络模型的归档文件的步骤，包括：
记录所述目标网络模型，生成模型程序文件；获取用于调用所述目标网络模型的脚本文件；记录训练所述目标网络模型所使用的模型训练算法；将所述项目开发需求、所述第二特征信息、所述模型程序文件、所述目标网络模型的脚本文件和模型训练算法发送至模型验收模块，接收所述目标网络模型的模型验收报告；将所述模型程序文件、所述脚本文件、所述模型训练算法和所述模型验收报告存储至所述目标网络模型的归档文件中。
本发明还提供一种模型生成系统，包括：
模型选取模块，用于根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型；
特征信息获取模块，用于获取所述待复用模型的归档文件，其中，所述归档文件中记录有所述待复用模型所调用的训练样本的第一特征信息；
训练样本选取模块，用于根据所述项目开发需求和所述第一特征信息获取待调用训练样本的第二特征信息，并根据所述第二特征信息选取所述待调用的训练样本；
模型训练模块，用于根据所述待调用的训练样本对所述待复用模型进行二次训练，生成符合所述项目开发需求的目标网络模型。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述模型生成方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述模型生成方法的步骤。
上述的模型生成方法、系统、计算机设备和存储介质，可以将内部网络中的神经网络模型进行复用，按照项目开发需求选取训练样本并对待复用模型进行二次训练，生成目标网络模型，提高神经网络模型的使用率，减少反复训练生成已存在的待复用模型，提高神经网络的使用效率和训练神经网络的效率。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为一个实施例中提供的模型生成方法的实施环境图；
图2为一个实施例中模型生成方法的流程图；
图3为另一个实施例中模型生成方法的流程图；
图4为一个实施例中模型生成系统的结构示意图；
图5为一个实施例中计算机设备的内部结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
如图1所示，图1为一个实施例中提供的模型生成方法的实施环境图，在该实施环境中，包括模型开发平台110和客户端120。
模型开发平台110可以搭建在企业或组织的内部网络中，可以与内部网络中具有使用权限的客户端120建立，也可以收集内部网络的神经网络模型。模型开发平台110中可以包括有用于存储神经网络模型的模型数据库，用于维护与神经网络模型的相关信息，同时模型开发平台110还可以具备训练神经网络模型的开发环境。客户端120可以与模型开发平台110连接，客户端120可以调用模型开发平台110中存储的神经网络模型，可以接收模型开发平台110下发的数据。
模型开发平台110可以在计算机或服务器上运行；客户端120可以安装在台式计算机、笔记本电脑、平板电脑、智能手机上。模型开发平台110和客户端120可以通过网络、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。
在一个实施例中，如图2所示，图2为一个实施例中模型生成方法的流程图，本实施例中提出了一种模型生成方法，该模型生成方法可以应用于上述的模型开发平台110中，具体可以包括以下步骤：
步骤S210：根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型。
本步骤中，可以获取内部网络中客户端120所上传的项目开发需求，根据该项目开发需求从内部网络的模型数据库中调取待复用模型，用于后续根据待复用模型进行项目开发。
例如可以根据项目开发需求中，分析需要使用的算法类型，可以按照查找该算法类型对应的神经网络模型；也可以根据项目开发需求，可以查找已具备初步训练基础的神经网络模型，对其进行进一步地和针对性地训练，达到项目开发需求。
具体地，步骤S210中根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型的步骤，可以包括：
S211：识别项目开发需求的第一功能信息，从功能信息提取关键字。
S212：在已存储的神经网络模型的第二功能信息中，对关键字进行检索，获取与项目开发需求匹配的神经网络模型的第三功能信息。
本步骤中，对关键字进行检索后，获得与项目开发需求匹配的神经网络模型，并提取该神经网络模型的第三功能信息。
S213：向客户端发送第三功能信息，接收用户返回的模型选定信息，将模型选定信息对应的神经网络模型作为待复用模型。
本步骤中，向客户端发送第三功能信息，客户端可以从第三功能信息选择模型选定信息并返回该模型选定信息。模型选定信息为客户端选定的待复用模型的功能信息。
上述步骤可以从已存储的功能信息中，通过关键字检索待复用模型，查找与项目开发需求最接近的待复用模型的，从而提高生成的目标网络模型的准确度。
步骤S220：获取待复用模型的归档文件，其中，归档文件中记录有待复用模型所调用的训练样本的第一特征信息。
本步骤中，获取归档文件，从归档文件中查找第一特征信息。第一特征信息是待复用模型所使用的训练样本的记录，该记录中可以包含训练样本相关的特征信息，第一特征信息可以用于反映待复用模型在之前的训练中所使用训练样本的范围，同时还可以由训练样本反映该待复用模型的训练程度。
步骤S230：根据项目开发需求和第一特征信息获取待调用训练样本的第二特征信息，并根据第二特征信息选取待调用的训练样本。
本步骤中，确定合适该项目开发需求的训练样本的特征信息，从而选取符合项目开发需求的训练样本。
步骤S240：根据待调用的训练样本对待复用模型进行二次训练，生成符合项目开发需求的目标网络模型。
本步骤中，通过对该待复用模型进行二次训练，复用该待复用模型，生成目标网络模型。
上述模型生成方法，可以将内部网络中的神经网络模型进行复用，按照项目开发需求选取训练样本并对待复用模型进行二次训练，生成目标网络模型，提高神经网络模型的使用率，减少反复训练生成已存在的待复用模型，提高神经网络的使用效率和训练神经网络的效率。
在一个实施例中，在步骤S240生成符合项目开发需求的目标网络模型的步骤之后，还可以包括：
A1：获取第二特征信息。
A2：根据项目开发需求和第二特征信息生成目标网络模型的归档文件。
A3：将目标网络模型和目标网络模型的归档文件存储在内部网络中。
上述模型生成方法，将第二特征信息、项目开发需求和目标网络模型进行归档，以便于后续可以根据归档文件查找归档后的目标网络模型。
在一个实施例中，步骤A2中根据项目开发需求和第二特征信息生成目标网络模型的归档文件的步骤，可以包括：
A21：记录目标网络模型，生成模型程序文件。
模型程序文件可以是用于记录该目标网络模型的计算机代码。
A22：获取用于调用目标网络模型的脚本文件。
通过该脚本文件可以调用目标网络模型，被调用的目标网络模型可以根据所输入的测试样本输出目标数据。
A23：记录训练目标网络模型所使用的模型训练算法。
模型训练算法即为训练目标网络模型所使用的待复用模型。
A24：将项目开发需求、第二特征信息、模型程序文件、目标网络模型的脚本文件和模型训练算法发送至模型验收模块，接收目标网络模型的模型验收报告。
模型验收模块可以通过分析获得模型功能、参数、版本等相关信息，模型验收报告可以记录模型功能、参数、版本等相关信息。
A25：将模型程序文件、脚本文件、模型训练算法和模型验收报告存储至目标网络模型的归档文件中。
上述模型生成方法，归档文件还可以包括模型程序文件、脚本文件、模型训练算法和模型验收报告。
在一个实施例中，在步骤S240生成符合项目开发需求的目标网络模型的步骤之后，还可以包括：
B1：生成用于调用目标网络模型的脚本文件。
本步骤中，该脚本文件可以用于调用目标网络模型，被调用的目标网络模型可以根据所输入的测试样本输出目标数据。
B2：将目标网络模型和目标网络模型的脚本文件进行封装，获得模型安装包，其中，模型安装包用于安装后进行目标网络模型的可视化的使用。
本步骤中，生成可以用于发布的模型安装包，该模型安装包可以使得客户端120在安装后，通过可视化的操作界面下调用目标网络模型。
B3：在内部网络中发布模型安装包。
本步骤中，内部网络中发布模型安装包，此时内部网络中的客户端可以具有下载模型安装包的权限，所发布的模型安装包可以由客户端120请求下载并发送至客户端120。在发布模型安装包时，还可以将归档文件中关键内容信息作为发布的提示信息，便于查找模型安装包。
上述模型生成方法，可以将生成的目标网络模型在内部网络中进行发布，可以在内部网络中分享该目标网络模型。
在一个实施例中，步骤S230中根据项目开发需求和第一特征信息获取待调用训练样本的第二特征信息的步骤，可以包括：
S231：分析项目开发需求的训练要求信息。
不同的项目开发需求对模型的训练样本的要求不同，本步骤中，获取反映训练样本要求或样本特征的训练要求信息。
S232：在训练要求信息表示训练新功能时，根据需求信息和首次训练的样本确定训练样本范围，根据训练样本范围确定第二特征信息。
上述模型生成方法，在有的项目开发需求中需要对基础算法的模型从零开始训练，或者对模型训练出新的功能时，需要选择新的训练样本，与之前训练过程中不同的训练样本。
在一个实施例中，在S231分析项目开发需求的训练要求信息的步骤之后，还可以包括：
S233：在训练要求信息表示优化模型时，将待复用模型训练时所调用的训练样本的特征信息作为第二特征信息。
上述模型生成方法，在有的项目开发需求中需要已经训练过程模型进行强化训练时，会重复使用之前训练过程中的训练样本。
在另一个实施例中，如图3所示，图3为另一个实施例中模型生成方法的流程图，本实施例中提出了一种模型生成方法，该模型生成方法可以应用于上述的模型开发平台110中，具体可以包括以下步骤：
步骤S310：根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型。
本步骤中，获取内部网络中客户端120所上传的项目开发需求。具体可以识别项目开发需求的第一功能信息，从功能信息提取关键字；在已存储的神经网络模型的第二功能信息中，对关键字进行检索，获取与项目开发需求匹配的神经网络模型的第三功能信息；向客户端发送第三功能信息，接收用户返回的模型选定信息，将模型选定信息对应的神经网络模型作为待复用模型。此时可以从已存储的功能信息中，通过关键字检索待复用模型，查找与项目开发需求最接近的待复用模型的，从而提高生成的目标网络模型的准确度。
步骤S320：获取待复用模型的归档文件，其中，归档文件中记录有待复用模型所调用的训练样本的第一特征信息。
本步骤中，获取归档文件，从归档文件中查找第一特征信息。第一特征信息是待复用模型所使用的训练样本的记录，该记录中可以包含训练样本相关的特征信息，第一特征信息可以用于反映待复用模型在之前的训练中所使用训练样本的范围，同时还可以由训练样本反映该待复用模型的训练程度。
步骤S330：根据项目开发需求和第一特征信息获取待调用训练样本的第二特征信息，并根据第二特征信息选取待调用的训练样本。
本步骤中，确定合适该项目开发需求的训练样本的特征信息，从而选取符合项目开发需求的训练样本。具体地，可以分析项目开发需求的训练要求信息；在训练要求信息表示训练新功能时，根据需求信息和首次训练的样本确定训练样本范围，根据训练样本范围确定第二特征信息；在训练要求信息表示优化模型时，将待复用模型训练时所调用的训练样本的特征信息作为第二特征信息。
步骤S340：根据待调用的训练样本对待复用模型进行二次训练，生成符合项目开发需求的目标网络模型。
本步骤中，通过对该待复用模型进行二次训练，复用该待复用模型，生成目标网络模型。
步骤S350：对目标网络模型进行归档。
首先，可以获取第二特征信息；根据项目开发需求和第二特征信息生成目标网络模型的归档文件；将目标网络模型和目标网络模型的归档文件存储在内部网络中。
还可以，记录目标网络模型，生成模型程序文件；获取用于调用目标网络模型的脚本文件；记录训练目标网络模型所使用的模型训练算法；将项目开发需求、第二特征信息、模型程序文件、目标网络模型的脚本文件和模型训练算法发送至模型验收模块，接收目标网络模型的模型验收报告；将模型程序文件、脚本文件、模型训练算法和模型验收报告存储至目标网络模型的归档文件中。
步骤S360：发布目标网络模型。
生成用于调用目标网络模型的脚本文件；将目标网络模型和目标网络模型的脚本文件进行封装，获得模型安装包，其中，模型安装包用于安装后进行目标网络模型的可视化的使用；在内部网络中发布模型安装包。
上述模型生成方法，可以将内部网络中的神经网络模型进行复用，按照项目开发需求选取训练样本并对待复用模型进行二次训练，生成目标网络模型，提高神经网络模型的使用率，减少反复训练生成已存在的待复用模型，提高神经网络的使用效率和训练神经网络的效率。而且提供了模型开发、复用、发布和运维的服务，在规定的权限范围内提供了模型分享。
另外，也可以调用客户端本地的模型，在平台上进行训练。模型数据库的不支持将模型下发或下传，但是支持获取待复用模型的时候可以另外调用客户端本地存储的模型。可以通过上传基础网络模型到模型开发平台，在模型开发平台的开发环境中训练并获得目标网络模型，再将目标网络模型保存在模型开发平台中。
在一个实施例中，如图4所示，图4为一个实施例中模型生成系统的结构示意图，本实施例中提供一种模型生成系统，具体可以包括模型选取模块410、特征信息获取模块420、训练样本选取模块430和模型训练模块440，其中：
模型选取模块410，用于根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型。
模型选取模块410可以获取内部网络中客户端120所上传的项目开发需求，根据该项目开发需求从内部网络的模型数据库中调取待复用模型，用于后续根据待复用模型进行项目开发。
例如可以根据项目开发需求中，分析需要使用的算法类型，可以按照查找该算法类型对应的神经网络模型；也可以根据项目开发需求，可以查找已具备初步训练基础的神经网络模型，对其进行进一步地和针对性地训练，达到项目开发需求。
特征信息获取模块420，用于获取待复用模型的归档文件，其中，归档文件中记录有待复用模型所调用的训练样本的第一特征信息。
特征信息获取模块420可以获取归档文件，从归档文件中查找第一特征信息。第一特征信息是待复用模型所使用的训练样本的记录，该记录中可以包含训练样本相关的特征信息，第一特征信息可以用于反映待复用模型在之前的训练中所使用训练样本的范围，同时还可以由训练样本反映该待复用模型的训练程度。
训练样本选取模块430，用于根据项目开发需求和第一特征信息获取待调用训练样本的第二特征信息，并根据第二特征信息选取待调用的训练样本。
训练样本选取模块430可以确定合适该项目开发需求的训练样本的特征信息，从而选取符合项目开发需求的训练样本。
模型训练模块440，用于根据待调用的训练样本对待复用模型进行二次训练，生成符合项目开发需求的目标网络模型。
模型训练模块440可以通过对该待复用模型进行二次训练，复用该待复用模型，生成目标网络模型。
上述模型生成系统，可以将内部网络中的神经网络模型进行复用，按照项目开发需求选取训练样本并对待复用模型进行二次训练，生成目标网络模型，提高神经网络模型的使用率，减少反复训练生成已存在的待复用模型，提高神经网络的使用效率和训练神经网络的效率。
关于模型生成系统的具体限定可以参见上文中对于模型生成方法的限定，在此不再赘述。上述模型生成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
如图5所示，图5为一个实施例中计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机程序，数据库中可存储有控件信息序列，该计算机程序被处理器执行时，可使得处理器实现一种模型生成方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种模型生成方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例中模型生成方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中模型生成方法的步骤。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种模型生成方法，其特征在于，包括如下步骤：
根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型；
获取所述待复用模型的归档文件，其中，所述归档文件中记录有所述待复用模型所调用的训练样本的第一特征信息，所述第一特征信息为所述待复用模型所使用的训练样本的记录，用于反映待复用模型所使用的训练样本的范围以及所述待复用模型的训练程度；
根据所述项目开发需求和所述第一特征信息获取待调用训练样本的第二特征信息；
所述根据所述项目开发需求和所述第一特征信息获取待调用训练样本的第二特征信息，包括：分析所述项目开发需求的训练要求信息；在所述训练要求信息表示训练新功能时，根据所述项目开发需求和首次训练的样本确定训练样本范围，根据所述训练样本范围确定所述第二特征信息；
根据所述第二特征信息选取所述待调用的训练样本；
根据所述待调用的训练样本对所述待复用模型进行二次训练，生成符合所述项目开发需求的目标网络模型；
获取所述第二特征信息；
根据所述项目开发需求和所述第二特征信息生成所述目标网络模型的归档文件；
将所述目标网络模型和所述目标网络模型的归档文件存储在所述内部网络中；
所述根据所述项目开发需求和所述第二特征信息生成所述目标网络模型的归档文件，包括：
记录所述目标网络模型，生成模型程序文件；
获取用于调用所述目标网络模型的脚本文件；
记录训练所述目标网络模型所使用的模型训练算法；
将所述项目开发需求、所述第二特征信息、所述模型程序文件、所述目标网络模型的脚本文件和模型训练算法发送至模型验收模块，接收所述目标网络模型的模型验收报告；
将所述模型程序文件、所述脚本文件、所述模型训练算法和所述模型验收报告存储至所述目标网络模型的归档文件中。
2.根据权利要求1所述的模型生成方法，其特征在于，在所述生成符合所述项目开发需求的目标网络模型的步骤之后，还包括：
生成用于调用所述目标网络模型的脚本文件；
将所述目标网络模型和所述目标网络模型的脚本文件进行封装，获得模型安装包，其中，所述模型安装包用于安装后进行所述目标网络模型的可视化的使用；
在所述内部网络中发布所述模型安装包。
3.根据权利要求1所述的模型生成方法，其特征在于，所述根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型的步骤，包括：
识别所述项目开发需求的第一功能信息，从所述第一功能信息提取关键字；
在所述已存储的神经网络模型的第二功能信息中，对所述关键字进行检索，获取与所述项目开发需求匹配的神经网络模型的第三功能信息；
向用户客户端发送所述第三功能信息，接收所述用户返回的模型选定信息，将所述模型选定信息对应的神经网络模型作为所述待复用模型。
4.根据权利要求1所述的模型生成方法，其特征在于，在所述分析所述项目开发需求的训练要求信息的步骤之后，还包括：
在所述训练要求信息表示优化模型时，将所述待复用模型训练时所调用的训练样本的特征信息作为所述第二特征信息。
5.一种模型生成系统，其特征在于，包括：
模型选取模块，用于根据项目开发需求从内部网络已存储的神经网络模型中选取待复用模型；
特征信息获取模块，用于获取所述待复用模型的归档文件，其中，所述归档文件中记录有所述待复用模型所调用的训练样本的第一特征信息，所述第一特征信息为所述待复用模型所使用的训练样本的记录，用于反映待复用模型所使用的训练样本的范围以及所述待复用模型的训练程度；
训练样本选取模块，用于根据所述项目开发需求和所述第一特征信息获取待调用训练样本的第二特征信息；
所述根据所述项目开发需求和所述第一特征信息获取待调用训练样本的第二特征信息，包括：分析所述项目开发需求的训练要求信息；在所述训练要求信息表示训练新功能时，根据所述项目开发需求和首次训练的样本确定训练样本范围，根据所述训练样本范围确定所述第二特征信息；
根据所述第二特征信息选取所述待调用的训练样本；
模型训练模块，用于根据所述待调用的训练样本对所述待复用模型进行二次训练，生成符合所述项目开发需求的目标网络模型；
获取所述第二特征信息；
根据所述项目开发需求和所述第二特征信息生成所述目标网络模型的归档文件；
将所述目标网络模型和所述目标网络模型的归档文件存储在所述内部网络中；
所述根据所述项目开发需求和所述第二特征信息生成所述目标网络模型的归档文件，包括：
记录所述目标网络模型，生成模型程序文件；
获取用于调用所述目标网络模型的脚本文件；
记录训练所述目标网络模型所使用的模型训练算法；
将所述项目开发需求、所述第二特征信息、所述模型程序文件、所述目标网络模型的脚本文件和模型训练算法发送至模型验收模块，接收所述目标网络模型的模型验收报告；
将所述模型程序文件、所述脚本文件、所述模型训练算法和所述模型验收报告存储至所述目标网络模型的归档文件中。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述模型生成方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述模型生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910410878.5A CN110231939B (zh) | 2019-05-16 | 2019-05-16 | 模型生成方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910410878.5A CN110231939B (zh) | 2019-05-16 | 2019-05-16 | 模型生成方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110231939A CN110231939A (zh) | 2019-09-13 |
| CN110231939B true CN110231939B (zh) | 2024-05-28 |
Family
ID=67860721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910410878.5A Active CN110231939B (zh) | 2019-05-16 | 2019-05-16 | 模型生成方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110231939B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111324608A (zh) * | 2020-02-14 | 2020-06-23 | 深圳前海微众银行股份有限公司 | 模型复用方法、装置、设备及存储介质 |
| CN116643814A (zh) * | 2023-05-15 | 2023-08-25 | 博瀚智能(深圳)有限公司 | 模型库构建方法、基于模型库的模型调用方法和相关设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302718A (zh) * | 2015-10-26 | 2016-02-03 | 浪潮电子信息产业股份有限公司 | 一种面向复用软件的测试模型的设计方法 |
| CN105893522A (zh) * | 2016-03-30 | 2016-08-24 | 电子科技大学 | 一种大数据分析模型业务开发生成和管理系统 |
| WO2018090641A1 (zh) * | 2016-11-15 | 2018-05-24 | 平安科技（深圳）有限公司 | 识别保险单号码的方法、装置、设备及计算机可读存储介质 |
| CN108648194A (zh) * | 2018-04-23 | 2018-10-12 | 清华大学 | 基于cad模型三维目标识别分割和位姿测量方法及装置 |
| CN108921359A (zh) * | 2018-07-26 | 2018-11-30 | 安徽大学 | 一种分布式瓦斯浓度预测方法及装置 |
| CN109214386A (zh) * | 2018-09-14 | 2019-01-15 | 北京京东金融科技控股有限公司 | 用于生成图像识别模型的方法和装置 |
| CN109345529A (zh) * | 2018-09-30 | 2019-02-15 | 福州大学 | 基于改进型二次目标检测网络线夹、均压环故障识别方法 |
| CN109460463A (zh) * | 2018-11-15 | 2019-03-12 | 平安科技（深圳）有限公司 | 基于数据处理的模型训练方法、装置、终端及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10909459B2 (en) * | 2016-06-09 | 2021-02-02 | Cognizant Technology Solutions U.S. Corporation | Content embedding using deep metric learning algorithms |
-
2019
- 2019-05-16 CN CN201910410878.5A patent/CN110231939B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302718A (zh) * | 2015-10-26 | 2016-02-03 | 浪潮电子信息产业股份有限公司 | 一种面向复用软件的测试模型的设计方法 |
| CN105893522A (zh) * | 2016-03-30 | 2016-08-24 | 电子科技大学 | 一种大数据分析模型业务开发生成和管理系统 |
| WO2018090641A1 (zh) * | 2016-11-15 | 2018-05-24 | 平安科技（深圳）有限公司 | 识别保险单号码的方法、装置、设备及计算机可读存储介质 |
| CN108648194A (zh) * | 2018-04-23 | 2018-10-12 | 清华大学 | 基于cad模型三维目标识别分割和位姿测量方法及装置 |
| CN108921359A (zh) * | 2018-07-26 | 2018-11-30 | 安徽大学 | 一种分布式瓦斯浓度预测方法及装置 |
| CN109214386A (zh) * | 2018-09-14 | 2019-01-15 | 北京京东金融科技控股有限公司 | 用于生成图像识别模型的方法和装置 |
| CN109345529A (zh) * | 2018-09-30 | 2019-02-15 | 福州大学 | 基于改进型二次目标检测网络线夹、均压环故障识别方法 |
| CN109460463A (zh) * | 2018-11-15 | 2019-03-12 | 平安科技（深圳）有限公司 | 基于数据处理的模型训练方法、装置、终端及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| tensorflow模型保存与复用多种方式;z2539329562;CSDN：https://blog.csdn.net/z2539329562/article/details/83784655;第1-5页 * |
| 区域提取网络结合自适应池化网络的机场检测;辛鹏 等;西安电子科技大学学报;20171204(第03期);第108-114页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110231939A (zh) | 2019-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10572822B2 (en) | Modular memoization, tracking and train-data management of feature extraction | |
| Atkinson et al. | A practical approach to web service discovery and retrieval | |
| US8468146B2 (en) | System and method for creating search index on cloud database | |
| US20230289828A1 (en) | Data processing method, computer device, and readable storage medium | |
| CN110231939B (zh) | 模型生成方法、系统、计算机设备和存储介质 | |
| CN103235820A (zh) | 一种集群系统中数据存储方法与装置 | |
| CN110162522A (zh) | 一种分布式数据搜索系统及方法 | |
| CN113268403B (zh) | 时间序列的分析预测方法、装置、设备及存储介质 | |
| CN116450486B (zh) | 多元异构计算系统内节点的建模方法、装置、设备及介质 | |
| CN113220657A (zh) | 数据处理方法、装置及计算机设备 | |
| CN110232130B (zh) | 元数据管理谱系生成方法、装置、计算机设备和存储介质 | |
| US10048991B2 (en) | System and method for parallel processing data blocks containing sequential label ranges of series data | |
| CN111240772A (zh) | 一种基于区块链的数据处理方法、装置及存储介质 | |
| CN117215738A (zh) | 一种基于分布式系统的数据密集型计算成像优化系统 | |
| KR20210129465A (ko) | 연구노트 관리 장치 및 이를 이용한 연구노트 검색 방법 | |
| CN116561003A (zh) | 测试数据生成方法、装置、计算机设备和存储介质 | |
| CN114627991B (zh) | 一种基于智慧医疗大数据的用户隐私保护方法及系统 | |
| CN111666201A (zh) | 回归测试方法、装置、介质及电子设备 | |
| CN113608688A (zh) | 数据迁移方法、装置、设备及存储介质 | |
| CN113535594B (zh) | 业务场景测试用例的生成方法、装置、设备和存储介质 | |
| CN116166639B (zh) | 一种基于人工智能的大数据处理方法及系统 | |
| Gupta et al. | 8 Role of Big Data in | |
| Robles | Acceleration of digital forensics functions using a GPU | |
| WO2020065960A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN115906864A (zh) | 基于文本消岐的业务关键词预测方法、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |